开源 SPL 强化 MongoDB 计算
MongoDB 是 NoSQL 数据库的典型代表,支持文档结构的存储方式数据存储和使用更为便捷,数据存取效率也很高,但计算能力较弱,实际使用中涉及 MongoDB 的计算尤其是复杂计算会很麻烦,这就需要具备强计算能力的数据处理引擎与其配合。
开源 SPL 助力 JAVA 处理公共数据文件(txt\csv\json\xml\xls)
在 JAVA 应用中经常要处理 txt\csv\json\xml\xls 这类公共格式的数据文件,直接用 JAVA 硬写会非常麻烦,通常要借助一些现成的开源包,但这些开源包也都有各自的不足。
多数据源混合计算用什么技术?
现代信息系统多数据源的情况很常见,尤其分析型应用经常要跨多数据源混合计算实现数据统计分析。由于数据源种类众多,有 RDB,也有 NoSQL,还有 CSV、Excel 等文件,JSON、XML 数据,HDFS、Elasticsearch、Kafka 等很多很多,要基于这些不同类型的数据源 …
开源 SPL,ORM 的终结者?
业务逻辑经常包含较复杂的流程和计算,同时涉及数据库的读写。由于授权麻烦、影响数据库安全、无法迁移、技术要求高、编写困难等原因,很多场景不适合用存储过程实现业务逻辑。因为不擅长复杂的流程处理,SQL也不适合单独实现业务逻辑,必须与JAVA等高级 …
数据存储使用文件还是数据库,哪个更合适?
使用数据库存储数据很常见,数据库不仅提供了多种存储策略,还可以满足数据一致性的要求,基于数据库还能很方便完成数据计算,但使用数据库存储数据也有一些缺点,在一些场景下并非最佳选择。与数据库相对的是使用文件存储数据,文件系统更加开放,使用起 …
报表查询分析业务中的数据准备用什么,SQL Java or Python?
报表查询分析都要涉及数据准备,就是把原始数据加工成可以呈现或分析的形式(如常见的报表数据集)。不过,数据准备经常并不轻松,可能面临各种复杂的情况。
为什么大数据平台会回归关系数据模型
先说观点:因为还没找到更好的。 接下来说原因,首先来看看大数据平台都在干什么。 原因 结构化数据计算仍是重中之重 大数据平台主要是为了应对海量数据存储和分析的需求,海量数据存储的确不假,除了生产经营产生的结构化数据,还有大量音视频等非 …
开源 SPL 令微服务真地”微“起来
随着微服务的流行,越来越多应用采用微服务架构开发。如何简单高效地在微服务中完成数据处理成为大家不得不面对的问题。以往单体应用架构下,我们可以借助数据库实施计算,SQL 是专用的集合计算语言,依托数据库较强的计算能力可以比较方便地完成数据处理 …
开源 SPL 打破数据库计算的封闭性
我们知道,数据库的数据处理能力是封闭的。所谓封闭性,这里是指要被数据库计算和处理的数据,必须事先装入数据库之内,数据在数据库内部还是外部是很明确的。