有没有Java版类似SQLite的开源库?

能嵌入JAVA代码被调用,又能进行数据计算的开源库,数据库类的有HSQLDB/Derby/H2等。这几个和SQLite的毛病一样,入库过程非常繁琐,要检查表名是否重复、建表结构、读文件、解析字段、插入记录、建索引等,而且没法处理不规则的文本和特殊数据源;至于近年来计算库逐渐被重视的功能--JSON计算,虽然内嵌数据库也是赶鸭子上架,但这几个还不如内嵌数据库。DataFrame类的计算库有Tablesaw/ Joinery/ Morpheus等,在多层JSON(半结构化数据)的读取和计算上,它们比数据库要方便多了,但二维结构化数据的计算又远不如数据库。

二维结构化数据和多层JSON的计算都足够强,又支持多种数据源,可处理不规则文本的嵌入式JAVA开源库,集算器SPL是个更好的选择。

JAVA调用SPL只需JDBC接口,基本看一遍就会。比如把tab分隔的文本文件Orders.txt按Client列顺序排序,按Amount列逆序排序:

…
Class.forName("com.esproc.jdbc.InternalDriver");
Connection connection   =DriverManager.getConnection("jdbc:esproc:local://");
Statement statement =   connection.createStatement();

String str="=T(\"D:/Orders.txt\").sort(Client,-   Amount)";
ResultSet result =   statement.executeQuery(str);
…

一个T函数就相当于内嵌数据库入库那一整套过程,比那些内嵌的数据库方案要方便多了。

为了数据库程序员的方便,SPL也支持SQL语句,比如上面的排序可改写为:

str="$select   * from d:/Orders.txt order by Client, Amount desc" 

再讲讲刚才的sort函数,这样的基本计算函数SPL有上百个,可以直接完成大多数常规计算。下面试举一些:

//条件查询
str="=T(\"D:/Orders.txt\").select(Amount>1000   && Amount<=3000 && like(Client,\"*S*\"))";
//分组汇总
str ="=T(\"D:/Orders.txt\").groups(year(OrderDate);sum(Amount))";
//关联
str ="=join(T (\"D:/Orders.txt\"):O,SellerId;   T(\"D:/data/Employees.txt\"):E,EId).new(O.OrderID,O.Client,O.SellerId,O.Amount,O.OrderDate,   E.Name,E.Gender,E.Dept)";

处理过的数据还可以持久化为btx集文件,不仅计算性能高,而且体积更小。比如将两个同构的文本文件写在一个btx里,并去掉两者重复的行:

A B
1 =[T("d:/orders1.csv"),   T("d:/orders2.csv")].merge@u() /对记录做并集
2 file("d:/fast.btx").export@b(A1)  /写入集文件

之后就可以像普通文件那样使用:

str="=T(\"D:/fast.btx\").sort(Client,-   Amount)"

str="$select   * from d:/fast.btx order by Client, Amount desc"

btx还可以预先进行有序化处理,从而获得更高计算性能,比如进行二分查找,详情参考官网。

为了降低耦合性,SPL算法可外置于JAVA代码。比如,找出销售额累计占到一半的前n个大客户,并按销售额从大到小排列。先将SPL脚本存为文件bigCustomer.dfx:

A B
1 = T("D:/data/sales.csv").sort(amount:-1)  取数并逆序排序
2 =A1.cumulate(amount) 计算累计序列
3 =A2.m(-1)/2 最后的累计值即是总和
4 =A2.pselect(~>=A3) 超过一半的位置
5 =A1(to(A4)) 按位置取值

再在JAVA代码中以存储过程的方式调用脚本文件:

        …
Class.forName("com.esproc.jdbc.InternalDriver");
Connection connection   =DriverManager.getConnection("jdbc:esproc:local://");
Statement statement =   connection.createStatement();
ResultSet result =   statement.executeQuery("call bigCustomer ()");
...

有些运算较复杂,比如涉及分组后计算、有序计算、集合计算,即使用存储过程也难以解决,更别说连存储过程都不支持的内嵌数据库了。SPL提供了强大的语法和丰富的库函数,可以大幅简化复杂运算逻辑。比如:计算某支股票最长的连续上涨天数,SPL只需两行:

A B
1 =T("d:/AAPL.xlsx") 读Excel文件,首行为列名
2 =a=0,A1.max(a=if(price>price[-1],a+1,0)) 求最长连续上涨天数

有些运算代码较长,或有分支和循环,SPL提供了专用的IDE,可以方便地跟踪调试,观察每一步的计算结果

IDEpng

对于不规则的文本, SPL同样可以处理。简单的比如以双竖线||为分隔符,可用如下SPL语句读取:

= file("D:/Orders.txt").import@t(;,"||")

复杂些的不规则的文本,参考《未结构化文本的读写和解析处理

SPL支持多种数据源,除了文本文件,还有Excel、数据库、各类NoSQL、webService、restful等。比如:restful返回多层JSON,用来描述多个员工和员工的多个订单,需要查询出所有价格在500-2000,且客户名包含bro字样的订单。SPL代码如下:

A
1 =json(httpfile("http://127.0.0.1:6868/api/getEmpOrders").read())
2 =A1.conj(Orders)
3 =A2.select(Amount>500 &&   Amount<=2000 && like@c(Client,"*bro*"))

集算器SPL是优秀的JAVA嵌入式开源计算库,在结构化计算方面比数据库更强,在多层数据的计算方面比Dataframe更方便,在多数据源支持方面更是全面超过两者。