有没有Java版类似SQLite的开源库?
能嵌入JAVA代码被调用,又能进行数据计算的开源库,数据库类的有HSQLDB/Derby/H2等。这几个和SQLite的毛病一样,入库过程非常繁琐,要检查表名是否重复、建表结构、读文件、解析字段、插入记录、建索引等,而且没法处理不规则的文本和特殊数据源;至于近年来计算库逐渐被重视的功能--JSON计算,虽然内嵌数据库也是赶鸭子上架,但这几个还不如内嵌数据库。DataFrame类的计算库有Tablesaw/ Joinery/ Morpheus等,在多层JSON(半结构化数据)的读取和计算上,它们比数据库要方便多了,但二维结构化数据的计算又远不如数据库。
二维结构化数据和多层JSON的计算都足够强,又支持多种数据源,可处理不规则文本的嵌入式JAVA开源库,集算器SPL是个更好的选择。
JAVA调用SPL只需JDBC接口,基本看一遍就会。比如把tab分隔的文本文件Orders.txt按Client列顺序排序,按Amount列逆序排序:
… Class.forName("com.esproc.jdbc.InternalDriver"); Connection connection =DriverManager.getConnection("jdbc:esproc:local://"); Statement statement = connection.createStatement(); String str="=T(\"D:/Orders.txt\").sort(Client,- Amount)"; ResultSet result = statement.executeQuery(str); …
一个T函数就相当于内嵌数据库入库那一整套过程,比那些内嵌的数据库方案要方便多了。
为了数据库程序员的方便,SPL也支持SQL语句,比如上面的排序可改写为:
str="$select * from d:/Orders.txt order by Client, Amount desc"
再讲讲刚才的sort函数,这样的基本计算函数SPL有上百个,可以直接完成大多数常规计算。下面试举一些:
//条件查询 str="=T(\"D:/Orders.txt\").select(Amount>1000 && Amount<=3000 && like(Client,\"*S*\"))"; //分组汇总 str ="=T(\"D:/Orders.txt\").groups(year(OrderDate);sum(Amount))"; //关联 str ="=join(T (\"D:/Orders.txt\"):O,SellerId; T(\"D:/data/Employees.txt\"):E,EId).new(O.OrderID,O.Client,O.SellerId,O.Amount,O.OrderDate, E.Name,E.Gender,E.Dept)";
处理过的数据还可以持久化为btx集文件,不仅计算性能高,而且体积更小。比如将两个同构的文本文件写在一个btx里,并去掉两者重复的行:
A | B | |
1 | =[T("d:/orders1.csv"), T("d:/orders2.csv")].merge@u() | /对记录做并集 |
2 | file("d:/fast.btx").export@b(A1) | /写入集文件 |
之后就可以像普通文件那样使用:
str="=T(\"D:/fast.btx\").sort(Client,- Amount)" str="$select * from d:/fast.btx order by Client, Amount desc"
btx还可以预先进行有序化处理,从而获得更高计算性能,比如进行二分查找,详情参考官网。
为了降低耦合性,SPL算法可外置于JAVA代码。比如,找出销售额累计占到一半的前n个大客户,并按销售额从大到小排列。先将SPL脚本存为文件bigCustomer.dfx:
A | B | |
1 | = T("D:/data/sales.csv").sort(amount:-1) | 取数并逆序排序 |
2 | =A1.cumulate(amount) | 计算累计序列 |
3 | =A2.m(-1)/2 | 最后的累计值即是总和 |
4 | =A2.pselect(~>=A3) | 超过一半的位置 |
5 | =A1(to(A4)) | 按位置取值 |
再在JAVA代码中以存储过程的方式调用脚本文件:
… Class.forName("com.esproc.jdbc.InternalDriver"); Connection connection =DriverManager.getConnection("jdbc:esproc:local://"); Statement statement = connection.createStatement(); ResultSet result = statement.executeQuery("call bigCustomer ()"); ...
有些运算较复杂,比如涉及分组后计算、有序计算、集合计算,即使用存储过程也难以解决,更别说连存储过程都不支持的内嵌数据库了。SPL提供了强大的语法和丰富的库函数,可以大幅简化复杂运算逻辑。比如:计算某支股票最长的连续上涨天数,SPL只需两行:
A | B | |
1 | =T("d:/AAPL.xlsx") | 读Excel文件,首行为列名 |
2 | =a=0,A1.max(a=if(price>price[-1],a+1,0)) | 求最长连续上涨天数 |
有些运算代码较长,或有分支和循环,SPL提供了专用的IDE,可以方便地跟踪调试,观察每一步的计算结果:
对于不规则的文本, SPL同样可以处理。简单的比如以双竖线||为分隔符,可用如下SPL语句读取:
= file("D:/Orders.txt").import@t(;,"||")
复杂些的不规则的文本,参考《未结构化文本的读写和解析处理》
SPL支持多种数据源,除了文本文件,还有Excel、数据库、各类NoSQL、webService、restful等。比如:restful返回多层JSON,用来描述多个员工和员工的多个订单,需要查询出所有价格在500-2000,且客户名包含bro字样的订单。SPL代码如下:
A | |
1 | =json(httpfile("http://127.0.0.1:6868/api/getEmpOrders").read()) |
2 | =A1.conj(Orders) |
3 | =A2.select(Amount>500 && Amount<=2000 && like@c(Client,"*bro*")) |
集算器SPL是优秀的JAVA嵌入式开源计算库,在结构化计算方面比数据库更强,在多层数据的计算方面比Dataframe更方便,在多数据源支持方面更是全面超过两者。