有序归并文本文件_JAVA_编程开发_程序员俱乐部

中国优秀的程序员网站程序员频道CXYCLUB技术地图
热搜:
更多>>
 
您所在的位置: 程序员俱乐部 > 编程开发 > JAVA > 有序归并文本文件

有序归并文本文件

 2015/4/4 0:43:35  datamachine  程序员俱乐部  我要评论(0)
  • 摘要:许多数据库有MERGE语句,可以方便地将两个表归并。但如果需要归并的数据在文本文件中,就无法直接使用数据库的语法了。这时候可以用集算器针对文本文件完成类似MERGE语句的功能。table1.txt和table2.txt是结构相同但数据不同的文件。现在要根据列逻辑主键A、B用table2更新table1,即主键相同但其他字段不同时更新table1,主键不同时向table1插入数据。我们假定源数据已经按按逻辑主键排序,并且要求结果集仍保持对主键有序
  • 标签:文件

class="MsoNormal">? ? ? ? ?许多数据库有MERGE语句,可以方便地将两个表归并。但如果需要归并的数据在文本文件中,就无法直接使用数据库的语法了。这时候可以用集算器针对文本文件完成类似MERGE语句的功能。

???????? table1.txttable2.txt是结构相同但数据不同的文件。现在要根据列逻辑主键ABtable2更新table1,即主键相同但其他字段不同时更新table1,主键不同时向table1插入数据。

我们假定源数据已经按按逻辑主键排序,并且要求结果集仍保持对主键有序。这样就可以反复地执行这个操作不断地将新数据加入到目标文件中。

?

源数据如下:



?

? ? ? ? ?table2更新table1之后,table1应当如下:



?

? ? ? ? ?集算器代码很简单:



?

? ? ? ? A1,A2:以游标方式读取table1.txttable2.txt

? ? ? ??A2:按照逻辑主键用B1更新A1。函数merge可进行数据归并,并保持结果仍有序,@x表示操作游标,@u表示计算并集。

? ? ? ??A3:将计算结果写入新文件。

?

? ? ? ??这个代码使用了游标,对数据文件的大小没有要求,可以处理非常巨大的文件。

  • 大小: 22 KB
  • 大小: 12.7 KB
  • 大小: 22.9 KB
  • 查看图片附件
发表评论
用户名: 匿名