Bark是eBay开发的一种应用于分布式数据系统中的开源数据质量解决方案,例如在Hadoop,Spark,Storm等分布式系统中,Bark提供了一整套统一的流程来定义、测量数据集的质量并及时报告问题。主要特性:1.精确度检测:验证结果集数据是否与源数据是一致的2.数据剖析:利用数据集的一致性、独特性和逻辑性,来进行统计分析和数值评估。3.异常监测:利用预先设定的算法,检测出不符合预期的数据4.可视化监测:利用控制面板来展现数据质量的状态。核心优势:1.实时性:可以实时进行数据质量检测...
查看全文