亚马逊 11 月发布的数据流服务 Kinesis 终于向公众开放了。
眼下随着越来越多的公司从传统批处理转移到更加智能的云计算,数据流服务也开始变得越来越流行。和传统服务相比,数据流服务更快速,更便捷。它可以实时处理数据,而不是向过去一样花几分钟甚至几小时来等待批量处理程序收集和处理全部内容。
过去 Storm 是处理此数据流任务的上佳工具。2011 年收购 Backtype 时,Twitter “顺便”将 Storm 创始人南森·马茨(Nathan Marz)收入麾下。Storm 可以让 Twitter 时间线保持实时更新,另外还能让用户追踪突发事件。但它在完成长期趋势分析以及训练搜索引擎模块时,却需要依赖其它工具。
与 Storm 一样,Kinesis 也可以在把数据传递到另一数据库之前,完成对这些内容的实时处理。但不同的是,Kinesis 可以通过软件套件处理超过 24 小时的数据,每小时自动分析的数据量高达几百 TB。此外,Kinesis 还加入了针对 Storm 的数据移植接口,AWS 数据科学部门总经理马特·伍德(Matt Wood)解释说,此步设置是为了兼顾部分用户在使用 Kinesis 收集数据时,希望能继续使用 Storm 来处理数据的要求。
SDK 是 Kinesis 的主要内容,毕竟归根结底,Kinesis 是用来“打开创建更多敏捷性应用的机会”。首批接入 Kinesis 数据流服务的用户包括移动游戏开发商 Supercell 和营销服务平台 Bizo。前者主要通过 Kinesis 生成具有实时数据流的主控板,后者主要用 Kinesis 接管此前需要大量人工服务的数据管道管理工作。
迄今为止,AWS 是唯一提供类似服务的提供商。其它云计算服务商想要阻止用户继续选择 AWS 的话,显然需要拿出更加丰富的内容,而不仅仅是 Hadoop 服务。
题图来自 GoSquared