数据世界瞬息万变，给现有 IT 基础设施带来了巨大的挑战，实时产生的海量非结构和半结构化数据让原有的数据库架构捉襟见肘。这些数据类型各异，既包括人们在社交网络上的各种情绪表达，也有地理位置信息，传感器产生的机器数据，以及自动生成的大量日志记录等。
如果能善用这些数据，企业用户就可以得到以往难以企及的关键业务洞察。例如，台湾著名茶点连锁餐厅“黑丸”将来自零售网点的销售数据，与人们在社交网络上对其表达的情绪反馈，以及所在地的天气信息等数据相结合，发现了能刺激客户消费的原因。通过将传统数据源与全新的“大数据”相融合，他们发现，其实气温高低并不会影响人们去选择冷饮或者热饮，现在他们可以真正从消费者的需求出发对销售策略做出调整。
类似的应用场景引发了对 Hadoop 等大数据产品的需求热潮。作为开源平台的 Hadoop 能够在相对廉价的消费级硬件上，实现海量数据的存储和处理。Hadoop 具有如此强大功能的部分原因在于，其生态系统通过通用的计算模式实现了相同的数据存储。这种存储是一种分布式文件系统，其规模能够从几个节点扩展至数千个节点，并且全都针对非结构化数据。通过 Hadoop 与传统数据结构相结合，用户能从数据中得到以往难以想象的深入洞察。
但是，在多节点上创建 Hadoop 集群并非易事，需要有合适的硬件、周密的容量规划，以及对 Hadoop 进行设置和部署的专业知识。此外，Hadoop 生态系统的快节奏创新也要求 IT 管理员不断升级 Hadoop 软件或为操作系统打补丁，因此后续的不间断维护也将成为一大挑战。而公有云上的 Hadoop 服务能帮助用户克服这些挑战。
由世纪互联运营的 Windows Azure 宣布正式提供 HDInsight 服务的公众预览，从而成为中国第一个面向公众的 Hadoop 云服务。作为在 Windows Azure 上运行的 Hadoop 服务，HDInsight 为启动和运行 Hadoop 提供了最快捷的方式。用户无需任何专用硬件或专业知识，只要点击几下鼠标，就可以在几分钟内建立一个 Hadoop 集群。用户还可以根据需要对集群进行扩展，几分钟就能将集群从 10 个节点扩展到 1000 个节点。此外，用户还可以在 HDInsight 上充分利用 Apache 生态系统中的众多开源项目，包括 HBase NoSQL 数据库、类 SQL 查询处理、机器学习等。其中 Hive 类 SQL 查询处理集合了微软 SQL Server 技术的 Stinger 项目，使 Hive 的查询性能提高 100 倍。通过 Excel 中的 Power Query 插件，用户还可以从 HDInsight 中得到更加直观的数据洞察。
相关文章