北京时间12月21日上午消息,微软发布了公测版Dryad平台,成为谷歌MapReduce分布式数据计算平台的竞争对手。微软的Dryad项目主要研究用于编写并行和分布式程序的编程模型。
目前,科技界已经有一款发展迅速的开源版MapReduce:Apache的Hadoop项目。微软至少有一个部门正在使用Hadoop,并且为其贡献代码。现在微软推出自己的产品并不令人奇怪,因为Hadoop毕竟是开源项目。
微软在博客中表示,已经发布了Dryad平台以及DryadLINQ编程语言的“社区技术预览”。 DryadLINQ被用于在该平台上构建应用。与谷歌的专有平台MapReduce相似,Dryad也通过分布式计算机网络计算海量数据。但与 MapReduce不同的是,Dryad是针对运行Windows HPC Server的计算机集群设计的,而且DryadLINQ使用.NET的LINQ查询语言模型。
2004年,谷歌发布了两篇关于MapReduce和分布式文件系统GFS的研究报告,这两篇报告成为Hadoop的基础。Hadoop最初是由开源网络爬虫Nutch的创始人达格·卡廷(Doug Cutting)开发的。
Apache 将Hadoop变为开源项目,雅虎也对Hadoop进行了单独开发。现在,Hadoop是雅虎的在线基础设施的重要支撑,并且已经被Facebook、 Twitter、苹果和微软等科技巨头采用。2008年,微软收购了语义搜索企业Powerset,并将Powerset公司基于Hadoop的相关技术用于必应(Bing)搜索引擎。
微软甚至允许原Powerset员工承诺向Hadoop贡献代码。Powerset还成立了Hadoop的姊妹项目HBase,模仿谷歌的BigTable分布式数据库。
事实上,Dryad和DryadLINQ早在微软收购Powerset之前就已经存在。微软于2007年首次发布了关于该技术的研究报告,并于2009年夏向学术界发布了非商业版Dryad和DryadLINQ。
Dryad的“社区技术预览”要求必须有基于Windows HPC Pack 2008 R2 Enterprise的计算机集群,并且安装有Service Pack 1。已经注册HPC Pack 2008 R2的用户可以获取该社区技术预览。
类似于Dryad,Hadoop也提供自己的查询语言,事实上,它有两种查询语言。雅虎开发的查询语言被称为Pig,而Facebook开发的更高级语言被称为Hive。
原文链接:http://tech.sina.com.cn/it/2010-12-21/10505009525.shtml