11 月 10 日,具有计算奥运会之称的 Sort Benchmark 全球排序竞赛公布 2016 年最终成绩,腾讯云大数据联合团队用时不到 99 秒(98.8 秒)就完成 100TB 的数据排序,打破了去年 329 秒的纪录。在更早前,百度创造的纪录是 716 秒,Hadoop 的纪录是 4222 秒。
在这次竞赛中,腾讯云数智分布式计算平台,夺得 Sort Benchmark 大赛 GraySort 和 MinuteSort 的冠军,总共创造四项世界纪录,将去年的纪录整体提高 2 倍到 5 倍。腾讯名列全球大数据第一梯队领军企业,这也是全球大数据性能进化史的重要里程碑。
每年全球顶尖公司和学术机构都会来参加该赛事,以评估软硬件系统架构能力及最新研究成果。这项赛事包括四项比赛,腾讯云大数据联合团队参加的是含金量最高的 GraySort 和 MinuteSort 两项排序竞赛,重点评测大规模分布式系统的软硬件架构能力及平台的计算效率,以上两项比赛均包括 Indy(专用目的排序)和 Daytona(通用目的排序)两个子项。数智一举夺得上述四个子项的冠军,总体将去年的纪录提高 2 倍到 5 倍。
GraySort 竞赛比拼的是如何在最短的时间内,将总共 100TB,一共 1 万亿条无序的 100 字节纪录,按照从小到大的顺序进行排序。数智用时 98.8 秒完成 100TB 的数据排序,即每分钟完成 60.7TB 的数据排序,去年冠军的纪录为 18.2TB/分钟。MinuteSort 竞赛,比拼的是在 1 分钟之内能够完成多少数据量的排序。数智的成绩为 1 分钟完成 55TB 的排序,去年冠军的纪录是 11TB,数智将这一数据量提升 5 倍。
Sort Benchmark 通过排序竞赛考量一家公司或机构大规模计算能力的综合实力,通过排序这个最基本的计算问题,不仅全面评测分布式系统软件架构能力(如海量数据分布式存储、计算任务切片调度、节点通信协调同步、数据计算监控容灾等性能),也评测了硬件架构能力(如服务器硬件选配、网络架构调优、IDC 规划建设能力等)。在这次排序竞赛中,腾讯云大数据联合团队在基础架构上采用了 512 台 IBM 的 OpenPOWER 服务器和迈络思公司的 100Gb 互联技术,这也让腾讯云大数据产品的性能取得进一步提升。
腾讯云副总裁、腾讯数据平台部总经理蒋杰表示,全球企业正在进入企业数据和社会数据的全融合时代,从浩瀚的大数据中寻找新业务航向,甚至建立全新的商业模式,正在成为这个时代企业的生存和发展命题,腾讯云全面开放腾讯 18 年海量大数据处理经验,为企业在最短的时间内,用最少的资源提供精准的计算,建立核心商业竞争优势。
此次参赛的腾讯云大数据联合团队由腾讯云存储产品中心、腾讯数据平台部组成,这个团队在大数据技术和应用管理上有非常丰富的实践经验,尤其是腾讯数据平台部一直在管理的腾讯大数据集群,是世界上最大的大数据集群之一。此前,这个团队一直苦练内功,多年技术积累让他们在全球计算奥运会上取得非常瞩目的成绩。
在对微信每天 160 亿级别的多维分析场景中,数智能够做到 6 秒返回结果;数智是腾讯云在互联网海量数据处理经验之上,结合开源 Hadoop 生态和自研组件服务,对外提供的一站式数据分析与挖掘平台,已在政府、传统企业和互联网企业中被深度应用。
业内人士评价,今年评测的结果显示,腾讯在大数据的技术积累超出了业界想象,未来腾讯持续向中国企业输出大数据和云计算能力,将会让中国更大范围的参与全球的商业竞争,提升中国经济在全球经济的市场占有率。
Sort Benchmark 排序竞赛官网公布的结果:http://sortbenchmark.org/