企鹅的“金蛋”藏在哪儿" />
互联网行业是大数据的正儿八经的“大客户”,无论是从海量、速度、实时、类型等任何角度都当之无愧。在成为用户最多的中国互联网公司后,腾讯这只专下“金蛋”的企鹅所掌握的用户数据量也日益丰富。
如果说阿里巴巴拥有 90% 以上的电商数据,百度拥有 70% 以上的搜索数据,腾讯的“金蛋”无疑是大量社交、游戏等领域积累的文本、音频、视频和关系类数据。这些数据是腾讯后来在多元业务扩展时屡试不爽的重型武器,有分析人士说,“数据挖掘”才是腾讯最具门槛性质的技术。
无论是云,通过网络随需调用的计算资源;大数据,关联的可分析在线数据;还是各种智能终端,都要依托互联网,同时这些工具又帮助互联网从中掘金。当然,在数据成为“金蛋”前还有个前提,就是获取数据,并有效的梳理与标签。
腾讯公司数据平台助理总经理蒋杰曾骄傲地表示,在国内互联网体系中,腾讯拥有的数据覆盖多个领域,总存储数据量经压缩处理以后在 100PB 左右。腾讯 QQ 目前拥有 8 亿用户,4 亿移动用户,在cangku.html" target="_blank">数据仓库存储的数据量单机群数量已达到 4400 台,总存储数据量经压缩处理以后在 100PB 左右,并且这一数据还在以日新增 200TB 到 300TB,月增加 10% 的数据量不断增长,现在腾讯的数据平台部们正在为 1000 个 PB 做准备。
如果对各种 TP 和 PB 还缺乏感性认识,可以用几个每天都会用到的业务说明腾讯目前数据量的庞大:仅 QQ 以及微信用户每天上传的照片,就是中国一个中型互联网公司一个月的数据量;2014 年除夕夜的高峰时段,每分钟有 1000 万条微信、3270 万条 QQ 信息发出;微信团队专门为一些高频祝福语设置了隐形的彩蛋功能,比如微信内容中出现“万事如意、大吉大利”,屏幕上就会乒乒乓乓掉落很多桔子……事后统计,除夕当天中国人的手机上共掉落了 65 亿多个桔子,如果榨成汁,足够灌满 289 个水立方。
“微模块”之路
要应对不断爆炸的业务数据需求,腾讯的数据中心部门一直处于“连跑带颠”的追赶状态。“业务部门对我们的要求经常以‘周’甚至‘天’为周期。”腾讯网络平台部数据中心架构师李典林表示,正是快速、灵活、可扩展、高能效的要求,让腾讯自然而然地走上了微模块数据中心的道路。
从 2010 年起,腾讯已经推出了几个版本的微模块数据中心;经过不断测试验证,目前已经形成了定型的版本。目前,腾讯对微模块数据中心的标准定义是,以若干机架为基本单位,包含制冷模块、供配电模块以及网络、布线、监控在内的独立的运行单元。“麻雀虽小,五脏俱全”,这是李典林对腾讯微模块数据中心的形象评价。
腾讯的模块化数据中心设计遵循“从小到大”的原则,即从机架、IT 微模块、机房模块、建筑单体和园区逐层设计;而模块化数据中心建设遵循“从大到小”的原则,即从园区、建筑单体、机房模块、IT 微模块到机架逐层实施。“如果把服务器看成标准砖头,机柜看成厨房/阳台/洗手间,微模块就是小户型套房。通过微模块,我们可以不断复制堆叠,形成机房楼,乃至整个园区。”
腾讯的微模块数据中心在制冷和供电方式实现了诸多创新。据李典林介绍,腾讯的微模块数据中心不再采用传统的架高地板制冷模式,而是采用了行级空调近距离送风以及冷通道密封技术,这大大减少了制冷的耗能和成本。
在供电方面,李典林表示,腾讯大多数数据中心已经不再采用传统的 UPS,而是转而采用“高压直流(50%)+市电(50%)”的供电模式。“采用这种供电方案后,市电没有中间转换损耗,效率高达 100%;高压直流侧可采用节能休眠模式,全负载范围内可以达到 94% 以上高效率。因此,综合供电效率高达 97%。此外,未来还可以无缝升级成市电主供+高压直流后备的供电模式,达到 99% 以上供电效率。”
位于深圳龙岗区国人通信科技园的坪山数据中心,是深圳联通为腾讯量身订制的数据中心,腾讯负责合建数据中心及微模块相关技术标准和规范的制定,而中兴通讯集团下属的中兴网信则担任工程设计建设总承包商的角色。由于坪山中心是联通根据腾讯的需求订制的,因而简化了传统运营商数据中心根据客户需求进行改造的过程。“标准的模块化数据中心,用户唯一的界面就是微模块,不会出现传统数据中心角落能量不够或者局部热点等问题。在智能化方面,我们做了很多触摸屏,用来随时了解运行状况,查看精细化的报表,未来还会与动力系统连接起来,达到智能运行。”
“坪山数据中心完全由微模块组成,一期建设 20 个微模块,二期建设 40 多个微模块,总共部署了 1200 多个机柜。整个项目从装修进场到完工,只花了 4 个多月的时间,二期 40 个微模块从进场安装到通过测试验证只用了 45 天时间,充分体现了微模块易复制、部署速度快的优势。”
在坪山数据中心的建设过程中,腾讯部署了由 12 个机柜和 18 个机柜组成的两种不同的微模块。“我们在有柱子的地方部署由 12 个机柜组成的微模块,在没有柱子的地方部署由 18 个机柜组成的微模块,这种部署方式帮助我们实现了空间的灵活利用,”李典林说。此外,微模块内部的电源模块、行间空调数量等可以根据 IT 机柜功率灵活配置数量,满足不同功率密度的需求,目前微模块内可支持的最大机柜功率达到 12KW。
作为工程建设实施方的中兴网信数据业务部部长闫朝贵表示:“快速部署和标准化是模块化数据中心的特点,两者缺一不可。在实施过程中不仅要考虑如何快捷部署,也要考虑产品的标准化和通用性。快速部署是通过组件在工厂预安装,到现场快速连接来实现。而模块内部的机柜、线槽、电缆、开关和管道等都采用业界标准设计,降低了客户的维护成本。”
通过综合采用各种技术,如高压直流+市电直供的供电方式、行级制冷和冷通道密封技术,空调系统变频节能等技术,使气流循环的路径最短,节能 10% 以上。“在深圳这样的亚热带城市,数据中心 PUE(Power Usage Effectiveness,数据中心消耗能源总量与 IT 负载使用的能源之比,越接近 1 表明能效越高)保持在 1.7 是一个不错的水平了,全国数据中心的平均水平在 2.0 左右,坪山数据中心在投产三分之一负载的情况下 PUE 值达到 1.5,我们非常有信心在满负载的情况下 PUE 降到 1.4。”李典林说。虽然只是小小的 0.1 的变化,但对于数据中心这样的耗电大户来说,PUE 每下降 0.1,就意味着每年上千万元电费的节省。
李典林对于 Google、Fecebook 等国外互联网巨头的数据中心能达到 1.2 甚至 1.1 以下的 PUE 非常羡慕,但缺乏天然冷源的深圳要达到这一数值的可能性几乎为零,他只能将希望寄托在身处北方的腾讯天津数据中心,这座亚洲最大的数据中心总建筑面积 9.33 万平方米,预计服务器托管能力超过 10 万台,建成后 PUE 将达到 1.3 左右的水平。
作为腾讯第一座大规模的纯模块化数据中心,坪山中心的建设规格很高,未来腾讯的微信、游戏等明星业务都会转移到坪山数据中心,据李典林透露,目前微信的备份内容已经迁移过来。
默认路径
“微模块数据中心将是腾讯未来的数据中心建设思路。”李典林说。微模块数据中心在互联网行业得到赏识和推广,源于其特点与互联网公司的需求有众多契合,这里面最重要的是:创新技术倾向与掌控力、快、灵活、标准与规模。
大型互联网公司的业务多变性,对服务器、网络、IDC 资源的弹性需求非常大,因此互联网公司一般拥有较强的技术团队,把控着从服务器到网络设备,再到数据中心系统的优化定制——将自己对业务的需求转化为定制硬件需求,并以产品化的思维进行开发和快速迭代,这是互联网公司的区别于传统商业 IDC 或企业数据中心的地方。
根据 IDC 数据中心趋势研究人员 Michelle Bailey 的说法,数据中心的模块化模式有望在未来 5 年内成为建造数据中心几乎默认的方法,模块化数据中心将成为未来数据中心发展的趋势之一。
“其实,目前国内对数据中心的投资力度其实并不低于 4G。”闫朝贵表示,正是因为国内风起云涌的数据中心投资热,让多年聚焦海外市场的中兴网信回归国内市场,也带回了在苏丹、白俄罗斯等地多个国际公认最高规格的 Tier4 数据中心及国家级数据中心的设计建设经验。而相比起国外流行一时的集装箱式数据中心,微模块化数据中心的部署方式似乎更讨得国内客户的欢心。
与传统数据中心相比,采用微模块化的数据中心扩展性成为一大亮点——数据中心的管理员只需要根据用户的不同需求将相应数量的微模块安放到位,在各模块之间连接主干链路就可以完成网络的扩展。
作为数据中心基础设施的重要组成部分,将网络、供电、制冷、消防、监控等等采用模块化方案部署后,数据中心的建设方式发生了较大变化——将数据中心的设计和大部分施工转移到工厂进行预先定制,在将各功能模块运输到现场,以“搭积木”方式配合客户投资和业务发展需求进行搭建,从而灵活实现分期建设,大大提升数据中心效率。
互联网企业数据中心建设多采用模块化建设,一个或几个微模块支持某一类型的应用,当新应用功能出现时,相应的增加新数据中心微模块,如 Google、Facebook、Yahoo 等都开始采用微模块方式建设其数据中心。这些巨头从 IT 设备层面深度定制,微模块设计更为精简和标准化,都是云时代 IT 及基础设施深度定制的经典案例,也是国内数据中心微模块未来发展的方向。