京东自建数据中心核心技术解密——基础设施篇-时间:2017-09-14

京东自建数据中心中心技能解密——基础设施篇

本文将为我们揭秘京东自建数据中心的中心技能,经过《基础设施篇》和《数据中心运营篇》,揭开它立异技能的奥秘面纱。

作者:京 |2017-09-14 10:51
 

京东第一个自建数据中心是坐落宿迁的京东云华东数据中心,全体由4个模块和1栋归纳大楼组成,总占地面积将近6万平方米,总投资30亿元。

能够供给20万台的效劳器设备和运营才能,存储才能不小于32EB,核算才能不小于128千万亿次每秒。

作为京东的标杆项目之一,京东集团CTO张晨曾多次在业界大会上讲到:“宿迁自建数据中心的绿色环保技能,贯穿整个生命周期。从开始的概念规划到施工缔造,一向到投产后的运营办理,确保数据中心年均PUE≤1.3(实测),在华东区域到达领先水平。”

接下来我们将为我们揭秘京东自建数据中心的中心技能,经过《基础设施篇》和《数据中心运营篇》,揭开它立异技能的奥秘面纱。

制冷体系的技能立异

随着数据中心需求和规划的不断扩展,建造本钱和运转本钱不行防止的会成为企业的考量方针。数据中心不只耗电量巨大,耗冷量也不行小觑。

据统计,数据中心空调体系的能耗一般占总能耗的20%-40%左右,其中制冷紧缩机的能耗又占到空调体系总能耗的70%-90%。

下降空调制冷体系的能耗,将会是进步数据中心动力运用率最直接和有用的办法。因而,运用天然冷源来处理数据中心的散热问题,成为京东自建数据中心立异技能的中心考量之一。

Freecooling天然冷却体系

京东自建数据中心选址在江苏宿迁区域,一年中大部分时刻的温度在-5~35℃之间,水资源丰厚,归于暖温带季风气候区。年均气温14.2℃,四季清楚,初霜期一般在10月下旬。

相关于酷寒区域,室外设备被冻结毛病的可能性较小,而运用的室外天然冷源的条件又比较足够。

为了充沛运用冬天室外天然冷源进行天然冷却,冷冻水体系设置了水-水不锈钢板式换热器,与冷水机组并联。

体系中规划冷冻水供水温度为10℃,实践运转中能够进步水温,来进步体系运转全体功率并延伸天然冷却时刻。

实践运转中,冷冻水体系在室外日平均温度继续5天以上低于10度时,切换到天然冷却体系运用,日平均温度继续5天以上高于10度时,开始退出。全年根本能够分为免费制冷季和惯例制冷季。

京东IDC建造部技能专家黄轶彪谈到:“我们在传统的Freecooling技能基础上,添加了一套自主规划的气候环境采集操控体系,我们叫“滑润的接连调整”的Freecooling技能。

运用这套技能,彻底完结了制冷体系依据室内外环境温度、湿度、体系负荷巨细、滑润接连的调理各组件运转状况,始终保持体系在最佳的功率区间。

并且全年能够“免费”运用天然冷源的时刻高达180天以上,直接节省电费数百万元以上。”

制冷体系

制冷体系是数据中心的重要组成部分,担负着为数据中心供给牢靠出产环境的使命。京东在宿迁的自建数据中心,选用三级紧缩式冷水机组,结合水泵,冷塔变频操控带来很好的节能效果。

制冷设备选用4台水冷离心式冷水机组,3+1装备。紧缩机方法为三级离心式,三级紧缩具有转速低、运转平稳、低负荷工况好的特色,加大了机组制冷量的调理规模,一起,在三级紧缩的进程中设置两级节能器,与不带经济器的冷水机组比较,相同制冷工况下节电量到达8-10%。

冷冻水体系的规划供回水温度为10~16℃,首要设备选用N+1冗余装备,确保体系不会因为某一设备毛病而受到影响。整个水体系管路选用环状管路,设备之间设置双阀门,确保体系可用性。

并装备有在线式蓄冷罐,能够无间断的为体系供给15mins备用冷源。空调制冷体系的全体规划满意并高于Uptime Tier Ⅲ等级的要求。

空调制冷体系由冷源体系、管路体系、结尾空调体系和辅佐体系等构成,数据中心专门设置有制冷机房。

空调结尾体系

在京东宿迁自建数据中心的一期模块中,主机房内架空地板高度为1.2米。这种较高的架空层有利于空气静压的形成,使通风地板的出口风速平稳。

一起也为地下保温层和管线的维护供给了较大的空间。关于不同负荷的机柜,可调整通风地板的开孔面积分配冷量。机柜选用冷通道封闭的方法,使得空调送风冷却功率更高。

每个机房模块配有独立的直膨式新风机组,室外新风经初效和中效过滤,并经冷却处理后送入房间,确保机房正压需求。

主机房、变配电室、电池室、UPS配电室等均选用水冷式精细空调,选用N+1装备方法。

精细空调悉数选用“UPS+市电”双路供电,UPS电源为主用,为防止很多空调一起发动对电网形成冲击,空调采取了延时战略。

京东IDC建造团队对所选用的精细空调,选用了具有节能规划的产品,包含:

    空调EC风机叶轮选用航空级新型工程复合材料,质量更轻,强度更高,也愈加节能;

    经过操控器依据实践冷负荷按份额设定送风量,满意外部改变的冷负荷,下降风机消耗功率,进一步完结节能;

    优化气流通道,扩展回风过滤器面积,减小内部压强,下降风机的功耗;

    机组超大面积换热器,将风机模块设备在架空地板下,更好的运用机组的内部空间;

精细空调内置电极式加湿器,具有水处理体系,主动检测加湿罐中的杂质含量并铲除,减少了氧化结垢现象。

高牢靠性的技能确保

京东在宿迁的自建数据中心,中心方针之一是全力确保负荷用电的高牢靠性。

效劳器电源是整个数据中心供配电体系建造的要点,了解效劳器电源的相关特性关于数据中心的供配电体系建造具有重要的含义。

充沛了解效劳器电源的容量、冗余方法、制冷要求和能效规划等首要方针关于数据中心供配电体系的规划是十分必要的。

效劳器冗余电源体系终究都能够归结到双电源体系上,如果双电源效劳器的每一路电源都能经过独立的供电路由从独立的电源取电,就能够取得最高的牢靠性。

市电专线的供电体系确保

树立京东专属的110KV开关站成为到达高牢靠性这一方针的绝佳途径。110KV开关站紧邻京东宿迁自建数据中心园区,其上一级来自两个不同的220KV变电站专线。

在110KV开关站内设2台变压器,容量满意整个数据中心园区的最大用电量。当两台变压器恣意一台检修或发作毛病时,另一台彻底满意园区内一切设备的正常用电需求。

京东数据中心自建变电站

机房内一切电子信息设备都选用UPS供电,其中两个出产机房和两个网络机房电子的供电形式为2N,其他六个出产机房的供电形式则为N+1。

辅佐设备电源选用“UPS+市电”的供电形式,单台UPS后备蓄电池支撑时刻不小于15分钟。当一路市电电源毛病时,毛病回路负荷主动切换给另一回路承当。

即便当两路市电电源都发作毛病,机房模块内负荷由UPS蓄电池供电,一起备用柴油发电机组发动,向机房模块、空调冷源、照明等负荷供电。

后备柴油发电体系

如果市电发作断电,数据中心的发电体系会主动投入运转,与市电主动切换。并在限制时刻内,由发电机组发动确保重要负载的紧迫供电。

油罐储油量在无外部援助状况下满意发电机组大于12h带载接连运转,并有紧迫供油协议作为后继牢靠确保,恣意一套油路体系PLC操控呈现毛病时,主动切换至别的一套PLC操控体系,确保体系供油的牢靠性。当市电康复,经过人工承认后,手动康复市电供电。

京东在宿迁的自建数据中心,发电体系悉数选用进口一线品牌的柴油发电机组设备,具有杰出的发动功能。配有发动机缸套水加热设备,能够确保在低温时,体系的快速发动和带载才能。

机组能够接受负载突加75%的突发状况,确保发电机组快速发动后能够快速加载。对并机主控体系的冗余规划, 有用进步了并机体系的牢靠性。发电机装备有防潮加热器,防止因空气湿度过高下降发电机绝缘功能而形成安全危险。

供储油体系在每个数据中心模块中独立设置,物理阻隔。每个模块装备两个25立方埋地柴油储罐,每个柴油罐装备一用一备2台供油泵,两罐之间装备一台倒油泵。储罐区至机房日用油箱间输油管路为双环路规划,具有在线检修及容错才能。

非晶合金变压器

在宿迁自建数据中心项目中,IDC建造团队挑选选用了非晶合金变压器,它既有一般干式变压器阻燃自熄、防潮、耐裂的优秀功能,又具有十分优异的导磁功能,去磁与被磁化的进程极易完结。

有利于下降损耗,添加有用载荷,进步功率。与一般干式变压器技能参数比较较,空载损耗下降65%-70%,节能效果十分明显。

智能照明体系

京东在宿迁的自建数据中心,一切主机房都选用了分布式照明智能操控体系。人员进入机房时,体系会依据感应翻开该部位的灯具,人员脱离时灯具则按设定的延时时刻主动封闭。无人员进入机房时灯具能满意运维监控的最低亮度,到达节能与主动操控的意图。

实验性技能立异—6sigma模仿仿真

京东IDC建造建造部负责人,首席技能专家张敬特别谈到了在京东宿迁自建数据中心二期的建造中,IDC建造团队引进的更多更前沿的实验性项目,包含:“经过6sigma做CFD气流仿真核算,了解IDC模块内的气流组织,温度分布状况,依据效劳器的不同负荷状况,计算温度升高改变。”

“经过树立数学模型计算和6sigma CFD体系的验证,在确保效劳器平等负荷状况,以及满负荷状况,效劳器的实践需求功耗不添加的前提下,逐步进步效劳器的运转温度,也就是数据中心模块内的环境温度。”张敬还谈到:“于此一起,我们依据数学计算和CFD仿真验证的成果,将会在二期的实验模块里引进一些更节能的冷却技能。”

京东IT资源效劳部负责人吕科以为:“数据中心职业是一个技能含量十分高的效劳职业,它为企业很多的电子信息设备供给安全的场所、继续的电力、适宜的环境、安稳的网络以及专业的运维效劳。”

“这些表面看似简略的条件,背面却需求一个巨大杂乱的归纳体系来支撑。京东在人工智能,无人机,云核算等前沿科技领域,不断推出提高亿万用户购物体会的场景使用,正是根据我们继续技能立异的数据中心效劳。”

“数据中心在安全性和牢靠性方面的不断进步,一向会为这些立异技能的落地推行、上线使用、安稳运转保驾护航。”


 

分享到 QQ空间新浪微博 人人网腾讯微博 网易微博 0



IAP网络科技股份有限公司官网

版权所有:IAP网络科技股份有限公司  2015 杭ICP备05007539号-7 杭ICP证100714号 杭公网安备1101080209224号