金武士——基于带外管理技术的数据中心节能研究

2020年5月22日,李克强总理在《2020年政府工作报告》中提出要“加强新型基础设施建设,发展新一代信息网络,拓展5G应用,建设数据中心,建设充电桩,推广新能源汽车,激发新消费需求、助力产业升级”,“新基建”作为“两新一重”建设之一再次被写入政府工作报告,其中以数据中心等为代表的算力基础设施是“新基建”的重要组成内容。
　　
　　2020年9月22日,在第75届联合国大会一般性辩论上,中国向全世界宣布将提高国家自主贡献力度,采取更加有力的政策和措施,CO2排放力争于2030年前达到峰值,努力争取2060年前实现碳中和。
　　
　　从新基建到碳中和,基础设施建设和节能减碳目标齐头并进,随着数据中心建设力度的快速加强,如何降低数据中心能源和资源消耗已成为业界关注的热点问题,绿色数据中心的建设重要性得到进一步凸显。
　　
　　2 节能研究
　　
　　(1)发展趋势
　　
　　Garnter在《The Future of Enterprise DataCenters—What’s Next》一文中展示了企业数据中心发展的关键趋势。
　　
　　图1中趋势5和趋势9分别是Smaller,Denser and Vertical(更小、更密集、更垂直化)和Greener and Sustainable(更绿色、可持续化)。一方面,企业数据中心将变得越来越小、越来越密集、越来越垂直化,这将导致数据中心的机柜电力负载越来越大,机架利用率越来越高;另一方面,绿色化和可持续性要求数据中心朝着节能减碳的方向发展,这也完全符合我国“创新、协调、绿色、开放、共享”的五大发展理念。
　　
　　(2)节能思路
　　
　　根据谷歌公司的数据统计,数据中心的能耗主要由IT系统、空调制冷、通风加湿、电力照明等部分组成,IT设备能耗主要是由服务器和网络通信设备产生的,其中服务器的能耗约占IT系统总能耗的80%。
　　
　　从企业数据中心密集化、垂直化的发展趋势来看,提升数据中心机柜的使用率是一个具备较大潜力的节能手段。作为保障IT业务运行必不可少的基础设施,制冷通风系统在能耗上的占比通常是最高的,合理调配实现空调系统的精准制冷是实现数据中心节能的工作重点之一。同时,伴随着IT资源云化的发展趋势,虚拟机的使用达到了空前的一个规模,因此虚拟机调度也是云计算下数据中心节能的一个新的方向;这些节能方法都可以通过带外管理实现。数据中心能耗来源分解和新趋势下的节能思路分别如图2和图3所示。
　　

　　(3)技术研究
　　
　　本文的主要研究内容是通过带外管理方式采集IT设备的实时能耗数据,并通过数据分析和聚合,得出最合适的节能策略,实现安全、智能、可视化的能耗管理。外带管理技术如图4所示。该技术最大的优势在于安全性和便捷性,带外网络与业务网络完全隔离,且无需进行机房、机柜的改造,也无需加装额外的传感器,可在保证IT业务正常运行的基础上进行能耗管理。
　　
　　带外管理使用了IMPI(智能平台管理接口)协议,该协议是一种开放标准的硬件管理接口协议,定义了嵌入式管理子系统进行通信的特定方法。IPMI信息通过BMC基板管理控制器(位于IPMI规格的硬件组件上)进行交流,使用硬件智能管理而不使用操作系统进行管理,允许进行带外服务器管理,操作系统不必负担传输系统状态数据的任务。用户可以利用IPMI监视服务器的物理特征,如温度、电压、风扇工作状态、电源供应以及机箱入侵等。
　　
　　IPMI最大的优势在于它独立于计算芯片CPU、主板IO控制系统BIOS和操作系统,所以无论是否开机,只要接通电源就可以实现对服务器的监控管理。
　　
　　所有的IPMI功能可以通过使用规格中指定的标准化说明,向BMCoverIP发送指令来实现。IPMI固件接收事件信息并将其记录在系统事件日志(SEL)中,维护对系统中的传感器进行描述的传感器数据记录(SDR)。
　　
　　(4)节能手段浅析
　　
　　①提升机柜利用率(图5)
　　
　　在缺乏数据支撑的情况下,大量机房以牺牲能耗的代价来保证系统安全,导致机柜的整体利用率较低。影响机柜利用率的因素主要有二,一是要考虑机柜的电力负载,二是要考虑到局部热点。机柜的设备放置数量主要是按照功率实际计算出来的,假设我们机柜设计的额定电流是32A,计算出机柜的额定功率约7kW,以华为2288Hv5服务器为例,其为550W双电源设计,通常使用方按照额定功率去计算电力负载的话,一个7kW的机柜最多放置12台服务器。除此之外,还要考虑设备密集环境下的散热情况,因此实际上机柜的设备上架量更低。
　　
　　通过部署带外系统,可以根据带外手段精准获取服务器级的实时能耗和设备进出口风的实时温度,合理规划机柜空间,提升机柜利用率,降低机房运营成本,延长数据中心使用寿命。同样以2288Hv5服务器为例,其为550W的双电源设计,通过带外手段可获取其实际功率,如果实际功率只有350W,那么理论机柜的设备放置量可达20台。与此同时,利用带外手段可对机房环境的监控进一步精细化,管理人员可清楚获悉每一台服务器的温度,而不是机房区域或者说冷通道的整体温度。
　　
　　②服务器动态功率调节(图6)
　　
　　动态功率管理包括动态开启开关/关闭技术和动态休眠技术,服务器动态功率技术可根据当前数据中心的负载,使整个服务器系统在满足用户的请求的前提下,关闭多余的限制服务器以节约能耗。在服务器重新启动或者关闭的过程中,将之后的用户请求在所有的活跃状态的服务器之间进行动态平衡。
　　
　　现代计算机系统均支持机器休眠状态,能够将服务器置于一种能耗更低的睡眠状态,以此来降低数据中心的电能消耗。通过带外的电源控制策略,即可设置服务器的智能节能模式。
　　
　　③提升制冷效率(图7)
　　
　　机房制冷普遍存在“过供给”现象,为了保证数据中心局部热点的需要,通常以远高于非热点区域制冷需求的标准来配置整个机房的制冷系统。大部分数据中心设计只能实现机房区域温度监控,定位热点区域,无法确认热点设备,甚至无法确定热点机柜,因此无法根据温度情况,做出合理的优化决策,确认需要进行负载调整、制冷策略调整的位置。
　　
　　通过带外方式,可精准捕捉到机房的局热点,可有效弥补制冷粗放的缺陷,通过系统捕捉到的局部热点,调动制冷系统,调整出风位角度及出风量,进行精准送风,从而提升制冷系统的效率。在保障设备正常运行前提下,通过合理提升数据中心温度,减少制冷成本。根据ASHRAE的数据统计,回风温度每提高一度,冷却能力将提高4%到5%。
　　
　　④虚拟机实时迁移(图8)
　　
　　基于虚拟机实时迁移技术的动态服务器整合技术利用虚拟机监控层获取温度、利用率和功耗等数据信息,并根据此类信息进行虚拟服务器的整合调度或者迁移,达到负载平衡以降低功耗。例如带外技术来探测数据中心中的“热点”,并对该“热点”进行迁移或交换以达到负载平衡,提高服务器的利用率。
　　
　　目前针对物理资源这一功耗影响因子的能耗模型已经日趋完善,Fan等提出基于CPU利用率的系统能耗模型,该模型为线性模型,如式(1)所示:
　　
　　Ppred=C0+C1×UCPU