数据中心新的自动化运维技术
自从数据中心引入了 云计算 、虚拟化等大咖技术,立刻变了模样,这些技术大幅提升了数据中心的运行效率,给数据中心带来了诸多好处。不过,任何事情都有两面性,我们在享受新技术带来的益处时,也给数据中心运维的管理带来了不便,需要管理对象的数量、规模及复杂度均呈现指数级增长,传统人工干预、保姆式管理监控与故障处理的方式肯定无法满足要求了。比如对于公有云及大型私有云,服务器数量往往可以达到数万到数十万、百万规模,各类系统云服务及租户的业务应用负载数量,也达到了数以百万乃至千万级的程度,这样全靠人工维护不现实,必须引入自动化、智能化运维的管理模式,将人均维护管理效率从平均每人数十台服务器,提升到平均每人数千台服务器。运维的管理不能成为数据中心上云发展的绊脚石,也要跟得上数据中心的发展。本文将着重介绍几种现代运维中运用的新技术手段。
自动化人工故障修复机制
数据中心难免会出现这样那样的问题,靠人工发现不仅速度慢,而且容易误判。不妨将这个识别工作交由软件来处理。首先,要建立一个故障模式库,长期积累各种曾经或者可能会出现的故障预判、识别,这个故障库内容要实时保持更新,不断将一些新的故障类型和经验输入进去。其次,将故障判断的方法告知软件设备,由软件自动完成判断,软件根据从数据中心各个设备收集上来的运行参数,与故障模式库里保存的参数进行对比,如果发现有相同的,认为是数据中心出故障了。最后,数据中心可以采取告警方式通知运维人员,也可以由软件执行一键式修复。这个取决于业务的重要性以及数据中心故障经验积累的丰富性,万一恢复动作错误,可能会引发二次故障,给数据中心带来更大的损失,所以修复机制一定要慎重,非紧急的业务故障不建议采用自动修复,待人员确认之后再去手工执行修复。实际上,云计算的引入增加了数据中心故障自动检测和修复的难度,所有的应用业务都已和物理硬件设备脱离,形成了一个纯软件的虚拟世界,复杂的虚拟系统给故障的排查和分辨都带来了难度,这给自动化人工故障修复带来了极大挑战。不过,数据中心运维走自动化的路已不可避免,过多的人力成本对于任何一个高速扩张的数据中心都无法承受。
日志和监控信息集中管理与控制
传统数据中心中,各软硬件系统的日志监控信息往往相对零散孤立,没有实现与业务和用户的自动关联,当出现故障时,甚至还需要依此登录到每台设备上去排查,效率低下。在有些数据中心虽然部署了网管系统、日志服务器,依然需要人工检查。当数十万的设备同时输出日志时,海量的数据根本没有办法进行检查,这时就要统一对这些信息进行分析和判断。很多数据中心建设运维管理云平台,就是要将这些海量数据进行统一处理,依然是通过提前设定判断条件,然后发现不符合常规的日志及时进行告警。云平台的判断条件忽略了日志告警的设备差异,只关心对业务有影响的日志信息,设计一些特有的判断故障的条件,这些条件需要和各种设备厂商沟通好,证实这些判断是有效的,然后在云平台中部署。云平台的功能很强大,仅仅是依靠设备主动输出日志来诊断是远远不够的,它还可以主动从数据中心的任何一个环节采集监控信息,这些监控信息可以实时反映整个数据中心系统运行的综合状态,一旦出现异常的参数或者有变化的数值,就要引起警惕,输出告警。
大数据的机器学习机制
传统数据中心的故障发现与修复建议的处理,主要依赖云平台收集的日志和监控信息,通过运维人员长期积累的历史经验进行判断,人的行为是最不可靠的,很多时候经验都是错误的,而机器则不会出错,只要你给它足够的学习信息,它就可以做出正确的判断。最近Master很火,Master是一款会下围棋的机器人,在最近的围棋比赛中,取得了60胜1和的成绩,1和还是因为掉线被系统判和,落败者包括聂卫平等顶尖围棋高手,这说明只要给设备足够的学习时间,它的智慧可以远远超过人类。运维的管理也可以引入机器学习技术,通过对数据中心运维海量数据的分析,利用大数据建模,自动化地、智能化地挖掘出更多高价值的、运维人员认知范围外的故障模式与系统优化模式,从而进一步提升系统运维的效率。通过大数据机器学习,对大规模运维场景下的性能与故障规律分析、趋势预测及故障根因识别定位,提升机器自动化运维的能力,最终其将超过人工运维的判断准确性,就像机器人下围棋一样,最终机器运维数据中心也要大大超过人们自动去做。人们只要去研究如何让这些机器正确学习,学习好就可以了。
显而易见,云数据中心新的自动化运维技术特点主要是:自动化、自学习。由机器自我学习,自动完成数据中心的运维和故障修复。未来的数据中心虽然规模更大,系统更复杂,但在运维的管理上要从简,实现自动化运维管理。数据中心运维将人的因素排除,让数据中心形成一个完全的自治系统,实现成为真正的无人数据中心。当然,数据中心的自动化运维还有很长的路要走,没有哪个数据中心能够真正脱离人工参与。这就像自动驾驶汽车技术发展一样,技术复杂,并彻底改变了现有的生活方式,要人们接受需要很长时日。对于数据中心也一样,自动化运维技术虽好,但仍不够成熟,很多人持观望的态度,但愿未来这类技术可以很快完善起来。
注:本文摘自企业网D1Net,作者harbor,版权著作权属原作者所有,欲了解更多大数据行业相关资讯,可搜索数据观(中国大数据产业观察网www.cbdio.com)进入查看。
责任编辑:汤德正