CN108777637A - 一种支持服务器异构的数据中心综合管理***和方法 - Google Patents

Abstract

本发明涉及一种支持服务器异构的数据中心综合管理***和方法。本发明的支持服务器异构的数据中心综合管理***包括提供云服务的异构节点服务器端、各数据中心的数据中心综合管理***平台代理端和处于服务前端的数据中心综合管理***平台端。本发明的优点是有助于数据中心的统一管理，尤其是在涉及物理资源与虚拟资源同时需要监控的场景，具备更细粒度的硬件监控，能够适合不同规模的云服务器集群监控需求，具有较高的网络适应性与灵活的扩展性，对于研究类似的服务器硬件管理***具有参考意义。

Description

一种支持服务器异构的数据中心综合管理***和方法

技术领域

本发明涉及数据处理技术领域，具体来说涉及一种支持服务器异构的数据中心综合管理***，还涉及一种支持服务器异构的数据中心综合管理方法。

背景技术

随着大数据信息行业的飞速发展，数据中心的发展也进入到一个新的阶段。在数量众多的信息数据中，由于数据源的来源不同，其数据类型、数据结构也多种多样。由于不同数据结构的数据源都要使用不同的分析逻辑，导致在对多个不同数据结构的数据源进行数据分析时，不能直接使用通用的分析逻辑对这些数据源进行统一的处理。管理***是数据中心内部配置的重要组成部分。传统的管理***主要以动环监控为主，具备多种数据接口，可接入UPS、配电柜、精密空调、门禁、温湿度传感器、烟雾探测器、温感探测器、漏水传感器、翻转天窗及网络摄像机等多种监控对象。当前，随着云计算、大数据和互联网的快速发展，信息化的基础设施发生了根本转变，监控管理的需求从一些单独的***要求转化为整体平台化、统一平台、统一管理的***要求。各项应用服务器不再是单独的计算模块，而是通过云计算、大数据等平台将计算、存储资源统一起来，跨越数据中心范围形成规模庞大、统一监控与管理的资源池，因此需要能够监控大规模、分布式、跨地域的虚拟资源与物理资源的统一监控***。在服务器数量规模较小的场景下不曾被关注的问题，在服务器规模膨胀的今天却纷纷暴露出来。高层次的问题是如何既保证高可用性(SLA:Service-LevelAgreement)，又能提高效率(上线效率和修复效率)，还能够降低TCO(硬件成本，人员成本)。此时统一监控的概念应运而生，但仍有欠缺，其中的短板就是服务器硬件监控(包括计算服务器和存储服务器)不够智能，今天智能服务器硬件监控已成为IT运营人员(ITOperations，从运维向运营转变)的重点关注对象之一。如：硬件故障报出率偏低(目前约70％)，硬件故障定位粗放，导致修复效率低(时间)，修复成本高(时间，修复)；还有典型的服务器批次问题、硬件疑难杂症影响业务的问题、服务器生命周期如何控制的问题、数据中心中服务器的能耗成本问题、整体资源利用率偏低的问题等。

发明内容

本发明提供一种支持服务器异构的数据中心综合管理***和方法，以实现云服务器集群中的异构节点服务器实时动态监控与预警功能，使得数据中心综合管理***统一纳入所设计的服务器硬件管理服务框架之下，构建了一个高效、稳定的数据中心综合管理***。

为了解决上述技术问题，本发明公开了以下技术方案：

本发明第一方面提供了一种支持服务器异构的数据中心综合管理***，包括提供云服务的异构节点服务器端、各数据中心的数据中心综合管理***平台代理端和处于服务前端的数据中心综合管理***平台端；所述异构节点服务器端负责节点服务器***性能信息的采集；所述平台代理端安装负责对各节点服务器的负载信息进行采集及动态分析，并定时上报给数据中心综合管理***平台端；所述数据中心综合管理***平台端与平台代理端通信连接，数据中心综合管理***平台端负责对管辖内所有平台代理端负载信息进行收集汇总、计算和分析。

进一步地，所述异构节点服务器端安装MonitorClient程序，负责节点服务器***性能信息的采集。具体为：通过调用操作***的Performance Logsand Alerts(性能记录日志及警报)服务，周期性对当前异构节点服务器的CPU利用率、内存利用率、磁盘使用率等***性能及负载的信息进行动态采集，并向数据中心综合管理***平台定期汇报。

进一步地，平台代理端安装MonitorServer程序，负责对各节点服务器的负载信息进行采集及动态分析，定期对各监管对象进行主动探询，获取各异构节点服务器的网络响应时间；同时收集各异构节点服务器通过本地安装的MonitorClient程序获取的实时CPU利用率、内存利用率、磁盘使用率等***性能及负载信息；对各异构节点服务器的负载进行动态综合分析，形成动态性能库和动态告警库，并定时上报给数据中心综合管理***平台端。本发明采用简单网络管理协议SNMP为基本通信方式，以Java进行数据采集框架的算法描述，把IPMI协议及Modbus协议进行MIB格式的封装，定义了兼容新的采集协议的方法及可变的采集策略，定义了协议封装模块模式，定义了间使用了配置数据库储存模块的配置方式，上层模块可以通过更改数据库的配置，再通知***刷新配置来达到更新配置的目的。使用标准化的接口方式运行主程序，定义IMPI协议及Modbus协议对应MIB节点，***统一为不同的监控信息分配MIB节点。通过MIB可以解决异构服务器和管理平台之间的接口统一问题，远程待监测设备对象在MIB中标识。

进一步地，数据中心综合管理***平台端安装程序包括云平台实时监控模块和云调度管理模块，云平台实时监控模块负责动态接收集各数据中心综合管理***平台实时上报的性能库及告警库，可视化实时呈现所管辖所有异构节点服务器的性能及负载状况，对综合负载指标分配高的异构节点服务器进行预警显示；云调度管理模块周期性计算并排序平台代理端的综合负载指标，当新的云服务请求到达时，分析服务类型，按请求类型将请求转发到动态负载表中加权综合负载指标最低的平台代理端，同时，对云集群服务器中的虚拟机进行动态迁移，对故障平台代理端手动故障处理。

进一步地，所述数据中心综合管理***平台端采用双机热备技术，引入备份数据中心综合管理***平台端，以保证调度的高可用性和稳健性。正常情况下，由主数据中心综合管理***平台端对外提供服务，一旦主数据中心综合管理***平台端发生故障，备份数据中心综合管理***平台端将立即接管相应的工作，以保证云服务的正常进行。

进一步地，所述一体化安全管理端包括云端和接入端的各类主机***，提供端到端的安全技术保障能力，并提供丰富的Restful API，可以与数据中心综合管理***进行深度的集成和联动，实现云数据中心安全管理的自动化，降低运维成本。

本发明还公开了一种支持服务器异构的数据中心综合管理方法，包括以下步骤：

采集异构节点服务器***性能信息；

收集***性能信息，分析动态性能指标信息并上报汇总至数据中心综合管理***平台端；

计算和分析负载信息数据，发送指令至数据中心综合管理***平台代理端。

进一步地，采集异构节点服务器***性能信息的具体方法为：与网络相关的数据采用SNMP协议进行采集，与硬件参数相关的数据采用IPMI协议进行采集，一些UPS和精密空调用Modus协议采集。

进一步地，平台代理端的实施过程如下：

(1)根据数据中心的应用场景，数据采集框架的核心就是对被监管设备进行数据采集，这里面包括了服务器名称、型号、内存、硬盘大小等静态数据，也包括服务器节点的网口速率、网口输入流量、网口输出流量、网口管理状态、***CPU负载、温度、电压、风扇等动态信息。其中与网络相关的数据(如网口速率、网口输入流量、网口输出流量、网口管理状态等)采用SNMP协议进行采集，与硬件参数相关的数据(如温度、电压、风扇等)采用IPMI协议进行采集，一些UPS和精密空调用Modus协议采集，包括供电参数、负载率或送风温度等。

(2)***将SNMP协议、IPMI协议及Modbus协议封装到采集模块里，根据采集节点的信道选择性的调用相关服务进行作业，***统一为不同的监控信息分配MIB节点，远程待监测设备对象就是在MIB中标识；数据库主要存放***的数据信息，分为数据库配置表和数据库信息表。配置表用来存放***的配置信息，主要包括各个设备的采集节点的配置信息和采集策略引擎的配置信息等，而信息表主要用来存放被监控设备的采集结果。由于节点的采集信道有SNMP、IPMI及Modbus协议等，因此底层数据采集在实现的时候要能根据节点的信道种类选择性得调用相应的采集方法。

(3)平台代理端对设备节点进行定期轮询，设备节点响应管理平台的查询和控制命令，并将结果回送，这样就完成了对异构服务器的统一监控处理。

具体地，平台代理端的工作流程包括以下几个步骤：

①平台代理端首先从平台端的数据库配置表中读取节点信息，完成节点模型的初始化；

②协议封装模块根据节点信道不同动态装配协议，工作节点会封装相应的协议信息；

③输入参数：根据节点的信道类型，动态的装配协议并将其返回；

④输出参数：模型节点对象、信道对象；

⑤返回值：该节点的协议对象；

⑥***将使用SNMP4J工具进行核心流程封装整合，该方法初始化SNMP协议节点，并返回结果；

⑦确定传输协议并实例化Snmp对象；

⑧监听SNMP消息，构造发送目标，驱动采集完成；

⑨将采集完成的数据上报给平台端；

⑩重复①～⑨步骤，完成循环采集过程。

本发明中，异构节点服务器是真正为用户提供具体服务的服务器。节点服务器对用户来说是透明的，根据用户要求的服务，可能有多个异构节点服务器参与具体的云服务，包括数据的分布式存储或并行计算等。异构节点服务器一般位于某个数据中心或某个云服务器集群。平台代理端负责掌控所管辖各异构节点服务器的实时性能和综合状况，对数据中心的服务器集群进行实时监控，对超负载的服务器进行预警，故障管理与恢复等工作，同时，定期将实时采集的数据发送给数据中心综合管理***平台端。在云服务器集群环境下，为适应对服务器的高性能、高可用性和灵活的扩展性等高要求，需要引入数据中心综合管理***平台端，来充当服务任务的分配者和云的管理者。引入数据中心综合管理***平台端后，云服务器集群对外具有唯一的IP，即数据中心综合管理***平台端IP，也称为云地址。数据中心综合管理***平台端是整个云的指挥中心。用户提交云服务请求后，数据中心综合管理***平台端会根据内置的调度策略，分析并确定真正提供服务的异构节点服务器并进行服务转接，用户不需知道具体提供服务的服务器是谁。一体化的安全管理面向支持服务器异构的云数据中心物理、虚拟主机***、虚拟化软件、PC业务终端、自主服务智能终端等领域的主机软件软件设计，是主机安全加固的管理形式，是构成本发明云安全体系的核心，为云安全提供全方位的安全能力保障。本发明的一体化安全管理实施统一的安全监控和可视化管理，通过底图监控模式可全面感知各类***的安全状态，快速定位全网高危资源及安全事件，提高安全应急响应的能力，并具备丰富的安全趋势分析、安全TOP分析、实时安全动态等分析和告警能力。本发明所述的一体化安全管理支持分级分权管理，可通过资源组、策略模板、备份还原功能组合，提供批量策略维护和更新等便捷管理。

与现有技术相比，本发明的有益效果是：本发明有助于数据中心的统一管理，尤其是在涉及物理资源与虚拟资源同时需要监控的场景，具备更细粒度的硬件监控，本发明的三位一体式架构，能够适合不同规模的云服务器集群监控需求，具有较高的网络适应性与灵活的扩展性，对于研究类似的服务器硬件管理***具有参考意义。

附图说明

图1为本发明的支持服务器异构的数据中心综合管理***的连接关系示意图；

图2为本发明的整体工作流程图；

图3为本发明平台代理端的工作流程图；

其中，1-异构节点服务器端；2-数据中心综合管理***平台代理端；3-数据中心综合管理***平台端；

31-云平台实时监控模块；32-云调度管理模块。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

首先，为了方便对实施例的理解，下面对实施例中涉及的缩略词和关键术语予以解释和说明：API指应用程序接口。

实施例1

如图1所示，本发明的支持服务器异构的数据中心综合管理***由提供云服务的异构节点服务器端、各数据中心的数据中心综合管理***平台代理端、处于服务前端的数据中心综合管理***平台端和一体化的安全管理组成。本发明采用Client/Server架构设计，各分层具体设计如下：

异构节点服务器端安装MonitorClient程序，负责节点服务器***性能信息的采集。具体为：通过调用操作***的Performance Logs and Alerts(性能记录日志及警报)服务，周期性对当前异构节点服务器的CPU利用率、内存利用率、磁盘使用率等***性能及负载的信息进行动态采集，并向数据中心综合管理***平台定期汇报。所述平台代理端安装MonitorServer程序，负责对各节点服务器的负载信息进行采集及动态分析，定期对各监管对象进行主动探询，获取各异构节点服务器的网络响应时间；同时收集各异构节点服务器通过本地安装的MonitorClient程序获取的实时CPU利用率、内存利用率、磁盘使用率等***性能及负载信息；对各异构节点服务器的负载进行动态综合分析，形成动态性能库和动态告警库，并定时上报给数据中心综合管理***平台端。本发明采用简单网络管理协议SNMP为基本通信方式，以Java进行数据采集框架的算法描述，把IPMI协议及Modbus协议进行MIB格式的封装，定义了兼容新的采集协议的方法及可变的采集策略，定义了协议封装模块模式，定义了间使用了配置数据库储存模块的配置方式，上层模块可以通过更改数据库的配置，再通知***刷新配置来达到更新配置的目的。使用标准化的接口方式运行主程序，定义IMPI协议及Modbus协议对应MIB节点，***统一为不同的监控信息分配MIB节点。通过MIB可以解决异构服务器和管理平台之间的接口统一问题，远程待监测设备对象在MIB中标识。所述数据中心综合管理***平台端安装程序包括云平台实时监控模块和云调度管理模块，云平台实时监控模块负责动态接收集各数据中心综合管理***平台实时上报的性能库及告警库，可视化实时呈现所管辖所有异构节点服务器的性能及负载状况，对综合负载指标分配高的异构节点服务器进行预警显示；云调度管理模块周期性计算并排序平台代理端的综合负载指标，当新的云服务请求到达时，分析服务类型，按请求类型将请求转发到动态负载表中加权综合负载指标最低的平台代理端，同时，对云集群服务器中的虚拟机进行动态迁移，对故障平台代理端手动故障处理。所述一体化安全管理端包括云端和接入端的各类主机***，提供端到端的安全技术保障能力，并提供丰富的Restful API，可以与数据中心综合管理***进行深度的集成和联动，实现云数据中心安全管理的自动化，降低运维成本。

本实施例中，所述数据中心综合管理***平台端采用双机热备技术，引入备份数据中心综合管理***平台端，以保证调度的高可用性和稳健性。正常情况下，由主数据中心综合管理***平台端对外提供服务，一旦主数据中心综合管理***平台端发生故障，备份数据中心综合管理***平台端将立即接管相应的工作，以保证云服务的正常进行。

实施例2

一种支持服务器异构的数据中心综合管理方法，包括以下步骤：

采集异构节点服务器***性能信息；

收集***性能信息，分析动态性能指标信息并上报汇总至数据中心综合管理***平台端；

计算和分析负载信息数据，发送指令至数据中心综合管理***平台代理端。

具体地，本实施例的支持服务器异构的数据中心综合管理方法，包括以下步骤：

异构节点服务器端周期性地采集服务器自身的性能实时信息(包括CPU利用率、内存利用率、磁盘使用率等***性能信息)，周期性将性能实时信息报告给数据中心综合管理***，响应由数据中心综合管理***平台端转发的云服务请求；

数据中心综合管理***平台代理端周期性收集所管辖各异构节点服务器定期报告的综合性能指标信息，周期性主动探询到各异构节点服务器的网络响应时间，可视化实时呈现所管辖异构节点服务器的性能状态，对异构节点服务器采集的性能指标进行实时分析，对综合负载指标分配高的异构节点服务器进行预警，对故障异构节点服务器进行故障处理与恢复等，定期形成节点性能汇总表，并向数据中心综合管理***平台端进行汇报；

数据中心综合管理***平台端周期性对管辖内所有平台代理端负载信息进行收集汇总，周期性计算并排序平台代理端的综合负载指标，新云服务请求到达时，分析服务类型，根据就近及就低的原则从最近的数据中心及负载最低的平台代理端中，分别找与当前服务类型相同且负载相对较小的平台代理端，将请求转发到动态负载表中加权综合负载指标最低的平台代理端；

一体化的安全管理端完成***权限分离及强访问控制，对***关键目录、文件、进程、服务等进行强访问控制，实时感知***中可执行程序变化，并根据程序的信任级别实施控制，确保及合法可执行程序能正常运行；合规性检测及修复，对主机***身份鉴别、访问控制、安全审计、利用利用等安全功能实施合规性检测，降低主机***合规性风险；提供主机防火墙功能，可针对主机实施点对点的访问控制。

本实施例中，平台代理端的实施过程如下：

(1)根据数据中心的应用场景，数据采集框架的核心就是对被监管设备进行数据采集，这里面包括了服务器名称、型号、内存、硬盘大小等静态数据，也包括服务器节点的网口速率、网口输入流量、网口输出流量、网口管理状态、***CPU负载、温度、电压、风扇等动态信息。其中与网络相关的数据(如网口速率、网口输入流量、网口输出流量、网口管理状态等)采用SNMP协议进行采集，与硬件参数相关的数据(如温度、电压、风扇等)采用IPMI协议进行采集，一些UPS和精密空调用Modus协议采集，包括供电参数、负载率或送风温度等。

(2)***将SNMP协议、IPMI协议及Modbus协议封装到采集模块里，根据采集节点的信道选择性的调用相关服务进行作业，***统一为不同的监控信息分配MIB节点，远程待监测设备对象就是在MIB中标识；数据库主要存放***的数据信息，分为数据库配置表和数据库信息表。配置表用来存放***的配置信息，主要包括各个设备的采集节点的配置信息和采集策略引擎的配置信息等，而信息表主要用来存放被监控设备的采集结果。由于节点的采集信道有SNMP、IPMI及Modbus协议等，因此底层数据采集在实现的时候要能根据节点的信道种类选择性得调用相应的采集方法。

(3)平台代理端对设备节点进行定期轮询，设备节点响应管理平台的查询和控制命令，并将结果回送，这样就完成了对异构服务器的统一监控处理。

具体地，本实施例平台代理端的工作流程包括以下几个步骤：

①平台代理端首先从平台端的数据库配置表中读取节点信息，完成节点模型的初始化；

②协议封装模块根据节点信道不同动态装配协议，工作节点会封装相应的协议信息；

③输入参数：根据节点的信道类型，动态的装配协议并将其返回；

④输出参数：模型节点对象、信道对象；

⑤返回值：该节点的协议对象；

⑥***将使用SNMP4J工具进行核心流程封装整合，该方法初始化SNMP协议节点，并返回结果；

⑦确定传输协议并实例化Snmp对象；

⑧监听SNMP消息，构造发送目标，驱动采集完成；

⑨将采集完成的数据上报给平台端

⑩重复①～⑨步骤，完成循环采集过程。

本发明中，异构节点服务器是真正为用户提供具体服务的服务器。节点服务器对用户来说是透明的，根据用户要求的服务，可能有多个异构节点服务器参与具体的云服务，包括数据的分布式存储或并行计算等。异构节点服务器一般位于某个数据中心或某个云服务器集群。平台代理端负责掌控所管辖各异构节点服务器的实时性能和综合状况，对数据中心的服务器集群进行实时监控，对超负载的服务器进行预警，故障管理与恢复等工作，同时，定期将实时采集的数据发送给数据中心综合管理***平台端。在云服务器集群环境下，为适应对服务器的高性能、高可用性和灵活的扩展性等高要求，需要引入数据中心综合管理***平台端，来充当服务任务的分配者和云的管理者。引入数据中心综合管理***平台端后，云服务器集群对外具有唯一的IP，即数据中心综合管理***平台端IP，也称为云地址。数据中心综合管理***平台端是整个云的指挥中心。用户提交云服务请求后，数据中心综合管理***平台端会根据内置的调度策略，分析并确定真正提供服务的异构节点服务器并进行服务转接，用户不需知道具体提供服务的服务器是谁。一体化的安全管理面向支持服务器异构的云数据中心物理、虚拟主机***、虚拟化软件、PC业务终端、自主服务智能终端等领域的主机软件软件设计，是主机安全加固的管理形式，是构成本发明云安全体系的核心，为云安全提供全方位的安全能力保障。本发明的一体化安全管理实施统一的安全监控和可视化管理，通过底图监控模式可全面感知各类***的安全状态，快速定位全网高危资源及安全事件，提高安全应急响应的能力，并具备丰富的安全趋势分析、安全TOP分析、实时安全动态等分析和告警能力。本发明所述的一体化安全管理支持分级分权管理，可通过资源组、策略模板、备份还原功能组合，提供批量策略维护和更新等便捷管理。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种支持服务器异构的数据中心综合管理***，其特征在于，包括提供云服务的异构节点服务器端、各数据中心的数据中心综合管理***平台代理端和处于服务前端的数据中心综合管理***平台端；

所述异构节点服务器端负责节点服务器***性能信息的采集；

所述平台代理端安装负责对各节点服务器的负载信息进行采集及动态分析，并定时上报给数据中心综合管理***平台端；

所述数据中心综合管理***平台端与平台代理端通信连接，数据中心综合管理***平台端负责对管辖内所有平台代理端负载信息进行收集汇总、计算和分析。

2.根据权利要求1所述的支持服务器异构的数据中心综合管理***，其特征在于，所述异构节点服务器端安装MonitorClient程序。

3.根据权利要求2所述的支持服务器异构的数据中心综合管理***，其特征在于，所述异构节点服务器端通过调用操作***的Performance Logs and Alerts服务，周期性对当前异构节点服务器的***性能及负载的信息进行动态采集。

4.根据权利要求1所述的支持服务器异构的数据中心综合管理***，其特征在于，平台代理端通过安装MonitorServer程序对各节点服务器的负载信息进行采集及动态分析，定期对各监管对象进行主动探询，获取各异构节点服务器的网络响应时间；收集各异构节点服务器通过本地安装的MonitorClient程序获取的实时***性能及负载信息；对各异构节点服务器的负载进行动态综合分析，形成动态性能库和动态告警库，并定时上报给数据中心综合管理***平台端。

5.根据权利要求1所述的支持服务器异构的数据中心综合管理***，其特征在于，数据中心综合管理***平台端安装程序包括云平台实时监控模块和云调度管理模块。

6.根据权利要求1所述的支持服务器异构的数据中心综合管理***，其特征在于，所述数据中心综合管理***平台端采用双机热备技术。

7.一种支持服务器异构的数据中心综合管理方法，其特征在于，包括以下步骤：

采集异构节点服务器***性能信息；

收集***性能信息，分析动态性能指标信息并上报汇总至数据中心综合管理***平台端；

计算和分析负载信息数据，发送指令至数据中心综合管理***平台代理端。

8.根据权利要求7所述的支持服务器异构的数据中心综合管理方法，其特征在于，采集异构节点服务器***性能信息的具体方法为：与网络相关的数据采用SNMP协议进行采集，与硬件参数相关的数据采用IPMI协议进行采集，一些UPS和精密空调用Modus协议采集。