CN109857613A - 一种基于采集集群的自动化运维*** - Google Patents

Abstract

本发明公开了一种基于采集集群的自动化运维***，分为从上到下的展现层，功能层，采集层和资源层；其中，展现层用于向功能层下发操作指令；功能层调用各种采集节点，对资源层软硬件资源完成自动配置、日常巡检和故障检查，采集层配置多节点采集集群，对资源层数据进行采集，并向功能层反馈采集结果，资源层是自动化运维***管理的所有软件和硬件资源。本发明的自动化运维***，针对不同配置与巡检场景，形成定制化的配置与巡检任务，实现指标参数的自动采集、自动分析和巡检报告的自动生成。本发明依靠多个采集节点之间的协调工作，保证了面对大量采集任务时良好的负载能力，从而确保了采集过程的可靠性和高效性。

Description

一种基于采集集群的自动化运维***

技术领域

本发明涉及一种基于采集集群的自动化运维***，属于企业运维管理技术领域。

背景技术

随着企业业务范围的扩大和业务能力的增强，企业业务***所涉及的硬件技术环境和软件技术环境逐步扩大。可能涉及的操作***有Windows、Linux、Aix、Unix等；可能涉及的数据库有Oracle、MongoDB、SQLserver、达梦等；可能涉及的中间件有Weblogic、Tomcat、Jboss等；网络设备涉及交换机、路由器、网络防火墙等。其中部分设备可能因为品牌不同在操作方式和技术原理上存在细节区别。运维工作涉及面过广，对运维人员的专业能力要求过高，增加了运维的成本和运维的难度。

目前企业的运维方式仍是在用户操作业务***出现故障后，通知运维人员，再由运维人员采取相应补救措施。这种传统的“刀耕火种”式的运维方式存在工作繁琐、效率低下、人员要求高、出错率高、面对异常难以快速恢复等缺点。面对越来越庞大的运维规模和越来越复杂的运维场景，如何降低运维成本和提高运维效率已经是一个亟待解决的课题。

传统运维方式已经完全无法满足目前的运维场景，目前企业需要运用专业化、标准化和流程化的手段来实现运维工作的自动化管理，将纯粹的人工操作转化成自动化运维。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于采集集群的自动化运维***，构建巡检知识库，针对不同配置与巡检场景，形成定制化的配置与巡检任务，实现指标参数的自动采集、自动分析和巡检报告的自动生成，并提供告警处理与指导。

为解决上述技术问题，本发明提供一种基于采集集群的自动化运维***，分为展现层，功能层，采集层和资源层；所述展现层提供可视化操作管理界面，用户通过可视化操作管理界面向功能层下发操作指令；所述功能层接受用户下发的操作指令，调用各种采集节点，对资源层软硬件资源完成自动配置、日常巡检和故障检查；所述采集层配置有由多个采集节点构成的多节点采集集群，所述多节点采集集群接收功能层下发的采集任务，对资源层数据进行采集，并向功能层反馈采集结果；所述资源层是自动化运维***管理的所有软件和硬件资源。

前述的采集节点均配置支持各种网络协议的采集插件，包括SSH采集插件，TELNET采集插件，SNMP采集插件，JMX采集插件，WMI采集插件，JDBC采集插件和HTTP采集插件。

前述的针对自动化运维***管理的所有软件和硬件资源建立对应的采集指标和采集协议，包括：主机***采集指标有***运行时间、操作***版本、CPU信息、内存信息、进程信息和端口信息；数据库采集指标有数据库健康运行时长、数据库表空间信息、数据库用户信息和吞吐量；操作***信息采集协议使用SNMP或SSH；数据库信息采集协议使用JDBC。

前述的多节点采集集群根据选举规则选举Leader节点，所述Leader节点直接接收功能层发送的采集任务，根据受管理的采集节点的负载情况，下发采集任务；下发后对应采集节点根据收到的采集任务，调用对应采集插件，收集被采集对象的相关指标信息；然后将得到的采集结果返回至Leader节点。

前述的Leader节点下发采集任务，若下发失败则重新下发一次，两次下发失败则任务该采集节点宕机，重启该采集节点的采集服务。

前述的功能层配置巡检知识库和资源配置库，所述巡检知识库内包括巡检指标，采集协议，采集脚本和采集结果处理脚本；所述资源配置库内包括巡检设备的设备信息。

前述的功能层配置巡检知识库管理模块，巡检对象管理模块，巡检脚本管理模块，巡检作业管理模块，巡检任务管理模块，巡检任务调度模块，巡检作业执行模块，巡检报告管理模块和告警管理模块；所述功能层针对不同配置与巡检场景，形成定制化的配置与巡检任务，实现巡检指标参数的自动采集、自动分析和巡检报告的自动生成，并提供告警处理与指导。

前述的告警管理模块配置告警响应规则和告警处理规则，所述告警响应规则根据巡检采集结果判断是否产生告警，所述告警处理规则管理如果产生告警时的处理方式。

前述的巡检任务的执行过程如下：

1）在资源配置库中取出巡检设备的设备详细信息；

2）在巡检对象管理模块生成具体的巡检对象；

3）在巡检知识库中根据设备类型选择巡检方式，从而在巡检脚本管理模块生成具体的巡检脚本；

4）在巡检作业管理模块结合巡检对象和巡检脚本生成巡检作业；

5）在巡检任务管理模块根据触发条件定制巡检方式，生成巡检任务；

6）在巡检任务调度模块进行任务调度，将巡检任务分发到巡检作业执行模块进行执行；

7）巡检作业执行模块执行巡检，采集设备运行信息，结合告警管理模块配置的告警处理策略，生成告警信息，同时巡检的结果在巡检报告管理模块按样式要求生成巡检报告。

前述的一项巡检任务包含某一巡检指标在某个周期内是否处在正常范围，包括巡检资源指标、采集周期和指标的告警范围。

本发明所达到的有益效果为：

本发明依靠多个采集节点之间的协调工作，保证了面对大量采集任务时良好的负载能力，从而确保了运维过程的可靠性和高效性。

附图说明

图1 为现有企业业务***所涉及的软件环境和硬件环境；

图2为本发明的基于采集集群的自动化运维***架构图；

图3为本发明的自动化运维***执行巡检任务的流程图；

图4为本发明的多节点采集集群的工作流程图；

图5为本发明的多节点采集集群示意图。

具体实施方式

下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明提供一种基于采集集群的自动化运维***，如图2所示，从上到下包括展现层，功能层，采集层和资源层四层。其中，展现层提供可视化操作管理界面，用户通过可视化操作管理界面向功能层下发操作指令。功能层，接受用户下发的操作指令，实现各项自动化运维***的功能，通过任务调度与执行引擎，调用各种采集节点，对资源库中软硬件资源完成自动配置、日常巡检和故障检查等运维任务。在采集层，配置由多个采集节点构成的多节点采集集群，采集节点即采集服务器，参见图5，每个采集节点均配置支持各种网络协议的采集插件，如：SSH采集插件，TELNET采集插件，SNMP采集插件，JMX采集插件，WMI采集插件，JDBC采集插件和HTTP采集插件，采集集群接收功能层下发的采集任务，采集集群的leader节点根据负载均衡分配采集任务给各采集节点，采集节点根据任务内容调用对应的采集插件，对资源层数据进行采集，并向功能层反馈采集结果。资源层是自动化运维***管理的所有软件和硬件资源，软件环境包括操作***，数据库和中间件，硬件环境包括主机***，网络设备和其他硬件设备如存储设备，负载均衡器，安全设备等，具体参见图1。

针对目前运维过程中涉及的绝大多数常用软件环境和硬件环境建立对应的采集指标库和采集协议。如主机***采集指标主要有***运行时间、操作***版本、CPU信息、内存信息、进程信息和端口信息等；数据库采集指标主要有数据库健康运行时长、数据库表空间信息、数据库用户信息、吞吐量等；操作***信息采集协议可以使用SNMP和SSH等；数据库信息采集协议使用JDBC。从而可以应对绝大多数运维场景，同时提供可扩展的采集插件接口，便于在目前运维***无法满足需求时扩展运维***应用范围。

参见图4，本发明的多节点采集集群的工作如下：首先根据选举规则选举具有较强的稳定性，能够胜任长时间工作的Leader节点；之后Leader节点直接接收到功能层发送的采集任务，根据受管理的普通采集节点的负载情况，下发采集任务，若下发失败则重新下发一次，两次下发失败则任务该采集节点宕机，重启该采集节点的采集服务；下发后对应采集节点根据收到的采集任务，调用对应采集插件，收集被采集对象的相关指标信息；然后，各普通采集节点将得到的采集结果返回Leader节点，经功能层分析处理后由操作管理界面进行展示。

在功能层，根据运维过程对软硬件***采集过程积累的经验和方法，本发明构建了巡检知识库。库内包括资源层***和设备的巡检指标（如：CPU、内存、磁盘空间等）、采集协议（SSH、TELNET、SNMP、JMX、WMI、JDBC、HTTP等）、采集脚本（Shell/Perl）和采集结果处理脚本等。针对不同配置与巡检场景，形成定制化的配置与巡检计划，实现指标参数的自动采集、自动分析和巡检报告的自动生成，并提供告警处理与指导。巡检知识库可以对于一类巡检计划，给出通用的巡检方法，如oracle数据库的相关指标信息可以采用JDBC协议采集，主机的CPU、内存信息可以通过SNMP和SSH协议采集等。

图3为本发明的自动化运维***执行巡检任务时的任务调度流程图，其中方形为流程中涉及到的***功能模块，柱形为流程涉及到的数据库数据，波形图表示流程产生和使用的中间信息。参见图3，配置巡检知识库管理模块，巡检对象管理模块，巡检脚本管理模块，巡检作业管理模块，巡检任务管理模块，巡检任务调度模块，巡检作业执行模块，巡检报告管理模块和告警管理模块。数据库包括资源配置库和巡检知识库。

在一次任务调度过程中，在资源配置库中取出巡检设备的设备详细信息，在巡检对象管理模块生成具体的巡检对象，巡检对象中包括设备巡检关注的信息，如设备类型、设备品牌、设备地址、管理端口等。在巡检知识库中根据设备类型选择合适的巡检方式，从而在巡检脚本管理模块生成具体的巡检脚本，包括远程连接脚本、数据库驱动和连接串等。在巡检作业管理模块结合巡检对象和巡检脚本生成巡检作业。在巡检任务管理模块根据触发条件定制巡检方式，如生成定时巡检、周期巡检等类型的巡检任务，一项巡检任务包含某一资源指标在某个周期内是否处在正常范围，包括巡检资源指标、采集周期和指标的告警范围等。面对各类巡检任务，在巡检任务调度模块进行任务调度，将巡检任务分发到巡检作业执行模块进行执行。执行巡检采集到设备运行信息，结合告警管理模块配置的告警处理策略，生成告警信息，同时巡检的结果在巡检报告管理模块按样式要求生成巡检报告。

告警管理模块配置告警响应规则和告警处理规则，告警响应规则根据巡检采集结果判断是否产生告警，告警处理规则管理如果产生告警时的处理方式，如告警忽略、邮件告警和短信告警灯等。同时根据采集结果和告警情况，定期制定报表，生成巡检报告，用于维护工作。

功能层还配置采集流程管理模块包含的功能有：配置采集任务、启动采集任务、返回采集结果等部分，在这个模块可以根据采集对象选择合适的采集协议，配置协议需要的采集参数，启动采集流程。在定制巡检计划模块对采集流程管理模块所定制的采集任务进行计划性管控，通过定制对应的巡检资源指标、采集周期、指标告警范围等，制定出符合要求的巡检计划，按照计划定期巡检采集运维资源。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于采集集群的自动化运维***，其特征在于，分为展现层，功能层，采集层和资源层；所述展现层提供可视化操作管理界面，用户通过可视化操作管理界面向功能层下发操作指令；所述功能层接受用户下发的操作指令，调用各种采集节点，对资源层软硬件资源完成自动配置、日常巡检和故障检查；所述采集层配置有由多个采集节点构成的多节点采集集群，所述多节点采集集群接收功能层下发的采集任务，对资源层数据进行采集，并向功能层反馈采集结果；所述资源层是自动化运维***管理的所有软件和硬件资源。

2.根据权利要求1所述的一种基于采集集群的自动化运维***，其特征在于，所述采集节点均配置支持各种网络协议的采集插件，包括SSH采集插件，TELNET采集插件，SNMP采集插件，JMX采集插件，WMI采集插件，JDBC采集插件和HTTP采集插件。

3.根据权利要求1所述的一种基于采集集群的自动化运维***，其特征在于，针对自动化运维***管理的所有软件和硬件资源建立对应的采集指标和采集协议，包括：主机***采集指标有***运行时间、操作***版本、CPU信息、内存信息、进程信息和端口信息；数据库采集指标有数据库健康运行时长、数据库表空间信息、数据库用户信息和吞吐量；操作***信息采集协议使用SNMP或SSH；数据库信息采集协议使用JDBC。

4.根据权利要求1所述的一种基于采集集群的自动化运维***，其特征在于，所述多节点采集集群根据选举规则选举Leader节点，所述Leader节点直接接收功能层发送的采集任务，根据受管理的采集节点的负载情况，下发采集任务；下发后对应采集节点根据收到的采集任务，调用对应采集插件，收集被采集对象的相关指标信息；然后将得到的采集结果返回至Leader节点。

5.根据权利要求4所述的一种基于采集集群的自动化运维***，其特征在于，所述Leader节点下发采集任务，若下发失败则重新下发一次，两次下发失败则任务该采集节点宕机，重启该采集节点的采集服务。

6.根据权利要求1所述的一种基于采集集群的自动化运维***，其特征在于，所述功能层配置巡检知识库和资源配置库，所述巡检知识库内包括巡检指标，采集协议，采集脚本和采集结果处理脚本；所述资源配置库内包括巡检设备的设备信息。

7.根据权利要求1所述的一种基于采集集群的自动化运维***，其特征在于，所述功能层配置巡检知识库管理模块，巡检对象管理模块，巡检脚本管理模块，巡检作业管理模块，巡检任务管理模块，巡检任务调度模块，巡检作业执行模块，巡检报告管理模块和告警管理模块；所述功能层针对不同配置与巡检场景，形成定制化的配置与巡检任务，实现巡检指标参数的自动采集、自动分析和巡检报告的自动生成，并提供告警处理与指导。

8.根据权利要求7所述的一种基于采集集群的自动化运维***，其特征在于，所述告警管理模块配置告警响应规则和告警处理规则，所述告警响应规则根据巡检采集结果判断是否产生告警，所述告警处理规则管理如果产生告警时的处理方式。

9.根据权利要求7所述的一种基于采集集群的自动化运维***，其特征在于，所述巡检任务的执行过程如下：

1）在资源配置库中取出巡检设备的设备详细信息；

2）在巡检对象管理模块生成具体的巡检对象；

3）在巡检知识库中根据设备类型选择巡检方式，从而在巡检脚本管理模块生成具体的巡检脚本；

4）在巡检作业管理模块结合巡检对象和巡检脚本生成巡检作业；

5）在巡检任务管理模块根据触发条件定制巡检方式，生成巡检任务；

6）在巡检任务调度模块进行任务调度，将巡检任务分发到巡检作业执行模块进行执行；

7）巡检作业执行模块执行巡检，采集设备运行信息，结合告警管理模块配置的告警处理策略，生成告警信息，同时巡检的结果在巡检报告管理模块按样式要求生成巡检报告。

10.根据权利要求9所述的一种基于采集集群的自动化运维***，其特征在于，一项巡检任务包含某一巡检指标在某个周期内是否处在正常范围，包括巡检资源指标、采集周期和指标的告警范围。