CN104935482A - 分布式监控***及方法 - Google Patents

Abstract

本发明提出了一种分布式监控***及方法，该***包括：总管理节点，用于监控分管理节点的状态信息，根据状态信息指定各分管理节点与各服务器间的通信连接关系，并将通信连接关系记录至映射模块；总管理节点进一步用于获取消息中间件中存储的由各分管理节点发送的服务器的监控数据信息，并将监控数据信息进行存储；分管理节点，用于根据映射模块中的通信连接关系监控与分管理节进行通信连接的服务器，并收集被监控服务器的监控数据信息，以及，向消息中间件周期性发送监控数据信息。

Description

分布式监控***及方法

技术领域

本发明涉及计算机领域，具体来说，涉及一种分布式监控***及方法。

背景技术

随着互联网技术、大数据、云计算的高速发展，数据中心服务器集群的规模也在不断的扩大。在大规模的应用中，集群中服务器节点的个数已经达到上万，并且，仍然在以指数级的速度持续增长。因此，大规模集群的监控管理变得更加复杂。集群监控管理平台也由传统的单一管理点模式向分布式管理平台演变。

为了满足大规模服务器集群的监控需求，已经出现了一些分布式架构的集群监控平台。这些平台能够根据服务器集群规模建立若干个分管理点，每个分管理点负责采集与之连接的服务器的监控数据，再将这些监控数据汇总到上层总管理点。这种方式虽然在一定程度上缓解了监控规模局限的问题，但是仍然存在以下几个问题：

(1)规模扩展灵活性差。分管理节点与其所管理的服务器资源的对应关系固定，因此，当所监控服务器规模发生变化时，需要人为增减分管理点，并调整对应关系。

(2)若分管理节点发生故障，会直接导致其所监控管理的服务器监控数据无法及时采集和存储，甚至会造成漏报告警信息。

(3)总管理点和分管理点间的通信大多采用同步通信，性能低下，数据的收集影响其他业务功能使用。

针对上述相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种分布式监控及方法，能够将监控资源动态分配给数量可变的分管理节点，并且使总管理节点和分管理节点能够通过消息中间件的通信方式实现高效的异步数据传输。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种分布式监控***。

该***包括：

总管理节点、多个分管理节点、多个服务器、消息中间件、映射模块；

其中，总管理节点，用于监控分管理节点的状态信息，根据状态信息指定各分管理节点与各服务器间的通信连接关系，并将通信连接关系记录至映射模块。

并且，总管理节点进一步用于获取消息中间件中存储的由各分管理节点发送的服务器的监控数据信息，并将监控数据信息进行存储。

以及，分管理节点，用于根据映射模块中的通信连接关系监控与分管理节进行通信连接的服务器，并收集被监控服务器的监控数据信息，以及，向消息中间件周期性发送监控数据信息。

在本发明的一个优选的实施例中，消息中间件与映射模块设置于总管理节点中。

在本发明的一个优选的实施例中，分管理节点的状态信息包括以下至少之一：

分管理节点的数量、工作状态、性能。

在本发明的一个优选的实施例中，总管理节点进一步用于提供一可视界面，通过可视界面显示监控数据信息。

根据本发明的另一方面，提供了一种分布式监控方法。

该方法包括：

总管理节点根据多个分管理节点的状态信息指定各分管理节点与各服务器间的通信连接关系，并将通信连接关系记录至映射模块；

各分管理节点根据映射模块中的通信连接关系监控对应的服务器，并收集被监控服务器的监控数据信息，以及向消息中间件周期性发送监控数据信息；

总管理节点从消息中间件中获取监控数据信息，并将监控数据信息进行存储。

在本发明的一个优选的实施例中，总管理节点根据多个分管理节点的状态信息指定各分管理节点与各服务器间的通信连接关系，并将通信连接关系记录至映射模块，进一步包括：

总管理节点实时监控各分管理节点的状态信息，若任一分管理节点的状态信息发生异常，则总管理节点重新指定各分管理节点与各服务器间的通信连接关系，并将通信连接关系更新至映射模块；

在本发明的一个优选的实施例中，分管理节点的状态信息包括以下至少之一：

分管理节点的数量、工作状态、性能。

在本发明的一个优选的实施例中，总管理节点将通信连接关系更新至映射模块之后，进一步包括：

分管理节点周期性检测映射模块中的通信连接关系，若通信连接关系发生变化，则分管理节点根据更新后的通信连接关系监控对应的服务器。

在本发明的一个优选的实施例中，通过总管理节点提供一可视界面，并根据可视界面显示监控数据信息。

在本发明的一个优选的实施例中，总管理节点将监控数据信息与预置的监控阈值进行比较，若监控数据信息不符合预定监控范围，则发出告警。

本发明通过使总管理节点和分管理节点能够通过消息中间件的通信方式，实现了分管理节点向总管理节点传输监控数据时的高效异步数据传输，并且，通过将通信连接关系记录到映射模块，并且分管理节点根据映射模块中的通信连接监控与之通信连接的服务器的技术手段，能够使总管理节点将监控资源动态分配给数量可变的分管理节点，从而避免了单点故障时，监控数据采集不及时，造成监控数据丢失的情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的分布式监控***的示意图；

图2是根据本发明实施例的分布式监控方法的流程图；

图3是根据本发明一具体实施例的分布式监控方法的流程示意图；

图4是根据本发明又一具体实施例的分布式监控方法的流程示意图；

图5是根据本发明再一具体实施例的分布式监控方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种分布式监控***。

如图1所示，根据本发明实施例的分布式监控***，该***包括：总管理节点11、多个分管理节点12-14、多个服务器15-17、消息中间件、映射模块。其中，消息中间件设置于总管理节点11中，为总管理节点11和分管理节点12进行监控数据传输时提供一异步传输通道，分管理节点可将收集到的监控数据发送到消息中间件的消息队列中，总管理节点可从消息中间件中获取分管理节点发送的监控数据，从而实现了监控数据的异步传输模式。此外，映射模块同样被设置于总管理节点11中，由总管理节点11进行维护和控制，该映射模块中存储有各分管理节点监控的服务器范围。

其中，总管理节点11，用于监控各分管理节点的状态信息，根据状态信息指定各分管理节点与各服务器间的通信连接关系，并将通信连接关系记录至映射模块。在本发明的一个优选的实施例中，总管理节点在监控分管理节点12时，需要监控的分管理节点12的状态信息包括以下至少之一：分管理节点12的数量、工作状态、性能。特别的，在本发明的一个优选的实施例中，总管理节点11可根据分管理节点的数量、工作状态以及性能情况，将集群中需要监控的服务器资源平均分配给各个状态正常的分管理节点。

并且，总管理节点11进一步用于获取消息中间件中存储的由各分管理节点发送的监控数据信息，并将监控数据信息进行存储。在本发明的一个优选的实施例中，总管理节点11实时读取消息中间件的数据队列中的监控数据信息。接着，将获取的监控数据信息存储到数据库中。并且，在本发明的一个优选的实施例中，总管理节点11还具有告警功能，当监控数据值超出预先设定的监控阈值范围时，总管理节点会向操作人员告警。

特别的，在本发明的一个优选的实施例中，总管理节点11还可以通过浏览器为用户提供一可视界面，使得操作人员能够清晰的浏览集群中各服务器的状态及监控数据。

以及，分管理节点12，用于根据映射模块中的通信连接关系监控与分管理节12进行通信连接的服务器15，并收集被监控服务器15的监控数据信息，以及，向消息中间件周期性发送监控数据信息。在本发明的一个优选的实施例中，分管理节点12中具有一监控调度列表，该监控调度列表中存储有该分管理节点12的监控范围，也就是存储有该分管理节点12和被该分管理节点监控的服务器15的通信连接关系。此外，在本发明的一个优选的实施例中，分管理节点12会定期查询总管理节点中的映射模块中的通信连接关系，然后根据上述通信连接关系，监控并收集与该分管理节点12对应的服务器15的监控数据信息。特别的，如果分管理节点12在查询总管理节点11中的映射模块中的通信连接关系时，发现上述通信连接关系发生变化，则分管理节点12会根据该变化，重新初始化分管理节点12中的监控调度列表，并根据映射模块变化后的通信连接关系监控和收集对应的服务器的监控数据信息。

综上，通过本实施例描述的方法，总管理节点和分管理节点能够通过基于消息中间件的通信方式，实现两节点间的高效的异步数据传输。并且，通过将通信连接关系记录到映射模块，并且分管理节点根据映射模块中的通信连接监控与之通信连接的服务器的技术手段，能够使总管理节点将监控资源动态分配给数量可变的分管理节点，从而避免了分管理节点发生单点故障时，造成监控数据采集不及时，以及监控数据丢失的情况。

根据本发明的实施例，还提供了一种分布式监控方法。

如图2所示，根据本发明实施例的分布式监控方法，包括：

步骤S201，总管理节点根据多个分管理节点的状态信息指定各分管理节点与各服务器间的通信连接关系，并将通信连接关系记录至映射模块。其中，在本发明的一个优选的实施例中，总管理节点实时监控各分管理节点的健康状态，若任一分管理节点出现异常，则总管理节点会重新指定各分管理节点与各服务器间的通信连接关系，并修改映射模块中的原有通信连接关系，从而将映射模块中的通信连接关系进行更新。

步骤S203，各分管理节点根据映射模块中的通信连接关系监控对应的服务器，并收集被监控服务器的监控数据信息，以及向消息中间件周期性发送监控数据信息。其中，在本发明的一个优选的实施例中，分管理节点定期查询总管理节点中的映射模块中的通信连接关系，然后根据上述通信连接关系，监控并收集与该分管理节点对应的服务器的监控数据信息。特别的，如果分管理节点在查询总管理节点中的映射模块中的通信连接关系时，发现通信连接关系发生变化，则分管理节点会根据该变化，重新初始化分管理节点中的监控调度列表，并根据映射模块变化后的通信连接关系监控和收集对应的服务器的监控数据信息，从而完成动态分配监控资源，即实现了监控资源的动态负载均衡。特别的，在本发明的一个优选的实施例中，各分管理节点可通过IPMI、SNMP等协议采集被监控的服务器的监控数据信息，并发送至消息中间中的数据传输队列中。

步骤S205，总管理节点从消息中间件中获取监控数据信息，并将监控数据信息进行存储。

为了更好的理解本发明，下面以一具体实施例来详细阐述。

总管理节点实时监控并记录集群中所有分管理节点的健康状态，该健康状态包括：分管理节点的数量、工作状态以及性能，并根据分管理节点的健康状态将集群中的需要监控的服务器平均分配给各个健康状态正常的分管理节点进行监控，并且将分管理节点及其监控的服务器之间的通信连接关系记录到总管理节点的映射模块中，该映射模块中可以包含一映射关系配置表，即总管理节点将上述通信连接关系记录到映射模块的映射关系配置表中。

随后，各分管理节点将定期检测映射模块中的通信连接关系，根据该通信连接关系与指定的被监控服务器进行连接，然后监控所述服务器，并且收集其上的监控数据信息。接着，分管理节点会将收集到的监控数据上传到消息中间件中，特别的，监控数据在消息中间件中以队列的形式等待总管理节点读取。

然后，总管理节点会实时读取消息中间件中的监控数据，并将监控数据存储到数据库中，同时总管理节点还会实时监控所述监控数据，一旦所述监控数据超过预设监控阈值的范围，则总管理节点会进行告警。

特别的，在本实施例中，如果有任一分管理节点健康状态异常，即该分管理节点无法监控其所要监控的服务器的情况时，本实施例的具体流程如图3所示，在图3中：

总管理节点实时获取映射模块中的分管理节点连接状态，并循环遍历集群中的所有分管理节点，同时采集分管理节点的实时健康状态，总管理节点根据上一次遍历记录的分管理节点的健康状态与此次获取的健康状态，判断出有一分管理节点的健康状态与上次遍历的不一致，则确定该分管理节点发生异常。

接着，总管理节点将分管理节点的当前状态信息，即异常状态，记录到删除列表中，并取消映射模块中该分管理节点与被监控服务器的映射关系(通信连接关系)。随后，总管理节点修改该分管理节点的状态信息，将状态标记为异常，该状态信息可以记录到总管理节点中的分管理节点状态列表中，也可以记录到映射模块中。在本实施例中，该状态信息是记录在映射模块中。

然后，总管理节点继续遍历其他分管理节点，直到遍历结束，则总管理节点已获知异常节点的状态及与其通信的服务器连接关系。总管理节点将根据目前健康状态正常的分管理节点重新分配需要监控的服务器资源，并将重新分配后的各分管理节点与被监控服务器间的通信连接关系更新至配置模块中。

接着，如图4所示，集群中所有健康状态正常的分管理节点可以通过但不限于web服务接口从总管理节点查询与被监测服务器之间的映射关系(通信连接关系)是否发生变化，如果映射关系发生变化，则分管理节点会从映射模块中获取本节点所需监控的服务器列表以及指标。然后，再根据获取到的服务器列表，即本分管理节点与被监控服务器的通信连接关系重新配置分管理节点中的监控调度列表，该监控调度列表中记录有本节点所监控的服务器列表，随后重启调度流程。接着，各分管理节点将根据新的通信连接关系，监控并收集该节点所监控的服务器的监控数据。

特别的，在本实施例中，如果有任一分管理节点健康状态异常后，经人工调试或自动重启等操作，健康状态重新恢复正常的情况下，本实施例的具体流程如图5所示，在图5中：

总管理节点实时获取映射模块中的分管理节点连接状态，并循环遍历集群中的所有分管理节点，同时采集分管理节点的实时健康状态，总管理节点根据上一次遍历记录的分管理节点的健康状态与此次获取的健康状态进行判断，确定有一新增分管理节点，即恢复正常的分管理节点。

接着，总管理节点将分管理节点的当前状态信息，记录到新增列表中，并且修改该分管理节点的状态信息，将状态标记为正常，该状态信息可以记录到总管理节点中的分管理节点状态列表中，也可以记录到映射模块中。在本实施例中，该状态信息是记录在映射模块中。

然后，总管理节点继续遍历其他分管理节点，直到遍历结束。总管理节点将根据目前健康状态正常的分管理节点的数量，为新增列表中的分管理节点重新分配需要监控的服务器资源，并将重新分配后的各分管理节点与被监控服务器间的通信连接关系更新至配置模块中。

接着，再次参照如图4所示，集群中所有健康状态正常的分管理节点可以通过但不限于web服务接口从总管理节点查询与被监测服务器之间的映射关系(通信连接关系)是否发生变化，如果映射关系发生变化，则分管理节点会从映射模块中获取本节点所需监控的服务器列表以及指标。然后，再根据获取到的服务器列表，即本分管理节点与被监控服务器的通信连接关系重新配置分管理节点中的采集调度列表，该采集调度列表中记录有本节点所监控的服务器列表，随后重启调度流程。接着，各分管理节点将根据新的通信连接关系，监控并收集该节点所监控的服务器的监控数据。

综上，借助于本发明的上述技术方案，通过三层分布式监控架构，大大的提升了监控管理集群的规模。并且，总管理节点通过浏览器向操作人员提供一可视界面，使得操作人员可以通过浏览器查询集群的健康状态。本发明还通过基于消息中间件的通信方式，使总管理节点和分管理节点之间实现高效的异步数据传输。此外，通过本发明的技术方案还可以将监控资源动态的分配给数量可变的分管理节点，从而增强监控框架管理规模，并且实现了监控资源的动态负载均衡。从而避免了单点故障时，监控数据采集不及时，造成监控数据丢失的情况。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式监控***，其特征在于，包括：

总管理节点、多个分管理节点、多个服务器、消息中间件、映射模块；

所述总管理节点，用于监控分管理节点的状态信息，根据所述状态信息指定各分管理节点与各服务器间的通信连接关系，并将所述通信连接关系记录至所述映射模块；

所述总管理节点进一步用于获取所述消息中间件中存储的由各分管理节点发送的服务器的监控数据信息，并将所述监控数据信息进行存储；

所述分管理节点，用于根据所述映射模块中的所述通信连接关系监控与分管理节进行通信连接的服务器，并收集被监控服务器的监控数据信息，以及，向所述消息中间件周期性发送所述监控数据信息。

2.根据权利要求1所述的***，其特征在于，包括：

所述消息中间件与所述映射模块设置于所述总管理节点中。

3.根据权利要求1所述的***，其特征在于，所述分管理节点的状态信息包括以下至少之一：

分管理节点的数量、工作状态、性能。

4.根据权利要求1所述的***，其特征在于，所述总管理节点进一步用于提供一可视界面，通过所述可视界面显示所述监控数据信息。

5.一种分布式监控方法，其特征在于，包括：

总管理节点根据多个分管理节点的状态信息指定各分管理节点与各服务器间的通信连接关系，并将所述通信连接关系记录至映射模块；

各分管理节点根据所述映射模块中的所述通信连接关系监控对应的服务器，并收集被监控服务器的监控数据信息，以及向消息中间件周期性发送所述监控数据信息；

所述总管理节点从所述消息中间件中获取所述监控数据信息，并将所述监控数据信息进行存储。

6.根据权利要求5所述的方法，其特征在于，所述总管理节点根据多个分管理节点的状态信息指定各分管理节点与各服务器间的通信连接关系，并将所述通信连接关系记录至映射模块，进一步包括：

所述总管理节点实时监控各分管理节点的状态信息，若任一分管理节点的状态信息发生异常，则所述总管理节点重新指定各分管理节点与各服务器间的通信连接关系，并将所述通信连接关系更新至所述映射模块；

7.根据权利要求6所述的方法，其特征在于，所述分管理节点的状态信息包括以下至少之一：

分管理节点的数量、工作状态、性能。

8.根据权利要求6所述的方法，其特征在于，所述总管理节点将所述通信连接关系更新至所述映射模块之后，进一步包括：

所述分管理节点周期性检测所述映射模块中的通信连接关系，若所述通信连接关系发生变化，则所述分管理节点根据更新后的所述通信连接关系监控对应的服务器。

9.根据权利要求5所述的方法，其特征在于，包括：

通过所述总管理节点提供一可视界面，并根据所述可视界面显示所述监控数据信息。

10.根据权利要求5所述的方法，其特征在于，包括：

所述总管理节点将所述监控数据信息与预置的监控阈值进行比较，若所述监控数据信息不符合预定监控范围，则发出告警。