CN112667465A

CN112667465A - 一种多集群运行监控方法、装置、***及可读存储介质

Info

Publication number: CN112667465A
Application number: CN202011532906.XA
Authority: CN
Inventors: 武鹏
Original assignee: Beijing Inspur Data Technology Co Ltd
Current assignee: Beijing Inspur Data Technology Co Ltd
Priority date: 2020-12-22
Filing date: 2020-12-22
Publication date: 2021-04-16

Abstract

本发明公开了一种多集群运行监控方法，该方法由监控平台服务器接收各集群的监控数据，将监控***由1个集群1套改为多个集群共用1套，在监控平台中可以根据设定的监控指标统计任务从接收到的多集群监控数据中根据监控指标项进行相应的运行统计，从而实现了多集群多服务实例的数据统计，统计后存储数据，以便于后续对于多集群运行状态的查看。发明还公开的多集群运行监控装置***中通过服务组件指标池以及主机指标监视器进行监控数据的采集，并传输至监控平台服务器中的监控指标收集器，通过监控指标收集器完成多集群监控数据的存储、统计、接口查询，通过指标统计器和指标管控台配合使用完成监控实时数据的多维度统计。

Description

一种多集群运行监控方法、装置、***及可读存储介质

技术领域

本发明涉及集群管理技术领域，特别是涉及一种多集群运行监控方法、装置、***及可读存储介质。

背景技术

Ambari作为一款针对大数据平台的运维管理工具，提供了集群的创建、管理、监控以及升级等多项功能，目前在业界已经得到广泛使用。其中，Ambari指标***(AmbariMetrics System，可以简称为AMS)主要负责监控平台各类服务及主机的运行情况，提供各类服务及主机的相关指标，从而达到判断集群健康情况的目的。

Ambari现有的资源监控体系完全支持单集群运行时的监控，对多集群运行时的监控不够完善，现有的监控架构也不太适合多集群的场景。但是随着集群规模越来越大，待管理的集群数量也越来越多，目前的资源监控体系难以满足多集群管理的应用需求。

综上所述，如何同时实现对于多集群的运行监控，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种多集群运行监控方法、装置、***及可读存储介质，可以同时实现对于多集群的运行监控。

为解决上述技术问题，本发明提供如下技术方案：

一种多集群运行监控方法，包括：

监控平台服务器接收各集群的监控数据；其中，所述监控数据包括：集群中各主机的监控指标数据，以及集群中各服务组件的监控指标数据；

确定监控指标统计任务；

根据所述监控指标统计任务从所述监控数据中确定对应的数据，并对所述数据进行监控指标统计，得到运行统计数据；

存储所述监控数据以及所述运行统计数据，以便多集群运行状态的查看。

可选地，所述确定监控指标统计任务，包括：

接收用户从预设多个可选统计维度中指定的统计维度，作为目标统计维度；

根据所述目标统计维度生成多集群统计任务，作为所述监控指标统计任务。

可选地，所述目标统计维度包括：监控指标、主机、集群、服务组件实例、运行时间、统计间隔中的一种或多种。

可选地，根据所述目标统计维度生成多集群统计任务，作为所述监控指标统计任务，包括：

调用QUARTZ指标统计器根据所述目标统计维度生成多集群统计任务，并将所述QUARTZ指标统计器输出的统计任务作为所述监控指标统计任务。

可选地，存储所述监控数据以及所述运行统计数据，包括：

将所述监控数据以及所述运行统计数据存储至监控指标分布式存储组件中。

可选地，所述的多集群运行监控方法还包括：

通过分布式存储操作接口接收用户的数据读取请求；

根据所述数据读取请求从所述监控指标分布式存储单元中提取对应的目标数据；

输出所述目标数据。

可选地，所述主机的监控指标数据中包括集群身份信息；所述集群身份信息包括集群ID和/或集群名称；

所述服务组件的监控指标数据中包括所述集群身份信息以及服务实例身份信息；

则相应地，根据所述监控指标统计任务从所述监控数据中确定对应的数据，并对所述数据进行监控指标统计，得到运行统计数据，包括：

确定所述监控指标统计任务中指定的身份信息；其中所述身份信息包括：所述集群身份信息以所述及服务实例身份信息；

获取所述身份信息对应的监控指标数据，作为待统计数据；

对所述待统计数据进行监控指标统计，得到运行统计数据。

一种多集群运行监控装置，应用于监控平台服务器，包括：

数据接收单元，用于接收各集群的监控数据；其中，所述监控数据包括：集群中各主机的监控指标数据，以及集群中各服务组件的监控指标数据；

任务确定单元，用于确定监控指标统计任务；

指标统计单元，用于根据所述监控指标统计任务从所述监控数据中确定对应的数据，并对所述数据进行监控指标统计，得到运行统计数据；

数据存储单元，用于存储所述监控数据以及所述运行统计数据，以便多集群运行状态的查看。

一种多集群运行监控***，包括：监控平台服务器以及至少两个集群；

所述监控平台服务器中包括：监控指标收集器以及存储组件，所述监控指标收集器用于接收各集群的监控数据；确定监控指标统计任务；根据所述监控指标统计任务从所述监控数据中确定对应的数据，并对所述数据进行监控指标统计，得到运行统计数据；所述存储组件用于存储所述监控数据以及所述运行统计数据；

所述集群用于向所述监控指标收集器发送所述监控数据；所述集群中包括主机指标监视器和服务组件指标池，所述主机指标监视器用于收集所述集群中各主机的监控指标数据；所述服务组件指标池用于收集所述集群中各服务组件的监控指标数据；所述监控数据包括所述主机的监控指标数据以及所述服务组件的监控指标数据。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述多集群运行监控方法的步骤。

本发明实施例所提供的方法，重构了监控***架构，由监控平台服务器接收各集群的监控数据，将监控***由1个集群1套改为多个集群共用1套，在监控平台中，可以根据设定的监控指标统计任务从接收到的多集群监控数据中根据监控指标项进行相应的运行统计，从而实现了多集群多服务实例的数据统计，统计后存储数据，以便于后续对于多集群运行状态的查看，实现多集群多服务实例的监控。

相应地，本发明实施例还提供了与上述多集群运行监控方法相对应的多集群运行监控装置、***和可读存储介质，具有上述技术效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一种传统方法下AMS的整体架构和数据运行流程示意图；

图2为本发明实施例中一种多集群运行监控方法的实施流程图；

图3为本发明实施例中一种多集群运行监控装置的结构示意图；

图4为本发明实施例中一种多集群运行监控***的示意图。

具体实施方式

本发明的核心是提供一种多集群运行监控方法，以同时实现对于多集群的运行监控。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对于AMS本身来说，对集群进行运行监控涉及的主要模块包括：主机指标监视器(Metrics Monitor)、服务组件指标池(service sinks或Hadoop Sinks)以及监控指标收集器(Metrics Collector)。AMS是一个主从***模式(Master-Slave)结构的框架，其中，主***(Master)模块为监控指标收集器，从***(Slave)模块为主机指标监视器和服务组件指标池。从***模块负责收集信息，并发送给主***模块。

从***模块中，主机指标监视器主要负责收集机器本身相关的指标，例如CPU、Mem、Disk相关信息；服务组件指标池负责收集Hadoop架构下(一种分布式***基础架构)相关服务(Service)模块的性能数据，例如某模块管理文件***的命名空间(Namenode)占用了多少内存(Mem)，以及CPU占用率等。

目前，AMS采集到的服务指标通过http/https的方式推送到监控指标收集器，其内部嵌入了一个HBase(一个分布式的、面向列的开源数据库)组件用于存储指标数据。监控指标收集器内部启动了定时任务用于实时监控指标的汇聚，汇聚后的指标仍然存储至HBase供Ambari中的服务器管理节点(Ambari Server)通过REST API接口调用查询，传统方法下AMS的整体架构和数据运行流程如图1所示。

默认情况每个集群创建时都会创建1套对应的AMS资源监控服务用于该集群中各个主机和各项服务的监控。而每个AMS资源监控服务使用集群中内置的HBase存储数据，而每个集群都使用1套HBase不利于资源的有效利用、统一管理、扩展收缩。现有的AMS资源监控服务使用Spring定时任务进行实时监控指标数据的聚合，默认情况下无法完成多集群多服务实例的多个维度的监控数据指标聚合。

基于此，本实施例提出了一种多集群运行监控方法，主要应用于Ambari平台，，该方法对现有的Ambari监控指标***AMS进行了部分组件的改造和架构的重组，使其能够更好地用于多集群多服务实例的运行监控。

请参考图2，图2为本发明实施例中一种多集群运行监控方法的流程图，该方法包括以下步骤：

S101、监控平台服务器接收各集群的监控数据；

本实施例中将整体实现分为平台侧和集群侧，平台侧为多个集群共享公用，将原集群中的监控指标收集器去除，通过监控平台服务器实现平台级的监控指标收集，统一收集多集群上报的监控指标数据。

集群侧由各个集群组成，每个集群自行收集本集群中的运行数据，包括收集各主机的监控指标数据，以及集群中各服务组件的监控指标数据。其中，主机的监控指标数据指通过集群中的主机指标监控器对于预设监控指标项进行运行数据收集得到的数据，可以反映主机的运行状态；服务组件的监控指标数据指通过集群中的服务组件指标池对于指定的服务自检中预设监控指标项进行运行数据收集得到的数据，可以反映服务组件的运行状态。本实施例中对于集群中监控的主机以及服务组件的数量以及类型不做限定，可以根据实际集群运行监控的需要进行相应设定。

集群收集的自身的监控数据可以定时发送至监控平台服务器，也可以在接收到监控数据获取或发送指令后发送至监控平台服务器，则相应地，监控平台服务器接收各集群的监控数据可以为被动接收，也可以为主动向集群主动发送监控数据获取或发送指令后接收，本实施例中对于监控数据的接收实现方式不做限定。

S102、确定监控指标统计任务；

监控指标统计任务指针对监控数据中某些关注的统计指标项的数据统计任务，监控指标统计任务可以是指定集群内的监控指标统计任务，比如监控指标统计任务可以为统计所有集群内中主机1的CPU占用率的平均值，或者还可以为跨集群的监控指标统计任务，比如统计所有集群中HDFS组件的内存占用大小等。

监控指标统计任务可以为对于时间、主机、集群等任意维度的统计任务，可以为一维统计维度，也可以为多维统计维度，本实施例中对于监控指标统计任务的统计维度不做限定，可以根据实际监控数据的统计需要进行相应统计任务的设定。

监控指标统计任务可以通过后台导入，也可以通过其它方式确定，本实施例中对于监控指标统计任务的确定方式不做限定，为了方便用户的配置，一种确定监控指标统计任务的实现方式具体可以包括以下两个步骤：

(1)接收用户从预设多个可选统计维度中指定的统计维度，作为目标统计维度；

(2)根据目标统计维度生成多集群统计任务，作为监控指标统计任务。

用户登录至交互界面，从预设多个可选统计维度中指定一个或若干个统计维度，作为目标统计维度，根据用户指定的目标统计维度进行统计任务的生成，而其中，目标统计维度可以为监控指标、主机、集群、服务组件实例、运行时间、统计间隔中的一种或多种。

其中，根据目标统计维度生成多集群统计任务，作为监控指标统计任务的过程可以设置相应的任务生成算法，或者调用相应的组件、***，一种实现方式中，可以调用QUARTZ指标统计器根据目标统计维度生成多集群统计任务，并将QUARTZ指标统计器输出的统计任务作为监控指标统计任务。

QUARTZ指标统计器为一种常用的指标统计器，支持复杂统计任务的快速确定，确定统计任务后可以持久化任务，以便于后续对于统计任务的查看，在选用QUARTZ指标统计器进行统计任务生成后，针对于监控数据的的运行统计也可以通过QUARTZ指标统计器来实现，实现由任务生成到任务执行的整体任务处理过程。本实施例中仅以选用QUARTZ指标统计器实现多集群统计任务的确定为例进行介绍，当然，也可以选用其他的统计器或者统计组件，均可参照本实施例的介绍，在此不再赘述。

上述统计任务的生成方式可以满足用户在不同时刻下的不同统计需求，方便用户的操作，实现统计任务的灵活生成。本实施例中仅以上述任务生成方式为例进行介绍，其它任务生成方式均可参照本实施例的介绍，在此不再赘述。

S103、根据监控指标统计任务从监控数据中确定对应的数据，并对数据进行监控指标统计，得到运行统计数据；

监控指标统计任务中指示待统计的数据维度以及数据对象，根据监控指标统计任务从监控数据中确定待统计处理的数据，并根据统计任务中指示的统计算法，对该数据进行监控指标统计处理。

而具体的根据监控指标统计任务对监控数据进行监控指标统计的实现过程本实施例中不做限定，可以根据不同监控指标统计任务的需要进行设定。

S104、存储监控数据以及运行统计数据。

为方便后续对于多集群运行监控数据的查看，需要存储收集到的原始监控数据以及根据用户的统计查看需要生成的运行统计数据，以便满足不同用户查看的需要。

而对于监控数据以及运行统计数据的存储地点，本实施例中不做限定，可以将其存储至监控指标分布式存储组件中，监控指标分布式存储组件将监控数据存储在物理磁盘中，监控指标分布式存储组件作为平台级独立的分布式存储***用于监控数据存储，可以提高存储资源利用率，方便统一维护和管理。当然，也可以存储于其他位置，本实施例中对此不做限定。

而将监控数据以及运行统计数据存储至监控指标分布式存储组件中后，为方便用户通过Ambari Server对于数据的查看，可以在平台中设置一分布式存储操作接口，将分布式存储操作接口对接监控指标分布式存储组件，可以通过分布式存储操作接口接收用户的数据读取请求；根据数据读取请求从监控指标分布式存储单元中提取对应的目标数据；(通过Web页面)输出目标数据，以便于用户的查看。

本发明实施例所提供的技术方案，该方法重构了监控***架构，由监控平台服务器接收各集群的监控数据，将监控***由1个集群1套改为多个集群共用1套，在监控平台中，可以根据设定的监控指标统计任务从接收到的多集群监控数据中根据监控指标项进行相应的运行统计，从而实现了多集群多服务实例的数据统计，统计后存储数据，以便于后续对于多集群运行状态的查看，实现多集群多服务实例的监控。

需要说明的是，基于上述实施例，本发明实施例还提供了相应的改进方案。在优选/改进实施例中涉及与上述实施例中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在本文的优选/改进实施例中不再一一赘述。

上述实施例中对于监控平台服务器接收到的主机的监控指标数据以及服务组件的监控指标数据中的数据项不做限定，为便于监控平台服务器对于多集群的监控数据的统一管理，主机的监控指标数据中可以包括集群身份信息；集群身份信息可以包括集群ID和/或集群名称；服务组件的监控指标数据中可以包括集群身份信息以及服务实例身份信息。

主机的监控指标数据和服务组件的监控指标数据中新增了集群身份信息以及服务实例身份信息，监控平台服务器接收到直接携带身份信息的监控数据后，便于按集群进行统计，可以提升多集群监控数据统计效率。

则相应地，根据监控指标统计任务从监控数据中确定对应的数据，并对数据进行监控指标统计，得到运行统计数据的过程包括以下三个步骤：

(1)确定监控指标统计任务中指定的身份信息；其中身份信息包括：集群身份信息以及服务实例身份信息；

(2)获取身份信息对应的监控指标数据，作为待统计数据；

(3)对待统计数据进行监控指标统计，得到运行统计数据。

本实施例提供的方法改进了原有的主机指标监控器和服务组件指标池，对原有的监控数据进行了扩展，加入了集群标识和服务实例id，使得原始监控数据能够区分出监控指标项、集群、服务实例，支持了多集群和多服务实例的快速监控处理。

相应于上面的方法实施例，本发明实施例还提供了一种多集群运行监控装置，该装置应用于监控平台服务器，下文描述的多集群运行监控装置与上文描述的多集群运行监控方法可相互对应参照。

参见图3所示，该装置包括以下模块：

数据接收单元110主要用于接收各集群的监控数据；其中，监控数据包括：集群中各主机的监控指标数据，以及集群中各服务组件的监控指标数据；

任务确定单元120主要用于确定监控指标统计任务；

指标统计单元130主要用于根据监控指标统计任务从监控数据中确定对应的数据，并对数据进行监控指标统计，得到运行统计数据；

数据存储单元140主要用于存储监控数据以及运行统计数据，以便多集群运行状态的查看。

相应于上面的方法实施例，本发明实施例还提供了一种多集群运行监控***，下文描述的一种多集群运行监控***与上文描述的一种多集群运行监控方法可相互对应参照。

该多集群运行监控***整体上分为平台侧和集群侧。平台侧为多个集群共享公用，为监控平台服务器，监控平台服务器通过监控平台实现多集群运行监控；监控平台服务器中包括：监控指标收集器以及存储组件。

其中，监控指标收集器用于接收各集群的监控数据；确定监控指标统计任务；根据监控指标统计任务从监控数据中确定对应的数据，并对数据进行监控指标统计，得到运行统计数据；

存储组件用于存储监控数据以及运行统计数据；具体可以为监控指标分布式存储组件。

集群侧由各个集群组成，集群用于向监控指标收集器发送监控数据。

其中，每个集群中包含若干台主机，每台主机中都安装有主机指标监控器和服务组件指标池，主机指标监视器用于收集集群中各主机的监控指标数据；服务组件指标池用于收集集群中各服务组件的监控指标数据；监控数据包括主机的监控指标数据以及服务组件的监控指标数据。

多集群运行监控***运行时，每台主机中的主机指标监控器和服务组件指标池将监控指标数据上报给监控指标收集器，监控指标收集器接收各个集群发送的监控指标数据并进行统计处理，监控指标分布式存储单元将监控数据存储在物理磁盘中，Ambari Server可以从监控指标收集器查询监控指标数据向Web页面展示，以便用户的查看。

如图4所示为一种多集群运行监控***的示意图，设置于监控平台服务器的监控平台端包括监控指标收集器以及监控指标分布式存储组件(作为存储组件)。

监控指标收集器中具体包括Web组件(沿用原有的Web组件，可以参照相关技术中的介绍)、分布式存储操作接口(用于对接监控指标分布式存储组件)、QUARTZ(任务日程管理***)指标聚合器。

其中，将原有的集群内置HBase存储数据库替换为新的平台级独立的分布式存储***用于监控数据存储，提高存储资源利用率，方便统一维护和管理。

监控指标收集器为监控***中最重要的部分，完成了监控数据的存储、统计、接口查询三项功能。分布式存储操作接口为本发明新增的组件，为监控数据的存储和读取提供了物理接口，使得数据的存储不再依赖内置的HBase数据库。QUARTZ指标统计器统计和指标管控台配合使用完成监控实时数据的多维度统计。用户登录至指标管控台，按照监控指标、主机、集群、服务组件实例、运行时间、统计间隔等多个维度的组合来配置指标统计任务并启动任务，完全支持了多集群多服务实例的数据统计。QUARTZ指标统计器运行指标统计任务，调用分布式存储接口读取原始实时的数据，按照用户配置的统计维度和统计间隔进行数据的统计并存储新的统计数据。指标管控台还提供了监控数据实时查询的功能，对统计任务还能进行动态的更改、新增和删除。

为方便对于监控指标收集器对于多集群数据的统计以及管理，设置于集群中的服务组件指标池以及主机指标监视器可以在生成监控数据的过程中(将监控数据发送至监控平台端的监控指标收集器之前)加入相应的身份信息，比如服务组件指标池在采集得到组件监控指标数据后，获取服务实例ID、获取集群信息的操作并对上报的服务组件监控数据进行了重新组装，相当于组装后的组件监控指标数据中包括服务实例ID以及集群信息(集群ID以及集群名称)，服务组件指标池在手机得到组件监控指标数据后可以加入集群信息(集群ID以及集群名称)和服务实例的id信息，从原始监控数据上支持了多集群多服务实例。

相应于上面的方法实施例，本发明实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种多集群运行监控方法可相互对应参照。

一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的多集群运行监控方法的步骤。

该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。

本领域技术人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims

1.一种多集群运行监控方法，其特征在于，包括：

确定监控指标统计任务；

2.根据权利要求1所述的多集群运行监控方法，其特征在于，所述确定监控指标统计任务，包括：

3.根据权利要求2所述的多集群运行监控方法，其特征在于，所述目标统计维度包括：监控指标、主机、集群、服务组件实例、运行时间、统计间隔中的一种或多种。

4.根据权利要求2所述的多集群运行监控方法，其特征在于，根据所述目标统计维度生成多集群统计任务，作为所述监控指标统计任务，包括：

5.根据权利要求1所述的多集群运行监控方法，其特征在于，存储所述监控数据以及所述运行统计数据，包括：

6.根据权利要求5所述的多集群运行监控方法，其特征在于，还包括：

通过分布式存储操作接口接收用户的数据读取请求；

输出所述目标数据。

7.根据权利要求1至6任一项所述的多集群运行监控方法，其特征在于，所述主机的监控指标数据中包括集群身份信息；所述集群身份信息包括集群ID和/或集群名称；

获取所述身份信息对应的监控指标数据，作为待统计数据；

对所述待统计数据进行监控指标统计，得到运行统计数据。

8.一种多集群运行监控装置，其特征在于，应用于监控平台服务器，包括：

任务确定单元，用于确定监控指标统计任务；

9.一种多集群运行监控***，其特征在于，包括：监控平台服务器以及至少两个集群；

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述多集群运行监控方法的步骤。