CN115002122A - 一种用于数据采集集群化管理方法及装置 - Google Patents

Abstract

本发明公开一种用于数据采集集群化管理方法及装置，其中，该方法包括：Master节点通过一套服务调配***实现高可用，并根据各个Worker节点的监控数据，对Task进行实时动态调度；Worker节点通过多个worker节点实现高可用；一套服务调配***实现配置的统一管理。该方法及装置提升了运维便利性，减少了业务之间的相互影响，同时通过动态调度，实现了负载均衡，提升了整体的TPS。

Description

一种用于数据采集集群化管理方法及装置

技术领域

本发明涉及数据采集领域，尤其是一种用于数据采集集群化管理方法及装置。

背景技术

目前部署采集服务，将数据源source的数据转存到sink端(接受端)，存在以下问题：

1、资源浪费，同集群的各节点采用相同配置，但各业务的数据量参差不齐，导致收集线程空闲比例偏大。

2、配置复杂，新业务上线相对比较频繁，需要人工修改配置文件，重启整个集群，会影响同集群的其他所有业务。

3、故障处理不及时，发生常规故障(如死锁、消费异常等)时，***无感知，需要人工处理，影响时效性。

4、不具备智能调度，自动化配置和高可用性。

发明内容

为了解决目前部署采集服务，将数据源的数据转存到sink端，存在的上述问题，本发明提供一种用于数据采集集群化管理方法及装置。

为实现上述目的，本发明采用下述技术方案：

在本发明一实施例中，提出了一种用于数据采集集群化管理方法，该方法包括：

Master节点通过一套服务调配***实现高可用，并根据各个Worker节点的监控数据，对Task进行实时动态调度；

Worker节点通过多个worker节点实现高可用；

一套服务调配***实现配置的统一管理。

进一步地，服务调配***管理的工作目录包括：

leader，用于存储Master节点选主的临时节点；

master，用于存储Active Master节点的Service URL；

jobs，用于存储Job数据的目录节点；

Workers，用于存储Worker节点发现的临时节点；

assign/<worker-id>，是分配任务的列表，每个Workers一个目录节点，且数据永久存储。

进一步地，服务调配***的工作内容包括：

监控Master节点和worker节点的心跳，踢除死亡节点，若Master节点的心跳停止，则会选举出新的Master节点；

存放***的配置信息，通过接口向外提供配置参数，应用服务通过调用接口获取参数，实现参数的统一管理。

进一步地，Master节点的工作内容包括：

在高可用模式下进行选主，选择处于Active状态的一个Master节点对外提供服务；

负责维护集群上的Jobs数据、workers数据、tasks数据和各个Worker节点的监控数据；

根据各个Worker节点的监控数据，对Task进行实时动态调度；

提供REST接口供业务上线、下线和查看。

进一步地，Worker节点的工作内容包括：

对业务运行的Task进行管理；

对Task和主机进行监控，并将Task和主机的监控数据汇报给Master节点。

进一步地，动态调度包括：

针对Worker节点，在调度的过程中，根据Worker节点的中央处理器、内存、磁盘和网络的使用情况，选择当前最空闲的Worker节点进行上线；

针对Task，Master节点根据Task的消费能力和堆积能力，对当前业务的Task进行扩缩容。

在本发明一实施例中，还提出了一种用于数据采集集群化管理装置，该装置采用分布式主从架构，包括：一套服务调配***、一个或多个Master节点以及多个Worker节点；

Master节点通过一套服务调配***实现高可用，并根据各个Worker节点的监控数据，对Task进行实时动态调度；

Worker节点通过多个worker节点实现高可用；

一套服务调配***实现配置的统一管理。

进一步地，服务调配***管理的工作目录包括：

leader，用于存储Master节点选主的临时节点；

master，用于存储Active Master节点的Service URL；

jobs，用于存储Job数据的目录节点；

Workers，用于存储Worker节点发现的临时节点；

assign/<worker-id>，是分配任务的列表，每个Workers一个目录节点，且数据永久存储。

进一步地，服务调配***的工作内容包括：

监控Master节点和worker节点的心跳，踢除死亡节点，若Master节点的心跳停止，则会选举出新的Master节点；

存放***的配置信息，通过接口向外提供配置参数，应用服务通过调用接口获取参数，实现参数的统一管理。

进一步地，Master节点的工作内容包括：

在高可用模式下进行选主，选择处于Active状态的一个Master节点对外提供服务；

负责维护集群上的Jobs数据、workers数据、tasks数据和各个Worker节点的监控数据；

根据各个Worker节点的监控数据，对Task进行实时动态调度；

提供REST接口供业务上线、下线和查看。

进一步地，Worker节点的工作内容包括：

对业务运行的Task进行管理；

对Task和主机进行监控，并将Task和主机的监控数据汇报给Master节点。

进一步地，动态调度包括：

针对Worker节点，在调度的过程中，根据Worker节点的中央处理器、内存、磁盘和网络的使用情况，选择当前最空闲的Worker节点进行上线；

针对Task，Master节点根据Task的消费能力和堆积能力，对当前业务的Task进行扩缩容。

在本发明一实施例中，还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述用于数据采集集群化管理方法。

在本发明一实施例中，还提出了一种计算机可读存储介质，计算机可读存储介质存储有执行用于数据采集集群化管理方法的计算机程序。

有益效果：

1、提升了运维便利性：业务的上下线由之前的半个小时，缩短到1分钟以内。

2、减少了业务之间的相互影响：集群上下线业务对其他业务无影响；在之前的采集集群中，业务的上下线，需要停采集集群，导致该台机器上的业务全部受影响。

3、动态调度：根据各个Worker节点的监控数据，对Task进行实时动态调度，实现了负载均衡，提升了整体的TPS(吞吐量)。

附图说明

图1是本发明用于数据采集集群化管理方法架构图；

图2是本发明Master和Worker的启动时序图；

图3是本发明业务上线时序图；

图4是本发明用于数据采集集群化管理装置结构示意图；

图5是本发明计算机设备结构示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神，应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种***、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种用于数据采集集群化管理方法及装置，采用分布式主从架构，由一套服务调配***(现有技术)，1个或多个Master节点，多个Worker节点组成。主要解决了以下问题：

1、Master节点通过一套服务调配***实现高可用机制，保证在其中一个Master节点出现问题的情况下，另一个Master节点会在10s以内接管服务。

2、业务相关配置统一在一套服务调配***中进行管理，实现配置的统一管理。

3、提供REST(Representational State Transfer，表述性状态传递)接口，便于用户直接调用接口对任务进行上下线。将业务上下线的操作时间缩短到1分钟以内。在此之前修改集群中所有配置的文件，然后重启服务，这个需要耗时较长。提供REST接口之后，则简化操作，大大缩短时间。

4、通过实现动态调度，解决了资源使用不均和浪费的问题；动态调度可以做到Worker节点之间的负载均衡和Task之间的负载均衡。针对Worker级别：在动态调度的过程中，会根据Worker节点的cpu(中央处理器)，memory(内存)，disk(磁盘)和network(网络)的使用情况，选择当前最空闲的Worker进行上线。针对Task级别：Master节点会根据task的消费能力，堆积能力，对当前业务的task进行扩缩容。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

本发明以一套服务调配***为中心，另外，Worker节点定期向Master节点汇报Task的监控数据；Dashboard(仪表盘/统计面板)通过Master节点查询和更新Jobs数据。整体架构如图1所示。

其中，服务调配***管理的工作目录如下：

leader，用于存储Master节点选主的临时节点。

master，用于存储Active Master(活跃的主服务)节点的Service URL(服务地址)。

jobs，用于存储Job数据的目录节点。

workers，用于存储Worker节点发现的临时节点。

assign/<worker-id>/分配任务的列表，每个Workers节点一个目录节点，且数据永久存储。

组件介绍：

Master节点：

1、选主：Master节点通过一套服务调配***支持高可用模式，同一时刻，只要一个Master节点处于Active状态，其他Master节点均处于Standby(后备)状态；处于Active状态的Master节点对外提供服务。

2、元数据管理：Master节点负责维护集群上的Jobs数据，workers数据，tasks数据和各个Worker节点的监控数据。

3、调度器：根据Master节点管理的各个Worker节点的监控数据，对Task进行实时动态的调度，达到负载均衡。

4、提供REST接口：供业务上线、下线和查看，支持对业务的CREATE，UPDATE，DELETE和GET操作。

Worker节点：

1、业务Task管理：启动业务运行的Task，支持Task的ADD,REMOVE，UPDATE和GET操作。

2、Metrics(指标)汇报：将Task的监控数据和主机的监控数据汇报给Master节点。

其中，Job：数据流***的业务，通过REST接口向Master节点发起申请。Task：Job在Worker节点上的执行单元，负责从source端读数据，并转存到sink端。

需要说明的是，尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

为了对上述用于数据采集集群化管理方法进行更为清楚的解释，下面结合一个具体的实施例来进行说明，然而值得注意的是该实施例仅是为了更好地说明本发明，并不构成对本发明不当的限定。

实施方案：

Master节点的启动过程，如图2所示：

1、执行命令启动Master节点，Master节点会去服务调配***如zookeeper集群中参与leader的选举；

2、如果已经存在Active Master节点，则当前的Master节点阻塞在leader的选举，状态为Standby状态；

3、如果需要选举Active Master节点，则会启动RestServer(负责业务的增删改查)，RPCServer(负责接收Worker节点的Metrics汇报信息)和Scheduler(负责动态的调度分配Task)。

Worker节点的启动过程，如图2所示：

1、执行命令启动Worker节点，Worker节点会启动Report线程(负责将本Worker节点上的Task监控数据和主机监控数据汇报给Master节点)和DataflowManager(用于管理Worker节点上Task的执行)。

2、监听服务调配***中Task的分配信息，如果有Task分配到该Worker节点中，Worker节点会去服务调配***中拉取Task相关的配置信息，然后启动采集线程，将source端的数据转存到sink端。

Job的上线过程，如图3所示：

1、调用REST接口上线业务，同时使用JSON格式传入业务的配置信息；

2、Active Master节点接收到上线任务之后，根据业务的配置信息，初始化业务参数，根据动态调度策略，分配Task。将业务信息和Task信息全部写入到服务调配***中；

3、Worker节点监听服务调配***状态，发现有新增Task时，Worker会去服务调配***中拉取Task的配置信息，并在Worker节点中启动采集线程进行执行；

4、Worker节点会将Task的执行状态信息(消费速度，堆积量)和主机的状态信息(CPU、Memory、Disk、Network相关信息)发送给Master节点；

5、Master节点根据Task的执行状态信息，将较空闲的Task(Idle Task)和出现大量堆积的Task(Busy Task)分别加入到IdleTask队列和BusyTask队列；

6、动态调度针对IdleTask队列会对其进行自动缩容；针对BusyTask队列会对其进行主动扩容；

7、动态调度在将主机分配到那个Worker节点上的时候，会根据主机的状态信息(CPU、Memory，Disk，Network相关信息)，选择最佳的Worker节点去执行；

8、当主机负载较高、集群机器负载不均衡的时候，动态调度会将该台主机上的Task迁移到其他的Worker节点上。

Job的下线过程：

1、调用REST接口对业务进行下线；

2、Master节点会将下线的业务标记为下线，然后将Job信息和Task相关的状态信息全部维护到服务调配***中；

3、Worker节点监控到Task状态变为下线，会去执行Task的stop命令，停掉采集线程；

4、所有Task停止完成之后，Job完成下线。

基于同一发明构思，本发明还提出一种用于数据采集集群化管理装置。该装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的术语“模块”，可以是实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是本发明用于数据采集集群化管理装置结构示意图。如图4所示，该装置采用分布式主从架构，包括：一套服务调配***101、一个或多个Master节点102以及多个Worker节点103；

Master节点102通过一套服务调配***101实现高可用，并根据各个Worker节点103的监控数据，对Task进行实时动态调度；

Worker节点103通过多个Worker节点103实现高可用；

一套服务调配***101实现配置的统一管理。

服务调配***101管理的工作目录包括：

leader，用于存储Master节点102选主的临时节点；

master，用于存储Active Master节点的Service URL；

jobs，用于存储Job数据的目录节点；

Workers，用于存储Worker节点103发现的临时节点；

assign/<worker-id>，是分配任务的列表，每个Workers一个目录节点，且数据永久存储。

Master节点102的工作内容包括：

在高可用模式下进行选主，选择处于Active状态的一个Master节点102对外提供服务；

负责维护集群上的Jobs数据、workers数据、tasks数据和各个Worker节点103的监控数据；

根据各个Worker节点103的监控数据，对Task进行实时动态调度；

提供REST接口供业务上线、下线和查看。

Worker节点103的工作内容包括：

对业务运行的Task进行管理；

对Task和主机进行监控，并将Task和主机的监控数据汇报给Master节点102。

动态调度包括：

针对Worker节点103，在调度的过程中，根据Worker节点103的中央处理器、内存、磁盘和网络的使用情况，选择当前最空闲的Worker节点进行上线；

针对Task，Master节点103根据Task的消费能力和堆积能力，对当前业务的Task进行扩缩容。

应当注意，尽管在上文详细描述中提及了用于数据采集集群化管理装置的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

基于前述发明构思，如图5所示，本发明还提出一种计算机设备200，包括存储器210、处理器220及存储在存储器210上并可在处理器220上运行的计算机程序230，处理器220执行计算机程序230时实现前述用于数据采集集群化管理方法。

基于前述发明构思，本发明还提出一种计算机可读存储介质，计算机可读存储介质存储有执行前述用于数据采集集群化管理方法的计算机程序。

本发明提出的用于数据采集集群化管理方法及装置，具备以下优点：

1、实现了Master节点和Worker节点的高可用，提升了实时采集集群的可用性；Master节点的高可用是通过服务调配***来上线的。Worker节点的高可用是通过worker的水平扩展实现的。当一个worker出现问题之后，另一个worker可以接管这个worker上的业务。

2、利用服务调配***实现配置的统一管理，提升运维的便利性，业务上下线的时间控制在1分钟以内；更新配置，不需要重启集群，只需要重启业务，减少业务之间的影响。

3、对Task和主机指标的监控，对集群的Task进行动态调度，实现了集群间的Worker节点和Task负载均衡。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包含的各种修改和等同布置。

对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (14)

1.一种用于数据采集集群化管理方法，其特征在于，该方法包括：

Master节点通过一套服务调配***实现高可用，并根据各个Worker节点的监控数据，对Task进行实时动态调度；

Worker节点通过多个worker节点实现高可用；

一套服务调配***实现配置的统一管理。

2.根据权利要求1所述的用于数据采集集群化管理方法，其特征在于，所述服务调配***管理的工作目录包括：

leader，用于存储Master节点选主的临时节点；

master，用于存储Active Master节点的Service URL；

jobs，用于存储Job数据的目录节点；

Workers，用于存储Worker节点发现的临时节点；

assign/<worker-id>，是分配任务的列表，每个Workers一个目录节点，且数据永久存储。

3.根据权利要求1所述的用于数据采集集群化管理方法，其特征在于，所述服务调配***的工作内容包括：

监控Master节点和worker节点的心跳，踢除死亡节点，若Master节点的心跳停止，则会选举出新的Master节点；

存放***的配置信息，通过接口向外提供配置参数，应用服务通过调用接口获取参数，实现参数的统一管理。

4.根据权利要求1所述的用于数据采集集群化管理方法，其特征在于，所述Master节点的工作内容包括：

在高可用模式下进行选主，选择处于Active状态的一个Master节点对外提供服务；

负责维护集群上的Jobs数据、workers数据、tasks数据和各个Worker节点的监控数据；

根据各个Worker节点的监控数据，对Task进行实时动态调度；

提供REST接口供业务上线、下线和查看。

5.根据权利要求1所述的用于数据采集集群化管理方法，其特征在于，所述Worker节点的工作内容包括：

对业务运行的Task进行管理；

对Task和主机进行监控，并将Task和主机的监控数据汇报给Master节点。

6.根据权利要求1所述的用于数据采集集群化管理方法，其特征在于，所述动态调度包括：

针对Worker节点，在调度的过程中，根据Worker节点的中央处理器、内存、磁盘和网络的使用情况，选择当前最空闲的Worker节点进行上线；

针对Task，Master节点根据Task的消费能力和堆积能力，对当前业务的Task进行扩缩容。

7.一种用于数据采集集群化管理装置，其特征在于，该装置采用分布式主从架构，包括：一套服务调配***、一个或多个Master节点以及多个Worker节点；

Master节点通过一套服务调配***实现高可用，并根据各个Worker节点的监控数据，对Task进行实时动态调度；

Worker节点通过多个worker节点实现高可用；

一套服务调配***实现配置的统一管理。

8.根据权利要求7所述的用于数据采集集群化管理装置，其特征在于，所述服务调配***管理的工作目录包括：

leader，用于存储Master节点选主的临时节点；

master，用于存储Active Master节点的Service URL；

jobs，用于存储Job数据的目录节点；

Workers，用于存储Worker节点发现的临时节点；

assign/<worker-id>，是分配任务的列表，每个Workers一个目录节点，且数据永久存储。

9.根据权利要求7所述的用于数据采集集群化管理装置，其特征在于，所述服务调配***的工作内容包括：

监控Master节点和worker节点的心跳，踢除死亡节点，若Master节点的心跳停止，则会选举出新的Master节点；

存放***的配置信息，通过接口向外提供配置参数，应用服务通过调用接口获取参数，实现参数的统一管理。

10.根据权利要求7所述的用于数据采集集群化管理装置，其特征在于，所述Master节点的工作内容包括：

在高可用模式下进行选主，选择处于Active状态的一个Master节点对外提供服务；

负责维护集群上的Jobs数据、workers数据、tasks数据和各个Worker节点的监控数据；

根据各个Worker节点的监控数据，对Task进行实时动态调度；

提供REST接口供业务上线、下线和查看。

11.根据权利要求7所述的用于数据采集集群化管理装置，其特征在于，所述Worker节点的工作内容包括：

对业务运行的Task进行管理；

对Task和主机进行监控，并将Task和主机的监控数据汇报给Master节点。

12.根据权利要求7所述的用于数据采集集群化管理装置，其特征在于，所述动态调度包括：

针对Worker节点，在调度的过程中，根据Worker节点的中央处理器、内存、磁盘和网络的使用情况，选择当前最空闲的Worker节点进行上线；

针对Task，Master节点根据Task的消费能力和堆积能力，对当前业务的Task进行扩缩容。

13.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-6任一项所述方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1-6任一项所述方法的计算机程序。

Images