CN103369054B - 一种采集任务管理方法及*** - Google Patents

一种采集任务管理方法及*** Download PDF

Info

Publication number
CN103369054B
CN103369054B CN201310326074.XA CN201310326074A CN103369054B CN 103369054 B CN103369054 B CN 103369054B CN 201310326074 A CN201310326074 A CN 201310326074A CN 103369054 B CN103369054 B CN 103369054B
Authority
CN
China
Prior art keywords
acquisition
list
node
acquisition node
tasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310326074.XA
Other languages
English (en)
Other versions
CN103369054A (zh
Inventor
彭毅
周星
郭伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sohu New Media Information Technology Co Ltd
Original Assignee
Beijing Sohu New Media Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sohu New Media Information Technology Co Ltd filed Critical Beijing Sohu New Media Information Technology Co Ltd
Priority to CN201310326074.XA priority Critical patent/CN103369054B/zh
Publication of CN103369054A publication Critical patent/CN103369054A/zh
Application granted granted Critical
Publication of CN103369054B publication Critical patent/CN103369054B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明实施例提供一种采集任务管理方法及***,所述方法包括以下步骤:调度模块加载采集方案,从采集方案中读取目标节点列表;调度模块根据目标节点列表生成管理任务清单;调度模块根据预设的均衡机制,将管理任务清单中的采集任务分配向采集节点;所述***包括调度模块,用于加载采集方案,从采集方案中读取目标节点列表;根据目标节点列表生成管理任务清单;根据预设的均衡机制,将管理任务清单中的采集任务分配向采集节点。

Description

一种采集任务管理方法及***
技术领域
本发明涉及通信技术领域,特别涉及一种采集任务管理方法及***。
背景技术
服务器集群是指将很多子服务器集中起来一起进行同一服务的一种大规模服务器。在客户端看来一个服务器集群就等同于一个单一的服务器。显而易见,这种集成了多个子服务器的服务器集群拥有比单一服务器更高的运算速度。
服务器集群可以用来作为大规模的数据采集***,服务器集群中的子服务器协同运行,每个子服务器作为一个采集节点,执行相应的采集任务,即可实现多采集任务的并行处理,可以显著的提高数据采集的效率。在此前提之下,对于每个采集节点进行合理的任务管理和部署,便成为使母***均衡运行的关键。
现有的负载均衡器BIG-IP就是一种对集群数据采集***中任务流量进行管理和分配的设备。BIG-IP能够提供灵活的算法,可以将数据流有效地转发到它所连接的集群数据采集***。而面对前台的操作者,BIG-IP及其所管理的数据采集***可以相当于一个虚拟服务器,使操作者无需针对每个采集节点进行操作。
BIG-IP中存在两种对采集节点进行管理和查验工具,分别是ECV(ExtendedContentVerification,扩展内容查证)和EAV(ExtendedApplicationVerification,扩展应用查证)。二者均可以根据请求对采集节点进行查验并反馈信息,通过反馈信息判断采集节点以及数据采集***整体的运行状态,进而对采集任务进行管理和分配。不同在于,ECV响应于客户的查验请求,而EAV响应于具体应用的查验请求。
但是,BIG-IP中两个查验工具存在的缺陷在于,虽然二者在一定程度上体现了采集任务进行管理和分配的基本思想;但是实际上,采集节点的拓扑结构纷繁复杂,而且是实时动态变化的;现有技术还不能够随着采集的进行实现数据采集***整体达到任务流量和负载的均衡,也不能有效的进行数据采集***的任务管理和采集节点的维护。
发明内容
有鉴于此,本发明的目的在于提供一种采集任务管理方法及***,所述方法在数据采集***执行采集任务的过程中,实现对于采集任务和采集节点的管理和资源分配。
为实现上述目的,本发明有如下技术方案:
一种采集任务管理方法,所述方法包括以下步骤:
调度模块加载采集方案,从采集方案中读取目标节点列表;
调度模块根据目标节点列表生成管理任务清单;
调度模块根据预设的均衡机制,将管理任务清单中的采集任务分配向采集节点。
所述调度模块还从采集方案中读取采集节点列表;则所述根据目标节点列表生成管理任务清单具体为:
利用采集节点列表提取进行任务单;
将目标节点列表与进行任务单进行对比,并将目标节点列表中对比进行任务单发生变化的部分作为管理任务清单。
所述利用采集节点列表提取进行任务单具体为:
调度模块监听采集节点列表中采集节点的通信,获取各个采集节点正在执行的采集任务,将正在执行的采集任务集合成进行任务单。
所述将目标节点列表中对比进行任务单发生变化的部分作为管理任务清单具体为:
当采集任务存在于目标节点列表中,且不存在于进行任务单中时,将该采集任务作为管理任务清单中的增加项;
当采集任务不存在于目标节点列表中,且存在于进行任务单中时,将该采集任务作为管理任务清单中的删除项;
当采集任务同时存在于目标节点列表和进行任务单中,但任意参数发生了变化时,将该采集任务作为管理任务清单中的修改项,且发生变化的参数以目标节点列表中参数为准。
所述预设的均衡机制具体为:
根据目标节点列表中采集任务的数量和采集节点的数量,计算出每个采集节点的负载任务数值区间;
则所述根据预设的均衡机制将管理任务清单中的采集任务分配向采集节点具体为:
将管理任务清单中的采集任务分配到采集节点,使每个采集节点被分配的采集任务数量在负载任务数值区间内。
所述方法还包括:
为管理任务清单设置一个标志位,如果管理任务清单中记录了变化的采集任务时,将管理任务清单的标志位定义为true;
当根据预设的均衡机制将管理任务清单中的采集任务分配向采集节点后,将管理任务清单的标志位修改为false。
所述方法还包括:
调度模块向采集节点列表中的采集节点发送测试指令,致使采集节点根据测试指令对自身进行测试;调度模块并接收采集节点的反馈信息,根据反馈信息修改采集节点列表。
所述根据反馈信息修改采集节点列表具体为:
如果采集节点反馈信息显示为测试失败,则将该采集节点从采集节点列表中删除,并将该采集节点加入死机节点列表中。
所述方法还包括:
调度模块向死机节点列表中的采集节点发送至少一次测试指令,当采集节点反馈信息至少一次显示为测试成功时,则将该采集节点加入到采集节点列表中。
所述方法还包括:
当新增采集节点时,将新增的采集节点加入采集节点列表中。
一种采集任务管理***,所述***具体包括:
调度模块,用于加载采集方案,从采集方案中读取目标节点列表;根据目标节点列表生成管理任务清单;根据预设的均衡机制,将管理任务清单中的采集任务分配向采集节点。
所述调度模块包括:
读取单元,用于加载采集方案,从采集方案中读取目标节点列表和采集节点列表;
进行单元,用于利用采集节点列表提取进行任务单;
管理单元,用于将目标节点列表与进行任务单进行对比,并将目标节点列表中对比进行任务单发生变化的部分作为管理任务清单;
分配单元,用于根据预设的均衡机制,将管理任务清单中的采集任务分配向采集节点。
所述调度模块还包括:
测试单元,用于向采集节点列表中的采集节点发送测试指令,致使采集节点根据测试指令对自身进行测试;调度模块并接收采集节点的反馈信息,根据反馈信息修改采集节点列表。
通过以上技术方案可知,本发明存在的有益效果是:可以在采集策略动态变化的情况下,相应的生成管理任务清单,并进一步的按照均衡机制修改采集节点中采集任务分配,实现采集节点上负载的均衡;通过对比目标节点列表与进行任务单,仅将变化的采集任务写入管理任务清单中,节约了通信资源和***资源;通过为管理任务清单设置标志位,还能够避免已处理过的管理任务清单重复产生影响;向采集节点发送测试指令进行测试,实时的了解采集节点的状态,在采集节点发生变化的情况下修改采集节点列表,实现了动态的对采集节点进行管理,以便于采集任务更准确的管理和均衡的分配。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所述方法流程图;
图2为本发明另一实施例所述方法流程图;
图3为本发明实施例所述***结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明中,所述方法在集群数据采集***(本发明中可称之为所述采集任务管理方法及***的母***)执行采集任务的同时配合实施。在现有的集群数据采集***中包括多个向目标节点进行数据采集的采集节点,并且该***首先需要针对所有采集节点和目标节点制定采集策略,采集节点按照母***制定的采集策略进行数据采集。
采集策略规定了采集节点具体在某个时间针对某个目标节点采集目标数据,也就是规定了针对目标节点的采集任务;采集策略中包含了一个或多个采集任务,以分配到不同的采集节点上;采集策略是采集节点执行任务的依据。需要说明的是,在母***中,采集任务一般是周期性的执行,也就是根据按照采集任务,采集节点以特定周期,循环不断的对目标节点进行数据的采集。在本发明的整体方案中,并不变更采集策略内容。
采集策略能够通过目标节点列表得以体现。目标节点列表中则包括各个目标节点的名称、地址等信息;目标节点列表中还可以包括每个目标节点被采集的方式的信息,例如采集周期。这就表示,目标节点列表中包括的目标节点即是采集策略中需要被采集数据的所有节点,也就是采集任务执行的目标;所以每个目标节点实际上也对应着采集策略中的一个采集任务,目标节点列表也体现了采集策略中采集任务的总和,也就等同于采集策略。
而为了在采集的过程中分配采集任务,并控制采集节点有针对性的执行采集任务,还需要配置采集节点列表。采集节点列表和目标节点列表共同构成数据采集过程中一个完整的采集方案。
采集节点列表中包括了母***中各个采集节点的名称、地址、运行状态以及分配状态等信息。即采集节点列表不仅描述母***中哪些采集节点参与执行采集方案,还显示采集节点是否被分配并正在执行采集任务。
所述母***即按照上述的采集方案运行,实现控制采集节点对目标节点进行数据采集。本发明中以针对上述两个列表进行操作为前提,实现对于采集任务的管理。上述应用背景在以下实施例中均适用。
参见图1所示,为本发明实施例所述采集任务管理方法的一个具体实施例。本实施例中将结合上述采集节点列表和目标节点列表生成管理任务清单,进而根据管理任务清单实现在动态变化的环境中有效的管理采集任务,使各个采集节点均衡稳定的运行。本实施例中所述方法具体包括以下步骤:
步骤101、调度模块加载采集方案,从采集方案中读取目标节点列表。
通过所述方法的实施背景进一步可知,所述目标节点列表即意味着采集策略,所述采集策略中包括至少一个采集任务。本实施例中,调度模块可以从母***中设有的数据库加载采集方案。
以上步骤为所述方法得以执行必不可少的前期准备步骤。通过加载采集方案,调度模块获取目标节点列表,还可以进一步的获取采集节点列表,从而具备了进行后续的步骤的前提。还需说明的是,所述调度模块为本实施例所述方法中负责控制的部分。
另外,调度模块还可以连接监听端口,利用监听端口直接接收母***的相关指令。
步骤102、调度模块根据目标节点列表生成管理任务清单。
本实施例中对于采集节点负载的管理一般以一个采集任务为单位,通过均衡的分配采集任务以实现对于采集节点运行和负载状态的管理。一个采集任务(task)在***中的数据呈现形式可以参考下表:
参数名称 含义
server_id 目标节点ID4 -->
server_type 目标节点类型
raid_type 目标节点磁盘类型
server_ip 目标节点ip地址
bmc_ip 目标节点bmc的ip地址
bmc_user 目标节点bmc的用户名
bmc_password 目标节点bmc的密码
ipmi_period 目标节点ipmi采集周期
snmp_period 目标节点snmp采集周期
表1
采集方案中,预先对采集节点进行任务的分配。但随着数据采集的进行,整体的采集方案会出现动态变化的情况,各采集节点的采集任务和采集节点均可能出现变化;比如,母***重新配置了采集策略,原采集策略中的采集任务被修改或删除,还可能另有新的采集任务加入到采集策略中;或者某些采集节点可能死机,或者***中新增了采集节点等。所以在采集过程中,各个采集节点的任务负载情况会出现不同程度的不均衡。现有技术难以针对类似的动态变化而随机应变,本实施例所述任务管理方法的目的即是通过动态的改变原有的采集任务分配,实现改善采集节点任务负载的不均衡。
本实施例中,所述采集任务管理方法并不改变采集策略,也就是不会修改目标节点列表的内容。但母***可以通过指令重新编辑采集策略,再根据新的采集策略修改目标节点列表。
前述已经明确在目标节点列表中内容实质上就等同于采集策略中的内容,每个目标节点对应一个采集任务,母***若改变了采集策略,这一改变必将也反映在目标节点列表上,所以说目标节点列表是能够体现动态变化的。本实施例中目标节点列表中共包括6个采集任务,下表为节点列表的数据形式:
表2
表2展现的目标节点中表Task1~Task6共六项任务。还对应的显示出每个任务对应的目标节点的ID以及其他信息,具体可对照表1,在此不作赘述。
因为目标节点列表即表示了采集任务的集合,所以理论上可以直接将目标节点列表作为管理任务清单,供后续的任务均衡分配。但实际上仅根据目标节点列表本身,是无法看出采集任务的变化情况的,如果直接将目标节点列表作为管理任务清单而进行任务的分配,则相当于对所有的采集节点重新进行了一次任务分配;但实际上目标节点列表的变化情况一般都不是特别大,所以完全的重新分配浪费了大量通信资源和***资源。本实施例中可以采取以下的优选方案得到管理任务清单:
如果可以仅仅针对目标节点列表变化的部分进行采集节点负载的调整,必然会大大的节约资源。实际上在***中,采集策略发生的变化并不能够直接的传达至采集节点,采集节点只依旧按照原有的分配执行任务。所以对照目标节点列表和采集节点当前执行的采集任务的情况,就可以发现目标几点列表的变化。
本实施例中根据采集节点列表提取进行任务单,就是调度模块监听采集节点列表中采集节点的通信,通过监听通信内容直接的获取当前各个采集节点正在执行的采集任务,将所有将正在执行的采集任务集合成进行任务单。从实现方式上来讲,调度模块可以利用监听端口对采集节点进行通信交互和控制,
假设在本实施例中,共包括两个采集节点,分别是第一采集节点和第二采集节点,通过监听两个采集节点的通信,可相应的得到两个进行任务单,具体如下:
第一进行任务单:
表3
第一进行任务单表示,第一采集节点正在执行Task1和Task7两个任务。
第二进行任务单:
表4
同理,第二进行任务单表示,第二采集节点正在执行Task3、Task4和Task5,对应的目标节点的信息同样按照规定的格式给予了显示。
合并上述第一进行任务单和第二进行任务单,即得到一个能够显示采集节点列表中所有采集节点任务执行和分配情况的进行任务单,也就是获悉了每个节点正在执行具体哪些任务。
但进行任务单显示的是,经过前一次对于采集节点的任务分配后,各个采集节点需具体的执行哪些采集任务。如果目标节点列表已发生变化,而采集节点的任务分配并没有随之改变,那么极可能出现采集节点负载的不均衡。
本实施例中,将目标节点列表与进行任务单进行对比,并将目标节点列表中对比进行任务单发生变化的部分作为管理任务清单。生成管理任务清单可以按照以下的机制:
当一个采集任务存在于目标节点列表中,且不存在于进行任务单中时,将该采集任务作为管理任务清单中的增加项;
当一个采集任务不存在于目标节点列表中,且存在于进行任务单中时,将该采集任务作为管理任务清单中的删除项;
当一个采集任务同时存在于目标节点列表和进行任务单中,但任意参数发生了变化时,将该采集任务作为管理任务清单中的修改项,且发生变化的参数以目标节点列表中参数为准。
本实施例中,对比目标节点列表和进行任务单,可发现Task2和Task6属于增加项;Task7属于删除项;Task1、Task3和Task4均属于修改项(参数snmp_period发生了变化)。Task5未发生变化。由此,通过对比而得到的管理任务清单,避免了Task5重复的通信和处理,节约的***资源。需要说明的是,本实施例中采集任务总数和未发生变化的采集任务数量较少,往往在真正的大规模母***中,节约这一部分资源是相当可观的。
按照上述方式,所述管理任务清单的具体数据形式如下表:
add Task2、Task6
mod Task1、Task3、Task4
delete Task7
表5
步骤103、调度模块根据预设的均衡机制,将管理任务清单中的采集任务分配向采集节点。
本实施例中,预设的均衡机制可以如下表述:
根据目标节点列表中采集任务的数量和采集节点的数量,计算出每个采集节点的负载任务数值区间;并使每个采集节点被分配的采集任务数量在负载任务数值区间内。
本实施例中,目标节点列表中包括6个采集任务,而采集节点数量为2,所以平均每个采集节点应负载的采集任务数量为3个;由于本实施例中采集任务和采集节点数量较少,所以可以直接设定负载任务数值区间等于3;而在其他环境下,可能中采集任务和采集节点数量很大,且平均值可能出现小数,那么相应的可以适当放宽负载任务数值区间,使其不再是一个单一的数值;假如在本实施例中放宽负载任务数值区间,可以设定负载任务数值区间为2~4。当然,根据采集任务和采集节点数量级别的不同,负载任务数值区间的范围也能够根据需要适当的改变。当所有的采集节点执行的任务数量均落在负载任务数值区间内,则认为此事所有的采集节点负载达到均衡。
本实施例中,在根据管理任务清单分配采集任务时,未发生变化的采集任务一般不会被重新分配,而对于发生变化的采集任务,往往以修改项较为优先;也就是说,例如本实施例中Task1、Task3或Task4这种仅发生参数改变的采集任务,将尽可能的不改变原本执行该采集任务的采集节点,由此同样可以节约***的工作量。
例如,针对本实施例中的6个采集任务和2个采集节点,可按照以下方式进行分配,负载任务数值区间等于3。
对于第一采集节点,原本执行Task1和Task7;Task1为修改项,以目标节点列表中的参数为准进行替换;Task7为删除项,则直接删除。此时第一采集节点仅被分配了一个采集任务,小于负载任务数值区间,所以将两个增加项Task2和Task6分配到第一采集节点执行。重新分配后,第一采集节点将执行Task1、Task2和Task6三个采集任务,满足负载任务数值区间。
而第二采集节点原本执行Task3、Task4和Task5共三个采集任务,其中Task3和Task4为修改项;则可以将Task3和Task4以目标节点列表中的参数为准进行替换,Task5维持不变,第二采集节点即执行三个采集任务,数量符合负载任务数值区间。
由此,本实施例中两个采集节点的负载任务均为三个,达到负载均衡。
在本实施例中,还可以为管理任务清单设置一个标志位,该标志位可存在true和false两个位置,是否需要依照均衡机制进行采集任务的重新分配,需要依照管理任务清单的标志位来判断。具体的,当标志位为true则判断需重新分配,反之则不需重新分配。
如果在步骤102中,目标节点列表不等同于进行任务单,也就是管理任务清单中记录了二者存在变化的采集任务时,将管理任务清单的标志位定义为true。当标志位为true,则开启本步骤中依照均衡机制进行采集任务的重新分配的过程。当分配过程结束后,需将管理任务清单的标志位修改为false。在标志位为false的情况下,则不触发本步骤,如此可以防止以处理过的管理任务清单再次对任务的分配产生影响。
通过以上技术方案可知,本实施例中所述采集任务管理方法存在的有益效果是:所述方法可以在采集策略动态变化的情况下,相应的生成管理任务清单,并进一步的按照均衡机制修改采集节点中采集任务分配,实现采集节点上负载的均衡;通过对比目标节点列表与进行任务单,仅将变化的采集任务写入管理任务清单中,节约了通信资源和***资源;通过为管理任务清单设置标志位,还能够避免已处理过的管理任务清单重复产生影响。
前述实施例所述的采集任务管理方法,实现了在采集过程中达到采集节点负载均衡,也就是说有针对性的避免了采集策略的动态变化产生的影响。而为了进一步的针对采集节点状态的动态变化,还可以将以下优化方案结合到所述方法的整体技术方案当中,具体参见图2所示:
步骤201、调度模块向采集节点列表中的采集节点发送测试指令,致使采集节点根据测试指令对自身进行测试;调度模块并接收采集节点的反馈信息,根据反馈信息修改采集节点列表。
前述已知,在母***执行采集策略的过程中,不仅采集策略可能发生改变,采集节点的状态同样可能变化,执行采集任务的采集节点可能会出现故障死机;所以如果要维持母***正常的执行任务,实时的对采集节点进行测试,了解各个采集节点的状态并做出管理行为是至关重要的。
本实施例中,调度模块可以周期性的向采集节点列表中的采集节点发出测试指令,采集节点即可按照测试指令进行测试,并向调度模块反馈信息。调度模块由此获悉每个采集节点的状态。一般而言,正常运行的采集节点均可以根据测试指令完成测试,反馈信息中将显示为测试成功;但如果某一采集节点处于死机状态,则将无法完成测试,而返回一个显示为测试失败的反馈信息。
例如在上一实施例的具体场景下,调度模块同时向第一采集节点和第二采集节点发送测试指令;假设第一采集节点正常工作,则其反馈信息显示为测试成功,第二采集节点死机,则其反馈信息为测试失败。
进一步的,在收到反馈信息之后,调度模块将根据反馈信息做出相应的管理,也就是根据反馈信息修改采集节点列表。所述采集节点列表中包括的采集节点即是正在执行任务的所有采集节点,而一旦出现死机的采集节点,需从采集节点列表中删除。当然,如果所有采集节点均正常工作,在此将不对采集节点列表进行修改。
本实施例中,将第二采集节点从采集节点列表中删除,并加入到死机节点列表中。
另外,为了提高所述采集节点测试的准确性,本实施例中将进一步的包括:
步骤202、调度模块向死机节点列表中的采集节点发送至少一次测试指令,当采集节点反馈信息至少一次显示为测试成功时,则将该采集节点加入到采集节点列表中。
加入到死机节点列表中的采集节点,均是在一次测试中反馈信息为测试失败的采集节点。但是由于仅经过了一次测试,并不能排除偶然因素导致测试失败的情况;或者也可能进入死机节点列表的采集节点经过维修后已经恢复了正常运行,可以重新执行采集任务。所以本实施例中对死机节点列表中的采集节点进行重复测试,也就是重复发送至少一次的测试指令,本实施例中优选为三次。当三次测试指令中至少一次反馈信息为测试成功,则认为该采集节点能够正常执行采集任务,将该采集节点重新加入到采集节点列表中。
本实施例中,对于母***在采集策略执行中新增采集节点的情况,可以按照以下步骤操作:
步骤203、当新增采集节点时,将新增的采集节点加入采集节点列表中。
无论是上述哪种情况,在更改了采集节点列表之后,均需要重新按照前述实施例中步骤102所描述,根据新的采集节点列表重置进行任务单,再进一步的重置管理任务清单,最终对采集节点的采集任务进行重新分配,以实现在采集节点的动态变化的情况下,重新达到负载均衡。
本实施例所述方法存在的有益效果是:通过调度模块向采集节点发送测试指令进行测试,实时的了解采集节点的状态,在采集节点发生变化的情况下修改采集节点列表,实现了动态的对采集节点进行管理,以便于采集任务更准确的管理和均衡的分配。
对应图1所示实施例所述***,本发明进一步的公开一种采集任务管理***,所述***是基于所述方法而设立,二者核心技术方案一致,所述***具体包括:
调度模块,用于加载采集方案,从采集方案中读取目标节点列表;根据目标节点列表生成管理任务清单;根据预设的均衡机制,将管理任务清单中的采集任务分配向采集节点。
参照图2所示,所述调度模块包括:
读取单元,用于加载采集方案,从采集方案中读取目标节点列表和采集节点列表;
进行单元,用于利用采集节点列表提取进行任务单;
管理单元,用于将目标节点列表与进行任务单进行对比,并将目标节点列表中对比进行任务单发生变化的部分作为管理任务清单;
分配单元,用于根据预设的均衡机制,将管理任务清单中的采集任务分配向采集节点。
通过以上技术方案可知,所述***存在的有益效果是:所述***可以在采集策略动态变化的情况下,相应的生成管理任务清单,并进一步的按照均衡机制修改采集节点中采集任务分配,实现采集节点上负载的均衡;通过对比目标节点列表与进行任务单,仅将变化的采集任务写入管理任务清单中,节约了通信资源和***资源。
另外,在所述***中还可以结合以下的优选方案:所述调度模块还包括:
测试单元,用于向采集节点列表中的采集节点发送测试指令,致使采集节点根据测试指令对自身进行测试;调度模块并接收采集节点的反馈信息,根据反馈信息修改采集节点列表。
以上优选方案存在的有益效果是:向采集节点发送测试指令进行测试,实时的了解采集节点的状态,在采集节点发生变化的情况下修改采集节点列表,实现了动态的对采集节点进行管理,以便于采集任务更准确的管理和均衡的分配。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种采集任务管理方法,其特征在于,所述方法包括以下步骤:
调度模块加载采集方案,从采集方案中读取目标节点列表;
调度模块根据目标节点列表生成管理任务清单;
调度模块根据预设的均衡机制,将管理任务清单中的采集任务分配向采集节点;
其中,所述调度模块还从采集方案中读取采集节点列表;则所述根据目标节点列表生成管理任务清单具体为:
利用采集节点列表提取进行任务单;
将目标节点列表与进行任务单进行对比,并将目标节点列表中对比进行任务单发生变化的部分作为管理任务清单。
2.根据权利要求1所述方法,其特征在于,所述利用采集节点列表提取进行任务单具体为:
调度模块监听采集节点列表中采集节点的通信,获取各个采集节点正在执行的采集任务,将正在执行的采集任务集合成进行任务单。
3.根据权利要求1所述方法,其特征在于,所述将目标节点列表中对比进行任务单发生变化的部分作为管理任务清单具体为:
当采集任务存在于目标节点列表中,且不存在于进行任务单中时,将该采集任务作为管理任务清单中的增加项;
当采集任务不存在于目标节点列表中,且存在于进行任务单中时,将该采集任务作为管理任务清单中的删除项;
当采集任务同时存在于目标节点列表和进行任务单中,但任意参数发生了变化时,将该采集任务作为管理任务清单中的修改项,且发生变化的参数以目标节点列表中参数为准。
4.根据权利要求1所述方法,其特征在于,所述预设的均衡机制具体为:
根据目标节点列表中采集任务的数量和采集节点的数量,计算出每个采集节点的负载任务数值区间;
则所述根据预设的均衡机制将管理任务清单中的采集任务分配向采集节点具体为:
将管理任务清单中的采集任务分配到采集节点,使每个采集节点被分配的采集任务数量在负载任务数值区间内。
5.根据权利要求1-4任意一项所述方法,其特征在于,所述方法还包括:
为管理任务清单设置一个标志位,如果管理任务清单中记录了变化的采集任务时,将管理任务清单的标志位定义为true;
当根据预设的均衡机制将管理任务清单中的采集任务分配向采集节点后,将管理任务清单的标志位修改为false。
6.根据权利要求1所述方法,其特征在于,所述方法还包括:
调度模块向采集节点列表中的采集节点发送测试指令,致使采集节点根据测试指令对自身进行测试;调度模块并接收采集节点的反馈信息,根据反馈信息修改采集节点列表。
7.根据权利要求6所述方法,其特征在于,所述根据反馈信息修改采集节点列表具体为:
如果采集节点反馈信息显示为测试失败,则将该采集节点从采集节点列表中删除,并将该采集节点加入死机节点列表中。
8.根据权利要求7所述方法,其特征在于,所述方法还包括:
调度模块向死机节点列表中的采集节点发送至少一次测试指令,当采集节点反馈信息至少一次显示为测试成功时,则将该采集节点加入到采集节点列表中。
9.根据权利要求6-8任意一项所述方法,其特征在于,所述方法还包括:
当新增采集节点时,将新增的采集节点加入采集节点列表中。
10.一种采集任务管理***,其特征在于,所述***具体包括:
调度模块,用于加载采集方案,从采集方案中读取目标节点列表;根据目标节点列表生成管理任务清单;根据预设的均衡机制,将管理任务清单中的采集任务分配向采集节点;
所述调度模块包括:
读取单元,用于加载采集方案,从采集方案中读取目标节点列表和采集节点列表;
进行单元,用于利用采集节点列表提取进行任务单;
管理单元,用于将目标节点列表与进行任务单进行对比,并将目标节点列表中对比进行任务单发生变化的部分作为管理任务清单;
分配单元,用于根据预设的均衡机制,将管理任务清单中的采集任务分配向采集节点。
11.根据权利要求10所述***,其特征在于,所述调度模块还包括:
测试单元,用于向采集节点列表中的采集节点发送测试指令,致使采集节点根据测试指令对自身进行测试;调度模块并接收采集节点的反馈信息,根据反馈信息修改采集节点列表。
CN201310326074.XA 2013-07-30 2013-07-30 一种采集任务管理方法及*** Expired - Fee Related CN103369054B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310326074.XA CN103369054B (zh) 2013-07-30 2013-07-30 一种采集任务管理方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310326074.XA CN103369054B (zh) 2013-07-30 2013-07-30 一种采集任务管理方法及***

Publications (2)

Publication Number Publication Date
CN103369054A CN103369054A (zh) 2013-10-23
CN103369054B true CN103369054B (zh) 2016-05-18

Family

ID=49369575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310326074.XA Expired - Fee Related CN103369054B (zh) 2013-07-30 2013-07-30 一种采集任务管理方法及***

Country Status (1)

Country Link
CN (1) CN103369054B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105806144A (zh) * 2015-05-18 2016-07-27 山东信合节能科技股份有限公司 一种利用云处理的矿井余热回收的***与方法
CN105137925B (zh) * 2015-07-23 2018-02-16 上海极熵数据科技有限公司 自动化工业设备的作业调度方法
CN105868021A (zh) * 2016-03-23 2016-08-17 浪潮通信信息***有限公司 一种任务分配的方法及装置
CN106126346B (zh) * 2016-07-05 2019-02-26 东北大学 一种大规模分布式数据采集***及方法
CN106534259B (zh) * 2016-09-30 2019-08-13 山东大学 基于Docker的Web数据采集方法、Web服务器及Web数据采集***
CN106603282B (zh) * 2016-12-08 2019-11-29 上海斐讯数据通信技术有限公司 一种网络资源管理***以及网络中性能数据的采集方法
CN108769115A (zh) * 2018-04-19 2018-11-06 中国科学院计算技术研究所 分布式rss数据采集方法和***
CN109120688A (zh) * 2018-08-10 2019-01-01 北京天安智慧信息技术有限公司 用于工业实时数据的分布式采集方法
CN110912905A (zh) * 2019-11-28 2020-03-24 云南电网有限责任公司电力科学研究院 实验室数据采集***及方法
CN112765121A (zh) * 2021-01-08 2021-05-07 北京虹信万达科技有限公司 一种基于大数据服务的治理及应用***
CN113342665B (zh) * 2021-06-17 2023-10-20 北京百度网讯科技有限公司 任务分配方法和装置、电子设备、计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938502A (zh) * 2009-07-14 2011-01-05 北京邮电大学 一种服务器集群***及负载均衡方法
JP2012216090A (ja) * 2011-03-31 2012-11-08 Fujitsu Ltd データ収集装置、データ収集プログラム及びデータ収集方法
CN103138989A (zh) * 2013-02-25 2013-06-05 武汉华工安鼎信息技术有限责任公司 一种海量日志分析***及方法
CN103207920A (zh) * 2013-04-28 2013-07-17 北京航空航天大学 一种元数据并行采集***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938502A (zh) * 2009-07-14 2011-01-05 北京邮电大学 一种服务器集群***及负载均衡方法
JP2012216090A (ja) * 2011-03-31 2012-11-08 Fujitsu Ltd データ収集装置、データ収集プログラム及びデータ収集方法
CN103138989A (zh) * 2013-02-25 2013-06-05 武汉华工安鼎信息技术有限责任公司 一种海量日志分析***及方法
CN103207920A (zh) * 2013-04-28 2013-07-17 北京航空航天大学 一种元数据并行采集***

Also Published As

Publication number Publication date
CN103369054A (zh) 2013-10-23

Similar Documents

Publication Publication Date Title
CN103369054B (zh) 一种采集任务管理方法及***
US10747569B2 (en) Systems and methods of discovering and traversing coexisting topologies
US10355950B2 (en) Progressive deployment and termination of canary instances for software analysis
CN111061715B (zh) 基于Web和Kafka的分布式数据集成***及方法
CN105025095B (zh) 实现云计算弹***的集群架构
Javed et al. IoTEF: A federated edge-cloud architecture for fault-tolerant IoT applications
Jhawar et al. Fault tolerance management in cloud computing: A system-level perspective
Clayman et al. Monitoring virtual networks with lattice
Smit et al. Distributed, application-level monitoring for heterogeneous clouds using stream processing
CN108737168B (zh) 一种基于容器的微服务架构应用自动构建方法
US20180091586A1 (en) Self-healing a message brokering cluster
US7814198B2 (en) Model-driven, repository-based application monitoring system
CN102983996A (zh) 一种高可用集群资源管理的动态配置方法与***
CN112527647B (zh) 基于NS-3的Raft共识算法测试***
CN109446062A (zh) 云计算服务中的软件调试的方法和装置
CN105553732A (zh) 一种分布式网络模拟方法及***
US9106676B1 (en) Grid-based server messaging infrastructure
JP2010128597A (ja) 情報処理装置及び情報処理装置の運用方法
CN112346980B (zh) 软件性能测试方法、***和可读存储介质
US20150067097A1 (en) Managing data distribution to networked client computing devices
CN103067507A (zh) 互联网云计算资源虚拟化封装***及方法
US11223534B2 (en) Systems and methods for hub and spoke cross topology traversal
Henning Prototype of a scalable monitoring infrastructure for Industrial DevOps
CN108280012A (zh) 一种监控服务器***进程的方法及装置
Zhou et al. The mapping mechanism between Distributed Integrated Modular Avionics and data distribution service

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 100086 12, 1201, 3 building, 2 South Road, Haidian District Academy of Sciences, Beijing.

Patentee after: BEIJING SOHU NEW MEDIA INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 100084 Beijing Haidian District Zhongguancun East Road 1 hospital 9 building Sohu cyber Building 8 floor 802 room.

Patentee before: BEIJING SOHU NEW MEDIA INFORMATION TECHNOLOGY Co.,Ltd.

CP02 Change in the address of a patent holder
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160518

CF01 Termination of patent right due to non-payment of annual fee