CN105631006B - 一种数据调度采集装置与方法 - Google Patents

一种数据调度采集装置与方法 Download PDF

Info

Publication number
CN105631006B
CN105631006B CN201511002830.9A CN201511002830A CN105631006B CN 105631006 B CN105631006 B CN 105631006B CN 201511002830 A CN201511002830 A CN 201511002830A CN 105631006 B CN105631006 B CN 105631006B
Authority
CN
China
Prior art keywords
acquisition
adapter
data
tasks
scheduling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511002830.9A
Other languages
English (en)
Other versions
CN105631006A (zh
Inventor
朱文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HANGZHOU DONGFANG COMMUNICATION SOFTWARE TECHNOLOGY Co Ltd
Original Assignee
HANGZHOU DONGFANG COMMUNICATION SOFTWARE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HANGZHOU DONGFANG COMMUNICATION SOFTWARE TECHNOLOGY Co Ltd filed Critical HANGZHOU DONGFANG COMMUNICATION SOFTWARE TECHNOLOGY Co Ltd
Priority to CN201511002830.9A priority Critical patent/CN105631006B/zh
Publication of CN105631006A publication Critical patent/CN105631006A/zh
Application granted granted Critical
Publication of CN105631006B publication Critical patent/CN105631006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Water Supply & Treatment (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种数据调度采集装置，该装置包括：平台框架层、采集适配层和设备层；平台框架层用于接收采集请求，下发采集任务获取采集适配层的采集任务进度信息，分发采集数据；采集适配层包括多个采集适配器用于接收采集任务，对设备层进行数据采集；平台框架层包括：调度集群模块和原平台框架模块；原平台框架模块用于接收采集请求和适配器控制信息；调度集群模块用于接收原平台框架模块发出的采集请求，生成采集任务并将采集任务下发至采集适配层相应适配器域中负荷较轻且未损坏的适配器中。本发明实施例由平台框架层完成采集任务调度，提高了调度的高可用性，扩展了整体调度水平；利用分布式文件***HDFS模块对采集数据进行存储，实现了数据的高容错性与高吞吐量。

Description

一种数据调度采集装置与方法
技术领域
本发明涉及信息通信领域，尤其涉及一种数据调度采集装置与方法。
背景技术
统一采集平台的研发及实施，是以适应智能电网的发展趋势为目标，以严格遵循国家电网公司的相关制度和标准为原则，以始终不渝地提供高质量产品和服务为宗旨，为智能电网信息化、自动化、互动化的长远建设和发展竭尽全力。
统一采集平台是***提出的一套采集***，实现了对网络设备层各类网元设备的资源(配置)、性能、告警、日志的数据采集。
统一采集平台包括平台框架层、采集适配层和设备层，其中，平台框架层，又称数据管理层，负责监视采集适配层的采集状态，分发采集数据、自身监控，以及管理接口。采集适配层包括各种功能的适配器，用于采集配置调度、各种协议适配、数据检测、数据解析、数据归一化等；设备层，又称数据源层，包括提供测量数据的实体(设备)，用于向采集适配层提供各种测量数据。
然而，在现有业务功能和技术实现方案中，存在以下问题：
数据源采集的测量数据将形成的文件存储在单机上，一旦单机磁盘出现磁盘故障，该机器上的所有采集数据文件将丢失；
采集适配层的采集任务调度由本身负责调度(比如Quartz)，同时也有单点故障的隐患，当采集适配层中的进程被删除后，该采集适配层的任务将丢失；
当采集适配层中部分适配器所承担的采集任务负荷较大，一个测量数据 周期的时间未能将测量数据采集完整时，会出现采集任务积压的现象，此时需要人工参与将部分任务分配给别的适配器，再进行工作。
发明内容
为实现解决上述问题，一方面，本发明提供了一种数据调度采集装置，该装置包括：平台框架层、采集适配层和设备层；平台框架层用于接收采集请求，下发采集任务，获取采集适配层的采集任务进度信息，分发采集数据；采集适配层包括多个采集适配器用于接收采集任务，对设备层进行数据采集；采集适配层将具有相同采集能力的多个适配器划分为一个适配器域；设备层包括多个数据源用于向采集适配层提供采集数据；其中，平台框架层包括：调度集群模块和原平台框架模块；原平台框架模块用于接收采集请求和适配器控制信息；调度集群模块用于接收原平台框架模块发出的采集请求，生成采集任务，并将采集任务下发至采集适配层相应适配器域中负荷较轻，且未损坏的适配器中；采集适配层中的适配器，根据采集任务向设备层中相应的数据源进行数据采集；原平台框架模块通过适配器控制信息获取采集适配层的采集任务进度信息。
进一步的，平台框架层还包括：分布式文件***HDFS模块；分布式文件***HDFS模块用于存储根据采集任务采集的数据；采集的数据以文件的形式存储在分布式文件***HDFS模块中；分布式文件***HDFS模块将采集的数据以文件的形式，且按文件大小进行存储，并进行定期的文件存档和合并。
进一步的，调度集群模块包括：数据库集群单元、调度单元、虚拟服务器单元和检测单元；数据库集群单元用于存储采集任务与装置配置信息；调度单元包括调度开源框架单元和一组调度中心，用于根据采集请求生成采集任务，并调度数据库集群单元中存储的采集任务；虚拟服务器单元与检测单元用于对调度中心进行均衡控制。根据采集请求，调度单元中的调度中心通过调度开源框架单元，生成采集任务存储于数据库集群单元中，调度单元调 度采集任务，进行数据采集，其中，根据虚拟服务器单元与检测单元，对调度中心进行均衡控制。
进一步的，调度单元，还用于将选择执行采集任务的采集适配层中相应适配器域的适配器。
进一步的，调度中心用于通过调度开源框架单元对数据库集群单元中存储的采集任务进行抢占，抢占成功的调度中心对采集任务进行加锁，得到执行采集任务的采集权限；调度中心将采集任务下发到采集适配层相应适配器域中未损坏且负荷较轻的适配器中。
进一步的，采集适配层中适配器通过适配器控制信息中定时发送的心跳信息告知原平台架构层相应适配器域内适配器的工作状态。
进一步的，每个调度中心包含各自的IP地址；虚拟服务器单元包含浮动IP地址；采集适配器层利用虚拟服务器单元提供的浮动IP地址与多个调度中心的多个IP地址进行匹配，通过适配器控制信息中任务状态上报接口告知平台框架层采集任务进度信息。
另一方面，本发明提供了一种数据调度采集方法，该方法包括：接收采集请求和适配器控制信息；根据采集请求，生成采集任务，并通过任务下发至采集适配层相应适配器域中负荷较轻，且未损坏的适配器；对设备层进行数据采集；存储根据采集任务采集的数据；通过适配器控制信息获取采集任务进度信息。
进一步的，通过适配器控制信息获取采集任务进度信息的步骤，包括：
根据虚拟服务器单元和检测单元获得的IP地址匹配结果，并通过适配器控制信息中任务状态上报接口上报采集任务进度信息。
本发明实施例由平台框架层完成采集任务调度，提高了调度的高可用性，扩展了整体调度水平；利用分布式文件***HDFS模块对采集数据进行存储，实现了数据的高容错性与高吞吐量。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种数据调度采集装置的结构示意图；
图2为图1中调度集群模块的内部示意图；
图3为本发明实施例提供的一种数据调度采集方法的流程图。
具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
图1为本发明实施例提供的一种数据调度采集装置的结构示意图。如图1所示，该采集装置包括平台框架层100、采集适配层200和设备层300，其中，平台框架层100用于接收采集请求，下发采集任务，获取采集适配层的采集任务进度信息，分发采集数据，自身监控和管理接口，包括：调度集群模块101、分布式文件***HDFS模块103，以及原平台框架模块102；
调度集群模块101用于根据采集请求，生成任务，配置采集策略，并调度该采集任务；分布式文件***HDFS模块103用于存储根据采集任务采集的数据，为该装置提供高吞吐量的数据访问；原平台框架模块102用于接收采集请求和适配器控制信息，如适配器启停、即时采集、任务状态上报和主机状态上报等信息。其中，调度集群模块101通过任务下发接口向采集适配层中相应的适配器下发采集任务；存储在分布式文件***HDFS模块103中的采集数据，每份数据都会保持3个副本，保证了数据的安全性。
采集适配层200由多个采集适配器组成，用于对设备层进行数据采集，采集适配层将具有相同采集能力的多个适配器划分为一个域，并通过注册信 息上报给平台框架层100，适配器采集到的数据以文件的形式发送到分布式文件***HDFS模块103；其中，采集适配器通过接口协议适配，为平台框架层100提供统一标准的数据接口。采集适配器会按采集数据文件的大小进行存储，即按HDFS默认配置的数据分割存储到分布式文件***HDFS模块103中，由于大文件的存储会使得磁盘的磁头处于是顺序写入的状态，因此具有较高的吞吐量。
设备层300包括多个数据源，用于提供各种测量数据，数据源可以为数通设备、主机和OMC等等。
工作过程：
***启动时，采集适配层200的适配器通过适配器登记接口向平台框架层100中的原平台框架模块102进行注册，注册信息包括适配器的域信息以及采集对象等信息；平台框架层100的调度集群模块101根据外部***请求生成采集任务，并将采集任务通过任务下发接口下发至采集适配层200的相应适配器，接收到采集任务的适配器通过网元直连、OMC、设备代理等方式向设备层的数量源进行数据采集，并将采集完的数据存储至分布式文件***HDFS模块103中，同时将任务执行结果通过任务执行状态上报接口告知平台框架层100采集任务已完成。
本发明实施例由平台框架层完成采集任务调度，提高了调度的高可用性，扩展了整体调度水平；利用分布式文件***HDFS模块103对采集数据进行存储，实现了数据的高容错性与高吞吐量。
图2为图1中调度集群模块的内部示意图。如图2所示，调度集群模块101包括数据库集群单元Oracle Rac 111、调度单元112、虚拟服务器LVS 113单元和检测单元Keepalived 114。
数据库集群单元Oracle Rac 111，用于存储任务信息与配置信息，如数据源配置信息、采集适配器配置信息、数据集等等。
调度单元112包括一组调度中心和调度开源框架单元Quartz 1121，通过调用调度开源框架单元Quartz 1121，将外部***请求生成采集任务，配置采集策略以及选择执行采集任务的适配器，并将采集任务存储在数据库集群单元Oracle Rac 111中。其中，每个调度中心均包含各自的IP地址。
虚拟服务器单元LVS 113与检测单元Keepalived 114，用于对调度中心进行均衡控制，其中，虚拟服务器单元LVS 113提供浮动IP地址为采集适配器层200到平台框架层100传递的信息提供统一入口。
工作过程如下：
调度单元112通过调度开源框架单元Quartz 1121外部***请求生成采集任务，配置采集策略，具体为：调度单元通过调度开源框架单元Quartz 1121将该采集请求存储到数据库集群单元Oracle Rac 111中，调度单元包括多个调度中心，由于一个采集任务只能下发一次，因此一个采集任务只需要一个调度中心下发且下发一次；多个调度中心通过调度开源框架单元Quartz 1121对数据库集群单元Oracle Rac 111中采集请求实施抢占加锁的方式，根据采集请求信息，该调度中心获得采集任务，从而获得唯一执行权；根据采集任务，调度中心通过调度开源框架单元Quartz 1121计算采集该任务具有相同采集能力域的适配器的负荷量，选择负荷较轻的适配器，并根据采集适配层200中适配器向原平台架构层102定时发送的心跳信息，识别适配器的工作状态，以及判断适配器是否损坏；若域内无适配器损坏，则调度中心将采集任务下发到域内负荷较轻的适配器中；若域内负荷较轻的适配器损坏，则调度中心将采集任务下发到域内负荷相对较轻且未损坏的适配器中；相应适配器完成数据采集后，把采集的数据存储至分布式文件***HDFS模块103，并通过任务状态上报接口告知采集任务进度信息，该过程中利用虚拟服务器单元LVS 113提供的浮动IP地址与多个调度中心的多个IP地址进行匹配，匹配成功的调度中心将接收采集任务进度信息，若识别到某个调度中心损坏，浮动IP地址将与未损坏的调度中心的IP地址进行匹配，实现信息传输。
在一个例子中，调度单元112接收到一个每5分钟采集数据的采集请求生成采集任务，配置采集策略。该采集请求通过调度开源框架单元Quartz 1121存储到数据库集群单元Oracle Rac 111中，其中，Quartz定时执行器生成每5分钟采集数据的采集任务。调度中心通过调度开源框架单元Quartz 1121对数据库集群单元Oracle Rac 111中采集请求实施抢占加锁，获得采集任务。调度单元112包括A调度中心、B调度中心和C调度中心，三个调度中心会通过调度开源框架单元Quartz 1121同时进入数据库集群单元Oracle Rac中抢占该采集请求，若A调度中心最先抢占到该采集请求，生成采集任务，A调度中心将对将该采集任务的线程加锁，使其他调度中心不能触发该请求，从而使该采集任务不会被二次触发，实现采集任务的唯一性。根据采集任务，A调度中心通过开源框架单元Quartz计算出采集该任务的采集适配层200中相应适配器域内适配器的负荷量，选择负荷较轻的适配器执行该采集任务，若负荷较轻的适配器损坏，则A调度中心将该采集任务下发到域内负荷相对较轻且未损坏的适配器去执行，实现了采集调度的高可用性；相应适配器完成数据采集后，把采集的数据存储至分布式文件***HDFS模块103，根据分布式文件***HDFS模块103的特点，采集的数据将被复制多分，避免了数据丢失；利用虚拟服务器单元LVS 111提供的浮动IP地址与A调度中心的IP地址进行匹配，匹配成功后，A调度中心通过任务状态上报接口实现采集适配器层200到平台框架层100的通信，获取采集任务进度信息，若A调度中心损坏，浮动IP地址将与未损坏的B调度中心或C调度中心的IP地址进行匹配，实现信息传输。
在另一个例子中，调度单元112接收到100个采集请求生成采集任务，配置采集策略。该采集请求通过调度开源框架单元Quartz 1121存储到数据库集群单元Oracle Rac111中。调度单元112包括A调度中心、B调度中心 和C调度中心，三个调度中心会通过调度开源框架单元Quartz 1121同时进入数据库集群单元Oracle Rac 111中抢占该采集请求，生成采集任务，使100个采集任务被均衡下发到三个调度中心上，通过开源框架单元Quartz计算出采集适配层中相应适配器域内适配器的负荷量，选择负荷较轻且未锁坏的适配器执行采集任务；相应适配器完成数据采集后，把采集的数据存储至分布式文件***HDFS模块103，利用虚拟服务器单元LVS 113提供的浮动IP地址与多个未损坏的调度中心的IP地址进行匹配，匹配成功后，相应调度中心通过任务状态上报接口实现采集适配器层200到平台框架层100的通信，获取相应采集任务进度信息，实现信息传输，从而实现负载均衡。
本发明实施例由平台框架层完成采集任务调度，提高了调度的高可用性，扩展了整体调度水平；利用分布式文件***HDFS模块103对采集数据进行存储，实现了数据的高容错、高可用、廉价的存储方案。
图3为本发明实施例提供的一种数据调度采集方法的流程图，如图3所示，该方法包括：
步骤S310、接收采集请求和适配器控制信息，并将具有相同采集能力的适配器划分为一个适配器域，进入步骤S320；
步骤S320、根据采集请求，生成采集任务，通过任务下发接口向采集适配层中相应适配器域的适配器下发采集任务，进行数据采集；
具体的，首先将接收到的采集请求通过调度开源框架单元Quartz 1121同时进入数据库集群单元Oracle Rac中，生成采集任务；调度中心通过抢占加锁的方式调度采集任务，同时根据适配器域内适配器的工作状态和负荷量，下发采集任务，进行数据采集，进入步骤S330。
步骤S330、存储根据采集任务采集的数据；
具体的，根据采集任务采集的数据存储在分布式文件***HDFS模块103中的采集数据，由于HDFS模块的特点，会将采集的数据保持多个副本，保证了数据的完整性。
步骤S340、通过适配器控制信息获取采集任务进度信息；
具体的，利用虚拟服务器单元LVS提供的浮动IP地址与多个调度中心的IP地址进行匹配，匹配成功的调度中心通过任务状态上报接口实现采集适配器层到平台框架层的通信，获取采集任务进度信息。
本发明实施例由平台框架层完成采集任务调度，提高了调度的高可用性，扩展了整体调度水平；利用分布式文件***HDFS模块对采集数据进行存储，实现了数据的高容错性与高吞吐量。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种数据调度采集装置，其特征在于，所述装置包括：平台框架层、采集适配层和设备层，
所述平台框架层，用于接收采集请求，下发采集任务，获取所述采集适配层的所述采集任务进度信息，分发采集数据；
所述采集适配层包括多个采集适配器，用于接收所述采集任务，对所述设备层进行数据采集；所述采集适配层将具有相同采集能力的多个适配器划分为一个适配器域；
所述设备层包括多个数据源，用于向所述采集适配层提供所述采集数据；
其中，所述平台框架层包括：调度集群模块和原平台框架模块；
所述原平台框架模块，用于接收采集请求和适配器控制信息；
所述调度集群模块包括：数据库集群单元、调度单元、虚拟服务器单元和检测单元，用于接收所述原平台框架模块发出的所述采集请求，生成采集任务，并将所述采集任务下发至所述采集适配层相应适配器域中负荷较轻，且未损坏的适配器中；其中，所述数据库集群单元，用于存储所述采集任务与装置配置信息；所述调度单元包括调度开源框架单元和一组调度中心，用于根据采集请求生成所述采集任务，并调度所述数据库集群单元中存储的采集任务；所述虚拟服务器单元与所述检测单元，用于对所述调度中心进行均衡控制；
根据所述采集请求，所述调度单元中的所述调度中心通过所述调度开源框架单元，生成所述采集任务存储于所述数据库集群单元中，所述调度单元调度所述采集任务，进行数据采集，其中，根据所述虚拟服务器单元与所述检测单元，对所述调度中心进行均衡控制；
所述采集适配层中的所述适配器，根据所述采集任务向所述设备层中相应的所述数据源进行数据采集；所述原平台框架模块通过所述适配器控制信息获取所述采集适配层的采集任务进度信息。
2.根据权利要求1所述的装置，其特征在于，所述平台框架层，还包括：分布式文件***HDFS模块；
所述分布式文件***HDFS模块，用于存储根据所述采集任务采集的数据；
所述采集的数据以文件的形式存储在所述分布式文件***HDFS模块中；所述分布式文件***HDFS模块将所述采集的数据以文件的形式，且按文件大小进行存储，并进行定期的文件存档和合并。
3.根据权利要求1所述的装置，其特征在于，所述调度单元，还用于选择执行所述采集任务的所述采集适配层中相应适配器域的适配器。
4.根据权利要求1所述的装置，其特征在于，所述调度中心用于通过所述调度开源框架单元对所述数据库集群单元中存储的所述采集任务进行抢占，抢占成功的调度中心对所述采集任务进行加锁，得到执行所述采集任务的采集权限；
所述调度中心将所述采集任务下发到所述采集适配层相应所述适配器域中未损坏且负荷较轻的适配器中。
5.根据权利要求4所述的装置，其特征在于，所述采集适配层中适配器通过所述适配器控制信息中定时发送的心跳信息告知所述原平台框架模块相应所述适配器域内适配器的工作状态。
6.根据权利要求1所述的装置，其特征在于，每个所述调度中心包含各自的IP地址；所述虚拟服务器单元包含浮动IP地址；
所述采集适配器层利用所述虚拟服务器单元提供的所述浮动IP地址与多个调度中心的多个IP地址进行匹配，通过所述适配器控制信息中任务状态上报接口告知所述平台框架层所述采集任务进度信息。
7.一种基于权利要求1-6任一权利要求所述装置的数据调度采集方法，其特征在于，所述方法包括：
接收采集请求和适配器控制信息；
根据所述采集请求，生成一个或多个采集任务，计算采集所述采集任务具有相同采集能力域的适配器的负荷量，并通过任务下发至采集适配层相应适配器域中负荷较轻，且未损坏的适配器；其中，虚拟服务器单元提供浮动IP地址为所述采集适配层到平台框架层传递的信息提供统一的入口；
对设备层进行数据采集；
存储根据所述采集任务采集的数据；
通过所述适配器控制信息获取采集任务进度信息。
8.根据权利要求7所述的方法，其特征在于，所述通过所述适配器控制信息获取采集任务进度信息的步骤，包括：
根据调度中心包含的一个或多个IP地址与虚拟服务器单元包含的浮动IP地址进行匹配的结果，由虚拟服务器单元提供统一的入口，并通过所述适配器控制信息中任务状态上报接口上报所述采集任务进度信息。
CN201511002830.9A 2015-12-28 2015-12-28 一种数据调度采集装置与方法 Active CN105631006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511002830.9A CN105631006B (zh) 2015-12-28 2015-12-28 一种数据调度采集装置与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511002830.9A CN105631006B (zh) 2015-12-28 2015-12-28 一种数据调度采集装置与方法

Publications (2)

Publication Number Publication Date
CN105631006A CN105631006A (zh) 2016-06-01
CN105631006B true CN105631006B (zh) 2019-03-29

Family

ID=56045939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511002830.9A Active CN105631006B (zh) 2015-12-28 2015-12-28 一种数据调度采集装置与方法

Country Status (1)

Country Link
CN (1) CN105631006B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107621975B (zh) * 2017-09-11 2020-08-21 中邮科通信技术股份有限公司 基于java timer高可用性的定时器逻辑实现方法
CN108228749A (zh) * 2017-12-21 2018-06-29 江苏瑞中数据股份有限公司 一种通用的时序数据的快速迁移方法
CN109814992A (zh) * 2018-12-29 2019-05-28 中国科学院计算技术研究所 用于大规模网络数据采集的分布式动态调度方法和***
CN109871273A (zh) * 2019-02-03 2019-06-11 普信恒业科技发展（北京）有限公司 一种自适应任务迁移方法及装置
CN110147379B (zh) * 2019-04-02 2023-06-30 平安科技（深圳）有限公司 基于数据锁的信息采集方法、装置、计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101114875A (zh) * 2006-07-25 2008-01-30 中兴通讯股份有限公司 移动通信网络链路性能测量***和方法
CN102375837A (zh) * 2010-08-19 2012-03-14 ***通信集团公司 数据采集***和方法
CN102608970A (zh) * 2012-03-05 2012-07-25 浪潮通信信息***有限公司 一种基于集中管理、自动调度的分布式数据采集的方法
CN104111983A (zh) * 2014-06-30 2014-10-22 中国科学院信息工程研究所 一种开放式的多源数据采集***及方法
CN104915259A (zh) * 2015-06-15 2015-09-16 浪潮软件集团有限公司 一种应用于分布式采集***的任务调度方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101114875A (zh) * 2006-07-25 2008-01-30 中兴通讯股份有限公司 移动通信网络链路性能测量***和方法
CN102375837A (zh) * 2010-08-19 2012-03-14 ***通信集团公司 数据采集***和方法
CN102608970A (zh) * 2012-03-05 2012-07-25 浪潮通信信息***有限公司 一种基于集中管理、自动调度的分布式数据采集的方法
CN104111983A (zh) * 2014-06-30 2014-10-22 中国科学院信息工程研究所 一种开放式的多源数据采集***及方法
CN104915259A (zh) * 2015-06-15 2015-09-16 浪潮软件集团有限公司 一种应用于分布式采集***的任务调度方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
负载均衡技术在统一采集平台中的应用研究与实现;张渊等;《电信科学》;20131231(第12期);第149页左栏第5行至右栏第15行

Also Published As

Publication number Publication date
CN105631006A (zh) 2016-06-01

Similar Documents

Publication Publication Date Title
CN105631006B (zh) 一种数据调度采集装置与方法
CN106844198B (zh) 一种分布式调度自动化测试平台及方法
CN106330987A (zh) 动态负荷均衡方法
CN110290189A (zh) 一种容器集群管理方法、装置及***
CN105468450B (zh) 任务调度方法及***
CN105074702B (zh) 提供单租户和多租户环境的数据库***
CN104011701B (zh) 内容传送网络***和能够在内容传送网络中操作的方法
CN104539713B (zh) 业务请求处理方法和装置
CN108304255A (zh) 分布式任务调度方法及装置、电子设备及可读存储介质
US20180034904A1 (en) Dynamic allocation of stateful nodes for healing and load balancing
CN104219235B (zh) 一种分布式交易请求方法及装置
US20160142323A1 (en) Systems and/or methods for resource use limitation in a cloud environment
CN102298647B (zh) 数据文件审核分配***及方法
CN106502769A (zh) 分布式事务处理方法、装置及***
CN110209492A (zh) 一种数据处理方法及装置
CN104168333A (zh) Proxzone服务平台的工作方法
CN110308983A (zh) 资源负载均衡方法及***、服务节点和客户端
CN114666333B (zh) 一种基于多租户理论面向云计算资源调度问题的控制方法
CN107968802A (zh) 一种资源调度的方法、装置和过滤式调度器
CN103607424B (zh) 一种服务器连接方法及服务器***
CN105765555A (zh) 分布式***中的严格排队
CN107370796A (zh) 一种基于Hyper TF的智能学习***
CN108572898A (zh) 一种控制接口的方法、装置、设备、以及存储介质
US20170078049A1 (en) Freshness-sensitive message delivery
CN110289999A (zh) 一种数据处理方法、***及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant