CN110134533A - 一种可批量调度数据的***及方法 - Google Patents

一种可批量调度数据的***及方法 Download PDF

Info

Publication number
CN110134533A
CN110134533A CN201910399131.4A CN201910399131A CN110134533A CN 110134533 A CN110134533 A CN 110134533A CN 201910399131 A CN201910399131 A CN 201910399131A CN 110134533 A CN110134533 A CN 110134533A
Authority
CN
China
Prior art keywords
node
layer
scheduling
lot size
establishment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910399131.4A
Other languages
English (en)
Other versions
CN110134533B (zh
Inventor
黄清明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Tianpeng Network Co Ltd
Original Assignee
Chongqing Tianpeng Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Tianpeng Network Co Ltd filed Critical Chongqing Tianpeng Network Co Ltd
Priority to CN201910399131.4A priority Critical patent/CN110134533B/zh
Publication of CN110134533A publication Critical patent/CN110134533A/zh
Application granted granted Critical
Publication of CN110134533B publication Critical patent/CN110134533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/541—Client-server

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于大数据处理技术领域，具体涉及一种可批量调度数据的***及方法，包括：架构搭建单元，其用于搭建所述***的三层架构；项目创建单元，其用于获取用户二次开发的项目创建信息，并基于所述项目创建信息部署多级调度节点；运行调度单元，其用于通过所述多级调度节点进行负载均衡的批量任务调度。本发明不仅能够批量调度数据，而且可进行人工设置干预，调度时负载均衡，具有完善的调度控制策略。

Description

一种可批量调度数据的***及方法
技术领域
本发明属于大数据处理技术领域，具体涉及一种可批量调度数据的***及方法。
背景技术
在大数据时代，数据是黄金，数据是整个社会乃各企业团体的重要资产，管好数据、用好数据是整个社会的重要命题。想要用好数据，首先就应该管好数据。而批量调度自动化技术，正是管好数据的重要保证。在众多大大小小数据仓库、数据集市以及各种各样的数据池子中，是批量调度自动化技术让大量数据的进出、存放、清洗、过滤、粗加工、细加工等各种各样的工作有序、高效的展开。
目前，现行azkaban调度工具能解决基于定时任务，基于时间间隔，基于关系依赖的相对复杂的调度任务。但Azkaban调度规模局限，具有人工参与不灵活、调度负载不均衡、不够完善的调度控制策略等缺点。
发明内容
针对现有技术中的缺陷，本发明提供了及一种可批量调度数据的***及方法，不仅能够批量调度数据，而且可进行人工设置干预，调度时负载均衡，具有完善的调度控制策略。
第一方面，本发明提供了一种可批量调度数据的***，其特征在于，包括：
架构搭建单元，其用于搭建所述***的三层架构；
项目创建单元，其用于获取用户二次开发的项目创建信息，并基于所述项目创建信息部署多级调度节点；
运行调度单元，其用于通过所述多级调度节点进行负载均衡的批量任务调度。
其中，所述三层架构包括应用层、控制层和目标层。
其中，采用典型的C/S模式搭建所述***的三层架构。
其中，通过所述应用层获取用户二次开发的项目创建信息，根据所述项目创建信息部署所述控制层的多级调度节点。
其中，在项目的运行过程中，所述控制层通过多级调度节点对所述目标层进行负载均衡的批量任务调度，所述目标层根据控制层的批量任务调度执行对应的任务程序。
其中，所述应用层为客户端，所述控制层为服务端，所述目标层为部署在ETL服务器上的任务程序。
其中，所述控制层采用多级金字塔结构，由多种不同类型的节点构成，所述控制层包括EM节点、Server节点和Agent节点，所述Agent节点包括MAgent节点和SAgent节点；
所述EM节点，用于与应用层进行通信，用于对应用层的访问权限进行控制，还用于管理和控制所有节点的有效运行；
所述Server节点，用于分别于EM节点和Agent节点进行通信，用于完成对Agent节点的调度控制；
所述Agent节点，采用主从代理级联方式，用于与目标层进行通信，用于根据目标层的ETL服务器资源使用状态，进行负载均衡部署，将任务分配给相对空闲的ETL服务器执行任务程序。
其中，所述项目创建信息包括项目名称、项目作业流程中的各节点和各节点之间的连接关系。
其中，所述应用层包括Admin模块、Designer模块和Monitor模块；
所述Admin模块用于，用于管理和设置项目名称；
所述Designer模块用于，用于设置项目作业流程中的各节点，以及各节点之间的连接关系；
所述Monitor模块用于，用于运行项目并监控项目的运行流程。
其中，每个节点由功能不同的多个组件进程组成，节点之间通过Socket完成通信，组件进程之间通过消息队列方式完成通信。
其中，所述组件进程包括FDC进程、DRR进程、DAR进程、STR进程、KIM进程、NLS进程、SPS进程、CPG进程、UCD进程、EMR进程、JMM进程、DSY进程和FIM进程。
第二方面，本发明还提出了一种可批量调度数据的自动化实现方法，适用于权利要求1-7任一项所述的可批量调度数据的***，其特征在于，包括以下步骤：
采用典型的C/S模式搭建所述***的三层架构，所述三层架构包括应用层、控制层和目标层；
通过所述应用层获取用户二次开发的项目创建信息，根据项目创建信息部署所述控制层的多级调度节点；
在项目的运行过程中，所述控制层通过多级调度节点对所述目标层进行负载均衡的批量任务调度，所述目标层根据所述控制层的批量任务调度执行对应的任务程序。
其中，所述控制层采用多级金字塔结构，由多种不同类型的节点构成，所述控制层包括EM节点、Server节点和Agent节点，所述Agent节点包括MAgent节点和SAgent节点；
所述EM节点，用于与应用层进行通信，用于对应用层的访问权限进行控制，还用于管理和控制所有节点的有效运行；
所述Server节点，用于分别于EM节点和Agent节点进行通信，用于完成对Agent节点的调度控制；
所述Agent节点，采用主从代理级联方式，用于与目标层进行通信，用于根据目标层的ETL服务器资源使用状态，进行负载均衡部署，将任务分配给相对空闲的ETL服务器执行任务程序。
其中，每个节点由功能不同的多个组件进程组成，节点之间通过Socket完成通信，组件进程之间通过消息队列方式完成通信；
所述组件进程包括FDC进程、DRR进程、DAR进程、STR进程、KIM进程、NLS进程、SPS进程、CPG进程、UCD进程、EMR进程、JMM进程、DSY进程和FIM进程。
本发明实施例，不仅能够批量调度数据，而且可进行人工设置干预，调度时负载均衡，具有完善的调度控制策略。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明实施例中可批量调度数据的***的结构图；
图2为本发明实施例中所述***的三层架构示意图；
图3为本发明实施例中可批量调度数据的自动化实现方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
实施例一：
本实施例提供了一种可批量调度数据的***，如图1所示，包括：
架构搭建单元，其用于搭建所述***的三层架构；
项目创建单元，其用于获取用户二次开发的项目创建信息，并基于所述项目创建信息部署多级调度节点；
运行调度单元，其用于通过所述多级调度节点进行负载均衡的批量任务调度。
本实施例搭建的所述***的三层架构如图2所示，所述应用层为客户端，所述控制层为服务端，所述目标层为部署在ETL服务器上的各种各样的任务程序。专利文献201520554128.2公开了一种大数据处理平台网络架构，包括核心层交换机，应用虚拟化服务器，数据库集群，存储阵列，备份服务器以及至少一交换机；所述应用虚拟化服务器，数据库集群，存储阵列以及备份服务器分别连接所述核心层交换机，所述存储阵列连接所述交换机，所述交换机分别连接所述应用虚拟化服务器和数据库集群。此技术方案满足了处理大数据所需要的硬件环境；而且具有开放性、扩展性。当前大量数据主要存储在传统的SQL数据库中，与大数据技术使用的NoSQL数据库有很大的不同，同时由于数据的多样性特点，使用大数据平台处理数据前，需要把数据导入大数据平台自己的存储***，且在导入时一般需要进ETL(数据仓库技术)处理，完成各类数据的抽取，清洗，装载等过程。
ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。传统的ETL工具是设置一个专有的转换引擎置于数据源和目标数据仓库之间，它用于运用所有的转换程序，这种方法解决了在不同***平台上使用不同的编程语言的问题，只需要掌握ETL工具本身的编程语言即可。
本发明中应用层从功能的角度，主要分admin，designer,monitor。控制层是多级金字塔架构，顶层为服务控制节点，完成各种调度服务控制以及为客户端提供各种操作应用服务。而代理层代理层完成与目标层服务器的控制交互。另，代理层通过主从代理级联方式，可实现对集群部署的服务器进行调度控制，实现负载均衡等。目标层，是整个产品所控制的标的，比如我们的ET服务器、作业工作站等。
本实施例中，在搭建好基础的三层架构后，可通过应用层创建若干项目，项目创建好后，在项目的运行过程中，根据运行任务的需求，控制层对目标层进行负载均衡的批量任务调度，目标层根据调度执行对应的任务程序。
本实施例中的所述应用层包括Admin模块、Designer模块、Monitor模块等；
所述Admin模块用于，用于管理和设置项目名称；
所述Designer模块用于，用于设置项目作业流程中的各节点，以及各节点之间的连接关系；
所述Monitor模块用于，用于运行项目并监控项目的运行流程。
本实施例中所述的项目创建信息包括项目名称、项目作业流程中的各节点和各节点之间的连接关系。用户通过Admin和Designer创建具体的项目作业流程，创建完后可通过Monitor进行模拟监控项目运行流程。
本实施例的所述控制层是一个金字塔体系，采由多种不同类型的节点构成，所述控制层包括EM节点(即核心节点)、Server节点(即控制节点)和Agent节点(即代理节点)，所述Agent节点包括MAgent(即主代理节点)节点和SAgent节点(即从代理节点)。这几种不同类型的节点具有不同的作用和功能。
所述EM节点，用于与应用层进行通信，用于对应用层的访问权限进行控制，还用于管理和控制所有节点的有效运行；
所述Server节点，用于分别于EM节点和Agent节点进行通信，用于完成对Agent节点的调度控制；
所述Agent节点，采用主从代理级联方式，用于与目标层进行通信，用于根据目标层的ETL服务器资源使用状态，进行负载均衡部署，将任务分配给相对空闲的ETL服务器执行任务程序。
本实施例中，节点之间通过Socket完成通信。在实际运行中，每笔交易都产生一次连接动作，这不仅体现在客户端与核心节点之间的通信，同时，也体现在所有节点之间的通信。核心节点之间是对等的，每个节点都可以向其它节点发起服务请求，每个节点既是客户端，也是服务端。本实施例的控制层是一个多层逻辑体系，通过在不同逻辑层部署不同节点来展示，这种多层结构不是固定不变的，用户可根据项目的规模与需求对控制层进行灵活部署，整个体系即可简单，也可复杂。
本实施例的每个节点由功能不同的多个组件进程组成，组件进程之间通过消息队列方式完成通信。所述组件进程包括FDC(Flow Dispatch Core)进程、DRR(DispatchRequest Router)进程、DAR(Dispatch Answer Router)进程、STR(Send Message ToRemoto)进程、KIM(Kernel Integrate Manange )进程、NLS(Net Listten)进程、SPS(Search Plugin State)进程、CPG(Call Plugin)进程、UCD(User Command Deal)程、EMR(Kernel Event Manange And Release)进程、JMM(Job Mutex Manange)进程、DSY(DataSynchronous)进程和FIM(Flow Instance Manange)进程。
本实施例中，不同的组件进程具有不同的功能，在实际应用中，用户可根据项目的需要选择需要的组件进程，为了有效实现组件进程间同步通信与异步通信，在物理消息队列的基础上，为每个组件进程分别逻辑分配了请求队列与响应队列。
请求队列：接收其它组件进程请求消息的队列，此时，当前进程为提供服务的服务端。
响应队列：接收其它服务进程的响应信息的消息队列，此时，当前进程为请求服务的客户端。
由于每个进程都有请求队列与响应队列，说明每个进程即可提供服务，也可请求服务，当提供服务时，组件是服务端；当请求服务时，组件是客户端。这种特征与产品核心节点间通信机制类似，核心节点之间通信是对等的，同样，节点内组件之间通信也是对等的。
本实施例中在对ETL服务器进行调度时，采用负载均衡机制，负载均衡部署是为了有效利用物理资源，并提高ETL处理效率。它主要通过代理的级联方式实现。负载均衡是相对一个集群而言，即在一个执行代理级联构成的执行域内实现负载均衡。对于一个集群内，要求每个ETL服务器上的任务部署一样。控制层根据集群内ETL服务器资源使用情况，将任务自动分配到相对空闲的ETL主机并执行任务程序。
综上所述，本实施的***不仅能够批量调度数据，而且可进行人工设置干预，调度时负载均衡，具有完善的调度控制策略。
实施例二：
本实施例提供了一种可批量调度数据的自动化实现方法，适用于实施例一所述的可批量调度数据的***，包括以下步骤：
S1，采用典型的C/S模式搭建所述***的三层架构，所述三层架构包括应用层、控制层和目标层；
S2，通过应用层获取用户二次开发的项目创建信息，根据项目创建信息部署控制层的多级调度节点；
S3，在项目的运行过程中，控制层通过多级调度节点对目标层进行负载均衡的批量任务调度，目标层根据控制层的批量任务调度执行对应的任务程序。
本实施例搭建的所述***的三层架构如图2所示，所述应用层为客户端，所述控制层为服务端，所述目标层为部署在ETL服务器上的各种各样的任务程序。本实施例中。
应用层从功能的角度，主要分admin，designer,monitor。控制层是多级金字塔架构，顶层为服务控制节点，完成各种调度服务控制以及为客户端提供各种操作应用服务。而代理层代理层完成与目标层服务器的控制交互。另，代理层通过主从代理级联方式，可实现对集群部署的服务器进行调度控制，实现负载均衡等。目标层，是整个产品所控制的标的，比如我们的ET服务器、作业工作站等。
本实施例中，在搭建好基础的三层架构后，可通过应用层创建若干项目，项目创建好后，在项目的运行过程中，根据运行任务的需求，控制层对目标层进行负载均衡的批量任务调度，目标层根据调度执行对应的任务程序。
本实施例中的所述应用层包括Admin模块、Designer模块、Monitor模块等；
所述Admin模块用于，用于管理和设置项目名称；
所述Designer模块用于，用于设置项目作业流程中的各节点，以及各节点之间的连接关系；
所述Monitor模块用于，用于运行项目并监控项目的运行流程。
本实施例中所述的项目创建信息包括项目名称、项目作业流程中的各节点和各节点之间的连接关系。用户通过Admin和Designer创建具体的项目作业流程，创建完后可通过Monitor进行模拟监控项目运行流程。
本实施例的所述控制层是一个金字塔体系，采由多种不同类型的节点构成，所述控制层包括EM节点(即核心节点)、Server节点(即控制节点)和Agent节点(即代理节点)，所述Agent节点包括MAgent(即主代理节点)节点和SAgent节点(即从代理节点)。这几种不同类型的节点具有不同的作用和功能。
所述EM节点，用于与应用层进行通信，用于对应用层的访问权限进行控制，还用于管理和控制所有节点的有效运行；
所述Server节点，用于分别于EM节点和Agent节点进行通信，用于完成对Agent节点的调度控制；
所述Agent节点，采用主从代理级联方式，用于与目标层进行通信，用于根据目标层的ETL服务器资源使用状态，进行负载均衡部署，将任务分配给相对空闲的ETL服务器执行任务程序。
本实施例中，节点之间通过Socket完成通信。在实际运行中，每笔交易都产生一次连接动作，这不仅体现在客户端与核心节点之间的通信，同时，也体现在所有节点之间的通信。核心节点之间是对等的，每个节点都可以向其它节点发起服务请求，每个节点既是客户端，也是服务端。本实施例的控制层是一个多层逻辑体系，通过在不同逻辑层部署不同节点来展示，这种多层结构不是固定不变的，用户可根据项目的规模与需求对控制层进行灵活部署，整个体系即可简单，也可复杂。
本实施例的每个节点由功能不同的多个组件进程组成，组件进程之间通过消息队列方式完成通信。所述组件进程包括FDC(Flow Dispatch Core)进程、DRR(DispatchRequest Router)进程、DAR(Dispatch Answer Router)进程、STR(Send Message ToRemoto)进程、KIM(Kernel Integrate Manange)进程、NLS(Net Listten)进程、SPS(SearchPlugin State)进程、CPG(Call Plugin)进程、UCD(User Command Deal)程、EMR(KernelEvent Manange And Release)进程、JMM(Job Mutex Manange)进程、DSY(DataSynchronous)进程和FIM(Flow Instance Manange)进程。
本实施例中，不同的组件进程具有不同的功能，在实际应用中，用户可根据项目的需要选择需要的组件进程，为了有效实现组件进程间同步通信与异步通信，在物理消息队列的基础上，为每个组件进程分别逻辑分配了请求队列与响应队列。
请求队列：接收其它组件进程请求消息的队列，此时，当前进程为提供服务的服务端。
响应队列：接收其它服务进程的响应信息的消息队列，此时，当前进程为请求服务的客户端。
由于每个进程都有请求队列与响应队列，说明每个进程即可提供服务，也可请求服务，当提供服务时，组件是服务端；当请求服务时，组件是客户端。这种特征与产品核心节点间通信机制类似，核心节点之间通信是对等的，同样，节点内组件之间通信也是对等的。
本实施例中在对ETL服务器进行调度时，采用负载均衡机制，负载均衡部署是为了有效利用物理资源，并提高ETL处理效率。它主要通过代理的级联方式实现。负载均衡是相对一个集群而言，即在一个执行代理级联构成的执行域内实现负载均衡。对于一个集群内，要求每个ETL服务器上的任务部署一样。控制层根据集群内ETL服务器资源使用情况，将任务自动分配到相对空闲的ETL主机并执行任务程序。
综上所述，本实施的方法不仅能够批量调度数据，而且可进行人工设置干预，调度时负载均衡，具有完善的调度控制策略。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的***及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和***，可以通过其它的方式实现。例如，以上步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合为一个步骤，一步个步骤也可以拆分为多个步骤。也可以根据实际的需要选择其中的部分或者全部步骤来实现本发明实施例方案的目的。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种可批量调度数据的***，其特征在于，包括：
架构搭建单元，其用于搭建所述***的三层架构；
项目创建单元，其用于获取用户二次开发的项目创建信息，并基于所述项目创建信息部署多级调度节点；
运行调度单元，其用于通过所述多级调度节点进行负载均衡的批量任务调度。
2.根据权利要求1所述的一种可批量调度数据的***，其特征在于，所述三层架构包括应用层、控制层和目标层。
3.根据权利要求1所述的一种可批量调度数据的***，其特征在于，采用典型的C/S模式搭建所述***的三层架构。
4.根据权利要求2所述的一种可批量调度数据的***，其特征在于通过所述应用层获取用户二次开发的项目创建信息，根据所述项目创建信息部署所述控制层的多级调度节点。
5.根据权利要求2所述的一种可批量调度数据的***，其特征在于，在项目的运行过程中，所述控制层通过多级调度节点对所述目标层进行负载均衡的批量任务调度，所述目标层根据控制层的批量任务调度执行对应的任务程序。
6.根据权利要求2所述的一种可批量调度数据的***，其特征在于，所述应用层为客户端，所述控制层为服务端，所述目标层为部署在ETL服务器上的任务程序。
7.根据权利要求2所述的一种可批量调度数据的***，其特征在于，
所述控制层采用多级金字塔结构，由多种不同类型的节点构成，所述控制层包括EM节点、Server节点和Agent节点，所述Agent节点包括MAgent节点和SAgent节点；
所述EM节点，用于与应用层进行通信，用于对应用层的访问权限进行控制，还用于管理和控制所有节点的有效运行；
所述Server节点，用于分别于EM节点和Agent节点进行通信，用于完成对Agent节点的调度控制；
所述Agent节点，采用主从代理级联方式，用于与目标层进行通信，用于根据目标层的ETL服务器资源使用状态，进行负载均衡部署，将任务分配给相对空闲的ETL服务器执行任务程序。
8.一种可批量调度数据的自动化实现方法，适用于权利要求1-7任一项所述的可批量调度数据的***，其特征在于，包括以下步骤：
采用典型的C/S模式搭建所述***的三层架构，所述三层架构包括应用层、控制层和目标层；
通过所述应用层获取用户二次开发的项目创建信息，根据项目创建信息部署所述控制层的多级调度节点；
在项目的运行过程中，所述控制层通过多级调度节点对所述目标层进行负载均衡的批量任务调度，所述目标层根据所述控制层的批量任务调度执行对应的任务程序。
9.根据权利要求8所述的一种可批量调度数据的自动化实现方法，其特征在于，
所述控制层采用多级金字塔结构，由多种不同类型的节点构成，所述控制层包括EM节点、Server节点和Agent节点，所述Agent节点包括MAgent节点和SAgent节点；
所述EM节点，用于与应用层进行通信，用于对应用层的访问权限进行控制，还用于管理和控制所有节点的有效运行；
所述Server节点，用于分别于EM节点和Agent节点进行通信，用于完成对Agent节点的调度控制；
所述Agent节点，采用主从代理级联方式，用于与目标层进行通信，用于根据目标层的ETL服务器资源使用状态，进行负载均衡部署，将任务分配给相对空闲的ETL服务器执行任务程序。
10.根据权利要求9所述的一种可批量调度数据的自动化实现方法，其特征在于，每个节点由功能不同的多个组件进程组成，节点之间通过Socket完成通信，组件进程之间通过消息队列方式完成通信；
所述组件进程包括FDC进程、DRR进程、DAR进程、STR进程、KIM进程、NLS进程、SPS进程、CPG进程、UCD进程、EMR进程、JMM进程、DSY进程和FIM进程。
CN201910399131.4A 2019-05-14 2019-05-14 一种可批量调度数据的***及方法 Active CN110134533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910399131.4A CN110134533B (zh) 2019-05-14 2019-05-14 一种可批量调度数据的***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910399131.4A CN110134533B (zh) 2019-05-14 2019-05-14 一种可批量调度数据的***及方法

Publications (2)

Publication Number Publication Date
CN110134533A true CN110134533A (zh) 2019-08-16
CN110134533B CN110134533B (zh) 2020-04-28

Family

ID=67573989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910399131.4A Active CN110134533B (zh) 2019-05-14 2019-05-14 一种可批量调度数据的***及方法

Country Status (1)

Country Link
CN (1) CN110134533B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113094192A (zh) * 2021-04-23 2021-07-09 杭州网易云音乐科技有限公司 一种数据处理方法、装置、介质和设备
CN113761046A (zh) * 2021-09-13 2021-12-07 中远海运科技股份有限公司 一种基于工作流etl的处理方法及***
CN114553956A (zh) * 2022-01-04 2022-05-27 北京国电通网络技术有限公司 基于uep中间件的数据传输方法和***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080104264A1 (en) * 2006-11-01 2008-05-01 Duerk Vicky P Load balancing in a storage system
CN101951411A (zh) * 2010-10-13 2011-01-19 戴元顺 云调度***及方法以及多级云调度***
CN101957780A (zh) * 2010-08-17 2011-01-26 中国电子科技集团公司第二十八研究所 一种基于资源状态信息的网格任务调度处理器及方法
CN104239144A (zh) * 2014-09-22 2014-12-24 珠海许继芝电网自动化有限公司 一种多级分布式任务处理***
CN105703940A (zh) * 2015-12-10 2016-06-22 中国电力科学研究院 一种面向多级调度分布式并行计算的监控***及监控方法
US20180210694A1 (en) * 2017-01-26 2018-07-26 Gibson Brands, Inc. Plug-in load balancing
CN109254846A (zh) * 2018-08-01 2019-01-22 国电南瑞科技股份有限公司 基于两级调度的cpu与gpu协同计算的动态调度方法及***
CN109743390A (zh) * 2019-01-04 2019-05-10 深圳壹账通智能科技有限公司 任务调度方法、装置、计算机设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080104264A1 (en) * 2006-11-01 2008-05-01 Duerk Vicky P Load balancing in a storage system
CN101957780A (zh) * 2010-08-17 2011-01-26 中国电子科技集团公司第二十八研究所 一种基于资源状态信息的网格任务调度处理器及方法
CN101951411A (zh) * 2010-10-13 2011-01-19 戴元顺 云调度***及方法以及多级云调度***
CN104239144A (zh) * 2014-09-22 2014-12-24 珠海许继芝电网自动化有限公司 一种多级分布式任务处理***
CN105703940A (zh) * 2015-12-10 2016-06-22 中国电力科学研究院 一种面向多级调度分布式并行计算的监控***及监控方法
US20180210694A1 (en) * 2017-01-26 2018-07-26 Gibson Brands, Inc. Plug-in load balancing
CN109254846A (zh) * 2018-08-01 2019-01-22 国电南瑞科技股份有限公司 基于两级调度的cpu与gpu协同计算的动态调度方法及***
CN109743390A (zh) * 2019-01-04 2019-05-10 深圳壹账通智能科技有限公司 任务调度方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
方勇杰: "适应多级调度安全稳定分析资源共享的分布式计算管理平台", 《电力***自动化》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113094192A (zh) * 2021-04-23 2021-07-09 杭州网易云音乐科技有限公司 一种数据处理方法、装置、介质和设备
CN113094192B (zh) * 2021-04-23 2024-05-28 杭州网易云音乐科技有限公司 一种数据处理方法、装置、介质和设备
CN113761046A (zh) * 2021-09-13 2021-12-07 中远海运科技股份有限公司 一种基于工作流etl的处理方法及***
CN114553956A (zh) * 2022-01-04 2022-05-27 北京国电通网络技术有限公司 基于uep中间件的数据传输方法和***
CN114553956B (zh) * 2022-01-04 2024-01-09 北京国电通网络技术有限公司 基于uep中间件的数据传输方法和***

Also Published As

Publication number Publication date
CN110134533B (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN110134533A (zh) 一种可批量调度数据的***及方法
CN109286653A (zh) 智能云工程平台
CN108762900A (zh) 高频任务调度方法、***、计算机设备和存储介质
CN104391918B (zh) 基于对等部署的分布式数据库查询优先级管理的实现方法
CN106126332A (zh) 分布式定时任务调度***及方法
CN109302321A (zh) 服务器、业务需求处理***、方法和监控***
CN108243012B (zh) 在线计费***ocs中计费应用处理***、方法及装置
CN110209646A (zh) 一种基于实时流式计算的数据平台***
CN105930417B (zh) 一种基于云计算的大数据etl交互式处理平台
CN107943963A (zh) 基于云平台的海量数据分布式规则引擎操作***
CN113672240A (zh) 一种基于容器的多机房批量自动化部署应用的方法及***
CN110245029A (zh) 一种数据处理方法、装置、存储介质和服务器
CN102780583B (zh) 物联网业务描述、组合和服务质量评估的方法
CN103442038A (zh) 一种主从分布式协作运行的hla仿真管控
CN103646134A (zh) 一种面向服务的网络化仿真***动态生成方法
CN109800226A (zh) 一种数据治理中的任务管理方法及装置
CN105094984A (zh) 资源调度的方法及***
CN106528169A (zh) 一种基于AnGo动态演化模型的Web***开发可复用方法
CN103024791A (zh) 一种通信测试***中多业务处理模型及处理方法
US20080021955A1 (en) Message oriented middleware server pipeline architecture
CN100547967C (zh) 网格作业管理器与网格作业管理方法
CN107944743A (zh) 一种大型机***的运行维护方法、装置及***
CN106354612A (zh) 云诊断资源的服务化封装方法及***
US20020156611A1 (en) Performance simulation process, and multiprocessor application production process, and devices for implementing said processes
CN106330556B (zh) 一种用于生成服务模块调用关联信息的方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant