CN110716802B - 一种跨集群的任务调度***及方法 - Google Patents
一种跨集群的任务调度***及方法 Download PDFInfo
- Publication number
- CN110716802B CN110716802B CN201910963328.6A CN201910963328A CN110716802B CN 110716802 B CN110716802 B CN 110716802B CN 201910963328 A CN201910963328 A CN 201910963328A CN 110716802 B CN110716802 B CN 110716802B
- Authority
- CN
- China
- Prior art keywords
- cluster
- task
- target task
- system infrastructure
- distributed system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 47
- 230000008569 process Effects 0.000 claims description 22
- 230000008676 import Effects 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 abstract description 13
- 238000004364 calculation method Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 8
- 230000006399 behavior Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种跨集群的任务调度***及方法，任务调度***包括工作流调度器、分布式数据库集群、分布式***基础架构集群和计算引擎集群；本申请通过工作流调度器向计算引擎集群下达处理目标任务的指令，并向分布式数据库集群下达获取目标任务所需的数据，并通过命令行工具，分布式数据库集群将目标任务所需数据写入至分布式***基础架构集群，打通了分布式数据库集群与分布式***基础架构集群之间的交互，可以使计算引擎集群只需读取分布式***基础架构集群就可以获取到所有计算目标任务所需的数据，进而计算出目标任务的任务结果，加快了任务处理的进程。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种跨集群的任务调度***及方法。
背景技术
随着数据处理规模的增长，传统的单机计算模式已经不能满足日益增长的信息服务需求。为了提高***的稳定性和网络中心的数据处理能力及服务能力，通常采用集群技术。集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个计算机组，并以统一的方式进行管理。集群可以实现很高的运算速度，完成大运算量的计算，具有较高的响应能力，能够降低整体运维成本，因此得到了越来越多的应用。
在同一个集群中，任务的调度可根据工作流调度器建立的有向无环图(DirectedAcyclic Graph，DAG)的顺序进行调度。但是大数据平台中，有多种集群之间需要进行数据交互。多个集群之间的任务和任务之间有关联关系，例如，计算引擎集群中的提交的任务可能需要结合分布式数据库集群和分布式***基础架构集群(Hadoop Distributed FileSystem，hadoop集群)中的数据进行计算，现有技术中，计算引擎集群为了结合两个集群之间数据，先分别存储计算分布式数据库集群中的数据和hadoop集群中的数据，再将两个集群的计算结果再进行存储计算，在工作流调度器对计算引擎集群进行任务调度时，由于数据在集群的位置不统一，不便于任务的调度、监督和管理，导致工作流调度器在调度任务时，计算引擎集群因不能及时提供任务所需的数据而造成的任务处理的速度缓慢问题。
发明内容
有鉴于此，本申请实施例的目的在于提供一种跨集群的任务调度***及方法，通过命令行工具，将分布式数据库集群和分布式***基础架构集群之间数据打通，再通过工作流调度器对计算引擎集群监控并获取结果，加快了任务处理进程。主要包括以下几个方面：
第一方面，本申请实施例提供一种跨集群的任务调度***，所述任务调度***包括工作流调度器、分布式数据库集群、分布式***基础架构集群和计算引擎集群；其中，
所述工作流调度器，用于在获取到待处理的目标任务后，向所述计算引擎集群发送处理所述目标任务的指令，以及通过事先安装好的命令行工具向所述分布式数据库集群发送获取所述目标任务所需数据的指令，并在监控到所述计算引擎集群完成所述目标任务的处理后，从所述计算引擎集群获取所述目标任务的任务结果状态；
所述分布式数据库集群，用于在接收到所述工作流调度器发送的获取所述目标任务的所需数据的指令后，通过所述命令行工具将所述目标任务所需数据写入到所述分布式***基础架构集群；
所述分布式***基础架构集群，用于通过所述命令行工具导入所述分布式数据库集群中所述目标任务所需数据；
所述计算引擎集群，用于在接收到所述工作流调度器发送的处理所述目标任务的指令后，从所述分布式***基础架构集群中读取所述目标任务的所需数据到内存中，根据所述目标任务的所需数据计算出所述目标任务的任务结果。
在一种可能的实施方式中，所述分布式数据库集群，还用于通过所述命令行工具建立可写外部表，并将所述目标任务所需数据导入至所述可写外部表，以及将所述可写外部表写入到所述分布式***基础架构集群中；
所述分布式数据库集群，还用于通过所述命令行工具建立可读外部表，以及将所述可读外部表写入到所述分布式***基础架构集群中；
所述分布式***基础架构集群，用于存储所述计算引擎集群写入的所述目标任务的任务结果，并将所述任务结果存储至所述可读外部表中，以便于用户在所述可读外部表中查询所述目标任务的任务结果。
在一种可能的实施方式中，所述计算引擎集群，还用于将所述目标任务的任务结果写入至所述分布式***基础架构集群；
所述分布式***基础架构集群，还用于在接收到所述计算引擎集群写入的所述任务结果后，将所述任务结果进行存储，以供用户查询所述目标任务的任务结果。
在一种可能的实施方式中，所述工作流调度器，还用于生成与所述目标任务对应的拆分逻辑和计算逻辑，并向所述计算引擎集群发送所述拆分逻辑和所述计算逻辑；
所述计算引擎集群，还用于接收所述工作流调度器发送的所述拆分逻辑和所述计算逻辑，并根据所述拆分逻辑将所述目标任务拆分成至少一个子任务，以及根据所述计算逻辑计算所述至少一个子任务中的每个子任务，并生成所述目标任务的任务结果。
在一种可能的实施方式中，所述工作流调度器，还用于在获取待处理的所述目标任务之前，安装所述命令行工具，并通过所述命令行工具，与所述分布式数据库集群进行交互。
第二方面，本申请实施例还提供一种跨集群的任务调度方法，应用于工作流调度器，所述任务调度方法包括：
获取待处理的目标任务，通过事先安装好的命令行工具向分布式数据库集群发送获取所述目标任务所需数据的指令；
向计算引擎集群发送处理所述目标任务的指令；
在监控到所述计算引擎集群完成所述目标任务的处理后，从所述计算引擎集群获取所述目标任务的任务结果状态。
在一种可能的实施方式中，在所述向计算引擎集群发送处理所述目标任务的指令之后，所述任务调度方法还包括；
监控所述计算引擎集群处理所述目标任务的进程。
在一种可能的实施方式中，所述任务调度方法还包括：
生成与所述目标任务对应的拆分逻辑和计算逻辑，并向所述计算引擎集群发送所述拆分逻辑和所述计算逻辑，以供所述计算引擎集群根据所述拆分逻辑和所述计算逻辑对所述目标任务进行处理。
第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行上述第二方面或第二方面中任一种可能的实施方式中所述的跨集群的任务调度方法的步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第二方面或第二方面中任一种可能的实施方式中所述的跨集群的任务调度方法的步骤。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种跨集群的任务调度***的结构示意图；
图2示出了本申请实施例所提供的一种工作流调度器生成的DAG示意图；
图3示出了本申请实施例所提供的一种跨集群的任务调度方法的流程图；
图4示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中的附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
目前，现有方案中，计算引擎集群为了结合两个集群之间数据，先分别存储计算分布式数据库集群中的数据和分布式***基础架构集群中的数据，再将两个集群的计算结果再进行存储计算，在工作流调度器对计算引擎集群进行任务调度时，由于数据在集群的位置不统一，不便于任务的调度、监督和管理，导致工作流调度器在调度任务时，计算引擎集群因不能及时提供任务所需的数据而造成的任务处理的速度缓慢问题。
基于此，本申请实施例提供了一种跨集群的任务调度***及方法，工作流调度器在接受处理目标任务指令后，通过命令行工具向分布式数据库集群发送获取目标任务所需数据指令以及向计算引擎集群发送处理目标任务指令，分布式数据库集群将目标任务所需数据写入到分布式***基础架构集群，分布式***基础架构集群通过所述命令行工具导入分布式数据库集群中目标任务所需数据，计算引擎集群从分布式***基础架构集群中读取目标任务所需数据并计算出结果。本申请通过工作流调度器向计算引擎集群下达处理目标任务的指令，并向分布式数据库集群下达获取目标任务所需的数据，并通过命令行工具，分布式数据库集群将目标任务所需数据写入至分布式***基础架构集群，打通了分布式数据库集群与分布式***基础架构集群之间的交互，可以使计算引擎集群只需读取分布式***基础架构集群就可以获取到所有计算目标任务所需的数据，进而计算出任务结果，加快了任务处理的进程。
为便于对本申请进行理解，下面结合具体实施例对本申请提供的技术方案进行详细说明。
参见图1，图1为本申请实施例所提供的一种跨集群的任务调度***1的结构示意图。所述跨集群的任务调度***1包括工作流调度器10、分布式数据库集群20、分布式***基础架构集群30和计算引擎集群40；其中，
所述工作流调度器10，用于在获取到待处理的目标任务后，向所述计算引擎集群40发送处理所述目标任务的指令，以及通过事先安装好的命令行工具向所述分布式数据库集群20发送获取所述目标任务所需数据的指令，并在监控到所述计算引擎集群40完成所述目标任务的处理后，从所述计算引擎集群40获取所述目标任务的任务结果状态；
所述分布式数据库集群20，用于在接收到所述工作流调度器10发送的获取所述目标任务的所需数据的指令后，通过所述命令行工具将所述目标任务所需数据写入到所述分布式***基础架构集群30；
所述分布式***基础架构集群30，用于通过所述命令行工具导入所述分布式数据库集群20中所述目标任务所需数据；
所述计算引擎集群40，用于在接收到所述工作流调度器10发送的处理所述目标任务的指令后，从所述分布式***基础架构集群30中读取所述目标任务的所需数据到内存中，根据所述目标任务的所需数据计算出所述目标任务的任务结果。
本申请提供的跨集群的任务调度***1包括工作流调度器10、分布式数据库集群20、分布式***基础架构集群30和计算引擎集群40。在工作流调度器10接收到用户发送的需要处理的目标任务以后，通过命令行工具向分布式数据库集群20发送数据获取指令，以及向计算引擎集群40发送处理目标任务的指令，分布式数据库集群20通过命令行工具将目标任务需要的数据导入至分布式***基础架构集群30中，此时分布式***基础架构集群30中有目标任务需要的分布式数据库集群20和分布式***基础架构集群30的数据，计算引擎集群40从分布式***基础架构集群30读取目标任务需要的数据至内存中，计算引擎集群40基于存储的目标任务所需的数据进行计算，并将任务结果状态发送至工作流调度器10。
其中，命令行工具是开源对象关系型数据库***(Postgre Structured QueryLanguage，PostgreSql)中的一个命令行交互式客户端工具，该工具交互地输入结构化查询语言(Structured Query Language，SQL)命令。SQL是各种关系型数据库的主要用户程序接口语言，用户程序可以通过SQL实现对各种关系型数据库中的数据的查询、***、删除、更新等操作。所以不同集群之间如果都安装有命令行工具，就可以通过命令行工具中的SQL命令，可以实现集群之间的数据互通。
本申请实施例通过事先在工作流调度器10所在服务器上安装命令行工具，并且分布式数据库集群20自带有命令行工具，所以通过命令行工具中的SQL语言就可以实现工作流调度器10与分布式数据库集群20之间的数据交互，分布式数据库集群20通过命令行工具中的SQL语言将目标任务数据导入至分布式***基础架构集群30中，且工作流调度器10是部署在分布式***基础架构集群30上的，也即在工作流调度器10所在服务器安装命令行工具，在分布式***基础架构集群30上也就安装了命令行工具，分布式***基础架构集群30通过安装命令行工具导入分布式数据库集群20中目标任务所需的数据，就实现分布式数据库集群20和分布式***基础架构集群30之间的数据互通，方便计算引擎集群40在分布式***基础架构集群30中读取任务目标所需的所有数据至内存中，再通过工作流调度器10对计算引擎集群40进行任务调度和监控，工作流调度器10通过对分布式数据库集群20发送获取目标任务所需数据指令的管理，对计算引擎集群40中任务的管理，计算引擎集群40又在接收到工作流调度器10的处理目标任务的指令后，向分布式***基础架构集群30读取目标任务所需数据到内存中，实现了工作流调度器10对跨集群的任务调度***中其他集群的统一管理、统一对任务进行调度，加快了任务处理进程，并且可以完成更多数据的计算任务。
这里，分布式数据库集群20写入分布式***基础架构集群30中的数据是目标任务所需的数据，例如在分布式数据库集群20中存储的是用户信息数据，在分布式***基础架构集群30中存储的是用户行为信息数据，目标任务是需要结合用户信息数据和用户行为信息数据进行计算，如果没有打通分布式数据库集群20和分布式***基础架构集群30之间的数据交互，计算引擎集群40既需要从分布式数据库集群20中读取用户信息数据到内存中进行计算得到一个计算结果，又需要从分布式***基础架构集群30中读取用户行为信息数据到内存中再进行计算得到另一个计算结果，再针对两个计算结果再一次进行计算，使得计算过程更加缓慢，所以就需要分布式数据库集群20中的用户信息数据写入至分布式***基础架构集群30中，这样分布式***基础架构集群30中既有目标任务所需的用户信息数据又有目标任务所需的用户行为信息数据，计算引擎集群40只要在分布式***基础架构集群30中读取目标任务所需数据到内存中，这样读取出的目标任务所需的数据既包括分布式数据库集群20中的用户信息数据又包含了分布式***基础架构集群30中的用户行为信息数据，所以通过将分布式数据库集群20和分布式***基础架构集群30之间的数据打通，计算引擎集群40直接向分布式***基础架构集群30读取数据到内存中就可以直接得到两个集群中目标任务所需的数据。
其中，通过在工作流调度器10所在服务器安装命令行工具，和分布式数据库集群20自带的命令行工具，在命令行工具中使用SQL命令，工作流调度器10可以对分布式数据库集群20发送获取所述目标任务所需数据的指令，工作流调度器10可以和分布式数据库集群20进行互通，再通过命令行工具中使用SQL命令，分布式数据库集群20就可以将目标任务所需的数据写入至分布式***基础架构集群30中，可以令分布式数据库集群20和分布式***基础架构集群30之间数据交互，所以计算引擎集群40从分布式***基础架构集群30中读取出的目标任务所需数据，既包含了分布式数据库集群20中目标任务所需数据，又包含了分布式***基础架构集群30中目标任务所需数据，再通过工作流调度器10根据计算引擎集群40中存储的两个集群中目标任务所需数据进行计算、管理和监督。
需要说明的是，存储在分布式数据库集群20的数据为实时性强的数据，即存储的数据是可以随时更新的，存储在分布式***基础架构集群30的数据为离线型数据，因为分布式***基础架构集群30存储数据不支持实时更新，只支持追加数据，所以当计算任务需要两个集群的数据时，计算引擎集群40分别向两个集群读取数据是很耗费时间和资源的，所以建立两个集群的交互，可以加快任务处理进程。
现有技术中，计算引擎集群40为了结合两个集群之间数据，先分别读取分布式数据库集群20中的数据和分布式***基础架构集群30中的数据到内存中，再将两个集群的计算结果再进行存储计算，在工作流调度器10对计算引擎集群40进行任务调度时，由于数据在集群的位置不统一，不便于任务的调度、监督和管理，导致工作流调度器在调度任务时，计算引擎集群因不能及时提供任务所需的数据而造成的任务处理的速度缓慢问题。而本申请通过在工作流调度器10所在服务器安装命令行工具，和分布式数据库集群20自带的命令行工具，在命令行工具中使用SQL命令，工作流调度器10可以对分布式数据库集群20发送获取所述目标任务的所需数据的指令，实现工作流调度器10和分布式数据库集群20进行互通，再通过命令行工具中的SQL命令，分布式数据库集群20就可以将目标任务所需的数据写入至分布式***基础架构集群30中，可以令分布式数据库集群20和分布式***基础架构集群30之间数据交互，所以计算引擎集群40从分布式***基础架构集群30中读取出的目标任务所需数据，既包含了分布式数据库集群20中目标任务所需数据，又包含了分布式***基础架构集群30中目标任务所需的数据，再通过工作流调度器10对计算引擎集群40中任务进行管理、监督和调度，加快了任务处理进程。
在上述实施例中，所述分布式数据库集群20，还用于通过所述命令行工具建立可写外部表，并将所述目标任务所需数据导入至所述可写外部表，以及将所述可写外部表写入到所述分布式***基础架构集群30中；
所述分布式数据库集群20，还用于通过所述命令行工具建立可读外部表，以及将所述可读外部表写入到所述分布式***基础架构集群30中；
所述分布式***基础架构集群30，用于存储所述计算引擎集群40写入的所述目标任务的任务结果，并将所述任务结果存储至所述可读外部表中，以便于用户在所述可读外部表中查询所述目标任务的任务结果。
这里，工作流调度器10通过命令行工具发送的获取所述目标任务所需数据的指令具体为，分布式数据库集群20通过命令行工具首先同时建立可写外部表和可读外部表，可写外部表和可读外部表是两个没有数据的空表，建立的可写外部表存储在分布式***基础架构集群30的一个文件夹中，建立的可读外部表存储在分布式***基础架构集群30中的与存储的可写外部表不同的文件夹中，即写外部表和可读外部表存储在分布式***基础架构集群30中的不同文件夹中，分布式数据库集群20通过命令行工具，将分布式数据库集群20中目标任务所需的数据导入至可写外部表中，就可以将分布式数据库集群20中目标任务所需的数据写入至分布式***基础架构集群30中，通过可写外部表，实现了分布式数据库集群20和分布式***基础架构集群30之间数据的互通，使得分布式***基础架构集群30中既有分布式数据库集群20中的目标任务所需数据又有分布式***基础架构集群30中的目标任务所需数据，分布式***基础架构集群30将存储的计算引擎集群40写入的目标任务的任务结果存储至与可读外部表中，此时就可以通过可读外部表来查询目标任务的任务结果，可读外部表可以存储多个目标任务的任务结果，在用户需要查询其中一次目标任务的任务结果时，通过可读外部表就可以查询该次的目标任务的任务结果。
其中分布式数据库集群20通过命令行工具首先同时建立可写外部表和可读外部表，可写外部表和可读外部表是存储在分布式***基础架构集群30中不同文件夹的的两个空表，通过命令行工具将分布式数据库集群20中目标任务所需的数据导入至可写外部表中，可以将分布式数据库集群20和分布式***基础架构集群30进行数据交互，也就是通过可写外部表，建立了分布式数据库集群20和分布式***基础架构集群30之间数据沟通的桥梁。
在上述实施例中，所述计算引擎集群40，还用于将所述目标任务的任务结果写入至所述分布式***基础架构集群30；
所述分布式***基础架构集群30，还用于在接收到所述计算引擎集群40写入的所述任务结果后，将所述任务结果进行存储，以供用户查询所述目标任务的任务结果。
这里，通过计算引擎集群40在计算完成目标任务后，将得到的目标任务的结果数据存储至可读外部表中，这样，用户就可以在可读外部表中查询目标任务的计算结果，如果需要处理的目标任务不止一个，在每一个目标任务在计算引擎集群40计算完成后，将每次目标任务的任务结果依次存储至可读外部表中，这样，用户若想查询其中一次的目标任务的任务结果，通过可读外部表可以精准查询该次目标任务的计算结果。
在上述实施例中，所述工作流调度器10，还用于生成与所述目标任务对应的拆分逻辑和计算逻辑，并向所述计算引擎集群40发送所述拆分逻辑和所述计算逻辑；
所述计算引擎集群40，还用于接收所述工作流调度器10发送的所述拆分逻辑和所述计算逻辑，并根据所述拆分逻辑将所述目标任务拆分成至少一个子任务，以及根据所述计算逻辑计算所述至少一个子任务中的每个子任务，并生成所述目标任务的任务结果。
这里，工作流调度器10在接收到目标任务后，基于目标任务生成将目标任务拆分成多个子任务的拆分逻辑和各个子任务之间的计算逻辑，并按照拆分逻辑和计算逻辑形成各个子任务的DAG，并把拆分逻辑和计算逻辑发送给计算引擎集群40，计算引擎集群40通过接收到拆分逻辑和计算逻辑对目标任务进行拆分成许多子任务，并且按照DAG的顺序进行计算，直到计算出目标任务的计算结果。
这里，DAG是工作调度器10基于目标任务对目标任务进行拆分，生成拆分成多个子任务的拆分逻辑和各个子任务之间的计算逻辑，其中计算逻辑，子任务和子任务之间可以有前后依赖关系，即前一个子任务计算出来的结果作为后一个子任务计算的数据，也可以是并列关系，即子任务和子任务之间没有数据关系，可以并行计算，通过多个子任务之间的计算逻辑创建DAG，并且通过工作调度器10自带的用户界面(User Interface，UI)可以看到子任务和子任务之间计算逻辑的DAG。
一示例中，参见图2，图2为本申请实施例所提供的一种工作流调度器生成的DAG示意图，工作调度器10在接收到目标任务后，基于目标任务生成将目标任务拆分成多个子任务的拆分逻辑和各个子任务计算的计算逻辑，工作调度器10按照拆分逻辑和计算逻辑形成各个子任务的DAG，如图2所示，工作调度器10将目标任务拆分成5个子任务的拆分逻辑，子任务1、子任务2、子任务3、子任务4和子任务5，并根据5个子任务的计算逻辑画出的DAG图，从图2可知的计算逻辑，子任务2、子任务3和子任务4依赖子任务1计算完成的数据结果进行计算，子任务2、子任务3和子任务4之间没有依赖关系，所以子任务2、子任务3和子任务4可以并行计算，子任务5依赖子任务2、子任务3和子任务4计算完成的结果进行计算，所以工作调度器10基于图2对计算引擎集群40中的子任务1、子任务2、子任务3、子任务4和子任务5按照子任务之间的顺序进行调度。
另外，根据通过工作调度器10自带的UI不仅可以看到子任务和子任务之间计算逻辑的DAG，也可以看到在DAG中各个子任务的进行程度，即进行到哪个子任务，并且对各个子任务的成功或是失败进行全面的追踪和监控。
还需说明的是，工作调度器10还可以对各个子任务进行全面的监控，例如哪个子任务失败了，工作调度器10通过自带的邮件任务来通知用户哪个子任务失败了，并且在所有任务完成后，工作调度器10还可以通过邮件任务向用户通知目标任务计算完成。
在上述实施例中，所述工作流调度器10，还用于在获取待处理的所述目标任务之前，安装所述命令行工具，并通过所述命令行工具，与所述分布式数据库集群20进行交互。
这里，在工作流调度器10接收到处理目标任务指令之前，就在工作流调度器10所在的服务器上面安装命令行工具，通过命令行工具，工作流调度器10可以向分布式数据库集群20发送获取所述目标任务所需数据的指令，得以与分布式数据库集群20进行交互，并通过命令行工具，使得分布式数据库集群20将目标任务所需的数据导入至分布式***基础架构集群30，分布式数据库集群20可以与分布式***基础架构集群30进行数据交互。
需要说明的是，分布式数据库集群20是自带命令行工具的，所以无须提前安装。
另外，工作流调度器10是部署在分布式***基础架构集群30的服务器上，即工作流调度器10与分布式***基础架构集群30是在同一台服务器上的，通过在工作流调度器10所在的服务器上面安装命令行工具，分布式***基础架构集群30也会有命令行工具，所以工作流调度器10通过命令行工具发送获取所述目标任务所需数据的指令，可以与分布式数据库集群20进行交互，分布式数据库集群20通过命令行工具将目标任务所需数据导入至分布式***基础架构集群30中，可以与分布式***基础架构集群30进行数据交互。
本申请实施例，通过事先在工作流调度器10所在服务器上安装命令行工具，并且分布式数据库集群20自带有命令行工具，所以通过命令行工具中的SQL语言实现工作流调度器10与分布式数据库集群20之间的数据交互，分布式数据库集群20通过命令行工具中的SQL语言将目标任务数据写入分布式***基础架构集群30，且工作流调度器10是部署在分布式***基础架构集群30上的，也即在工作流调度器10所在服务器上安装命令行工具，在分布式***基础架构集群30上也就安装了命令行工具，分布式数据库集群20通过安装命令行工具将目标任务所需的数据写入至分布式***基础架构集群30，分布式***基础架构集群30通过安装命令行工具导入分布式数据库集群20中目标任务所需的数据，实现了分布式数据库集群20和分布式***基础架构集群30之间的数据互通，方便计算引擎集群40在分布式***基础架构集群30中读取任务目标所需的所有数据到内存中，再通过工作流调度器10对计算引擎集群40进行任务调度和监控，工作流调度器10通过对分布式数据库集群20发送获取目标任务所需数据的指令，对计算引擎集群40中任务的管理，计算引擎集群40又在工作流调度器10接收到处理目标任务的指令后，向分布式***基础架构集群30读取目标任务所有所需数据到内存中，实现了工作流调度器10对跨集群的任务调度***中其他集群的统一管理、统一对任务进行调度，加快了任务处理进程，并且可以完成更多数据的计算任务。
参见图3，图3为本申请实施例所提供的一种跨集群的任务调度方法的流程图。如图3所示，本申请实施例提供的任务调度方法，应用于工作流调度器，包括以下步骤：
S301：获取待处理的目标任务，通过事先安装好的命令行工具向分布式数据库集群发送获取所述目标任务所需数据的指令。
该步骤中，工作流调度器在接收到待处理的目标任务之前，在工作流调度器所在服务器安装命令行工具，在接收到待处理目标任务之后，通过命令行工具向分布式数据库集群发送获取所述目标任务所需数据的指令，可以实现工作流调度器与分布式数据库集群之间的交互，分布式数据库集群通过命令行工具将目标任务数据写入分布式***基础架构集群中，且工作流调度器是部署在分布式***基础架构集群上的，也即在工作流调度器所在服务器上安装命令行工具，在分布式***基础架构集群上也就安装了命令行工具，分布式***基础架构集群通过安装命令行工具导入分布式数据库集群中的目标任务所需的数据，就实现分布式数据库集群和分布式***基础架构集群之间的数据互通，此时分布式***基础架构集群中既有分布式数据库集群中目标任务所需数据，又有分布式***基础架构集群中目标任务所需数据。
S302：向计算引擎集群发送处理所述目标任务的指令。
该步骤中，工作流调度器获取用户发送的目标任务之后，将处理目标任务指令发送给计算引擎集群，计算引擎集群就从分布式***基础架构集群中读取目标任务所需的所有数据至内存中，并对目标任务所需的数据进行处理。
S303：在监控到所述计算引擎集群完成所述目标任务的处理后，从所述计算引擎集群获取所述目标任务的任务结果状态。
该步骤中，工作流调度器对计算引擎集群的任务计算进行全程跟踪，并在计算引擎集群计算完成后，工作流调度器对计算完成的目标任务的任务结果状态进行获取，并向用户发出目标任务完成的邮件信息。
在上述实施例中，在所述向计算引擎集群发送处理所述目标任务的指令之后，所述任务调度方法还包括；
监控所述计算引擎集群处理所述目标任务的进程。
该步骤中，工作流调度器在向计算引擎集群传达目标任务的指令后，计算引擎向分布式***基础架构集群中读取目标任务所需的数据到内存中，之后工作流调度器对计算引擎集群中的计算过程进行全程监控，监控计算引擎集群中任务进行到具体的哪一步，任务进行的成功或者失败，并且在处理任务失败的时候通过工作流调度器中自带的邮件任务向用户发送任务失败的信息，并且在工作流调度器中自带的可视化UI可以随时查看计算任务的进程。
在上述实施例中，所述任务调度方法还包括：生成与所述目标任务对应的拆分逻辑和计算逻辑，并向所述计算引擎集群发送所述拆分逻辑和所述计算逻辑，以供所述计算引擎集群根据所述拆分逻辑和所述计算逻辑对所述目标任务进行处理。
该步骤中，工作流调度器在接收到目标任务的指令后，基于目标任务生成将目标任务拆分成多个子任务的拆分逻辑和每个子任务之间逻辑关系的计算逻辑，各个子任务的计算逻辑可以有依赖关系和没有依赖关系，依赖关系就是前一个子任务计算完成的结果用于下一个子任务的计算数据，没有依赖关系的子任务之间可以并行进行计算过程，工作流调度器基于拆分逻辑和计算逻辑生成各个子任务的DAG，即把各个子任务的计算逻辑用DAG表示出来，将拆分逻辑和计算逻辑发送给计算引擎集群，计算引擎集群将存储在内存中的目标任务所需数据基于拆分逻辑拆分成多个子任务，然后工作流调度器按照DAG中多个子任务中的计算逻辑对计算引擎集群中的多个子任务进行调度，对各个任务进行同步处理或者异步处理，节省了任务计算的时间。
其中，DAG通过工作流调度器自带的可视化UI就可以看到，通过可以看到的DAG可以随时查看多个子任务进程，可以查看多个子任务的每个子任务进行的成功或者失败，即通过DAG达到了对多个子任务全程追踪的目的，并在其中一个子任务失败时，工作流调度器会给用户发送邮件通知该处子任务计算失败的消息，用户可以通过UI查看子任务所在的计算位置，进而进行调整。
这里，在工作流调度器接收到目标任务之前，就在工作流调度器所在的服务器上面安装命令行工具，通过命令行工具，工作流调度器可以向分布式数据库集群发送获取所述目标任务所需数据的指令，得以与分布式数据库集群进行交互，并通过命令行工具，分布式数据库集群建立可写外部表，存储在分布式***基础架构集群中，并通过命令行工具，将分布式数据库集群中目标任务所需的数据导入至可写外部表中，分布式数据库集群中目标任务所需的数据就写入了分布式***基础架构集群中，通过可写外部表，分布式数据库集群可以与分布式***基础架构集群进行数据交互。
需要说明的是，分布式数据库集群是自带命令行工具的，所以无须提前安装。
另外，工作流调度器是部署在分布式***基础架构集群的服务器上，即工作流调度器与分布式***基础架构集群是在同一台服务器上的，通过在工作流调度器所在的服务器上安装命令行工具，分布式***基础架构集群也会有命令行工具，所以工作流调度器通过命令行工具发送获取所述目标任务所需数据的指令，可以与分布式数据库集群进行交互，分布式数据库集群通过命令行工具将目标任务所需数据导入至分布式***基础架构集群中，可以与分布式***基础架构集群进行数据交互。
还需说明的是，工作流调度器通过命令行工具发送的获取所述目标任务所需数据的指令具体为，分布式数据库集群通过命令行工具首先同时建立可写外部表和可读外部表，可写外部表和可读外部表是两个没有数据的空表，建立的可写外部表存储在分布式***基础架构集群的一个文件夹中，建立的可读外部表存储在分布式***基础架构集群中的与存储的可写外部表不同的文件夹中，即写外部表和可读外部表存储在分布式***基础架构集群中的不同文件夹中，分布式数据库集群通过命令行工具，将分布式数据库集群中目标任务所需的数据导入至可写外部表中，就可以将分布式数据库集群中目标任务所需的数据写入至分布式***基础架构集群中，通过可写外部表，实现了分布式数据库集群和分布式***基础架构集群之间数据的互通，使得分布式***基础架构集群中既有分布式数据库集群中的目标任务所需数据又有分布式***基础架构集群中的目标任务所需数据，分布式***基础架构集群将存储的计算引擎集群写入的目标任务的任务结果存储至与可读外部表中，此时就可以通过可读外部表来查询目标任务的任务结果，可读外部表可以存储多个目标任务的任务结果，在用户需要查询其中一次目标任务的任务结果时，通过可读外部表就可以查询该次的目标任务的任务结果。
基于同一申请构思，参见图4所示，为本申请实施例提供的一种电子设备400的结构示意图，包括：处理器410、存储器420和总线430，所述存储器420存储有所述处理器410可执行的机器可读指令，当电子设备400运行时，所述处理器410与所述存储器420之间通过所述总线430进行通信，所述机器可读指令被所述处理器410运行时执行如上述实施例中任一所述的跨集群的任务调度方法的步骤。
具体地，所述机器可读指令被所述处理器410执行时可以执行如下处理：
获取待处理的目标任务，通过事先安装好的命令行工具向分布式数据库集群发送获取所述目标任务所需数据的指令；
向计算引擎集群发送处理所述目标任务的指令；
在监控到所述计算引擎集群完成所述目标任务的处理后，从所述计算引擎集群获取所述目标任务的任务结果状态。
在上述实施例中，上述处理器410执行的步骤中，
在所述向计算引擎集群发送处理所述目标任务的指令之后，所述任务调度方法还包括；
监控所述计算引擎集群处理所述目标任务的进程。
在上述实施例中，上述处理器410执行的步骤中，所述任务调度方法还包括：
生成与所述目标任务对应的拆分逻辑和计算逻辑，并向所述计算引擎集群发送所述拆分逻辑和所述计算逻辑，以供所述计算引擎集群根据所述拆分逻辑和所述计算逻辑对所述目标任务进行处理。
基于同一申请构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例中提供的跨集群的任务调度方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应所述理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来，所述计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种跨集群的任务调度***，其特征在于，所述任务调度***包括工作流调度器、分布式数据库集群、分布式***基础架构集群和计算引擎集群；其中，
所述工作流调度器，用于在获取到待处理的目标任务后，向所述计算引擎集群发送处理所述目标任务的指令，以及通过事先安装好的命令行工具向所述分布式数据库集群发送获取所述目标任务所需数据的指令，并在监控到所述计算引擎集群完成所述目标任务的处理后，从所述计算引擎集群获取所述目标任务的任务结果状态；
所述分布式数据库集群，用于在接收到所述工作流调度器发送的获取所述目标任务的所需数据的指令后，通过所述命令行工具将所述目标任务所需数据写入到所述分布式***基础架构集群；
所述分布式***基础架构集群，用于通过所述命令行工具导入所述分布式数据库集群中所述目标任务所需数据；
所述计算引擎集群，用于在接收到所述工作流调度器发送的处理所述目标任务的指令后，从所述分布式***基础架构集群中读取所述目标任务的所需数据到内存中，根据所述目标任务的所需数据计算出所述目标任务的任务结果。
2.根据权利要求1所述的任务调度***，其特征在于，
所述分布式数据库集群，还用于通过所述命令行工具建立可写外部表，并将所述目标任务所需数据导入至所述可写外部表，以及将所述可写外部表写入到所述分布式***基础架构集群中；
所述分布式数据库集群，还用于通过所述命令行工具建立可读外部表，以及将所述可读外部表写入到所述分布式***基础架构集群中；
所述分布式***基础架构集群，用于存储所述计算引擎集群写入的所述目标任务的任务结果，并将所述任务结果存储至所述可读外部表中，以便于用户在所述可读外部表中查询所述目标任务的任务结果。
3.根据权利要求1所述的任务调度***，其特征在于，
所述计算引擎集群，还用于将所述目标任务的任务结果写入至所述分布式***基础架构集群；
所述分布式***基础架构集群，还用于在接收到所述计算引擎集群写入的所述任务结果后，将所述任务结果进行存储，以供用户查询所述目标任务的任务结果。
4.根据权利要求1所述的任务调度***，其特征在于，
所述工作流调度器，还用于生成与所述目标任务对应的拆分逻辑和计算逻辑，并向所述计算引擎集群发送所述拆分逻辑和所述计算逻辑；
所述计算引擎集群，还用于接收所述工作流调度器发送的所述拆分逻辑和所述计算逻辑，并根据所述拆分逻辑将所述目标任务拆分成至少一个子任务，以及根据所述计算逻辑计算所述至少一个子任务中的每个子任务，并生成所述目标任务的任务结果。
5.根据权利要求1所述的任务调度***，其特征在于，所述工作流调度器，还用于在获取待处理的所述目标任务之前，安装所述命令行工具，并通过所述命令行工具，与所述分布式数据库集群进行交互。
6.一种跨集群的任务调度方法，其特征在于，应用于工作流调度器，所述任务调度方法包括：
获取待处理的目标任务，通过事先安装好的命令行工具向分布式数据库集群发送获取所述目标任务所需数据的指令；
向计算引擎集群发送处理所述目标任务的指令；
在监控到所述计算引擎集群完成所述目标任务的处理后，从所述计算引擎集群获取所述目标任务的任务结果状态；
所述工作流调度器属于包含有所述工作流调度器、分布式数据库集群、分布式***基础架构集群和计算引擎集群的任务调度***；
其中，所述分布式数据库集群在接收到所述工作流调度器发送的获取所述目标任务的所需数据的指令后，通过所述命令行工具将所述目标任务所需数据写入到所述分布式***基础架构集群；
所述分布式***基础架构集群通过所述命令行工具导入所述分布式数据库集群中所述目标任务所需数据；
所述计算引擎集群在接收到所述工作流调度器发送的处理所述目标任务的指令后，从所述分布式***基础架构集群中读取所述目标任务的所需数据到内存中，根据所述目标任务的所需数据计算出所述目标任务的任务结果。
7.根据权利要求6所述的任务调度方法，其特征在于，在所述向计算引擎集群发送处理所述目标任务的指令之后，所述任务调度方法还包括：
监控所述计算引擎集群处理所述目标任务的进程。
8.根据权利要求6所述的任务调度方法，其特征在于，所述任务调度方法还包括：
生成与所述目标任务对应的拆分逻辑和计算逻辑，并向所述计算引擎集群发送所述拆分逻辑和所述计算逻辑，以供所述计算引擎集群根据所述拆分逻辑和所述计算逻辑对所述目标任务进行处理。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求6至8任一所述的跨集群的任务调度方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求6至8任一所述的跨集群的任务调度方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910963328.6A CN110716802B (zh) | 2019-10-11 | 2019-10-11 | 一种跨集群的任务调度***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910963328.6A CN110716802B (zh) | 2019-10-11 | 2019-10-11 | 一种跨集群的任务调度***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110716802A CN110716802A (zh) | 2020-01-21 |
| CN110716802B true CN110716802B (zh) | 2022-05-17 |
Family
ID=69212493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910963328.6A Active CN110716802B (zh) | 2019-10-11 | 2019-10-11 | 一种跨集群的任务调度***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110716802B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111597024B (zh) * | 2020-05-14 | 2022-02-18 | 科东(广州)软件科技有限公司 | 跨域集群处理方法、装置、电子设备及存储介质 |
| CN112182644B (zh) * | 2020-09-11 | 2023-05-12 | 华控清交信息科技(北京)有限公司 | 一种数据处理方法、装置和电子设备 |
| CN113064704A (zh) * | 2021-03-18 | 2021-07-02 | 北京沃东天骏信息技术有限公司 | 任务处理方法、装置、电子设备和计算机可读介质 |
| CN113805976A (zh) * | 2021-09-16 | 2021-12-17 | 上海商汤科技开发有限公司 | 数据处理方法及装置、电子设备及计算机可读存储介质 |
| CN116185596B (zh) * | 2023-04-24 | 2023-08-01 | 之江实验室 | 提升广域多集群分布式***执行任务效率的方法及装置 |
| CN116866438B (zh) * | 2023-09-04 | 2023-11-21 | 金网络(北京)数字科技有限公司 | 一种跨集群任务调度方法、装置、计算机设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104461740A (zh) * | 2014-12-12 | 2015-03-25 | 国家电网公司 | 一种跨域集群计算资源聚合和分配的方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10133797B1 (en) * | 2013-08-16 | 2018-11-20 | Amazon Technologies, Inc. | Distributed heterogeneous system for data warehouse management |
| CN104572895B (zh) * | 2014-12-24 | 2018-02-23 | 天津南大通用数据技术股份有限公司 | MPP数据库与Hadoop集群数据互通方法、工具及实现方法 |
| CN105069066A (zh) * | 2015-07-29 | 2015-11-18 | 江苏方天电力技术有限公司 | 基于大数据平台的节能减排监控分布式计算框架及方法 |
| CN106874080B (zh) * | 2016-07-07 | 2020-05-12 | 阿里巴巴集团控股有限公司 | 基于分布式服务器集群的数据计算方法及*** |
| CN106909451A (zh) * | 2017-02-28 | 2017-06-30 | 郑州云海信息技术有限公司 | 一种分布式任务调度***及方法 |
| CN107329814B (zh) * | 2017-06-16 | 2020-05-26 | 电子科技大学 | 一种基于rdma的分布式内存数据库查询引擎*** |
| CN108664657A (zh) * | 2018-05-20 | 2018-10-16 | 湖北九州云仓科技发展有限公司 | 一种大数据任务调度方法、电子设备、存储介质及平台 |
-
2019
- 2019-10-11 CN CN201910963328.6A patent/CN110716802B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104461740A (zh) * | 2014-12-12 | 2015-03-25 | 国家电网公司 | 一种跨域集群计算资源聚合和分配的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 一种跨HDFS集群的文件资源调度机制;胡博，陈桓，张良杰，牟建伟，戴广立，马于涛;《计算机学报》;20170930;第40卷(第9期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110716802A (zh) | 2020-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110716802B (zh) | 一种跨集群的任务调度***及方法 | |
| JP6887544B2 (ja) | イベント処理のための動的に型付けされたビッグデータによるイベントの充実化 | |
| CN113407633A (zh) | 一种分布式数据源异构同步的方法 | |
| US20200090085A1 (en) | Digital twin graph | |
| CN102456031B (zh) | 一种MapReduce***和处理数据流的方法 | |
| US10133797B1 (en) | Distributed heterogeneous system for data warehouse management | |
| CN106649828B (zh) | 一种数据查询方法及*** | |
| CN105095327A (zh) | 一种分布式etl***及调度方法 | |
| CN111459763A (zh) | 跨kubernetes集群监控***及方法 | |
| CN111784318B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN109144785A (zh) | 用于备份数据的方法和装置 | |
| CN103235811A (zh) | 一种数据存储方法及装置 | |
| CN105608138B (zh) | 一种优化阵列数据库并行数据加载性能的*** | |
| CN104317957A (zh) | 一种报表处理的开放平台、***及报表处理方法 | |
| CN111651302B (zh) | 分布式数据库备份方法，装置及*** | |
| CN111324667A (zh) | 一种数据同步方法、装置、电子设备及存储介质 | |
| CN107153679B (zh) | 一种针对半结构化大数据的提取统计方法及*** | |
| GB2610969A (en) | Optimized deployment of analytic models in an edge topology | |
| CN115858486A (zh) | 数据处理方法以及相关设备 | |
| CN111736967B (zh) | 多分支流程管控装置、流程模板生成方法及存储介质 | |
| US10803030B2 (en) | Asynchronous SQL execution tool for zero downtime and migration to HANA | |
| Provatas et al. | Selis bda: Big data analytics for the logistics domain | |
| CN110427390A (zh) | 数据查询方法及装置、存储介质、电子装置 | |
| CN112486646B (zh) | 计算***的作业任务处理方法、装置、存储介质和处理器 | |
| Manjaly et al. | Various approches to improve MapReduce performance in Hadoop |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |