CN107239468B - 任务节点管理方法及装置 - Google Patents

任务节点管理方法及装置 Download PDF

Info

Publication number
CN107239468B
CN107239468B CN201610187421.9A CN201610187421A CN107239468B CN 107239468 B CN107239468 B CN 107239468B CN 201610187421 A CN201610187421 A CN 201610187421A CN 107239468 B CN107239468 B CN 107239468B
Authority
CN
China
Prior art keywords
task
node
nodes
virtual
upstream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610187421.9A
Other languages
English (en)
Other versions
CN107239468A (zh
Inventor
张世晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Advanced New Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced New Technologies Co Ltd filed Critical Advanced New Technologies Co Ltd
Priority to CN201610187421.9A priority Critical patent/CN107239468B/zh
Publication of CN107239468A publication Critical patent/CN107239468A/zh
Application granted granted Critical
Publication of CN107239468B publication Critical patent/CN107239468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供了一种任务节点管理方法及装置,所述方法包括:在预设任务集中选取包含具有相同的业务标识的至少两个任务节点的任务集合,确定所述任务集合中任务节点之间的上下游依赖关系,利用所述上下游依赖关系构建所述任务集合中任务节点之间拓扑结构,根据所述拓扑结构从所述任务集合中确定出满足预设条件的至少一个参考任务节点,在所有所述参考任务节点的下游链路上构建虚拟节点,建立每个所述参考任务节点与所述虚拟节点之间的上下游依赖关系,并更新所述拓扑结构。本发明能够提高对上游特定拓扑任务的管理的效率,实现对特定任务实现逻辑划分,虚拟节点可以充当任务节点的索引功效,进而提升数据管理效率。

Description

任务节点管理方法及装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种任务节点管理方法及装置。
背景技术
数据仓库(Extraction-Transformation-Loading,ETL)中的处理过程包括数据抽取、转换、加载、数据集市生成、数据立方生成过程,数据仓库管理的更新、归档过程以及应用报表生成程序等。对于企业级数据仓库***,其中的ETL程序成千上万。
当ETL工作人员想要对数据仓库中的某一批任务节点进行批量管理的时候,一种方式是对该批任务中的每个作为父任务节点、中间结点以及叶子节点的任务节点分别进行管理,另一种方式是通过只对作为叶子节点的任务节点进行管理。
然而,采用第一种方式的缺点是当要管理的任务节点比较多时,或者待管理的任务节点的拓扑结构比较扁平时,逐一手动的管理所有任务节点的效率非常低;采用第二种方式的缺点是当作为叶子节点的任务节点的较多时,对于所有作为叶子节点的任务节点的管理效率也非常低下。
发明内容
为克服相关技术中存在的问题,本发明提供一种任务节点管理方法及装置。
根据本发明实施例的第一方面,提供一种任务节点管理方法,所述方法包括:
在预设任务集中选取包含具有相同的业务标识的至少两个任务节点的任务集合,所述业务标识用于标识任务节点实现的业务功能;
确定所述任务集合中任务节点之间的上下游依赖关系,利用所述上下游依赖关系构建所述任务集合中任务节点之间拓扑结构;
根据所述拓扑结构从所述任务集合中确定出满足预设条件的至少一个参考任务节点;
在所有所述参考任务节点的下游链路上构建虚拟节点,所述虚拟节点与所述参考任务节点的业务标识相同;
建立每个所述参考任务节点与所述虚拟节点之间的上下游依赖关系,并更新所述拓扑结构,以便通过管理虚拟节点,实现管理所述更新后的拓扑结构中位于所述虚拟节点上游链路上的任务节点。
可选地,所述根据所述拓扑结构从所述任务集合中确定出满足预设条件的至少一个参考任务节点,包括:
根据所述拓扑结构获取作为叶子节点的任务节点;
将作为叶子节点的任务节点确定为参考任务节点。
可选地,所述建立每个所述参考任务节点与所述虚拟节点之间的上下游依赖关系包括:
获取所述参考任务节点的配置信息以及所述虚拟节点的配置信息;
将所述参考任务节点的配置信息中的输出参数确定为所述虚拟节点的输入参数,以建立由所述参考任务节点向其下游链路的虚拟节点的依赖关系;
将所述虚拟节点的配置信息中的输入参数确定为所述参考任务节点的输出参数,以建立由所述虚拟节点向其上游链路的参考任务节点的依赖关系。
根据本发明实施例的第二方面,提供一种任务节点管理方法,包括:
获取多个包含虚拟节点和至少两个任务节点的拓扑结构;
在多个拓扑结构中查找与待管理的业务功能具有相同业务标识的虚拟节点;
获取所述虚拟节点以及包含所述虚拟节点的拓扑结构;
通过管理虚拟节点,管理所述拓扑结构中位于所述虚拟节点上游链路上的任务节点。
可选地,所述通过管理虚拟节点,管理所述拓扑结构中位于所述虚拟节点上游链路上的任务节点,包括:
检测是否接收到对所述虚拟节点进行管理的管理操作;
当接收到对所述虚拟节点进行管理的管理操作时,根据所述拓扑结构查找到位于所述虚拟节点上游链路上的任务节点;
控制查找的任务节点执行所述管理操作。
根据本发明实施例提供的第三方面,提供一种任务节点管理装置,所述装置包括:
选取模块,用于在预设任务集中选取包含具有相同的业务标识的至少两个任务节点的任务集合,所述业务标识用于标识任务节点实现的业务功能;
确定构建模块,用于确定所述任务集合中任务节点之间的上下游依赖关系,利用所述上下游依赖关系构建所述任务集合中任务节点之间拓扑结构;
确定模块,用于根据所述拓扑结构从所述任务集合中确定出满足预设条件的至少一个参考任务节点;
构建模块,用于在所有所述参考任务节点的下游链路上构建虚拟节点,所述虚拟节点与所述参考任务节点的业务标识相同;
建立模块,用于建立每个所述参考任务节点与所述虚拟节点之间的上下游依赖关系,并更新所述拓扑结构,以便通过管理虚拟节点,实现管理所述更新后的拓扑结构中位于所述虚拟节点上游链路上的任务节点。
可选地,所述确定模块包括:
第一获取子模块,用于根据所述拓扑结构获取作为叶子节点的任务节点;
第一确定子模块,用于将作为叶子节点的任务节点确定为参考任务节点。
可选地,所述建立模块包括:
第二获取子模块,用于获取所述参考任务节点的配置信息以及所述虚拟节点的配置信息;
第二确定子模块,用于将所述参考任务节点的配置信息中的输出参数确定为所述虚拟节点的输入参数,以建立由所述参考任务节点向其下游链路的虚拟节点的依赖关系;
第三确定子模块,用于将所述虚拟节点的配置信息中的输入参数确定为所述参考任务节点的输出参数,以建立由所述虚拟节点向其上游链路的参考任务节点的依赖关系。
根据本发明实施例的第四方面,提供一种任务节点管理装置,包括:
第一获取模块,用于获取多个包含虚拟节点和至少两个任务节点的拓扑结构;
查找模块,用于在多个拓扑结构中查找与待管理的业务功能具有相同业务标识的虚拟节点;
第二获取模块,用于获取所述虚拟节点以及包含所述虚拟节点的拓扑结构;
管理模块,用于通过管理虚拟节点,管理所述拓扑结构中位于所述虚拟节点上游链路上的任务节点。
可选地,所述管理模块包括:
检测子模块,用于检测是否接收到对所述虚拟节点进行管理的管理操作;
查找子模块,用于当接收到对所述虚拟节点进行管理的管理操作时,根据所述拓扑结构查找到位于所述虚拟节点上游链路上的任务节点;
执行子模块,用于对查找到的任务节点执行所述管理操作。
本发明的实施例提供的技术方案可以包括以下有益效果:
本发明通过在预设任务集中选取包含至少一个任务节点的任务集合,在所述任务集合中的所有任务节点的下游链路上构建虚拟节点,并为所述虚拟节点设置与所述任务节点相同的业务标识,可以在所述任务集合中的每个任务节点与所述虚拟节点之间分别建立拓扑结构,以使在进行实现业务功能的任务节点的批量管理时,直接根据所述虚拟节点的业务标识、并利用所述拓扑结构管理所述虚拟结构上游链路的任务节点。
本发明实施例提供的该方法,能够通过在实现某一业务功能的拓扑结构的叶子节点下游新增一个虚拟节点,只需对虚拟节点进行管理,上游的拓扑任务中的每个任务节点都会向上继承虚拟节点的管理,从而实现管理虚拟节点提高对上游特定拓扑任务的管理的效率;实现对特定任务实现逻辑划分,虚拟节点可以充当任务节点的索引功效,进而提升数据管理效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种任务节点管理方法的流程图;
图1A是根据一示例性实施例示出的一种拓扑结构示意图;
图2是图1中步骤S103的流程图;
图3是图1中步骤S105的流程图;
图4是根据一示例性实施例示出的另一种任务节点管理方法的流程图;
图5是图4中步骤S404的流程图;
图6是根据一示例性实施例示出的一种任务节点管理装置的结构图;
图7是根据一示例性实施例示出的另一种任务节点管理装置的结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
如图1所示,在本发明的一个实施例中,提供一种任务节点管理方法,所述方法包括以下步骤。
在步骤S101中,在预设任务集中选取包含具有相同的业务标识的至少两个任务节点的任务集合。
在本发明实施例中,所述业务标识用于标识任务节点实现的业务功能。预设任务集可以指用于处理数据仓库中数据的任务节点组成的集合,任务节点是指在特定唤醒下运行的程序或者命令,也可以称为任务或者作业等,在数据仓库***中,多个任务节点按照一定的先后顺序调度执行后可以用于实现一项业务功能,例如:数据集的抽取或者报表的生成等。
在本发明实施例中,所述任务集合中的任务节点设置有相同的业务标识,所述业务标识用于标识任务节点实现的业务功能。
在实际应用中,业务标识可以用于标识任务节点实现的业务功能,业务标识可以为“数据抽取”、“报表生成”等文字标识,也可以为“001”等数字标识,还可以为“AAA”等字符标识等等,当使用使用数字标识或者字符标识等进行标识时,可以预先设置一个记录有数字标识或者字符标识,以及与每个数字标识或者字符标识对应的业务功能的对应关系表格,以数字标识为例,对应关系表格可以如下表1所示:
表1:
业务标识 业务功能
001 数据抽取
002 生成报表
在该步骤中,可以首先获取待管理的业务功能,查找与业务功能对应的目标业务标识,然后遍历每个任务节点的业务标识,然后查找到与目标业务标识相同的各个任务节点的业务标识,再在这些所有业务标识对应的任务节点中查找所有作为中间节点和叶子节点的任务节点,最后,选取所有作为中间节点和叶子节点的任务节点,或者,仅作为叶子节点的任务节点,将选取的所有任务节点构建任务集合。
例如,如图1A所示,任务节点M1、M2、M3、M4、M5、E1、E2、E3、E4和E5为用于实现仓库数据的抽取业务功能的任务节点,则M1、M2、M3、M4、M5、E1、E2、E3、E4和E5可以作为一个任务集合。
再例如,任务节点T1、T2、T3、L1、L2和L3为用于实现仓库数据的计算业务功能,则T1、T2、T3、L1、L2和L3作为一个任务集合。
再例如,任务节点T4、T5、T6、L4和T6为用于实现统计仓库数据的业务功能,则T4、T5、T6、L4、T6可以作为一个任务集合。
在步骤S102中,确定所述任务集合中任务节点之间的上下游依赖关系,利用所述上下游依赖关系构建所述任务集合中任务节点之间拓扑结构。
在本发明实施例中,可以获取任务集合中每个任务节点的配置信息,从配置信息中读取输出参数可以作为该任务节点的输入参数的任务节点,以及输入参数为该任务节点的输出参数的输出节点,按照这样的方式,对任务结合中的所有任务节点照此操作,直至任务集合中的任务节点全部获取完毕,这样,各个任务节点之间即可关联起来,即确定了任务节点之间的上下游依赖关系,然后可以按照上下游依赖关系在任务集合中的所有任务节点之间建立拓扑结构。
在步骤S103中,根据所述拓扑结构从所述任务集合中确定出满足预设条件的至少一个参考任务节点。
在本发明实施例中,预设条件可以指在拓扑结构中作为叶子节点的任务节点,作为参考任务节点。
在步骤S104中,在所有所述参考任务节点的下游链路上构建虚拟节点,所述虚拟节点与所述参考任务节点的业务标识相同。
在本发明实施例中,虚拟节点可以不用于进行任何仓库数据的处理,只用于标识任务节点间的上下游依赖关系,不占用***资源。
例如,如图1A所示,任务节点E1、E2、E3、E4和E5为用于实现仓库数据的抽取业务的所有任务节点中的叶子节点,则可以在任务节点E1、E2、E3、E4和E5的下游可以建立虚拟节点Virtual1,并为虚拟节点Virtual1设置实现仓库数据的抽取业务功能的标识,例如“数据抽取”“001”等等。
再例如,任务节点L1、L2和L3为用于实现仓库数据的计算业务的叶子节点,则可以在任务节点L1、L2和L3的下游建立虚拟节点Virtual2,并为虚拟节点Virtual2设置实现仓库数据计算业务功能的标识,例如“数据计算”“002”等等。
再例如,任务节点L4和T6为用于实现统计仓库数据的业务功能的叶子节点,则可以在L4和T6的下游建立虚拟任务节点Virtual3等,虚拟节点2在任务节点L1、L2和L3的下游,并为虚拟节点Virtual3设置实现仓库数据计算业务功能的标识,例如“数据统计”“003”等等。
在本发明实施例中,当将业务功能的标识为“001”、“002”和“003”等用于替代业务功能文字描述的数字标识或者符号标识等时,每个数字标识或者符号标识都应当对应一个业务功能。
在步骤S105中,建立每个所述参考任务节点与所述虚拟节点之间的上下游依赖关系,并更新所述拓扑结构。
通过步骤S105,可以通过管理虚拟节点,实现管理所述更新后的拓扑结构中位于所述虚拟节点上游链路上的任务节点。
在本发明实施例中,可以将任务集合中的每个任务节点分别与虚拟节点建立关联关系。
例如,对于虚拟节点Virtuall,可以在任务节点E1、E2、E3、E4和E5与虚拟节点Virtual1之间建立拓扑结构,这样,更新后的用于实现仓库数据的抽取业务功能的拓扑结构即包含M1、M2、M3、M4、M5、E1、E2、E3、E4、E5和Virtuall。
再例如,对于虚拟节点Virtual2,可以在任务节点L1、L2和L3与虚拟节点Virtual2之间建立拓扑结构,这样,更新后的用于实现仓库数据的计算业务功能的拓扑结构即包含T1、T2、T3、L1、L2、L3和Virtual2。
再例如,对于虚拟节点Virtual3,在任务节点L4、T6和虚拟节点Virtual3之间建立拓扑结构,这样更新后的用于实现统计仓库数据的业务功能的拓扑结构即包含T4、T5、T6、L4和Virtual3。
在需要对实现某一业务功能的所有任务节点进行批量管理时,可以首先查找所有虚拟节点的业务标识,当查找到与业务功能对应的业务标识时,可以首先根据虚拟节点的拓扑结构查找到所有与虚拟节点连接的任务节点,然后可以根据查找到的所有任务节点再查找任务节点上游链路的任务节点,直至找到用于实现该业务功能的父任务节点,这样,即可以实现在以虚拟节点为索引的层级结构中将实现某一业务功能的所有任务节点的快速查找,在某种程度上实现逻辑划分。
另外,在本发明实施例中,当需要对Virtual2对应的业务功能进行优先级管理时,可以首先设置Virtual2的优先级,这样,其上游链路的所有任务节点即可继承Virtual2的优先级,提高管理效率。
本发明通过在预设任务集中选取包含具有相同的业务标识的至少两个任务节点的任务集合,所述业务标识用于标识任务节点实现的业务功能,确定所述任务集合中任务节点之间的上下游依赖关系,利用所述上下游依赖关系构建所述任务集合中任务节点之间拓扑结构,根据所述拓扑结构从所述任务集合中确定出满足预设条件的至少一个参考任务节点,在所有所述参考任务节点的下游链路上构建虚拟节点,建立每个所述参考任务节点与所述虚拟节点之间的上下游依赖关系,并更新所述拓扑结构,以便通过管理虚拟节点,实现管理所述更新后的拓扑结构中位于所述虚拟节点上游链路上的任务节点。
本发明实施例提供的该方法,能够通过在实现某一业务功能的拓扑结构的叶子节点下游新增一个虚拟节点,只需对虚拟节点进行管理,上游的拓扑任务中的每个任务节点都会向上继承虚拟节点的管理,从而实现管理虚拟节点提高对上游特定拓扑任务的管理的效率;实现对特定任务实现逻辑划分,虚拟节点可以充当任务节点的索引功效,进而提升数据管理效率。
如图2所示,在本发明的又一实施例中,所述步骤S103包括以下步骤。
在步骤S201中,根据所述拓扑结构获取作为叶子节点的任务节点;
在步骤S202中,将作为叶子节点的任务节点确定为参考任务节点。
本发明通过在预设任务集中获取具有相同的业务标识的多个任务节点,在获取的所有任务节点中选择作为叶子节点的任务节点作为参考任务节点。
本发明实施例提供的该方法,能够将所有作为叶子节点的任务节点组成的集合确定为任务集合,这样可以便于根据虚拟节点查找到所有叶子节点,然后再根据任务集合中的任务节点查找上游链路的所有任务节点,进而实现任务节点的高效管理。
如图3所示,在本发明的又一实施例中,所述步骤S105包括:
在步骤S301中,获取所述参考任务节点的配置信息以及所述虚拟节点的配置信息;
在步骤S302中,将所述参考任务节点的配置信息中的输出参数确定为所述虚拟节点的输入参数。
通过该步骤,可以建立由所述参考任务节点向其下游链路的虚拟节点的依赖关系。
在步骤S303中,将所述虚拟节点的配置信息中的输入参数确定为所述参考任务节点的输出参数。
通过该步骤,可以建立由所述虚拟节点向其上游链路的参考任务节点的依赖关系。
另外,在本发明实施例中,本领域技术人员可以得知的是,步骤S303还可以位于步骤S302之前,因此,步骤S302和303顺序不限。
本发明通过获取所述参考任务节点的配置信息以及所述虚拟节点的配置信息,将所述参考任务节点的配置信息中的输出参数确定为所述虚拟节点的输入参数,以建立由所述参考任务节点向其下游链路的虚拟节点的依赖关系,将所述虚拟节点的配置信息中的输入参数确定为所述参考任务节点的输出参数,以建立由所述虚拟节点向其上游链路的参考任务节点的依赖关系。
本发明实施例提供的该方法,能够将所有参考任务节点与虚拟任务节点之间建立上下游依赖关系,这样可以便于根据虚拟节点查找到其上游链路的所有叶子节点,进而实现任务节点的高效管理。
如图4所示,在本发明的又一实施例中,提供一种任务节点管理方法,包括以下步骤。
在步骤S401中,获取多个包含虚拟节点和至少两个任务节点的拓扑结构。
在步骤S402中,在多个拓扑结构中查找与待管理的业务功能具有相同业务标识的虚拟节点。
在本发明实施例中,根据待管理的业务功能对应的业务标识,可以查找每个拓扑结构中虚拟节点的业务标识。
在步骤S403中,获取所述虚拟节点以及包含所述虚拟节点的拓扑结构。
在步骤S404中,通过管理虚拟节点,管理所述拓扑结构中位于所述虚拟节点上游链路上的任务节点。
本发明通过获取多个包含虚拟节点和至少两个任务节点的拓扑结构,在多个拓扑结构中查找与待管理的业务功能具有相同业务标识的虚拟节点,获取所述虚拟节点以及包含所述虚拟节点的拓扑结构,通过管理虚拟节点,可以管理所述拓扑结构中位于所述虚拟节点上游链路上的任务节点。
本发明实施例提供的该方法,能够利用事先构建的虚拟节点、虚拟节点的业务标识以及包含虚拟节点的拓扑结构,在需要对实现某一业务功能的任务节点进行批量管理时,自动批量的管理待管理的任务节点。
如图5所示,在本发明的又一实施例中,所述步骤S404包括以下步骤。
在步骤S501中,检测是否接收到对所述虚拟节点进行管理的管理操作。
在本发明实施例中,管理操作可以指设置虚拟节点的优先级等。
当接收到对所述虚拟节点进行管理的管理操作时,在步骤S502中,根据所述拓扑结构查找到位于所述虚拟节点上游链路上的任务节点。
在本发明实施例中,由于每个虚拟节点是建立在任务集合中所有任务节点的下游链路上,并与任务集合中的每个参考任务节点建立有直接的拓扑结构,与其它任务节点建立有间接的拓扑结构,所以可以根据拓扑结构查找到虚拟节点上游链路上的所有任务节点。
在实际应用中,首先,可以以虚拟节点为基础,查找到其上游链路直接建立有拓扑结构的参考任务节点,接着,再以参考任务节点为基础,查找其上游链路直接建立有拓扑结构的任务节点,按照此种方式一直进行查找,直至查找到任务集合中的所有任务节点。
在步骤S503中,对查找到的任务节点执行所述管理操作。
本发明通过检测是否接收到对所述虚拟节点进行管理的管理操作,当接收到对所述虚拟节点进行管理的管理操作时,根据所述拓扑结构查找到位于所述虚拟节点上游链路上的任务节点,可以对查找到的任务节点执行所述管理操作。
本发明实施例提供的该方法,能够自动根据虚拟节点批量的查找到其上游链路的所有任务节点,方法简单且高效。
如图6所示,在本发明的又一实施例中,提供一种任务节点管理装置,所述装置包括:选取模块601、确定构建模块602、确定模块603、构建模块604和建立模块605。
选取模块601,用于在预设任务集中选取包含具有相同的业务标识的至少两个任务节点的任务集合,所述业务标识用于标识任务节点实现的业务功能;
确定构建模块602,用于确定所述任务集合中任务节点之间的上下游依赖关系,利用所述上下游依赖关系构建所述任务集合中任务节点之间拓扑结构;
确定模块603,用于根据所述拓扑结构从所述任务集合中确定出满足预设条件的至少一个参考任务节点;
构建模块604,用于在所有所述参考任务节点的下游链路上构建虚拟节点,所述虚拟节点与所述参考任务节点的业务标识相同;
建立模块605,用于建立每个所述参考任务节点与所述虚拟节点之间的上下游依赖关系,并更新所述拓扑结构,以便通过管理虚拟节点,实现管理所述更新后的拓扑结构中位于所述虚拟节点上游链路上的任务节点。
在本发明的又一实施例中,所述确定模块包括:
第一获取子模块,用于根据所述拓扑结构获取作为叶子节点的任务节点;
第一确定子模块,用于将作为叶子节点的任务节点确定为参考任务节点。
在本发明的又一实施例中,所述建立模块包括:
第二获取子模块,用于获取所述参考任务节点的配置信息以及所述虚拟节点的配置信息;
第二确定子模块,用于将所述参考任务节点的配置信息中的输出参数确定为所述虚拟节点的输入参数,以建立由所述参考任务节点向其下游链路的虚拟节点的依赖关系。
第三确定子模块,用于将所述虚拟节点的配置信息中的输入参数确定为所述参考任务节点的输出参数,以建立由所述虚拟节点向其上游链路的参考任务节点的依赖关系。
如图7所示,在本发明的又一实施例中,提供一种任务节点管理装置,包括:第一获取模块701、查找模块702、第二获取模块703和管理模块704。
第一获取模块701,用于获取多个包含虚拟节点和至少两个任务节点的拓扑结构。
查找模块702,用于在多个拓扑结构中查找与待管理的业务功能具有相同业务标识的虚拟节点。
第二获取模块703,用于获取所述虚拟节点以及包含所述虚拟节点的拓扑结构。
管理模块704,用于通过管理虚拟节点,管理所述拓扑结构中位于所述虚拟节点上游链路上的任务节点。
在本发明的又一实施例中,所述管理模块包括:
检测子模块,用于检测是否接收到对所述虚拟节点进行管理的管理操作;
查找子模块,用于当接收到对所述虚拟节点进行管理的管理操作时,根据所述拓扑结构查找到位于所述虚拟节点上游链路上的任务节点;
执行子模块,用于对查找到的任务节点执行所述管理操作。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由所附的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (8)

1.一种任务节点管理方法,其特征在于,所述方法包括:
在预设任务集中选取包含具有相同的业务标识的至少两个任务节点的任务集合,所述业务标识用于标识任务节点实现的业务功能;
确定所述任务集合中任务节点之间的上下游依赖关系,利用所述上下游依赖关系构建所述任务集合中任务节点之间拓扑结构;
根据所述拓扑结构从所述任务集合中确定出满足预设条件的至少一个参考任务节点;其中包括:根据所述拓扑结构获取作为叶子节点的任务节点;将作为叶子节点的任务节点确定为参考任务节点;
在所有所述参考任务节点的下游链路上构建虚拟节点,所述虚拟节点与所述参考任务节点的业务标识相同;
建立每个所述参考任务节点与所述虚拟节点之间的上下游依赖关系,并更新所述拓扑结构,以便通过管理虚拟节点,实现管理所述更新后的拓扑结构中位于所述虚拟节点上游链路上的任务节点。
2.根据权利要求1所述的任务节点管理方法,其特征在于,所述建立每个所述参考任务节点与所述虚拟节点之间的上下游依赖关系包括:
获取所述参考任务节点的配置信息以及所述虚拟节点的配置信息;
将所述参考任务节点的配置信息中的输出参数确定为所述虚拟节点的输入参数,以建立由所述参考任务节点向其下游链路的虚拟节点的依赖关系;
将所述虚拟节点的配置信息中的输入参数确定为所述参考任务节点的输出参数,以建立由所述虚拟节点向其上游链路的参考任务节点的依赖关系。
3.一种任务节点管理方法,其特征在于,包括:
获取多个如权利要求1或2构建的包含虚拟节点和至少两个任务节点的拓扑结构;
在多个拓扑结构中查找与待管理的业务功能具有相同业务标识的虚拟节点;
获取所述虚拟节点以及包含所述虚拟节点的拓扑结构;
通过管理虚拟节点,管理所述拓扑结构中位于所述虚拟节点上游链路上的任务节点。
4.根据权利要求3所述的任务节点管理方法,其特征在于,所述通过管理虚拟节点,管理所述拓扑结构中位于所述虚拟节点上游链路上的任务节点,包括:
检测是否接收到对所述虚拟节点进行管理的管理操作;
当接收到对所述虚拟节点进行管理的管理操作时,根据所述拓扑结构查找到位于所述虚拟节点上游链路上的任务节点;
控制查找的任务节点执行所述管理操作。
5.一种任务节点管理装置,其特征在于,所述装置包括:
选取模块,用于在预设任务集中选取包含具有相同的业务标识的至少两个任务节点的任务集合,所述业务标识用于标识任务节点实现的业务功能;
确定构建模块,用于确定所述任务集合中任务节点之间的上下游依赖关系,利用所述上下游依赖关系构建所述任务集合中任务节点之间拓扑结构;
确定模块,用于根据所述拓扑结构从所述任务集合中确定出满足预设条件的至少一个参考任务节点;所述确定模块包括:第一获取子模块,用于根据所述拓扑结构获取作为叶子节点的任务节点;第一确定子模块,用于将作为叶子节点的任务节点确定为参考任务节点;
构建模块,用于在所有所述参考任务节点的下游链路上构建虚拟节点,所述虚拟节点与所述参考任务节点的业务标识相同;
建立模块,用于建立每个所述参考任务节点与所述虚拟节点之间的上下游依赖关系,并更新所述拓扑结构,以便通过管理虚拟节点,实现管理所述更新后的拓扑结构中位于所述虚拟节点上游链路上的任务节点。
6.根据权利要求5所述的任务节点管理装置,其特征在于,所述建立模块包括:
第二获取子模块,用于获取所述参考任务节点的配置信息以及所述虚拟节点的配置信息;
第二确定子模块,用于将所述参考任务节点的配置信息中的输出参数确定为所述虚拟节点的输入参数,以建立由所述参考任务节点向其下游链路的虚拟节点的依赖关系;
第三确定子模块,用于将所述虚拟节点的配置信息中的输入参数确定为所述参考任务节点的输出参数,以建立由所述虚拟节点向其上游链路的参考任务节点的依赖关系。
7.一种任务节点管理装置,其特征在于,包括:
第一获取模块,用于获取多个如权利要求5或6构建的包含虚拟节点和至少两个任务节点的拓扑结构;
查找模块,用于在多个拓扑结构中查找与待管理的业务功能具有相同业务标识的虚拟节点;
第二获取模块,用于获取所述虚拟节点以及包含所述虚拟节点的拓扑结构;
管理模块,用于通过管理虚拟节点,管理所述拓扑结构中位于所述虚拟节点上游链路上的任务节点。
8.根据权利要求7所述的任务节点管理装置,其特征在于,所述管理模块包括:
检测子模块,用于检测是否接收到对所述虚拟节点进行管理的管理操作;
查找子模块,用于当接收到对所述虚拟节点进行管理的管理操作时,根据所述拓扑结构查找到位于所述虚拟节点上游链路上的任务节点;
执行子模块,用于对查找到的任务节点执行所述管理操作。
CN201610187421.9A 2016-03-29 2016-03-29 任务节点管理方法及装置 Active CN107239468B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610187421.9A CN107239468B (zh) 2016-03-29 2016-03-29 任务节点管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610187421.9A CN107239468B (zh) 2016-03-29 2016-03-29 任务节点管理方法及装置

Publications (2)

Publication Number Publication Date
CN107239468A CN107239468A (zh) 2017-10-10
CN107239468B true CN107239468B (zh) 2020-11-10

Family

ID=59983949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610187421.9A Active CN107239468B (zh) 2016-03-29 2016-03-29 任务节点管理方法及装置

Country Status (1)

Country Link
CN (1) CN107239468B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109725989B (zh) * 2017-10-31 2020-07-31 阿里巴巴集团控股有限公司 一种任务执行的方法及装置
CN109800063A (zh) * 2019-01-25 2019-05-24 深圳乐信软件技术有限公司 业务并行处理方法、装置、服务器、存储介质
CN111581294B (zh) * 2019-02-18 2023-04-07 阿里巴巴集团控股有限公司 实体关系展示方法、装置、电子设备及可读存储介质
CN110457122B (zh) * 2019-07-31 2022-02-22 中国工商银行股份有限公司 任务处理方法、任务处理装置和计算机***
CN111652652B (zh) * 2020-06-09 2022-11-22 苏宁云计算有限公司 计算平台的成本计算方法、装置、计算机设备及存储介质
CN112288249A (zh) * 2020-10-20 2021-01-29 杭州鲸算科技有限公司 业务流程执行方法、装置、计算机设备和介质
CN113918428B (zh) * 2021-12-15 2022-04-08 深圳市明源云科技有限公司 拓扑结构探测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101778017A (zh) * 2010-01-05 2010-07-14 中国工商银行股份有限公司 一种大型机联机交易的故障事件处理方法及服务器
CN102279888A (zh) * 2011-08-24 2011-12-14 北京新媒传信科技有限公司 一种任务调度方法和***
CN103246749A (zh) * 2013-05-24 2013-08-14 北京立新盈企信息技术有限公司 面向分布式计算的矩阵数据库***及其查询方法
CN105159783A (zh) * 2015-10-09 2015-12-16 上海瀚之友信息技术服务有限公司 一种***任务分配方法
CN105243521A (zh) * 2015-11-20 2016-01-13 华润电力投资有限公司河南分公司 一种工作流管理方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9336504B2 (en) * 2013-11-25 2016-05-10 International Business Machines Corporation Eliminating execution of jobs-based operational costs of related reports

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101778017A (zh) * 2010-01-05 2010-07-14 中国工商银行股份有限公司 一种大型机联机交易的故障事件处理方法及服务器
CN102279888A (zh) * 2011-08-24 2011-12-14 北京新媒传信科技有限公司 一种任务调度方法和***
CN103246749A (zh) * 2013-05-24 2013-08-14 北京立新盈企信息技术有限公司 面向分布式计算的矩阵数据库***及其查询方法
CN105159783A (zh) * 2015-10-09 2015-12-16 上海瀚之友信息技术服务有限公司 一种***任务分配方法
CN105243521A (zh) * 2015-11-20 2016-01-13 华润电力投资有限公司河南分公司 一种工作流管理方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Intelligent Decision Making Based on Data Mining using Differential Evolution Algorithms and Framework for ETL Workflow Management;Shaikh, MU等;《2010 SECOND INTERNATIONAL CONFERENCE ON COMPUTER ENGINEERING AND APPLICATIONS》;20101231;第1卷;第22-26页 *
数据仓库ETL任务调度模型研究;宋旭东等;《控制与决策》;20110228(第2期);第271-275页 *

Also Published As

Publication number Publication date
CN107239468A (zh) 2017-10-10

Similar Documents

Publication Publication Date Title
CN107239468B (zh) 任务节点管理方法及装置
CN105631745A (zh) 一种资产视图构建方法及装置
CN111008521A (zh) 生成宽表的方法、装置及计算机存储介质
CN105550225A (zh) 索引构建方法、查询方法及装置
CN108197187B (zh) 查询语句的优化方法、装置、存储介质和计算机设备
CN109981326B (zh) 家庭宽带感知故障定位的方法及装置
CN104166704A (zh) 一种屏蔽异构数据源的方法及装置
CN110674231A (zh) 一种面向数据湖的用户id集成方法和***
CN105745642A (zh) 查询数据的处理方法和装置
CN104794130A (zh) 一种表间关联查询方法和装置
CN108536447B (zh) 运维管理方法
CN104731800A (zh) 数据分析装置
CN109324856A (zh) 菜单处理方法、装置、计算机设备及存储介质
CN107679107B (zh) 一种基于图数据库的电网设备可达性查询方法及***
CN102855278B (zh) 一种仿真方法和***
CN112506957A (zh) 工作流依赖关系的确定方法及装置
CN109583726B (zh) 检测工艺状态的方法及***
CN116521945A (zh) 用于区块链加密货币交易溯源的资金关联图构建方法及控制***
JP6267398B2 (ja) サービス設計支援システムおよびサービス設計支援方法
CN105653355A (zh) Hadoop的配置参数的计算方法及***
CN107038051B (zh) 一种bios配置项推荐方法及装置
JP2020052451A (ja) 計算機システム及び業務フローのパターン生成方法
CN114138330A (zh) 基于知识图谱的代码克隆检测优化方法、装置和电子设备
CN107766442B (zh) 一种海量数据关联规则挖掘方法及***
CN111552847A (zh) 一种变更对象数量的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200923

Address after: Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200923

Address after: Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: Grand Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant