CN111949832A - 批量作业依赖关系的解析方法及装置 - Google Patents
批量作业依赖关系的解析方法及装置 Download PDFInfo
- Publication number
- CN111949832A CN111949832A CN202010820319.4A CN202010820319A CN111949832A CN 111949832 A CN111949832 A CN 111949832A CN 202010820319 A CN202010820319 A CN 202010820319A CN 111949832 A CN111949832 A CN 111949832A
- Authority
- CN
- China
- Prior art keywords
- job
- dependency
- instance
- dependency relationship
- batch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012423 maintenance Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 12
- 238000013178 mathematical model Methods 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 5
- 239000000872 buffer Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000010845 search algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9027—Trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Stored Programmes (AREA)
Abstract
本发明提供一种批量作业依赖关系的解析方法及装置，涉及大数据技术领域，解析方法包括：对各个作业实例进行抽象处理，得到各个所述作业实例各自对应的特征属性；其中，每个作业实例对应多个特征属性，多个特征属性构成一个对象；确定每个作业实例与其他作业实例的依赖关系；根据各个作业实例的依赖关系、各个作业实例对应的对象和预设的数据结构建立依赖模型；对所述依赖模型进行解析获取批量作业的作业依赖关系图。本发明能够直观掌握后台批量作业依赖关系，降低***维护风险，提高问题分析效率。
Description
技术领域
本发明涉及大数据技术领域，具体涉及一种批量作业依赖关系的解析方法及装置。
背景技术
批量作业处理适合于几乎不需要用户交互的后台自动化操作，主要在事先计划好的时间运行或在有需要的时候集中运行。能够按照计划运行、集中访问大量的数据，完成预期处理或生成相应报表。近年来，随着互联网的快速发展，银行***日均交易量持续大幅度增长。为保障业务响应速度，联机交易仅完成必要实时的数据更新操作，不必实时更新或者不需要用户交互的数据更新操作，交由后台批量作业在业务低峰期处理。
批量作业数量日益增长，前后项依赖关系错乱复杂，缺少一个直观的可视化批量作业关系图，给***维护带来极大不便和风险。不必要的依赖关系存在，可能导致***整体批量运行时间延迟，影响业务处理效率；甚至出现循环依赖导致***无法正常运行。
为解决目前大型企业后台批量作业关系错乱复杂，***维护成本高的问题，亟需一种后台批量作业依赖关系分析方法和可视化展示方法。
发明内容
针对现有技术中的问题，本发明提供一种批量作业依赖关系的解析方法及装置，能够直观掌握后台批量作业依赖关系，降低***维护风险，提高问题分析效率。
为解决上述技术问题，本发明提供以下技术方案：
第一方面，本发明提供一种批量作业依赖关系的解析方法，包括：
对各个作业实例进行抽象处理，得到各个所述作业实例各自对应的特征属性；其中，每个作业实例对应多个特征属性，多个特征属性构成一个对象；
确定每个作业实例与其他作业实例的依赖关系；
根据各个作业实例的依赖关系、各个作业实例对应的对象和预设的数据结构建立依赖模型；
对所述依赖模型进行解析获取批量作业的作业依赖关系图。
其中，所述特征属性包括：作业英文名、作业功能中文描述、作业触发类型、作业组名和定时时间中至少一种。
其中，所述确定每个作业实例与其他作业实例的依赖关系，包括：
确定各个作业实例中的开口作业实例；
根据作业执行顺序确定与所述开口作业实例相关的第一作业实例的依赖关系；
基于作业执行顺序遍历与所述第一作业实例相关的作业实例的依赖关系。
其中，所述数据结构包括：邻接矩阵和邻接表。
可选的，所述根据各个作业实例的依赖关系、各个作业实例对应的对象和预设的数据结构建立依赖模型，包括：
根据各个作业实例的依赖关系、各个作业实例对应的对象和邻接矩阵建立依赖模型，包括：
确定作业实例对应数量的邻接矩阵；
在所述邻接矩阵中对有依赖关系的两个对象所对应的元素位置设置为依赖标记。
可选的，所述根据各个作业实例的依赖关系、各个作业实例对应的对象和预设的数据结构建立依赖模型，包括：
根据各个作业实例的依赖关系、各个作业实例对应的对象和邻接表建立依赖模型；
确定作业实例对应数量的表头构成的邻接表；
将各个作业实例对应的对象一次存储至表头；
根据各个作业实例的依赖关系将各个表头对应的作业实例存储至所述邻接表中的单向链结构或树形结构中。
其中，所述对所述依赖模型进行解析获取批量作业的作业依赖关系图，包括：
采用广度优先遍历算法对所述依赖模型中各个作业实例对应的对象的上层和下层依赖关系查找，生成作业依赖关系图。
第二方面，本发明提供一种批量作业依赖关系的解析装置，包括：
抽象单元，用于对各个作业实例进行抽象处理，得到各个所述作业实例各自对应的特征属性；其中，每个作业实例对应多个特征属性，多个特征属性构成一个对象；
依赖关系单元，用于确定每个作业实例与其他作业实例的依赖关系；
模型单元，用于根据各个作业实例的依赖关系、各个作业实例对应的对象和预设的数据结构建立依赖模型；
解析单元，用于对所述依赖模型进行解析获取批量作业的作业依赖关系图。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的批量作业依赖关系的解析方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的批量作业依赖关系的解析方法的步骤。
由上述技术方案可知，本发明提供一种批量作业依赖关系的解析方法及装置，通过对各个作业实例进行抽象处理，得到各个所述作业实例各自对应的特征属性；其中，每个作业实例对应多个特征属性，多个特征属性构成一个对象；确定每个作业实例与其他作业实例的依赖关系；根据各个作业实例的依赖关系、各个作业实例对应的对象和预设的数据结构建立依赖模型；对所述依赖模型进行解析获取批量作业的作业依赖关系图，有效解决了作业依赖关系错乱复杂的问题，能够直观掌握后台批量作业依赖关系，降低***维护风险，提高问题分析效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的批量作业依赖关系的解析方法的流程示意图。
图2为本发明实施例中的批量作业依赖关系的解析方法中步骤01和步骤02的流程示意图。
图3为本发明实施例中作业依赖关系图。
图4为本发明实施例中基于邻接矩阵创建的依赖模型图。
图5为本发明实施例中基于邻接表创建的依赖模型图。
图6为本发明实施例中存储依赖模型的数据结构图。
图7为本发明实施例中基于递归遍历算法前项依赖关系搜索逻辑图。
图8为本发明实施例中以图3为例子生成作业6的前项依赖关系图。
图9为本发明实施例中查找作业间依赖关系的逻辑图。
图10为本发明实施例中以图3为例子生成作业2和作业9间依赖关系的逻辑图。
图11为本发明实施例中生成作业2和作业6间依赖关系图。
图12为本发明实施例中的批量作业依赖关系的解析装置的结构示意图。
图13为本发明实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种批量作业依赖关系的解析方法的实施例，参见图1，所述批量作业依赖关系的解析方法具体包含有如下内容：
S101：对各个作业实例进行抽象处理，得到各个所述作业实例各自对应的特征属性；其中，每个作业实例对应多个特征属性，多个特征属性构成一个对象；
在本步骤中，特征属性包括：作业英文名、作业功能中文描述、作业触发类型、作业组名和定时时间中至少一种。本实施例中，特征属性至少有三个。
S102：确定每个作业实例与其他作业实例的依赖关系；
需要说明的是，各个作业实例各自对应的对象相当于一个个点，依赖关系相当于两个点之间的一根线。
S103：根据各个作业实例的依赖关系、各个作业实例对应的对象和预设的数据结构建立依赖模型；
在本步骤中，数据结构包括：邻接矩阵和邻接表。在建立依赖模型时，需要选择邻接矩阵和邻接表中的一种。
需要说明的是，根据实际场景的依赖关系复杂度和不同数据结构模型的时间、空间复杂度进行选择。依赖关系图一般是稀疏图。如果作业数较少，依赖关系变化频繁，可选择使用邻接矩阵，有利于模型快速建立。如果作业数较多，依赖关系变化不频繁，可选择使用邻接表，有利于节省存储空间。
可以理解的是，邻接表的空间复杂度优于邻接矩阵的空间复杂。鉴于作业依赖关系图是正常情况下是一种稀疏图，使用邻接表可以大幅度地减少内存占用。基于实际工作场景考虑，作业依赖关系变化频率不高，可能每个月或每个季度才变动一次，因此，更推荐使用基于邻接表的数学模型进行建模。
S104：对所述依赖模型进行解析获取批量作业的作业依赖关系图。
在本步骤中，采用广度优先遍历算法对所述依赖模型中各个作业实例对应的对象的上层和下层依赖关系查找，生成作业依赖关系图。
采用广度优先遍历算法目的是实现用户对作业间依赖关系的快速查找。例如：用户需要获取某个作业的上下游依赖关系：输入作业名，模型自动从该作业节点出发，分别向上层和下层依赖关系查找，最终生成依赖关系图。例如：用户需要查看两个作业间有无直接或间接依赖关系，输入两个作业名，模型自动从层级高的作业，向下层依赖关系遍历搜索，如果存在依赖关系，则生成两作业间的依赖链路图。
从上述描述可知，本发明提供一种批量作业依赖关系的解析方法，通过对各个作业实例进行抽象处理，得到各个所述作业实例各自对应的特征属性；其中，每个作业实例对应多个特征属性，多个特征属性构成一个对象；确定每个作业实例与其他作业实例的依赖关系；根据各个作业实例的依赖关系、各个作业实例对应的对象和预设的数据结构建立依赖模型；对所述依赖模型进行解析获取批量作业的作业依赖关系图，有效解决了作业依赖关系错乱复杂的问题，能够直观掌握后台批量作业依赖关系，降低***维护风险，提高问题分析效率。
在本发明的一实施例中，参见图2，所述批量作业依赖关系的解析方法的步骤S102具体包括：
S1021：确定各个作业实例中的开口作业实例；
需要说明的是，开口作业实例可以是一个手工作业，人工触发执行，也可以一个定时作业，按照事先计划好的时间点执行。
S1022：根据作业执行顺序确定与所述开口作业实例相关的第一作业实例的依赖关系；
需要说明的是，与所述开口作业实例相关的第一作业实例，必须等待开口作业实例执行完毕后才能触发，即相关的作业实例必须等待前项依赖作业执行完毕后才能自动触发。
S1023：基于作业执行顺序遍历与所述第一作业实例相关的作业实例的依赖关系。
在本实施例中，以一个具体实例对批量作业依赖关系的解析方法的步骤S102进行说明。参见图3，作业1作为开口作业，不依赖任何其他作业；作业2依赖作业1；作业3依赖作业1；作业4依赖作业1；作业5依赖作业2；作业6依赖作业2、作业3、作业4；作业7依赖作业4；作业8依赖作业4；作业9依赖作业5、作业6、作业7、作业8。即确定开口作业实例为作业1，确定作业1的第一作业实例作业2、作业3和作业4；
分别确定作业2、作业3和作业4的相关的作业实例；其中，作业2对应的是作业5和作业6，作业3对应的是作业6，作业4对应的是作业6、作业7和作业8，依此进行遍历处理来确定每个作业实例与其他作业实例的依赖关系。
在本发明的一实施例中，提供所述批量作业依赖关系的解析方法的步骤S103的一种可选实现方式，具体包括：
根据各个作业实例的依赖关系、各个作业实例对应的对象和邻接矩阵建立依赖模型，包括：
(1)确定作业实例对应数量的邻接矩阵；
(2)在所述邻接矩阵中对有依赖关系的两个对象所对应的元素位置设置为依赖标记。
在本实施例中，以一个具体实例对批量作业依赖关系的解析方法的步骤S103的一种可选实现方式进行说明。
参见图4，基于邻接矩阵创建的依赖模型。其中，以作业实例对应数量为9个进行说明。
每两个作业间可能存在依赖关系，依赖模型是一个9×9的邻接矩阵，作业间的依赖关系可以通过这个矩阵表示出来。将矩阵定义为A，例如作业2依赖作业1，则A[2][1]＝1,作业6依赖作业2、作业3，则A[6][2]＝1、A[6][3]＝1。显而易见，基于邻接矩阵创建的数学模型的空间复杂度为O(V2)，V为作业实例的总数。建立该依赖模型的时间复杂度是O(E)，E为整个图中所有的作业依赖关系总数。
在本发明的一实施例中，提供所述批量作业依赖关系的解析方法的步骤S103的另一种可选实现方式，具体包括：
根据各个作业实例的依赖关系、各个作业实例对应的对象和邻接表建立依赖模型；
(1)确定作业实例对应数量的表头构成的邻接表；
(2)将各个作业实例对应的对象一次存储至表头；
(3)根据各个作业实例的依赖关系将各个表头对应的作业实例存储至所述邻接表中的单向链结构或树形结构中。
在本实施例中，以一个具体实例对批量作业依赖关系的解析方法的步骤S103的另一种可选实现方式进行说明。
参见图5，基于邻接表创建的依赖模型。其中，以作业实例对应数量为9个进行说明。
依赖模型是一种顺序分配和链式分配相结合的结构。如表头结点存在所对应的前项依赖结点，则把前项依赖结点依次存放于表头节点所指向的单向链表或树形结构中。作业间的依赖关系可以通过这个邻接表表示出来。例如作业3依赖作业1，作业3节点指向的链表中包含作业1，作业6依赖作业2、作业3，作业6节点指向的链表或树形结构中包含作业2、作业3。由分析可知，基于邻接表创建的数学模型的空间复杂度为O(V+E)，建立该数学模型的时间复杂度是O(E*V)，V为作业实例的总数，E为整个图中所有的作业依赖关系总数。
参见图6，在计算机***用于存储依赖模型的数据结构图。采用树形结构组成的一维数组存储数学模型。例如，作业9前项依赖作业5、作业6、作业7、作业8，在该数据结构中，作业9指向的树形结构就是作业5、作业6、作业7组成的树形结构，以此类推。作业后项依赖关系同理，作业1后项依赖作业2、作业3、作业4，则作业1指向的树形结构就是作业2、作业3、作业4的树形结构。
为进一步地说明本方案，对采用广度优先遍历算法对所述依赖模型中各个作业实例对应的对象的上层和下层依赖关系查找，生成作业依赖关系图进行详细说明。
图7示例是本发明基于递归遍历算法对某个作业前项依赖关系搜索逻辑图。查找对某个作业后项依赖关系逻辑和查找前项依赖关系逻辑同理，区别在于构建数学模型时，作业节点指向的链表或树形结构存储的后项依赖链表或后项依赖作业树。可同时运行两者搜索算法，对结果集进行合并，实现对某个作业前项依赖关系、后项依赖关系搜索。
下面以前项依赖关系搜索过程为例，对此搜索算法进行说明：
步骤1：从目标节点出发，找到目标节点指向的直接前项依赖树形结构；
步骤2：遍历所有直接前项依赖节点；
步骤3：找到直接前项依赖节点指向的前项依赖树形结构，以此类推，递归查询间接依赖节点，直至间接依赖节点没有前项依赖或达到提前设定好的最大递归深度，查找结束。
例如查找作业6的前项依赖关系图：
步骤1：获取作业6的前项依赖树形结构；
步骤2：遍历作业6的前项依赖树形结构的第一个节点为作业2；
步骤3：递归查询作业2的前项依赖树形结构；
步骤4：遍历作业2的前项依赖树形结构，只有一个节点为作业1；
步骤5：遍历作业6的前项依赖树形结构的第二个节点为作业3；
步骤6：递归查询作业3的前项依赖树形结构；
步骤7：遍历作业3的前项依赖树形结构，只有一个节点为作业1；
步骤8：遍历作业6的前项依赖树形结构的第三个节点为作业4；
步骤9：递归查询作业4的前项依赖树形结构；
步骤10：遍历作业4的前项依赖树形结构，只有一个节点为作业1；
步骤11：遍历作业6的前项依赖树形结构，发现没有未遍历的节点，结束遍历，生成图8作业6的前项依赖关系图。
图9是本发明基于深度度优先搜索算法查找两个作业间依赖关系的实现逻辑图。下面对查找作业N和作业M间依赖关系图逻辑进行说明，利用数据结构-栈先进先出的特性，逻辑如下：
步骤1：将作业N对象入栈，并将作业N标记为已访问；
步骤2：获取作业N的后项依赖树形结构；
步骤3：遍历作业N的后项依赖树形结构，如果遍历到的作业对象状态为未访问，则将该对象入栈，并标记为已访问；
步骤4：获取栈顶对象，判断是否等于作业M:
(1)栈顶对象等于作业M，则找到一条作业依赖关系路径，记录该路径，并将栈顶对象出栈，同时标记该出栈的对象为未访问；
(2)栈顶对象不等于作业M，则获取该栈顶对象的后项依赖树形结构。如果该对象的后项依赖树形结构为空，则将栈顶对象出栈；如果该对象的后项依赖树形结构不为空，遍历该后项依赖树形结构，将遍历到的第一个状态为未访问的作业对入栈，并标记为已访问，如果没有未访问的作业对象，则将栈顶对象出栈；
步骤5：循环步骤4，直至栈中没有作业对象。
图10是本发明基于图3作业依赖，搜索作业2和作业9间依赖关系的流程图。
步骤1：将作业2入栈，并标记为已访问；
步骤2：遍历作业2对应的后项依赖关系，找到作业5，作业5状态为未访问，将作业5入栈，并标记为已访问；
步骤3：获取栈顶对象为作业5；
步骤4：遍历作业5对应的后项依赖关系，找到作业9，作业9状态为未访问，将作业9入栈，并标记为已访问；
步骤5：此时栈顶对象等于作业9，记录第一条依赖关系路径：作业2—>作业5—>作业9；
步骤6：将作业9出栈，并标记为未访问；
步骤7：获取栈顶对象为作业5；
步骤8：作业5对应的后项依赖关系，没有未遍历的后项依赖对象，将作业5出栈；
步骤9：获取栈顶对象为作业2；
步骤10：遍历作业2对应的后项依赖关系，找到作业6，作业6状态为未访问，将作业6入栈，并标记为已访问；
步骤12：获取栈顶对象为作业6；
步骤13：遍历作业6对应的后项依赖关系，找到作业9，作业9状态为未访问，将作业9入栈，并标记为已访问；
步骤14：此时栈顶对象等于作业9，记录第二条依赖关系路径：作业2—>作业6—>作业9；
步骤15：将作业9出栈，并标记为未访问；
步骤16：获取栈顶对象为作业6；
步骤17：获取作业6对应的后项依赖关系，没有未遍历的后项依赖对象，将作业6出栈；
步骤18：获取栈顶对象为作业2；
步骤19：获取作业2对应的后项依赖关系，没有未遍历的后项依赖对象，将作业2出栈；
步骤20：此时栈中没有作业对象，搜索结束，生成两条作业间依赖关系路径。如图11所示。
本发明实施例提供一种能够实现所述批量作业依赖关系的解析方法中全部内容的批量作业依赖关系的解析装置的具体实施方式，参见图12，所述批量作业依赖关系的解析装置具体包括如下内容：
抽象单元10，用于对各个作业实例进行抽象处理，得到各个所述作业实例各自对应的特征属性；其中，每个作业实例对应多个特征属性，多个特征属性构成一个对象；
依赖关系单元20，用于确定每个作业实例与其他作业实例的依赖关系；
模型单元30，用于根据各个作业实例的依赖关系、各个作业实例对应的对象和预设的数据结构建立依赖模型；
解析单元40，用于对所述依赖模型进行解析获取批量作业的作业依赖关系图。
本发明提供的批量作业依赖关系的解析装置的实施例具体可以用于执行上述实施例中的批量作业依赖关系的解析方法的实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
从上述描述可知，本发明实施例提供的批量作业依赖关系的解析装置，通过对各个作业实例进行抽象处理，得到各个所述作业实例各自对应的特征属性；其中，每个作业实例对应多个特征属性，多个特征属性构成一个对象；确定每个作业实例与其他作业实例的依赖关系；根据各个作业实例的依赖关系、各个作业实例对应的对象和预设的数据结构建立依赖模型；对所述依赖模型进行解析获取批量作业的作业依赖关系图，有效解决了作业依赖关系错乱复杂的问题，能够直观掌握后台批量作业依赖关系，降低***维护风险，提高问题分析效率。
本申请提供一种用于实现所述批量作业依赖关系的解析方法中的全部或部分内容的电子设备的实施例所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现相关设备之间的信息传输；该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照实施例用于实现所述批量作业依赖关系的解析方法的实施例及用于实现所述批量作业依赖关系的解析装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
图13为本申请实施例的电子设备9600的***构成的示意框图。如图13所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图13是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，批量作业依赖关系的解析功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
对各个作业实例进行抽象处理，得到各个所述作业实例各自对应的特征属性；其中，每个作业实例对应多个特征属性，多个特征属性构成一个对象；
确定每个作业实例与其他作业实例的依赖关系；
根据各个作业实例的依赖关系、各个作业实例对应的对象和预设的数据结构建立依赖模型；
对所述依赖模型进行解析获取批量作业的作业依赖关系图。
从上述描述可知，本申请的实施例提供的电子设备，通过对各个作业实例进行抽象处理，得到各个所述作业实例各自对应的特征属性；其中，每个作业实例对应多个特征属性，多个特征属性构成一个对象；确定每个作业实例与其他作业实例的依赖关系；根据各个作业实例的依赖关系、各个作业实例对应的对象和预设的数据结构建立依赖模型；对所述依赖模型进行解析获取批量作业的作业依赖关系图，有效解决了作业依赖关系错乱复杂的问题，能够直观掌握后台批量作业依赖关系，降低***维护风险，提高问题分析效率。
在另一个实施方式中，批量作业依赖关系的解析装置可以与中央处理器9100分开配置，例如可以将批量作业依赖关系的解析配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现批量作业依赖关系的解析功能。
如图13所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图13中所示的所有部件；此外，电子设备9600还可以包括图13中没有示出的部件，可以参考现有技术。
如图13所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本发明的实施例还提供能够实现上述实施例中的批量作业依赖关系的解析方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的批量作业依赖关系的解析方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
对各个作业实例进行抽象处理，得到各个所述作业实例各自对应的特征属性；其中，每个作业实例对应多个特征属性，多个特征属性构成一个对象；
确定每个作业实例与其他作业实例的依赖关系；
根据各个作业实例的依赖关系、各个作业实例对应的对象和预设的数据结构建立依赖模型；
对所述依赖模型进行解析获取批量作业的作业依赖关系图。
从上述描述可知，本发明实施例提供的计算机可读存储介质，通过对各个作业实例进行抽象处理，得到各个所述作业实例各自对应的特征属性；其中，每个作业实例对应多个特征属性，多个特征属性构成一个对象；确定每个作业实例与其他作业实例的依赖关系；根据各个作业实例的依赖关系、各个作业实例对应的对象和预设的数据结构建立依赖模型；对所述依赖模型进行解析获取批量作业的作业依赖关系图，有效解决了作业依赖关系错乱复杂的问题，能够直观掌握后台批量作业依赖关系，降低***维护风险，提高问题分析效率。
虽然本发明提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
本领域技术人员应明白，本说明书的实施例可提供为方法、装置(***)或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置(***)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种批量作业依赖关系的解析方法，其特征在于，包括：
对各个作业实例进行抽象处理，得到各个所述作业实例各自对应的特征属性；其中，每个作业实例对应多个特征属性，多个特征属性构成一个对象；
确定每个作业实例与其他作业实例的依赖关系；
根据各个作业实例的依赖关系、各个作业实例对应的对象和预设的数据结构建立依赖模型；
对所述依赖模型进行解析获取批量作业的作业依赖关系图。
2.根据权利要求1所述的批量作业依赖关系的解析方法，其特征在于，所述特征属性包括：作业英文名、作业功能中文描述、作业触发类型、作业组名和定时时间中至少一种。
3.根据权利要求1所述的批量作业依赖关系的解析方法，其特征在于，所述确定每个作业实例与其他作业实例的依赖关系，包括：
确定各个作业实例中的开口作业实例；
根据作业执行顺序确定与所述开口作业实例相关的第一作业实例的依赖关系；
基于作业执行顺序遍历与所述第一作业实例相关的作业实例的依赖关系。
4.根据权利要求1所述的批量作业依赖关系的解析方法，其特征在于，所述数据结构包括：邻接矩阵和邻接表。
5.根据权利要求4所述的批量作业依赖关系的解析方法，其特征在于，所述根据各个作业实例的依赖关系、各个作业实例对应的对象和预设的数据结构建立依赖模型，包括：
根据各个作业实例的依赖关系、各个作业实例对应的对象和邻接矩阵建立依赖模型，包括：
确定作业实例对应数量的邻接矩阵；
在所述邻接矩阵中对有依赖关系的两个对象所对应的元素位置设置为依赖标记。
6.根据权利要求4所述的批量作业依赖关系的解析方法，其特征在于，所述根据各个作业实例的依赖关系、各个作业实例对应的对象和预设的数据结构建立依赖模型，包括：
根据各个作业实例的依赖关系、各个作业实例对应的对象和邻接表建立依赖模型；
确定作业实例对应数量的表头构成的邻接表；
将各个作业实例对应的对象一次存储至表头；
根据各个作业实例的依赖关系将各个表头对应的作业实例存储至所述邻接表中的单向链结构或树形结构中。
7.根据权利要求1所述的批量作业依赖关系的解析方法，其特征在于，所述对所述依赖模型进行解析获取批量作业的作业依赖关系图，包括：
采用广度优先遍历算法对所述依赖模型中各个作业实例对应的对象的上层和下层依赖关系查找，生成作业依赖关系图。
8.一种批量作业依赖关系的解析装置，其特征在于，包括：
抽象单元，用于对各个作业实例进行抽象处理，得到各个所述作业实例各自对应的特征属性；其中，每个作业实例对应多个特征属性，多个特征属性构成一个对象；
依赖关系单元，用于确定每个作业实例与其他作业实例的依赖关系；
模型单元，用于根据各个作业实例的依赖关系、各个作业实例对应的对象和预设的数据结构建立依赖模型；
解析单元，用于对所述依赖模型进行解析获取批量作业的作业依赖关系图。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述的批量作业依赖关系的解析方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述的批量作业依赖关系的解析方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010820319.4A CN111949832A (zh) | 2020-08-14 | 2020-08-14 | 批量作业依赖关系的解析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010820319.4A CN111949832A (zh) | 2020-08-14 | 2020-08-14 | 批量作业依赖关系的解析方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111949832A true CN111949832A (zh) | 2020-11-17 |
Family
ID=73342650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010820319.4A Pending CN111949832A (zh) | 2020-08-14 | 2020-08-14 | 批量作业依赖关系的解析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111949832A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112596878A (zh) * | 2020-12-24 | 2021-04-02 | 上海艾融软件股份有限公司 | 一种批量处理方法、装置及电子设备 |
| CN112597442A (zh) * | 2020-12-30 | 2021-04-02 | 南方电网数字电网研究院有限公司 | 一种基于分布式的电力结算计算方法和*** |
| CN112837026A (zh) * | 2021-01-22 | 2021-05-25 | 山东浪潮通软信息科技有限公司 | 一种交付物循环依赖的分析方法、装置、设备及存储介质 |
| US20220334933A1 (en) * | 2021-04-16 | 2022-10-20 | International Business Machines Corporation | Failover management for batch jobs |
| CN115269648A (zh) * | 2022-07-07 | 2022-11-01 | 浙江恒生长运网络科技有限公司 | 一种批量抽取班次信息的班次查询管控方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106293928A (zh) * | 2015-06-05 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种全局任务节点依赖关系可视化方法、装置和*** |
| CN107590592A (zh) * | 2017-08-31 | 2018-01-16 | 中国建设银行股份有限公司 | 作业依赖关系表示方法、作业展示和调度控制方法及装置 |
-
2020
- 2020-08-14 CN CN202010820319.4A patent/CN111949832A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106293928A (zh) * | 2015-06-05 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种全局任务节点依赖关系可视化方法、装置和*** |
| CN107590592A (zh) * | 2017-08-31 | 2018-01-16 | 中国建设银行股份有限公司 | 作业依赖关系表示方法、作业展示和调度控制方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 孙涵 等: "《数据结构 抽象建模、实现与应用》", 30 April 2020, 机械工业出版社, pages: 99 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112596878A (zh) * | 2020-12-24 | 2021-04-02 | 上海艾融软件股份有限公司 | 一种批量处理方法、装置及电子设备 |
| CN112597442A (zh) * | 2020-12-30 | 2021-04-02 | 南方电网数字电网研究院有限公司 | 一种基于分布式的电力结算计算方法和*** |
| CN112837026A (zh) * | 2021-01-22 | 2021-05-25 | 山东浪潮通软信息科技有限公司 | 一种交付物循环依赖的分析方法、装置、设备及存储介质 |
| US20220334933A1 (en) * | 2021-04-16 | 2022-10-20 | International Business Machines Corporation | Failover management for batch jobs |
| US11556425B2 (en) * | 2021-04-16 | 2023-01-17 | International Business Machines Corporation | Failover management for batch jobs |
| CN115269648A (zh) * | 2022-07-07 | 2022-11-01 | 浙江恒生长运网络科技有限公司 | 一种批量抽取班次信息的班次查询管控方法 |
| CN115269648B (zh) * | 2022-07-07 | 2023-08-18 | 浙江恒生长运网络科技有限公司 | 一种批量抽取班次信息的班次查询管控方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11741396B1 (en) | Efficient command execution using aggregated compute units | |
| US11645286B2 (en) | Dynamic data processor for streaming and batch queries | |
| US11436222B2 (en) | Pipelined search query, leveraging reference values of an inverted index to determine a set of event data and performing further queries on the event data | |
| CN111949832A (zh) | 批量作业依赖关系的解析方法及装置 | |
| US11782987B1 (en) | Using an augmented process model to track process instances | |
| US11836148B1 (en) | Data source correlation user interface | |
| US11567959B2 (en) | Self-contained files for generating a visualization of query results | |
| US11995381B2 (en) | Two-tier capacity planning | |
| US11003682B2 (en) | Metrics analysis workflow | |
| US20170220672A1 (en) | Enhancing time series prediction | |
| US11188600B2 (en) | Facilitating metric forecasting via a graphical user interface | |
| US11960545B1 (en) | Retrieving event records from a field searchable data store using references values in inverted indexes | |
| US11841834B2 (en) | Method and apparatus for efficient synchronization of search heads in a cluster using digests | |
| CN110888672B (zh) | 一种基于元数据架构的表达式引擎实现方法及*** | |
| JP5108011B2 (ja) | バス接続されたコンシューマとプロデューサとの間でのメッセージ・フローを削減するためのシステム、方法、およびコンピュータ・プログラム | |
| US11729074B1 (en) | Online data decomposition | |
| CN113296847A (zh) | 一种基于自解析节点的工作流引擎的实现方法 | |
| CN115982203A (zh) | 数据查询方法、装置、设备及存储介质 | |
| CN115878116A (zh) | 一种开发方法、终端及存储介质 | |
| CN112035514A (zh) | 一种数据库语句处理方法、装置、电子设备及存储介质 | |
| CN117971378A (zh) | 工作流执行方法、装置、电子设备以及存储介质 | |
| CN116126995A (zh) | 一种索引信息的生成方法、装置及计算机可读存储介质 | |
| CN115858149A (zh) | 一种资源信息获取方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |