CN112860776A - 一种多种数据抽取调度方法及*** - Google Patents

Abstract

本发明提供了一种多种数据抽取调度方法及***，包括配置包含不同数据抽取节点的基本信息，每个数据抽取节点支持JAVA接口、存储过程和Informatica工作流数据抽取方式中的至少一种，且各数据抽取节点能够支持上述所有数据抽取方式；确定数据抽取节点选用个数，根据各数据抽取节点的抽取流程，形成数据抽取的逻辑；按照数据抽取的逻辑，各数据抽取节点进行运行，利用不同数据抽取方式进行数据抽取；判断数据抽取是否成功，如果失败则重复执行设定次。本发明解决以往单一数据抽取方式所无法完成的任务。

Description

一种多种数据抽取调度方法及***

技术领域

本发明属于数据抽取、调度技术领域，具体涉及一种多种数据抽取调度方法及***。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

目前ETL逻辑采用Informatica与数据库存储过程联合来实现的，目前使用Informatica中的调度来管理总体任务，Informatica中可以对自身的逻辑进行灵活的调度和管理，无法对存储过程进行灵活的调度和监控，而且Informatica自身产品的限制，无法对抽取过程中的异常日志进行直观的显示，监控起来较为困难。并且在JAVA程序中也有部分调度逻辑，暂时未添加到Informatica调度中。

发明内容

本发明为了解决上述问题，提出了一种多种数据抽取调度方法及***，本发明能够按照实际情况定制符合自己的数据抽取逻辑，串行，并行结合使用，支持多种数据抽取方式同时使用。

根据一些实施例，本发明采用如下技术方案：

一种多种数据抽取调度方法，包括以下步骤：

配置包含不同数据抽取节点的基本信息，每个数据抽取节点支持JAVA接口、存储过程和Informatica工作流数据抽取方式中的至少一种，且各数据抽取节点能够支持上述所有数据抽取方式；

确定数据抽取节点选用个数，根据各数据抽取节点的抽取流程，形成数据抽取的逻辑；

按照数据抽取的逻辑，各数据抽取节点进行运行，利用不同数据抽取方式进行数据抽取；

判断数据抽取是否成功，如果失败则重复执行设定次。

作为可选择的实施方式，不同数据抽取节点的基本信息包括：

JAVA接口的基本信息包含接口地址、接口参数；

存储过程的基本信息包含数据库地址、端口、实例名、用户名和密码；

Informatica工作流包含Informatica服务的IP地址、计算机名、集成服务名、端口、用户名、密码和元数据的数据库信息。

作为可选择的实施方式，数据抽取的逻辑，包括串行、并行和分支执行中的至少一种。其中的分支执行，即为根据前一个节点的结果，决定后面节点是否执行。

作为可选择的实施方式，JAVA接口的抽取流程包括：

通过远程调用Java接口地址，根据能否返回方法列表判断接口是否可用。

将目标接口方法的基本信息维护成一个运行的基本元素，并将判断依据和后续的处理方式一并维护，这一组信息的集合形成一个JAVA接口节点；

调用Java接口，接收返回值，在根据之前维护的结果判断标准对返回结果进行判断；

在调用过程中如果需要暂停或者中断数据抽取，调用数据抽取控制接口，并将需要操作数据抽取接口和操作类型信息以入参的形式传入，数据抽取控制接口找到该接口，并将其中断，暂停或者继续，控制数据抽取进程。

作为可选择的实施方式，存储过程的数据抽取过程包括：

根据维护的数据库地址、端口、实例名、用户名和密码基本信息，通过数据库驱动，并判断数据库的连通性；

查询数据库存储过程信息，从中选取所需的存储过程，将存储过程的入参和出参信息包括参数名、参数类型和参数位置进行维护，并将这些信息集合形成存储过程节点；

调用存储过程，通过数据库驱动调用存储过程，并将存储过程执行过程中的明细信息存储到专门的日志表中，最后将执行的结果返回，在根据判断标准判断返回结果。

作为进一步的限定，在存储过程的进程中，可以对进程进行控制，根据存储过程名称，查到该存储过程的进程，在向数据发送停止命令，停止该存储过程；

通过数据库驱动查看存储过程运行日志表，获取存储过程运行的明细信息，包括应抽取数据行数、已抽取行数、报错信息和报错位置。

作为可选择的实施方式，Informatic工作流的过程包括：

通过连通Informatic服务的端口号，判断Informatic服务是否启动；

通过查询Informatic元数据信息，获取过工作流列表，选取所需工作流，这样的信息集合形成一个Informatic工作流节点；

连接远程Informatic服务，通过网络发送Informatic命令，启动Informatic工作流，获取工作流执行后的返回信息，使用分词解析，获取结果信息中关键信息，根据关键信息判断数据抽取的结果成功失败；

根据工作流名称向Informatic服务器发送停止、暂停、继续的命令，控制Informatic工作流抽取进程。

作为进一步的限定，在数据抽取过程中，通过查询Informatic元数据信息，获取工作流中所有会话的执行日志，以实现错误定位和问题解决。

作为可选择的实施方式，在运行过程中，判断各数据抽取节点运行结果，如果运行结果正确，则按照设定逻辑继续运行，如果运行结果错误，则按照设定逻辑暂停后续数据抽取节点的执行。

作为可选择的实施方式，判断各数据抽取节点运行结果包括两种方式：(1)根据返回值，返回值与在生成节点是维护的结果判断信息进行对比，从而判断运行的成功和失败；(2)根据运行时间，生成节点时预先设定运行时间，如果运行超时，就判断运行失败，否则抽取数据的逻辑被卡住，影响其他的数据抽取。

作为可选择的实施方式，在抽取过程中发现异常，选择暂停、停止或忽略异常继续执行。

一种多种数据抽取调度***，包括：

参数设置模块，被配置为配置包含不同数据抽取节点的基本信息，每个数据抽取节点支持JAVA接口、存储过程和Informatica工作流数据抽取方式中的至少一种，且各数据抽取节点能够支持上述所有数据抽取方式；

逻辑配置模块，被配置为确定数据抽取节点选用个数，根据各数据抽取节点的抽取流程，形成数据抽取的逻辑；

执行模块，被配置为按照数据抽取的逻辑，各数据抽取节点进行运行，利用不同数据抽取方式进行数据抽取调度；

判断模块，被配置为判断数据抽取是否成功，如果失败则重复执行设定次。

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种多种数据抽取调度方法的步骤。

一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种多种数据抽取调度方法的步骤。

与现有技术相比，本发明的有益效果为：

本发明解决了传统抽取数据只能并行或者只能串行的抽取逻辑，本发明可以根据用户的实际情况通过制作流程图的方式，形成各种数据抽取逻辑。

本发明实现了多种数据抽取方式有机结合，在一定逻辑的情况下相互搭配进行数据抽取的方式，解决以往单一数据抽取方式所无法完成的任务。

本发明解决了传统只能等待数据抽取过程结束才能校验数据正确性的弊端，能根据实际情况随时对数据抽取过程进行监控并根据监控结果对数据抽取过程进行干预控制。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本实施例的流程示意图；

图2为本实施例节点具体执行流程图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，一种多种数据抽取调度方法，包括以下步骤：

1.完成不同数据抽取方式的信息维护之后。需要根据实际情况编排数据抽取的流程。

2.执行数据抽取的流程时，判断时串行还是并行，并行的话，多线程执行，并且要等所有并行都执行结束之后，在执行下一步。

3.在执行数据抽取时，判断数据抽取的方式，选在不同的数据抽取逻辑。

4.如果数据抽取失败，则在重复执行若干次(在本实施例中为3次)，排除因网络不通而导致的抽取失败。

5.如果节点有分支，则根据节点执行的结果判断下一步执行哪一个节点。

具体的，配置数据抽取方式的基本信息，分为三类：1.JAVA接口，2.存储过程，3.Informatica工作流，JAVA接口的基本信息包含接口地址，接口参数等。存储过程的基本信息包含数据库地址，端口，实例名，用户名，密码等。Informatica工作流包含Informatica服务的IP地址，计算机名，集成服务名，端口，用户名，密码和元数据的数据库信息。

Java接口的调用有如下步骤：

①验证接口的可用性。通过远程调用Java接口地址，根据能否返回方法列表判断接口是否可用。

②将接口方法、入参和返回值和判断依据等信息进行维护。将目标接口方法的基本信息维护成一个运行的基本元素，并将判断依据和后续的处理方式一并维护，这一组信息的集合形成一个JAVA接口节点。

③调用接口。调用Java接口，接收返回值，在根据之前维护的结果判断标准对返回结果进行判断。

④Java接口的进程控制。在调用过程中如果需要暂停或者中断数据抽取。可以调用数据抽取控制接口，并将需要操作数据抽取接口和操作类型(中断，暂停，继续)等信息以入参的形式传入，数据抽取控制接口会找到该接口，并将其中断，暂停或者继续，从而达到控制数据抽取进程的目的。

存储过程的调用有如下步骤：

①判断数据库的连通性。根据维护的数据库地址、端口、实例名、用户名、密码等基本信息，通过数据库驱动。通过执行一个获取当前时间的SQL语句的结果判断是否连通。

②选取目标存储过程。查询数据库存储过程信息，从中选取所需的存储过程，将存储过程的入参和出参信息包括参数名，参数类型，参数位置等进行维护，这样的一组信息集合形成存储过程节点。

③调用存储过程，通过数据库驱动调用存储过程，并将存储过程执行过程中的明细信息存储到专门的日志表中，最后将执行的结果返回。在根据判断标准判断返回结果。

④存储过程的进程控制。先根据存储过程名称，查到该存储过程的进程，在向数据发送停止命令，停止该存储过程。

⑤通过数据库驱动查看存储过程运行日志表，可以获取存储过程运行的明细信息，包括应抽取数据行数，已抽取行数，报错信息和报错位置。

Informatic工作流调用过程

①验证Informatic服务连通性。通过连通Informatic服务的端口号，判断Informatic服务是否启动。

②选取目标Informatic工作流。通过查询Informatic元数据信息，获取过工作流列表，选取所需工作流，这样的信息集合形成一个Informatic工作流节点。

③调用Informatic工作流。连接远程Informatic服务，通过网络发送Informatic命令，启动Informatic工作流，获取工作流执行后的返回信息，然后使用分词解析，获取结果信息中关键信息，根据关键信息判断数据抽取的结果成功失败。

④Informatic工作流进程控制。根据工作流名称向Informatic服务器发送停止、暂停、继续的命令。控制Informatic工作流抽取进程。

⑤日志明细查询。通过查询Informatic元数据信息，获取工作流中所有会话的执行日志，以便于进错误定位和问题解决。

如图2所示，编辑数据抽取逻辑，可以单独使用一种数据抽取方式，也可以三种数据抽取方式的有机结合。三种不同的数据抽取节点(JAVA、存储过程、Informatic工作流)可以根据自己的需要制作抽取流程，形成各种数据抽取的逻辑，如串行、并行或分支(根据前一个节点的结果，决定后面节点的执行逻辑)。

在本实施例中，节点运行结果的判断，有两种判断方式：1.根据返回值，返回值与在生成节点是维护的结果判断信息进行对比，从而判断运行的成功和失败。2.根据运行时间，生成节点时预先设定运行时间，如果运行超时，就判断运行失败，否则抽取数据的逻辑被卡住，影响其他的数据抽取。

在抽取过程中发现异常，可以进行暂停，停止，继续等操作。对Informatica日志进行优化整理，能够快速定位，简单明了，并将异常信息通过邮件发送给相关负责人，及时预警。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种多种数据抽取调度方法，其特征是：包括以下步骤：

配置包含不同数据抽取节点的基本信息，每个数据抽取节点支持JAVA接口、存储过程和Informatica工作流数据抽取方式中的至少一种，且各数据抽取节点能够支持上述所有数据抽取方式；

确定数据抽取节点选用个数，根据各数据抽取节点的抽取流程，形成数据抽取的逻辑；

按照数据抽取的逻辑，各数据抽取节点进行运行，利用不同数据抽取方式进行数据抽取；

判断数据抽取是否成功，如果失败则重复执行设定次。

2.如权利要求1所述的一种多种数据抽取调度方法，其特征是：不同数据抽取节点的基本信息包括：

JAVA接口的基本信息包含接口地址、接口参数；

存储过程的基本信息包含数据库地址、端口、实例名、用户名和密码；

Informatica工作流包含Informatica服务的IP地址、计算机名、集成服务名、端口、用户名、密码和元数据的数据库信息。

3.如权利要求1所述的一种多种数据抽取调度方法，其特征是：数据抽取的逻辑，包括串行、并行和分支执行中的至少一种。

4.如权利要求1所述的一种多种数据抽取调度方法，其特征是：JAVA接口的抽取流程包括：

通过远程调用Java接口地址，根据能否返回方法列表判断接口是否可用；

将目标接口方法的基本信息维护成一个运行的基本元素，并将判断依据和后续的处理方式一并维护，这一组信息的集合形成一个JAVA接口节点；

调用Java接口，接收返回值，在根据之前维护的结果判断标准对返回结果进行判断；

在调用过程中如果需要暂停或者中断数据抽取，调用数据抽取控制接口，并将需要操作数据抽取接口和操作类型信息以入参的形式传入，数据抽取控制接口找到该接口，并将其中断，暂停或者继续，控制数据抽取进程。

5.如权利要求1所述的一种多种数据抽取调度方法，其特征是：存储过程的数据抽取过程包括：

根据维护的数据库地址、端口、实例名、用户名和密码基本信息，通过数据库驱动，并判断数据库的连通性；

查询数据库存储过程信息，从中选取所需的存储过程，将存储过程的入参和出参信息包括参数名、参数类型和参数位置进行维护，并将这些信息集合形成存储过程节点；

调用存储过程，通过数据库驱动调用存储过程，并将存储过程执行过程中的明细信息存储到专门的日志表中，最后将执行的结果返回，在根据判断标准判断返回结果。

6.如权利要求5所述的一种多种数据抽取调度方法，其特征是：在存储过程的进程中，可以对进程进行控制，根据存储过程名称，查到该存储过程的进程，在向数据发送停止命令，停止该存储过程；

通过数据库驱动查看存储过程运行日志表，获取存储过程运行的明细信息，包括应抽取数据行数、已抽取行数、报错信息和报错位置。

7.如权利要求1所述的一种多种数据抽取调度方法，其特征是：Informatic工作流的过程包括：

通过连通Informatic服务的端口号，判断Informatic服务是否启动；

通过查询Informatic元数据信息，获取过工作流列表，选取所需工作流，这样的信息集合形成一个Informatic工作流节点；

连接远程Informatic服务，通过网络发送Informatic命令，启动Informatic工作流，获取工作流执行后的返回信息，使用分词解析，获取结果信息中关键信息，根据关键信息判断数据抽取的结果成功失败；

根据工作流名称向Informatic服务器发送停止、暂停、继续的命令，控制Informatic工作流抽取进程；

在数据抽取过程中，通过查询Informatic元数据信息，获取工作流中所有会话的执行日志，以实现错误定位和问题解决。

8.如权利要求1所述的一种多种数据抽取调度方法，其特征是：在运行过程中，判断各数据抽取节点运行结果，如果运行结果正确，则按照设定逻辑继续运行，如果运行结果错误，则按照设定逻辑暂停后续数据抽取节点的执行。

9.如权利要求1所述的一种多种数据抽取调度方法，其特征是：判断各数据抽取节点运行结果包括两种方式：(1)根据返回值，返回值与在生成节点是维护的结果判断信息进行对比，从而判断运行的成功和失败；(2)根据运行时间，生成节点时预先设定运行时间，如果运行超时，就判断运行失败，否则抽取数据的逻辑被卡住，影响其他的数据抽取。

10.一种多种数据抽取调度***，其特征是：包括：

参数设置模块，被配置为配置包含不同数据抽取节点的基本信息，每个数据抽取节点支持JAVA接口、存储过程和Informatica工作流数据抽取方式中的至少一种，且各数据抽取节点能够支持上述所有数据抽取方式；

逻辑配置模块，被配置为确定数据抽取节点选用个数，根据各数据抽取节点的抽取流程，形成数据抽取的逻辑；

执行模块，被配置为按照数据抽取的逻辑，各数据抽取节点进行运行，利用不同数据抽取方式进行数据抽取调度；

判断模块，被配置为判断数据抽取是否成功，如果失败则重复执行设定次。

Images