CN112860776B - 一种多种数据抽取调度方法及*** - Google Patents
一种多种数据抽取调度方法及*** Download PDFInfo
- Publication number
- CN112860776B CN112860776B CN202110076282.3A CN202110076282A CN112860776B CN 112860776 B CN112860776 B CN 112860776B CN 202110076282 A CN202110076282 A CN 202110076282A CN 112860776 B CN112860776 B CN 112860776B
- Authority
- CN
- China
- Prior art keywords
- data extraction
- information
- workflow
- informatica
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种多种数据抽取调度方法及***,包括配置包含不同数据抽取节点的基本信息,每个数据抽取节点支持JAVA接口、存储过程和Informatica工作流数据抽取方式中的至少一种,且各数据抽取节点能够支持上述所有数据抽取方式;确定数据抽取节点选用个数,根据各数据抽取节点的抽取流程,形成数据抽取的逻辑;按照数据抽取的逻辑,各数据抽取节点进行运行,利用不同数据抽取方式进行数据抽取;判断数据抽取是否成功,如果失败则重复执行设定次。本发明解决以往单一数据抽取方式所无法完成的任务。
Description
技术领域
本发明属于数据抽取、调度技术领域,具体涉及一种多种数据抽取调度方法及***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
目前ETL逻辑采用Informatica与数据库存储过程联合来实现的,目前使用Informatica中的调度来管理总体任务,Informatica中可以对自身的逻辑进行灵活的调度和管理,无法对存储过程进行灵活的调度和监控,而且Informatica自身产品的限制,无法对抽取过程中的异常日志进行直观的显示,监控起来较为困难。并且在JAVA程序中也有部分调度逻辑,暂时未添加到Informatica调度中。
发明内容
本发明为了解决上述问题,提出了一种多种数据抽取调度方法及***,本发明能够按照实际情况定制符合自己的数据抽取逻辑,串行,并行结合使用,支持多种数据抽取方式同时使用。
根据一些实施例,本发明采用如下技术方案:
一种多种数据抽取调度方法,包括以下步骤:
配置包含不同数据抽取节点的基本信息,每个数据抽取节点支持JAVA接口、存储过程和Informatica工作流数据抽取方式中的至少一种,且各数据抽取节点能够支持上述所有数据抽取方式;
确定数据抽取节点选用个数,根据各数据抽取节点的抽取流程,形成数据抽取的逻辑;
按照数据抽取的逻辑,各数据抽取节点进行运行,利用不同数据抽取方式进行数据抽取;
判断数据抽取是否成功,如果失败则重复执行设定次。
作为可选择的实施方式,不同数据抽取节点的基本信息包括:
JAVA接口的基本信息包含接口地址、接口参数;
存储过程的基本信息包含数据库地址、端口、实例名、用户名和密码;
Informatica工作流包含Informatica服务的IP地址、计算机名、集成服务名、端口、用户名、密码和元数据的数据库信息。
作为可选择的实施方式,数据抽取的逻辑,包括串行、并行和分支执行中的至少一种。其中的分支执行,即为根据前一个节点的结果,决定后面节点是否执行。
作为可选择的实施方式,JAVA接口的抽取流程包括:
通过远程调用Java接口地址,根据能否返回方法列表判断接口是否可用。
将目标接口方法的基本信息维护成一个运行的基本元素,并将判断依据和后续的处理方式一并维护,这一组信息的集合形成一个JAVA接口节点;
调用Java接口,接收返回值,在根据之前维护的结果判断标准对返回结果进行判断;
在调用过程中如果需要暂停或者中断数据抽取,调用数据抽取控制接口,并将需要操作数据抽取接口和操作类型信息以入参的形式传入,数据抽取控制接口找到该接口,并将其中断,暂停或者继续,控制数据抽取进程。
作为可选择的实施方式,存储过程的数据抽取过程包括:
根据维护的数据库地址、端口、实例名、用户名和密码基本信息,通过数据库驱动,并判断数据库的连通性;
查询数据库存储过程信息,从中选取所需的存储过程,将存储过程的入参和出参信息包括参数名、参数类型和参数位置进行维护,并将这些信息集合形成存储过程节点;
调用存储过程,通过数据库驱动调用存储过程,并将存储过程执行过程中的明细信息存储到专门的日志表中,最后将执行的结果返回,在根据判断标准判断返回结果。
作为进一步的限定,在存储过程的进程中,可以对进程进行控制,根据存储过程名称,查到该存储过程的进程,在向数据发送停止命令,停止该存储过程;
通过数据库驱动查看存储过程运行日志表,获取存储过程运行的明细信息,包括应抽取数据行数、已抽取行数、报错信息和报错位置。
作为可选择的实施方式,Informatica工作流的过程包括:
通过连通Informatica服务的端口号,判断Informatica服务是否启动;
通过查询Informatica元数据信息,获取过工作流列表,选取所需工作流,这样的信息集合形成一个Informatia工作流节点;
连接远程Informatica服务,通过网络发送Informatica命令,启动Informatica工作流,获取工作流执行后的返回信息,使用分词解析,获取结果信息中关键信息,根据关键信息判断数据抽取的结果成功失败;
根据工作流名称向Informatica服务器发送停止、暂停、继续的命令,控制Informatica工作流抽取进程。
作为进一步的限定,在数据抽取过程中,通过查询Informatica元数据信息,获取工作流中所有会话的执行日志,以实现错误定位和问题解决。
作为可选择的实施方式,在运行过程中,判断各数据抽取节点运行结果,如果运行结果正确,则按照设定逻辑继续运行,如果运行结果错误,则按照设定逻辑暂停后续数据抽取节点的执行。
作为可选择的实施方式,判断各数据抽取节点运行结果包括两种方式:(1)根据返回值,返回值与在生成节点是维护的结果判断信息进行对比,从而判断运行的成功和失败;(2)根据运行时间,生成节点时预先设定运行时间,如果运行超时,就判断运行失败,否则抽取数据的逻辑被卡住,影响其他的数据抽取。
作为可选择的实施方式,在抽取过程中发现异常,选择暂停、停止或忽略异常继续执行。
一种多种数据抽取调度***,包括:
参数设置模块,被配置为配置包含不同数据抽取节点的基本信息,每个数据抽取节点支持JAVA接口、存储过程和Informatica工作流数据抽取方式中的至少一种,且各数据抽取节点能够支持上述所有数据抽取方式;
逻辑配置模块,被配置为确定数据抽取节点选用个数,根据各数据抽取节点的抽取流程,形成数据抽取的逻辑;
执行模块,被配置为按照数据抽取的逻辑,各数据抽取节点进行运行,利用不同数据抽取方式进行数据抽取调度;
判断模块,被配置为判断数据抽取是否成功,如果失败则重复执行设定次。
一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行所述的一种多种数据抽取调度方法的步骤。
一种终端设备,包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行所述的一种多种数据抽取调度方法的步骤。
与现有技术相比,本发明的有益效果为:
本发明解决了传统抽取数据只能并行或者只能串行的抽取逻辑,本发明可以根据用户的实际情况通过制作流程图的方式,形成各种数据抽取逻辑。
本发明实现了多种数据抽取方式有机结合,在一定逻辑的情况下相互搭配进行数据抽取的方式,解决以往单一数据抽取方式所无法完成的任务。
本发明解决了传统只能等待数据抽取过程结束才能校验数据正确性的弊端,能根据实际情况随时对数据抽取过程进行监控并根据监控结果对数据抽取过程进行干预控制。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1为本实施例的流程示意图;
图2为本实施例节点具体执行流程图。
具体实施方式:
下面结合附图与实施例对本发明作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示,一种多种数据抽取调度方法,包括以下步骤:
1.完成不同数据抽取方式的信息维护之后。需要根据实际情况编排数据抽取的流程。
2.执行数据抽取的流程时,判断时串行还是并行,并行的话,多线程执行,并且要等所有并行都执行结束之后,在执行下一步。
3.在执行数据抽取时,判断数据抽取的方式,选在不同的数据抽取逻辑。
4.如果数据抽取失败,则在重复执行若干次(在本实施例中为3次),排除因网络不通而导致的抽取失败。
5.如果节点有分支,则根据节点执行的结果判断下一步执行哪一个节点。
具体的,配置数据抽取方式的基本信息,分为三类:1.JAVA接口,2.存储过程,3.Informatica工作流,JAVA接口的基本信息包含接口地址,接口参数等。存储过程的基本信息包含数据库地址,端口,实例名,用户名,密码等。Informatica工作流包含Informatica服务的IP地址,计算机名,集成服务名,端口,用户名,密码和元数据的数据库信息。
Java接口的调用有如下步骤:
①验证接口的可用性。通过远程调用Java接口地址,根据能否返回方法列表判断接口是否可用。
②将接口方法、入参和返回值和判断依据等信息进行维护。将目标接口方法的基本信息维护成一个运行的基本元素,并将判断依据和后续的处理方式一并维护,这一组信息的集合形成一个JAVA接口节点。
③调用接口。调用Java接口,接收返回值,在根据之前维护的结果判断标准对返回结果进行判断。
④Java接口的进程控制。在调用过程中如果需要暂停或者中断数据抽取。可以调用数据抽取控制接口,并将需要操作数据抽取接口和操作类型(中断,暂停,继续)等信息以入参的形式传入,数据抽取控制接口会找到该接口,并将其中断,暂停或者继续,从而达到控制数据抽取进程的目的。
存储过程的调用有如下步骤:
①判断数据库的连通性。根据维护的数据库地址、端口、实例名、用户名、密码等基本信息,通过数据库驱动。通过执行一个获取当前时间的SQL语句的结果判断是否连通。
②选取目标存储过程。查询数据库存储过程信息,从中选取所需的存储过程,将存储过程的入参和出参信息包括参数名,参数类型,参数位置等进行维护,这样的一组信息集合形成存储过程节点。
③调用存储过程,通过数据库驱动调用存储过程,并将存储过程执行过程中的明细信息存储到专门的日志表中,最后将执行的结果返回。在根据判断标准判断返回结果。
④存储过程的进程控制。先根据存储过程名称,查到该存储过程的进程,在向数据发送停止命令,停止该存储过程。
⑤通过数据库驱动查看存储过程运行日志表,可以获取存储过程运行的明细信息,包括应抽取数据行数,已抽取行数,报错信息和报错位置。
Informatica工作流调用过程
①验证Informatica服务连通性。通过连通Informatica服务的端口号,判断Informatica服务是否启动。
②选取目标Iformatica工作流。通过查询Informatica元数据信息,获取过工作流列表,选取所需工作流,这样的信息集合形成一个Informatica工作流节点。
③调用Informatia工作流。连接远程Informatica服务,通过网络发送Informatica命令,启动Informatica工作流,获取工作流执行后的返回信息,然后使用分词解析,获取结果信息中关键信息,根据关键信息判断数据抽取的结果成功失败。
④Informatica工作流进程控制。根据工作流名称向Informatica服务器发送停止、暂停、继续的命令。控制Informatica工作流抽取进程。
⑤日志明细查询。通过查询Informatica元数据信息,获取工作流中所有会话的执行日志,以便于进错误定位和问题解决。
如图2所示,编辑数据抽取逻辑,可以单独使用一种数据抽取方式,也可以三种数据抽取方式的有机结合。三种不同的数据抽取节点(JAVA、存储过程、Informatica工作流)可以根据自己的需要制作抽取流程,形成各种数据抽取的逻辑,如串行、并行或分支(根据前一个节点的结果,决定后面节点的执行逻辑)。
在本实施例中,节点运行结果的判断,有两种判断方式:1.根据返回值,返回值与在生成节点是维护的结果判断信息进行对比,从而判断运行的成功和失败。2.根据运行时间,生成节点时预先设定运行时间,如果运行超时,就判断运行失败,否则抽取数据的逻辑被卡住,影响其他的数据抽取。
在抽取过程中发现异常,可以进行暂停,停止,继续等操作。对Informatica日志进行优化整理,能够快速定位,简单明了,并将异常信息通过邮件发送给相关负责人,及时预警。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (6)
1.一种多种数据抽取调度方法,其特征是:包括以下步骤:
配置包含不同数据抽取节点的基本信息,每个数据抽取节点均能够支持JAVA接口、存储过程和Informatica工作流数据抽取方式;
所述JAVA接口的抽取流程包括:
通过远程调用Java接口地址,根据能否返回方法列表判断接口是否可用;
将目标接口方法的基本信息维护成一个运行的基本元素,并将判断依据和后续的处理方式一并维护,这一组信息的集合形成一个JAV A接口节点;
调用Java接口,接收返回值,在根据之前维护的结果判断标准对返回结果进行判断;
在调用过程中如果需要暂停或者中断数据抽取,调用数据抽取控制接口,并将需要操作数据抽取接口和操作类型信息以入参的形式传入,数据抽取控制接口找到该接口,并将其中断,暂停或者继续,控制数据抽取进程;
所述存储过程的数据抽取过程包括:
根据维护的数据库地址、端口、实例名、用户名和密码基本信息,通过数据库驱动,并判断数据库的连通性;
查询数据库存储过程信息,从中选取所需的存储过程,将存储过程的入参和出参信息包括参数名、参数类型和参数位置进行维护,并将这些信息集合形成存储过程节点;
调用存储过程,通过数据库驱动调用存储过程,并将存储过程执行过程中的明细信息存储到专门的日志表中,最后将执行的结果返回,在根据判断标准判断返回结果;
所述Informatica工作流的过程包括:
通过连通Informatica服务的端口号,判断Informatica服务是否启动;
通过查询Informatica元数据信息,获取过工作流列表,选取所需工作流,这样的信息集合形成一个Informatica工作流节点;
连接远程Informatica服务,通过网络发送Informatica命令,启动Informatica工作流,获取工作流执行后的返回信息,使用分词解析,获取结果信息中关键信息,根据关键信息判断数据抽取的结果成功失败;
根据工作流名称向Informatica服务器发送停止、暂停、继续的命令,控制Informatica工作流抽取进程;
在数据抽取过程中,通过查询Informatica元数据信息,获取工作流中所有会话的执行日志,以实现错误定位和问题解决;
确定数据抽取节点选用个数,各数据抽取节点根据需要制作抽取流程,形成数据抽取的逻辑;所述数据抽取的逻辑,包括串行、并行和分支执行中的至少一种;
按照数据抽取的逻辑,各数据抽取节点进行运行,利用不同数据抽取方式进行数据抽取;
判断数据抽取是否成功,如果失败则重复执行设定次数。
2.如权利要求1所述的一种多种数据抽取调度方法,其特征是:不同数据抽取节点的基本信息包括:
JAVA接口的基本信息包含接口地址、接口参数;
存储过程的基本信息包含数据库地址、端口、实例名、用户名和密码;
Informatica工作流包含Informatica服务的IP地址、计算机名、集成服务名、端口、用户名、密码和元数据的数据库信息。
3.如权利要求1所述的一种多种数据抽取调度方法,其特征是:在存储过程的进程中,可以对进程进行控制,根据存储过程名称,查到该存储过程的进程,在向数据发送停止命令,停止该存储过程;
通过数据库驱动查看存储过程运行日志表,获取存储过程运行的明细信息,包括应抽取数据行数、已抽取行数、报错信息和报错位置。
4.如权利要求1所述的一种多种数据抽取调度方法,其特征是:在运行过程中,判断各数据抽取节点运行结果,如果运行结果正确,则按照设定逻辑继续运行,如果运行结果错误,则按照设定逻辑暂停后续数据抽取节点的执行。
5.如权利要求1所述的一种多种数据抽取调度方法,其特征是:判断各数据抽取节点运行结果包括两种方式:(1)根据返回值,返回值与在生成节点是维护的结果判断信息进行对比,从而判断运行的成功和失败;(2)根据运行时间,生成节点时预先设定运行时间,如果运行超时,就判断运行失败,否则抽取数据的逻辑被卡住,影响其他的数据抽取。
6.一种多种数据抽取调度***,其特征是:包括:
参数设置模块,被配置为配置包含不同数据抽取节点的基本信息,每个数据抽取节点均能够支持JAVA接口、存储过程和Informatica工作流数据抽取方式;
所述JAVA接口的抽取流程包括:
通过远程调用Java接口地址,根据能否返回方法列表判断接口是否可用;
将目标接口方法的基本信息维护成一个运行的基本元素,并将判断依据和后续的处理方式一并维护,这一组信息的集合形成一个JAV A接口节点;
调用Java接口,接收返回值,在根据之前维护的结果判断标准对返回结果进行判断;
在调用过程中如果需要暂停或者中断数据抽取,调用数据抽取控制接口,并将需要操作数据抽取接口和操作类型信息以入参的形式传入,数据抽取控制接口找到该接口,并将其中断,暂停或者继续,控制数据抽取进程;
所述存储过程的数据抽取过程包括:
根据维护的数据库地址、端口、实例名、用户名和密码基本信息,通过数据库驱动,并判断数据库的连通性;
查询数据库存储过程信息,从中选取所需的存储过程,将存储过程的入参和出参信息包括参数名、参数类型和参数位置进行维护,并将这些信息集合形成存储过程节点;
调用存储过程,通过数据库驱动调用存储过程,并将存储过程执行过程中的明细信息存储到专门的日志表中,最后将执行的结果返回,在根据判断标准判断返回结果;
所述Informatica工作流的过程包括:
通过连通Informatica服务的端口号,判断Informatica服务是否启动;
通过查询Informatica元数据信息,获取过工作流列表,选取所需工作流,这样的信息集合形成一个Informatica工作流节点;
连接远程Informatica服务,通过网络发送Informatica命令,启动Informatica工作流,获取工作流执行后的返回信息,使用分词解析,获取结果信息中关键信息,根据关键信息判断数据抽取的结果成功失败;
根据工作流名称向Informatica服务器发送停止、暂停、继续的命令,控制Informatica工作流抽取进程;
在数据抽取过程中,通过查询Informatica元数据信息,获取工作流中所有会话的执行日志,以实现错误定位和问题解决;
逻辑配置模块,被配置为确定数据抽取节点选用个数,各数据抽取节点根据需要制作抽取流程,形成数据抽取的逻辑;所述数据抽取的逻辑,包括串行、并行和分支执行中的至少一种;执行模块,被配置为按照数据抽取的逻辑,各数据抽取节点进行运行,利用不同数据抽取方式进行数据抽取调度;
判断模块,被配置为判断数据抽取是否成功,如果失败则重复执行设定次数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110076282.3A CN112860776B (zh) | 2021-01-20 | 2021-01-20 | 一种多种数据抽取调度方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110076282.3A CN112860776B (zh) | 2021-01-20 | 2021-01-20 | 一种多种数据抽取调度方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112860776A CN112860776A (zh) | 2021-05-28 |
CN112860776B true CN112860776B (zh) | 2022-12-06 |
Family
ID=76007752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110076282.3A Active CN112860776B (zh) | 2021-01-20 | 2021-01-20 | 一种多种数据抽取调度方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112860776B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115858310B (zh) * | 2023-03-01 | 2023-07-21 | 美云智数科技有限公司 | 异常任务识别方法、装置、计算机设备和存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102722355A (zh) * | 2012-06-04 | 2012-10-10 | 南京中兴软创科技股份有限公司 | 基于工作流机制的并发式etl转换方法 |
CN103412897A (zh) * | 2013-07-25 | 2013-11-27 | 中国科学院软件研究所 | 一种基于分布式结构的并行数据处理方法 |
CN107733986A (zh) * | 2017-09-15 | 2018-02-23 | 中国南方电网有限责任公司 | 支持一体化部署及监控的保护运行大数据支撑平台 |
CN108846076A (zh) * | 2018-06-08 | 2018-11-20 | 山大地纬软件股份有限公司 | 支持接口适配的海量多源异构数据etl方法及*** |
CN108984549A (zh) * | 2017-05-31 | 2018-12-11 | 北京京东尚科信息技术有限公司 | 一种基于动态配置数据库的分库分表数据抽取方法和装置 |
CN109271435A (zh) * | 2018-09-14 | 2019-01-25 | 南威软件股份有限公司 | 一种支持断点续传的数据抽取方法及*** |
CN110032594A (zh) * | 2019-03-21 | 2019-07-19 | 厦门市美亚柏科信息股份有限公司 | 可定制化的多源数据库的数据抽取方法、装置及存储介质 |
CN111427943A (zh) * | 2020-03-27 | 2020-07-17 | 北京明略软件***有限公司 | 一种etl***中任务管理方法和装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170060974A1 (en) * | 2015-08-31 | 2017-03-02 | Jade Global, Inc. | Automated conversion tool for facilitating migration between data integration products |
TWI686770B (zh) * | 2017-12-26 | 2020-03-01 | 宏達國際電子股份有限公司 | 表面擷取方法、裝置及非暫態電腦可讀取記錄媒體 |
CN108446335B (zh) * | 2018-02-27 | 2021-04-16 | 广州港数据科技有限公司 | 基于数据库的异构***数据抽取及统一对外数据交换方法 |
CN110362562A (zh) * | 2019-07-16 | 2019-10-22 | 中国工商银行股份有限公司 | 大数据抽取样本数据的方法及*** |
CN110555074B (zh) * | 2019-09-11 | 2023-04-25 | 浪潮软件科技有限公司 | 定时抽取和加工数据的方法、终端及计算机可读存储介质 |
-
2021
- 2021-01-20 CN CN202110076282.3A patent/CN112860776B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102722355A (zh) * | 2012-06-04 | 2012-10-10 | 南京中兴软创科技股份有限公司 | 基于工作流机制的并发式etl转换方法 |
CN103412897A (zh) * | 2013-07-25 | 2013-11-27 | 中国科学院软件研究所 | 一种基于分布式结构的并行数据处理方法 |
CN108984549A (zh) * | 2017-05-31 | 2018-12-11 | 北京京东尚科信息技术有限公司 | 一种基于动态配置数据库的分库分表数据抽取方法和装置 |
CN107733986A (zh) * | 2017-09-15 | 2018-02-23 | 中国南方电网有限责任公司 | 支持一体化部署及监控的保护运行大数据支撑平台 |
CN108846076A (zh) * | 2018-06-08 | 2018-11-20 | 山大地纬软件股份有限公司 | 支持接口适配的海量多源异构数据etl方法及*** |
CN109271435A (zh) * | 2018-09-14 | 2019-01-25 | 南威软件股份有限公司 | 一种支持断点续传的数据抽取方法及*** |
CN110032594A (zh) * | 2019-03-21 | 2019-07-19 | 厦门市美亚柏科信息股份有限公司 | 可定制化的多源数据库的数据抽取方法、装置及存储介质 |
CN111427943A (zh) * | 2020-03-27 | 2020-07-17 | 北京明略软件***有限公司 | 一种etl***中任务管理方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112860776A (zh) | 2021-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101477543B (zh) | 用于自动化etl应用的***和方法 | |
JP6901243B2 (ja) | プロセス環境のための制御システムを最適化するためのシステムおよび方法 | |
CN108038054B (zh) | 一种自动化测试方法及装置、计算机可读存储介质 | |
CN110062918B (zh) | 在云端网关中进行软件更新的方法、执行该方法的计算机程序和实施该方法的处理单元 | |
CN110166297A (zh) | 运维方法、***、设备及计算机可读存储介质 | |
CN104425001A (zh) | 一种同时对多台交换机烧录的***、方法及相应交换机 | |
CN110275992B (zh) | 应急处理方法、装置、服务器及计算机可读存储介质 | |
CN105653322B (zh) | 运维服务器和服务器事件的处理方法 | |
CN109828886B (zh) | 一种容器云环境下的ci/cd监控方法和*** | |
CN110088744A (zh) | 一种数据库维护方法及其*** | |
CN112860776B (zh) | 一种多种数据抽取调度方法及*** | |
CN111798083B (zh) | 一种生产调度监控***、方法及存储介质 | |
CN110619014A (zh) | 一种基于etl的数据抽取方法 | |
US20100077382A1 (en) | Computer-readable recording medium string a bug detection support program, similar structure identification information list output program, bug detection support apparatus, and bug detection support method | |
CN114238474A (zh) | 基于排水***的数据处理方法、装置、设备及存储介质 | |
CN105117329A (zh) | 一种应用程序自动上线方法及*** | |
CN110232013B (zh) | 测试方法、装置以及控制器和介质 | |
KR101566355B1 (ko) | 자동화 공정의 정상 운영 판단을 위한 마스터 패턴 생성방법 및 장치 | |
CN113240499B (zh) | 一种基于***切换的订单处理方法和装置 | |
CN114186219A (zh) | 口令破解的异构***集成方法及*** | |
CN113810457A (zh) | 业务访问异常上报方法、装置及可读存储介质和电子设备 | |
CN111581042A (zh) | 一种集群部署方法、部署平台及待部署服务器 | |
CN110297642A (zh) | 一种多终端并发烧写、配置及测试的***和方法 | |
CN117236924B (zh) | 一种基于数字孪生的it基础设施智慧运维方法及*** | |
CN113624250B (zh) | 一种自动温循测试装置和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 12 / F, building 1, Aosheng building, 1166 Xinluo street, hi tech Zone, Jinan City, Shandong Province Applicant after: Zhongyang Health Technology Group Co.,Ltd. Address before: 12 / F, building 1, Aosheng building, 1166 Xinluo street, hi tech Zone, Jinan City, Shandong Province Applicant before: SHANDONG MSUNHEALTH TECHNOLOGY GROUP Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |