CN111814435A - 一种数据库数据传输方法、装置、设备及可读存储介质 - Google Patents
一种数据库数据传输方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN111814435A CN111814435A CN202010710074.XA CN202010710074A CN111814435A CN 111814435 A CN111814435 A CN 111814435A CN 202010710074 A CN202010710074 A CN 202010710074A CN 111814435 A CN111814435 A CN 111814435A
- Authority
- CN
- China
- Prior art keywords
- task
- data transmission
- information
- file
- database data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000006870 function Effects 0.000 claims description 40
- 238000006243 chemical reaction Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 description 16
- 238000012546 transfer Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000008676 import Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/151—Transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据库数据传输方法、装置、设备及计算机可读存储介质，该方法包括：获取用于执行数据库数据传输任务的第一任务文件；将第一任务文件转换为与内存计算***相匹配的第二任务文件；将第二任务文件发送给内存计算***，以便内存计算***利用第二任务文件执行数据库数据传输任务；该方法在将第一任务文件转换为第二任务文件后，将第二任务文件发送给内存计算***，以便内存计算***利用第二任务文件执行数据库数据传输任务。通过采用计算效率更高的内存计算***，可以提高数据库之间的数据传输速度，减少数据传输所需的时间。
Description
技术领域
本发明涉及数据传输技术领域，特别涉及一种数据库数据传输方法、数据库数据传输装置、数据库数据传输设备及计算机可读存储介质。
背景技术
在实际应用中，存在需要将不同种类的数据库间进行数据传输或转移的情况，例如将数据从关系型数据库转移到分布式文件数据库，或者将数据从分布式文件数据库转移到关系型数据库。相关技术一般利用专用的数据传输工具从指定的数据库中导出数据，并将导出的数据导入到另一个数据库，这些工具一般采用数据传输工具的计算方式进行计算，例如采用MapReduce计算方式。由于这些计算方式运算速度较慢，因此导致数据的传输速度较慢，数据传输所需时间较长。
因此，如何解决相关技术存在的数据的传输速度较慢，数据传输所需时间较长的问题，是本领域技术人员需要解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种数据库数据传输方法、数据库数据传输装置、数据库数据传输设备及计算机可读存储介质，解决了相关技术存在的数据的传输速度较慢，数据传输所需时间较长的问题。
为解决上述技术问题，本发明提供了一种数据库数据传输方法，包括：
获取用于执行数据库数据传输任务的第一任务文件；
将所述第一任务文件转换为与内存计算***相匹配的第二任务文件；
将所述第二任务文件发送给所述内存计算***，以便所述内存计算***利用所述第二任务文件执行所述数据库数据传输任务。
可选地，所述将所述第一任务文件转换为与内存计算***相匹配的第二任务文件，包括：
从所述第一任务文件中获取第一输入信息、第一输出信息和第一函数信息；
根据格式转换关系对所述第一输入信息、所述第一输出信息和所述第一函数信息进行转换，得到与所述内存计算***相匹配的第二输入信息、第二输出信息和第二函数信息；
利用所述第二输入信息、所述第二输出信息和所述第二函数信息生成所述第二任务文件。
可选地，还包括：
获取第一信息和与所述内存计算***匹配的第二信息；
在所述第一信息和所述第二信息之间建立对应关系，得到所述格式转换关系。
可选地，所述获取用于执行数据库数据传输任务的第一任务文件，包括：
获取任务信息和命令脚本文件；
利用所述命令脚本文件根据所述任务信息生成所述第一任务文件。
可选地，还包括：
按照命令规则生成多个命令；
利用所述命令生成所述命令脚本文件。
可选地，所述获取用于执行数据库数据传输任务的第一任务文件，包括：
获取目标设备发送的所述第一任务文件。
可选地，还包括：
向所述目标设备反馈任务信息。
本发明还提供了一种数据库数据传输装置，包括：
获取模块，用于获取用于执行数据库数据传输任务的第一任务文件；
转换模块，用于将所述第一任务文件转换为与内存计算***相匹配的第二任务文件；
发送模块，用于将所述第二任务文件发送给所述内存计算***，以便所述内存计算***利用所述第二任务文件执行所述数据库数据传输任务。
本发明还提供了一种数据库数据传输设备，包括存储器和处理器，其中：
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现上述的数据库数据传输方法。
本发明还提供了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现上述的数据库数据传输方法。
本发明提供的数据库数据传输方法，获取用于执行数据库数据传输任务的第一任务文件；将第一任务文件转换为与内存计算***相匹配的第二任务文件；将第二任务文件发送给内存计算***，以便内存计算***利用第二任务文件执行数据库数据传输任务。
可见，该方法在获取进行数据库数据传输任务的第一任务文件时不利用数据传输工具原本的计算方式直接执行，而是将其转换为与内存计算***相匹配的第二任务文件。内存计算***可以实现高速计算，比数据传输工具原本的计算方式的计算效率更高。在将第一任务文件转换为第二任务文件后，将第二任务文件发送给内存计算***，以便内存计算***利用第二任务文件执行数据库数据传输任务。通过采用计算效率更高的内存计算***，可以提高数据库之间的数据传输速度，减少数据传输所需的时间，解决了相关技术存在的数据的传输速度较慢，数据传输所需时间较长的问题。
此外，本发明还提供了一种数据库数据传输装置、数据库数据传输设备及计算机可读存储介质，同样具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种数据库数据传输方法流程图；
图2为本发明实施例提供的一种数据库数据传输装置的结构示意图；
图3为本发明实施例提供的一种数据库数据传输设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在一种可能的实施方式中，请参考图1，图1为本发明实施例提供的一种数据库数据传输方法流程图。该方法包括：
S101：获取用于执行数据库数据传输任务的第一任务文件。
第一任务文件为用于执行数据库数据传输任务的文件，其具体可以由数据传输工具生成。第一任务文件的文件格式与数据传输工具相关，其具体内容与导出数据的数据库和导入数据的数据库相关。数据传输工具的具体形式可以为脚本、可执行文件等。不同的数据传输工具可以在不同类型的数据库间进行数据传输。例如，若数据传输工具为Sqoop工具，则其可以在关系型数据库和Hadoop分布式数据库之间进行数据传输。使用Sqoop工具可以将数据从MySQL或Oracle等关系数据库管理***(Relational Database ManagementSystem，RDBMS)导入Hadoop分布式文件***(Hadoop Distributed File System，HDFS)，或者从Hadoop分布式文件***(HDFS)导出数据到关系型数据库，例如MySQL。Sqoop工具采用Hadoop的MapReduce计算方式(一种面向大数据并行处理的计算模型、框架和平台)进行数据的抽取与加载。
在一种实施方式中，第一任务文件可以由其他终端或设备发送得到，此时，S101步骤可以包括：
S1011：获取目标设备发送的第一任务文件。
目标设备具体可以为服务器或计算机，其可以通过发送第一任务文件的方式对数据库之间的数据传输进行控制。目标设备可以与执行本实施例中的全部或部分步骤的设备通信连接，具体连接方式可以为有线连接或无线连接。
在另一种实施方式中，第一任务文件可以在本地生成，此时，S101步骤可以包括：
S1012：获取任务信息和命令脚本文件。
S1013：利用命令脚本文件根据任务信息生成第一任务文件。
任务信息用于对数据库数据传输任务进行具体设置，例如指定从哪一个数据库(例如目标数据库)中导出数据，将数据导入到哪一个数据库(例如指定数据库)，从导出数据的数据库导出哪些数据，数据的导出格式和导入格式等。任务信息可以由用户手动输入，或者可以从预设路径读取信息文件，从文件中解析得到任务信息。
命令脚本文件为以脚本形式配置使用的数据传输工具，例如为脚本形式的Sqoop工具。命令脚本文件可以被提前编写好，以便在获取任务信息后及时生成第一任务文件。利用命令脚本文件根据任务信息即可生成第一任务文件，具体的生成方式本实施例不做限定，可以参考相关技术。
进一步，命令脚本文件的生成过程，可以包括：
步骤11：按照命令规则生成多个命令。
步骤12：利用命令生成命令脚本文件。
命令规则为数据传输工具的编写规则，即如何编写能够正常运行的命令，例如命名规则为Sqoop命令规则，得到的命令即为Sqoop命令。命令可以为数据传输过程中需要调用执行的函数，其具体内容不做限定，例如可以包括导出函数、格式转换函数、导入函数等。在得到命令后，利用其生成命令脚本文件，例如可以将命令保存为shell脚本文件，得到shell文件格式的命令脚本文件。
S102：将第一任务文件转换为与内存计算***相匹配的第二任务文件。
第一任务文件由对应的数据传输工具生成，因此其采用的计算方式与数据传输工具相关。数据传输工具原本的计算方式不做限定，例如Sqoop工具Hadoop MapReduce的计算方式进行数据的抽取与加载。由于数据传输工具的计算方式计算速度较慢，效率较低，为了提高效率，可以利用内存计算***进行计算。内存计算***具体可以为Spark计算***，或者可以为其他计算***，本实施例不做限定。Spark计算***是一个快速的通用的内存计算***。它提供Java，Scala，Python和R语言中的高级API(接口)，以及支持常规图的优化引擎。它还支持一组丰富的更高级别的工具，包括SparkSQL、GraphX等工具。SparkSQL可用于SQL和结构化数据的处理，GraphX可用于图形处理和Spark Streaming(一个易扩展、高吞吐、高容错的流式数据处理***)。
在得到第一任务文件后，可以将其转换为与内存计算***相匹配的第二任务文件。具体的，可以按照格式转换关系对第一任务文件中的信息进行依次转换；或者可以根据第一任务文件的信息(例如文件格式、对应的数据传输工具等)确定对应的初始第二任务文件，在提取第一任务文件中的任务信息后，利用任务信息和初始第二任务文件生成第二任务文件。
在一种实施方式中，为了对第一任务文件进行准确的转换，防止出现因初始第二任务文件等模板与第一任务文件不匹配，导致生成的第二任务文件存在错误或与第一任务文件不对应的情况。S102步骤可以包括：
S1021：从第一任务文件中获取第一输入信息、第一输出信息和第一函数信息。
S1022：根据格式转换关系对第一输入信息、第一输出信息和第一函数信息进行转换，得到与内存计算***相匹配的第二输入信息、第二输出信息和第二函数信息。
S1023：利用第二输入信息、第二输出信息和第二函数信息生成第二任务文件。
其中，第一输入信息也可以被称为DataInput，用于设置数据的导入格式，数据的导入格式即为以什么样的格式读取并保存数据，例如读取文本文件数据并保存为字符串。第一输入信息的具体形式为数据传输工具匹配的格式，例如可以为数组、向量、矩阵或其他可能的方式。与第一输入信息类似的，第一输出信息可以被称为DataOutput，用于对数据的导出格式进行设置。导出格式即为将什么样格式的数据进行导出。第一函数信息也可以被称为map方法，表示在计算阶段采用的函数，例如为读取HDFS的文本文件的函数。
格式转换关系规定了第一任务文件与第二任务文件之间各项数据的对应关系，在从第一任务文件中获取到第一输入信息、第一输出信息和第一函数信息后，利用格式转换关系对其进行转换，得到对应的信息。具体的，可以利用第一输入信息等信息遍历格式转换关系，当找到匹配的对应关系时，将与第一输入信息等信息建立对应关系的另一信息确定为第二输入信息等信息。转换后得到的第二输入信息、第二输出信息和第二函数信息与转换前的第一输入信息、第一输出信息和第一函数信息在实质上相同，区别在于匹配的对象不同，转换前的信息与数据传输工具相匹配，转换后的信息与内存计算***相匹配。在得到第二输入信息、第二输出信息和第二函数信息后，利用其生成与内存计算***相匹配的第二任务文件，具体的生成过程本实施例不做限定，可以参考相关技术。第二任务文件可以为jar数据包格式，或者可以为其他可能的数据格式。
例如，第一输入信息为Sqoop输入信息，第一输出信息为Sqoop输出信息，第一函数信息为map信息，第二输入信息为Spark输入信息、第二输出信息为Spark输出信息，第二函数信息为tansform信息。当第一任务文件用于导出HDFS中的文本文件至关系型数据库时，利用格式转换关系可以将Sqoop输入信息、Sqoop输出信息转换为与内存计算***相匹配的Spark输入信息、Spark输出信息。Sqoop输入信息和Spark输入信息均用于说明读取与保存数据的格式为文本格式，Sqoop输出信息和Spark输出信息均用于说明导出数据的格式为对应关系数据库表字段的格式。由于导出数据的格式为文本文件格式，因此map信息即为读取文本文件的函数，而tansform信息为Sparkcontext中的textfile方法。
在一种实施方式中，在对第一任务文件进行转换之前，还可以包括：
步骤21：获取第一信息和与内存计算***匹配的第二信息。
步骤22：在第一信息和第二信息之间建立对应关系，得到格式转换关系。
其中，第一信息包括第一输入信息、第一输出信息、第一函数信息以及其他信息，第二信息包括第二输入信息、第二输出信息、第二函数信息以及其他信息。实质相同即为二者形式不同，但是在对应的计算方式中起到的作用相同，因此建立第一信息和第一信息之间的对应的关系，即可得到格式转换关系。具体的，可以根据用户输入的指令确定第一信息和第二信息实质相同，或者可以利用测试数据测试第一数据与第二数据，并根据测试结果判断是否实质相同，例如当同样的测试数据得到了同样的测试结果，则认为第一信息和第二信息实质相同。
S103：将第二任务文件发送给内存计算***，以便内存计算***利用第二任务文件执行数据库数据传输任务。
在得到第二任务文件后将其发送给内存计算***。内存计算***在获取第二任务文件后对其进行执行，即可执行数据库数据传输任务。在一种可能的实施方式中，若第一任务文件由目标设备发送，则可以向目标设备反馈任务信息，以便目标设备及时了解任务执行过程。
应用本发明实施例提供的数据库数据传输方法，在获取进行数据库数据传输任务的第一任务文件时不利用数据传输工具原本的计算方式直接执行，而是将其转换为与内存计算***相匹配的第二任务文件。内存计算***可以实现高速计算，比数据传输工具原本的计算方式的计算效率更高。在将第一任务文件转换为第二任务文件后，将第二任务文件发送给内存计算***，以便内存计算***利用第二任务文件执行数据库数据传输任务。通过采用计算效率更高的内存计算***，可以提高数据库之间的数据传输速度，减少数据传输所需的时间，解决了相关技术存在的数据的传输速度较慢，数据传输所需时间较长的问题。
基于上述实施例，在一种可能的实施方式中，数据传输工具为Sqoop工具，因此可以利用Sqoop作业解析器、Sqoop作业转换器进行第一任务文件的转换，利用内存计算***作业提交器将第二任务文件发送给内存计算***。
Sqoop作业解析器在获取到用户使用Sqoop组件支持的命令书写方式下生成的Sqoop任务作业(第一任务文件)后，对其进行解析，将Sqoop作业的输入(第一输入信息)、输出(第一输出信息)和map方法(第一函数信息)解析得到，并确定对应的内存计算***支持的输入(第二输入信息)、输出(第二输出信息)、转换方法(TANSFORM，第二函数信息)，然后发送给Sqoop作业转换器。Sqoop作业转换器将Sqoop作业的输入、输出和map与内存计算***支持的输入输出、转换方法的对应关系获取到后，根据对应规则生成内存计算***支持的输入输出、转换方法等的作业(第二任务文件)，然后发送给内存计算***作业提交器。内存计算***作业提交器将Sqoop作业转换器转换出的作业提交到内存计算***集群，交由内存计算***集群运行处理。
当内存计算***为Spark计算***时，Sqoop作业解析器在得到用户使用Sqoop组件支持的命令书写方式下生成Sqoop任务作业后，对其进行解析，将Sqoop作业的输入、输出和map方法与对应的Spark支持的输入输出、TANSFORM的对应关系解析出来，然后发送给Sqoop-Spark转换器。具体的，用户预先编写好Sqoop命令脚本，即按照Sqoop命令规则编写好Sqoop命令，将Sqoop命令脚本保存到一个shell文件中。用户执行shell脚本文件，待生成Sqoop可执行任务的作业后，Sqoop作业解析器会读取生成的作业，将其中DataInput输入，DataInput输出和map方法解析为SparkContext中对应的输入方法，输出方法和TANSFORM方法。例如，Sqoop作业中存在读取HDFS的文本文件的方法，Sqoop解析器会根据对应关系，将其解析为SparkContext的textFile方法，并将这些对应关系发给Sqoop-Spark转换器。
Sqoop-Spark转换器获取到Sqoop作业解析器解析出来的Sqoop作业与Spark作业的对应关系，然后将Sqoop生成的作业转换为Spark能够识别的作业，并编译生成jar包。例如：获取到Sqoop作业DataInput输入、DataInput输出和map方法与Spark作业中方法的对应关系，例如：Sqoop作业的读取HDFS文本文件的方法，其对应的SparkContext中的方法函数为textFile。根据对应关系，生成Spark作业，例如：根据上述对应关系，Sqoop中读取的数据源类型为HDFS，在Spark作业中使用名为textFile的Spark方法。作业整个转换完成后，编译打包生成Spark可执行jar包。Spark作业提交器将Sqoop-Spark转换器生成的Spark作业jar包提交到Spark集群中运行。
下面对本发明实施例提供的数据库数据传输装置进行介绍，下文描述的数据库数据传输装置与上文描述的数据库数据传输方法可相互对应参照。
请参考图2，图2为本发明实施例提供的一种数据库数据传输装置的结构示意图，包括：
获取模块110，用于获取用于执行数据库数据传输任务的第一任务文件；
转换模块120，用于将第一任务文件转换为与内存计算***相匹配的第二任务文件；
发送模块130，用于将第二任务文件发送给内存计算***，以便内存计算***利用第二任务文件执行数据库数据传输任务。
可选地，转换模块120，包括：
获取单元，用于从第一任务文件中获取第一输入信息、第一输出信息和第一函数信息；
转换单元，用于根据格式转换关系对第一输入信息、第一输出信息和第一函数信息进行转换，得到与内存计算***相匹配的第二输入信息、第二输出信息和第二函数信息；
第二任务文件生成单元，用于利用第二输入信息、第二输出信息和第二函数信息生成第二任务文件。
可选地，还包括：
信息获取模块，用于获取第一信息和与内存计算***匹配的第二信息；
转换关系建立模块，用于在第一信息和第二信息之间建立对应关系，得到格式转换关系。
可选地，获取模块110，包括：
信息获取单元，用于获取任务信息和命令脚本文件；
第一任务文件生成单元，用于利用命令脚本文件根据任务信息生成第一任务文件。
可选地，还包括：
命令生成模块，用于按照命令规则生成多个命令；
脚本文件生成模块，用于利用命令生成命令脚本文件。
可选地，获取模块110，包括：
目标获取单元，用于获取目标设备发送的第一任务文件。
可选地，还包括：
反馈模块，用于向目标设备反馈任务信息。
下面对本发明实施例提供的数据库数据传输设备进行介绍，下文描述的数据库数据传输设备与上文描述的数据库数据传输方法可相互对应参照。
请参考图3，图3为本发明实施例提供的一种数据库数据传输设备的结构示意图。其中数据库数据传输设备100可以包括处理器101和存储器102，还可以进一步包括多媒体组件103、信息输入/信息输出(I/O)接口104以及通信组件105中的一种或多种。
其中，处理器101用于控制数据库数据传输设备100的整体操作，以完成上述的数据库数据传输方法中的全部或部分步骤；存储器102用于存储各种类型的数据以支持在数据库数据传输设备100的操作，这些数据例如可以包括用于在该数据库数据传输设备100上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(StaticRandom Access Memory，SRAM)、电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，EEPROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)、可编程只读存储器(Programmable Read-OnlyMemory，PROM)、只读存储器(Read-Only Memory，ROM)、磁存储器、快闪存储器、磁盘或光盘中的一种或多种。
多媒体组件103可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或通过通信组件105发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口104为处理器101和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件105用于数据库数据传输设备100与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件105可以包括：Wi-Fi部件，蓝牙部件，NFC部件。
数据库数据传输设备100可以被一个或多个应用专用集成电路(ApplicationSpecific Integrated Circuit，简称ASIC)、数字信号处理器(Digital SignalProcessor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例给出的数据库数据传输方法。
下面对本发明实施例提供的计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的数据库数据传输方法可相互对应参照。
本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的数据库数据传输方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本领域技术人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语包括、包含或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
以上对本发明所提供的数据库数据传输方法、数据库数据传输装置、数据库数据传输设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种数据库数据传输方法，其特征在于，包括：
获取用于执行数据库数据传输任务的第一任务文件；
将所述第一任务文件转换为与内存计算***相匹配的第二任务文件；
将所述第二任务文件发送给所述内存计算***，以便所述内存计算***利用所述第二任务文件执行所述数据库数据传输任务。
2.根据权利要求1所述的数据库数据传输方法，其特征在于，所述将所述第一任务文件转换为与内存计算***相匹配的第二任务文件，包括：
从所述第一任务文件中获取第一输入信息、第一输出信息和第一函数信息；
根据格式转换关系对所述第一输入信息、所述第一输出信息和所述第一函数信息进行转换，得到与所述内存计算***相匹配的第二输入信息、第二输出信息和第二函数信息；
利用所述第二输入信息、所述第二输出信息和所述第二函数信息生成所述第二任务文件。
3.根据权利要求2所述的数据库数据传输方法，其特征在于，还包括：
获取第一信息和与所述内存计算***匹配的第二信息；
在所述第一信息和所述第二信息之间建立对应关系，得到所述格式转换关系。
4.根据权利要求1所述的数据库数据传输方法，其特征在于，所述获取用于执行数据库数据传输任务的第一任务文件，包括：
获取任务信息和命令脚本文件；
利用所述命令脚本文件根据所述任务信息生成所述第一任务文件。
5.根据权利要求4所述的数据库数据传输方法，其特征在于，还包括：
按照命令规则生成多个命令；
利用所述命令生成所述命令脚本文件。
6.根据权利要求1所述的数据库数据传输方法，其特征在于，所述获取用于执行数据库数据传输任务的第一任务文件，包括：
获取目标设备发送的所述第一任务文件。
7.根据权利要求6所述的数据库数据传输方法，其特征在于，还包括：
向所述目标设备反馈任务信息。
8.一种数据库数据传输装置，其特征在于，包括：
获取模块，用于获取用于执行数据库数据传输任务的第一任务文件；
转换模块，用于将所述第一任务文件转换为与内存计算***相匹配的第二任务文件；
发送模块，用于将所述第二任务文件发送给所述内存计算***，以便所述内存计算***利用所述第二任务文件执行所述数据库数据传输任务。
9.一种数据库数据传输设备，其特征在于，包括存储器和处理器，其中：
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的数据库数据传输方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据库数据传输方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010710074.XA CN111814435A (zh) | 2020-07-22 | 2020-07-22 | 一种数据库数据传输方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010710074.XA CN111814435A (zh) | 2020-07-22 | 2020-07-22 | 一种数据库数据传输方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111814435A true CN111814435A (zh) | 2020-10-23 |
Family
ID=72861936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010710074.XA Pending CN111814435A (zh) | 2020-07-22 | 2020-07-22 | 一种数据库数据传输方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111814435A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170075964A1 (en) * | 2015-09-11 | 2017-03-16 | International Business Machines Corporation | Transforming and loading data utilizing in-memory processing |
| US20170097957A1 (en) * | 2015-10-01 | 2017-04-06 | International Business Machines Corporation | System and method for transferring data between rdbms and big data platform |
| CN106569789A (zh) * | 2015-10-13 | 2017-04-19 | 北京国双科技有限公司 | 任务提交的方法和装置 |
| CN106648674A (zh) * | 2016-12-28 | 2017-05-10 | 北京奇艺世纪科技有限公司 | 一种大数据计算管理方法及*** |
| CN106777164A (zh) * | 2016-12-20 | 2017-05-31 | 东软集团股份有限公司 | 一种数据迁移集群及数据迁移方法 |
| CN107145585A (zh) * | 2017-05-10 | 2017-09-08 | 温州市鹿城区中津先进科技研究院 | Hadoop数据仓库的自动导入数据方法及*** |
| US20190197142A1 (en) * | 2017-12-21 | 2019-06-27 | Mastercard International Incorporated | Systems and Methods for Use in Loading Data From Backup Databases to Task Databases |
| CN110781235A (zh) * | 2019-10-24 | 2020-02-11 | 珠海格力电器股份有限公司 | 基于大数据的采购数据处理方法、装置、终端及存储介质 |
| CN111198863A (zh) * | 2019-12-27 | 2020-05-26 | 天阳宏业科技股份有限公司 | 一种规则引擎及其实现方法 |
-
2020
- 2020-07-22 CN CN202010710074.XA patent/CN111814435A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170075964A1 (en) * | 2015-09-11 | 2017-03-16 | International Business Machines Corporation | Transforming and loading data utilizing in-memory processing |
| US20170097957A1 (en) * | 2015-10-01 | 2017-04-06 | International Business Machines Corporation | System and method for transferring data between rdbms and big data platform |
| CN106569789A (zh) * | 2015-10-13 | 2017-04-19 | 北京国双科技有限公司 | 任务提交的方法和装置 |
| CN106777164A (zh) * | 2016-12-20 | 2017-05-31 | 东软集团股份有限公司 | 一种数据迁移集群及数据迁移方法 |
| CN106648674A (zh) * | 2016-12-28 | 2017-05-10 | 北京奇艺世纪科技有限公司 | 一种大数据计算管理方法及*** |
| CN107145585A (zh) * | 2017-05-10 | 2017-09-08 | 温州市鹿城区中津先进科技研究院 | Hadoop数据仓库的自动导入数据方法及*** |
| US20190197142A1 (en) * | 2017-12-21 | 2019-06-27 | Mastercard International Incorporated | Systems and Methods for Use in Loading Data From Backup Databases to Task Databases |
| CN110781235A (zh) * | 2019-10-24 | 2020-02-11 | 珠海格力电器股份有限公司 | 基于大数据的采购数据处理方法、装置、终端及存储介质 |
| CN111198863A (zh) * | 2019-12-27 | 2020-05-26 | 天阳宏业科技股份有限公司 | 一种规则引擎及其实现方法 |
Non-Patent Citations (2)
| Title |
|---|
| 于金良 等: "一种基于Sqoop的数据交换***", 《物联网技术》 * |
| 王永超 等: "面向金融行业的大数据迁移的研究与实现", 《计算机工程与应用》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111083225B (zh) | 在物联网平台中的数据处理方法、装置及物联网平台 | |
| US10423445B2 (en) | Composing and executing workflows made up of functional pluggable building blocks | |
| US9244709B2 (en) | Automatic recognition of web application | |
| US8799299B2 (en) | Schema contracts for data integration | |
| US9892144B2 (en) | Methods for in-place access of serialized data | |
| US20140372970A1 (en) | Method to auto generate jax-rs rest service implementation classes from existing interfaces | |
| US20140359586A1 (en) | Programming Language with Extensions using a Strict Meta-Model | |
| CN108255837B (zh) | 一种sql解析器及方法 | |
| US9141344B2 (en) | Hover help support for application source code | |
| WO2016095570A1 (zh) | 一种嵌入式***的调试方法及装置、存储介质 | |
| WO2021259290A1 (zh) | 存储过程转换方法、装置、设备和存储介质 | |
| CN114036183A (zh) | 一种数据etl处理方法、装置、设备及介质 | |
| CN116028028A (zh) | 请求函数生成方法、装置、设备及存储介质 | |
| CN113806429A (zh) | 基于大数据流处理框架的画布式日志分析方法 | |
| CN105867886B (zh) | 一种写表格的方法及装置 | |
| US20150339106A1 (en) | Tabular format transaction editor | |
| CN108153896B (zh) | 针对输入数据、输出数据的处理方法及装置 | |
| CN111814435A (zh) | 一种数据库数据传输方法、装置、设备及可读存储介质 | |
| US9015679B2 (en) | System and method for translating business application functions into DBMS internal programming language procedures | |
| CN116893809A (zh) | 用于代码可解释性的代码富集的方法、存储介质和*** | |
| KR20200103133A (ko) | 하둡 기반의 빅데이터 시스템에서 etl 절차를 수행하는 방법 및 장치 | |
| WO2023035563A1 (zh) | 小程序跨应用迁移方法、设备、终端、***及存储介质 | |
| US8108828B2 (en) | System for generating optimized computer data field conversion routines | |
| CN111151008B (zh) | 游戏运营数据的校验方法、装置、配置后台及介质 | |
| US9720660B2 (en) | Binary interface instrumentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201023 |
|
| RJ01 | Rejection of invention patent application after publication |