CN112612783A - 一种实现跨平台数据共享的方法 - Google Patents

一种实现跨平台数据共享的方法 Download PDF

Info

Publication number
CN112612783A
CN112612783A CN202011525975.8A CN202011525975A CN112612783A CN 112612783 A CN112612783 A CN 112612783A CN 202011525975 A CN202011525975 A CN 202011525975A CN 112612783 A CN112612783 A CN 112612783A
Authority
CN
China
Prior art keywords
information
table information
data
script file
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011525975.8A
Other languages
English (en)
Inventor
赵杰岩
索凤桐
冯畅
张莹
刘燃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisino Corp
Original Assignee
Aisino Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisino Corp filed Critical Aisino Corp
Priority to CN202011525975.8A priority Critical patent/CN112612783A/zh
Publication of CN112612783A publication Critical patent/CN112612783A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24573—Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/12—Accounting
    • G06Q40/123—Tax preparation or submission

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种实现跨平台数据共享的方法及***，包括：根据数据库信息和服务器参数信息配置转换文件的数据源；新建表输入脚本文件，并在所述表输入脚本文件中编写sql语句，以进行表信息的抽取，获取表信息；新建***更新脚本文件，配置字段信息和装载目标表信息，并根据配置的字段信息将所述表信息装载入对应的目标表中；新建SQL脚本文件，编写删除语句，并按照预设的顺序依次连接所有的脚本文件；新建作业任务，设定作业调度时间，并根据所述作业任务将所有的脚本文件按顺序进行转换，实现跨平台数据共享。本发明得到方法能够更加灵活的实现跨平台数据共享，最大化减少代码编写，使用图形界面来配置，提高了***的后期可维护性。

Description

一种实现跨平台数据共享的方法
技术领域
本发明涉及数据共享技术领域，并且更具体地，涉及一种实现跨平台数据共享的方法及***。
背景技术
随着共享概念的提出，税务共享也应运而生，为了实现税务共享，需要对不同的子***进行集成，从而实现税务共享。但是在集成过程中会遇到子***之间数据库不匹配的情况，通过java代码的方式来处理如果遇到数据库改动则需要改动代码，灵活性不高。
因此，需要一种能通过某种工具来实现数据处理，通过界面配置的形式来实现，这样灵活性更高，后期维护也相对轻松。
发明内容
本发明提出一种实现跨平台数据共享的方法及***，以解决如何实现跨平台数据共享的问题。
为了解决上述问题，根据本发明的一个方面，提供了一种实现跨平台数据共享的方法，所述方法包括：
根据数据库信息和服务器参数信息配置转换文件的数据源；其中，所述数据源包括：来源库数据源和目标库数据源；
新建表输入脚本文件，并在所述表输入脚本文件中编写sql语句，以进行表信息的抽取，获取表信息；
新建***更新脚本文件，配置字段信息和装载目标表信息，并根据配置的字段信息将所述表信息装载入对应的目标表中；
新建SQL脚本文件，编写删除语句，并按照预设的顺序依次连接所有的脚本文件；
新建作业任务，设定作业调度时间，并根据所述作业任务将所有的脚本文件按顺序进行转换，实现跨平台数据共享。
优选地，其中所述方法还包括：
在获取到表信息后，创建java脚本文件，并利用所述java脚本文件对抽取的表信息进行非空处理，获取经过非空处理的表信息。
优选地，其中所述根据配置的字段信息将所述表信息装载入对应的目标表中，包括：
将不同平台的表字段信息进行匹配，通过设置主键比较每条数据是更新还是删除，并根据更新或删除结果将所述经过非空处理的表信息装载入对应的目标表中。
优选地，其中所述数据库信息，包括：数据库名称和数据库类型；所述服务器参数信息包括：主机名称、端口号、用户名和密码。
优选地，其中所述方法还包括：
设置用户权限，根据用户权限确定用户是否具有待操作数据的操作权限，并当确定用户具有待操作数据的操作权限时，允许用户操作；反之，则拒绝用户的操作。
根据本发明的另一个方面，提供了一种实现跨平台数据共享的***，所述***包括：
配置单元，用于根据数据库信息和服务器参数信息配置转换文件的数据源；其中，所述数据源包括：来源库数据源和目标库数据源；
表信息获取单元，用于新建表输入脚本文件，并在所述表输入脚本文件中编写sql语句，以进行表信息的抽取，获取表信息；
表信息载入单元，用于新建***更新脚本文件，配置字段信息和装载目标表信息，并根据配置的字段信息将所述表信息装载入对应的目标表中；
脚本文件连接单元，用于新建SQL脚本文件，编写删除语句，并按照预设的顺序依次连接所有的脚本文件；
作业任务执行单元，用于新建作业任务，设定作业调度时间，并根据所述作业任务将所有的脚本文件按顺序进行转换，实现跨平台数据共享。
优选地，其中所述***还包括：
表信息处理单元，用于在获取到表信息后，创建java脚本文件，并利用所述java脚本文件对抽取的表信息进行非空处理，获取经过非空处理的表信息。
优选地，其中所述表信息载入单元，根据配置的字段信息将所述表信息装载入对应的目标表中，包括：
将不同平台的表字段信息进行匹配，通过设置主键比较每条数据是更新还是删除，并根据更新或删除结果将所述经过非空处理的表信息装载入对应的目标表中。
优选地，其中所述数据库信息，包括：数据库名称和数据库类型；所述服务器参数信息包括：主机名称、端口号、用户名和密码。
优选地，其中所述***还包括：
权限判断单元，用于设置用户权限，根据用户权限确定用户是否具有待操作数据的操作权限，并当确定用户具有待操作数据的操作权限时，允许用户操作；反之，则拒绝用户的操作。
本发明提供了一种实现跨平台数据共享的方法及***，***操作员可根据操作实际情况，在权限集中管理的***中实时地创建新的角色、用户等权限信息，或者录入新数据信息；然后，数据由ETL同步方法在不同***下的不同数据库之间进行同步共享，此方法不占用各个***的运行资源，大大降低了各个***的运行压力，而且做到了实时同步共享，降低了因数据变更而未及时同步所带来的风险；只需要确定所需要共享的数据来源及目标，可快速实现共享，无需大量代码编写，使用图形界面来配置，提高了***的后期可维护性。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为根据本发明实施方式的实现跨平台数据共享的方法100的流程图；
图2为根据本发明实施方式的配置数据源示例图；
图3为根据本发明实施方式的***更新脚本配置界面的示例图；
图4为根据本发明实施方式的所有转换顺序摆放的示意图；
图5为根据本发明实施方式的实现跨平台数据共享的***500的结构示意图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
数据仓库技术ETL是数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)的过程，是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。kettle是一个ETL工具，ETL工具在数据仓库项目使用非常频繁，kettle也可以应用在以下一些场景：在不同应用或数据库之间整合数据、把数据库中的数据导出到文本文件、大批量数据装载入数据库、数据清洗、集成应用相关项目使用。kettle使用非常简单，通过图形界面设计实现做什么业务，无需写代码去实现，因此,kettle是以面向元数据来设计。kettle支持很多种输入和输出格式，包括文本文件，数据表，以及商业和免费的数据库引擎。另外，kettle强大的转换功能让您非常方便操纵数据。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。换：数据转换(Data transfer)是将数据从一种表示形式变为另一种表现形式的过程，数据从一种***转移到另一种***的时候，需要将数据转换到***能够识别的格式。
本发明的方法应用的***是在共享服务模式下应运而生的一套完整性***，一些企业应用了单独税务管理***平台，但是和财务共享服务平台没有实现对接与融合，***间数据无法实现共享，导致一些数据在两个或多个***中要进行分别录入，增加了重复性的低效率劳动，增加了税务管理成本。同时由于***庞大功能繁多，需要同步的数据复杂繁多，常用的普通接口(如：webservice数据同步接口)同步数据会过多占用***资源，导致***响应时间过长，因此，合理地利用和优化现有的财务共享服务平台，减少信息化的重复投入，实现多平台共享数据，对税务、财务进行一体化的管理是目前财务共享服务中心转型的必然选择，因此，本发明体用了一种基于ETL技术实现跨平台数据共享的方法。
图1为根据本发明实施方式的实现跨平台数据共享的方法100的流程图。如图1所示，本发明实施方式提供的实现跨平台数据共享的方法，只需要确定所需要共享的数据来源及目标，可快速实现共享，无需大量代码编写，使用图形界面来配置，提高了***的后期可维护性。本发明实施方式提供的实现跨平台数据共享的方法100，从步骤101处开始，在步骤101根据数据库信息和服务器参数信息配置转换文件的数据源；其中，所述数据源包括：来源库数据源和目标库数据源。
优选地，其中所述数据库信息，包括：数据库名称和数据库类型；所述服务器参数信息包括：主机名称、端口号、用户名和密码。
在步骤102，新建表输入脚本文件，并在所述表输入脚本文件中编写sql语句，以进行表信息的抽取，获取表信息。
优选地，其中所述方法还包括：
在获取到表信息后，创建java脚本文件，并利用所述java脚本文件对抽取的表信息进行非空处理，获取经过非空处理的表信息。
在本发明的实施方中，首先配置转换文件的数据源，包括：分别创建来源库和目标库数据源。如图2所示，包括：配置主机名称、端口号、用户名和密码等。
在进行数据抽取时，通过新建“表输入”脚本，在脚本中编写sql语句实现数据抽取，并创建java脚本对抽取的数据进行处理，实现数据清洗。相应地，在后台中，通过SQL抽取出表信息，通过java代码将抽取出的数据进行处理，将部分字段进行非空处理，排除空字段对***造成影响。
在步骤103，新建***更新脚本文件，配置字段信息和装载目标表信息，并根据配置的字段信息将所述表信息装载入对应的目标表中。
优选地，其中所述根据配置的字段信息将所述表信息装载入对应的目标表中，包括：
将不同平台的表字段信息进行匹配，通过设置主键比较每条数据是更新还是删除，并根据更新或删除结果将所述经过非空处理的表信息装载入对应的目标表中。
在步骤104，新建SQL脚本文件，编写删除语句，并按照预设的顺序依次连接所有的脚本文件。
在步骤105，新建作业任务，设定作业调度时间，并根据所述作业任务将所有的脚本文件按顺序进行转换，实现跨平台数据共享。
优选地，其中所述方法还包括：
设置用户权限，根据用户权限确定用户是否具有待操作数据的操作权限，并当确定用户具有待操作数据的操作权限时，允许用户操作；反之，则拒绝用户的操作。
在本发明中，为了实现数据共享还需进行数据转换和装载。首先，通过新建“***更新”脚本，并配置字段和装载目标表信息，以将之前抽取并处理完的数据装载入对应的表中，具体过程如图3所示。其中，通过将不同平台的表字段对应，设置主键比较，根据主键判断该条数据是新增更新还是删除。然后，通过新建SQL脚本，编写删除语句，并且将所有脚本按SQL脚本、表输入、java脚本、***更新脚本的顺序顺次连接。最后，新建作业，将所有转换按顺序摆放，如图4所示，并设定作业定时调度时间，根据设置的时间实现数据共享。
另外，为了保障数据共享的安全，本发明设置用户权限，根据用户权限确定用户是否具有待操作数据的操作权限，并当确定用户具有待操作数据的操作权限时，允许用户操作；反之，则拒绝用户的操作。
本发明基于ETL技术实现了数据跨平台共享，在多个***不同平台之间实现数据共享统一管理，只需要确定所需要共享的数据来源及目标，其可快速实现共享，无需大量代码编写。***操作员可根据操作实际情况，在权限集中管理的***中实时地创建新的角色、用户等权限信息，或者录入新数据信息，然后数据由ETL同步方法在不同***下的不同数据库之间进行同步共享，此方法不占用各个***的运行资源，大大降低了各个***的运行压力，而且做到了实时同步共享，降低了因数据变更而未及时同步所带来的风险。
图5为根据本发明实施方式的实现跨平台数据共享的***500的结构示意图。如图5所示，本发明实施方式提供的实现跨平台数据共享的***500，包括：配置单元501、表信息获取单元502、表信息载入单元503、脚本文件连接单元504和作业任务执行单元505。
优选地，所述配置单元501，用于根据数据库信息和服务器参数信息配置转换文件的数据源；其中，所述数据源包括：来源库数据源和目标库数据源。
优选地，其中所述数据库信息，包括：数据库名称和数据库类型；所述服务器参数信息包括：主机名称、端口号、用户名和密码。
优选地，所述表信息获取单元502，用于新建表输入脚本文件，并在所述表输入脚本文件中编写sql语句，以进行表信息的抽取，获取表信息。
优选地，其中所述***还包括：
表信息处理单元，用于在获取到表信息后，创建java脚本文件，并利用所述java脚本文件对抽取的表信息进行非空处理，获取经过非空处理的表信息。
优选地，所述表信息载入单元503，用于新建***更新脚本文件，配置字段信息和装载目标表信息，并根据配置的字段信息将所述表信息装载入对应的目标表中。
优选地，其中所述表信息载入单元503，根据配置的字段信息将所述表信息装载入对应的目标表中，包括：
将不同平台的表字段信息进行匹配，通过设置主键比较每条数据是更新还是删除，并根据更新或删除结果将所述经过非空处理的表信息装载入对应的目标表中。
优选地，所述脚本文件连接单元504，用于新建SQL脚本文件，编写删除语句，并按照预设的顺序依次连接所有的脚本文件。
优选地，所述作业任务执行单元505，用于新建作业任务，设定作业调度时间，并根据所述作业任务将所有的脚本文件按顺序进行转换，实现跨平台数据共享。
优选地，其中所述***还包括：
权限判断单元，用于设置用户权限，根据用户权限确定用户是否具有待操作数据的操作权限，并当确定用户具有待操作数据的操作权限时，允许用户操作；反之，则拒绝用户的操作。
本发明的实施例的实现跨平台数据共享的***500与本发明的另一个实施例的实现跨平台数据共享的方法100相对应，在此不再赘述。
已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种实现跨平台数据共享的方法，其特征在于，所述方法包括：
根据数据库信息和服务器参数信息配置转换文件的数据源；其中，所述数据源包括：来源库数据源和目标库数据源；
新建表输入脚本文件，并在所述表输入脚本文件中编写sql语句，以进行表信息的抽取，获取表信息；
新建***更新脚本文件，配置字段信息和装载目标表信息，并根据配置的字段信息将所述表信息装载入对应的目标表中；
新建SQL脚本文件，编写删除语句，并按照预设的顺序依次连接所有的脚本文件；
新建作业任务，设定作业调度时间，并根据所述作业任务将所有的脚本文件按顺序进行转换，实现跨平台数据共享。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在获取到表信息后，创建java脚本文件，并利用所述java脚本文件对抽取的表信息进行非空处理，获取经过非空处理的表信息。
3.根据权利要求2所述的方法，其特征在于，所述根据配置的字段信息将所述表信息装载入对应的目标表中，包括：
将不同平台的表字段信息进行匹配，通过设置主键比较每条数据是更新还是删除，并根据更新或删除结果将所述经过非空处理的表信息装载入对应的目标表中。
4.根据权利要求1所述的方法，其特征在于，所述数据库信息，包括：数据库名称和数据库类型；所述服务器参数信息包括：主机名称、端口号、用户名和密码。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
设置用户权限，根据用户权限确定用户是否具有待操作数据的操作权限，并当确定用户具有待操作数据的操作权限时，允许用户操作；反之，则拒绝用户的操作。
6.一种实现跨平台数据共享的***，其特征在于，所述***包括：
配置单元，用于根据数据库信息和服务器参数信息配置转换文件的数据源；其中，所述数据源包括：来源库数据源和目标库数据源；
表信息获取单元，用于新建表输入脚本文件，并在所述表输入脚本文件中编写sql语句，以进行表信息的抽取，获取表信息；
表信息载入单元，用于新建***更新脚本文件，配置字段信息和装载目标表信息，并根据配置的字段信息将所述表信息装载入对应的目标表中；
脚本文件连接单元，用于新建SQL脚本文件，编写删除语句，并按照预设的顺序依次连接所有的脚本文件；
作业任务执行单元，用于新建作业任务，设定作业调度时间，并根据所述作业任务将所有的脚本文件按顺序进行转换，实现跨平台数据共享。
7.根据权利要求6所述的***，其特征在于，所述***还包括：
表信息处理单元，用于在获取到表信息后，创建java脚本文件，并利用所述java脚本文件对抽取的表信息进行非空处理，获取经过非空处理的表信息。
8.根据权利要求7所述的***，其特征在于，所述表信息载入单元，根据配置的字段信息将所述表信息装载入对应的目标表中，包括：
将不同平台的表字段信息进行匹配，通过设置主键比较每条数据是更新还是删除，并根据更新或删除结果将所述经过非空处理的表信息装载入对应的目标表中。
9.根据权利要求6所述的***，其特征在于，所述数据库信息，包括：数据库名称和数据库类型；所述服务器参数信息包括：主机名称、端口号、用户名和密码。
10.根据权利要求6所述的***，其特征在于，所述***还包括：
权限判断单元，用于设置用户权限，根据用户权限确定用户是否具有待操作数据的操作权限，并当确定用户具有待操作数据的操作权限时，允许用户操作；反之，则拒绝用户的操作。
CN202011525975.8A 2020-12-22 2020-12-22 一种实现跨平台数据共享的方法 Pending CN112612783A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011525975.8A CN112612783A (zh) 2020-12-22 2020-12-22 一种实现跨平台数据共享的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011525975.8A CN112612783A (zh) 2020-12-22 2020-12-22 一种实现跨平台数据共享的方法

Publications (1)

Publication Number Publication Date
CN112612783A true CN112612783A (zh) 2021-04-06

Family

ID=75245395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011525975.8A Pending CN112612783A (zh) 2020-12-22 2020-12-22 一种实现跨平台数据共享的方法

Country Status (1)

Country Link
CN (1) CN112612783A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111324610A (zh) * 2020-02-19 2020-06-23 深圳市融壹买信息科技有限公司 一种数据同步的方法及装置
CN111400396A (zh) * 2020-02-26 2020-07-10 中国平安人寿保险股份有限公司 数据同步脚本的生成方法、装置及计算机可读存储介质
CN111597243A (zh) * 2020-05-15 2020-08-28 中国工商银行股份有限公司 基于数据仓库抽象数据加载的方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111324610A (zh) * 2020-02-19 2020-06-23 深圳市融壹买信息科技有限公司 一种数据同步的方法及装置
CN111400396A (zh) * 2020-02-26 2020-07-10 中国平安人寿保险股份有限公司 数据同步脚本的生成方法、装置及计算机可读存储介质
CN111597243A (zh) * 2020-05-15 2020-08-28 中国工商银行股份有限公司 基于数据仓库抽象数据加载的方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GAVIN: "kettle 入门实", HTTPS://ZHUANLAN.ZHIHU.COM/P/137383200, 20 May 2020 (2020-05-20), pages 1 - 27 *
叶涵: "kettle 入门之五 kettle 应用场景(增量***和更新", HTTPS://BLOG.CSDN.NET/QQ_43015592/ARTICLE/DETAILS/107470146, 20 July 2020 (2020-07-20), pages 1 - 7 *

Similar Documents

Publication Publication Date Title
CN111324610A (zh) 一种数据同步的方法及装置
US8881127B2 (en) Systems and methods to automatically generate classes from API source code
CN105447122A (zh) 一种基于多表关联可自主创建档案***的实现方法
US10095699B2 (en) Computer-readable recording medium, execution control method, and information processing apparatus
US20140222766A1 (en) System and method for database migration and validation
US20170351506A1 (en) Automating feature graduation
CN111737227B (zh) 数据修改方法及***
CN110069248A (zh) 接口数据的调用方法、装置、设备及计算机可读存储介质
CN112416907A (zh) 一种数据库表数据导入导出方法、终端设备及存储介质
CN112732828A (zh) 基于数据仓库工具的跨平台数据共享方法
CN114048188A (zh) 一种跨数据库的数据迁移***及方法
CN114443015A (zh) 一种基于数据库元数据的增删改查服务接口生成方法
CZ2017124A3 (cs) Způsob přenášení struktur a datových souborů mezi zdrojovým a cílovým systémem a systém k jeho provádění
CN109902085B (zh) 一种配置存储结构优化方法及***
CN116775613A (zh) 一种数据迁移方法、装置、电子设备及计算机可读介质
CN112612783A (zh) 一种实现跨平台数据共享的方法
CN111008036A (zh) 一种基于git的结构型数据版本管理***和方法
CN116049141A (zh) 一种基于多源异构数据的数据迁移方法及***
CN116069859A (zh) 数据库的增量数据同步方法、存储介质与计算机设备
CN112287021B (zh) 数据实时同步参数的生成、同步方法及装置、存储介质、终端
US20130132425A1 (en) Query definition apparatus and method for multi-tenant
CN109857390B (zh) 一种Git仓库文件注解***的注解传递方法
CN110609984B (zh) 一种Windows***中自动拆分谷歌key的方法及***
CN112597225B (zh) 基于集散模型的数据采集方法及装置
US20230281213A1 (en) System and method for data warehouse workload transformation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination