CN114385727B - 一种关于不定期新增表的多表数据汇总方法及计算机设备 - Google Patents

一种关于不定期新增表的多表数据汇总方法及计算机设备 Download PDF

Info

Publication number
CN114385727B
CN114385727B CN202111521803.8A CN202111521803A CN114385727B CN 114385727 B CN114385727 B CN 114385727B CN 202111521803 A CN202111521803 A CN 202111521803A CN 114385727 B CN114385727 B CN 114385727B
Authority
CN
China
Prior art keywords
flow
data
latest
database
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111521803.8A
Other languages
English (en)
Other versions
CN114385727A (zh
Inventor
易超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Coal Industry Group Information Technology Co ltd
Original Assignee
China Coal Industry Group Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Coal Industry Group Information Technology Co ltd filed Critical China Coal Industry Group Information Technology Co ltd
Priority to CN202111521803.8A priority Critical patent/CN114385727B/zh
Publication of CN114385727A publication Critical patent/CN114385727A/zh
Application granted granted Critical
Publication of CN114385727B publication Critical patent/CN114385727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种关于不定期新增表的多表数据汇总方法及计算机设备，该方法抽取有多个相同结构的新增流水表，汇总到目标库的新表，通过ETL工具获取源数据库中最新的表及最新表的数据更新，充分利用了ETL工具与存储过程算法以及数据库本身的***基础表，无需创建多个ETL流程，无需多次修改新增源表名，减少了开发的步骤，增加了程序执行的智能度，提高了数据效率及数据库资源的利用率。

Description

一种关于不定期新增表的多表数据汇总方法及计算机设备
技术领域
本发明属于ETL数据采集与数据库技术领域，涉及多表数据汇总，具体涉及一种关于不定期新增表的多表数据汇总方法及计算机设备。
背景技术
对于多张结构相同、不定期新增的流水表，目前的数据更新方法主要有两种，一种是通过多表UNION ALL起来，作为一个视图，新增后修改视图，再通过将增量数据的关键字段作为参数来获取通过ETL将增量数据传输或更新给目标库中的结果表；另一种就是建立KTR直接抽取最源新表的数据，等到有新增表时修改KTR的源表，完成新增表数据的抽取。
现有技术存在以下缺陷：数据迁移过程智能度低，仅仅通过ETL迁移增量数据，通过SQL数据库更新数据，没有充分利用ETL工具与数据库本身的特性，导致更新效率较低，两种方式都无法解决流水表不定期增加，即流水表名不固定的问题，因此增加了新的表，必须要修改源数据，造成数据更新流程后续维护时间成本很高，数据准确性低。
发明内容
针对现有技术存在的不足，本发明的目的在于，提供一种关于不定期新增表的多表数据汇总方法及计算机设备，解决现有技术中的方法数据更新效率及数据库资源的利用率有待进一步提升的技术问题。
为了解决上述技术问题，本发明采用如下技术方案予以实现：
一种关于不定期新增表的多表数据汇总方法，该方法包括以下步骤：
利用数据库***表与存储过程，从源数据库中获取不定期新增流水表的最新表；
利用ETL工具与数据库***表，将源数据库基础信息***表中含流水表信息的部分，同步到目标数据库，保证两边流水表信息一致；
利用ETL工具与存储过程，从源数据库抽取最新的流水表数据内容到目标数据表，保证数据更新。
利用ETL工具，用删除脚本在下一次更新的时候，将上一次抽取过来的最新流水表数据删除，并再次更新最新的数据；
利用ETL工具，保证目标数据库基础信息***表同步步骤在最新流水表全量更新之前，就能够完成自动化增量更新不定期新增流水表数据。
本发明还具有如下技术特征：
具体的，该方法包括以下步骤：
步骤1，利用数据库***基础信息表，查询该数据库相同数据结构的N个流水表中最新生成的流水表。
步骤2，根据拿到最新流水表的表名，将其拼接为查询语句，查询最新流水表的数据，将其在源数据库创建动态存储过程，保证实时能查询到最新流水表的最新数据。
步骤3，在目标库中创建该结构流水表的增量更新汇总表，结构为在流水表的基础上增加一个表名字段，将源数据库中N-1个流水表的全量数据初始化到目标汇总表，完成N-1个流水表的汇总信息初始化。
步骤4，调用步骤2中创建的存储过程，拿到源数据库最新即第N个流水表中的数据，创建转换1，将第N个流水表增量更新到目标库的汇总表，并记录连接第N个流水表的表名，同时写入到目标库的汇总表，得到累计N个流水表的汇总数据。
步骤5，在目标数据库新建与源数据库结构相同的基础信息表，用于存储源数据库的基础信息表。
步骤6，创建转换2数据抽取流程，只取源数据库***基础表中该结构的流水表表名等所有信息条目明细，全量同步到目标数据库，保证该类流水表表名等所有信息基础信息两个库一致，作为目标数据后续流水表增量更新的依据。
步骤7，根据步骤6中的目标数据库得到的流水表基础信息表，查询出源数据库中的最新的第N个流水表名，添加删除脚本在步骤4之前，删除目标库的汇总表中表名字段为的第N个流水表表名的数据，进行第N个流水表的旧数据清除，再执行步骤4，完成第N个流水表的新数据***。
步骤8，配置作业，将步骤6中更新基础信息表的转换2顺序放在第N个流水表数据抓取的转换2之前，就能够保证每次删除和更新的都是最新流水表的数据，当N新增为N+1、N+2乃至更多流水表时，该套流水表更新算法始终有效。
本发明还保护一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述的处理器执行所述的计算机程序时实现如上所述的关于不定期新增表的多表数据汇总方法。
本发明与现有技术相比，具有如下技术效果：
本发明的方法充分利用了数据库***表对数据库本省的信息监听，将源数据库新增表的表名信息作为目标数据更新数据的依据，将静态程序变成了动态程序，充分利用了ETL工具与存储过程算法，无需创建多个ETL流程，无需多次修改新增源表名，减少了开发的步骤，增加了程序执行的智能度，提高了数据更新效率及数据库资源的利用率。
附图说明
图1为本发明的关于不定期新增表的多表数据汇总方法流程示意图。
图2为最新改革表的基础信息。
图3为调用存储过程查询最新改革表的数据。
图4为导入历史数据的改革总表。
图5为改革表基础信息的数据抽取流程。
图6为改革表更新***改革总表的数据抽取流程。
图7为逻辑排序后基础信息表与改革表的整体数据抽取流程
图8为***最新月份改革表数据的改革总表。
以下结合实施例对本发明的具体内容作进一步详细解释说明。
具体实施方式
需要说明的是，本发明中的所有设备与数据库，如无特殊说明，全部均采用现有技术中已知的设备与数据库。
ETL，是英文Extract-Transform-Load的缩写，即抽取-转换-加载，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。
以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
实施例1：
本实施例给出一种关于不定期新增表的多表数据汇总方法，如图1所示，该方法包括以下步骤：
步骤1，利用数据库***基础信息表，查询该数据库相同数据结构的N个流水表中最新生成的流水表。
步骤2，根据拿到最新流水表的表名，将其拼接为查询语句，查询最新流水表的数据，将其在源数据库创建动态存储过程，保证实时能查询到最新流水表的最新数据。
步骤3，在目标库中创建该结构流水表的增量更新汇总表，结构为在流水表的基础上增加一个表名字段，将源数据库中N-1个流水表的全量数据初始化到目标汇总表，完成N-1个流水表的汇总信息初始化。
步骤4，调用步骤2中创建的存储过程，拿到源数据库最新即第N个流水表中的数据，创建转换1，将第N个流水表增量更新到目标库的汇总表，并记录连接第N个流水表的表名，同时写入到目标库的汇总表，得到累计N个流水表的汇总数据。
步骤5，在目标数据库新建与源数据库结构相同的基础信息表，用于存储源数据库的基础信息表。
步骤6，创建转换2数据抽取流程，只取源数据库***基础表中该结构的流水表表名等所有信息条目明细，全量同步到目标数据库，保证该类流水表表名等所有信息基础信息两个库一致，作为目标数据后续流水表增量更新的依据。
步骤7，根据步骤6中的目标数据库得到的流水表基础信息表，查询出源数据库中的最新的第N个流水表名，添加删除脚本在步骤4之前，删除目标库的汇总表中表名字段为的第N个流水表表名的数据，进行第N个流水表的旧数据清除，再执行步骤4，完成第N个流水表的新数据***。
步骤8，配置作业，将步骤6中更新基础信息表的转换2顺序放在第N个流水表数据抓取的转换2之前，就能够保证每次删除和更新的都是最新流水表的数据，当N新增为N+1、N+2乃至更多流水表时，该套流水表更新算法始终有效。
实施例2：
本实施例给出一种关于不定期新增表的多表数据汇总方法，如图1所示，该方法包括以下步骤：
利用数据库***表与存储过程，从源数据库中获取不定期新增流水表的最新表；
利用ETL工具与数据库***表，将源数据库基础信息***表中含流水表信息的部分，同步到目标数据库，保证两边流水表信息一致；
利用ETL工具与存储过程，从源数据库抽取最新的流水表数据内容到目标数据表，保证数据更新。
利用ETL工具，用删除脚本在下一次更新的时候，将上一次抽取过来的最新流水表数据删除，并再次更新最新的数据；
利用ETL工具，保证目标数据库基础信息***表同步步骤在最新流水表全量更新之前，就能够完成自动化增量更新不定期新增流水表数据。
实施例3：
本实施例给出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述的处理器执行所述的计算机程序时实现实施例1中的关于不定期新增表的多表数据汇总方法。
实施例4：
本实施例给出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述的处理器执行所述的计算机程序时实现实施例2中的关于不定期新增表的多表数据汇总方法。
应用例：
本应用例基于上述实施例1，给出的关于不定期新增表的多表数据汇总方法。本应用例为某企业改革工作***，每月会不定期生成一份改革表，展示改革相关进度，其结构相同，创建时间与更新时间为当月不确定的某一天，当月过后不会再变化，现通过本方法来解决改革表的汇总问题，涉及到的ETL工具、数据库类型与操作***等如下：
kettle8.2：kettle是一个开源的ETL工具，可对接包括传统数据库、文件、大数据平台、接口、流数据等数据源，本次选择Kettle作为本方法的ETL工具。
MYSQL8.0：MYSQL是开源的关系型数据库，目前的MySQL、SQLserver、Oracle等主流数据库都有自己的基础***表，都可以支持本方法，本次选择MySQL8.0作为本方法的源数据库和目标数据库。
window server2012：本应用例的方法基于ETL工具和数据库，在windows服务器和Linux服务器上均可实现，本次选择window server2012作为本方法的操作***环境。
本应用例的具体步骤如下：
步骤1，利用数据库***基础信息表，查询该数据库相同数据结构的N个流水表中最新生成的流水表。
步骤S101，基于MYSQL数据库特性，基础信息表为information_schema实例中的TABLES表，编写SQL，查询TABLES表中数据库为改革表所在库的每月不定期生成的所有改革表信息。
步骤S102，按照表的创建时间从新到旧排列，用limit函数限制取第一行，获取到最新改革表的所属数据库、表名、创建时间等信息，结果如图2所示。
步骤2，根据拿到最新流水表的表名，将其拼接为查询语句，查询最新流水表的数据，将其在源数据库创建动态存储过程，保证实时能查询到最新流水表的最新数据。
步骤S201，基于步骤1获取的最新改革表的信息，取其表名，由于是按最新创建时间去获取的，所以表名是随月度变化二变化的变量，将表名与动态SQL语句拼接为对不确定表名表内容的查询。
步骤S202，在源数据库中创建存储过程，调用存储过程的时候，将会获取最新的表名，拼接为查询语句，从而动态查询最新改革表的所有数据，结果如图3所示。
步骤3，在目标库中创建该结构流水表的增量更新汇总表，结构为在流水表的基础上增加一个表名字段，将源数据库中N-1个流水表的全量数据初始化到目标汇总表，完成N-1个流水表的汇总信息初始化。
步骤S301，在目标库中创建所有改革表的汇总表，表结构复制源数据库的，在源数据库的基础上，增加一个表名字段TABLE_NAME，用于区别数据来源于不同的改革表。
步骤S302，将源数据库历史数据整理好，汇总起来，并在前面加上对应改革表的表名，导入目标数据库的汇总表中，如图4所示。
步骤4，调用步骤2中创建的存储过程，拿到源数据库最新即第N个流水表中的数据，创建转换1，将第N个流水表增量更新到目标库的汇总表，并记录连接第N个流水表的表名，同时写入到目标库的汇总表，得到累计N个流水表的汇总数据。
步骤S401，创建转换1，在kettle创建源数据库和目标数据库的数据连接，保证改革表所在源数据库和目标数据在数据库层面打通。
步骤S402，调用步骤2中创建的存储过程，拿到源数据库最新改革表中的数据，写入到改革表最新月份的表输入组件。
步骤S403，在源数据库中，拿到最新改革表的表名，通过记录连接组件将步骤S42中的表输入字段和改革表最新月份表名连接起来。
步骤S404，通过字段选择组件，增加表名字段TABLE_NAME，再通过表输出组件输出到目标数据库的改革总表里。
步骤5，在目标数据库新建与源数据库结构相同的基础信息表，用于存储源数据库的基础信息表。
步骤S501，复制源数据库中information_schema实例中的TABLES表，在目标数据库中创建相同字段的基础信息表，用于存储所有改革表在源数据库中的基础信息。
步骤6，创建转换2数据抽取流程，只取源数据库***基础表中该结构的流水表表名等所有信息条目明细，全量同步到目标数据库，保证该类流水表表名等所有信息基础信息两个库一致，作为目标数据后续流水表增量更新的依据。
步骤S601，创建转换2，在kettle创建源数据库和目标数据库的数据连接，保证改革表所在源数据库和目标数据在数据库层面打通。
步骤S602，创建表输入，获取源数据库中所有改革表的信息，通过基础信息表字段选择，最终输出到目标数据库的基础信息表，并在最前面加上SQL删除脚本，删除所有的改革表的信息，使每次ktr执行的时候，更新到最新的改革表信息，保证改革表表名等所有信息基础信息两个库一致，作为目标数据后续改革表增量更新的依据，流程如图5所示。
步骤7，根据步骤6目标数据库得到的流水表基础信息表，查询出源数据库中的最新的第N个流水表名，添加删除脚本在步骤4之前，删除目标库的汇总表中表名字段为的第N个流水表表名的数据，进行第N个流水表的旧数据清除，再执行步骤4，完成第N个流水表的新数据***。
步骤S701：创建删除脚本，根据步骤6中拿到的改革表的基础信息表，因为目标数据库和源数据库对改革表的基础信息表是一致的，所以查询目标数据库的基础信息表就相当于查询源数据库的基础信息表，通过这种方式查询出源数据库最新的改革表的表名，删除目标数据库中汇总表中表名字段为最新改革表表名对应的数据。
步骤S702：执行转换1，就能够将最新的改革表数据***到改革汇总表，流程如图6所示。
步骤8，配置作业，将步骤6中更新基础信息表的转换2顺序放在第N个流水表数据抓取的转换2之前，就能够保证每次删除和更新的都是最新流水表的数据，当N新增为N+1、N+2乃至更多流水表时，该套流水表更新算法始终有效。
步骤S801：创建作业，将更新改革表基础信息表的转换2，放在更新删除最新改革表的转换1之前，保证每次删除和更新的都是最新改革表的数据，流程如图7所示。
步骤S802：运行作业，配置定时任务，更新到了最新月份改革表的数据，流程闭环成功，结果如图8所示。

Claims (4)

1.一种关于不定期新增表的多表数据汇总方法，其特征在于，该方法包括以下步骤：
步骤1，利用数据库***基础信息表，查询该数据库相同数据结构的N个流水表中最新生成的流水表；
步骤2，根据拿到最新流水表的表名，将其拼接为查询语句，查询最新流水表的数据，将其在源数据库创建动态存储过程，保证实时能查询到最新流水表的最新数据；
步骤3，在目标库中创建该结构流水表的增量更新汇总表，结构为在流水表的基础上增加一个表名字段，将源数据库中N-1个流水表的全量数据初始化到目标汇总表，完成N-1个流水表的汇总信息初始化；
步骤4，调用步骤2中创建的存储过程，拿到源数据库最新即第N个流水表中的数据，创建转换1，将第N个流水表增量更新到目标库的汇总表，并记录连接第N个流水表的表名，同时写入到目标库的汇总表，得到累计N个流水表的汇总数据；
步骤5，在目标数据库新建与源数据库结构相同的基础信息表，用于存储源数据库的基础信息表；
步骤6，创建转换2数据抽取流程，只取源数据库***基础表中该结构的所有信息条目明细，全量同步到目标数据库，保证该类所有信息的基础信息源数据库和目标数据库两个库一致，作为目标数据后续流水表增量更新的依据；
步骤7，根据步骤6中的目标数据库得到的流水表基础信息表，查询出源数据库中的最新的第N个流水表名，添加删除脚本在步骤4之前，删除目标库的汇总表中表名字段为的第N个流水表表名的数据，进行第N个流水表的旧数据清除，再执行步骤4，完成第N个流水表的新数据***；
步骤8，配置作业，将步骤6中更新基础信息表的转换2顺序放在第N个流水表数据抓取的转换2之前，就能够保证每次删除和更新的都是最新流水表的数据，当N新增为N+1、N+2乃至更多流水表时，该套流水表更新算法始终有效。
2.一种关于不定期新增表的多表数据汇总方法，其特征在于：
利用数据库***表与存储过程，从源数据库中获取不定期新增流水表的最新表；
利用ETL工具与数据库***表，将源数据库基础信息***表中含流水表信息的部分，同步到目标数据库，保证两边流水表信息一致；
利用ETL工具与存储过程，从源数据库抽取最新的流水表数据内容到目标数据表，保证数据更新；
利用ETL工具，用删除脚本在下一次更新的时候，将上一次抽取过来的最新流水表数据删除，并再次更新最新的数据；
利用ETL工具，保证目标数据库基础信息***表同步步骤在最新流水表全量更新之前，就能够完成自动化增量更新不定期新增流水表数据；
该方法包括以下步骤：
步骤1，利用数据库***基础信息表，查询该数据库相同数据结构的N个流水表中最新生成的流水表；
步骤2，根据拿到最新流水表的表名，将其拼接为查询语句，查询最新流水表的数据，将其在源数据库创建动态存储过程，保证实时能查询到最新流水表的最新数据；
步骤3，在目标库中创建该结构流水表的增量更新汇总表，结构为在流水表的基础上增加一个表名字段，将源数据库中N-1个流水表的全量数据初始化到目标汇总表，完成N-1个流水表的汇总信息初始化；
步骤4，调用步骤2中创建的存储过程，拿到源数据库最新即第N个流水表中的数据，创建转换1，将第N个流水表增量更新到目标库的汇总表，并记录连接第N个流水表的表名，同时写入到目标库的汇总表，得到累计N个流水表的汇总数据；
步骤5，在目标数据库新建与源数据库结构相同的基础信息表，用于存储源数据库的基础信息表；
步骤6，创建转换2数据抽取流程，只取源数据库***基础表中该结构的所有信息条目明细，全量同步到目标数据库，保证该类所有信息的基础信息源数据库和目标数据库两个库一致，作为目标数据后续流水表增量更新的依据；
步骤7，根据步骤6中的目标数据库得到的流水表基础信息表，查询出源数据库中的最新的第N个流水表名，添加删除脚本在步骤4之前，删除目标库的汇总表中表名字段为的第N个流水表表名的数据，进行第N个流水表的旧数据清除，再执行步骤4，完成第N个流水表的新数据***；
步骤8，配置作业，将步骤6中更新基础信息表的转换2顺序放在第N个流水表数据抓取的转换2之前，就能够保证每次删除和更新的都是最新流水表的数据，当N新增为N+1、N+2乃至更多流水表时，该套流水表更新算法始终有效。
3.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述的处理器执行所述的计算机程序时实现如权利要求1所述的关于不定期新增表的多表数据汇总方法。
4.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述的处理器执行所述的计算机程序时实现如权利要求2所述的关于不定期新增表的多表数据汇总方法。
CN202111521803.8A 2021-12-13 2021-12-13 一种关于不定期新增表的多表数据汇总方法及计算机设备 Active CN114385727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111521803.8A CN114385727B (zh) 2021-12-13 2021-12-13 一种关于不定期新增表的多表数据汇总方法及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111521803.8A CN114385727B (zh) 2021-12-13 2021-12-13 一种关于不定期新增表的多表数据汇总方法及计算机设备

Publications (2)

Publication Number Publication Date
CN114385727A CN114385727A (zh) 2022-04-22
CN114385727B true CN114385727B (zh) 2024-04-30

Family

ID=81196033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111521803.8A Active CN114385727B (zh) 2021-12-13 2021-12-13 一种关于不定期新增表的多表数据汇总方法及计算机设备

Country Status (1)

Country Link
CN (1) CN114385727B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126753A (zh) * 2016-08-23 2016-11-16 易联众信息技术股份有限公司 基于大数据的增量抽取的方法
WO2020233255A1 (zh) * 2019-07-12 2020-11-26 之江实验室 一种基于通用数据模型的多中心医疗数据结构标准化***
CN112002384A (zh) * 2020-07-14 2020-11-27 金蝶医疗软件科技有限公司 病历信息的汇总方法、装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9430505B2 (en) * 2011-04-18 2016-08-30 Infosys Limited Automated data warehouse migration

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126753A (zh) * 2016-08-23 2016-11-16 易联众信息技术股份有限公司 基于大数据的增量抽取的方法
WO2020233255A1 (zh) * 2019-07-12 2020-11-26 之江实验室 一种基于通用数据模型的多中心医疗数据结构标准化***
CN112002384A (zh) * 2020-07-14 2020-11-27 金蝶医疗软件科技有限公司 病历信息的汇总方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种通用的多数据库间数据抽取方法及应用;刘如九;张振山;柴天佑;;北京交通大学学报;20080815(第04期);全文 *
基于ETL的数据仓库ODS数据查询;李宝林;;江西科学;20101215(第06期);全文 *

Also Published As

Publication number Publication date
CN114385727A (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
US11176140B2 (en) Updating a table using incremental and batch updates
JP7410181B2 (ja) ハイブリッド・インデックス作成方法、システム、プログラム
EP2610765B1 (en) Systems and methods for migrating database data
EP3495961B1 (en) System and methods for migrating database data by using an image copy
US9916313B2 (en) Mapping of extensible datasets to relational database schemas
US9047330B2 (en) Index compression in databases
CN111651519B (zh) 数据同步方法、数据同步装置、电子设备及存储介质
US20200364185A1 (en) Method for data replication in a data analysis system
CN111324610A (zh) 一种数据同步的方法及装置
CN110795499B (zh) 基于大数据的集群数据同步方法、装置、设备及存储介质
US8108431B1 (en) Two-dimensional data storage system
US11327999B2 (en) Reorganization of partition by growth space with LOB columns
CN104021145A (zh) 一种混合业务并发访问的方法和装置
US10303786B2 (en) Retrieving and displaying data from a columnar database
US10409799B2 (en) Supporting updatable repeated values over variable schema
CN114385727B (zh) 一种关于不定期新增表的多表数据汇总方法及计算机设备
CN103809915B (zh) 一种磁盘文件的读写方法和装置
CN112131214A (zh) 数据写入、数据查询的方法、***、设备和存储介质
WO2023272895A1 (zh) 一种数据和日志一体化的值日志实现方法、装置、设备及存储介质
CN109358817B (zh) 用于复制数据的方法、装置和***
US20200327146A1 (en) Immutable partitioning for databases
US20240241877A1 (en) Concurrent optimistic transactions for tables with deletion vectors
Bono Historical seismometry database project: A comprehensive relational database for historical seismic records
CN117453808A (zh) 数据库的数据同步方法、装置、设备及介质
CN105183922A (zh) 一种高并发的存储装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant