CN112395267B - 一种不停服务用户数据迁移切换方法 - Google Patents

一种不停服务用户数据迁移切换方法 Download PDF

Info

Publication number
CN112395267B
CN112395267B CN202011146281.3A CN202011146281A CN112395267B CN 112395267 B CN112395267 B CN 112395267B CN 202011146281 A CN202011146281 A CN 202011146281A CN 112395267 B CN112395267 B CN 112395267B
Authority
CN
China
Prior art keywords
data
day
new
database
updating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011146281.3A
Other languages
English (en)
Other versions
CN112395267A (zh
Inventor
罗子骞
余超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan XW Bank Co Ltd
Original Assignee
Sichuan XW Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan XW Bank Co Ltd filed Critical Sichuan XW Bank Co Ltd
Priority to CN202011146281.3A priority Critical patent/CN112395267B/zh
Publication of CN112395267A publication Critical patent/CN112395267A/zh
Application granted granted Critical
Publication of CN112395267B publication Critical patent/CN112395267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/219—Managing data history or versioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明一种不停服务用户数据迁移切换方法，包括：A.T日抽取T‑1日全量数据并将T‑1日的数据***新数据库；B.将数据新增控制开关更新为“2‑新旧数据库同时写入”；C.T+1日抽取T日增量数据，执行写入或更新操作；D.将数据维护控制开关更新为“2‑新旧数据库同时维护”；E.T+2日抽取T+1日增量数据，执行更新操作；F.将各个数据控制开关进行更新。本发明使用三批次迁移方法进行数据迁移，解决了数据在迁移过程中需要被在线业务使用(变更)需要停服进行迁移的问题。通过该方法数据迁移过程中，实时业务无需停机，即使数据信息发生新增、变更，不影响实时业务进行，数据迁移过程流畅，服务切换平稳可控。可极大提高在数据迁移过程中***的可用性。

Description

一种不停服务用户数据迁移切换方法
技术领域
本发明涉及计算机信息处理技术领域，尤其涉及一种不停服务用户数据迁移切换方法。
背景技术
为适应互联网发展模式，许多企业会进行用户中心***建设，在***建设过程中，对客户相关信息进行了重新建模，以满足日益复杂的客户信息采集需求。在此次项目实施过程中需要将历史数据按照新的数据模型迁移至用户中心数据库。
按照新的数据模型对庞大数据进行迁移，为了数据的完整一致性，往往选择停止服务进行数据迁移，但停服进行迁移，数据处理完成后需要立即完成服务切使用新的数据模型，整个过程耦合度高，实施过程复杂，如果失败回退风险成本高，可能对业务带来不可预估的损失。
发明内容
为解决数据迁移时需要停止生产服务，对业务连续性造成影响，减少业务中断的风险，本发明提供一种不停服务用户数据迁移切换方法，能够兼容新旧数据的使用，过渡期平滑，数据迁移过程中，线上服务不受影响。
本发明一种不停服务用户数据迁移切换方法，包括：
A.T日，数据仓库抽取T-1日的全量客户数据并按照数据模型整合，并且执行数据写入操作，将T-1日的数据***新数据库；
B.将数据新增控制开关更新为“2-新旧数据库同时写入”；
C.T+1日，数据仓库抽取T日增量数据并按数据模型整合；对新数据库不存在的数据执行数据写入操作；对新数据库已存在的数据，执行数据更新操作；
D.将数据维护控制开关更新为“2-新旧数据库同时维护”；
E.T+2日，数据仓库抽取T+1日增量数据并按数据模型整合；对新数据库已存在的数据，执行数据更新操作；
F.将数据查询控制开关更新为“1-查询新数据库”，将数据新增控制开关更新为“1-只写新数据库”，将数据维护控制开关更新为“1-只维护新数据库”。
本发明使用三批次迁移方法进行数据迁移(T-1日全量数据迁移，T日增量数据迁移，T+1日增量数据迁移)，能够在数据迁移过程中，实时业务无需停机，即使数据信息发生新增、变更，不影响实时业务进行，数据迁移过程流畅，服务切换平稳可控，可极大提高在数据迁移过程中***的可用性。
进一步的，所述步骤A；T日即当前交易日，T-1日即当前交易日的前一日，在T日抽取T-1日的全量客户数据，并按新数据模型整合，输出一个T-1日的全量数据文件；
将T-1日的全量数据***新数据库中，此时新数据库和旧数据库中同时存在T-1日的全量数据。
进一步的，所述步骤B:将应用服务数据新增控制开关更新为“2-新旧数据库同时写入”，数据新增控制开关更新后的新增数据同时写入新数据库和旧数据库中，新增数据能够在新数据库和旧数据库中保持一致。
但此步骤中新数据库中缺失了T日控制开关更新前的新增数据及T日维护数据，因此进一步的，所述步骤C：T+1日，数据仓库抽取T日增量数据并按数据模型整合，输出为T日增量数据文件；
将新数据库中不存在的T日增量数据写入新数据库中，对新数据库中已经存在的数据，根据T日增量数据文件中数据的更新时间，如果已有数据的更新时间早于数据仓库中提供的数据更新时间则更新对应行数据。
此时新数据库中就具有T日控制开关更新前的新增数据及T日维护数据，且新数据库和旧数据库中数据量对齐，新增数据均能保持一致。
进一步的，所述步骤D：将应用服务数据维护控制开关更新为“2-新旧数据库同时维护”，数据维护控制开关更新后的增量数据变更会在新数据库和旧数据库中同时留存更新，以此维护数据在新数据库和旧数据库中保持一致。
但此步骤中缺失了T+1日0时至控制开关更新前的维护数据，因此进一步的，所述步骤E：T+2日，数据仓库抽取T+1日增量数据并按数据模型整合；输出为T+1日增量数据文件；
根据T+1日增量数据文件中数据的更新时间，如果新数据库中已有数据的更新时间早于数据仓库中提供的数据更新时间则更新对应行数据。
此步骤执行完成后，新数据库和旧数据库中数据量对齐，数据信息对齐，新数据库和旧数据库中数据完全保持一致。
进一步的，所述步骤F：将应用服务数据查询控制开关更新为“1-查询新数据库”，所有数据使用均以新数据库作为数据源；
将应用服务数据新增控制开关更新为“1-只写新数据库”，所有数据新增均以新数据库作为数据源；
将应用服务数据维护控制开关更新为“1-只维护新数据库”，所有数据维护服务均以新数据库作为数据源。
本发明使用三批次迁移方法进行数据迁移(T-1日全量数据迁移，T日增量数据迁移，T+1日增量数据迁移)，解决了数据在迁移过程中需要被在线业务使用(变更)需要停服进行迁移的问题。通过该方法数据迁移过程中，实时业务无需停机，即使数据信息发生新增、变更，不影响实时业务进行，数据迁移过程流畅，服务切换平稳可控。可极大提高在数据迁移过程中***的可用性。
附图说明
图1为本发明一种不停服务用户数据迁移切换方法的流程图。
图2为本发明一种不停服务用户数据迁移切换方法的时间流程图。
具体实施方式
以下结合实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。
如图1和图2所示本发明一种不停服务用户数据迁移切换方法，包括：
A.T日抽取T-1日全量数据并将T-1日的数据***新数据库
在T日抽取T-1日的全量客户数据，并按新数据模型整合，输出一个T-1日的全量数据文件；(T日即当前交易日，T-1日即当前交易日的前一日)
将T-1日的全量数据***新数据库中，此时新数据库和旧数据库中同时存在T-1日的全量数据。
B.将数据新增控制开关更新为“2-新旧数据库同时写入”
将应用服务数据新增控制开关更新为“2-新旧数据库同时写入”，数据新增控制开关更新后的新增数据同时写入新数据库和旧数据库中，新增数据能够在新数据库和旧数据库中保持一致。
C.T+1日抽取T日增量数据，执行写入或更新操作
T+1日，数据仓库抽取T日增量数据并按数据模型整合，输出为T日增量数据的文件；
将新数据库中不存在的T日增量数据写入新数据库中，对新数据库中已经存在的数据，根据T日增量数据文件中数据的更新时间，如果已有数据的更新时间早于数据仓库中提供的数据更新时间则更新对应行数据。
D.将数据维护控制开关更新为“2-新旧数据库同时维护”
将应用服务数据维护控制开关更新为“2-新旧数据库同时维护”，数据维护控制开关更新后的增量数据变更会在新数据库和旧数据库中同时留存更新，以此维护数据在新数据库和旧数据库中保持一致。
E.T+2日抽取T+1日增量数据，执行更新操作
T+2日，数据仓库抽取T+1日增量数据并按数据模型整合；输出为T+1日增量数据的文件；
根据T+1日增量数据文件中数据的更新时间，如果新数据库中已有数据的更新时间早于数据仓库中提供的数据更新时间则更新对应行数据。
F.将各个数据控制开关进行更新
将应用服务数据查询控制开关更新为“1-查询新数据库”，所有数据使用均以新数据库作为数据源；
将应用服务数据新增控制开关更新为“1-只写新数据库”，所有数据新增均以新数据库作为数据源；
将应用服务数据维护控制开关更新为“1-只维护新数据库”，所有数据维护服务均以新数据库作为数据源。
到此旧数据库下线，迁移切换完成。
本发明可直接运用于用户信息***业务数据进行数据模型改造、数据移行迁移场景，此方法兼容了新旧数据的使用，过渡期平滑，数据迁移过程中，线上服务不受影响，迁移数据完整，能够使生产业务保持连续进行。

Claims (4)

1.一种不停服务用户数据迁移切换的方法，其特征在于，包括：
A.T日，数据仓库抽取T-1日的全量客户数据并按照数据模型整合，并且执行数据写入操作，将T-1日的数据***新数据库；
B.将应用服务数据新增控制开关更新为“2-新旧数据库同时写入”，数据新增控制开关更新后的新增数据同时写入新数据库和旧数据库中，新增数据能够在新数据库和旧数据库中保持一致；
C.T+1日，数据仓库抽取T日增量数据并按数据模型整合；对新数据库不存在的数据执行数据写入操作；对新数据库已存在的数据，执行数据更新操作；
D.将应用服务数据维护控制开关更新为“2-新旧数据库同时维护”，数据维护控制开关更新后的增量数据变更会在新数据库和旧数据库中同时留存更新，以此维护数据在新数据库和旧数据库中保持一致；
E.T+2日，数据仓库抽取T+1日增量数据并按数据模型整合；对新数据库已存在的数据，执行数据更新操作；
F.将应用服务数据查询控制开关更新为“1-查询新数据库”，所有数据使用均以新数据库作为数据源；
将应用服务数据新增控制开关更新为“1-只写新数据库”，所有数据新增均以新数据库作为数据源；
将应用服务数据维护控制开关更新为“1-只维护新数据库”，所有数据维护服务均以新数据库作为数据源。
2.如权利要求1所述的一种不停服务用户数据迁移切换的方法，其特征在于，所述步骤A；T日即当前交易日，T-1日即当前交易日的前一日，在T日抽取T-1日的全量客户数据，并按新数据模型整合，输出一个T-1日的全量数据文件；
将T-1日的全量数据***新数据库中，此时新数据库和旧数据库中同时存在T-1日的全量数据。
3.如权利要求1所述的一种不停服务用户数据迁移切换的方法，其特征在于，所述步骤C：T+1日，数据仓库抽取T日增量数据并按数据模型整合，输出为T日增量数据文件；
将新数据库中不存在的T日增量数据写入新数据库中，对新数据库中已经存在的数据，根据T日增量数据文件中数据的更新时间，如果已有数据的更新时间早于数据仓库中提供的数据更新时间则更新对应行数据。
4.如权利要求1所述的一种不停服务用户数据迁移切换的方法，其特征在于，所述步骤E：T+2日，数据仓库抽取T+1日增量数据并按数据模型整合；输出为T+1日增量数据文件；
根据T+1日增量数据文件中数据的更新时间，如果新数据库中已有数据的更新时间早于数据仓库中提供的数据更新时间则更新对应行数据。
CN202011146281.3A 2020-10-23 2020-10-23 一种不停服务用户数据迁移切换方法 Active CN112395267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011146281.3A CN112395267B (zh) 2020-10-23 2020-10-23 一种不停服务用户数据迁移切换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011146281.3A CN112395267B (zh) 2020-10-23 2020-10-23 一种不停服务用户数据迁移切换方法

Publications (2)

Publication Number Publication Date
CN112395267A CN112395267A (zh) 2021-02-23
CN112395267B true CN112395267B (zh) 2023-06-13

Family

ID=74596310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011146281.3A Active CN112395267B (zh) 2020-10-23 2020-10-23 一种不停服务用户数据迁移切换方法

Country Status (1)

Country Link
CN (1) CN112395267B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729204A (zh) * 2012-10-16 2014-04-16 阿里巴巴集团控股有限公司 一种网络平台中应用更新的数据在线迁移方法和装置
CN104850611A (zh) * 2015-05-12 2015-08-19 浪潮集团有限公司 一种使用kettle从关系型数据库向非关系型数据库定时增量更新数据的方法
CN105373621A (zh) * 2015-12-07 2016-03-02 高新兴科技集团股份有限公司 一种快速的跨数据库***的数据增量迁移方法
WO2018120939A1 (zh) * 2016-12-29 2018-07-05 华为技术有限公司 一种存储***扩容后数据迁移的方法、存储***
CN110377580A (zh) * 2019-07-25 2019-10-25 中国工商银行股份有限公司 一种数据迁移方法、装置及设备
CN111198869A (zh) * 2019-12-17 2020-05-26 未鲲(上海)科技服务有限公司 数据迁移方法、装置、设备及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107179879B (zh) * 2016-03-11 2020-04-03 伊姆西Ip控股有限责任公司 用于存储设备的数据迁移的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729204A (zh) * 2012-10-16 2014-04-16 阿里巴巴集团控股有限公司 一种网络平台中应用更新的数据在线迁移方法和装置
CN104850611A (zh) * 2015-05-12 2015-08-19 浪潮集团有限公司 一种使用kettle从关系型数据库向非关系型数据库定时增量更新数据的方法
CN105373621A (zh) * 2015-12-07 2016-03-02 高新兴科技集团股份有限公司 一种快速的跨数据库***的数据增量迁移方法
WO2018120939A1 (zh) * 2016-12-29 2018-07-05 华为技术有限公司 一种存储***扩容后数据迁移的方法、存储***
CN110377580A (zh) * 2019-07-25 2019-10-25 中国工商银行股份有限公司 一种数据迁移方法、装置及设备
CN111198869A (zh) * 2019-12-17 2020-05-26 未鲲(上海)科技服务有限公司 数据迁移方法、装置、设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
非结构化数据迁移工具的设计与实现;李志星;;电脑知识与技术(第09期);113-117 *
面向海量金融数据并行加载技术研究与实现;李永峰;《中国优秀硕士学位论文全文数据库信息科技辑》(第10期);I138-206 *

Also Published As

Publication number Publication date
CN112395267A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
US20210056123A1 (en) Near-zero downtime relocation of a pluggable database across container databases
CN105868343B (zh) 数据库迁移方法及***
CN110399356A (zh) 一种在线数据迁移方法、装置、计算设备及存储介质
CN105138635B (zh) 一种利用哈希值比对进行数据增量复制的方法
CN101593185A (zh) 利用同步进行数据恢复的方法和***
CN102193991B (zh) 基于oltp的数据修改方法、***及图形数据库服务器
CN102752372A (zh) 一种基于文件的数据库同步方法
CN110377580B (zh) 一种数据迁移方法、装置及设备
CN107562931A (zh) 数据抽取***和数据抽取方法
CN110597821B (zh) 数据仓库表结构变更方法及装置
US20150026115A1 (en) Creation of change-based data integration jobs
JPH08223614A (ja) 交換機のデータ引き継ぎ方法およびシステム
CN112395267B (zh) 一种不停服务用户数据迁移切换方法
CN104517014B (zh) 一种基于Pro/E的产品自动装配设计***
CN112162992A (zh) 一种高效的数据库更新***及方法
CN113204811A (zh) 一种关联或追溯bim模型修改前后信息的方法
CN103729301A (zh) 数据处理方法和装置
CN110879812A (zh) 一种电商平台中基于spark的数据同步方法
CN109032580A (zh) 一种通用数据报审与分析软件的制作方法
CN106648648B (zh) 基于Zookeeper的配置管理方法及***
CN111400108A (zh) 搭建HBase灾备集群的方法
CN109284276A (zh) 一种基于大数据架构的数据库加速方法
CN108897563B (zh) 一种继电保护装置中点表转换方法
CN101217325B (zh) 一种广播电台集成、设计、运行、测控的仿真方法
CN110555218A (zh) 生产模型更新***、装置、方法和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant