CN108595485A - 一种双数据中心的数据更新方法及*** - Google Patents
一种双数据中心的数据更新方法及*** Download PDFInfo
- Publication number
- CN108595485A CN108595485A CN201810207530.1A CN201810207530A CN108595485A CN 108595485 A CN108595485 A CN 108595485A CN 201810207530 A CN201810207530 A CN 201810207530A CN 108595485 A CN108595485 A CN 108595485A
- Authority
- CN
- China
- Prior art keywords
- data
- data center
- center
- token
- mirror image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种双数据中心的数据更新方法及***，属于数据库应用中数据复制和备灾技术领域。本发明首先在应用***中建立登录用户自动路由分配表，用户登录应用***时，根据所述自动路由分配表将用户自动路由到所属数据中心的应用***进行业务操作；建立数据变更权限令牌；待更新数据的数据中心A获得某数据记录的数据变更权限令牌，所述令牌在任意时刻只有一个数据中心拥有，拥有所述令牌才能对该数据中心的某数据记录进行变更操作；数据中心A更新数据；将数据中心A的数据变更日志发送到数据中心B，数据中心B接收数据中心A发送的数据变更日志并在本地数据中心执行，完成镜像数据同步。本发明能够有效避免镜像破坏事件的出现。
Description
技术领域
本发明属于数据库应用中数据复制和备灾技术领域，具体涉及一种双数据中心更新方法及***。
背景技术
在大型数据库应用***中，基于对数据灾备、就近提供更高效数据库服务等考虑，需要在相隔一定距离的地点建设两个数据中心。两个数据中心都承担数据变更类型的业务处理服务，同时相互镜像同步数据。这样，既可以基于就近原则增大数据库服务能力，降低访问数据库的网络带宽需求，也可以在一个数据中心出现灾难性事件时，另外一个异地的镜像数据中心临时性地提供全部数据访问服务。
对于数据复制技术和镜像数据复制技术，目前基于数据变更日志的数据复制技术已经商业化。如：Oracle的OGG、IBM的CDC等产品大都获得广泛应用。以Oracle的OGG为例，本地OGG进程监控本地数据库的数据变更日志，将数据库变更信息以事务为单元传递到远程OGG，远程OGG接收后在远程数据库中执行，完成一次数据复制，这就是数据复制技术。如果通过OGG的配置，将远程数据库的数据变更，也复制到本地数据库中来，使得两个数据库保持数据一致，这就是镜像数据复制技术。
在镜像数据复制过程中，往往会发生镜像破坏事件。仍然以Oracle的OGG为例，两个镜像同步数据的数据中心A和数据中心B，需要同时支持进行变更数据类型的业务处理。如，数据中心A将数据X修改为数据Y状态，在数据中心A的OGG将此变更信息向数据中心B同步的过程中，如果与此同时数据中心B将其数据X修改为数据Z状态，并且数据中心B的OGG向数据中心A同步此变更信息。待两次数据同步完成后，数据中心A的数据X变为数据Z状态，而数据中心B的数据X变为数据Y状态。这时，将形成数据中心A和数据中心B的不一致，镜像遭到破坏，这就是镜像破坏事件。
发明内容
针对现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种能够有效避免镜像破坏事件出现的双数据中心的数据更新方法及***。
为解决上述技术问题，本发明采用的技术方案如下：
一种双数据中心的数据更新方法，包括以下步骤：
在应用***中建立登录用户自动路由分配表，用户登录应用***时，根据所述自动路由分配表将用户自动路由到所属数据中心相应的应用***进行业务操作，在任意时刻，一个单位的用户只能在一个数据中心相应的应用***操作；
建立数据变更权限令牌；
数据中心A获取待更新的数据记录的变更权限令牌，所述令牌在任意时刻只有一个数据中心拥有，拥有所述令牌才能对该数据中心的数据记录进行变更操作；
数据中心A更新待更新的数据记录；
将数据中心A的数据变更日志发送到数据中心B，数据中心B接收数据中心A发送的数据变更日志并在本地数据中心执行，完成镜像数据同步；所述令牌也随数据在数据中心B完成镜像同步。
如上所述双数据中心的数据更新方法，其中，所述方法将两个数据中心数据库中的数据划分为三个级别：本地数据、单位级数据和全局性无法细分到单位级数据；所述本地数据是指只与本地数据中心相关的数据，独立存储在单独的数据表，不纳入数据同步范围；所述单位级数据是指需要镜像同步的数据；所述全局性无法细分到单位级的数据需要镜像同步，但只允许一个数据中心进行变更操作。
如上所述双数据中心的数据更新方法，其中，所述方法还包括在两个数据中心均建立黑名单表的步骤，将所述本地数据在两个数据中心均设置过滤规则，将所述黑名单表中数据不纳入同步。
如上所述双数据中心的数据更新方法，其中，禁止对数据中心数据库中纳入同步范围的数据表创建触发器。
如上所述双数据中心的数据更新方法，其中，两个数据中心数据库中所有需要同步的数据表创建主键或唯一索引。
如上所述双数据中心的数据更新方法，其中，所述数据变更权限令牌建立在数据库中数据记录行的字段上或带关联子表的主表数据记录级别上，令牌影响的最小数据范围为数据记录级。
一种双数据中心的数据更新***，包括两个镜像同步数据的数据中心，分别为数据中心A和数据中心B，还包括用于在应用***中建立登录用户自动路由分配表，用户登录应用***时，根据所述自动路由分配表将用户自动路由到所属数据中心相应的应用***进行业务操作的自动路由分配装置；
所述数据中心包括用于建立数据变更权限令牌的令牌建立装置；
用于获得所述数据变更权限令牌的令牌获取装置，所述令牌在任意时刻只有一个数据中心拥有，拥有所述令牌才能对数据中心的数据记录进行变更操作；
用于更新数据中心数据库中数据及数据变更权限令牌的更新装置；
用于将更新数据后的数据中心A的数据变更日志发送到数据中心B，数据中心B接收数据中心A发送的数据变更日志并在本地数据中心执行，完成镜像数据同步，所述令牌也随数据在数据中心B完成镜像同步的同步装置。
如上所述的双数据中心的数据更新***，其中，所述数据中心还包括用于将数据库中数据划分成本地数据、单位级数据和全局性无法细分到单位级数据的数据划分装置，所述本地数据是指只与本地数据中心相关的数据，独立存储在单独的数据表，不纳入数据同步范围；所述单位级数据是指需要镜像同步的数据；所述全局性无法细分到单位级数据需要镜像同步，但只允许一个数据中心进行变更操作。
如上所述的双数据中心的数据更新***，其中，所述数据中心还包括用于在数据中心建立黑名单表的黑名单创建装置，将所述本地数据存储在黑名单表中。
如上所述的双数据中心的数据更新***，其中，所述数据中心还包括用于设置过滤规则，将所述黑名单表中数据不纳入同步的过滤装置。
如上所述的双数据中心的数据更新***，其中，所述数据中心还包括用于设置过滤规则，将所述黑名单表中数据不纳入同步的过滤装置。
本发明所述方法及***，解决了基于数据库复制技术下的双数据中心既可镜像同步数据，又可同时进行变更数据类型的业务处理的情况下，避免镜像破坏事件出现，保持镜像状态。
附图说明
图1是具体实施方式中双数据中心的数据更新***的结构框图；
图2是具体实施方式中双数据中心的数据更新方法的流程图。
具体实施方式
本发明提出一套方案，解决基于数据库复制技术下的双数据中心既可镜像同步数据，又可同时进行变更数据类型的业务处理的情况下，避免镜像破坏事件出现，保持镜像状态。下面结合附图对本发明的具体实施方式进行详细说明。
如图1所示，本实施方式中双数据中心的数据更新***，包括两个镜像同步数据的数据中心，分别为数据中心A和数据中心B和自动路由分配装置1。每个数据中心均包括令牌建立装置2、令牌获取装置3、更新装置4和同步装置5。
自动路由分配装置1用于在应用***中建立登录用户自动路由分配表，用户登录应用***时，根据所述自动路由分配表将用户自动路由到所属数据中心相应的应用***进行业务操作。以确保一个单位的用户在任意时刻，只在一个数据中心操作业务。
令牌建立装置2用于建立数据变更权限令牌。所述数据变更权限令牌建立在数据库中数据记录行的字段上或带关联子表的主表数据记录级别上，令牌影响的最小数据范围为数据记录级。
令牌获取装置3用于获得数据记录级别的数据变更权限令牌，所述令牌为一种获得数据记录级的变更数据权限的判断逻辑，在任意时刻只有一个数据中心拥有，拥有所述令牌才能对数据中心的数据记录进行变更操作。
更新装置4用于更新数据中心数据库中的数据。
同步装置5用于将更新数据后的数据中心A的数据变更日志发送到数据中心B，数据中心B接收数据中心A发送的数据变更日志并在本地数据中心执行，完成镜像数据的同步。数据变更权限令牌随数据完成镜像同步。
每个数据中心均还包括：数据划分装置6、黑名单创建装置7和过滤装置8。数据划分装置6用于将数据库中数据划分成本地数据、单位级数据和全局性无法细分到单位级数据的，本地数据是指只与本地数据中心相关的数据，独立存储在单独的数据表，不纳入数据同步范围；单位级数据是指需要镜像同步的数据；全局性无法细分到单位级数据需要镜像同步但只允许一个数据中心进行变更操作。黑名单创建装置7用于在数据中心建立黑名单，将所述本地数据存储在黑名单表中。过滤装置8用于设置过滤规则，将所述黑名单表中的数据不纳入同步。
如图2所示，本实施方式中双数据中心的数据更新方法包括以下步骤：
本实施方式中，为更好地防止镜像破坏事件的发生，在数据中心数据库设计时，遵从以下规则：
数据划分装置6将数据中心数据库中的数据划分为三个级别：本地数据、单位级数据和全局性无法细分到单位级数据；所述本地数据是指只与本地数据中心相关的数据，包括用于记录本地文件目录、本地机器情况等，独立存储在单独的数据表，不纳入数据同步范围；所述单位级数据是指需要镜像同步的数据；所述全局性无法细分到单位级数据需要镜像同步，但只允许一个数据中心进行变更操作。
黑名单创建装置7在两个数据中心均建立黑名单表，将所述本地数据和所述全局性无法细分到单位级数据存储在黑名单表中，过滤装置8在两个数据中心均设置过滤规则，将所述黑名单表中数据不纳入同步。
禁止对数据中心数据库中纳入同步范围的数据表创建触发器，以防止出现同步震荡事件。
两个数据中心数据库中所有需要同步的数据表创建主键或唯一索引，在提升数据同步性能的同时，缩短数据库变更日志的同步在途时间。
(1)自动路由分配装置1在应用***中建立登录用户自动路由分配表，用户登录应用***时，根据所述自动路由分配表将用户自动路由到所属数据中心相应的应用***进行业务操作。确保一个单位的用户在任意时刻，只在一个数据中心操作业务。如行政事业单位的预算单位级、银行的储蓄所级等等，这个单位级别与业务***登录用户的单位级别相一致。
(2)令牌建立装置2建立数据变更权限令牌。所述数据变更权限令牌建立在数据库中数据记录行的字段上或带关联子表的主表数据记录级别上，令牌影响的最小数据范围为数据记录级。
(3)待更新数据的数据中心A的令牌获取装置3获得数据记录级别的数据变更权限令牌，某数据记录的所述令牌在任意时刻只有一个数据中心拥有，拥有所述令牌才能对该数据中心的数据进行变更操作。
所述数据变更权限令牌建立在数据库中数据记录行上的某些字段上，令牌影响的最小数据范围为数据记录级。
(4)数据中心A的更新装置4更新数据。
(5)同步装置5将数据中心A的数据变更日志发送到数据中心B，数据中心B接收数据中心A发送的数据变更日志并在本地数据中心执行，完成镜像数据同步。数据变更权限令牌随数据完成镜像同步。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种双数据中心的数据更新方法，包括以下步骤：
在应用***中建立登录用户自动路由分配表，用户登录应用***时，根据所述自动路由分配表将用户自动路由到所属数据中心相应的应用***进行业务操作，在任意时刻，一个单位的用户只能在一个数据中心相应的应用***操作；
建立数据变更权限令牌；
数据中心A获取待更新的数据记录的变更权限令牌，所述令牌在任意时刻只有一个数据中心拥有，拥有所述令牌才能对该数据中心的数据记录进行变更操作；
数据中心A更新待更新的数据记录；
将数据中心A的数据变更日志发送到数据中心B，数据中心B接收数据中心A发送的数据变更日志并在本地数据中心执行，完成镜像数据同步；所述令牌也随数据在数据中心B完成镜像同步。
2.如权利要求1所述双数据中心的数据更新方法，其特征在于：所述方法将两个数据中心数据库中的数据划分为三个级别：本地数据、单位级数据和全局性无法细分到单位级数据；所述本地数据是指只与本地数据中心相关的数据，独立存储在单独的数据表，不纳入数据同步范围；所述单位级数据是指需要镜像同步的数据；所述全局性无法细分到单位级的数据需要镜像同步，但只允许一个数据中心进行变更操作。
3.如权利要求2所述双数据中心的数据更新方法，其特征在于：所述方法还包括在两个数据中心均建立黑名单表的步骤，将所述本地数据在两个数据中心均设置过滤规则，将所述黑名单表中数据不纳入同步。
4.如权利要求1至2中任一项所述双数据中心的数据更新方法，其特征在于：禁止对数据中心数据库中纳入同步范围的数据表创建触发器。
5.如权利要求1至2中任一项所述双数据中心的数据更新方法，其特征在于：两个数据中心数据库中所有需要同步的数据表创建主键或唯一索引。
6.如权利要求1至2中任一项所述双数据中心的数据更新方法，其特征在于：所述数据变更权限令牌建立在数据库中数据记录行的字段上或带关联子表的主表数据记录级别上，令牌影响的最小数据范围为数据记录级。
7.一种双数据中心的数据更新***，包括两个镜像同步数据的数据中心，分别为数据中心A和数据中心B，其特征在于：还包括用于在应用***中建立登录用户自动路由分配表，用户登录应用***时，根据所述自动路由分配表将用户自动路由到所属数据中心相应的应用***进行业务操作的自动路由分配装置(1)；
所述数据中心包括用于建立数据变更权限令牌的令牌建立装置(2)；
用于获得所述数据变更权限令牌的令牌获取装置(3)，所述令牌在任意时刻只有一个数据中心拥有，拥有所述令牌才能对数据中心的数据记录进行变更操作；
用于更新数据中心数据库中数据及数据变更权限令牌的更新装置(4)；
用于将更新数据后的数据中心A的数据变更日志发送到数据中心B，数据中心B接收数据中心A发送的数据变更日志并在本地数据中心执行，完成镜像数据同步，所述令牌也随数据在数据中心B完成镜像同步的同步装置(5)。
8.如权利要求7所述的双数据中心的数据更新***，其特征在于：所述数据中心还包括用于将数据库中数据划分成本地数据、单位级数据和全局性无法细分到单位级数据的数据划分装置(6)，所述本地数据是指只与本地数据中心相关的数据，独立存储在单独的数据表，不纳入数据同步范围；所述单位级数据是指需要镜像同步的数据；所述全局性无法细分到单位级数据需要镜像同步，但只允许一个数据中心进行变更操作。
9.如权利要求8所述的双数据中心的数据更新***，其特征在于：所述数据中心还包括用于在数据中心建立黑名单表的黑名单创建装置(7)，将所述本地数据存储在黑名单表中。
10.如权利要求9所述的双数据中心的数据更新***，其特征在于：所述数据中心还包括用于设置过滤规则，将所述黑名单表中数据不纳入同步的过滤装置(8)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810207530.1A CN108595485A (zh) | 2018-03-14 | 2018-03-14 | 一种双数据中心的数据更新方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810207530.1A CN108595485A (zh) | 2018-03-14 | 2018-03-14 | 一种双数据中心的数据更新方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108595485A true CN108595485A (zh) | 2018-09-28 |
Family
ID=63626242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810207530.1A Pending CN108595485A (zh) | 2018-03-14 | 2018-03-14 | 一种双数据中心的数据更新方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108595485A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109635038A (zh) * | 2018-11-20 | 2019-04-16 | 福建亿榕信息技术有限公司 | 一种结构化数据异地双读写方法 |
| CN109714394A (zh) * | 2018-12-05 | 2019-05-03 | 深圳店匠科技有限公司 | 跨境多服务端的信息同步方法、***和存储介质 |
| CN109857747A (zh) * | 2018-12-18 | 2019-06-07 | 百度在线网络技术（北京）有限公司 | 数据同步更新方法、***和计算机设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103888253A (zh) * | 2012-12-19 | 2014-06-25 | 中国电信股份有限公司 | 一种基于令牌机制的数据处理方法和*** |
| CN104301233A (zh) * | 2014-10-31 | 2015-01-21 | 易准科技发展（上海）有限公司 | 路由访问方法、路由访问***及用户终端 |
| WO2015094195A1 (en) * | 2013-12-17 | 2015-06-25 | Hitachi Data Systems Corporation | Transaction query engine |
| CN104852923A (zh) * | 2015-05-26 | 2015-08-19 | 汉柏科技有限公司 | 一种基于用户的路由隔离方法及*** |
-
2018
- 2018-03-14 CN CN201810207530.1A patent/CN108595485A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103888253A (zh) * | 2012-12-19 | 2014-06-25 | 中国电信股份有限公司 | 一种基于令牌机制的数据处理方法和*** |
| WO2015094195A1 (en) * | 2013-12-17 | 2015-06-25 | Hitachi Data Systems Corporation | Transaction query engine |
| CN104301233A (zh) * | 2014-10-31 | 2015-01-21 | 易准科技发展（上海）有限公司 | 路由访问方法、路由访问***及用户终端 |
| CN104852923A (zh) * | 2015-05-26 | 2015-08-19 | 汉柏科技有限公司 | 一种基于用户的路由隔离方法及*** |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109635038A (zh) * | 2018-11-20 | 2019-04-16 | 福建亿榕信息技术有限公司 | 一种结构化数据异地双读写方法 |
| CN109714394A (zh) * | 2018-12-05 | 2019-05-03 | 深圳店匠科技有限公司 | 跨境多服务端的信息同步方法、***和存储介质 |
| CN109857747A (zh) * | 2018-12-18 | 2019-06-07 | 百度在线网络技术（北京）有限公司 | 数据同步更新方法、***和计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020001108A1 (zh) | 基于区块链的数据处理方法和装置 | |
| CN102541990B (zh) | 利用虚拟分区的数据库重新分布方法和*** | |
| CN109493076A (zh) | 一种Kafka消息唯一消费方法、***、服务器及存储介质 | |
| CN108280080B (zh) | 一种数据同步方法、装置以及电子设备 | |
| Chodorow | Scaling MongoDB: Sharding, Cluster Setup, and Administration | |
| JP6086463B2 (ja) | ピアツーピアデータ複製用の方法、デバイス、およびシステム、ならびにマスタノード切替え用の方法、デバイス、およびシステム | |
| CN106777225A (zh) | 一种数据的迁移方法和*** | |
| CN108595485A (zh) | 一种双数据中心的数据更新方法及*** | |
| CN105677761A (zh) | 一种数据切分的方法及*** | |
| CN112612851B (zh) | 多中心数据同步方法及装置 | |
| CN110348826A (zh) | 异地多活容灾方法、***、设备及可读存储介质 | |
| CN114296836A (zh) | 远程配置*** | |
| CN104468722A (zh) | 一种航管训练***中训练数据分类存储的方法 | |
| KR20180012436A (ko) | 테이블 재구성시 트랜잭션의 성능저하를 최소화하는 온라인 데이터 베이스 관리 시스템 및 방법 | |
| CN106569929A (zh) | 一种应用于监控***的实时数据存取方法及*** | |
| CN105723365A (zh) | 用于优化索引、主数据库节点和订户数据库节点的方法 | |
| CN101201769B (zh) | 多设备文件同步***和方法 | |
| CN101610225B (zh) | 一种同步处理方法、***和装置 | |
| CN110581892B (zh) | 基于区块链的网络连接及恢复机制 | |
| CN102594874A (zh) | 一种同步处理方法和装置 | |
| CN112330110A (zh) | 一种基于MongoDB的教育平台管理***及装置 | |
| CN107885824A (zh) | 一种数据读写方法及*** | |
| CN111090527A (zh) | 一种基于mysql router 的MGR 读写分离和负载均衡方法 | |
| CN114385577A (zh) | 一种分布式文件*** | |
| CN110515779A (zh) | 一种实现自我修复的数据同步方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |