CN111708787A - 多中心业务数据管理*** - Google Patents

多中心业务数据管理*** Download PDF

Info

Publication number
CN111708787A
CN111708787A CN202010376839.0A CN202010376839A CN111708787A CN 111708787 A CN111708787 A CN 111708787A CN 202010376839 A CN202010376839 A CN 202010376839A CN 111708787 A CN111708787 A CN 111708787A
Authority
CN
China
Prior art keywords
data
service data
data center
center
update log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010376839.0A
Other languages
English (en)
Inventor
胡逸云
李玉山
宋徽
杨青
魏程
潘多磊
范文君
王晓光
宫晓峰
刘莹
马闯
任安建
游定平
段恋
吕景隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peoples Insurance Company of China
Original Assignee
Peoples Insurance Company of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peoples Insurance Company of China filed Critical Peoples Insurance Company of China
Priority to CN202010376839.0A priority Critical patent/CN111708787A/zh
Publication of CN111708787A publication Critical patent/CN111708787A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2379Updates performed during online database operations; commit processing
    • G06F16/2386Bulk updating operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开了一种多中心业务数据管理***。该***包括:第一前端服务器集群、第一数据中心、第二前端服务器集群和第二数据中心,其中,第一前端服务器集群,用于接收目标应用的第一业务数据写入请求,并发送至第一数据中心;第一数据中心,用于根据第一业务数据写入请求进行第一写操作并写第一数据更新日志,以及根据第一数据更新日志将第一业务数据同步到第二数据中心;第二前端服务器集群,用于接收目标应用的第二业务数据写入请求,并发送至第二数据中心;第二数据中心,用于根据第二业务数据写入请求进行第二写操作并写第二数据更新日志,以及根据第二数据更新日志将第二业务数据同步到第一数据中心。

Description

多中心业务数据管理***
技术领域
本申请涉及计算机技术领域,尤其涉及一种多中心业务数据管理***。
背景技术
目前,随着计算机技术的发展,分布式数据库的应用越来越广泛。分布式数据库不仅解决了传统数据库在存储空间上难以扩展的问题以及高度并发访问的瓶颈问题,同时通过数据冗余的方法,很好的确保了数据的完整性和安全性,提供强大的容灾措施,在出现重大问题后,可以很快地进行数据恢复。
相关技术中,分布式数据库可以通过“一主多备”方式实现数据冗余,“一主多备”可以是一个主节点和至少一个备份节点。主节点可以具备数据读写能力,备份节点可以将主节点的数据同步过来,并可以具备读数据的能力。企业为便于统一管理各区域的业务数据,分布式数据库通常基于单服务器集群、多数据节点的方式部署,即,单个服务器集群包括一个主节点和多个备份节点。
但这种部署方式,在跨区域访问数据库时,可能造成访问延迟过大,访问效率低下等问题。
发明内容
本说明书实施例提供一种多中心管理***,以解决现有技术中在跨区域访问数据库时,可能造成访问延迟过大,访问效率低下的问题。
本说明书实施例采用下述技术方案:
一种多中心业务数据管理***,包括:
第一前端服务器集群、第一数据中心、第二前端服务器集群和第二数据中心,其中,
所述第一前端服务器集群,用于接收目标应用的第一业务数据写入请求,并发送至所述第一数据中心;
所述第一数据中心,用于根据所述第一业务数据写入请求进行第一写操作并写第一数据更新日志,以及根据所述第一数据更新日志将第一业务数据同步到所述第二数据中心;其中,所述第一数据更新日志包括记录所述第一写操作,以及记录根据所述第一写操作写入的所述第一业务数据;
所述第二前端服务器集群,用于接收所述目标应用的第二业务数据写入请求,并发送至所述第二数据中心;
所述第二数据中心,用于根据所述第二业务数据写入请求进行第二写操作并写第二数据更新日志,以及根据所述第二数据更新日志将第二业务数据同步到所述第一数据中心;其中,所述第二数据更新日志包括记录所述第二写操作,以及根据所述第二写操作写入的所述第二业务数据。
可选的,在一种实施方式中,所述第一数据中心发布所述第一数据更新日志,以便所述第二数据中心订阅所述第一数据更新日志并基于所述第一数据更新日志将所述第一业务数据写入到所述第二数据中心,以对所述第一业务数据进行同步;
所述第二数据中心发布所述第二数据更新日志,以便所述第一数据中心订阅所述第二数据更新日志并基于所述第二数据更新日志将所述第一业务数据写入到所述第一数据中心,以对所述第二业务数据进行同步。
可选的,在一种实施方式中,所述第一数据中心包括第一主节点和第一备份节点,所述第二数据中心包括第二主节点和第二备份节点,其中,
所述第一主节点,用于根据所述第一业务数据写入请求进行第一写操作并写第一数据更新日志,发布所述第一数据更新日志中的第一写操作,订阅所述第二数据中心发布的所述第二数据更新日志中的第二写操作,以及执行订阅的第二写操作以对所述第二业务数据进行同步;
所述第一备份节点,用于同步所述第一主节点中的第一数据更新日志;
所述第二主节点,用于根据所述第二业务数据写入请求进行第二写操作并写第二数据更新日志,发布所述第二数据更新日志中的第二写操作,订阅所述第一数据中心发布的所述第一数据更新日志中的第一写操作,以及执行订阅的第一写操作以对所述第一业务数据进行同步;
所述第二备份节点,用于同步所述第二主节点中的第二数据更新日志。
可选的,在一种实施方式中,所述第一数据中心还包括第一标识添加模块,用于在订阅所述第二数据中心发布的所述第二数据更新日志中的第二写操作后,给已订阅的第二写操作,添加已订阅标识;
所述第二数据中心还包括第二标识添加模块,用于在订阅所述第一数据中心发布的所述第一数据更新日志中的第一写操作后,给已订阅的第一写操作,添加已订阅标识。
可选的,在一种实施方式中,所述第一备份节点,用于基于同步流复制的方式,同步所述第一主节点中的第一数据更新日志;
所述第二备份节点,用于基于同步流复制的方式,同步所述第二主节点中的第二数据更新日志。
可选的,在一种实施方式中,所述***还包括:
第一主节点故障处理模块,用于在所述第一主节点发生故障的情况下,将所述第一备份节点切换为主节点,切换所述第一前端服务器集群访问所述第一数据中心的第一主节点的IP地址,为所述第一备份节点的IP地址;
第二主节点故障处理模块,用于在所述第二主节点发生故障的情况下,将所述第二备份节点切换为主节点,切换所述第二前端服务器集群访问所述第二数据中心的第二主节点的IP地址,为所述第二备份节点的IP地址。、
可选的,在一种实施方式中,所述***还包括:
第一数据中心故障处理模块,用于在所述第一数据中心发生故障的情况下,将所述目标应用发出的第一业务数据写入请求的域名地址,重定向到所述第二数据中心的域名地址;
第二数据中心故障处理模块,用于在所述第二数据中心发生故障的情况下,将所述目标应用发出的第二业务数据写入请求的域名地址,重定向到所述第一数据中心的域名地址。
可选的,在一种实施方式中,所述第一前端服务器集群,还用于接收目标应用的第三业务数据读取请求,并发送至所述第一数据中心;
所述第一数据中心,还用于根据所述第三业务数据读取请求进行第一读取操作,并将基于所述第一读取操作读取的第三业务数据返回至所述目标应用。
可选的,在一种实施方式中,所述第二前端服务器集群,还用于接收所述目标应用的第四业务数据读取请求,并发送至所述第二数据中心;
所述第二数据中心,还用于根据所述第四业务数据读取请求进行第二读取操作,并将基于所述第二读取操作读取的第四业务数据返回至所述目标应用。
一种基于所述多中心业务数据管理***的多中心业务数据管理方法,所述多中心业务数据管理方法包括:
通过第一前端服务器集群,接收目标应用的第一业务数据写入请求,并发送至所述第一数据中心;
通过第一数据中心,根据所述第一业务数据写入请求进行第一写操作并写第一数据更新日志;
通过所述第一数据中心,根据所述第一数据更新日志将第一业务数据同步到第二数据中心;其中,所述第一数据更新日志包括记录所述第一写操作,以及记录根据所述第一写操作写入的所述第一业务数据;
通过第二前端服务器集群,接收所述目标应用的第二业务数据写入请求,并发送至所述第二数据中心;
通过所述第二数据中心,根据所述第二业务数据写入请求进行第二写操作并写第二数据更新日志;
通过所述第二数据中心,根据所述第二数据更新日志将第二业务数据同步到所述第一数据中心;其中,所述第二数据更新日志包括记录所述第二写操作,以及根据所述第二写操作写入的所述第二业务数据。
一种电子设备,包括:存储器、处理器及存储在所在存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现任一项所述的多中心业务数据管理方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现任一项所述的多中心业务数据管理方法的步骤。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果:
通过第一前端服务器集群和第二前端服务器集群接收目标应用发出的第一业务数据写入请求和第二业务数据写入请求,再分别发给第一数据中心和第二数据中心以写入数据,可以对同一目标应用发出的业务数据写入请求,实现多接收渠道、多数据中心向数据库写入数据,相对于现有技术中采用单服务集群的数据库部署方式,可以提高对数据库中数据的访问速度和访问效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本说明书实施例提供的多中心业务数据管理***的结构示意图;
图2为本说明书实施例提供的另一多中心业务数据管理***的结构示意图;
图3为本说明书实施例提供的多中心业务数据管理方法的流程示意图;
图4为本说明书实施例提供的电子设备结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
现有技术中,企业为便于统一管理各区域的业务数据,分布式数据库通常基于单服务器集群、多数据节点的方式部署,即,单个服务器集群包括一个主节点和多个备份节点。但这种部署方式,在跨区域访问数据库时,可能造成访问延迟过大,访问效率低下等问题。
为解决上述技术问题,本说明书实施例提供了一种多中心业务数据管理***,用于对多数据中心的业务数据进行管理。该多中心业务数据管理***的结构示意图如图1所示,包括:第一前端服务器集群101、第一数据中心102、第二前端服务器集群103和第二数据中心104。
该第一前端服务器集群101,用于接收目标应用的第一业务数据写入请求,并发送至第一数据中心102;
该第一数据中心102,用于根据第一业务数据写入请求进行第一写操作并写第一数据更新日志,以及根据第一数据更新日志将第一业务数据同步到第二数据中心104;
该第二前端服务器集群103,用于接收目标应用的第二业务数据写入请求,并发送至所述第二数据中心104;
该第二数据中心104,用于根据第二业务数据写入请求进行第二写操作并写第二数据更新日志,以及根据第二数据更新日志将第二业务数据同步到第一数据中心102。
在实际应用中,第一业务数据写入请求和第二业务数据写入请求可以是用户通过目标应用发出的向数据中心写入业务数据的请求。在本说明书实施例中,业务数据写入请求可以包括:增加业务数据请求、删除业务数据请求以及修改业务数据请求。第一写操作可以包括:增加业务数据、删除业务数据以及修改业务数据,第二写操作也可以包括:增加业务数据、删除业务数据以及修改业务数据。
在本说明书实施例中,第一数据更新日志可以包括记录第一写操作,以及记录根据第一写操作写入的第一业务数据,第二数据更新日志可以包括记录第二写操作,以及根据第二写操作写入的第二业务数据。
为便于理解如何记录写操作,以结构化查询语言(Structured Query Language,SQL)语句实现数据的写入来说,数据更新日志中的记录的一条SQL语句,可以是记录的一条写操作,例如,SQL语句“insert into XS(num,name)values(’032’,’王二’)”,表示将业务数据“032”“王二”添加至表XS中,可以理解的是,“将业务数据“032”“王二”添加至表XS中”可以是写操作,“032”“王二”可以是业务数据。
通过将第一写操作和第一业务数据记录于第一数据更新日志,将第二写操作和第二业务数据记录于第二业务数据更新日志中,可以便于实现第一数据中心102和第二数据中心104之间的数据同步。
在本说明书一个或多个实施例中,为实现第一数据中心102和第二数据中心104之间的数据同步,第一数据中心102和第二数据中心104可以采用发布订阅模式对数据进行同步,具体来说,可以包括:
第一数据中心102发布第一数据更新日志,以便第二数据中心104订阅第一数据更新日志并基于第一数据更新日志将第一业务数据写入到第二数据中心104,以对第一业务数据进行同步;
第二数据中心104发布第二数据更新日志,以便第一数据中心102订阅第二数据更新日志并基于第二数据更新日志将第一业务数据写入到第一数据中心102,以对第二业务数据进行同步。
通过数据同步可以使得第一数据中心102和第二数据中心104具有相等全量的业务数据,在目标应用通过任一前端服务器集群发出业务数据写入请求,均可以实现根据业务数据写入请求写入业务数据,可以提高数据访问效率。
在本说明书一个或多个实施例中,用户通过目标应用除了可以发出业务数据写入请求,还可以发出业务数据读取请求,读取业务数据请求可以理解为查询业务数据请求,则,
第一前端服务器集群101,还用于接收目标应用的第三业务数据读取请求,并发送至第一数据中心102;
第一数据中心102,还用于根据第三业务数据读取请求进行第一读取操作,并将基于第一读取操作读取的第三业务数据返回至目标应用;
第二前端服务器集群103,还用于接收目标应用的第四业务数据读取请求,并发送至第二数据中心104;
第二数据中心104,还用于根据第四业务数据读取请求进行第二读取操作,并将基于第二读取操作读取的第四业务数据返回至目标应用。
其中,第一读取操作可以包括查询业务数据,第二读取操作也可以包括查询业务数据。
在本说明书实施例中,通过第一前端服务器集群101和第二前端服务器集群103接收目标应用发出的第一业务数据写入请求和第二业务数据写入请求,再分别发给第一数据中心102和第二数据中心104以写入数据,可以对同一目标应用发出的业务数据写入请求,实现多接收渠道、多数据中心向数据库写入数据,相对于现有技术中采用单服务集群的数据库部署方式,可以提高对数据库中数据的访问速度和访问效率。
在实际应用中,如上文所述,分布式数据库可以包含多个数据节点实现数据冗余,通过数据冗余的方法,可以很好的确保了数据的完整性和安全性,提供强大的容灾措施,则在本说明书一个或多个实施例中,第一数据中心102和第二数据中心104可以分别包含多个数据节点,如图2所示的多中心业务数据管理***的结构示意图,第一数据中心102可以包括第一主节点和第一备份节点,第二数据中心104可以包括第二主节点和第二备份节点,其中,
第一主节点,用于根据第一业务数据写入请求进行第一写操作并写第一数据更新日志,发布第一数据更新日志中的第一写操作,订阅第二数据中心104发布的第二数据更新日志中的第二写操作,以及执行订阅的第二写操作以对第二业务数据进行同步;
第一备份节点,用于同步第一主节点中的第一数据更新日志;
第二主节点,用于根据第二业务数据写入请求进行第二写操作并写第二数据更新日志,发布第二数据更新日志中的第二写操作,订阅第一数据中心102发布的第一数据更新日志中的第一写操作,以及执行订阅的第一写操作以对第一业务数据进行同步;
第二备份节点,用于同步第二主节点中的第二数据更新日志。
在实际应用中,如上文所述,第一数据更新日志中可以记录的第一写操作。那么在实现数据同步时,第一数据中心102可以仅将第一写操作同步至第二数据中心104,相应的,第二数据中心104可以仅将第二写操作同步至第一数据中心102,在第一数据中心102执行同步的第二写操作后,即可以实现同步第二业务数据,同样,在第二数据中心104执行同步的第一写操作后,即可以实现同步第一业务数据。
在本说明书一个或多个实施例中,为了避免第一数据中心和第二数据中心在进行数据同步时,将已同步的业务数据又发布出去,或者说,将已订阅的读操作又发布出去,第一数据中心102还可以包括第一标识添加模块,用于在订阅第二数据中心104发布的第二数据更新日志中的第二写操作后,给已订阅的第二写操作,添加已订阅标识。对应的,第二数据中心104还可以包括第二标识添加模块,用于在订阅第一数据中心发布的第一数据更新日志中的第一写操作后,给已订阅的第一写操作,添加已订阅标识。
在本说明一个或多个实施例中,在备份节点同步主节点的数据更新日志时,可以是基于同步流复制的方式实现述同步,具体来说,第一备份节点,可以用于基于同步流复制的方式,同步第一主节点中的第一数据更新日志,第二备份节点,可以用于基于同步流复制的方式,同步第二主节点中的第二数据更新日志。
在实际应用中,如上所述,用户通过目标应用除了可以发出业务数据写入请求,还可以发出业务数据读取请求,则在本说明书实施例中,第一主节点,还可以用于根据第一业务数据读取请求进行读取操作,第一备份节点,也可以用于根据第一业务数据读取请求进行读取操作,第二主节点,还可以用于根据第二业务数据读取请求进行读取操作,第二备份节点,也可以用于根据第二业务数据读取请求进行读取操作。
在本说明书实施例中,主节点可以实现写入操作和读取操作,通过利用备份节点实现读取操作,可以分担主节点的压力,以及提高资源的利用率。
在实际应用中,由于第一备份节点和第二备份节点可以分别同步第一主节点的第一数据更新日志和第二主节点的第二数据更新日志,在第一主节点和第二主节发生故障不能对外提供服务时,第一备份节点和第二备份节点可以分别替换第一主节点和第二主节点,避免对用户使用产生影响。
则在本说明书一个或多个实施例中,为了在第一主节点和第二主节点发生故障时,进行第一备份节点和第二备份节点的切换,多中心业务数据管理***,还可以包括:
第一主节点故障处理模块,用于在第一主节点发生故障的情况下,将第一备份节点切换为主节点,切换第一前端服务器集群101访问第一数据中心102的第一主节点的IP地址,为第一备份节点的IP地址;
第二主节点故障处理模块,用于在第二主节点发生故障的情况下,将第二备份节点切换为主节点,切换第二前端服务器集群103访问第二数据中心104的第二主节点的IP地址,为第二备份节点的IP地址。
通过切换前端服务器集群访问数据中心的主节点的IP地址为备份节点的IP地址,可以实现在主节点故障时,通过备份节点实现业务数据的写入操作等。可以理解的是,将备份节点切换为主节点,即让备份节点具备主节点所具备的功能,从而避免主节点故障导致影响用户的使用。
在实际情况中,除了数据中心的主节点可能发生故障,整个数据中心也可能发生故障,为了在数据中心发生故障时,同样不影响用户的使用,即,通过目标应用读写业务数据,在本说明书一个或多个实施例中,多中心业务数据管理***,还可以包括:
第一数据中心故障处理模块,用于在第一数据中心102发生故障的情况下,将目标应用发出的第一业务数据写入请求的域名地址,重定向到第二数据中心104的域名地址;
第二数据中心故障处理模块,用于在第二数据中心104发生故障的情况下,将目标应用发出的第二业务数据写入请求的域名地址,重定向到第一数据中心102的域名地址。
可以理解的是,每个数据中心可以对应不同的域名地址,在第一数据中心102发生故障的情况下,将第一业务数据写入请求的域名地址重定向到第二数据中心104的域名地址,这样可以基于第一业务数据写入请求在第二数据中心104进行写操作以及写第二数据更新日志,同样,在第二数据中心104发生故障的情况下,将第二业务数据写入请求的域名地址重定向到第一数据中心102的域名地址,这样可以基于第一业务数据写入请求在第二数据中心104进行写操作以及写第一数据更新日志等。
在实际应用中,当故障的第一数据中心修复后,可以将故障发生时至故障修复后,写入第二数据中心的业务数据同步过来至第一数据中心中,再取消将第一业务数据写入请求的域名地址重定向到第二数据中心104的域名地址,从而恢复第一数据中心的功能,保证整个多中心业务数据管理的运行。
以上为本说明书实施例所提供的多中心业务数据管理***,基于相同的发明构思,本说明书实施例还提供了一种基于多中心业务数据管理***的多中心业务数据管理方法。如图3所示的多中心业务数据管理方法的流程示意图,该方法具体包括:
步骤11,通过第一前端服务器集群,接收目标应用的第一业务数据写入请求,并发送至所述第一数据中心;
步骤12,通过第一数据中心,根据所述第一业务数据写入请求进行第一写操作并写第一数据更新日志;
步骤13,通过所述第一数据中心,根据所述第一数据更新日志将第一业务数据同步到第二数据中心;其中,所述第一数据更新日志包括记录所述第一写操作,以及记录根据所述第一写操作写入的所述第一业务数据;
步骤14,通过第二前端服务器集群,接收所述目标应用的第二业务数据写入请求,并发送至所述第二数据中心;
步骤15,通过所述第二数据中心,根据所述第二业务数据写入请求进行第二写操作并写第二数据更新日志;
步骤16,通过所述第二数据中心,根据所述第二数据更新日志将第二业务数据同步到所述第一数据中心;其中,所述第二数据更新日志包括记录所述第二写操作,以及根据所述第二写操作写入的所述第二业务数据。
在一种实施方式中,通过所述第一数据中心发布所述第一数据更新日志,以便所述第二数据中心订阅所述第一数据更新日志并基于所述第一数据更新日志将所述第一业务数据写入到所述第二数据中心,以对所述第一业务数据进行同步;
所述第二数据中心发布所述第二数据更新日志,以便所述第一数据中心订阅所述第二数据更新日志并基于所述第二数据更新日志将所述第一业务数据写入到所述第一数据中心,以对所述第二业务数据进行同步。
在一种实施方式中,所述第一数据中心包括第一主节点和第一备份节点,所述第二数据中心包括第二主节点和第二备份节点,其中,
通过第一主节点,根据所述第一业务数据写入请求进行第一写操作并写第一数据更新日志,发布所述第一数据更新日志中的第一写操作,订阅所述第二数据中心发布的所述第二数据更新日志中的第二写操作,以及执行订阅的第二写操作以对所述第二业务数据进行同步;
通过第一备份节点,同步所述第一主节点中的第一数据更新日志;
通过第二主节点,根据所述第二业务数据写入请求进行第二写操作并写第二数据更新日志,发布所述第二数据更新日志中的第二写操作,订阅所述第一数据中心发布的所述第一数据更新日志中的第一写操作,以及执行订阅的第一写操作以对所述第一业务数据进行同步;
通过第二备份节点,同步所述第二主节点中的第二数据更新日志。
在一种实施方式中,所述方法还包括:
在订阅所述第二数据中心发布的所述第二数据更新日志中的第二写操作后,给已订阅的第二写操作,添加已订阅标识;
在订阅所述第一数据中心发布的所述第一数据更新日志中的第一写操作后,给已订阅的第一写操作,添加已订阅标识。
在一种实施方式中,通过第一备份节点,基于同步流复制的方式,同步所述第一主节点中的第一数据更新日志;
通过第二备份节点,基于同步流复制的方式,同步所述第二主节点中的第二数据更新日志。
在一种实施方式中,所述方法还包括:
在所述第一主节点发生故障的情况下,将所述第一备份节点切换为主节点,切换所述第一前端服务器集群访问所述第一数据中心的第一主节点的IP地址,为所述第一备份节点的IP地址;
在所述第二主节点发生故障的情况下,将所述第二备份节点切换为主节点,切换所述第二前端服务器集群访问所述第二数据中的第二主节点的IP地址,为所述第二备份节点的IP地址。
在一种实施方式中,所述方法还包括:
在所述第一数据中心发生故障的情况下,将所述目标应用发出的第一业务数据写入请求的域名地址,重定向到所述第二数据中心的域名地址;
在所述第二数据中心发生故障的情况下,将所述目标应用发出的第二业务数据写入请求的域名地址,重定向到所述第一数据中心的域名地址。
在一种实施方式中,通过第一前端服务器集群,接收目标应用的第三业务数据读取请求,并发送至所述第一数据中心;通过第一数据中心,根据所述第三业务数据读取请求进行第一读取操作,并将基于所述第一读取操作读取的第三业务数据返回至所述目标应用。
在一种实施方式中,通过第二前端服务器集群,接收所述目标应用的第四业务数据读取请求,并发送至所述第二数据中心;通过第二数据中心,根据所述第四业务数据读取请求进行第二读取操作,并将基于所述第二读取操作读取的第四业务数据返回至所述目标应用。
在本说明书实施例中,通过第一前端服务器集群和第二前端服务器集群接收目标应用发出的第一业务数据写入请求和第二业务数据写入请求,再分别发给第一数据中心和第二数据中心以写入数据,可以对同一目标应用发出的业务数据写入请求,实现多接收渠道、多数据中心向数据库写入数据,相对于现有技术中采用单服务集群的数据库部署方式,可以提高对数据库中数据的访问速度和访问效率。
本说明书实施例还提出了一种电子设备,示意图请参考图4,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成应用多中心业务数据管理***。处理器,执行存储器所存放的程序,并至少用于执行以下操作:
通过第一前端服务器集群,接收目标应用的第一业务数据写入请求,并发送至所述第一数据中心;
通过第一数据中心,根据所述第一业务数据写入请求进行第一写操作并写第一数据更新日志;
通过所述第一数据中心,根据所述第一数据更新日志将第一业务数据同步到第二数据中心;其中,所述第一数据更新日志包括记录所述第一写操作,以及记录根据所述第一写操作写入的所述第一业务数据;
通过第二前端服务器集群,接收所述目标应用的第二业务数据写入请求,并发送至所述第二数据中心;
通过所述第二数据中心,根据所述第二业务数据写入请求进行第二写操作并写第二数据更新日志;
通过所述第二数据中心,根据所述第二数据更新日志将第二业务数据同步到所述第一数据中心;其中,所述第二数据更新日志包括记录所述第二写操作,以及根据所述第二写操作写入的所述第二业务数据。
上述如本申请图1所示实施例揭示的多中心业务数据管理***执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central ProcessingUnit,CPU)、网络处理器(Fetwork Processor,FP)等;还可以是数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
该电子设备还可执行图1中多中心业务数据管理***执行的方法,并实现多中心业务数据管理***在图1所示实施例的功能,本说明书实施例在此不再赘述。
本说明书实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的电子设备执行时,能够使该电子设备执行图1所示实施例中多中心业务数据管理***执行的方法,并至少用于执行:
通过第一前端服务器集群,接收目标应用的第一业务数据写入请求,并发送至所述第一数据中心;
通过第一数据中心,根据所述第一业务数据写入请求进行第一写操作并写第一数据更新日志;
通过所述第一数据中心,根据所述第一数据更新日志将第一业务数据同步到第二数据中心;其中,所述第一数据更新日志包括记录所述第一写操作,以及记录根据所述第一写操作写入的所述第一业务数据;
通过第二前端服务器集群,接收所述目标应用的第二业务数据写入请求,并发送至所述第二数据中心;
通过所述第二数据中心,根据所述第二业务数据写入请求进行第二写操作并写第二数据更新日志;
通过所述第二数据中心,根据所述第二数据更新日志将第二业务数据同步到所述第一数据中心;其中,所述第二数据更新日志包括记录所述第二写操作,以及根据所述第二写操作写入的所述第二业务数据。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本说明书实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其它数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其它类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其它内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其它光学存储、磁盒式磁带,磁带磁磁盘存储或其它磁性存储设备或任何其它非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种多中心业务数据管理***,其特征在于,包括:
第一前端服务器集群、第一数据中心、第二前端服务器集群和第二数据中心,其中,
所述第一前端服务器集群,用于接收目标应用的第一业务数据写入请求,并发送至所述第一数据中心;
所述第一数据中心,用于根据所述第一业务数据写入请求进行第一写操作并写第一数据更新日志,以及根据所述第一数据更新日志将第一业务数据同步到所述第二数据中心;其中,所述第一数据更新日志包括记录所述第一写操作,以及记录根据所述第一写操作写入的所述第一业务数据;
所述第二前端服务器集群,用于接收所述目标应用的第二业务数据写入请求,并发送至所述第二数据中心;
所述第二数据中心,用于根据所述第二业务数据写入请求进行第二写操作并写第二数据更新日志,以及根据所述第二数据更新日志将第二业务数据同步到所述第一数据中心;其中,所述第二数据更新日志包括记录所述第二写操作,以及根据所述第二写操作写入的所述第二业务数据。
2.如权利要求1所述的***,其特征在于,
所述第一数据中心发布所述第一数据更新日志,以便所述第二数据中心订阅所述第一数据更新日志并基于所述第一数据更新日志将所述第一业务数据写入到所述第二数据中心,以对所述第一业务数据进行同步;
所述第二数据中心发布所述第二数据更新日志,以便所述第一数据中心订阅所述第二数据更新日志并基于所述第二数据更新日志将所述第一业务数据写入到所述第一数据中心,以对所述第二业务数据进行同步。
3.如权利要求1所述的***,其特征在于,
所述第一数据中心包括第一主节点和第一备份节点,所述第二数据中心包括第二主节点和第二备份节点,其中,
所述第一主节点,用于根据所述第一业务数据写入请求进行第一写操作并写第一数据更新日志,发布所述第一数据更新日志中的第一写操作,订阅所述第二数据中心发布的所述第二数据更新日志中的第二写操作,以及执行订阅的第二写操作以对所述第二业务数据进行同步;
所述第一备份节点,用于同步所述第一主节点中的第一数据更新日志;
所述第二主节点,用于根据所述第二业务数据写入请求进行第二写操作并写第二数据更新日志,发布所述第二数据更新日志中的第二写操作,订阅所述第一数据中心发布的所述第一数据更新日志中的第一写操作,以及执行订阅的第一写操作以对所述第一业务数据进行同步;
所述第二备份节点,用于同步所述第二主节点中的第二数据更新日志。
4.如权利要求3所述的***,其特征在于,
所述第一数据中心还包括第一标识添加模块,用于在订阅所述第二数据中心发布的所述第二数据更新日志中的第二写操作后,给已订阅的第二写操作,添加已订阅标识;
所述第二数据中心还包括第二标识添加模块,用于在订阅所述第一数据中心发布的所述第一数据更新日志中的第一写操作后,给已订阅的第一写操作,添加已订阅标识。
5.如权利要求3所述的***,其特征在于,
所述第一备份节点,用于基于同步流复制的方式,同步所述第一主节点中的第一数据更新日志;
所述第二备份节点,用于基于同步流复制的方式,同步所述第二主节点中的第二数据更新日志。
6.如权利要求3所述的***,其特征在于,所述***还包括:
第一主节点故障处理模块,用于在所述第一主节点发生故障的情况下,将所述第一备份节点切换为主节点,切换所述第一前端服务器集群访问所述第一数据中心的第一主节点的IP地址,为所述第一备份节点的IP地址;
第二主节点故障处理模块,用于在所述第二主节点发生故障的情况下,将所述第二备份节点切换为主节点,切换所述第二前端服务器集群访问所述第二数据中心的第二主节点的IP地址,为所述第二备份节点的IP地址。
7.如权利要求1所述的***,其特征在于,所述***还包括:
第一数据中心故障处理模块,用于在所述第一数据中心发生故障的情况下,将所述目标应用发出的第一业务数据写入请求的域名地址,重定向到所述第二数据中心的域名地址;
第二数据中心故障处理模块,用于在所述第二数据中心发生故障的情况下,将所述目标应用发出的第二业务数据写入请求的域名地址,重定向到所述第一数据中心的域名地址。
8.如权利要求1所述的***,其特征在于,
所述第一前端服务器集群,还用于接收目标应用的第三业务数据读取请求,并发送至所述第一数据中心;
所述第一数据中心,还用于根据所述第三业务数据读取请求进行第一读取操作,并将基于所述第一读取操作读取的第三业务数据返回至所述目标应用。
9.如权利要求1所述的***,其特征在于,
所述第二前端服务器集群,还用于接收所述目标应用的第四业务数据读取请求,并发送至所述第二数据中心;
所述第二数据中心,还用于根据所述第四业务数据读取请求进行第二读取操作,并将基于所述第二读取操作读取的第四业务数据返回至所述目标应用。
10.一种基于权利要求1所述的多中心业务数据管理***的多中心业务数据管理方法,其特征在于,所述多中心业务数据管理方法包括:
通过第一前端服务器集群,接收目标应用的第一业务数据写入请求,并发送至所述第一数据中心;
通过第一数据中心,根据所述第一业务数据写入请求进行第一写操作并写第一数据更新日志;
通过所述第一数据中心,根据所述第一数据更新日志将第一业务数据同步到第二数据中心;其中,所述第一数据更新日志包括记录所述第一写操作,以及记录根据所述第一写操作写入的所述第一业务数据;
通过第二前端服务器集群,接收所述目标应用的第二业务数据写入请求,并发送至所述第二数据中心;
通过所述第二数据中心,根据所述第二业务数据写入请求进行第二写操作并写第二数据更新日志;
通过所述第二数据中心,根据所述第二数据更新日志将第二业务数据同步到所述第一数据中心;其中,所述第二数据更新日志包括记录所述第二写操作,以及根据所述第二写操作写入的所述第二业务数据。
CN202010376839.0A 2020-05-07 2020-05-07 多中心业务数据管理*** Pending CN111708787A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010376839.0A CN111708787A (zh) 2020-05-07 2020-05-07 多中心业务数据管理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010376839.0A CN111708787A (zh) 2020-05-07 2020-05-07 多中心业务数据管理***

Publications (1)

Publication Number Publication Date
CN111708787A true CN111708787A (zh) 2020-09-25

Family

ID=72536662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010376839.0A Pending CN111708787A (zh) 2020-05-07 2020-05-07 多中心业务数据管理***

Country Status (1)

Country Link
CN (1) CN111708787A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112350931A (zh) * 2020-10-29 2021-02-09 ***通信集团内蒙古有限公司 业务处理方法、装置、设备及计算机存储介质
CN113268540A (zh) * 2021-03-26 2021-08-17 北京视博云信息技术有限公司 一种数据同步的方法及装置
CN113836221A (zh) * 2021-08-21 2021-12-24 济南浪潮数据技术有限公司 一种分布式存储***的数据同步方法和装置
CN114448781A (zh) * 2021-12-22 2022-05-06 天翼云科技有限公司 一种数据处理***
CN114567646A (zh) * 2022-03-08 2022-05-31 京东科技信息技术有限公司 数据处理方法、数据处理***、电子设备及存储介质
CN113836221B (zh) * 2021-08-21 2024-07-26 济南浪潮数据技术有限公司 一种分布式存储***的数据同步方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8145838B1 (en) * 2009-03-10 2012-03-27 Netapp, Inc. Processing and distributing write logs of nodes of a cluster storage system
CN105187464A (zh) * 2014-06-19 2015-12-23 中兴通讯股份有限公司 一种分布式存储***中的数据同步方法、装置及***
US20190095293A1 (en) * 2016-07-27 2019-03-28 Tencent Technology (Shenzhen) Company Limited Data disaster recovery method, device and system
CN109901949A (zh) * 2019-02-25 2019-06-18 中国工商银行股份有限公司 双活数据中心的应用灾备***及方法
CN110674105A (zh) * 2019-08-30 2020-01-10 中国人民财产保险股份有限公司 一种数据备份方法、***及服务器
US20200026616A1 (en) * 2018-07-17 2020-01-23 EMC IP Holding Company LLC Storage system with multiple write journals supporting synchronous replication failure recovery
CN110750278A (zh) * 2019-09-24 2020-02-04 苏宁云计算有限公司 灰度发布方法、装置、路由设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8145838B1 (en) * 2009-03-10 2012-03-27 Netapp, Inc. Processing and distributing write logs of nodes of a cluster storage system
CN105187464A (zh) * 2014-06-19 2015-12-23 中兴通讯股份有限公司 一种分布式存储***中的数据同步方法、装置及***
US20190095293A1 (en) * 2016-07-27 2019-03-28 Tencent Technology (Shenzhen) Company Limited Data disaster recovery method, device and system
US20200026616A1 (en) * 2018-07-17 2020-01-23 EMC IP Holding Company LLC Storage system with multiple write journals supporting synchronous replication failure recovery
CN109901949A (zh) * 2019-02-25 2019-06-18 中国工商银行股份有限公司 双活数据中心的应用灾备***及方法
CN110674105A (zh) * 2019-08-30 2020-01-10 中国人民财产保险股份有限公司 一种数据备份方法、***及服务器
CN110750278A (zh) * 2019-09-24 2020-02-04 苏宁云计算有限公司 灰度发布方法、装置、路由设备和存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112350931A (zh) * 2020-10-29 2021-02-09 ***通信集团内蒙古有限公司 业务处理方法、装置、设备及计算机存储介质
CN113268540A (zh) * 2021-03-26 2021-08-17 北京视博云信息技术有限公司 一种数据同步的方法及装置
CN113836221A (zh) * 2021-08-21 2021-12-24 济南浪潮数据技术有限公司 一种分布式存储***的数据同步方法和装置
CN113836221B (zh) * 2021-08-21 2024-07-26 济南浪潮数据技术有限公司 一种分布式存储***的数据同步方法和装置
CN114448781A (zh) * 2021-12-22 2022-05-06 天翼云科技有限公司 一种数据处理***
CN114448781B (zh) * 2021-12-22 2024-06-07 天翼云科技有限公司 一种数据处理***
CN114567646A (zh) * 2022-03-08 2022-05-31 京东科技信息技术有限公司 数据处理方法、数据处理***、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US20210056074A1 (en) File System Data Access Method and File System
CN111708787A (zh) 多中心业务数据管理***
US10719407B1 (en) Backing up availability group databases configured on multi-node virtual servers
US11093387B1 (en) Garbage collection based on transmission object models
CN108599973B (zh) 一种日志关联方法、装置及设备
CN110162512B (zh) 一种日志检索方法、装置及存储介质
WO2019109854A1 (zh) 分布式数据库数据处理方法、装置、存储介质及电子装置
US12001450B2 (en) Distributed table storage processing method, device and system
CN106897345B (zh) 一种数据存储的方法及装置
CN110674105A (zh) 一种数据备份方法、***及服务器
CN107609011B (zh) 一种数据库记录的维护方法和装置
US20210303413A1 (en) Tagging application resources for snapshot capability-aware discovery
CN115391337A (zh) 数据库分区的方法、装置、存储介质及电子设备
CN110895545B (zh) 共享数据同步方法及装置
CN108776670B (zh) 一种异地容灾方法、***和电子设备
CN111078127B (zh) 数据迁移方法、***及装置
US11243777B2 (en) Process stream replication for content management system synchronization
US10592530B2 (en) System and method for managing transactions for multiple data store nodes without a central log
US12026056B2 (en) Snapshot capability-aware discovery of tagged application resources
US11341159B2 (en) In-stream data load in a replication environment
US11288112B1 (en) Enforcing data loss thresholds for performing updates to mirrored data sets
CN115827590A (zh) 数据迁移、上云方法、计算设备及计算机存储介质
CN107102898B (zh) 一种基于numa架构的内存管理、构建数据结构的方法及装置
US10880388B1 (en) Automatic redirection in scale-out cluster environments that perform distributed deduplication
CN111522688A (zh) 分布式***的数据备份方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination