CN111581015B - 一种现代应用的持续数据保护***及方法 - Google Patents

一种现代应用的持续数据保护***及方法 Download PDF

Info

Publication number
CN111581015B
CN111581015B CN202010289773.1A CN202010289773A CN111581015B CN 111581015 B CN111581015 B CN 111581015B CN 202010289773 A CN202010289773 A CN 202010289773A CN 111581015 B CN111581015 B CN 111581015B
Authority
CN
China
Prior art keywords
production
database
object storage
disaster tolerance
storage gateway
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010289773.1A
Other languages
English (en)
Other versions
CN111581015A (zh
Inventor
周丰
贺鸿富
童莎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eisoo Information Technology Co Ltd
Original Assignee
Shanghai Eisoo Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eisoo Information Technology Co Ltd filed Critical Shanghai Eisoo Information Technology Co Ltd
Priority to CN202010289773.1A priority Critical patent/CN111581015B/zh
Publication of CN111581015A publication Critical patent/CN111581015A/zh
Priority to PCT/CN2020/124229 priority patent/WO2021208401A1/zh
Application granted granted Critical
Publication of CN111581015B publication Critical patent/CN111581015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种现代应用的持续数据保护***及方法，该***包括：现代应用模块，包括生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库；容灾业务模块，包括分别与生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库相同的容灾业务单元、容灾业务数据库、容灾对象存储网关、容灾对象存储和容灾对象数据库；数据保护模块，用于将生产业务数据库和生产对象数据库分别实时同步到容灾业务数据库和容灾对象数据库。与现有技术相比，本发明具有安全性好、效率高等优点。

Description

一种现代应用的持续数据保护***及方法
技术领域
本发明涉及一种计算机数据保护技术，尤其是涉及一种现代应用的持续数据保护***及方法。
背景技术
随着互联网的快速发展，云技术的落地，移动办公、跨地域协作越来越多，在这样的背景下，基于对象存储构建的现代应用***应运而生并快速发展，现代应用***包括业务单元、数据库以及对象存储，特点是数据保存在对象存储中，元数据保存在数据库中，要保证整个现代应用***的业务连续性，成为当前面临的一个难题。
当前通常采用复制对象存储的方法实现持续数据保护，即将对象存储中的数据持续复制到同城或者异地的对象存储，复制时间长。
现有技术也给出了一些解决方案，中国专利CN200910236822.9提出了一种对象存储方法及其***，该方法包括：客户端在进行写操作时，从元数据服务器读取写操作的对象文件的复本位置信息，根据复本位置信息，向主复本所在对象存储服务器发送写请求；主复本所在对象存储服务器接收写请求，更新本地的主复本，并将写请求转发给备份复本所在对象存储服务器；备份复本所在对象存储服务器接收到写请求后，更新本地的备份复本，并向主复本所在对象存储服务器发送应答；主复本所在对象存储服务器接收应答，当接收到部分备份复本的对象存储服务器的应答后，向客户端发送写操作成功应答，能够提高存储***中写性能。
但该专利存在以下问题：
该专利只是对对象文件进行保护，对元数据服务器没有持续保护措施，当业务***故障时，只有数据而无业务***元数据，无法恢复业务；
该专利直接将对象文件作为复制的单元，遇到数量多、数据体积少的对象文件时复制时间以及数据回迁时间仍然很长，导致长时间的业务中断，数据丢失的风险也随着时间的延长而增加，无法满足持续数据保护的要求。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种现代应用的持续数据保护***及方法，安全性好，效率高。
本发明的目的可以通过以下技术方案来实现：
一种现代应用的持续数据保护***，包括：
现代应用模块，包括生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库，所述的生产业务单元用于接受小对象并生成业务元数据，所述的业务元数据包括用户信息、用户权限、文件信息以及对象名称，所述的生产业务数据库用于存储业务元数据，所述的现代应用模块访问生产对象存储的地址改为生产对象存储网关的地址，使现代应用模块访问生产对象存储的操作全部由生产对象存储网关接管，所述的生产对象存储网关用于接收和发送大、小对象，所述的生产对象存储用于存储大、小对象，并将小对象合并为大对象，同时将生成的对象元数据存储在生产对象数据库中，所述的对象元数据包括小对象合并后对应的大对象名称、偏移量和长度；
容灾业务模块，包括分别与生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库相同的容灾业务单元、容灾业务数据库、容灾对象存储网关、容灾对象存储和容灾对象数据库，所述的生产对象存储网关和容灾对象存储网关采用对象存储S3接口；
数据保护模块，用于将生产业务数据库和生产对象数据库分别同步到容灾业务数据库和容灾对象数据库，同时持续对生产业务数据库和生产对象数据库进行日志复制，生成日志副本并记录时间点；
初始化后数据保护模块将生产业务数据库实时同步到容灾业务数据库，所述的生产对象存储网关将生产对象存储中的小对象持续发送至容灾对象存储网关，所述的生产对象存储网关删除已完成发送的小对象，所述的容灾对象存储网关将小对象合并为大对象，并将对应生成的对象元数据存储在容灾对象数据库，通过容灾业务模块接管发生故障的现代应用模块，保证业务的连续，新数据全部保存至容灾业务模块中。
初始化过程具体为：所述的数据保护模块将生产业务数据库和生产对象数据库分别同步到容灾业务数据库和容灾对象数据库，通过生产对象存储网关和容灾对象存储网关将生产对象存储中的大对象复制到容灾对象存储中。
进一步地，当现代应用模块修复后，所述的数据保护模块将容灾业务数据库和容灾对象数据库同步到生产业务数据库和生产对象数据库，同时将容灾对象存储新增的大对象通过容灾对象存储网关发送至生产对象存储网关，再存储至生产对象存储，完成增量同步，实现业务回迁和新的持续数据保护，避免重新做一次全量同步，提高效率；；
如果将需要恢复到现代应用模块恢复至历史版本，则数据保护模块根据日志副本和时间点将生产业务数据库或生产对象数据库恢复至指定时间点，再通过查询生产对象数据库查询对应的大对象，并将大对象恢复至生产对象存储，实现恢复到历史时间点的效果。
进一步地，所述的生产业务单元向生产对象存储网关发送对象写请求和对象读请求；
当生产对象存储网关接收到对象写请求时现代应用模块发送小对象或大对象至生产对象存储网关，所述的生产对象存储网关先将小对象或大对象写入生产对象存储，当小对象数据量达到设定阈值时将小对象合并成1个大对象，生成对象元数据并存入生产对象数据库；
当生产对象存储网关接收到对象读请求时先判断生产对象数据库中是否有对象元数据，若有则根据对象元数据访问大对象中指定位置以及长度的数据，否则直接读取大对象。
一种现代应用的持续数据保护方法，具体为：
生产业务单元接收小对象并生成业务元数据，将业务元数据存储在生产业务数据库中，访问生产对象存储的地址改为生产对象存储网关的地址，使现代应用模块访问生产对象存储的操作全部由生产对象存储网关接管，所述的生产对象存储网关接收大、小对象并存储在生产对象存储中，所述的生产对象存储对小对象进行合并，并将同时生成的对象元数据存储在生产对象数据库中，所述的业务元数据包括用户信息、用户权限、文件信息以及对象名称，所述的对象元数据包括小对象合并后对应的大对象名称、偏移量和长度；
建立与生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库对应相同的容灾业务单元、容灾业务数据库、容灾对象存储网关、容灾对象存储和容灾对象数据库；
将生产业务数据库和生产对象数据库分别实时同步到容灾业务数据库和容灾对象数据库，所述的生产对象存储网关和容灾对象存储网关采用对象存储S3接口，实现对象存储常用接口；
将生产对象存储中的大对象复制到容灾对象存储中，生产对象存储网关将生产对象存储中的小对象持续发送至容灾对象存储网关，所述的生产对象存储网关删除已完成发送的小对象，所述的容灾对象存储网关将小对象合并为大对象，并将对应生成的对象元数据存储在容灾对象数据库，通过容灾业务模块接管发生故障的现代应用模块；
进一步地，当现代应用模块修复后，所述的数据保护模块将容灾业务数据库和容灾对象数据库同步到生产业务数据库和生产对象数据库，同时将容灾对象存储新增的大对象通过容灾对象存储网关发送至生产对象存储网关，再存储至生产对象存储，完成增量同步，实现业务回迁和新的持续数据保护；
如果将需要恢复到现代应用模块恢复至历史版本，则数据保护模块根据日志副本和时间点将生产业务数据库或生产对象数据库恢复至指定时间点，再通过查询生产对象数据库查询对应的大对象，并将大对象恢复至生产对象存储，实现恢复到历史时间点的效果。
进一步地，所述的生产业务单元向生产对象存储网关发送对象写请求和对象读请求；
当生产对象存储网关接收到对象写请求时现代应用模块发送小对象或大对象至生产对象存储网关，所述的生产对象存储网关先将小对象或大对象写入生产对象存储，当小对象数据量达到设定阈值时将小对象合并成1个大对象，生成对象元数据并存入生产对象数据库；
当生产对象存储网关接收到对象读请求时先判断生产对象数据库中是否有对象元数据，若有则根据对象元数据访问大对象中指定位置以及长度的数据，否则直接读取大对象。
与现有技术相比，本发明具有以如下有益效果：
（1）本发明通过对象存储网关接收和发送大、小对象，通过数据保护模块同步业务元数据和对象元数据，现代应用模块和容灾业务模块结构相同，只需完成一次全量复制，即将生产业务数据库和生产对象数据库同步至容灾业务数据库和容灾对象数据库，将生产对象存储中的大对象发送至容灾对象存储，之后只需通过数据保护模块实时同步生产业务数据库和容灾业务数据库，并通过对象存储网关将生产对象存储中新增的小对象发送至容灾对象存储，容灾对象存储再合并小对象，将新生成的对象元数据存储至容灾对象数据库，实现增量复制，效率高，同时在现代应用模块出现故障时可由容灾业务模块接管，保证业务连续，现代应用模块修复后只需将容灾业务模块中新增的数据回迁即可完成业务回迁，速度快；
（2）本发明持续对生产业务数据库和生产对象数据库进行日志复制，生成日志副本并记录时间点，根据日志和时间点将生产业务数据库或生产对象数据库恢复至指定时间点，操作方便，安全性好；
（3）本发明通过生产对象存储网关自动将达到一定数据量的小对象合并为大对象，对大对象进行传输，提高了数据传输的效率。
附图说明
图1为本发明的***结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
一种现代应用的持续数据保护***，如图1，包括现代应用模块、容灾业务模块和数据保护模块；
现代应用模块包括生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库，生产业务单元用于接受小对象并生成业务元数据，业务元数据包括用户信息、用户权限、文件信息以及对象名称，生产业务数据库用于存储业务元数据，现代应用模块访问生产对象存储的地址改为生产对象存储网关的地址，使现代应用模块访问生产对象存储的操作全部由生产对象存储网关接管，生产对象存储网关用于接收和发送大、小对象，生产对象存储用于存储大、小对象，并将小对象合并为大对象，同时将生成的对象元数据存储在生产对象数据库中，对象元数据包括小对象合并后对应的大对象名称、偏移量和长度；
生产业务单元访问生产对象存储的地址为生产对象存储网关的地址，即生产业务单元通过生产对象存储网关访问生产对象存储，生产业务单元向生产对象存储网关发送对象写请求和对象读请求；
当生产对象存储网关接收到对象写请求时现代应用模块发送小对象或大对象至生产对象存储网关，生产对象存储网关先将小对象或大对象写入生产对象存储，当小对象数据量达到设定阈值时将小对象合并成1个大对象，生成对象元数据并存入生产对象数据库；当生产对象存储网关接收到对象读请求时先判断生产对象数据库中是否有对象元数据，若有则根据对象元数据访问大对象并生成小对象，否则直接读取大对象；
容灾业务模块包括分别与生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库相同的容灾业务单元、容灾业务数据库、容灾对象存储网关、容灾对象存储和容灾对象数据库，生产对象存储网关和容灾对象存储网关采用对象存储S3接口；
数据保护模块用于将生产业务数据库和生产对象数据库分别实时同步到容灾业务数据库和容灾对象数据库，同时持续对生产业务数据库和生产对象数据库进行日志复制，生成日志副本并记录时间点；
将生产对象存储中的大对象复制到容灾对象存储中，完成初始化，数据保护模块实时将生产业务数据库同步至容灾业务数据库，生产对象存储网关将生产对象存储中的小对象持续发送至容灾对象存储网关，生产对象存储网关删除已完成发送的小对象，容灾对象存储网关将小对象合并为大对象，并将对应生成的对象元数据存储在容灾对象数据库，通过容灾业务模块接管发生故障的现代应用模块，保证业务的连续，新数据全部保存至容灾业务模块中；
当现代应用模块修复后，数据保护模块将容灾业务数据库和容灾对象数据库同步到生产业务数据库和生产对象数据库，同时将容灾对象存储新增的大对象通过容灾对象存储网关发送至生产对象存储网关，再存储至生产对象存储，完成增量同步，实现业务回迁和新的持续数据保护，避免重新做一次全量同步，提高效率；
如果将需要恢复到现代应用模块恢复至历史版本，则数据保护模块根据日志副本和时间点将生产业务数据库或生产对象数据库恢复至指定时间点，再通过查询生产对象数据库查询对应的大对象，并将大对象恢复至生产对象存储，实现恢复到历史时间点的效果。
以文档云为例，文档云中有许多的用户，用户有大量的图片、文档等文件，这些文件保存在生产对象存储中，为了保证业务的连续性，需要建容灾业务模块。
实施例2
与实施例1对应的一种现代应用的持续数据保护方法，具体为：
生产业务单元接收小对象并生成业务元数据，将业务元数据存储在生产业务数据库中，访问生产对象存储的地址改为生产对象存储网关的地址，使访问生产对象存储的操作全部由生产对象存储网关接管，生产对象存储网关接收大、小对象并存储在生产对象存储中，生产对象存储对小对象进行合并，并将同时生成的对象元数据存储在生产对象数据库中，业务元数据包括用户信息、用户权限、文件信息以及对象名称，对象元数据包括小对象合并后对应的大对象名称、偏移量和长度；
建立与生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库对应相同的容灾业务单元、容灾业务数据库、容灾对象存储网关、容灾对象存储和容灾对象数据库，将生产业务数据库和生产对象数据库分别实时同步到容灾业务数据库和容灾对象数据库，生产对象存储网关和容灾对象存储网关采用对象存储S3接口，实现对象存储常用接口；
数据保护模块将生产业务数据库和生产对象数据库分别同步到容灾业务数据库和容灾对象数据库，并持续对生产业务数据库和生产对象数据库进行日志复制，生成日志副本并记录时间点；
将生产对象存储中的大对象复制到容灾对象存储中，生产对象存储网关将生产对象存储中的小对象持续发送至容灾对象存储网关，生产对象存储网关删除已完成发送的小对象，容灾对象存储网关将小对象合并为大对象，并将对应生成的对象元数据存储在容灾对象数据库，生产业务单元访问生产对象存储的地址为生产对象存储网关的地址，即生产业务单元通过生产对象存储网关访问生产对象存储。
现代应用模块向生产对象存储网关发送对象写请求和对象读请求；
当生产对象存储网关接收到对象写请求时现代应用模块发送小对象或大对象至生产对象存储网关，生产对象存储网关先将小对象或大对象写入生产对象存储，当小对象数据量达到设定阈值时将小对象合并成1个大对象，此时不删除小对象，生成对象元数据并存入生产对象数据库；
当生产对象存储网关接收到对象读请求时先判断生产对象数据库中是否有对象元数据，若有则根据对象元数据访问大对象中指定位置以及长度的数据，否则直接读取大对象。
现代应用模块发生故障时容灾业务模块接管的现代应用模块，当现代应用模块修复后，数据保护模块将容灾业务数据库和容灾对象数据库同步到生产业务数据库和生产对象数据库，同时将容灾对象存储新增的大对象通过容灾对象存储网关发送至生产对象存储网关，再存储至生产对象存储，完成增量同步，实现业务回迁和新的持续数据保护，避免重新做一次全量同步，提高效率；
如果将需要恢复到现代应用模块恢复至历史版本，则数据保护模块根据日志副本和时间点将生产业务数据库或生产对象数据库恢复至指定时间点，再通过查询生产对象数据库查询对应的大对象，并将大对象恢复至生产对象存储，实现恢复到历史时间点的效果。
以文档云为例，文档云中有许多的用户，用户有大量的图片、文档等文件，这些文件保存在生产对象存储中，为了保证业务的连续性，需要建容灾业务模块。
实施例1和实施例2提出了一种现代应用的持续数据保护***及方法，解决了现代应用模块持续数据保护的问题，在现代应用模块出现故障时，可快速通过容灾业务模块来接管业务并提供服务，现代应用模块修复后可快速进行业务回迁，满足业务连续性的要求。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (4)

1.一种现代应用的持续数据保护***，其特征在于，包括：
现代应用模块，包括生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库，所述的生产业务单元用于接受小对象并生成业务元数据，所述的生产业务数据库用于存储业务元数据，所述的现代应用模块访问生产对象存储的地址改为生产对象存储网关的地址，使现代应用模块访问生产对象存储的操作全部由生产对象存储网关接管，所述的生产对象存储网关用于接收和发送大、小对象，并将小对象合并为大对象，同时将生成的对象元数据存储在生产对象数据库中，所述的生产对象存储用于存储大、小对象；
容灾业务模块，包括分别与生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库相同的容灾业务单元、容灾业务数据库、容灾对象存储网关、容灾对象存储和容灾对象数据库；
数据保护模块，用于将生产业务数据库和生产对象数据库分别同步到容灾业务数据库和容灾对象数据库，并持续对生产业务数据库和生产对象数据库进行日志复制，生成日志副本并记录时间点；
初始化后数据保护模块实时将生产业务数据库同步至容灾业务数据库，生产对象存储网关将生产对象存储中的小对象持续发送至容灾对象存储网关，所述的生产对象存储网关删除已完成发送的小对象，所述的容灾对象存储网关将小对象合并为大对象，并将对应生成的对象元数据存储在容灾对象数据库，通过容灾业务模块接管发生故障的现代应用模块；
初始化过程具体为：所述的数据保护模块将生产业务数据库和生产对象数据库分别同步到容灾业务数据库和容灾对象数据库，通过生产对象存储网关和容灾对象存储网关将生产对象存储中的大对象复制到容灾对象存储中；
所述的数据保护模块将容灾业务数据库和容灾对象数据库同步到生产业务数据库和生产对象数据库，同时将容灾对象存储新增的大对象通过容灾对象存储网关发送至生产对象存储网关，再存储至生产对象存储，实现数据回迁；
所述的数据保护模块根据日志副本和时间点将生产业务数据库或生产对象数据库恢复至指定时间点，再通过查询生产对象数据库查询对应的大对象，并将大对象恢复至生产对象存储，实现历史恢复；
所述的生产业务单元向生产对象存储网关发送对象写请求和对象读请求；
当生产对象存储网关接收到对象写请求时现代应用模块发送小对象或大对象至生产对象存储网关，所述的生产对象存储网关先将小对象或大对象写入生产对象存储，当小对象数据量达到设定阈值时将小对象合并成1个大对象，生成对象元数据并存入生产对象数据库；
当生产对象存储网关接收到对象读请求时先判断生产对象数据库中是否有对象元数据，若有则根据对象元数据访问大对象中指定位置以及长度的数据，否则直接读取大对象；
所述的业务元数据包括用户信息、用户权限、文件信息以及对象名称，所述的对象元数据包括小对象合并后对应的大对象名称、偏移量和长度。
2.根据权利要求1所述的一种现代应用的持续数据保护***，其特征在于，所述的生产对象存储网关和容灾对象存储网关采用对象存储S3接口。
3.一种现代应用的持续数据保护方法，其特征在于，具体为：
生产业务单元接收小对象并生成业务元数据，将业务元数据存储在生产业务数据库中，访问生产对象存储的地址改为生产对象存储网关的地址，使访问生产对象存储的操作全部由生产对象存储网关接管，所述的生产对象存储网关接收大、小对象并存储在生产对象存储中，同时对小对象进行合并，并将同时生成的对象元数据存储在生产对象数据库中；
建立与生产业务单元、生产业务数据库、生产对象存储网关、生产对象存储和生产对象数据库对应相同的容灾业务单元、容灾业务数据库、容灾对象存储网关、容灾对象存储和容灾对象数据库；
数据保护模块将生产业务数据库和生产对象数据库分别同步到容灾业务数据库和容灾对象数据库，并持续对生产业务数据库和生产对象数据库进行日志复制，生成日志副本并记录时间点；
初始化后数据保护模块实时将生产业务数据库同步至容灾业务数据库，生产对象存储网关将生产对象存储中的小对象持续发送至容灾对象存储网关，所述的生产对象存储网关删除已完成发送的小对象，所述的容灾对象存储网关将小对象合并为大对象，并将对应生成的对象元数据存储在容灾对象数据库，通过容灾业务模块接管发生故障的现代应用模块；
初始化过程具体为：将生产业务数据库和生产对象数据库分别同步到容灾业务数据库和容灾对象数据库，将生产对象存储中的大对象复制到容灾对象存储中；
所述的数据保护模块将容灾业务数据库和容灾对象数据库同步到生产业务数据库和生产对象数据库，同时将容灾对象存储新增的大对象通过容灾对象存储网关发送至生产对象存储网关，再存储至生产对象存储，实现数据回迁；
所述的数据保护模块根据日志副本和时间点将生产业务数据库或生产对象数据库恢复至指定时间点，再通过查询生产对象数据库查询对应的大对象，并将大对象恢复至生产对象存储，实现历史恢复；
所述的生产业务单元向生产对象存储网关发送对象写请求和对象读请求；
当生产对象存储网关接收到对象写请求时现代应用模块发送小对象或大对象至生产对象存储网关，所述的生产对象存储网关先将小对象或大对象写入生产对象存储，当小对象数据量达到设定阈值时将小对象合并成1个大对象，生成对象元数据并存入生产对象数据库；
当生产对象存储网关接收到对象读请求时先判断生产对象数据库中是否有对象元数据，若有则根据对象元数据访问大对象中指定位置以及长度的数据，否则直接读取大对象；
所述的业务元数据包括用户信息、用户权限、文件信息以及对象名称，所述的对象元数据包括小对象合并后对应的大对象名称、偏移量和长度。
4.根据权利要求3所述的一种现代应用的持续数据保护方法，其特征在于，所述的生产对象存储网关和容灾对象存储网关采用对象存储S3接口。
CN202010289773.1A 2020-04-14 2020-04-14 一种现代应用的持续数据保护***及方法 Active CN111581015B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010289773.1A CN111581015B (zh) 2020-04-14 2020-04-14 一种现代应用的持续数据保护***及方法
PCT/CN2020/124229 WO2021208401A1 (zh) 2020-04-14 2020-10-28 现代应用的持续数据保护***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010289773.1A CN111581015B (zh) 2020-04-14 2020-04-14 一种现代应用的持续数据保护***及方法

Publications (2)

Publication Number Publication Date
CN111581015A CN111581015A (zh) 2020-08-25
CN111581015B true CN111581015B (zh) 2021-06-29

Family

ID=72126508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010289773.1A Active CN111581015B (zh) 2020-04-14 2020-04-14 一种现代应用的持续数据保护***及方法

Country Status (2)

Country Link
CN (1) CN111581015B (zh)
WO (1) WO2021208401A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581015B (zh) * 2020-04-14 2021-06-29 上海爱数信息技术股份有限公司 一种现代应用的持续数据保护***及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838646A (zh) * 2014-02-13 2014-06-04 中国科学院国家天文台 一种用于地面应用大数据异地容灾备份的***和方法
CN103875229A (zh) * 2013-12-02 2014-06-18 华为技术有限公司 异步复制方法、装置与***
CN109067733A (zh) * 2018-07-27 2018-12-21 成都华为技术有限公司 发送数据的方法和装置，以及接收数据的方法和装置
US10216580B1 (en) * 2018-03-29 2019-02-26 Model9 Software Ltd. System and method for mainframe computers backup and restore on object storage systems

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6957221B1 (en) * 2002-09-05 2005-10-18 Unisys Corporation Method for capturing a physically consistent mirrored snapshot of an online database from a remote database backup system
US8117165B1 (en) * 2008-04-30 2012-02-14 Netapp, Inc. Disk-to-disk backup of database archive logs
CN103092927B (zh) * 2012-12-29 2016-01-20 华中科技大学 一种分布式环境下的文件快速读写方法
CN107038091B (zh) * 2017-03-29 2019-07-26 国网山东省电力公司信息通信公司 一种基于异步远程镜像的数据安全性保护***与电力应用***数据保护方法
CN107220005A (zh) * 2017-05-27 2017-09-29 郑州云海信息技术有限公司 一种数据操作方法及***
CN108958969B (zh) * 2018-05-08 2019-09-17 杭州数梦工场科技有限公司 数据库灾备方法、装置及灾备***
CN111581015B (zh) * 2020-04-14 2021-06-29 上海爱数信息技术股份有限公司 一种现代应用的持续数据保护***及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103875229A (zh) * 2013-12-02 2014-06-18 华为技术有限公司 异步复制方法、装置与***
CN103838646A (zh) * 2014-02-13 2014-06-04 中国科学院国家天文台 一种用于地面应用大数据异地容灾备份的***和方法
US10216580B1 (en) * 2018-03-29 2019-02-26 Model9 Software Ltd. System and method for mainframe computers backup and restore on object storage systems
CN109067733A (zh) * 2018-07-27 2018-12-21 成都华为技术有限公司 发送数据的方法和装置，以及接收数据的方法和装置

Also Published As

Publication number Publication date
WO2021208401A1 (zh) 2021-10-21
CN111581015A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
US11429305B2 (en) Performing backup operations using replicas
US9658928B2 (en) File-based cluster-to-cluster replication recovery
US8914595B1 (en) Snapshots in deduplication
US8712962B1 (en) Snapshots in de-duplication
US9069479B1 (en) Snapshots in deduplication
US9336230B1 (en) File replication
WO2018059441A1 (zh) 数据处理方法和***及装置
KR101662212B1 (ko) 부분동기화 지원 데이터베이스 관리 시스템 및 데이터베이스 관리 시스템에서 부분동기화 방법
US8762342B1 (en) Method of inserting a validated time-image on the primary CDP subsystem in a continuous data protection and replication (CDP/R) subsystem
CN111078667B (zh) 一种数据迁移的方法以及相关装置
US11907078B2 (en) Data backup method, apparatus, and system
CN111581017B (zh) 一种现代应用的备份恢复***及方法
CN110569269A (zh) 一种数据同步方法及***
WO2020063600A1 (zh) 数据容灾方法与站点
CN112800019A (zh) 基于Hadoop分布式文件***的数据备份方法及***
CN113885809B (zh) 数据管理***及方法
CN111581015B (zh) 一种现代应用的持续数据保护***及方法
CN103544081B (zh) 双元数据服务器的管理方法和装置
CN113076298A (zh) 分布式小文件存储***
CN115658391A (zh) 基于QianBase MPP数据库的WAL机制的备份恢复方法
CN111581016B (zh) 一种现代应用的副本数据管理***及方法
CN112346907B (zh) 一种基于异构对象存储的数据备份恢复方法及***
KR102089710B1 (ko) 연속 데이터 관리 시스템 및 방법
CN116339609A (zh) 一种数据处理方法以及存储设备
CN114518973A (zh) 分布式集群节点宕机重启恢复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant