CN105243109B - 数据备份的方法和数据处理*** - Google Patents

数据备份的方法和数据处理*** Download PDF

Info

Publication number
CN105243109B
CN105243109B CN201510620975.9A CN201510620975A CN105243109B CN 105243109 B CN105243109 B CN 105243109B CN 201510620975 A CN201510620975 A CN 201510620975A CN 105243109 B CN105243109 B CN 105243109B
Authority
CN
China
Prior art keywords
storage
time point
backup
files
storage file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510620975.9A
Other languages
English (en)
Other versions
CN105243109A (zh
Inventor
房浩
毕杰山
钟超强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201510620975.9A priority Critical patent/CN105243109B/zh
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010034066.8A priority patent/CN111240902A/zh
Publication of CN105243109A publication Critical patent/CN105243109A/zh
Priority to EP16847847.7A priority patent/EP3287910B1/en
Priority to PCT/CN2016/085608 priority patent/WO2017049965A1/zh
Priority to BR112017023803-9A priority patent/BR112017023803B1/pt
Priority to US15/927,332 priority patent/US11119863B2/en
Priority to US15/927,301 priority patent/US11132260B2/en
Application granted granted Critical
Publication of CN105243109B publication Critical patent/CN105243109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1461—Backup scheduling policy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/835—Timestamp

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Retry When Errors Occur (AREA)

Abstract

本发明实施例提供一种数据备份的方法和数据处理***，该方法包括：备份第一存储文件，并记录备份操作的第一时间点，其中，第一存储文件为在第一时间点之前，存储在第一存储介质上的多个存储文件；当所述第一存储介质上的第二存储文件的数量满足预设阈值时，根据第一时间点，合并第二存储文件，得到至少两个第三存储文件；根据第一时间点，对至少两个第三存储文件进行增量备份，增量备份为备份第一时间点之后的至少一个第三存储文件。因此，本发明实施例提供数据备份的方法，通过记录数据备份的时间点，确定备份增量数据，避免了增量数据存储读取全表数据的过程，缩短了增量数据备份的时间，减少了增量数据备份对网络和磁盘资源的消耗。

Description

数据备份的方法和数据处理***
技术领域
本发明涉及数据库领域，尤其涉及一种数据备份的方法和数据处理***。
背景技术
分布式数据库在写数据时，数据会存储到用户表的一个或多个子表中，当满足一定的条件时，将数据进行备份，以保证数据的可靠性。
但目前分布式数据库将数据备份消耗的时间长，且备份时对网络和磁盘资源的消耗较大。
发明内容
本申请提供一种数据备份的方法和数据处理***，通过记录数据备份的时间点，确定备份增量数据，缩短了增量数据备份的时间，减少了增量数据备份对网络和磁盘资源的消耗。
一方面，本申请提供了一种数据备份的方法,该方法包括：
在第一时间点备份存储在第一存储介质上的第一存储文件，并记录第一时间点；当第一存储介质上的第二存储文件数量达到预设阈值时，以记录的第一时间点分界点，将第二存储文件合并为至少两个第三存储文件，其中，第二存储包括第一存储文件和第一时间点之后到当前时间点新生成的存储文件；对第一时间点之后的至少一个第三存储文件进行增量备份。
在一个可能的设计中，对第一时间点之后的至少一个第三存储文件进行增量备份，具体包括：获取合并后的至少两个第三存储文件的时间戳范围；根据每个第三存储文件的时间戳范围，以第一时间点为分界点，确定第一时间点之后的第三存储文件，并进行增量备份。
在一个可能的设计中，根据预设规则，备份第一存储文件。
在另一个可能的设计中，获取至少两个第三存储文件的时间戳范围，包括：从每个第三存储文件的元数据块中获取时间戳范围。
在又一个可能的设计中，在所述根据所述第一时间点，对至少两个第三存储文件进行增量备份之后，方法还包括：记录增量备份操作的第二时间点，以用于根据第二时间点合并或备份新生成的存储文件。
一方面，本申请提供了一种数据处理***，该***包括：
备份模块，用于在第一时间点备份存储在第一存储介质上的第一存储文件，并记录备份操作的第一时间点；合并模块，用于当第一存储介质上的第二存储文件的数量满足预设阈值时，以记录的第一时间点分界点，将第二存储文件合并为至少两个第三存储文件，其中，第二存储包括第一存储文件和第一时间点之后到当前时间点新生成的存储文件；备份模块还用于，备份第一时间点之后的至少一个第三存储文件。
在一个可能的设计中，数据处理***还包括：获取模块，用于获取合并后的至少两个第三存储文件的时间戳范围；确定模块，用于每个第三存储文件的时间戳范围，以第一时间点为分界点，确定第一时间点之后的第三存储文件，备份模块对确定模块确定的第一时间点后的第三存储文件进行增量备份。
在一个可能的设计中，备份模块具体用于，根据预设条件，备份第一存储文件。
在另一个可能的设计中，获取模块具体用于，从每个第三存储文件的元数据块中获取时间戳范围。
在又一个可能的设计中，备份模块还用于，记录增量备份操作的第二时间点，以用于根据第二时间点合并或备份新生成的存储文件。
一方面，本申请提供了一种数据处理***，该数据处理***包括处理器和存储器，处理器用于根据存储器存储的预设规则备份存储在存储器中的第一存储文件，并记录进行备份操作的第一时间点；当存储器中的第二存储文件数量超过预设阈值时，以记录的第一时间点为分界点，将第二存储文件合并为至少两个第三存储文件，其中，第二存储包括第一存储文件和第一时间点之后到当前时间点新生成的存储文件；以记录的第一时间点为分界点，备份第一时间点之后的第三存储文件。
在一个可能的设计中，处理器获取合并后的至少两个第三存储文件的时间戳范围；并以第一时间点为分界点，确定第一时间点之后的第三存储文件，并进行增量备份。
在另一个可能的设计中，处理器从每个第三存储文件的元数据块中获取时间戳范围。
在又一个可能的设计中，处理器记录增量备份操作的第二时间点，以用于根据第二时间点合并或备份新生成的存储文件。
本申请提供的数据备份的方法和数据处理***，通过记录数据备份的时间点，确定备份增量数据，避免了增量数据存储读取全表数据的过程，缩短了增量数据备份的时间，减少了增量数据备份对网络和磁盘资源的消耗。
附图说明
图1为一个用户表中子表的示意图；
图2为本发明实施例提供的一种分布式数据库数据备份的方法的流程图；
图3为本发明实施例提供的另一种分布式数据库数据备份的方法的流程图；
图4为本发明实施例提供的一种数据处理***的示意图；
图5为本发明实施例提供的另一数据处理***的示意图；
图6为本发明实施例提供的又一数据处理***的示意图。
具体实施方式
本发明实施例适用于以键-值(KeyValue)类型的存储方式进行存储的数据库，即，将用户需要存储的数据存放在Value部分，构建与Value对应的Key，当用户需要查找Value时，通过Key索引查找对应的Value，其中，数据的存储是按照Key的字典顺序自然排序的。
当用户需要在分布式数据库中存储数据时，创建相应的用户表(Table)。一个Table中可以存储大量的数据，为了方便管理和维护，可以按照记录的Key值得字典顺序切割生成一个或多个子表(Region)。每个Region是一个Key区间数据的集合，也可以说是连续行数据的集合。每个KeyValue所对应的Key只包括在一个Region区间，也就是说多个Region之间没有交集，如图1所示，图1为一个用户表中子表的示意图，其中，图1中Region-1中的Key-A代表着在字典顺序上一个无穷小的值，Region-M中的Key-Y代表着在字典顺序上一个无穷大的值。
当分布式数据库在写数据时，数据可以同时写入WAL和Region的内存中。当Region内存中的数据满足预设的内存阈值时，将Region中的数据固化到磁盘上，同时在磁盘上生成存储文件Hfile，Hfile文件的元数据块中存储有该Region中数据记录的时间戳范围。
为避免影响数据库读数据的性能，当磁盘上存储文件Hfile的数量满足预设的数量阈值时，对磁盘上多个存储文件Hfile进行合并(Compaction)，得到至少一个存储文件Hfile。
为防止***出现操作失误或者***故障导致的数据丢失，需要将***中的全部数据或者部分数据集合从应用主机的硬盘或者阵列复制到本地或者其他的安全存储介质中。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
为便于说明，结合图2对本发明实施例的技术方案进行详细的说明。应理解，这仅是用以说明本发明实施例的技术方案的一个例子，并不对本发明实施例构成任何的限定。
图2为本发明实施例提供的一种数据备份的方法的流程图，如图2所示，该方法100的执行主体为数据处理***，该方法100包括：
110，备份第一存储文件，并记录备份操作的第一时间点，其中，第一存储文件为在第一时间点之前，存储在第一存储介质上的多个存储文件；
120，当第一存储介质上的第二存储文件的数量满足预设阈值时，根据第一时间点，合并第二存储文件，得到至少两个第三存储文件；
130，根据第一时间点，对至少两个第三存储文件进行增量备份，增量备份为备份第一时间点之后的至少一个第三存储文件。
具体的，为保证数据库中的数据安全，将数据库中的全部数据或者部分数据进行备份。数据处理***可以包括多个终端，每个终端包括第一存储介质。
在110中，第一存储介质可以具体为磁盘。第一存储文件可以为一个或者多个终端的磁盘上的全部或者部分存储文件。在第一时间点，备份磁盘上的全部或者部分存储文件，记录当前备份文件的时间点。
可选地，在本发明实施例中，可以根据预设规则，备份第一存储文件。该预设规则可以为根据用户需求制定的数据备份的条件。例如，用户需要在每月的第一天进行一次全量备份，每天进行一次增量备份，该预设规则可以通过计时器或者其他实现用户需求的逻辑方法实现规则的制定。通过预设规则进行数据备份，既方便了用户的使用，又可以保证数据的可靠性。
应理解，在本发明实施例中，备份第一存储文件也可以为人为的主观行事。
在120中，第二存储文件为当前时间点第一存储介质上存储的存储文件，第二存储文件中包括备份过的第一存储文件和第一时间点到当前时间点之间新生成的存储文件。第三存储文件为将第二存储文件合并后生成的新的存储文件。当磁盘上的存储文件数量达到预设的数量阈值时，根据第一时间点，将第一时间点之前的存储文件和第一时间点之后的存储文件分别合成为至少一个存储文件。
在130中，将第一时间点之后的存储文件进行增量备份，读取所有存储文件的时间戳范围，查询第一时间点之后的存储文件，根据查询结果增量备份存储文件中数据。
可选地，在本发明实施例中，获取合并后的至少两个第三存储文件的时间戳范围，可以从每个第三存储文件的元数据块中获取时间戳范围。
在本发明实施例中，在根据所述第一时间点，对至少两个第三存储文件进行增量备份之后，该方法100还包括：记录增量备份操作的第二时间点，以用于根据所述第二时间点合并或备份新生成的存储文件。
具体的，数据处理***在对数据进行增量备份之后，记录当前增量备份操作的时间点，以便于在该时间点之后的时间段内，磁盘上的存储文件数量达到预设阈值时，数据处理***根据记录的该时间点合并存储文件，并将对合并后的增量数据进行备份。
采用本发明实施例提供的分布式数据库数据备份的方法，通过记录上一次备份的时间点，确定增量备份的文件，进行增量备份，避免了增量数据备份读取全表数据的过程，缩短了增量数据备份的时间，减少了增量数据备份对网络和磁盘资源的消耗。
优选地，在本发明另一实施例中，如图3所示，根据第一时间点，对至少两个第三存储文件进行增量备份，包括：
131，获取至少两个第三存储文件的时间戳范围；
132，根据至少两个第三存储文件的时间戳范围和所述第一时间点，确定增量备份的至少一个第三存储文件；
133，备份至少一个第三存储文件。
具体的，数据处理***读取合并后的所有存储文件的时间戳范围，根据每个存储文件的时间戳范围，确定属于时间戳范围在第一时间点之后的第三存储文件，备份确定的第一时间点之后的第三存储文件。
采用本发明实施例提供的分布式数据库数据备份的方法，通过记录上一次备份的时间点，确定增量备份的文件，进行增量备份，避免了增量数据备份读取全表数据的过程，缩短了增量数据备份的时间，减少了增量数据备份对网络和磁盘资源的消耗。
为便于说明，以第一存储介质为磁盘，磁盘上的存储文件满足5个存储文件时执行合并操作流程为例，对本发明实施例的技术方案进行详细的说明。应理解，这仅是用以说明本发明实施例的技术方案的一个例子，并不对本发明实施例构成任何的限定。
在时间点T1之前备份磁盘上存储的3个存储文件，分别为Hfile1、Hfile2和Hfile3，终端并记录备份操作的时间点T1；在时间点T1到时间点T2的时间内，磁盘上新生成2个存储文件Hfile4和Hfile5，此时，磁盘上的存储文件满足预设的数量阈值，根据记录的时间点T1，将时间点T1之前的3个存储文件Hfile1、Hfile2和Hfile3合并为一个存储文件Hfile6，将时间点T1之后的2个存储文件合并为一个存储文件Hfile7；在时间点T3时，终端读取合并后的2个存储文件Hfile6和Hfile7的时间戳范围，确定时间点T1后的存储文件Hfile7，备份确定的存储文件Hfile7，该存储文件中的数据为时间点T1后的增量数据，该备份过程称为增量备份。
应理解，在本发明实施例中，时间点T1、时间点T2和时间点T3是按照时间顺序排列的三个时间点。
在本发明实施例中，为存储文件Hfile以数字1-7的数字表示不同的存储文件，只是为了清楚描述本发明实施例的技术方案，在本发明实施例中，存储文件的区分依据每个存储文件的元数据块内容进行区分。
还应理解，在本发明实施例中，依第一存储介质上的存储文件数量满足预设阈值，执行存储文件的合并流程，只是为了详细描述本发明实施例的技术方案，在本发明实施例中，触发第一存储进行存储文件合并的条件还可以采用其他条件，在本发明的实施例中不作任何限制。
上文中结合图1至图3，详细描述了根据本发明实施例的数据备份的方法，下面将结合图4至图6，详细描述根据本发明实施例的数据处理***。
图4为本发明实施例提供的一种数据处理***的示意性框图。如图5所示的数据处理***400包括：备份模块410和合并模块420。
备份模块410，用于备份第一存储文件，并记录备份操作的第一时间点，其中，第一存储文件为在第一时间点之前，存储在第一存储介质上的多个存储文件；
合并模块420，用于当第一存储介质上的第二存储文件的数量满足预设阈值时，根据第一时间点，合并第二存储文件，得到至少两个第三存储文件；
备份模块410还用于，根据第一时间点，对至少两个第三存储文件进行增量备份，增量备份为备份第一时间点之后的至少一个第三存储文件。
具体的，第一存储介质可以具体为磁盘。第一存储文件可以为一个或者多个终端的磁盘上的全部或者部分存储文件。在第一时间点，备份模块410备份磁盘上的全部或者部分存储文件，记录当前备份文件的时间点。
可选地，在本发明实施例中，备份模块410可以根据预设规则，备份第一存储文件。该预设规则可以为根据用户需求制定的数据备份的条件。通过预设规则进行数据备份，既方便了用户的使用，又可以保证数据的可靠性。
应理解，在本发明实施例中，备份第一存储文件也可以为人为的主观行事。
第二存储文件为当前时间点第一存储介质上存储的存储文件，第二存储文件中包括备份过的第一存储文件和第一时间点到当前时间点之间新生成的存储文件。。第三存储文件为将第二存储文件合并后生成的新的存储文件。当磁盘上的存储文件数量达到预设的数量阈值时，合并模块420根据第一时间点，将第一时间点之前的存储文件和第一时间点之后的存储文件分别合成为至少一个存储文件。
备份模块410将第一时间点之后的存储文件进行增量备份，读取所有存储文件的时间戳范围，查询第一时间点之后的存储文件，根据查询结果增量备份存储文件中数据。
采用本发明实施例提供的分布式数据库数据备份的方法，通过记录上一次备份的时间点，确定增量备份的文件，进行增量备份，避免了增量数据备份读取全表数据的过程，缩短了增量数据备份的时间，减少了增量数据备份对网络和磁盘资源的消耗。
优选地，作为本发明的另一实施例，如图5所示，数据处理***还包括获取模块430和确定模块440，
获取模块430，用于获取至少两个第三存储文件的时间戳范围；
确定模块440，用于根据至少两个所述第三存储文件的时间戳范围和第一时间点，确定增量备份的至少一个第三存储文件；
备份模块410用于备份至少一个所述第三存储文件。
具体的，获取模块430读取合并后的所有存储文件的时间戳范围，根据每个存储文件的时间戳范围，确定模块440确定属于时间戳范围在第一时间点之后的第三存储文件，备份模块410备份确定的第一时间点之后的第三存储文件。
可选地，在本发明实施例中，获取模块430可以从每个第三存储文件的元数据块中获取时间戳范围。
在本发明实施例中，备份模块410还用于，记录增量备份操作的第二时间点，以用于根据所述第二时间点合并或备份新生成的存储文件。
具体的，备份模块410对数据进行增量备份之后，记录当前增量备份操作的时间点，以便于在该时间点之后的时间段内，磁盘上的存储文件数量达到预设阈值时，合并模块420根据记录的该时间点合并存储文件，备份模块410对该时间点之后的合并后的存储文件进行增量备份。
采用本发明实施例提供的分布式数据库数据备份的方法，通过记录上一次备份的时间点，确定增量备份的文件，进行增量备份，避免了增量数据备份读取全表数据的过程，缩短了增量数据备份的时间，减少了增量数据备份对网络和磁盘资源的消耗。
需要说明的是，在本发明实施例中，根据本发明实施例的数据处理***对应根据本发明实施例的方法100的执行主体，并且数据处理***中的各个模块的上述和其他操作和/或功能分别为了实现图2和图3中的各个方法的相应流程，为了简洁，在这里不再赘述。
图6为本发明实施例提供的又一数据处理***的示意图，如图6所示，该数据处理***600包括：处理器610和存储器620和通信总线***630，其中，处理器610和存储器620通过通信总线***630相连接。其中，
处理器610，用于备份第一存储文件，并记录备份操作的第一时间点，其中，第一存储文件为在第一时间点之前，存储在第一存储介质上的多个存储文件；
处理器610，用于当第一存储介质上的第二存储文件的数量满足预设阈值时，根据第一时间点，合并第二存储文件，得到至少两个第三存储文件；
处理器610还用于，根据第一时间点，对至少两个第三存储文件进行增量备份，增量备份为备份第一时间点之后的至少一个第三存储文件。
具体的，第一存储介质可以具体为磁盘。第一存储文件可以为一个或者多个终端的磁盘上的全部或者部分存储文件。在第一时间点，处理器610备份磁盘上的全部或者部分存储文件，记录当前备份文件的时间点。
在本发明实施例中，处理器610可以根据预设规则备份第一存储文件，该预设规则可以为根据用户的需求设定的数据备份的条件。在本发明实施例中，处理器610也可以通过用户个人的需求，主观执行数据备份时下发的指令进行第一存储文件的备份。
第二存储文件为当前时间点第一存储介质上存储的存储文件，第二存储文件可以包括备份过的第一存储文件和第一时间点到当前时间点新生成的存储文件。第三存储文件为将第二存储文件合并后生成的新的存储文件。当磁盘上的存储文件数量达到预设的数量阈值时，处理器610根据第一时间点，将第一时间点之前的存储文件和第一时间点之后的存储文件分别合成为至少一个存储文件。
处理器610将第一时间点之后的存储文件进行增量备份，读取所有存储文件的时间戳范围，查询第一时间点之后的存储文件，根据查询结果增量备份存储文件中数据。
采用本发明实施例提供的分布式数据库数据备份的方法，通过记录上一次备份的时间点，确定增量备份的文件，进行增量备份，避免了增量数据备份读取全表数据的过程，缩短了增量数据备份的时间，减少了增量数据备份对网络和磁盘资源的消耗。
应理解，在本发明实施例中，该处理器610可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器610还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该总线***630除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线***630。
在实现过程中，上述方法的各步骤可以通过处理器610中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器610读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
存储器，该存储器可以包括只读存储器和随机存取存储器，并向处理器610提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
处理器610，用于获取至少两个第三存储文件的时间戳范围；
处理器610，用于根据至少两个所述第三存储文件的时间戳范围和第一时间点，确定增量备份的至少一个第三存储文件；
处理器610用于备份至少一个所述第三存储文件。
具体的，处理器610读取合并后的所有存储文件的时间戳范围，根据每个存储文件元数据块中的时间戳范围，处理器610确定属于时间戳范围在第一时间点之后的第三存储文件，处理器610备份确定的第一时间点之后的第三存储文件。
需要说明的是，在本发明实施例中，根据本发明实施例的数据处理***700对应根据本发明实施例的数据处理***400，并且数据处理***700中的各个模块的上述和其他操作和/或功能分别为了实现图2和图3中的各个方法的相应流程，为了简洁，在这里不再赘述。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种在分布式数据库中进行数据备份的方法，其特征在于，所述方法包括：
备份第一存储文件，并记录备份操作的第一时间点，其中，所述第一存储文件为在所述第一时间点之前，存储在第一存储介质上的多个存储文件；
当所述第一存储介质上的第二存储文件的数量满足预设阈值时，根据所述第一时间点，将所述第一时间点之前的所述第一存储文件和所述第一时间点之后的存储文件分别合并所述第二存储文件，得到至少两个第三存储文件；其中，所述第二存储文件包括所述第一存储文件和所述第一时间点到当前时间点之间新生成的存储文件；
根据所述第一时间点，对所述至少两个第三存储文件进行增量备份，所述增量备份为备份所述第一时间点之后的至少一个所述第三存储文件。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一时间点，对所述至少两个第三存储文件进行增量备份，包括：
获取至少两个所述第三存储文件的时间戳范围；
根据至少两个所述第三存储文件的时间戳范围和所述第一时间点，确定增量备份的至少一个所述第三存储文件；
备份至少一个所述第三存储文件。
3.根据权利要求1所述的方法，其特征在于，所述备份第一存储文件，包括：
根据预设规则，备份所述第一存储文件。
4.根据权利要求2所述的方法，其特征在于，所述获取至少两个所述第三存储文件的时间戳范围，包括：
从每个所述第三存储文件的元数据块中获取时间戳范围。
5.根据权利要求1至4任一项所述的方法，其特征在于，在所述根据所述第一时间点，对所述至少两个第三存储文件进行增量备份之后，所述方法还包括：记录增量备份操作的第二时间点，以用于根据所述第二时间点合并或备份新生成的存储文件。
6.一种对分布式数据库进行数据处理***，其特征在于，所述数据处理***包括：
备份模块，用于备份第一存储文件，并记录备份操作的第一时间点，其中，所述第一存储文件为在所述第一时间点之前，存储在第一存储介质上的多个存储文件；
合并模块，用于当所述第一存储介质上的第二存储文件的数量满足预设阈值时，根据所述第一时间点，将所述第一时间点之前的所述第一存储文件和所述第一时间点之后的存储文件分别合并所述第二存储文件，得到至少两个第三存储文件；其中，所述第二存储文件包括所述第一存储文件和所述第一时间点到当前时间点之间新生成的存储文件；
所述备份模块还用于，根据所述第一时间点，对所述至少两个第三存储文件进行增量备份，所述增量备份为备份所述第一时间点之后的至少一个所述第三存储文件。
7.根据权利要求 6所述的数据处理***，其特征在于，所述数据处理***还包括获取模块和确定模块，
所述获取模块，用于获取至少两个所述第三存储文件的时间戳范围；
所述确定模块，用于根据至少两个所述第三存储文件的时间戳范围和所述第一时间点，确定增量备份的至少一个所述第三存储文件；
所述备份模块用于备份至少一个所述第三存储文件。
8.根据权利要求6所述的数据处理***，其特征在于，所述备份模块具体用于，根据预设条件，备份所述第一存储文件。
9.根据权利要求7所述的数据处理***，其特征在于，所述获取模块具体用于，从每个所述第三存储文件的元数据块中获取时间戳范围。
10.根据权利要求6至9任一项所述的数据处理***，其特征在于，所述备份模块还用于，记录增量备份操作的第二时间点，以用于根据所述第二时间点合并或备份新生成的存储文件。
CN201510620975.9A 2015-09-25 2015-09-25 数据备份的方法和数据处理*** Active CN105243109B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN202010034066.8A CN111240902A (zh) 2015-09-25 2015-09-25 数据备份的方法和数据处理***
CN201510620975.9A CN105243109B (zh) 2015-09-25 2015-09-25 数据备份的方法和数据处理***
EP16847847.7A EP3287910B1 (en) 2015-09-25 2016-06-13 Data backup method and data processing system
PCT/CN2016/085608 WO2017049965A1 (zh) 2015-09-25 2016-06-13 数据备份的方法和数据处理***
BR112017023803-9A BR112017023803B1 (pt) 2015-09-25 2016-06-13 Método de backup de dados e sistema de processamento de dados
US15/927,332 US11119863B2 (en) 2015-09-25 2018-03-21 Data backup method and data processing system
US15/927,301 US11132260B2 (en) 2015-09-25 2018-03-21 Data processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510620975.9A CN105243109B (zh) 2015-09-25 2015-09-25 数据备份的方法和数据处理***

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010034066.8A Division CN111240902A (zh) 2015-09-25 2015-09-25 数据备份的方法和数据处理***

Publications (2)

Publication Number Publication Date
CN105243109A CN105243109A (zh) 2016-01-13
CN105243109B true CN105243109B (zh) 2021-10-15

Family

ID=55040757

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010034066.8A Pending CN111240902A (zh) 2015-09-25 2015-09-25 数据备份的方法和数据处理***
CN201510620975.9A Active CN105243109B (zh) 2015-09-25 2015-09-25 数据备份的方法和数据处理***

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010034066.8A Pending CN111240902A (zh) 2015-09-25 2015-09-25 数据备份的方法和数据处理***

Country Status (5)

Country Link
US (1) US11119863B2 (zh)
EP (1) EP3287910B1 (zh)
CN (2) CN111240902A (zh)
BR (1) BR112017023803B1 (zh)
WO (1) WO2017049965A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11132260B2 (en) 2015-09-25 2021-09-28 Huawei Technologies Co., Ltd. Data processing method and apparatus
CN111240902A (zh) 2015-09-25 2020-06-05 华为技术有限公司 数据备份的方法和数据处理***
CN108780447A (zh) * 2016-03-02 2018-11-09 华为技术有限公司 差异数据备份的方法和设备
CN107111534A (zh) * 2016-06-28 2017-08-29 华为技术有限公司 一种数据处理的方法和装置
CN107168802A (zh) * 2017-05-18 2017-09-15 郑州云海信息技术有限公司 一种云存储中小文件的合并方法及装置
CN107832169B (zh) * 2017-08-09 2020-12-18 平安壹钱包电子商务有限公司 内存数据迁移方法、装置、终端设备和存储介质
CN109408279A (zh) * 2017-08-16 2019-03-01 北京京东尚科信息技术有限公司 数据备份方法和装置
CN110232000B (zh) * 2018-03-05 2022-02-25 腾讯科技（深圳）有限公司 数据存储管理方法及装置
CN108573034A (zh) * 2018-03-30 2018-09-25 北京辰森世纪科技股份有限公司 数据备份方法、装置、计算机设备及可读存储介质
CN109981774B (zh) * 2019-03-22 2021-02-19 联想(北京)有限公司 数据缓存方法和数据缓存装置
CN110909062A (zh) * 2019-11-29 2020-03-24 迈普通信技术股份有限公司 数据处理方法、装置、电子设备及可读存储介质
CN111274253A (zh) * 2020-01-10 2020-06-12 北京奇艺世纪科技有限公司 全量分区视图的生成方法、装置、存储介质和电子装置
CN111881095A (zh) * 2020-07-29 2020-11-03 天津中新智冠信息技术有限公司 一种文件变更的处理方法、装置、存储介质及电子设备
CN112256487A (zh) * 2020-11-12 2021-01-22 北京联创信安科技股份有限公司 一种数据备份的方法、装置、设备及存储介质
CN113791736A (zh) * 2021-09-15 2021-12-14 京东科技信息技术有限公司 数据迁移方法、网卡设备、服务器及数据迁移***
WO2023125412A1 (en) * 2021-12-27 2023-07-06 Huawei Cloud Computing Technologies Co., Ltd. Method and system for synchronous data replication
CN114924911B (zh) * 2022-05-19 2023-04-14 广州鼎甲计算机科技有限公司 Windows操作***有效数据备份方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101064730A (zh) * 2006-09-21 2007-10-31 上海交通大学 计算机网络数据文件本地和远程的备份方法
CN103793493A (zh) * 2014-01-21 2014-05-14 深圳市元征科技股份有限公司 一种处理车载终端海量数据的方法和***

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1008048B1 (en) * 1997-08-29 2001-10-31 Hewlett-Packard Company Data backup and recovery systems
US7134041B2 (en) 2001-09-20 2006-11-07 Evault, Inc. Systems and methods for data backup over a network
US7234077B2 (en) 2003-06-24 2007-06-19 International Business Machines Corporation Rapid restoration of file system usage in very large file systems
CA2452251C (en) * 2003-12-04 2010-02-09 Timothy R. Jewell Data backup system and method
US7809691B1 (en) * 2005-02-22 2010-10-05 Symantec Operating Corporation System and method of applying incremental changes prior to initialization of a point-in-time copy
CN101300553B (zh) * 2005-11-04 2012-05-09 松下电器产业株式会社 文件记录装置及拍摄装置
US7904425B2 (en) * 2005-12-13 2011-03-08 International Business Machines Corporation Generating backup sets to a specific point in time
US8005797B1 (en) * 2008-04-01 2011-08-23 Acronis Inc. File-level continuous data protection with access to previous versions
CN101394424B (zh) 2008-10-27 2011-11-09 中国科学院计算技术研究所 一种磁盘级网络数据备份的***及方法
CN101650677A (zh) 2009-07-27 2010-02-17 浪潮电子信息产业股份有限公司 一种基于Delta增量的文件数据备份方法
CN101729671A (zh) 2009-12-31 2010-06-09 宇龙计算机通信科技(深圳)有限公司 一种终端、备份文件管理的方法及***
US9495264B2 (en) * 2010-08-09 2016-11-15 Veritas Technologies Llc Data replication techniques using incremental checkpoints
CN102541940A (zh) * 2010-12-31 2012-07-04 上海可鲁***软件有限公司 一种工业数据库数据完整性管控方法
CN103593256B (zh) * 2012-08-15 2017-05-24 阿里巴巴集团控股有限公司 一种基于多层排重的虚机快照备份方法和***
CN102999400A (zh) * 2012-11-22 2013-03-27 中国电信股份有限公司云计算分公司 一种云存储***数据备份方法及装置
CN102955861B (zh) * 2012-11-30 2017-04-12 华为技术有限公司 一种基于备份文件的索引文件生成方法和装置
CN103049353B (zh) 2012-12-21 2016-01-06 华为技术有限公司 一种数据备份方法及相关装置
JP5289642B1 (ja) 2013-01-25 2013-09-11 株式会社東芝 データをバックアップするバックアップストレージシステム、バックアップストレージ装置及び方法
CN103778033A (zh) 2014-01-26 2014-05-07 宝龙计算机***（湖南）有限公司 一种类Unix操作***多时间点备份的方法及装置
CN104199901A (zh) 2014-08-27 2014-12-10 浪潮集团有限公司 一种批量合并hbase表regions的方法
CN104199963A (zh) 2014-09-19 2014-12-10 浪潮(北京)电子信息产业有限公司 HBase数据备份恢复的方法和装置
US10078555B1 (en) 2015-04-14 2018-09-18 EMC IP Holding Company LLC Synthetic full backups for incremental file backups
CN105005617B (zh) 2015-07-21 2018-10-12 领航动力信息***有限公司 一种时间序列数据的存储方法及装置
CN111240902A (zh) * 2015-09-25 2020-06-05 华为技术有限公司 数据备份的方法和数据处理***
CN107111534A (zh) 2016-06-28 2017-08-29 华为技术有限公司 一种数据处理的方法和装置
US10116451B2 (en) 2016-11-11 2018-10-30 Intel Corporation File backups using a trusted storage region

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101064730A (zh) * 2006-09-21 2007-10-31 上海交通大学 计算机网络数据文件本地和远程的备份方法
CN103793493A (zh) * 2014-01-21 2014-05-14 深圳市元征科技股份有限公司 一种处理车载终端海量数据的方法和***

Also Published As

Publication number Publication date
EP3287910A1 (en) 2018-02-28
CN111240902A (zh) 2020-06-05
WO2017049965A1 (zh) 2017-03-30
BR112017023803B1 (pt) 2023-01-03
BR112017023803A8 (pt) 2022-10-04
US11119863B2 (en) 2021-09-14
EP3287910A4 (en) 2018-08-08
BR112017023803A2 (zh) 2018-07-31
EP3287910B1 (en) 2021-01-13
US20180210795A1 (en) 2018-07-26
CN105243109A (zh) 2016-01-13

Similar Documents

Publication Publication Date Title
CN105243109B (zh) 数据备份的方法和数据处理***
US20160283711A1 (en) eMMC Monitoring Method and Apparatus
US11232073B2 (en) Method and apparatus for file compaction in key-value store system
CN109496292B (zh) 一种磁盘管理方法、磁盘管理装置及电子设备
CN110333971B (zh) Ssd坏块表备份方法、装置、计算机设备及存储介质
CN105573859A (zh) 一种数据库的数据恢复方法和设备
WO2018006721A1 (zh) 日志文件的存储方法及装置
CN111104540A (zh) 图像搜索方法、装置、设备及计算机可读存储介质
CN111078515A (zh) Ssd分层日志记录方法、装置、计算机设备及存储介质
US7574419B2 (en) Automatic tuning of undo retention
US8756200B2 (en) Undo advisor
CN112948504B (zh) 数据采集方法、装置、计算机设备和存储介质
CN111090543B (zh) 一种Zookeeper的备份恢复方法、终端及计算机可读存储介质
CN114185919A (zh) 慢查询告警方法、电子设备及存储介质
CN110471625B (zh) 坏块信息保护方法、装置、计算机设备及存储介质
CN114328548B (zh) 双存储池数据淘汰速度控制方法、***、终端及存储介质
CN115269558A (zh) 数据存储方法、装置、设备、存储介质和程序产品
CN115391129A (zh) 一种数据监控方法、装置、设备及存储介质
US11429587B1 (en) Multiple duration deduplication entries
CN112783854A (zh) 数据库的配置参数的获取方法和装置
CN108491316A (zh) 一种日志管理方法、装置及电子设备
CN113568883B (zh) 数据写入方法及装置
CN113127572B (zh) 档案合并方法、装置、设备及计算机可读存储介质
CN113177143B (zh) 时序数据访问方法、装置、存储介质及电子设备
CN114443224B (zh) 分布式集群逻辑卷数据管理方法、***、设备和介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200417

Address after: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Applicant after: HUAWEI TECHNOLOGIES Co.,Ltd.

Address before: 301, A building, room 3, building 301, foreshore Road, No. 310052, Binjiang District, Zhejiang, Hangzhou

Applicant before: Hangzhou Huawei Digital Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220224

Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province

Patentee after: Huawei Cloud Computing Technologies Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.