CN108228390A - 数据回档方法及装置 - Google Patents

Abstract

本发明公开了一种数据回档方法及装置，属于数据处理领域。所述方法包括：获取客户端发送的回档请求，回档请求包括回档时刻和目标集合标识，目标集合标识用于唯一标识数据库实例中待回档的目标数据集合；获取与回档时刻和目标集合标识对应的目标备份数据；将目标备份数据回档至回档数据集合中，回档数据集合是数据库实例中与目标数据集合对应的数据集合。本发明实施例通过按照集合粒度进行数据回档，避免了相关技术中实例级别回档时需要将数据库实例中的所有数据进行回档而导致回档效率较低的问题，提高了数据回档的效率。

Description

数据回档方法及装置

技术领域

本发明实施例涉及数据处理领域，特别涉及一种数据回档方法及装置。

背景技术

回档是指将数据库中的数据恢复到某一历史时刻，如恢复到数据发生错乱前的某一时刻。

相关技术中，当用户因某种原因(如游戏回档、代码漏洞引起数据错乱等)需要进行数据回档时，用户通过客户端向数据回档***发送回档请求，该回档请求携带有回档时刻；对应的，数据回档***接收到该回档请求，获取与该回档请求中的回档时刻对应的备份文件，并将获取到的备份文件导入至一个全新的临时实例中。当临时实例中的数据校验成功后，使用该临时实例替换数据库实例以完成回档。

但是，在上述方法中，当数据库实例中部分数据错乱需要回档时，仍需要将数据库实例中的所有数据回档到回档时刻，导致回档效率较低。

发明内容

为了解决相关技术中实例级别回档时需要将数据库实例中的所有数据进行回档而导致回档效率较低的问题，本发明实施例提供了一种数据回档方法及装置。所述技术方案如下：

第一方面，提供了一种数据回档方法，所述方法包括：

获取客户端发送的回档请求，所述回档请求包括回档时刻和目标集合标识，所述目标集合标识用于唯一标识数据库实例中待回档的目标数据集合；

获取与所述回档时刻和所述目标集合标识对应的目标备份数据；

将所述目标备份数据回档至回档数据集合中，所述回档数据集合是所述数据库实例中与所述目标数据集合对应的数据集合。

第二方面，提供了一种数据回档装置，所述装置包括：

第一获取模块，用于获取客户端发送的回档请求，所述回档请求包括回档时刻和目标集合标识，所述目标集合标识用于唯一标识数据库实例中待回档的目标数据集合；

第二获取模块，用于获取与所述回档时刻和所述目标集合标识对应的目标备份数据；

回档模块，用于将所述目标备份数据回档至回档数据集合中，所述回档数据集合是所述数据库实例中与所述目标数据集合对应的数据集合。

第三方面，提供了一种数据回档***，所述数据回档***包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现第一方面所提供的数据回档方法。

第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现第一方面所提供的数据回档方法。

本发明实施例提供的技术方案带来的有益效果是：

通过获取客户端发送的回档请求，回档请求包括回档时刻和目标集合标识，获取与回档时刻和目标集合标识对应的目标备份数据，将目标备份数据回档至回档数据集合中，回档数据集合是数据库实例中与目标数据集合对应的数据集合；即本发明实施例所提供的数据回档方法是按照集合粒度进行回档的，避免了相关技术中实例级别回档时需要将数据库实例中的所有数据进行回档而导致回档效率较低的问题，在一方面，使得当用户只需要对数据库实例中的部分数据进行回档时，能够对需要回档的部分数据进行回档，提高了回档效率；在另一方面，在该数据库实例中的部分数据回档过程中其他数据及访问均不受影响，最大可能的降低了数据丢失的范围。

附图说明

图1是本发明实施例提供的数据回档***的结构示意图；

图2是本发明一个实施例提供的数据回档方法的流程图；

图3是本发明另一个实施例提供的数据回档方法的流程图；

图4是本发明另一个实施例提供的数据回档方法涉及的界面示意图；

图5是本发明另一个实施例提供的数据回档方法涉及的原理示意图；

图6是本发明另一个实施例提供的数据回档方法涉及的回写数据过程的流程图；

图7是本发明另一个实施例提供的数据回档方法涉及的回档流控机制的原理示意图；

图8是本发明另一个实施例提供的数据回档方法涉及的回档流控机制的流程图；

图9是本发明另一个实施例提供的数据回档方法涉及的回档流控机制的原理示意图；

图10是本申请另一个实施例提供的数据回档装置的结构示意图；

图11是本申请一个实施例提供的服务器的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

首先，对本发明实施例涉及到的一些名词进行解释：

云数据库：是一种部署在虚拟计算环境中的数据库。云数据库包括多个数据库实例，每个客户端对应至少一个数据库实例。

本发明实施例的数据回档方法及装置用于对数据库的数据进行回档，该数据回档方法及装置适用的云数据库包括但不限于MongoDB数据库、SQL Server数据库、Oracle数据库、MySQL数据库等。其中，MongoDB数据库是一种文档型数据库，即面向文档的数据库。下面，仅以云数据库为MongoDB数据库为例进行说明。

文档：MongoDB数据库的基本单元。类似于与关系型数据库中的一张表的一行。

集合：在MongoDB数据库中一组文档称为一个集合。集合是数据库实例对应的所有数据的一个真子集。类似于关系型数据库中的一张表或者至少两张表的组合。

数据库(英文：Database，DB)：是储存在计算机内、有组织的、可共享的仓库。在MongoDB数据库中一组集合称为一个DB，MongoDB数据库包括至少一个DB。

数据库实例：数据库实例是数据库运行中的逻辑工作单位，通常，一个数据库实例可以对数据库进行一次操作，如：增加操作、修改操作、删除操作等，可选的，一个数据库实例为一条或一组结构化查询语言(Structured Query Language，SQL)语句。

操作日志：存储云数据库中所有数据库操作和命令的日志。在MongoDB数据库中，副本集集群通过oplog日志来记录所有的增删改操作。其中，Oplog日志中存储有数据库中一条或者多条数据的变更内容及变更时间。

需要说明的是，oplog日志具有等幂性，即重复对oplog日志进行回放后总能得到相同的结果。

全量备份文件：在某一个历史时刻对数据库进行一次完整备份所形成的数据库完整镜像文件。

增量备份文件：基于全量备份文件，对数据库中的变化部分进行备份所得到的备份文件。

可选的，增量备份文件包括将数据库的操作日志、数据日志和***日志中的至少一种进行备份得到的备份文件。

回档：在数据发生异常时，将数据库中的数据恢复到某一历史时刻的操作。

相关技术中，数据回档方法包括：当数据回档***接收到携带有回档时刻的回档请求时，获取与回档时刻对应的备份文件，并将获取到的备份文件导入至一个全新的临时实例中。当临时实例中的数据校验成功后，使用该临时实例替换数据库实例以完成回档。

但是，上述方法是按照实例级别进行回档的，即数据回档时只能将数据库实例中的所有数据集合都回档到回档时刻，如果用户仅需要回档数据库实例中的部分数据集合时，则上述方法无法满足该要求。比如，在游戏等虚拟架构中，往往存在者多个区甚至整个游戏的用户数据放在一个数据库实例中，如果其中一个区的用户数据发生异常需要进行回放时，则会导致整个数据库实例中的所有用户数据进行回档，进而影响该数据库实例中其它正常用户数据的访问，也会导致数据丢失的风险。

为此，本申请实施例提供了一种数据回档方法及装置，该数据回档方法是按照集合粒度进行回档的，避免了相关技术中实例级别回档时需要将数据库实例中的所有数据进行回档而导致回档效率较低的问题，在一方面，使得当用户只需要对数据库实例中的部分数据进行回档时，能够对需要回档的部分数据进行回档，提高了回档效率；在另一方面，在该数据库实例中的部分数据回档过程中其他数据及访问均不受影响，最大可能的降低了数据丢失的范围。

请参考图1，其示出了本发明实施例提供的数据回档***的结构示意图。该数据回档***包括：客户端110、接入网关120、代理服务器130、副本集集群140、控制中心150、回档中心160和备份中心170。

客户端110，用于访问数据库实例的程序。通常情况下，客户端110是运行在服务器后台的程序，比如，客户端110是网络游戏公司的后台服务器上的程序；又比如，客户端110是银行的后台服务器上的程序。

接入网关120，用于连接客户端110与数据库实例的网关设备，向运行数据库实例的代理服务器130提供一个对外的互联网协议(Intemet Protocol，IP)地址。

可选的，接入网关120还用于对用户网络层面进行隔离和管控，同时具备自动负载均衡的功能。

代理服务器130，是接入网关120的后端服务器，为MongoDB数据库的接入层，作为访问数据库的入口。

副本集集群140，是运行数据库实例的计算机集群。副本集集群140包括至少两个物理机。可选的，各个物理机具有相同或相似的硬件配置、硬件参数和硬件性能。

可选的，副本集集群140包括一个主节点(英文：Primary)和多个从节点(英文：Secondary)，为了防止出现操作失误或***故障导致数据丢失，主节点和每个从节点中的数据是一致的，即互为数据灾备。示意性的，主节点可以是一台或多台物理机，每个从节点也可以是一台或多台物理机。

需要说明的是，图1中仅示意性地示出多个从节点包括从节点1和从节点2。本实施例对从节点的数量不加以限定。

控制中心150是指数据库实例的控制中心，用于管理整个数据库实例中每个副本集/分片实例的状态、可用性，以及迁移、升级、备份、回档、监控、***部署等功能。

可选的，控制中心150，用于接收用户的回档请求，回档请求包括回档时刻和目标集合标识，在确认回档请求可执行后，向回档中心160转发该回档请求。对应的，回档中心接收到控制中心150发送的回档请求。回档请求的收发过程可参考下面的方法实施例中的相关细节，在此先不介绍。

回档中心160，用于从备份中心170获取与回档时刻对应的目标备份文件，在目标备份文件中确定与目标集合标识对应的待回档的目标数据集合，将待回档的目标数据集合中的数据写入目标数据集合中，目标数据集合是数据库实例中预先指定的不同于待回档的目标数据集合的集合。

备份中心170，用于存储备份文件，该备份文件包括全量备份文件与增量备份文件。备份中心170包括数据库171和备份存储中心172，数据库171用于存储备份数据元信息，备份存储中心172用于存储备份文件，备份数据元信息是备份中心170在备份过程中生成的用于描述备份文件的信息，如备份文件的开始时间与结束时间等。

可选的，备份中心170间隔n天对数据库做一次完整的数据库备份得到的全量备份文件。备份中心定时或者实时同步备份数据库的oplog日志得到的增量备份文件。

可选的，备份中心170将全量备份文件与增量备份文件的数据保留n+m天。其中，n和m均为正整数，m为备份中心170所默认设置的数值或者人为设置的数值，本实施例对此不加以限定。

需要说明的是，控制中心150、回档中心160和备份中心170可以是独立的三个服务器，通过各个服务器之间的交互实现数据回档；控制中心150、回档中心160和备份中心170也可以为集成在同一个物理机上的虚拟机或者软件以完成数据回档，本实施例对此不加以限定。

请参考图2，其示出了本发明一个实施例提供的数据回档方法的流程图。本实施例以该数据回档方法应用于图1所示出的数据回档***来举例说明。该数据回档方法包括：

步骤201，获取客户端发送的回档请求，回档请求包括回档时刻和目标集合标识，目标集合标识用于唯一标识数据库实例中待回档的目标数据集合。

可选的，回档时刻为客户端发送回档请求的发送时刻之前的m天内的任意时间点。

可选的，数据库实例包括至少两个数据集合，数据集合是数据库实例中的数据库或者是数据库实例中的集合。本实施例对此不加以限定。

至少两个数据集合各自对应一个集合标识，集合标识用于在数据库实例中唯一标识该数据集合。待回档的目标数据集合是数据库实例中的一个数据集合。

当用户需要进行数据回档时，用户通过所使用的客户端在数据库实例中选择待回档的目标数据集合以及回档时刻，相应的，该用户所使用的客户端向控制中心发送回档请求，该回档请求包括回档时刻和目标集合标识。对应的，控制中心接收客户端发送的回档请求，并将该回档请求转发至回档中心。对应的，回档中心接收控制中心转发的回档请求。

步骤202，获取与回档时刻和目标集合标识对应的目标备份数据。

可选的，回档中心在接收到回档请求后，确定该回档请求中的回档时刻和目标集合标识，从备份中心中获取与回档时刻和目标集合标识对应的目标备份数据。

需要说明的是，回档中心从备份中心中与回档时刻和目标集合标识对应的目标备份数据的过程可参考下面实施例中的相关描述，在此先不介绍。

步骤203，将目标备份数据回档至回档数据集合中，回档数据集合是数据库实例中与目标数据集合对应的数据集合。

回档中心将目标备份数据回档至回档数据集合中。可选的，回档数据集合是获取到客户端发送的回档请求后新建的数据集合。

综上所述，本发明实施例通过获取客户端发送的回档请求，回档请求包括回档时刻和目标集合标识，获取与回档时刻和目标集合标识对应的目标备份数据，将目标备份数据回档至回档数据集合中，回档数据集合是数据库实例中与目标数据集合对应的数据集合；即本发明实施例所提供的数据回档方法是按照集合粒度进行回档的，避免了相关技术中实例级别回档时需要将数据库实例中的所有数据进行回档而导致回档效率较低的问题，在一方面，使得当用户只需要对数据库实例中的部分数据进行回档时，能够对需要回档的部分数据进行回档，提高了回档效率；在另一方面，在该数据库实例中的部分数据回档过程中其他数据及访问均不受影响，最大可能的降低了数据丢失的范围。

请参考图3，其示出了本发明另一个实施例提供的数据回档方法的流程图。本实施例以该数据回档方法应用于图1所示出的实施环境来举例说明。该数据回档方法包括：

步骤301，客户端向控制中心发送回档请求。

用户在需要进行数据回档时，通过客户端登录控制台，该客户端根据用户在控制台上选择的需要回档的回档时刻、待回档的目标数据集合和输入的回档集合标识，生成回档请求，该回档请求包括回档时刻、用于标识待回档的目标数据集合的目标集合标识和回档集合标识。

可选的，回档集合标识为用户所指定的待创建的回档数据集合的集合标识，由于该回档集合标识是不能与数据库实例对应的各个集合标识存在冲突，因此该回档集合标识与数据库实例中至少两个数据集合各自对应的集合标识均不同。

在一个示意性的例子中，如图4所示，用户通过客户端在控制台上选择回档方式为“集合回档”，设定回档时间(即回档时刻)为“2017-12-15 03:38:21”，选择回档集合(即待回档的目标数据集合)为“实例1中的集合1”，设定回档后名称(即回档集合标识)为“table1_bak”。

步骤302，控制中心接收到客户端发送的回档请求后，将该回档请求转发至回档中心。

控制中心将该回档请求转发至回档中心，对应的，回档中心接收到该回档请求。

步骤303，回档中心校验该回档请求是否合法。

可选的，当回档中心接收到回档请求时，校验回档请求的合法性，包括：判断备份中心中是否存在与回档时刻对应的目标备份文件，或者，判断该回档时刻是否在预设时间范围内。当回档中心判断出备份中心中存在与回档时刻对应的目标备份文件，或者，判断出该回档时刻在预设时间范围内时，确定回档请求是合法的。

示意性的，预设时间范围为客户端发送回档请求的发送时刻之前的m天内。

若回档中心确定回档请求是合法的，则执行步骤304；若回档中心确定回档请求是不合法的，则结束进程。

步骤304，当回档中心校验出该回档请求合法后，获取与回档时刻对应的目标全量备份文件。

可选的，回档中心根据回档时刻，在备份中心中将距离回档时刻最近的备份时刻确定为目标备份时刻，备份中心中存储有N个全量备份文件和N个全量备份文件各自对应的备份时刻，N为正整数；获取目标备份时刻对应的目标全量备份文件。其中，目标全量备份文件为在目标备份时刻对数据库进行一次完整备份得到的备份文件。

可选的，备份中心对全量备份文件进行备份的方法，包括但不限于以下两种可能的备份方法。

在一种可能的备份方法中，备份中心每隔预定时间间隔对数据库进行一次完整备份得到全量备份文件，数据库包括M个数据集合，M为正整数；从全量备份文件中提取M个数据集合各自对应的备份数据；将M个数据集合各自对应的备份数据单独备份为集合备份文件。

可选的，若备份中心是按照该种备份方法对全量备份文件进行备份的，则回档中心获取目标备份时刻对应的目标全量备份文件，包括：获取目标备份时刻对应的M个集合备份文件。

在另一种可能的备份方法中，备份中心每隔预定时间间隔对数据库进行一次完整备份得到全量备份文件，全量备份文件包括数据库中M个数据集合各自对应的业务数据，M为正整数。为了方便介绍，下面仅以第二种可能的备份方法为例进行说明。

可选的，备份中心中存储有N个全量备份文件和N个全量备份文件各自对应的备份时刻，N为正整数。其中，全量备份文件的备份时刻包括备份该全量备份文件的开始时刻和/或结束时刻。

示意性的，备份中心中存储的5个全量备份文件和5个备份时刻的对应关系如表一所示。

表一

基于上述表一提供5个全量备份文件和5个备份时刻的对应关系，当回档时刻为“2017-12-15 03:38:21”时，回档中心在备份中心中将距离回档时刻最近的备份时刻“2017-12-15 00:00:00”确定为目标备份时刻。

步骤305，回档中心根据目标集合标识在目标全量备份文件中确定目标数据集合对应的业务数据。

回档中心根据目标集合标识，通过内置的过滤器对目标全量备份文件进行过滤，得到目标数据集合对应的业务数据。

可选的，回档中心获取目标备份时刻对应的目标全量备份文件后，将目标备份文件进行解压处理，并根据目标集合标识，从解压处理后的目标备份文件中确定目标数据集合对应的业务数据。

步骤306，回档中心根据回档请求中的回档集合标识，在数据库实例中创建与回档集合标识对应的回档数据集合。

可选的，当回档中心校验出该回档请求合法后，在数据库实例中创建与回档集合标识对应的回档数据集合。

其中，回档集合标识与数据库实例中的至少两个数据集合各自对应的集合标识均不同。

需要说明的是，步骤306可以与步骤304或步骤305并列执行，也可以先执行步骤306再执行步骤304和步骤305，本实施例对此不加以限定。

步骤307，回档中心将目标数据集合对应的业务数据回写至回档数据集合中。

可选的，该回档数据集合可设定保留一定时间(如48小时)并具有功能限制，比如不能进行数据备份，该数据备份包括自动备份和手动备份。

回档中心将目标数据集合对应的业务数据回写至回档数据集合中后，使用回档数据集合代替目标数据集合。

可选的，回档中心使用回档数据集合代替目标数据集合，包括：保留回档数据集合的同时，删除数据库实例中的目标数据集合，并释放目标数据集合的资源。

步骤308，回档中心获取目标备份时刻与回档时刻之间的目标增量备份文件。

其中，目标增量备份文件为目标备份时刻与回档时刻之间对数据库的操作日志进行备份得到的备份文件。

需要说明的是，步骤308和步骤304可以并列执行，即当回档中心校验出该回档请求合法后，从备份中心中获取与回档时刻对应的目标全量备份文件和目标增量备份文件。

步骤309，回档中心根据目标集合标识在目标增量备份文件中确定目标数据集合对应的日志数据。

可选的，备份中心对增量备份文件进行备份的方法，包括：每隔预定时间间隔或者实时对数据库的操作日志进行备份得到增量备份文件，增量备份文件包括数据库中M个数据集合各自对应的日志数据，M为正整数。

可选的，回档中心在目标增量备份文件中确定目标数据集合对应的日志数据，包括：根据目标集合标识，通过内置的过滤器对目标增量备份文件进行过滤，得到目标数据集合对应的日志数据。

步骤310，回档中心在数据回写完成后，将目标数据集合对应的日志数据回放至回档数据集合中。

可选的，目标数据集合对应的日志数据包括K个日志数据，K为正整数。示意性的，日志数据为oplog日志数据。

回档中心将目标备份时刻与回档时刻之间的K个日志数据依次回放至回档数据集合中。由于在全量备份过程中业务数据可能会继续写入，为了保证业务数据的一致性，需要从目标备份时刻开始将oplog日志数据重新执行一次。由于oplog日志数据具有等幂性，因此即使数据已经存在，多次重新对K个oplog日志数据进行回放也不会引起数据错乱。

在一个示意性的例子中，该数据回档过程如图5所示：

1、用户通过全球广域网(World Wide Web，WEB)控制台或者应用程序编程接口(Application Programming Interface，API)将回档请求发送至控制中心。

用户通过在客户端的应用程序上确定回档时刻和待回档的目标数据集合以发起回档请求，该应用程序通过应用程序编程接口(Application Programming Interface，API)访问控制中心以传送数据，从而使控制中心接收到对应的回档请求，该回档请求包括回档时刻和目标集合标识。

2、控制中心将回档请求转发至回档中心。

可选的，控制中心具有集群管理、元数据管理、设备管理、流程关系和监控告警中的至少一种功能。

控制中心在接收客户端发送的回档请求后，将该回档请求转发至回档中心。

3、回档中心从备份中心中与回档时刻对应的获取目标全量备份文件和目标增量备份文件。

回档中心校验该回档请求是否合法，若校验出该回档请求是合法的，从备份中心中获取目标全量备份文件和目标增量备份文件。

4、回档中心将目标备份数据回档至回档数据集合中。

回档中心根据目标集合标识在目标全量备份文件中确定目标数据集合对应的业务数据，并在目标增量备份文件中确定目标数据集合对应的日志数据，将确定出的业务数据和日志数据作为目标备份数据，将目标备份数据回档至回档数据集合中。

可选的，回档中心将目标备份数据回档至回档数据集合中，包括两个阶段：全量数据回写阶段和oplog日志回放阶段。在全量数据回写阶段中，回档中心将目标数据集合对应的业务数据回写至回档数据集合中。在oplog日志回放阶段中，回档中心将目标数据集合对应的日志数据回放至回档数据集合中。

示意性的，这两个阶段包括但不限于以下几个步骤，请参考图6。

1、回档中心向备份中心发送第一请求，该第一请求用于请求获取目标全量备份文件。

2、备份中心返回目标全量备份文件。

备份中心向回档中心返回目标全量备份文件，对应的，回档中心中的过滤器接收到该目标全量备份文件。

3、过滤器按照待回档的名字空间(英文：namespace)对目标全量备份文件进行过滤，得到目标数据集合。

可选的，过滤器设置在回档中心中，该过滤器用于对回档中心获取到的数据进行过滤处理。

4、过滤器向回档中心返回待回档的目标数据集合。

5、回档中心将目标数据集合中的业务数据写入至回档数据集合。

6、回档数据集合向回档中心返回写入结果。

7、回档中心向备份中心发送第二请求，该第二请求用于请求获取目标备份时刻与回档时刻之间的目标增量备份文件。

8、备份中心返回目标备份时刻与回档时刻之间的目标增量备份文件，即目标备份时刻与回档时刻之间的oplog日志。

备份中心向回档中心返回oplog日志，对应的，回档中心中的过滤器接收到oplog日志。

9、过滤器按照待回档的名字空间将oplog日志进行过滤，得到目标数据集合对应的oplog日志数据。

可选的，过滤器将oplog日志映射为目标数据集合的处理操作。示意性的，oplog日志和目标数据集合的处理操作之间的映射关系如表二所示。表二中，命令creat()用于指示创建数据库，对应的处理操作为将其中的namespace参数改成目标数据集合的namespace；命令dropDatabase()用于指示删除回档后的数据库，对应的处理操作为删除目数据标集合；命令drop()用于指示删除目标数据集合，对应的处理操作为删除目数据标集合；命令collMod()用于指示修改集合的属性信息，属性信息包括索引的过期时间和数据集合中文档空间的分配方式等，对应的处理操作为将其中的namespace参数改成目标集合的namespace。

表二

10、过滤器向回档中心返回目标数据集合对应的oplog日志数据。

过滤器向回档中心返回待回放的oplog日志数据，对应的，回档中心接收到待回放的oplog日志数据。

11、回档中心将oplog日志数据在备份中心中依次进行回放操作。

12、备份中心向回档中心返回回放结果。

在oplog日志数据依次被进行回放操作之后，备份中心向回档中心返回回放结果。该回放结果包括用于指示回放操作成功的结果或者用于指示回放操作失败的结果。对应的，回档中心接收到该回放结果。

需要说明的一点是，若回档时刻即为备份中心中存储的某个全量备份文件的备份时刻，则回档中心不需要获取目标增量备份文件，也就不需要执行在目标增量备份文件中确定目标数据集合对应的日志数据，并将日志数据回放至回档数据集合中等步骤。此时，回档中心只需要获取目标全量备份文件即可。因此，回档中心获取与回档时刻和目标集合标识对应的目标备份数据，可以包括：当在备份中心中查找到与回档时刻相同的备份时刻时，将备份时刻确定为目标备份时刻，备份中心中存储有N个全量备份文件和N个全量备份文件各自对应的备份时刻，N为正整数；获取与回档时刻对应的目标全量备份文件；根据目标集合标识在目标全量备份文件中确定目标数据集合对应的业务数据。

需要说明的另一点是，由于本发明实施例是按集合维度进行数据回档的，回档的目标对象为数据库实例，若过快的往回档数据集合中写入数据，则将会影响业务的正常读写。而且，MongoDB数据库的oplog日志空间往往是有限的，过快的写入数据可能会在从节点拉取主节点的oplog日志前，将待读取的oplog日志覆盖，进而导致副本集集群中主节点和从节点同步异常的问题。因此，为了避免对数据库实例的运行造成影响，需要对数据回档的速度进行控制。

为此，本发明实施例利用可变窗口的概念实现回档流控机制。可选的，请c参考图7，数据回档***还包括监控中心，回档中心将oplog日志在备份中心中依次进行回放操作，包括：1、代理服务器实时监控副本集集群对应的业务请求，生成监控数据；2、代理服务器向监控中心上报该监控数据；3、监控中心接收到该监控数据，从监控数据中获取副本集集群对应的业务请求参数，该业务请求参数用于指示回放窗口中操作日志对应的业务请求的压力大小。监控中心将获取到的业务请求参数发送至回档中心。对应的，回档中心接收到该业务请求参数，根据业务请求参数对回放窗口的窗口大小进行调整。4、回档中心根据调整后的回放窗口继续进行数据回档。

可选的，基于图7所提供的数据回档***，上述步骤中回档中心将oplog日志在备份中心中依次进行回放操作，包括但不限于以下几个步骤，请参考图8：

步骤801，初始化回放窗口的窗口大小，回放窗口的窗口大小用于指示一次回放操作对应的日志数据的数量。

回档中心初始化回放窗口的窗口大小，回放窗口的窗口大小可以是回档中心默认设置的，也可以是人为设置的，本实施例对此不加以限定。

比如，初始化回放窗口的窗口大小为4，即用于指示一次回放操作对应的数据库的操作日志的数量为“4个”。

步骤802，获取业务请求参数，业务请求参数用于指示回放窗口中日志数据对应的业务请求的压力大小。

回档中心获取副本集集群对应的业务请求参数，该业务请求参数包括每秒查询率(Queries-per-second，QPS)和/或评价时延。

其中，每秒查询率用于指示副本集集群对应的业务请求在规定时间内所处理的流量大小。评价时延用于指示对副本集集群对应的业务请求所使用的时间长短。

可选的，数据回档***还包括监控中心，监控中心用于获取监控数据，从监控数据中获取副本集集群对应的业务请求参数，该业务请求参数包括每秒查询率和/或评价时延。监控中心将业务请求参数发送至回档中心，对应的，回档中心接收到该业务请求参数。

回档中心获取业务请求参数，包括：每隔预定时间间隔从监控中心中获取业务请求参数；或者，实时从监控中心中获取业务请求参数。

步骤803，根据业务请求参数，对回放窗口的窗口大小进行调整。

回档中心根据业务请求参数，对回放窗口的窗口大小进行调整，包括：当业务请求参数满足预设条件时，扩大回放窗口的窗口大小；当业务请求时延不满足预设条件时，缩小回放窗口的窗口大小。其中，预设条件包括每秒查询率大于第一预设阈值，和/或评价时延小于第二预设阈值。本实施例对第一预设阈值和第二预设阈值的实际取值不加以限定。

可选的，回档中心扩大回放窗口的窗口大小，包括：将回放窗口的窗口大小乘以第一预设系数，计算得到调整后的回放窗口的窗口大小。回档中心缩小回放窗口的窗口大小，包括：将回放窗口的窗口大小除以第二预设系数，计算得到调整后的回放窗口的窗口大小。其中，第一预设系数和第二预设系数均大于1。

可选的，第一预设系数和第二预设系数是相同的系数，或者是不同的系数。比如，第一预设系数和第二预设系数均为2。

步骤804，根据调整后的回放窗口，对日志数据继续执行回放操作。

回档中心根据调整后的回放窗口，对尚未回放的日志数据继续执行回放操作。

其中，目标数据集合对应的日志数据包括K个日志数据，K个日志数据包括已回放的日志数据、当前窗口中正在回放的日志数据和尚未回放的日志数据中的至少一种。

在一个示意性的例子中，如图9所示，回放窗口的窗口大小为2，K个oplog日志包括2个已回放的oplog日志数据，回档中心获取评价时延，当判断出评价时延小于第二预设阈值时，将回放窗口的窗口大小乘以第一预设系数2，得到调整后的回放窗口的窗口大小为“4”，即调整后的回放窗口中对2个已回放的oplog日志之后的4个oplog日志继续执行回放操作。

综上所述，本发明实施例还通过回档中心获取副本集集群对应的业务请求参数，根据业务请求参数，对回放窗口的窗口大小进行调整，根据调整后的回放窗口，对日志数据继续执行回放操作，使得回档中心能够根据实时监控的监控数据对数据回档时的速度进行控制，避免对数据库实例的运行造成影响。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

请参考图10，其示出了本申请一个实施例提供的数据回档装置的结构示意图。该数据回档装置可以通过专用硬件电路，或者，软硬件的结合实现成为数据回档***的全部或一部分，该数据回档装置包括：第一获取模块1010、第二获取模块1020和回档模块1030。

第一获取模块1010，用于实现上述步骤201。

第二获取模块1020，用于实现上述步骤202。

回档模块1030，用于实现上述步骤203。

可选的，第二获取模块1020，包括：第一获取单元和第一确定单元。

第一获取单元，用于获取与回档时刻对应的目标全量备份文件和目标增量备份文件；

第一确定单元，用于根据目标集合标识在目标全量备份文件中确定目标数据集合对应的业务数据，并在目标增量备份文件中确定目标数据集合对应的日志数据；

其中，目标全量备份文件为在目标备份时刻对数据库进行一次完整备份得到的备份文件，目标增量备份文件为目标备份时刻与回档时刻之间对数据库的操作日志进行备份得到的备份文件。

可选的，回档模块1030，包括：回写单元和回放单元。

回写单元，用于实现上述步骤307。

回放单元，用于实现上述步骤310。

可选的，第一获取单元，还用于根据回档时刻，在备份中心中将距离回档时刻最近的备份时刻确定为目标备份时刻，备份中心中存储有N个全量备份文件和N个全量备份文件各自对应的备份时刻，N为正整数；获取目标备份时刻对应的目标全量备份文件。

可选的，该装置，还包括：备份模块。

备份模块，用于每隔预定时间间隔对数据库进行一次完整备份得到全量备份文件，全量备份文件包括数据库中M个数据集合各自对应的业务数据，M为正整数；

第一确定单元，还用于根据目标集合标识，通过内置的过滤器对目标全量备份文件进行过滤，得到目标数据集合对应的业务数据。

可选的，备份模块，还用于每隔预定时间间隔或者实时对数据库的操作日志进行备份得到增量备份文件，增量备份文件包括数据库中M个数据集合各自对应的日志数据，M为正整数；

第一确定单元，还用于根据目标集合标识，通过内置的过滤器对目标增量备份文件进行过滤，得到目标数据集合对应的日志数据。

可选的，回放单元，还用于实现上述步骤801至步骤804。

可选的，业务请求参数包括每秒查询率和/或评价时延，回放单元，还用于当业务请求参数满足预设条件时，将回放窗口的窗口大小乘以第一预设系数，计算得到调整后的回放窗口的窗口大小；当业务请求时延不满足预设条件时，将回放窗口的窗口大小除以第二预设系数，计算得到调整后的回放窗口的窗口大小，第一预设系数和第二预设系数均大于1；其中，预设条件包括每秒查询率大于第一预设阈值，和/或评价时延小于第二预设阈值。

可选的，第二获取模块1020，还包括：第二确定单元、第二获取单元和第三确定单元。

第二确定单元，用于当在备份中心中查找到与回档时刻相同的备份时刻时，将备份时刻确定为目标备份时刻，备份中心中存储有N个全量备份文件和N个全量备份文件各自对应的备份时刻，N为正整数；

第二获取单元，用于获取与回档时刻对应的目标全量备份文件；

第三确定单元，还用于根据目标集合标识在目标全量备份文件中确定目标数据集合对应的业务数据。

可选的，回档请求还包括回档数据集合的回档集合标识，该装置还包括：创建模块。创建模块，用于实现上述步骤306。

相关细节可结合参考图2至图9所示的方法实施例。其中，第一获取模块1010和第二获取模块1020还用于实现上述方法实施例中其他任意隐含或公开的与获取步骤相关的功能；回档模块1030还用于实现上述方法实施例中其他任意隐含或公开的与回档步骤相关的功能。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本申请实施例提供了一种数据回档***，所述数据回档***包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述各个方法实施例提供的数据回档方法。

请参考图11，其示出了本申请一个实施例提供的服务器1100的结构示意图。该服务器1100可以是图1所示出的数据回档***中的控制中心150、回档中心160和备份中心170中的任一个，具体来讲：所述服务器1100包括中央处理单元(CPU)1101、包括随机存取存储器(RAM)1102和只读存储器(ROM)1103的***存储器1104，以及连接***存储器1104和中央处理单元1101的***总线1105。所述服务器1100还包括帮助计算机内的各个器件之间传输信息的基本输入/输出***(I/O***)1106，和用于存储操作***1113、应用程序1114和其他程序模块1115的大容量存储设备1107。

所述基本输入/输出***1106包括有用于显示信息的显示器1108和用于用户输入信息的诸如鼠标、键盘之类的输入设备1109。其中所述显示器1108和输入设备1109都通过连接到***总线1105的输入输出控制器1110连接到中央处理单元1101。所述基本输入/输出***1106还可以包括输入输出控制器1110以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1110还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备1107通过连接到***总线1105的大容量存储控制器(未示出)连接到中央处理单元1101。所述大容量存储设备1107及其相关联的计算机可读介质为服务器1100提供非易失性存储。也就是说，所述大容量存储设备1107可以包括诸如硬盘或者CD-ROI驱动器之类的计算机可读介质(未示出)。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的***存储器1104和大容量存储设备1107可以统称为存储器。

根据本申请的各种实施例，所述服务器1100还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1100可以通过连接在所述***总线1105上的网络接口单元1111连接到网络1112，或者说，也可以使用网络接口单元1111来连接到其他类型的网络或远程计算机***(未示出)。

可选的，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各个方法实施例提供的数据回档方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的数据回档方法中全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种数据回档方法，其特征在于，所述方法包括：

获取客户端发送的回档请求，所述回档请求包括回档时刻和目标集合标识，所述目标集合标识用于唯一标识数据库实例中待回档的目标数据集合；

获取与所述回档时刻和所述目标集合标识对应的目标备份数据；

将所述目标备份数据回档至回档数据集合中，所述回档数据集合是所述数据库实例中与所述目标数据集合对应的数据集合。

2.根据权利要求1所述的方法，其特征在于，所述获取与所述回档时刻和所述目标集合标识对应的目标备份数据，包括：

获取与所述回档时刻对应的目标全量备份文件和目标增量备份文件；

根据所述目标集合标识在所述目标全量备份文件中确定所述目标数据集合对应的业务数据，并在所述目标增量备份文件中确定所述目标数据集合对应的日志数据；

其中，所述目标全量备份文件为在目标备份时刻对数据库进行一次完整备份得到的备份文件，所述目标增量备份文件为所述目标备份时刻与所述回档时刻之间对所述数据库的操作日志进行备份得到的备份文件。

3.根据权利要求2所述的方法，其特征在于，所述将所述目标备份数据回档至回档数据集合中，包括：

将所述目标数据集合对应的业务数据回写至所述回档数据集合中；

在数据回写完成后，将所述目标数据集合对应的日志数据回放至所述回档数据集合中。

4.根据权利要求2所述的方法，其特征在于，所述获取与所述回档时刻对应的目标全量备份文件，包括：

根据所述回档时刻，在备份中心中将距离所述回档时刻最近的备份时刻确定为目标备份时刻，所述备份中心中存储有N个全量备份文件和所述N个全量备份文件各自对应的备份时刻，所述N为正整数；

获取所述目标备份时刻对应的所述目标全量备份文件。

5.根据权利要求2所述的方法，其特征在于，所述方法，还包括：

每隔预定时间间隔对所述数据库进行一次完整备份得到全量备份文件，所述全量备份文件包括所述数据库中M个数据集合各自对应的业务数据，所述M为正整数；

所述根据所述目标集合标识在所述目标全量备份文件中确定所述目标数据集合中的业务数据，包括：

根据所述目标集合标识，通过内置的过滤器对所述目标全量备份文件进行过滤，得到所述目标数据集合对应的业务数据。

6.根据权利要求2所述的方法，其特征在于，所述方法，还包括：

每隔预定时间间隔或者实时对所述数据库的操作日志进行备份得到增量备份文件，所述增量备份文件包括所述数据库中M个数据集合各自对应的日志数据，所述M为正整数；

所述在所述目标增量备份文件中确定所述目标数据集合对应的日志数据，包括：

根据所述目标集合标识，通过内置的过滤器对所述目标增量备份文件进行过滤，得到所述目标数据集合对应的日志数据。

7.根据权利要求3所述的方法，其特征在于，所述将所述目标数据集合对应的日志数据回放至所述回档数据集合中，包括：

初始化回放窗口的窗口大小，所述回放窗口的窗口大小用于指示一次回放操作对应的日志数据的数量；

获取业务请求参数，所述业务请求参数用于指示所述回放窗口中所述日志数据对应的业务请求的压力大小；

根据所述业务请求参数，对所述回放窗口的窗口大小进行调整；

根据调整后的所述回放窗口，对所述日志数据继续执行回放操作。

8.根据权利要求7所述的方法，其特征在于，所述业务请求参数包括每秒查询率和/或评价时延，所述根据所述业务请求参数，对所述回放窗口的窗口大小进行调整，包括：

当所述业务请求参数满足预设条件时，将所述回放窗口的窗口大小乘以第一预设系数，计算得到调整后的所述回放窗口的窗口大小；

当所述业务请求时延不满足预设条件时，将所述回放窗口的窗口大小除以第二预设系数，计算得到调整后的所述回放窗口的窗口大小，所述第一预设系数和所述第二预设系数均大于1；

其中，所述预设条件包括所述每秒查询率大于第一预设阈值，和/或所述评价时延小于第二预设阈值。

9.根据权利要求1所述的方法，其特征在于，所述获取与所述回档时刻和所述目标集合标识对应的目标备份数据，包括：

当在备份中心中查找到与所述回档时刻相同的备份时刻时，将所述备份时刻确定为目标备份时刻，所述备份中心中存储有N个全量备份文件和所述N个全量备份文件各自对应的备份时刻，所述N为正整数；

获取与所述回档时刻对应的目标全量备份文件；

根据所述目标集合标识在所述目标全量备份文件中确定所述目标数据集合对应的业务数据。

10.根据权利要求1至9任一所述的方法，其特征在于，所述回档请求还包括所述回档数据集合的回档集合标识，所述方法还包括：

根据所述回档请求中的所述回档集合标识，在所述数据库实例中创建与所述回档集合标识对应的所述回档数据集合；

其中，所述回档集合标识与所述数据库实例中的所述至少两个数据集合各自对应的集合标识均不同。

11.一种数据回档装置，其特征在于，所述装置包括：

第一获取模块，用于获取客户端发送的回档请求，所述回档请求包括回档时刻和目标集合标识，所述目标集合标识用于唯一标识数据库实例中待回档的目标数据集合；

第二获取模块，用于获取与所述回档时刻和所述目标集合标识对应的目标备份数据；

回档模块，用于将所述目标备份数据回档至回档数据集合中，所述回档数据集合是所述数据库实例中与所述目标数据集合对应的数据集合。

12.根据权利要求11所述的装置，其特征在于，所述第二获取模块，包括：

第一获取单元和第一确定单元；

所述第一获取单元，用于获取与所述回档时刻对应的目标全量备份文件和目标增量备份文件；

所述第一确定单元，用于根据所述目标集合标识在所述目标全量备份文件中确定所述目标数据集合对应的业务数据，并在所述目标增量备份文件中确定所述目标数据集合对应的日志数据；

其中，所述目标全量备份文件为在目标备份时刻对数据库进行一次完整备份得到的备份文件，所述目标增量备份文件为所述目标备份时刻与所述回档时刻之间对所述数据库的操作日志进行备份得到的备份文件。

13.一种数据回档***，其特征在于，所述数据回档***包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至10所述的数据回档方法。

14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至10所述的数据回档方法。