CN106055431A - 基于快照在线回滚的数据备份与恢复的方法及装置 - Google Patents

Abstract

本发明公开了一种基于快照在线回滚的数据备份与恢复的方法及装置，用户创建快照时，将源卷按块级进行划分编址，并分配一个COW元数据集用于记录源卷的COW信息；当接收到快照回滚的指令，先通知快照代理进行刷脏处理，完成后通知快照模块，启动后台数据回滚线程；后台回滚线程根据元数据集的COW信息，将快照卷上的数据拷贝到源卷；当回滚过程中源卷有读写请求时，需要根据读写源卷的数据块编号是否做过COW和当前的回滚进度，进行重定向读取和延迟写入。本发明可以实现源卷某个时间点的数据备份，通过提供的在线回滚技术，不需要中断源卷的数据访问，从而可以使源卷上的数据迅速恢复到可用的快照时间点给主机应用提供服务。

Description

基于快照在线回滚的数据备份与恢复的方法及装置

技术领域

本发明涉及一种基于快照在线回滚的数据备份与恢复的方法及装置，属于存储容灾和备份技术领域。

背景技术

随着计算机技术的快速发展，数字化信息已经逐步取代纸质媒体，呈现快速增长的态势。海量数据催生了云计算、大数据和海量存储***的发展，对存储设备和数据的可靠性、安全性的需求也越来越高。在一些对数据安全性和业务连续性有着较高的要求的行业，如政府、银行证券、电力、通讯等，必须要求存储***提供在线的数据保护。

快照(Snapshot)是一种防止存储设备数据丢失和破坏的有效方法，能够快速的实现在线数据的备份和恢复。几乎所有的高中低端存储***，快照都是一个不可或缺的标配功能。快照能对在线数据提供按需的备份和恢复，当存储设备发生应用故障或文件损坏时可进行快速数据恢复，从而将数据恢复到某个可用的时间点状态。除了备份恢复的功能，快照还为存储用户提供了一个数据访问通道，当原数据进行在线应用处理时，用户可以访问快照数据，可以对快照数据进行测试、数据挖掘等工作。

写前拷贝(Copy On Write，COW)是快照最常用的一种实现技术，即在第一次向源卷写入数据或更新数据时，先检查对应的数据块是否已经做过COW，如果还没有，则先将源卷上该数据块地址上的数据拷贝到快照空间，然后再将新的数据写入。如图1所示，快照空间本身也是存储资源的一部分，用于存放源卷中需要被修改的原数据。

出于某些原因，例如***遭受病毒入侵，文件被破坏，需要将源卷还原到某个可用的时间点的数据时，就需要使用快照回滚的功能，即将快照卷上的数据回写到源卷。通常在回滚的过程中，源卷是无法对外提供服务的。而回滚的时间长短取决于快照创建之后源卷的数据变化量，如果数据变化很大，那么回滚的过程可能需要很长。RTO(Recovery TimeObjective，复原时间目标，即***可容许中断的时间长度)是存储产品一个非常重要的指标，理论上这个时间越短越好。本发明的目的就是提供一种在线回滚的方法，当发起快照回滚时，源卷不需要或仅仅需要很短的时间即可提供读写服务。

发明内容

发明目的：在需要将源卷恢复到某个快照时间点的数据，通常的做法是主机先停止源卷的数据访问，然后将快照卷上的数据回写到源卷，等快照卷上的所有数据拷贝完成，才通知主机放开源卷的数据访问，源卷中断服务的时间取决于源卷在创建快照的时间点到快照回滚时间点之间的数据变化量，变化量越大，源卷中断的时间就越长。本发明针对这个缺陷提供一种基于快照在线回滚的数据备份方法和装置，使源卷在快照回滚期间仍然能够正常进行数据读写和备份，无需中断业务。

技术方案：一种基于快照在线回滚的数据备份与恢复的方法，具体实现方案如下：

当用户创建快照时，将源卷按块级进行划分编址，并给创建的快照分配一个COW元数据集，每一个元数据代表源卷的一个数据块，元数据集按源卷数据块编号进行排序，所述的数据块为快照数据访问的基本单位。当第一次对源卷的某个数据块进行写入时，需要对该数据块执行COW操作，即先将源卷上老的数据拷贝到快照空间，所述的快照空间为存储资源的一部分，在源卷启用快照时进行预留，空间的大小可以随意扩展，以便当源卷数据变化量大时能进行扩充。源卷上老的数据拷贝到快照空间后，生成一个元数据，由源卷的数据块编号、快照空间的数据块编号和数据写入时间三部分信息构成。后续对源卷的同一个数据块写入时就不需要再执行COW操作。所有做过COW的元数据组成了快照的元数据集。

当接收到快照回滚的指令后，先通知快照代理进行刷脏处理，所述的快照代理属于存储***的一部分，安装在主机操作***上，作用是在创建快照、快照回滚时将主机***缓存中的数据写入磁盘，这个操作过程叫刷脏，因为通常操作***会预留一定的缓存空间，用户的部分数据是直接写到***缓存中，而这部分数据可能还是创建或回滚快照时间点之前的数据，快照代理的目的就是保证快照出来的数据与用户所期望的时间点的数据一致。快照代理刷脏完成后通知快照模块，后台启动回滚线程，即通知用户快照回滚成功，用户即可立即对源卷进行数据访问。

后台回滚线程，先获取快照的COW元数据集，按源卷数据块的顺序读取每一个元数据，对于做过COW的源卷数据块，先判断数据写入时间和快照回滚时间，如果晚于快照回滚时间，则不需要进行数据拷贝。否则按照元数据中保存的快照空间数据块编号，从快照空间读取数据，并写入元数据中保存的源卷数据块编号对应的源卷空间。执行完当前数据块的数据回写，则从COW元数据集中取出下一个元数据对象，直到遍历完快照COW元数据集的所有元数据对象。每执行完一个数据块的数据回写，则以当前数据块作为快照回滚的进度。

当回滚过程中源卷有读数据请求时，根据读源卷的数据块编号，查找快照的COW元数据集，如果对应的数据块未做过COW，或者数据块编号小于回滚进度，则直接从源卷上读取。否则根据元数据中保存的快照空间数据块编号，从快照空间读取数据。如果元数据集中不存在该数据块对应的元数据对象，则表示数据还在源卷上，直接从源卷上读取即可。如果需要读取的数据包含多个数据块，则需要对每个数据块进行判断，等所有数据块从快照空间或源卷读取完成后进行合并。

当回滚过程中源卷有写入数据请求时，根据写入源卷的数据块编号，查找快照的COW元数据集，如果对应的数据块已经做过COW，而且待写入的数据块编号小于回滚进度，则数据可以直接写入源卷；否则先对该数据块进行数据回滚，然后再将待写入的数据写入源卷，并更新元数据对象中数据写入时间为***当前时间。如果待写入源卷的数据块编号未做过COW，则直接对该数据块执行快照COW，并生成一条新的COW元数据对象，更新元数据对象中源卷数据块编号和快照空间数据块编号，数据写入的时间为***当前时间。

基于快照在线回滚的数据备份与恢复的装置，包括：

快照配置处理模块，对快照空间进行分配和管理，处理用户的创建快照、删除快照以及快照信息更改的请求。创建快照时，为快照建立数据区，分配快照唯一标识和记录创建快照时间，建立该快照的COW元数据集，初始为空。删除快照时，如果当前存在快照回滚的任务，则提示用户需要等快照回滚任务完成或者停止快照回滚任务，否则直接清除创建快照时建立的相关数据区。

快照回滚处理模块，处理用户的快照回滚命令，启动后台数据回写线程，建立回滚数据区，记录回滚的进度、回滚启动时间和结束时间。同时也能处理用户停止、暂停回滚任务的命令。

源卷数据读写处理模块，接收主机对源卷的数据读写请求。对于数据写入需要根据快照的元数据集来判断是否需要执行COW，如果快照正在执行数据回滚，则还需要根据回滚进度来决定是否需要先执行数据回写。对于读源卷请求，如果快照正在执行数据回滚，则还需要根据读源卷的数据块是否做过COW来决定数据是从快照空间读取还是源卷上读取。如果快照未在回滚进程，则数据直接从源卷上读取。

快照读处理模块，接收主机对快照的读数据请求。根据读请求的数据块编号，查找快照的COW元数据集，如果对应的数据块已经做过COW，则根据元数据中保存的快照空间数据块编号，从快照空间读取数据。如果元数据集中不存在该数据块对应的元数据对象，则表示数据还在源卷上，直接从源卷上读取。如果需要读取的数据包含多个数据块，则需要对每个数据块进行判断，等所有数据块从快照空间或源卷读取完成后进行合并，向主机应答合并后的数据。

附图说明

图1为本发明所适用的存储***结构图；

图2为本发明所述的快照回滚流程；

图3为本发明所述的后台回滚线程的数据回写流程；

图4为本发明实施例快照回滚期间的源卷读流程；

图5为本发明实施例快照回滚期间的未做过COW的数据块源卷写流程；

图6为本发明实施例快照回滚期间的做过COW且大于回滚进度的数据块源卷写流程。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

图1为本发明实施例所适用的存储***结构示意图，包括主机和存储设备，主机包含I/O数据业务主机和存储***管理主机。其中I/O数据业务主机可以包括多个数据业务应用和快照代理，数据业务应用如数据库等。快照代理用于和存储设备相结合创建快照和快照回滚。存储设备包括存储控制器和存储空间、高速缓存器等。存储控制器用于控制数据的存储和实现数据的快照功能，存储空间包含源卷存储空间和快照存储空间，前者用于存储源卷当前的数据，后者是***为快照预留的存储空间，存储空间的物理介质通常为硬盘、磁盘等。图1所示只是存储***的一种结构示意图，实际的存储***可以有更多的主机或多个存储设备，多个主机组成了应用***。

当用户创建快照时，将源卷按块级进行划分编址，并给创建的快照分配一个COW元数据集，每一个元数据代表源卷的一个数据块，元数据集按源卷数据块编号进行排序，所述的数据块为快照数据访问的基本单位。当第一次对源卷的某个数据块进行写入时，需要对该数据块执行COW操作，即先将源卷上老的数据拷贝到快照空间，所述的快照空间为存储资源的一部分，在源卷启用快照时进行预留，空间的大小可以随意扩展，以便当源卷数据变化量大时能进行扩充。源卷上老的数据拷贝到快照空间后，生成一个元数据，由源卷的数据块编号、快照空间的数据块编号和数据写入时间三部分信息构成。后续对源卷的同一个数据块写入时就不需要再执行COW操作。所有做过COW的元数据组成了快照的元数据集。

现有的快照回滚技术，都需要在回滚期间暂停源卷上的数据业务，而暂停的时间长短取决于快照创建之后源卷的数据变化量，如果数据变化很大，那么回滚的过程可能需要很长。RTO(Recovery Time Objective，复原时间目标，即***可容许中断的时间长度)是存储产品一个非常重要的指标，理论上这个时间越短越好。为了解决上述现有技术的问题，本发明的几个实施例提供快照在线回滚的技术，在快照回滚期间，源卷不需要暂停业务即可提供数据读写的服务。结合图2和图3说明快照在线回滚的流程。

存储设备接收到管理主机的快照回滚的指令后，先通知I/O主机上的快照代理进行刷脏处理，将应用***中的缓存数据写入磁盘，刷脏完成后通知存储设备的快照模块，后台启动回滚线程，初始化回滚数据区，所述的数据区主要是记录回滚的进度和回滚启动时间，其中回滚进度表示哪些数据块已经完成从快照空间到源卷的数据回写；回滚启动时间，用来判断源卷的数据块是否需要进行数据回写。完成数据区初始化后，用户即可立即对源卷进行数据访问。

图3所示为快照回滚的后台处理线程，其中progressDn代表回滚进度，表示ProgressDn之前的数据块已经完成数据回写。startTime表示回滚任务启动的时间。先获取快照的COW元数据集，按源卷数据块的顺序读取每一个元数据，所述的元数据由源卷的数据块编号、快照空间的数据块编号和数据写入时间三部分信息构成。对于做过COW的源卷数据块，Dx代表源卷数据块编号，dx代表源卷Dx数据块的快照数据在快照空间内的数据块编号，timex代表创建快照时间点之后，源卷Dx数据块数据更改的时间。后台回滚线程读取某一个元数据，先判断数据更改时间timex和快照回滚时间startTime，如果timex大于startTime，表示已经在别的流程中先完成了数据回写或者Dx数据块是在回滚期间改变的，则跳过该数据块，从元数据集取下一个元数据对象。否则按照元数据中保存的快照空间数据块编号dx，从快照空间读取数据，并写入源卷数据块编号Dx对应的源卷空间。执行完当前数据块的数据回写，则从COW元数据集中取出下一个元数据对象，直到遍历完快照COW元数据集的所有元数据对象。每执行完一个数据块的数据回写，则以当前数据块作为快照回滚的进度progressDn。

在回滚期间，I/O数据业务主机上的应用对源卷发起读数据请求时，如图4所示，需要读取源卷上D2和D3数据块，元数据集中不存在D2对应的元数据对象，表示创建快照后，D2的数据块未发生改变，则数据直接从源卷上读取；元数据集中存在D3数据块对应的元数据对象，并且其快照数据存放在d8对应的快照存储空间。如果time3小于快照回滚任务启动时间startTime，则数据从快照空间读取，如图4的实线所示，否则直接从源卷读取，如图4的虚线所示。两部分数据都读取完成后，按照读数据请求的大小进行合并后，返回给应用，完成快照回滚期间的源卷读请求。

在快照回滚期间，I/O数据业务主机上的应用对源卷发起写数据请求时，如图5所示，步骤501主机对源卷D2数据块发起写入请求D2`，元数据集中不存在D2对应的元数据对象，表示创建快照后，D2的数据块第一次发生改变，需要将源卷D2数据块对应的老数据D2先拷贝到快照空间，首先从快照空间分配一个新的数据块d2，然后执行步骤502，将D2拷贝到快照空间，拷贝完成后，执行步骤503，将新的数据写入源卷D2数据块，写入完成后，生成一个新的元数据对象，源卷数据块编号为D2，快照空间编号为d2，数据写入时间为time2，执行步骤504将新的元数据对象***快照的元数据集，如图5虚线框对应的元数据对象。

图5所示为D2数据块未做过COW的情况，还有一种情况是D2已经做过COW，如图6所示，步骤601，tim3`时刻，主机应用要将源卷的数据块D3数据更改为D3`，快照元数据集中已经存在D3对应的元数据对象，但此时快照的回滚进度progressDn为D2，小于D3，因此需要先执行步骤602，将快照空间d8对应的数据回写到源卷的D3数据块，然后执行步骤603，将应用新的数据D3`写入源卷的D3数据块，完成写入后，将D3对应的元数据对象的数据写入时间修改为time3`。当回滚线程执行到D3数据块的回写时，判断time3`大于回滚任务启动时间startTime，则跳过该数据块。

基于快照在线回滚的数据备份与恢复的装置，包括：

快照配置处理模块，对快照空间进行分配和管理，处理用户的创建快照、删除快照以及快照信息更改的请求。创建快照时，为快照建立数据区，分配快照唯一标识和记录创建快照时间，建立该快照的COW元数据集，初始为空。删除快照时，如果当前存在快照回滚的任务，则提示用户需要等快照回滚任务完成或者停止快照回滚任务，否则直接清除创建快照时建立的相关数据区。

快照回滚处理模块，处理用户的快照回滚命令，启动后台数据回写线程，建立回滚数据区，记录回滚的进度、回滚启动时间和结束时间。同时也能处理用户停止、暂停回滚任务的命令。

源卷数据读写处理模块，接收主机对源卷的数据读写请求。对于数据写入需要根据快照的元数据集来判断是否需要执行COW，如果快照正在执行数据回滚，则还需要根据回滚进度来决定是否需要先执行数据回写。对于读源卷请求，如果快照正在执行数据回滚，则还需要根据读源卷的数据块是否做过COW来决定数据是从快照空间读取还是源卷上读取。如果快照未在回滚进程，则数据直接从源卷上读取。

快照读处理模块，接收主机对快照的读数据请求。根据读请求的数据块编号，查找快照的COW元数据集，如果对应的数据块已经做过COW，则根据元数据中保存的快照空间数据块编号，从快照空间读取数据。如果元数据集中不存在该数据块对应的元数据对象，则表示数据还在源卷上，直接从源卷上读取。如果需要读取的数据包含多个数据块，则需要对每个数据块进行判断，等所有数据块从快照空间或源卷读取完成后进行合并，向主机应答合并后的数据。

依照本发明具体实施例，可以实现源卷某个时间点的数据备份，通过提供的在线回滚技术，不需要中断源卷的数据访问，从而可以使源卷迅速恢复到可用的快照时间点给主机应用提供服务。

Claims (4)

1.一种基于快照在线回滚的数据备份与恢复的方法，其特征在于，具体实现方案如下：创建快照，将源卷按块级进行划分编址，并给创建的快照分配一个COW元数据集，每一个元数据代表源卷的一个数据块，元数据集按源卷数据块编号进行排序；

当接收到快照回滚的指令后，先通知快照代理进行刷脏处理，快照代理刷脏完成后通知快照模块，后台启动回滚线程，即通知用户快照回滚成功，用户即可立即对源卷进行数据访问；

后台回滚线程，先获取快照的COW元数据集，按源卷数据块的顺序读取每一个元数据，对于做过COW的源卷数据块，先判断数据写入时间和快照回滚时间，如果晚于快照回滚时间，则不需要进行数据拷贝；否则按照元数据中保存的快照空间数据块编号，从快照空间读取数据，并写入元数据中保存的源卷数据块编号对应的源卷空间；执行完当前数据块的数据回写，则从COW元数据集中取出下一个元数据对象，直到遍历完快照COW元数据集的所有元数据对象；每执行完一个数据块的数据回写，则以当前数据块作为快照回滚的进度。

2.如权利要求1所述的基于快照在线回滚的数据备份与恢复的方法，其特征在于，当回滚过程中源卷有读数据请求时，根据读源卷的数据块编号，查找快照的COW元数据集，如果对应的数据块未做过COW，或者数据块编号小于回滚进度，则直接从源卷上读取；否则根据元数据中保存的快照空间数据块编号，从快照空间读取数据；如果元数据集中不存在该数据块对应的元数据对象，则表示数据还在源卷上，直接从源卷上读取即可；如果需要读取的数据包含多个数据块，则需要对每个数据块进行判断，等所有数据块从快照空间或源卷读取完成后进行合并；

当回滚过程中源卷有写入数据请求时，根据写入源卷的数据块编号，查找快照的COW元数据集，如果对应的数据块已经做过COW，而且待写入的数据块编号小于回滚进度，则数据可以直接写入源卷；否则先对该数据块进行数据回滚，然后再将待写入的数据写入源卷，并更新元数据对象中数据写入时间为***当前时间；如果待写入源卷的数据块编号未做过COW，则直接对该数据块执行快照COW，并生成一条新的COW元数据对象，更新元数据对象中源卷数据块编号和快照空间数据块编号，数据写入的时间为***当前时间。

3.如权利要求1所述的基于快照在线回滚的数据备份与恢复的方法，其特征在于，当用户创建快照时，将源卷按块级进行划分编址，并给创建的快照分配一个COW元数据集，每一个元数据代表源卷的一个数据块，元数据集按源卷数据块编号进行排序；当第一次对源卷的某个数据块进行写入时，需要对该数据块执行COW操作，即先将源卷上老的数据拷贝到快照空间；源卷上老的数据拷贝到快照空间后，生成一个元数据，由源卷的数据块编号、快照空间的数据块编号和数据写入时间三部分信息构成；后续对源卷的同一个数据块写入时就不需要再执行COW操作；所有做过COW的元数据组成了快照的元数据集。

4.一种基于快照在线回滚的数据备份与恢复的装置，其特征在于，包括：

快照配置处理模块，对快照空间进行分配和管理，处理用户的创建快照、删除快照以及快照信息更改的请求；创建快照时，为快照建立数据区，分配快照唯一标识和记录创建快照时间，建立该快照的COW元数据集，初始为空；删除快照时，如果当前存在快照回滚的任务，则提示用户需要等快照回滚任务完成或者停止快照回滚任务，否则直接清除创建快照时建立的相关数据区；

快照回滚处理模块，处理用户的快照回滚命令，启动后台数据回写线程，建立回滚数据区，记录回滚的进度、回滚启动时间和结束时间；同时也能处理用户停止、暂停回滚任务的命令；

源卷数据读写处理模块，接收主机对源卷的数据读写请求；对于数据写入需要根据快照的元数据集来判断是否需要执行COW，如果快照正在执行数据回滚，则还需要根据回滚进度来决定是否需要先执行数据回写；对于读源卷请求，如果快照正在执行数据回滚，则还需要根据读源卷的数据块是否做过COW来决定数据是从快照空间读取还是源卷上读取；如果快照未在回滚进程，则数据直接从源卷上读取；

快照读处理模块，接收主机对快照的读数据请求；根据读请求的数据块编号，查找快照的COW元数据集，如果对应的数据块已经做过COW，则根据元数据中保存的快照空间数据块编号，从快照空间读取数据；如果元数据集中不存在该数据块对应的元数据对象，则表示数据还在源卷上，直接从源卷上读取；

如果需要读取的数据包含多个数据块，则需要对每个数据块进行判断，等所有数据块从快照空间或源卷读取完成后进行合并，向主机应答合并后的数据。