CN1955939A - 基于虚拟内存盘的备份与恢复方法 - Google Patents

Abstract

本发明属于存储区域网络领域，其特征在于快照和写时拷贝的异步镜像策略，用位图来标志虚拟内存盘模块中各数据块的状态，在异步扫描线程控制下，实现了内存的备份与恢复。本发明减少了在***掉电后向磁盘同步数据所花费的大量时间，对于数据一致性的保证和数据恢复的支持好，并具有成本低，可移植性好等优势。

Description

基于虚拟内存盘的备份与恢复方法

技术领域

基于虚拟内存盘的备份与恢复方法属于存储区域网络领域，尤其涉及其中的备份与数据恢复。

背景技术

固态磁盘(Solid-state disk，SSD)是一种高性能且与传统磁盘兼容的外部存储设备，它使用记忆芯片(如SDRAM或Flash芯片)代替传统磁盘中旋转的盘片来存放数据，并且使用相应的技术保障数据的持久性，完全消除了存储模块的机械延迟，大大提高了应用的性能和可靠性。因此，SSD设备正越来越多地应用于对数据带宽与延时要求较高的关键性存储应用中。

SSD根据其使用的存储芯片类型来区分，主要分为基于Flash的SSD和基于SDRAM的SSD两大类。前者使用非易失的Flash芯片来存储数据，芯片掉电之后数据仍然保持完整。然而由于Flash芯片单元在几十万至几百万次写入之后便会失效，这就造成了该类SSD不适于用作经常更新的数据存储。目前应用比较广泛的是后一种SSD，其实现是基于高速、易失的内存，比如SDRAM。此类SSD具有很高的数据访问速度和非常低的延迟，可用于加速因为磁盘瓶颈而无法提高性能的应用。然而由于SDRAM的易失特性，***掉电后SSD中的数据会完全丢失，因此如何保障其数据的完整性是当前的一个重要问题。

一种方法是使用内部的电池和备份磁盘来保障数据的持久性。一旦电源失效，电池会支持该设备直到数据全部被转储到备份磁盘。当***重新启动时，数据会经由备份磁盘复制到工作内存中。目前市场上已经有利用这种方法实现的SSD产品，其性能十分优越，但由于是全硬件实现，成本很高，在***掉电后需要花费大量时间磁盘同步数据以维护数据的持久性，而且对于数据一致性的保证和数据恢复的支持不够。

我们在先前的工作中，基于虚拟内存盘Visual Disk(简称VD)的方法实现了自己的SSD***——清华SSD(TH-SSD)，将存储网络控制端节点的主存和备份磁盘虚拟成统一的设备VD，向上层应用隐藏其实现细节，给前端的存储访问提供SSD的服务。由于VD的实现载体是易失性的主存，因此需要采取措施保护其中的数据，以防止***崩溃或重启所造成的数据丢失。

本发明中，我们提出了基于快照(Snapshot)和写时拷贝(Copy-On-Write)的异步镜像策略，以动态保持数据的持久性和一致性。该方法采用快照和写时拷贝相结合的方法，使磁盘记录备份过程开始前一刻VD中的完整数据。在***出现故障后重新启动的时候，可通过一致的备份磁盘和临时日志来对数据进行恢复。与其他的基于DRAM的快速存储设备相比较，该方法减少了在***掉电后向磁盘同步数据所花费的大量时间，对于数据一致性的保证和数据恢复的支持好，并具有成本低，可移植性好等优势。

发明内容

本发明的目的在于提供一种高效、可移植且易于实现的基于虚拟内存盘的备份与恢复方法。

本发明的特征在于，所述方法依次含有以下步骤：

步骤(1)：在存储网络控制端节点之上设置：

虚拟内存盘模块SSD_VD，把该存储网络控制端节点的内存和备份磁盘虚拟成一个对上层应用透明的内存池，该模块把该内存池中的虚拟内存盘VD划分成为一数据块为单位的数组并标志记号，使用下述位图中的各个位表示相应数据块的状态变化情况：

数据块X：指仅在扫描开始时刻T1之前被写操作访问的数据块，在该数据块的块号前端用位01标志；

数据块O：仅在扫描开始时刻T1和扫描结束时刻T2之间被写操作访问的数据块；在该数据块的块号前端用位10表示；

数据块OX：指在T1之前已经被写操作访问，时刻T1到T2之间又被写操作访问的数据块，在该数据块的块号前端用位11表示；

数据块CLEAN：到T2仍未被写操作访问的数据块，在该数据块的块号前端用位00表示

在该虚拟内存盘VD中，还设有：

写时拷贝表COW，用于存放备份过程开始后在VD的未扫描位置有写操作访问请求的数据块，但在该未被扫描位置的原有内容是数据块X；

备份数据链表new_dirty_list，用于存放备份过程开始后在VD描位置有写访问请求的数据块；

小型计算机***接口模块TH_SSD_SCSI，与虚拟内存模块相连，负责处理读写命令；

主机模块，与虚拟内存模块相连，为该存储网络控制端节点与管理主机的接口；

步骤(2)：所述方法由虚拟内存盘模块按照以下步骤实现备份操作：

步骤(2.1)：在T1时刻启动异步备份线程ssd_workers，扫描所有数据块，把标记为X的数据块写入至备份磁盘的相应位置；

步骤(2.2)：在时刻T1至该线程ssd_workers处理结束时刻T2间，该网络存储控制端节点小型计算机接口模块上I/O处理线程收到写命令按照以下情况分别处理：

(a)：若写入位置在线程ssd_workers当前处理到的数据块指针curr之前，说明指针curr指向了该线程ssd_workers已处理完成的区域，直接设置该数据块位图对应的标志位以便在下一次线程ssd_workers启动时作为标志为X的数据块处理；

(b)：若写入位置在指针curr之后，则按照以下情况分别处理：

若指向了原来为非O而为X的数据块，只需将该数据块的块号记录在new_dirty_list表中，不设置相应的标志位；

若指向了原来在T1时刻已经被写操作访问过，在T1与T2之间又被写操作访问的数据块X，则把该数据块的标志位清空，把该块内容和块号记录在COW链表中，再把写入O类数据的内容直接写入虚拟内存盘VD，将块号记录在new_dirty_list表中；

步骤(2.3)：在T2时刻，所有数据块已遍历扫描，锁定虚拟内存盘VD，标记new_dirty_list中所有数据块在位图中的相应位，并清空该链表，解锁虚拟内存盘VD；最后将COW表中所有数据块写入备份磁盘相应位置，ssd_workers线程休眠；

步骤(2.4)：对于以后进入VD的数据块，只标记相应的位；

步骤(3)：虚拟内存盘模块按以下方式进行数据恢复：从备份磁盘的第0个扇区开始，按顺序依次读入数据块大小的数据并放入VD对应的数据块中；

2.根据权利要求：所述的基于虚拟内存盘的备份与恢复方法其特征在于，异步扫描线程是每隔固定的时间间隔被***时钟唤醒，或在被待写数据块的数目达到阈值而被小型计算机接口模块唤醒.

附图说明

图1.TH-SSD总体软件架构图。

图2.ssd_workers线程工作原理。

图3.基于快照和写时拷贝的镜像备份方式工作原理。

图4.***结构图。

图5.备份时***的读写性能。

图6.***流程图。

具体实施方式

数据一致性是数据备份过程中需要考虑的一个重要问题。数据备份并不是简单地将数据从易失性存储介质转移到持久性存储介质上，而是要保证所转移的数据正确地反映了某一时刻的存储状态。解决数据一致性问题的方法都依赖于持久性的存储。应用与存储之间的契约就是写入IO操作的返回值，当返回值为成功时应用便认为该部分数据已经被持久化了。由于目前被普遍使用的两种存储介质的特性，人们存储数据时需要在慢速且非易失的磁盘和快速且易失的DRAM主存之间进行权衡。

清华SSD***(TH-SSD)是我们自行开发的固态存储设备，也是进行备份的基础。它主要由以下三个子模块组成：SCSI(Small Computer System Interface，小型计算机***接口)模块TH-SSD_SCSI、主机模块TH-SSD_HOST和缓存模块TH-SSD_Cache。SCSI模块负责处理读写命令，主机模块为存储与管理主机的接口，而缓存模块则利用Cache机制提高***的整体性能。三个子***的实现均依赖于一个核心功能模块——虚拟内存盘模块(简称SSD-VD)，其主要功能是将存储网络控制端节点的内存和备份磁盘虚拟成统一的设备，将操作***为SSD保留的内存封装成一个可以方便使用的内存池，向外提供少量接口并隐藏其复杂的内部实现，使得存储空间的管理对上层应用透明。SSD-VD在对虚拟内存盘VD的管理上，采用了基于位图的写入跟踪策略，以监控对VD的写入操作。实现上，将VD划分成以数据块(简称trunk)为单位的数组，用位图中的各个位记录相应数据块的状态变化情况。前端在向VD写入数据时要设置数据块在位图中的相应位。SSD-VD的备份和恢复方法就是其于这种位图的管理策略来实现的。

基于Snapshot和Copy-On-Write(COW)的异步镜像备份采用一块备份磁盘(为了保证可靠性使用硬件RAID1)与SSD-VD中的内容一一对应，可以保证异步备份副本的完整性(得到在备份开始前一刻的***的一致的映像，即该时刻的***的一个快照，即Snapshot)。其实现方式是：在备份过程中，如果有新的写请求到达，则将VD中原有位置内容拷贝到临时的COW(Copy-On-Write)表空间当中。在实现上，COW表为VD中等待写入备份磁盘的数据块副本的链表。

实现方式描述如下：异步扫描线程ssd_workers每隔一段时间被***时钟唤醒或由于待写数据块的数目达到阈值而被SCSI模块唤醒。它顺序扫描整个位图区域，将修改过的块中的数据写入备份磁盘。在此过程中，为了保证数据的一致性，遇到不同的数据块使用不同的策略进行处理。在异步扫描线程ssd_workers运行时，如果未被扫描区域有写入操作，则需要将该数据块中原有内容拷贝到COW表中，并记录，待异步扫描线程ssd_workers扫描到该数据块时，再将COW表中的相应内容写回备份磁盘。通过这种方式，该算法可以保证备份内容为备份开始时刻的精确副本。

具体实现中，首先定义如下概念：

定义T1：异步扫描线程ssd_workers启动时刻

定义T2：异步扫描线程ssd_workers处理结束时刻

对于数据块，定义如下状态：

定义X：仅在T1之前被写操作访问的数据块

定义O：仅在T1和T2之间被写操作访问的数据块

定义OX：在T1之前已经被写，T1到T2之间又被写操作访问的数据块

定义CLEAN：到T2仍未被写过的数据块

定义位图bitmap：没两位表示一个数据块，并通过编码分别表示上述四种状态，即00(CLEAN)，01(X)，10(O)，11(OX)

定义指针curr(current position)：异步扫描线程ssd_workers当前处理到的数据块

此外，定义两个链表结构：

定义COW表：用于存放备份过程开始后未扫描位置有写入请求而原有位置内容就是X的数据块

定义new_dirty_list表：用于存放备份过程开始后未扫描位置有写入请求的数据块

由定义可知：在T1到T2之间只有O。

ssd_workers的具体扫描策略如下：

T1时刻开始，遍历所有数据块，找到标记为X的数据块，将其写入至备份磁盘的相应位置，并且将curr值向后移动一位。在这期间中间层的I/O处理线程遇到写命令时：

若写入位置在curr之前，说明是位于ssd_workers处理完成的区域，直接设置位图中的相应位，该数据块将在下一次ssd_workers启动时被作为X处理；

若写入位置在curr之后：

原来不是O而是X数据块：只将该数据块的块号记录在new_dirty_list表中，不设置位图中的位。

原来就是OX的数据块：将X内容读出，清空位图中的相应位，将该块内容和块号记录在COW链表中，O的内容直接写入VD，将块号记录在new-dirty_list表中。

待所有trunk遍历完成(T2时刻)，锁定VD，标记new_dirty_list表中所有数据块在位图中的相应位，并清空该链表，解锁VD；最后将COW表中所有数据块写入备份磁盘相应位置，ssd_workers线程休眠。

对于之后的所有到来的I/O写请求，均只置位图中的相应位。

在T2结束时刻，备份磁盘上保留了T1时刻VD中的完整数据。T1和T2时刻间发生的写操作只作用在VD中的数据上，并不在备份磁盘上作记录。在下一个备份过程中才会将这些改变记录到备份磁盘上。备份磁盘上的镜像在T1和T2时刻之间是不完整的，而在下一次ssd_workers线程启动之前备份磁盘上的镜像是完整的。该方法实现起来较为简单，不需要额外的硬件设备，具有高效低成本的特点。

当***重启时，数据恢复过程如下：虚拟内存盘从备份磁盘的第0个扇区开始，按顺序依次读入trunk大小的数据并放入VD的对应的数据块中。这样，就实现了虚拟内存盘的可重入性。

结合附图，本发明详述如下：

1.硬件设备与网络

本发明所需的硬件设备包括前端主机、I/O节点、大容量SDRAM和备份磁盘；网络包括光纤网络及以太网络。其中，光纤网络由光纤交换机连接前端主机、I/O节点，进行数据传输；以太网络由以太交换机连接I/O节点进行配置管理。大容量SDRAM在I/O节点机上，通过模拟磁盘的读写行为供前端主机使用以实现SSD。本***在32位模式下最大可以支持64GB的SSD。I/O节点运行经改造的Linux操作***(2.4.18以上内核)，前端主机为任何主流操作***，包括Linux、Windows及Solaris。

2.***加载

1)I/O节点机的Linux启动

I/O节点机：利用内存模拟硬盘实现虚拟内存盘的目标机。

在I/O节点机上运行的Linux为修改***启动代码的嵌入式Linux***。在***启动时，当运行到内存空间探测及内存初始化时，只将少量内存交给操作***管理以维持***运行所需的物理内存，保留大量高端物理内存交由虚拟内存盘管理。其结果保存在e820结构中。e820为Linux内存管理的一个核心数据结构，它以分段的方式提供给***所有的物理内存，每个段的内存具有相同的属性。在实现中，我们将保留给虚拟内存盘的内存标记为“虚拟盘”，这样就实现了保留的目的。

2)加载内核模块th_scsi_target.o，初始化虚拟内存盘。

内核模块th_scsi_target.o：该模块是虚拟内存盘的主模块。它具有两个功能：初始化I/O节点机及处理I./O命令。该模块依次完成以下功能：

1.根据Linux启动时创建的e820map中的信息对内存池中地址不连续的内存块映射为连续的虚拟磁盘地址空间，再将该空间按照块进行划分以便于管理，利用位图记录每一个快的使用情况。

2.启动内核线程ssd_read_write完成各种读写命令。该线程符合iSCSI协议规范，从协议数据包中截取命令，然后对虚拟内存盘中相应的数据块进行读写操作，然后从iSCSI协议返回。

3.基于快照和写时拷贝的异步备份，它定时将虚拟内存盘的已更改的数据写入备份磁盘。其过程如下：

1.在虚拟内存盘加载时启动线程ssd_works。该线程定时对虚拟内存盘的位图进行扫描，并根据位图各个位的不同状态进行不同的操作：

2.对X状态的内存块，调用Linux底层读写函数scsi_do_req将该块写入硬盘，并在回调函数中将位图中该块对应的状态改为CLEAN；

3.对O状态的块，只需在位图中将该块对应的状态改为X；

4.对OX状态的块，其数据存放在new_dirty_list表，调用Linux底层读写函数scsi_do_req将其写入备份磁盘并将位图对应的块的状态改为X。

Claims (2)

1.基于虚拟内存盘的备份与恢复方法，其特这在于，所述方法依次含有以下步骤：

步骤(1)：在存储网络控制端节点之上设置：

虚拟内存盘模块SSD_VD，把该存储网络控制端节点的内存和备份磁盘虚拟成一个对上层应用透明的内存池，该模块把该内存池中的虚拟内存盘VD划分成为一数据块为单位的数组并标志记号，使用下述位图中的各个位表示相应数据块的状态变化情况：

数据块X：指仅在扫描开始时刻T1之前被写操作访问的数据块，在该数据块的块号前端用位01标志；

数据块O：仅在扫描开始时刻T1和扫描结束时刻T2之间被写操作访问的数据块；在该数据块的块号前端用位10表示；

数据块OX：指在T1之前已经被写操作访问，时刻T1到T2之间又被写操作访问的数据块，在该数据块的块号前端用位11表示；

数据块CLEAN：到T2仍未被写操作访问的数据块，在该数据块的块号前端用位00表示在该虚拟内存盘VD中，还设有：

写时拷贝表COW，用于存放备份过程开始后在VD的未扫描位置有写操作访问请求的数据块，但在该未被扫描位置的原有内容是数据块X；

备份数据链表new_dirty_list，用于存放备份过程开始后在VD未扫描位置有写访问请求的数据块；

小型计算机***接口模块TH_SSD_SCSI，与虚拟内存模块相连，负责处理读写命令；

主机模块，与虚拟内存模块相连，为该存储网络控制端节点与管理主机的接口；

步骤(2)：所述方法由虚拟内存盘模块按照以下步骤实现备份操作：

步骤(2.1)：在T1时刻启动异步备份线程ssd_workers，扫描所有数据块，把标记为X的数据块写入至备份磁盘的相应位置；

步骤(2.2)：在时刻T1至该线程ssd_workers处理结束时刻T2间，该网络存储控制端节点小型计算机接口模块上I/O处理线程收到写命令按照以下情况分别处理：

(a)：若写入位置在线程ssd_workers当前处理到的数据块指针curr之前，说明指针curr指向了该线程ssd_workers已处理完成的区域，直接设置该数据块位图对应的标志位以便在下一次线程ssd_workers启动时作为标志为X的数据块处理；

(b)：若写入位置在指针curr之后，则按照以下情况分别处理：

若指向了原来为非O而为X的数据块，只需将该数据块的块号记录在new_dirty_list表中，不设置相应的标志位；

若指向了原来在T1时刻已经被写操作访问过，在T1与T2之间又被写操作访问的数据块X，则把该数据块的标志位清空，把该块内容和块号记录在COW链表中，再把写入O类数据的内容直接写入虚拟内存盘VD，将块号记录在new_dirty_list表中；

步骤(2.3)：在T2时刻，所有数据块已遍历扫描，锁定虚拟内存盘VD，标记new_dirty_list表中所有数据块在位图中的相应位，并清空该链表，解锁虚拟内存盘VD；最后将COW表中所有数据块写入备份磁盘相应位置，ssd_workers线程休眠；

步骤(2.4)：对于以后进入VD的数据块，只标记相应的位；

步骤(3)：虚拟内存盘模块按以下方式进行数据恢复：从备份磁盘的第0个扇区开始，按顺序依次读入数据块大小的数据并放入VD对应的数据块中；

2.根据权利要求：所述的基于虚拟内存盘的备份与恢复方法其特征在于，异步扫描线程是每隔固定的时间间隔被***时钟唤醒，或在被待写数据块的数目达到阈值而被小型计算机接口模块唤醒。

Images