CN104166601B - 一种存储数据的备份方法和装置 - Google Patents
一种存储数据的备份方法和装置 Download PDFInfo
- Publication number
- CN104166601B CN104166601B CN201410401367.4A CN201410401367A CN104166601B CN 104166601 B CN104166601 B CN 104166601B CN 201410401367 A CN201410401367 A CN 201410401367A CN 104166601 B CN104166601 B CN 104166601B
- Authority
- CN
- China
- Prior art keywords
- block
- data
- write
- raid
- raid array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Techniques For Improving Reliability Of Storages (AREA)
Abstract
本发明提出一种存储数据的备份方法,应用于RAID阵列,所述方法包括:为目标RAID阵列创建写缓存;其中,所述写缓存在所述目标RAID阵列失效时启用;当所述目标RAID阵列失效时,在执行写IO命令时将写入所述目标RAID阵列的数据写入所述写缓存,在执行读IO命令时从所述写缓存中读取数据;当所述目标RAID阵列恢复正常时,自动触发所述写缓存将已写入数据回写至所述目标RAID阵列,并在回写完成时禁用所述写缓存。通过本发明能降低硬件成本以及对业务的性能影响。
Description
技术领域
本发明涉及存储领域,尤其涉及一种存储数据的备份方法和装置。
背景技术
当RAID阵列失效时,该阵列上的所有逻辑资源都不能读写,将导致业务中断。例如,在RAID5阵列中有2块盘不能读写,或者在RAID0阵列中有1块盘不能读写,就会导致RAID阵列失效。然而,在大多数情况下,不能读写的硬盘,很可能只是硬盘转接板出现问题,或者DEU框SAS连线松动,而磁盘本身并没有问题。维护人员通过更换转接板、或者固定SAS连线对RAID阵列进行恢复时,通常会造成RAID阵列暂时失效,在RAID阵列暂时失效的情况下,失效期间的业务无法提供、数据无法保存,从而会造成严重的数据丢失。比如在监控应用中,RAID阵列失效期间的所有监控录像都会丢失。
为解决上述问题,当前一般使用镜像技术来应对RAID阵列的失效。具体地,可首先对RAID阵列创建镜像RAID阵列,也可以对逻辑资源创建镜像逻辑资源。在向RAID阵列写入数据时,将数据同时写入两份独立的RAID阵列(或者逻辑资源)上。若主RAID阵列失效,则将业务流转到镜像RAID阵列上。
然而上述方案中,由于必须使用相同大小的RAID阵列或逻辑资源创建镜像,硬盘空间成本翻倍;在业务写数据时,需要同时写两份,在***业务繁忙的情况下,会影响业务写性能,而且会造成CPU等***资源负载翻倍,从而影响其他读写业务的性能。
发明内容
有鉴于此,本发明提出一种存储数据的备份方法,应用于RAID阵列,所述方法包括:
为目标RAID阵列创建写缓存;其中,所述写缓存在所述目标RAID阵列失效时启用;
当所述目标RAID阵列失效时,在执行写IO命令时将写入所述目标RAID阵列的数据写入所述写缓存,在执行读IO命令时从所述写缓存中读取数据;
当所述目标RAID阵列恢复正常时,自动触发所述写缓存将已写入数据回写至所述目标RAID阵列,并在回写完成时禁用所述写缓存。
优选地,所述方法还包括:
在所述回写过程中,如果需要执行写IO命令,则将该写IO命令对应的数据写入所述目标RAID阵列;
在所述回写过程中,如果需要执行读IO命令,则根据待读取的数据信息从所述写缓存中或者从所述目标RAID阵列中读取数据。
优选地,所述写缓存的存储空间被划分为全局头、RAID头、Block头以及Block数据区;
所述全局头,记录写缓存存储空间的大小以及各RAID头是否已被分配的第一bitmap位图;
所述RAID头,根据使用写缓存进行失效备份的目标RAID阵列个数被划分为若干子区域,每个子区域分别对应一个目标RAID阵列,并记录该目标RAID阵列信息;所述目标RAID阵列信息包括所述目标RAID阵列的阵列编号、Block大小以及可用Block个数;
所述Block头,每个Block头分别对应一个Block数据块,并分别记录所述Block数据块所属RAID头编号、该Block数据块在目标RAID阵列中的lba地址以及记录该Block数据块是否已写入数据的第二bitmap位图;
所述Block数据区,包括若干个Block数据块,所述Block数据块的大小为所述RAID头中记录的所述Block大小。
优选地,所述为目标RAID阵列创建写缓存包括:
根据所述第一bitmap位图,为所述目标RAID阵列分配一个未使用的RAID头;
将所述目标RAID阵列信息以及为所述目标RAID阵列分配的可用Block个数记录到对应的RAID头中。
优选地,所述将写入所述目标RAID阵列的存储数据写入所述写缓存包括:
根据收到的写IO请求中的目标RAID阵列编号查找对应的RAID头;
根据所述写IO请求中的lba地址,在该RAID头对应的Block头中查找Block头;
如果查找到了对应的Block头,将数据写入该Block头对应的Block数据块中;
如果未查找到对应的Block头,则获取一个空Block数据块,将数据写入该空Block数据块中,同时在该空Block数据块对应的Block头中记录所属RAID头的编号,在所述第二bitmap位图中记录该Block头对应的Block数据块已写入数据,并将该数据在目标RAID阵列中的lba地址记录到该Block头中;
其中当获取到一个空数据块时,更新对应的RAID头中记录的所述可用Block个数。
优选地,所述从所述写缓存中读取数据包括:
根据收到的读IO请求中的目标RAID阵列编号查找对应的RAID头;
根据所述读IO请求中的lba地址,在该RAID头对应的Block头中查找Block头;
如果查找到了对应的Block头,并且该Block头中的所述第二bitmap位图记录该Block头对应的Block数据块已写入了数据,则读取该数据;
如果未查找到对应的Block头,或者该Block头中的所述第二bitmap位图记录该Block头对应的Block数据块未写入数据,从所述目标RAID阵列中读取数据,并返回读取结果。
本发明还提出一种存储数据的备份装置,应用于RAID阵列,所述装置包括:
创建模块,用于为目标RAID阵列创建写缓存;其中,所述写缓存在所述目标RAID阵列失效时启用;
读写模块,用于在所述目标RAID阵列失效时,在执行写IO命令时将写入所述目标RAID阵列的数据写入所述写缓存,在执行读IO命令时从所述写缓存中读取数据;
回写模块,用于在所述目标RAID阵列恢复正常时,自动触发所述写缓存将已写入数据回写至所述目标RAID阵列,并在回写完成时禁用所述写缓存。
优选地,所述回写模块进一步用于:
在所述回写过程中,如果需要执行写IO命令,则将该写IO命令对应的数据写入所述目标RAID阵列;
所述读写模块进一步用于:
在所述回写过程中,如果需要执行读IO命令,则根据待读取的数据信息从所述写缓存中或者从所述目标RAID阵列中读取数据。
优选地,所述写缓存的存储空间被划分为全局头、RAID头、Block头以及Block数据区;
所述全局头,包括写缓存存储空间的大小以及记录各RAID头是否已被分配的第一bitmap位图;
所述RAID头,根据使用写缓存进行失效备份的目标RAID阵列个数被划分为若干子区域,每个子区域分别对应一个目标RAID阵列,并记录该目标RAID阵列信息;所述目标RAID阵列信息包括所述目标RAID阵列的阵列编号、Block大小以及可用Block个数;
所述Block头,每个Block头分别对应一个Block数据块,并分别记录所述Block数据块所属RAID头编号、该Block数据块在目标RAID阵列中的lba地址以及记录该Block数据块是否已写入数据的第二bitmap位图;
所述Block数据区,包括若干个Block数据块,所述Block数据块的大小为所述RAID头中记录的所述Block大小。
优选地,所述创建模块进一步用于:
根据所述第一bitmap位图,为所述目标RAID阵列分配一个未使用的RAID头;
将所述目标RAID阵列信息以及为所述目标RAID阵列分配的可用Block个数记录到对应的RAID头中。
优选地,所述读写模块进一步用于:
根据收到的写IO请求中的目标RAID阵列编号查找对应的RAID头;
根据所述写IO请求中的lba地址,在该RAID头对应的Block头中查找Block头;
如果查找到了对应的Block头,将数据写入该Block头对应的Block数据块中;
如果未查找到对应的Block头,则获取一个空Block数据块,将数据写入该空Block数据块中,同时在该空Block数据块对应的Block头中记录所属RAID头的编号,在所述第二bitmap位图中记录该Block头对应的Block数据块已写入数据,并将该数据在目标RAID阵列中的lba地址记录到该Block头中;
其中,当获取到一个空数据块时,更新对应的RAID头中记录的所述可用Block个数。
优选地,所述读写模块进一步用于:
根据收到的读IO请求中的目标RAID阵列编号查找对应的RAID头;
根据所述读IO请求中的lba地址,在该RAID头对应的Block头中查找Block头;
如果查找到了对应的Block头,并且该Block头中的所述第二bitmap位图记录该Block头对应的Block数据块已写入了数据,则读取该数据;
如果未查找到对应的Block头,或者该Block头中的所述第二bitmap位图记录该Block头对应的Block数据块未写入数据,从所述目标RAID阵列中读取数据,并返回读取结果。
本发明通过创建写缓存,使用少量的存储空间可同时为多个RAID阵列提供失效备份,降低了硬件成本;而且,由于所述写缓存在RAID阵列失效时才启用,并且在RAID阵列失效再恢复时,只回写失效期间写入的数据,从而显著降低了对业务的性能影响。
附图说明
图1是现有技术中RAID存储阵列对外部读写IO的处理示意图;
图2是本发明一种示例性实施例示出的一种RAID阵列对外部读写IO的处理示意图;
图3是本发明一种示例性实施方式示出的一种存储数据的备份方法流程图;
图4是本发明一种示例性实施方式示出的一种写缓存存储介质的存储空间组织形式;
图5是本发明一种示例性实施方式示出的一种RAID阵列通过写缓存进行数据失效备份以及数据恢复的处理流程;
图6是本发明一种示例性实施方式示出的一种存储数据的备份装置框图。
具体实施方式
请参见图1,图1为现有技术中RAID阵列对外部读写IO的处理示意图。如图所示,RAID阵列在进行数据读写时,读写IO请求通过上层模块下发到RAID模块,Raid request子模块判断该IO请求所属RAID阵列的状态,如果状态正常,则将该IO请求发给RAID IO子模块处理,将数据写入后端硬盘,或者从后端硬盘读取数据;如果阵列失效,则向上层模块返回读取或者写入数据失败。
在发明中,可以为RAID阵列创建独立的写缓存,并将所述写缓存作为RAID阵列的RAID模块中的一个子模块,参与RAID阵列对外部读写IO的处理。
具体地,请参见图2,图2为本实施例示出的一种RAID阵列对外部读写IO的处理示意图。如图所示,引入了写缓存子模块后,读写IO请求通过上层模块下发到RAID模块,Raidrequest子模块判断该IO请求所属RAID阵列的状态,如果状态正常,仍然将该IO请求发给RAID IO子模块处理,将数据写入后端硬盘,或者从后端硬盘读取数据;如果阵列失效,读写IO请求不再发给RAID IO子模块处理,而是由写缓存子模块进行处理,数据的读写都在写缓存中进行。当阵列恢复时,自动触发写缓存将已写入数据回写。
为了使本发明的技术方案更加清楚明白,以下结合附图并举实施例对本发明进行详细描述。
请参见图3,本发明示例性的一种实施方式中,提出一种存储数据的备份方法,应用于RAID阵列,所述方法执行如下步骤:
步骤301、为目标RAID阵列创建写缓存;其中,所述写缓存在所述目标RAID阵列失效时启用;
步骤302、当所述目标RAID阵列失效时,在执行写IO命令时将写入所述目标RAID阵列的数据写入所述写缓存,在执行读IO命令时从所述写缓存中读取数据;
步骤303、当所述目标RAID阵列恢复正常时,自动触发所述写缓存将已写入数据回写至所述目标RAID阵列,并在回写完成时禁用所述写缓存。
在本实施例中,所述写缓存的存储介质可以是一块或多块独立的内存,一块或多块独立的硬盘,或者一个或多个独立的RAID阵列。其中,无论写缓存采用哪种存储介质,均按照如图4所示的结构组织存储空间。
如图4所示,在本实施例中,写缓存的存储介质被划分为4个区域,各区域分别记载以下信息:一个全局头、一个或多个RAID头、多个Block头以及多个Block数据区,每个区域只记录断电必须保存的参数。
以下对以上4个区域的功能以记录的参数作详细的说明。
全局头区域,该区域记录写缓存存储空间的大小(Size)、用于记录各RAID头是否已被分配的第一bitmap位图(raid_bitmap)、所属控制器ID(contol_id)以及该区域的数据校验值(check_sum)。其中,所述写缓存存储空间的大小,可以在创建写缓存时根据实际的业务以及失效备份的时间进行设置;例如,假设RAID阵列上有50路1Mbps的录像,需要提供24h的失效备份,因此需要创建约528G大小的RAID写缓存。那么一个4TB大小的硬盘作为写缓存,可以同时给7个这种业务的RAID阵列同时提供24h失效备份。
所述第一bitmap位图,用于记录各RAID头是否已被分配,一个RAID头在该bitmap位图中对应位置取值为1时,表示该RAID头已经分配;为0时,表示该RAID头尚未分配。
所述所属控制器ID,用于区分控制所述写缓存的控制器。例如,在具体应用时,为了提高可靠性,目标RAID阵列多通过两台控制器进行控制(俗称双控),通过所述控制器ID可以区分出控制所述目标RAID阵列的控制器。当然在非双控的环境下,该参数就不一定需要了。
所述数据校验值,用于在本区域中记录的某些参数意外丢失时,通过校验计算对丢失的参数进行恢复。
RAID头区域,该区域根据使用写缓存进行失效备份的目标RAID阵列个数被划分为若干子区域,每个子区域分别对应一个目标RAID阵列;例如,假设写缓存需要为两个目标RAID阵列进行失效备份,那么RAID头区域可以等同的划分为两个子区域,每个子区域对应一个目标RAID区域。RAID头区域中每个子区域分别记录对应目标RAID阵列信息以及该区域的数据校验值;所述目标RAID阵列信息通常包括所述目标RAID阵列的阵列编号(uuid)、扇区大小(sector_size)、条带大小(strip_size)、Block大小(block_size)以及可用Block个数(block_number);其中,所述扇区大小和条带大小取决于目标RAID阵列的具体配置;所述可用Block个数为创建写缓存时由管理员进行分配。
Block头区域,根据写缓存的Block总个数被划分为若干个Block头,每个Block头分别对应一个Block数据块;每个Block头分别记录该Block头在Block头区域中的Block头编号(index,即表示该Block头为Block头区域的第几个Block)、该Block头所属Raid头编号(raid_index,即表示该Block头属于RAID头区域中的第几个RAID)、该Block数据块所记录的数据在目标RAID阵列中的lba地址(logical block address,逻辑区块地址)以及记录该Block数据块是否已写入数据的第二bitmap位图(block_bitmap)。
Block数据区域,该区域根据写缓存的Block总个数被划分为若干个Block数据块,Block数据块的大小为所述RAID头中记录的所述Block大小。其中,写缓存的Block总个数可以通过写缓存Block数据区域的实际空间大小除以单个Block数据块的Block大小计算得到。
请参见图5,图5为本实施例示出的RAID阵列通过写缓存进行数据失效备份以及数据恢复的处理流程,以下结合图4对RAID阵列通过写缓存进行数据失效备份以及数据恢复的处理流程进行详细描述。
在本实施例中,写缓存在初始状态下不对任何RAID阵列进行失效备份,在RAID阵列创建后,如果要对该RAID阵列进行失效备份,则继续创建与该RAID阵列对应的写缓存。
具体地,在为该RAID阵列创建写缓存时,可以根据全局头中的RAID头使用bitmap位图,为该RAID阵列分配一个空的RAID头,然后在分配到的RAID头中记录该RAID阵列的阵列编号、扇区大小、条带大小、Block大小等信息,同时为该RAID阵列分配可用Block个数,并将分配的可用Block个数也记录到RAID头中。其中,所述可用Block个数在具体分配时,可以是根据写缓存的总Block个数为各目标RAID阵列进行平均分配;当然,在具体实现时,也可以根据目标RAID阵列的实际业务,为不同的目标RAID阵列分配数量不等的可用Block个数,本实施例不进行特别限定。
在本实施例中,创建完成的写缓存,在RAID阵列正常运行时,默认为禁用状态,在RAID阵列失效时自动启用。当写缓存启用后,对于针对失效RAID阵列的外部读写IO请求,都由写缓存进行处理。
写缓存首先根据收到的写IO请求中的目标RAID阵列编号以及lba地址,查找对应的Block头;具体地,当写缓存收到写IO请求后,首先根据该写IO请求中的目标RAID阵列编号查找对应的RAID头,查到RAID头后再根据该写IO请求中的lba地址,在与该RAID头对应的Block头中查找Block头。如果是首次写入,Block头中记录的内容均为空,无法查找到对应的Block头,因此可以直接获取一个空Block数据块,将本次写入的数据写入该空Block数据块中,并在该空Block数据块对应的Block头中记录所属RAID头的编号(即为根据读IO请求中目标RAID阵列编号查找到的那个RAID头的编号),并将所述第二bitmap位图中对应bit位置位为1;同时,将该数据在目标RAID阵列中的lba地址(即该写IO请求中的lba地址)也记录到该空Block数据块对应的Block头中,以方便目标RAID阵列由失效状态恢复为正常状态时,可根据Block头中记录的lba地址将已写入数据回写至目标RAID阵列。
当根据该写IO请求中的目标RAID阵列编号以及扇区地址查找Block头时,如果查找到了对应的Block头,表明该Block头对应的Block数据块之前已经写入了数据,于是直接将本次写入的数据写入该Block头对应的Block数据块中。
值得说明的是,在向写缓存写入数据时,当获取到一个空Block数据块时,需要更新对应的RAID头中记录的所述可用Block个数,将所述可用Block个数减1。
进一步地,当写缓存收到读IO请求后,首先根据收到的读IO请求中的目标RAID阵列编号以及lba地址,在所述写缓存中查找Block头;具体地,当写缓存收到读IO请求后,首先根据该读IO请求中的目标RAID阵列编号查找对应的RAID头,查到RAID头后再根据该读IO请求中的lba地址,在与该RAID头对应的Block头中查找Block头;
如果查找到了对应的Block头,并且该Block头中的所述第二bitmap位图中对应bit位已置位为1,表明该block头对应的block数据块之前已写入了数据,则直接读取该数据;
当然,如果未查找到对应的Block头,或者该Block头中的所述第二bitmap位图中对应bit位置位为0,表明写缓存中未记录本次需要读取的数据,于是从所述目标RAID阵列中读取数据,并返回读取结果。由于此时所述目标RAID阵列仍然处于失效状态,因此直接返回读取失败。
在本实施例中,还可以在写缓存中预留部分存储空间作为各目标RAID阵列的竞争使用空间。对于竞争使用空间,任一RAID头即使将可用Block全部用完(即RAID头中记录的可用Block个数为0),如果竞争使用空间还存在空Block数据块,那么该RAID头仍然可以使用竞争使用空间中的空Block数据块。对于竞争使用空间的大小,用户可以根据业务具体配置。在写缓存中预留竞争使用空间,可以使得在只有一个目标RAID阵列失效时,使用更多的备份空间,从而最大化延长失效备份的备份时间,为维护人员提供更长的故障排查时间。
在本实施例中,在目标RAID阵列失效启用写缓存的同时,此时维护人员可尽快去现场排查问题,重新恢复阵列。例如,对于硬盘转接板故障,或者DEU框SAS连线松动等磁盘本身并没有问题的故障,维护人员可以通过转接板或者SAS连线的更换恢复阵列。
当失效的目标RAID阵列恢复后,自动触发写缓存将已写入数据向该目标RAID阵列进行回写,并在写缓存中的已写入数据全部回写完成后,自动禁用写缓存。
在本实施例中,写缓存在进行回写时,由于Block头中已记录了对应的Block数据块在所述目标RAID阵列中的lba地址,因此可以根据该lba地址,将已写入数据按写入顺序回写至目标RAID阵列。比如说,可以将该lba地址换算成pba地址(physics block address,物理区块地址),然后根据换算出的pba地址将回写的数据写入对应的物理块。其中,将该lba地址换算成pba地址的具体实现请参考现有技术,本发明不再详述。
在本实施例中,在数据回写期间,新的写IO将不再由写缓存处理,新写入的数据将直接写入恢复后的目标RAID阵列。然而,由于写缓存在回写期间,目标RAID阵列上的部分有效数据仍然在写缓存中,因此在回写期间的读IO请求还是先由写缓存处理,当从写缓存读取数据时未命中对应的数据,再从目标RAID阵列中读取数据。
当然,在具体实现时,写缓存也可以在目标RAID阵列正常时就启用,将该目标RAID阵列已写入数据同步地写入写缓存,从而即使该目标RAID阵列失效是因为硬盘故障导致的,目标RAID阵列本地数据也不会全部丢失。例如,对于视频监控领域的应用,录像写入之前需要读取录像索引数据,因此可以在RAID阵列正常时启用写缓存,将索引数据提前进行备份,从而使得RAID阵列失效时,也能正常的读取录像索引数据。
通过以上描述可知,本发明通过创建写缓存,可以使用少量的存储空间可同时为多个RAID阵列提供失效备份,减低了硬件成本;而且,由于所述写缓存在RAID阵列失效时才启用,可以有效的区分出阵列失效期间写入的数据,并且由于在RAID阵列失效再恢复时,只回写失效期间写入的数据,从而显著降低了对业务的性能影响。该方案尤其适用于因非磁盘故障而导致的RAID阵列失效的数据备份和恢复。
请参见图6,本发明还提出一种存储数据的备份装置60,应用于RAID阵列,所述装置60包括:
创建模块601,用于为目标RAID阵列创建写缓存;其中,所述写缓存在所述目标RAID阵列失效时启用;
读写模块602,用于在所述目标RAID阵列失效时,在执行写IO命令时将写入所述目标RAID阵列的数据写入所述写缓存,在执行读IO命令时从所述写缓存中读取数据;
回写模块603,用于在所述目标RAID阵列恢复正常时,自动触发所述写缓存将已写入数据回写至所述目标RAID阵列,并在回写完成时禁用所述写缓存。
在本实施例中,所述回写模块603进一步用于:
在所述回写过程中,如果需要执行写IO命令,则将该写IO命令对应的数据写入所述目标RAID阵列;
所述读写模块602进一步用于:
在所述回写过程中,如果需要执行读IO命令,则根据待读取的数据信息从所述写缓存中或者从所述目标RAID阵列中读取数据。
在本实施例中,所述写缓存的存储空间被划分为全局头、RAID头、Block头以及Block数据区;
所述全局头,包括写缓存存储空间的大小以及记录各RAID头是否已被分配的第一bitmap位图;
所述RAID头,根据使用写缓存进行失效备份的目标RAID阵列个数被划分为若干子区域,每个子区域分别对应一个目标RAID阵列,并记录该目标RAID阵列信息;所述目标RAID阵列信息包括所述目标RAID阵列的阵列编号、Block大小以及可用Block个数;
所述Block头,每个Block头分别对应一个Block数据块,并分别记录所述Block数据块所属RAID头编号、该Block数据块在目标RAID阵列中的lba地址以及记录该Block数据块是否已写入数据的第二bitmap位图;
所述Block数据区,包括若干个Block数据块,所述Block数据块的大小为所述RAID头中记录的所述Block大小。
在本实施例中,所述创建模块601进一步用于:
根据所述第一bitmap位图,为所述目标RAID阵列分配一个未使用的RAID头;
将所述目标RAID阵列信息以及为所述目标RAID阵列分配的可用Block个数记录到对应的RAID头中。
在本实施例中,所述读写模块602进一步用于:
根据收到的写IO请求中的目标RAID阵列编号查找对应的RAID头;
根据所述写IO请求中的lba地址,在该RAID头对应的Block头中查找Block头;
如果查找到了对应的Block头,将数据写入该Block头对应的Block数据块中;
如果未查找到对应的Block头,则获取一个空Block数据块,将数据写入该空Block数据块中,同时在该空Block数据块对应的Block头中记录所属RAID头的编号,在所述第二bitmap位图中记录该Block头对应的Block数据块已写入数据,并将该数据在目标RAID阵列中的lba地址记录到该Block头中;
其中,当获取到一个空数据块时,更新对应的RAID头中记录的所述可用Block个数。
在本实施例中,所述读写模块602进一步用于:
根据收到的读IO请求中的目标RAID阵列编号查找对应的RAID头;
根据所述读IO请求中的lba地址,在该RAID头对应的Block头中查找Block头;
如果查找到了对应的Block头,并且该Block头中的所述第二bitmap位图记录该Block头对应的Block数据块已写入了数据,则读取该数据;
如果未查找到对应的Block头,或者该Block头中的所述第二bitmap位图记录该Block头对应的Block数据块未写入数据,从所述目标RAID阵列中读取数据,并返回读取结果。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可进一步拆分成多个子模块。上述发明实施例编号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (12)
1.一种存储数据的备份方法,应用于RAID阵列,其特征在于,所述方法包括:
为目标RAID阵列创建写缓存;其中,所述写缓存在所述目标RAID阵列失效时启用;所述写缓存的存储空间包括被划分出的RAID头区域;所述RAID头区域根据使用写缓存进行失效备份的目标RAID阵列个数被划分为若干子区域;为所述目标RAID阵列创建的写缓存对应于所述若干子区域中的其中一个子区域;
当所述目标RAID阵列失效时,在执行写IO命令时将写入所述目标RAID阵列的数据写入所述写缓存,在执行读IO命令时从所述写缓存中读取数据;
当所述目标RAID阵列恢复正常时,自动触发所述写缓存将已写入数据回写至所述目标RAID阵列,并在回写完成时禁用所述写缓存。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
在所述回写过程中,如果需要执行写IO命令,则将该写IO命令对应的数据写入所述目标RAID阵列;
在所述回写过程中,如果需要执行读IO命令,则根据待读取的数据信息从所述写缓存中或者从所述目标RAID阵列中读取数据。
3.如权利要求1所述的方法,其特征在于,所述写缓存的存储空间被划分为全局头区域、RAID头区域、Block头区域以及Block数据区域;
所述全局头区域,记录写缓存存储空间的大小以及各RAID头是否已被分配的第一bitmap位图;
所述RAID头区域,根据使用写缓存进行失效备份的目标RAID阵列个数被划分为若干子区域,每个子区域分别对应一个目标RAID阵列,并记录该目标RAID阵列信息;所述目标RAID阵列信息包括所述目标RAID阵列的阵列编号、Block大小以及可用Block个数;
所述Block头区域,根据写缓存的Block总个数被划分为若干个Block头,每个Block头分别对应一个Block数据块,并分别记录所述Block数据块所属RAID头编号、该Block数据块在目标RAID阵列中的lba地址以及记录该Block数据块是否已写入数据的第二bitmap位图;
所述Block数据区域,包括若干个Block数据块,所述Block数据块的大小为所述RAID头中记录的所述Block大小。
4.如权利要求3所述的方法,其特征在于,所述为目标RAID阵列创建写缓存包括:
根据所述第一bitmap位图,为所述目标RAID阵列分配一个未使用的RAID头;
将所述目标RAID阵列信息以及为所述目标RAID阵列分配的可用Block个数记录到对应的RAID头中。
5.如权利要求3所述的方法,其特征在于,所述将写入所述目标RAID阵列的存储数据写入所述写缓存包括:
根据收到的写IO请求中的目标RAID阵列编号查找对应的RAID头;
根据所述写IO请求中的lba地址,在该RAID头对应的Block头中查找Block头;
如果查找到了对应的Block头,将数据写入该Block头对应的Block数据块中;
如果未查找到对应的Block头,则获取一个空Block数据块,将数据写入该空Block数据块中,同时在该空Block数据块对应的Block头中记录所属RAID头的编号,在所述第二bitmap位图中记录该Block头对应的Block数据块已写入数据,并将该数据在目标RAID阵列中的lba地址记录到该Block头中;
其中当获取到一个空数据块时,更新对应的RAID头中记录的所述可用Block个数。
6.如权利要求3所述的方法,其特征在于,所述从所述写缓存中读取数据包括:
根据收到的读IO请求中的目标RAID阵列编号查找对应的RAID头;
根据所述读IO请求中的lba地址,在该RAID头对应的Block头中查找Block头;
如果查找到了对应的Block头,并且该Block头中的所述第二bitmap位图记录该Block头对应的Block数据块已写入了数据,则读取该数据;
如果未查找到对应的Block头,或者该Block头中的所述第二bitmap位图记录该Block头对应的Block数据块未写入数据,从所述目标RAID阵列中读取数据,并返回读取结果。
7.一种存储数据的备份装置,应用于RAID阵列,其特征在于,所述装置包括:
创建模块,用于为目标RAID阵列创建写缓存;其中,所述写缓存在所述目标RAID阵列失效时启用;所述写缓存的存储空间包括被划分出的RAID头区域;所述RAID头区域根据使用写缓存进行失效备份的目标RAID阵列个数被划分为若干子区域;为所述目标RAID阵列创建的写缓存对应于所述若干子区域中的其中一个子区域;
读写模块,用于在所述目标RAID阵列失效时,在执行写IO命令时将写入所述目标RAID阵列的数据写入所述写缓存,在执行读IO命令时从所述写缓存中读取数据;
回写模块,用于在所述目标RAID阵列恢复正常时,自动触发所述写缓存将已写入数据回写至所述目标RAID阵列,并在回写完成时禁用所述写缓存。
8.如权利要求7所述的装置,其特征在于,所述回写模块进一步用于:
在所述回写过程中,如果需要执行写IO命令,则将该写IO命令对应的数据写入所述目标RAID阵列;
所述读写模块进一步用于:
在所述回写过程中,如果需要执行读IO命令,则根据待读取的数据信息从所述写缓存中或者从所述目标RAID阵列中读取数据。
9.如权利要求7所述的装置,其特征在于,所述写缓存的存储空间被划分为全局头区域、RAID头区域、Block头区域以及Block数据区域;
所述全局头区域,包括记录写缓存存储空间的大小以及各RAID头是否已被分配的第一bitmap位图;
所述RAID头区域,根据使用写缓存进行失效备份的目标RAID阵列个数被划分为若干子区域,每个子区域分别对应一个目标RAID阵列,并记录该目标RAID阵列信息;所述目标RAID阵列信息包括所述目标RAID阵列的阵列编号、Block大小以及可用Block个数;
所述Block头区域,根据写缓存的Block总个数被划分为若干个Block头,每个Block头分别对应一个Block数据块,并分别记录所述Block数据块所属RAID头编号、该Block数据块在目标RAID阵列中的lba地址以及记录该Block数据块是否已写入数据的第二bitmap位图;
所述Block数据区域,包括若干个Block数据块,所述Block数据块的大小为所述RAID头中记录的所述Block大小。
10.如权利要求9所述的装置,其特征在于,所述创建模块进一步用于:
根据所述第一bitmap位图,为所述目标RAID阵列分配一个未使用的RAID头;
将所述目标RAID阵列信息以及为所述目标RAID阵列分配的可用Block个数记录到对应的RAID头中。
11.如权利要求9所述的装置,其特征在于,所述读写模块进一步用于:
根据收到的写IO请求中的目标RAID阵列编号查找对应的RAID头;
根据所述写IO请求中的lba地址,在该RAID头对应的Block头中查找Block头;
如果查找到了对应的Block头,将数据写入该Block头对应的Block数据块中;
如果未查找到对应的Block头,则获取一个空Block数据块,将数据写入该空Block数据块中,同时在该空Block数据块对应的Block头中记录所属RAID头的编号,在所述第二bitmap位图中记录该Block头对应的Block数据块已写入数据,并将该数据在目标RAID阵列中的lba地址记录到该Block头中;
其中,当获取到一个空数据块时,更新对应的RAID头中记录的所述可用Block个数。
12.如权利要求9所述的装置,其特征在于,所述读写模块进一步用于:
根据收到的读IO请求中的目标RAID阵列编号查找对应的RAID头;
根据所述读IO请求中的lba地址,在该RAID头对应的Block头中查找Block头;
如果查找到了对应的Block头,并且该Block头中的所述第二bitmap位图记录该Block头对应的Block数据块已写入了数据,则读取该数据;
如果未查找到对应的Block头,或者该Block头中的所述第二bitmap位图记录该Block头对应的Block数据块未写入数据,从所述目标RAID阵列中读取数据,并返回读取结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410401367.4A CN104166601B (zh) | 2014-08-14 | 2014-08-14 | 一种存储数据的备份方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410401367.4A CN104166601B (zh) | 2014-08-14 | 2014-08-14 | 一种存储数据的备份方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104166601A CN104166601A (zh) | 2014-11-26 |
CN104166601B true CN104166601B (zh) | 2017-08-15 |
Family
ID=51910431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410401367.4A Active CN104166601B (zh) | 2014-08-14 | 2014-08-14 | 一种存储数据的备份方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104166601B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105068896B (zh) * | 2015-09-25 | 2019-03-12 | 浙江宇视科技有限公司 | 基于raid备份的数据处理方法及装置 |
CN108228084B (zh) | 2016-12-21 | 2020-10-13 | 伊姆西Ip控股有限责任公司 | 用于管理存储***的方法和设备 |
KR20190089365A (ko) * | 2018-01-22 | 2019-07-31 | 에스케이하이닉스 주식회사 | 저장 장치 및 그 동작 방법 |
CN108491162A (zh) * | 2018-03-13 | 2018-09-04 | 山东超越数控电子股份有限公司 | 一种提高存储***性能的方法及装置 |
CN108874312B (zh) * | 2018-05-30 | 2021-09-17 | 郑州云海信息技术有限公司 | 数据存储方法以及存储设备 |
CN112669148A (zh) * | 2020-12-22 | 2021-04-16 | 深圳市富途网络科技有限公司 | 一种处理订单的方法及装置 |
CN117093160B (zh) * | 2023-10-18 | 2024-02-02 | 苏州元脑智能科技有限公司 | Cache的数据处理方法、装置、计算机设备和介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101236482A (zh) * | 2008-02-26 | 2008-08-06 | 杭州华三通信技术有限公司 | 降级状态下处理数据的方法及独立冗余磁盘阵列*** |
CN101527142A (zh) * | 2009-04-17 | 2009-09-09 | 杭州华三通信技术有限公司 | 一种磁盘冗余阵列中数据的读写方法和设备 |
CN102520883A (zh) * | 2011-12-12 | 2012-06-27 | 杭州华三通信技术有限公司 | 一种数据存取方法及其装置 |
CN102521068A (zh) * | 2011-11-08 | 2012-06-27 | 华中科技大学 | 一种固态盘阵列的重建方法 |
-
2014
- 2014-08-14 CN CN201410401367.4A patent/CN104166601B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101236482A (zh) * | 2008-02-26 | 2008-08-06 | 杭州华三通信技术有限公司 | 降级状态下处理数据的方法及独立冗余磁盘阵列*** |
CN101527142A (zh) * | 2009-04-17 | 2009-09-09 | 杭州华三通信技术有限公司 | 一种磁盘冗余阵列中数据的读写方法和设备 |
CN102521068A (zh) * | 2011-11-08 | 2012-06-27 | 华中科技大学 | 一种固态盘阵列的重建方法 |
CN102520883A (zh) * | 2011-12-12 | 2012-06-27 | 杭州华三通信技术有限公司 | 一种数据存取方法及其装置 |
Also Published As
Publication number | Publication date |
---|---|
CN104166601A (zh) | 2014-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104166601B (zh) | 一种存储数据的备份方法和装置 | |
US9009526B2 (en) | Rebuilding drive data | |
JP5768587B2 (ja) | ストレージシステム、ストレージ制御装置およびストレージ制御方法 | |
KR100701563B1 (ko) | 스토리지 제어 장치 및 방법 | |
CN104035830B (zh) | 一种数据恢复方法和装置 | |
US9575844B2 (en) | Mass storage device and method of operating the same to back up data stored in volatile memory | |
KR101678868B1 (ko) | 플래시 주소 변환 장치 및 그 방법 | |
US10120769B2 (en) | Raid rebuild algorithm with low I/O impact | |
CN101236482B (zh) | 降级状态下处理数据的方法及独立冗余磁盘阵列*** | |
US6055604A (en) | Forced transaction log posting using a least busy storage media without maintaining redundancy of the transaction log | |
US20060242459A1 (en) | Method, apparatus and program storage device for protecting data writes in a data storage device | |
CN103718162A (zh) | 用于ssd中灵活的raid的方法和设备 | |
CN106168920B (zh) | 控制包括只读闪速数据存储设备的独立磁盘冗余阵列 | |
CN101866307A (zh) | 一种基于镜像技术的数据存储方法及装置 | |
CN101609420A (zh) | 实现磁盘冗余阵列重建的方法和磁盘冗余阵列及其控制器 | |
CN104142872A (zh) | 一种raid磁盘阵列的快速重建方法 | |
CN104620230A (zh) | 管理存储器的方法 | |
US20080091916A1 (en) | Methods for data capacity expansion and data storage systems | |
US8938641B2 (en) | Method and apparatus for synchronizing storage volumes | |
CN107885620A (zh) | 一种提高固态盘阵列性能和可靠性的方法及*** | |
CN107402890A (zh) | 一种基于固态盘阵列和缓存的数据处理方法及*** | |
JP5299933B2 (ja) | ミラード・ディスク記憶システムを操作する装置、方法、及びコンピュータ・プログラム | |
US8775735B2 (en) | Storage system and operation method of a storage system | |
CN101169705A (zh) | 多硬盘下基于裸文件***实现文件级镜像的方法及装置 | |
JP2012509533A5 (zh) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |