CN105867841B - 一种数据重建方法及装置 - Google Patents

一种数据重建方法及装置 Download PDF

Info

Publication number
CN105867841B
CN105867841B CN201610173584.1A CN201610173584A CN105867841B CN 105867841 B CN105867841 B CN 105867841B CN 201610173584 A CN201610173584 A CN 201610173584A CN 105867841 B CN105867841 B CN 105867841B
Authority
CN
China
Prior art keywords
target
raid
band
bit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610173584.1A
Other languages
English (en)
Other versions
CN105867841A (zh
Inventor
石岩
许勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201610173584.1A priority Critical patent/CN105867841B/zh
Publication of CN105867841A publication Critical patent/CN105867841A/zh
Application granted granted Critical
Publication of CN105867841B publication Critical patent/CN105867841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据重建方法及装置，所述方法包括：当目标RAID达到记录数据变化记录表条件时，确定数据变化记录表中与所述目标RAID对应的目标基本区的大小；判断所述目标基本区中bit位与所述目标RAID包括的条带数的比例是否大于或等于1:1；若否，则从数据变化记录表的扩展区中申请目标大小的目标区域，以使所述目标基本区与所述目标区域的bit位之和与所述目标RAID包括的条带数的比例达到1:1；根据所述目标RAID包括的各条带中的数据变化情况对所述目标基本区与所述目标区域中bit位的值进行设置；当需要进行数据重建时，根据所述目标基本区与所述目标区域中各bit位的值对对应的条带进行数据重建。应用本发明实施例可以提高数据重建效率。

Description

一种数据重建方法及装置
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据重建方法及装置。
背景技术
RAID(Redundant Arrays of Independent Disks，独立冗余磁盘阵列)由多个磁盘聚合在一起，能够在提供大容量的同时，提供更高的访问速度、更好地可用性、以及数据冗余保护。其中，RAID中的磁盘可以称为该RAID的成员磁盘，每个成员磁盘中不但存储了外部写入到该磁盘中的数据，还存储了用于恢复其它成员磁盘的数据。
在对RAID进行数据读写操作的过程中，可能会由于例如某成员磁盘存在坏道、某成员磁盘被误拔出等各种原因，造成该成员磁盘离线的情况发生，此时，若RAID仍然能够正常进行数据读写操作(如RAID从正常状态转换为临界状态或降级状态)，则外部仍有可能向RAID写入数据，从而使得RAID中对应的条带内的数据发生改变，因此，在离线的成员磁盘重新加入到该RAID中之后，需要针对该RAID中离线期间数据发生改变的条带在重新加入的成员磁盘中进行数据重建，即需要读取各离线期间数据发生改变的条带在其它成员磁盘中的数据，并根据读取来的数据依次得到各条带在重新加入RAID中的成员磁盘内的数据。
为了实现上述数据重建，目前常用的方案为：预先为各RAID分配固定大小的数据变化记录表，该数据变化记录表中每一bit(比特)位对应RAID实际的一个或多个条带，当成员磁盘离线之后有条带中的数据发生了改变，则将与该条带对应的数据变化记录表中的bit位置1；其中，数据变化记录表中各bit位的初始值为0；当离线的成员磁盘重新加入RAID后，根据数据变化记录表，对有数据发生改变的条件进行重建。
然而实践发现，随着RAID里单磁盘容量越来越大，RAID中条带数量也越来越多，若为各RAID分配的固定大小的数据变化记录表过小，则数据变化记录表中1个bit位需要对应2个或更多的条带，根据该数据变化记录表进行数据重建时，可能会导致对不需要重建的条带进行重建的情况发生，例如，假设数据变化记录表中1个bit位对应3个条带，若该3个条带中仅有一个条带需要重建时，对应的bit位也会被置为1，后续数据重建过程中，会对该bit位对应的3个条带均进行数据重建，导致数据重建效率较低；而若需要保证数据变化记录表中的bit位与RAID中的条带数的1:1，则需要根据***支持的最大RAID个数扩大数据变化记录表的空间预留，造成***资源浪费。
发明内容
本发明提供一种数据重建方法及装置，以解决现有数据重建方案中数据重建效率较低或需要预留大空间的数据变化记录表造成***资源浪费的问题。
根据本发明实施例的第一方面，提供一种数据重建方法，包括：
当目标独立冗余磁盘阵列RAID达到记录数据变化记录表条件时，确定数据变化记录表中与所述目标RAID对应的目标基本区的大小；
判断所述目标基本区中bit位与所述目标RAID包括的条带数的比例是否大于或等于1:1；
若否，则从数据变化记录表的扩展区中申请目标大小的目标区域，以使所述目标基本区与所述目标区域的bit位之和与所述目标RAID包括的条带数的比例达到1:1；
根据所述目标RAID包括的各条带中的数据变化情况对所述目标基本区与所述目标区域中bit位的值进行设置；
当需要进行数据重建时，根据所述目标基本区与所述目标区域中各bit位的值对对应的条带进行数据重建。
根据本发明实施例的第二方面，提供一种数据重建装置，包括：
确定单元，用于当目标独立冗余磁盘阵列RAID达到记录数据变化记录表条件时，确定数据变化记录表中与所述目标RAID对应的目标基本区的大小；
判断单元，用于判断所述目标基本区中bit位与所述目标RAID包括的条带数的比例是否大于或等于1:1；
申请单元，用于当所述判断单元判断所述目标基本区中bit位与所述目标RAID包括的条带数的比例小于1:1时，从数据变化记录表的扩展区中申请目标大小的目标区域，以使所述目标基本区与所述目标区域的bit位之和与所述目标RAID包括的条带数的比例达到1:1；
设置单元，用于根据所述目标RAID包括的各条带中的数据变化情况对所述目标基本区与所述目标区域中bit位的值进行设置；
数据重建单元，用于当需要进行数据重建时，根据所述目标基本区与所述目标区域中各bit位的值对对应的条带进行数据重建。
应用本发明实施例，当目标RAID达到记录数据变化记录表条件时，确定数据变化记录表中与目标RAID对应的目标基本区的大小，并当目标基本区中bit位与目标RAID包括的条带数的比例小于1:1时，从数据变化记录表的扩展区中申请目标大小的目标区域，以使目标基本区与目标区域的bit位之和与目标RAID包括的条带数的比例达到1:1，进而根据目标RAID包括的各条带中的数据变化情况对目标基本区与目标区域中bit位的值进行设置，当需要进行数据重建时，根据目标基本区与目标区域中各bit位的值对对应的条带进行数据重建，与现有数据重建方案中为各RAID分配固定大小的数据变化记录表的实现方式相比，在数据变化记录表的总大小相同的情况下，更好地保证了RAID对应的数据变化记录表中bit位与RAID包括的条带数的比例为1:1，减少了对不需要进行数据重建的条带进行重建的情况发生，提高了数据重建效率。
附图说明
图1是本发明实施例提供的一种数据重建方法的流程示意图；
图2是本发明实施例提供的另一种数据重建方法的流程示意图；
图3是本发明实施例提供的一种数据重建装置的结构示意图；
图4是本发明实施例提供的另一种数据重建装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
请参见图1，图1为本发明实施例提供的一种数据重建方法的流程示意图，如图1所示，该数据重建方法可以包括以下步骤：
需要说明的是，步骤101～步骤107的执行主体可以为支持RAID的存储设备、存储设备的处理器，如CPU(Center Process Unit，中央处理单元)或RAID控制器。为便于描述，以下以步骤101～步骤107的执行主体为存储设备为例进行说明。
步骤101、当目标RAID达到记录数据变化记录表条件时，确定数据变化记录表中与目标RAID对应的目标基本区的大小。
本发明实施例中，目标RAID并不特指某一固定RAID，而是可以指代存储设备中物理磁盘组成的任一RAID。
本发明实施例中，目标RAID达到记录数据变化记录表条件可以包括目标RAID中发生成员磁盘离线而导致目标RAID由正常状态转换为临界状态或降级状态等。
本发明实施例中，数据变化记录表可以包括基本区和扩展区，其中，基本区中包括与***支持的最大RAID个数(本文中记为Max)等量(即Max个)的小区域空间，各小区域空间固定用于记录对应的RAID中包括的条带中的数据变化情况(发生改变或未发生改变)；扩展区为各RAID共用的区域，可以在需要的时候申请用来记录相应RAID中包括的条带中的数据变化情况。
可选地，数据变化记录表的基本区中包括的各小区域空间的大小相同。
本发明实施例中，当目标RAID达到记录数据变化记录表条件时，存储设备可以先确定数据变化记录表中与该目标RAID对应的基本区(本文中称为目标基本区)的大小。
步骤102、判断该目标基本区中bit位与目标RAID包括的条带数的比例是否大于或等于1:1。若是，转至步骤106；否则，转至步骤103。
本发明实施例中，当目标RAID达到记录数据变化记录表条件时，存储设备一方面可以确定数据变化记录表中与该目标RAID对应的目标基本区大小；另一方面可以计算该目标RAID包括的条带数，进而，存储设备可以判断目标基本区中bit位与目标RAID包括的条带数的比例是否大于或等于1:1，即确定目标基本区是否满足一个bit位对应目标RAID中的一个实际条带的要求。
步骤103、从数据变化记录表的扩展区中申请目标大小的目标区域，以使目标基本区与目标区域的bit位之和与目标RAID包括的条带数的比例达到1:1。
本发明实施例中，当目标基本区中bit位与目标RAID包括的条带数的比例小于1:1时，即目标基本区不满足一个bit位对应目标RAID中的一个实际条带的要求，存储设备可以从数据变化记录表的扩展区中申请目标大小的区域(本文中称为目标区域)，以使目标基本区与目标区域的bit位之和与目标RAID包括的条带数的比例达到1:1。
其中，目标大小(bit位数)为目标基本区的大小(bit位数)与目标RAID包括的条带数的差值。
步骤104、根据目标RAID包括的各条带中的数据变化情况对目标基本区与目标区域中的bit位的值进行设置。
本发明实施例中，存储设备为目标RAID从数据变化记录表的扩展区中申请了目标大小的目标区域之后，存储设备可以根据成员磁盘离线期间各条带中的数据变化情况对目标基本区与目标区域中的bit位的值进行设置。
例如，存储设备可以将数据发生了改变的条带对应的bit位的值设置为第二预设值(如1)；数据未发生改变的条带对应的bit位的值设置为第一预设值(如0)；其中，数据变化记录表中各bit位的初始值为0。
步骤105、当需要进行数据重建时，根据目标基本区与目标区域中各bit位的值对应的条带进行数据重建。
本发明实施例中，当需要进行数据重建时，如离线的成员磁盘重新加入目标RAID，存储设备可以根据目标基本区与目标区域中各bit位的值确定需要进行数据重建的条带(如值为1的bit位对应的条带)，并对需要进行数据重建的条带进行数据重建，即根据需要重建的条带中非离线成员磁盘中的数据得出该条带在重新加入目标RAID中的离线磁盘上的数据，并将该数据写入该重新加入目标RAID中的离线磁盘的对应位置。
优选地，在本发明实施例中，存储设备对需要进行数据重建的条带进行数据重建时，可以优先对与扩展区的bit位对应的需要进行数据重建的条件进行数据重建，并在该部分条带重建完成后，释放所申请的扩展区(即上述目标区域)。
步骤106、根据目标RAID包括的各条带中数据变化情况对目标基本区中bit位的值进行设置。
本发明实施例中，当存储设备确定目标RAID对应的目标基本区中bit位与目标RAID包括的条带数的比例大于或等于1:1时，即数据变化记录表中与目标RAID对应的基本区满足一个bit位对应目标RAID中的一个实际条带的要求，存储设备可以不需要从扩展区中为目标RAID额外申请区域，而是可以直接使用目标基本区中的bit位来记录目标RAID包括的各条带中的数据变化情况。例如，将数据发生改变的条带对应的bit位的值设置为第二预设值；将数据未发生改变的条带对应的bit位的值设置为第一预设值。
步骤107、当需要进行数据重建时，根据目标基本区中各bit位的值对对应的条带进行重建。
本发明实施例中，当需要进行数据重建时，如离线的成员磁盘重新加入目标RAID，存储设备可以根据目标基本区中各bit位的值确定需要进行数据重建的条带(如值为1的bit位对应的条带)，并对需要进行数据重建的条带进行数据重建。
可见，在图1所描述的方法流程中，通过将数据变化记录表划分为基本区和扩展区，基本区中包括与***支持的最大RAID个数等量的小区域空间，各小区域空间固定用于记录对应的RAID中包括的条带中的数据变化情况；扩展区为各RAID共用的区域，可以在需要的时候申请用来记录相应RAID中包括的条带中的数据变化情况，与现有数据重建方案中为各RAID分配固定大小的数据变化记录表的实现方式相比，在数据变化记录表的总大小相同的情况下，更好地保证了RAID对应的数据变化记录表中bit位与RAID包括的条带数的比例为1:1，减少了对不需要进行数据重建的条带进行重建的情况发生，提高了数据重建效率。
请参见图2，图2为本发明实施例提供的另一种数据重建方法的流程示意图，如图2所示，该数据重建方法可以包括以下步骤：
需要说明的是，步骤201～步骤211的执行主体可以为支持RAID的存储设备、存储设备的处理器，如CPU或RAID控制器。为便于描述，以下以步骤201～步骤211的执行主体为存储设备为例进行说明。
步骤201、当目标RAID达到记录数据变化记录表条件时，确定数据变化记录表中与目标RAID对应的目标基本区的大小。
步骤202、判断目标基本区中bit位与目标RAID包括的条带数的比例是否大于或等于1:1。若是，转至步骤203；否则，转至步骤205。
步骤203、根据目标RAID包括的各条带中数据变化情况对目标基本区中bit位的值进行设置。
步骤204、当需要进行数据重建时，根据目标基本区中各bit位的值对对应的条带进行重建。
本发明实施例中，步骤201～步骤204的具体实现可以参见上述步骤101～步骤102以及步骤106～步骤107中的相关描述，本发明实施例在此不再赘述。
步骤205、判断数据变化记录表的扩展区的剩余可用区域的大小是否大于或等于目标大小。若是，转至步骤206；否则，转至步骤208。
本发明实施例中，目标大小(bit位数)为目标基本区的大小(bit位数)与目标RAID包括的条带数的差值。
当存储设备确定目标RAID对应的目标基本区的大小小于目标RAID包括的条带数时，存储设备需要尝试从扩展区为目标RAID申请目标大小的区域用于数据重建，以保证目标基本区与从扩展区申请的区域的bit位之和与目标RAID包括的条带数的比例达到1:1。
相应地，存储设备可以获取数据变化记录表的剩余可用区域的大小，并判断该剩余可用区域的大小是否大于或等于目标大小；若是，则表明扩展区中有足够的剩余可用区域保证以bit位和条带数1:1的比例记录目标RAID包括的各条带中的数据变化情况；否则，表明扩展区中没有足够的剩余可用区域保证以bit位和条带数1:1的比例记录目标RAID包括的各条带中的数据变化情况，即需要降低bit位和条带数的比例，以1：N(N为大于等于2的自然数)的比例记录目标RAID包括的各条带中的数据变化情况。
步骤206、从数据变化记录表的扩展区中申请目标大小的目标区域。
本发明实施例中，当目标基本区中bit位与目标RAID包括的条带数的比例小于1:1，且数据变化记录表的扩展区中有足够的剩余可用区域时，存储设备可以从数据变化记录表的扩展区中申请目标大小的目标区域，以使目标基本区与目标区域的bit位之和与目标RAID包括的条带数的比例达到1:1。
应该认识到，在本发明实施例中，上述206中，若数据变化记录表的扩展区的剩余可用区域的大小大于目标大小，则存储设备从扩展区为目标RAID申请的目标区域的大小也可以大于上述目标大小。
可选地，在本发明实施例中，存储设备从数据变化记录表的扩展区中为目标RAID申请目标大小的目标区域时，可以按照“扩展区总大小/Max”大小的单位进行申请，即每次从扩展区中申请“扩展区总大小/Max”大小的区域，直至满足目标基本区与从扩展区申请的区域的bit位之和与目标RAID包括的条带数的比例达到1:1的条件。
步骤207、当需要进行数据重建时，根据目标基本区与目标区域中各bit位的值对对应的条带进行数据重建。
本发明实施例中，当需要进行数据重建时，如离线的成员磁盘重新加入目标RAID，存储设备可以根据目标基本区与目标区域中各bit位的值确定需要进行数据重建的条带(如值为1的bit位对应的条带)，并对需要进行数据重建的条带进行数据重建，即根据需要重建的条带中非离线成员磁盘中的数据得出该条带在重新加入目标RAID中的离线磁盘上的数据，并将该数据写入该重新加入目标RAID中的离线磁盘的对应位置。
优选地，在本发明实施例中，存储设备对需要进行数据重建的条带进行数据重建时，可以优先对与扩展区的bit位对应的需要进行数据重建的条件进行数据重建，并在该部分条带重建完成后，释放所申请的扩展区(即上述目标区域)。
步骤208、申请数据变化记录表的扩展区的全部剩余可用区域的大小。
本发明实施例中，若存储设备确定数据变化记录表的扩展区的剩余可用区域的大小小于目标大小，则存储设备可以直接申请数据变化记录表的扩展区的全部剩余可用区域的大小用于记录目标RAID包括的各条带中的数据变化情况。
步骤209、根据目标基本区的大小和扩展区的全部剩余可用区域的大小，确定目标基本区与扩展区的全部剩余可用区域中bit位之和与目标RAID包括的条带数的目标比例1：N。
本发明实施例中，当扩展区的剩余可用区域的大小小于目标大小时，即将扩展区的全部剩余可用区域均用于记录目标RAID包括的各条带中的数据变化情况时，仍然无法达到bit位与目标RAID包括的条带数1:1的条件，此时，需要根据目标基本区和扩展区的全部剩余可用区域的大小，调整用于记录目标RAID包括的各条带中的数据变化情况的bit位与条带数的比例，将其调整为1：N(N为大于或等于2的自然数，本文中称为目标比例)。
其中，N需要满足以下条件：
N＝┌(目标RAID包括的条带数/目标基本区与扩展区的全部剩余可用区域的bit位之和)┐
其中，┌*┐为对“*”向上取整，如┌1.9┐＝2，┌2┐＝2，┌2.1┐＝3。
可选地，在本发明实施例中，当目标RAID包括的条带数与目标基本区与扩展区的全部剩余可用区域的bit位之和的比值为非整数时，将目标比例取为1：N之后，可以将剩余的扩展区释放，使其恢复为空闲状态，以供其它RAID使用。
举例来说，假设目标RAID包括的条带数为600，目标基本区与扩展区的全部剩余可用区域的bit位之和为400(目标基本区的bit位为100，扩展区的全部剩余可用区域的bit位为300)，目标RAID包括的条带数与目标基本区与扩展区的全部剩余可用区域的bit位之和的比值为1.5，此时，N为2(N＝┌1.5┐＝2)，即目标RAID共需要300bit位进行数据变化记录，从而，存储设备可以将剩余的扩展区(100bit位)释放，使其恢复为空闲状态。
需要注意的是，在本发明实施例中，数据变化记录表的表头中可以记录目标RAID对应的bit位与条带数的比例(1:1或1：N)；此外，由于数据记录表中的一个bit位可能对应目标RAID包括的两个或两个以上条带，因此可以将目标RAID中与数据记录表的同一bit位对应的条带可以称为宽条带。
步骤210、根据目标比例，以及目标RAID包括的各条带中的数据变化情况对目标基本区与扩展区的全部剩余可用区域中相应bit位的值进行设置。
本发明实施例中，存储设备确定了数据记录表中bit位与目标RAID包括的条带数的目标比例之后，可以根据该目标比例确定数据记录表中各bit位(包括目标基本区的bit位和从扩展区中申请的区域的bit位)与目标RAID包括的条带的对应关系，进而，可以根据目标RAID包括的各条带中的数据变化情况对目标基本区与扩展区的全部剩余可用区域中相应bit位的值进行设置。
举例来说，假设N＝2，即目标RAID对应的数据记录表中的bit位与目标RAID包括的条带数的比例为1:2，则存储设备可以先确定各bit位对应的条带，如，第一个bit位对应条带0和条带1，第二个bit位对应条带2和条带3…第K个bit位对应条带(2K-2)和条带(2K-1)…；其中，K为大于2的自然数。进而，存储设备可以监测目标RAID在成员磁盘离线期间各条带的数据变化情况，并根据该数据变化情况对对应的bit位的值进行设置，例如，若条带2或/和条带3中的发生数据改变，则将第二个bit位的值设置为1；若条带(2K-2)或/和条带(2K-1)中发生数据改变，则将第K个bit位的值设置为1；若条带(2K-2)和条带(2K-1)中均未发生数据改变，则将第K个bit位的值保持为0。
步骤211、当需要进行数据重建时，根据目标基本区与扩展区的全部剩余可用区域中相应bit位的值对对应的条带进行数据重建。
当需要进行数据重建时，如离线的成员磁盘重新加入目标RAID，存储设备可以根据目标基本区与目标区域中各bit位的值，以及目标比例确定需要进行数据重建的条带(如值为1的bit位对应的条带)，并对需要进行数据重建的条带进行数据重建，即根据需要重建的条带中非离线成员磁盘中的数据得出该条带在重新加入目标RAID中的离线磁盘上的数据，并将该数据写入该重新加入目标RAID中的离线磁盘的对应位置。
例如，假设N＝2，若目标RAID对应的数据变化记录表(包括目标基本区和从扩展区中申请的区域)中第一个bit位的值为1，则对目标RAID的条带0和条带1进行数据重建；若第K个bit位的值为1，则对目标RAID的条带(2K-2)和条带(2K-1)进行数据重建。
优选地，在本发明实施例中，存储设备对需要进行数据重建的条带进行数据重建时，可以优先对与扩展区的bit位对应的需要进行数据重建的条件进行数据重建，并在该部分条带重建完成后，释放所申请的扩展区。
可选地，存储设备释放所申请的扩展区时，也可以以“扩展区总大小/Max”的单位进行释放，即每完成“扩展区总大小/Max”大小的区域对应的条带的数据重建后，释放所申请的该部分扩展区。
值得说明的是，在本发明实施例中，存储设备对相应条带进行数据重建之后，需要将与该条带对应的值重置为第一预设值(如0)，其具体实现在此不再赘述。
可见，在图2所描述的方法流程中，通过将数据变化记录表划分为基本区和扩展区，基本区中包括与***支持的最大RAID个数等量的小区域空间，各小区域空间固定用于记录对应的RAID中包括的条带中的数据变化情况；扩展区为各RAID共用的区域，可以在需要的时候申请用来记录相应RAID中包括的条带中的数据变化情况，且扩展区的空间在数据重建完成后会被释放，考虑到实际情况中不会出现同时有大量RAID需要进行数据变化记录的情况发生，因此，仅需要设置一个合理大小的扩展区供各RAID分别使用，即可实现在目标RAID需要进行数据变化记录有足够的空间满足bit位与目标RAID条带数的比例1:1，减少对不需要进行数据重建的条带进行重建的情况发生，与现有技术中必须分别为各RAID均预留足够的空间进行数据变化记录的方案相比，有效地节省了空间，避免了***资源浪费。
通过以上描述可以看出，在本发明实施例中，当目标RAID达到记录数据变化记录表条件时，确定数据变化记录表中与目标RAID对应的目标基本区的大小，并当目标基本区中bit位与目标RAID包括的条带数的比例小于1:1时，从数据变化记录表的扩展区中申请目标大小的目标区域，以使目标基本区与目标区域的bit位之和与目标RAID包括的条带数的比例达到1:1，进而根据目标RAID包括的各条带中的数据变化情况对目标基本区与目标区域中bit位的值进行设置，当需要进行数据重建时，根据目标基本区与目标区域中各bit位的值对对应的条带进行数据重建，与现有数据重建方案中为各RAID分配固定大小的数据变化记录表的实现方式相比，在数据变化记录表的总大小相同的情况下，更好地保证了RAID对应的数据变化记录表中bit位与RAID包括的条带数的比例为1:1，减少了对不需要进行数据重建的条带进行重建的情况发生，提高了数据重建效率。
请参见图3，为本发明实施例提供的一种数据重建装置的结构示意图，其中，该数据重建装置可以应用于上述方法实施例中的存储设备，如图4所示，该数据重建装置可以包括：
确定单元310，用于当目标独立冗余磁盘阵列RAID达到记录数据变化记录表条件时，确定数据变化记录表中与所述目标RAID对应的目标基本区的大小；
判断单元320，用于判断所述目标基本区中bit位与所述目标RAID包括的条带数的比例是否大于或等于1:1；
申请单元330，用于当所述判断单元320判断所述目标基本区中bit位与所述目标RAID包括的条带数的比例小于1:1时，从数据变化记录表的扩展区中申请目标大小的目标区域，以使所述目标基本区与所述目标区域的bit位之和与所述目标RAID包括的条带数的比例达到1:1；
设置单元340，用于根据所述目标RAID包括的各条带中的数据变化情况对所述目标基本区与所述目标区域中bit位的值进行设置；
数据重建单元350，用于当需要进行数据重建时，根据所述目标基本区与所述目标区域中各bit位的值对对应的条带进行数据重建。
在可选实施例中，所述设置单元340，还可以用于当所述判断单元320判断所述目标基本区中bit位与所述目标RAID包括的条带数的比例大于或等于1:1时，根据所述目标RAID包括的各条带中数据变化情况对所述目标基本区中bit位的值进行设置；
所述数据重建单元350，还可以用于当需要进行数据重建时，根据所述目标基本区中各bit位的值对对应的条带进行数据重建。
在可选实施例中，所述判断单元320，还可以用于判断所述数据变化记录表的扩展区的剩余可用区域的大小是否大于或等于所述目标大小；
所述申请单元330，可以具体用于当所述判断单元320判断所述数据变化记录表的扩展区的剩余可用区域的大小大于或等于所述目标大小时，从数据变化记录表的扩展区中申请目标大小的目标区域。
在可选实施例中，所述申请单元330，还可以用于当所述判断单元330判断所述数据变化记录表的扩展区的剩余可用区域的大小小于所述目标大小时，申请所述数据变化记录表的扩展区的全部剩余可用区域的大小；
所述确定单元310，还可以用于根据所述目标基本区的大小和所述扩展区的全部剩余可用区域的大小，确定所述目标基本区与所述扩展区的全部剩余可用区域中bit位之和与所述目标RAID包括的条带数的目标比例1：N；N为大于或等于2的自然数；
所述设置单元340，还可以用于根据所述目标比例，以及所述目标RAID包括的各条带中的数据变化情况对所述目标基本区与所述扩展区的全部剩余可用区域中相应bit位的值进行设置；
所述数据重建单元350，还可以用于当需要进行数据重建时，根据所述目标基本区与所述扩展区的全部剩余可用区域中相应bit位的值对对应的条带进行数据重建。
请一并参阅图4，为本发明实施例提供的另一种数据重建装置的结构示意图，如图4所示，在图3所示实施例的基础上，图4所示的数据重建装置还可以包括：
释放单元360，用于当所述目标区域中各bit位对应的条带重建完成后，释放所申请的所述目标区域。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
由上述实施例可见，当目标RAID达到记录数据变化记录表条件时，确定数据变化记录表中与目标RAID对应的目标基本区的大小，并当目标基本区中bit位与目标RAID包括的条带数的比例小于1:1时，从数据变化记录表的扩展区中申请目标大小的目标区域，以使目标基本区与目标区域的bit位之和与目标RAID包括的条带数的比例达到1:1，进而根据目标RAID包括的各条带中的数据变化情况对目标基本区与目标区域中bit位的值进行设置，当需要进行数据重建时，根据目标基本区与目标区域中各bit位的值对对应的条带进行数据重建，与现有数据重建方案中为各RAID分配固定大小的数据变化记录表的实现方式相比，在数据变化记录表的总大小相同的情况下，更好地保证了RAID对应的数据变化记录表中bit位与RAID包括的条带数的比例为1:1，减少了对不需要进行数据重建的条带进行重建的情况发生，提高了数据重建效率。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据重建方法，其特征在于，包括：
当目标独立冗余磁盘阵列RAID由正常状态转换为临界状态或降级状态时，确定数据变化记录表中与所述目标RAID对应的目标基本区的大小，所述基本区为与***支持的最大RAID个数等量的小区域空间，各小区域空间固定用于记录对应的RAID中包括的条带中的数据变化情况；
判断所述目标基本区中bit位与所述目标RAID包括的条带数的比例是否大于或等于1:1；
若否，则从数据变化记录表的扩展区中申请目标大小的目标区域，以使所述目标基本区与所述目标区域的bit位之和与所述目标RAID包括的条带数的比例达到1:1，所述扩展区为各RAID共用的区域，用来记录相应RAID中包括的条带中的数据变化情况；
根据所述目标RAID包括的各条带中的数据变化情况对所述目标基本区与所述目标区域中bit位的值进行设置；
当需要进行数据重建时，根据所述目标基本区与所述目标区域中各bit位的值对对应的条带进行数据重建。
2.根据权利要求1所述的方法，其特征在于，所述判断所述目标基本区中bit位与所述目标RAID包括的条带数的比例是否大于或等于1:1之后，还包括：
若是，则根据所述目标RAID包括的各条带中数据变化情况对所述目标基本区中bit位的值进行设置；
当需要进行数据重建时，根据所述目标基本区中各bit位的值对对应的条带进行数据重建。
3.根据权利要求1或2所述的方法，其特征在于，所述从数据变化记录表的扩展区中申请目标大小的目标区域之前，还包括：
判断所述数据变化记录表的扩展区的剩余可用区域的大小是否大于或等于所述目标大小；
若是，则确定执行所述从数据变化记录表的扩展区中申请目标大小的目标区域的步骤。
4.根据权利要求3所述的方法，其特征在于，所述判断所述数据变化记录表的扩展区的剩余可用区域的大小是否大于或等于所述目标大小之后，还包括：
若否，则申请所述数据变化记录表的扩展区的全部剩余可用区域的大小；
根据所述目标基本区的大小和所述扩展区的全部剩余可用区域的大小，确定所述目标基本区与所述扩展区的全部剩余可用区域中bit位之和与所述目标RAID包括的条带数的目标比例1：N；N为大于或等于2的自然数；
根据所述目标比例，以及所述目标RAID包括的各条带中的数据变化情况对所述目标基本区与所述扩展区的全部剩余可用区域中相应bit位的值进行设置；
当需要进行数据重建时，根据所述目标基本区与所述扩展区的全部剩余可用区域中相应bit位的值对对应的条带进行数据重建。
5.根据权利要求1或2所述的方法，其特征在于，所述根据所述目标基本区与所述目标区域中各bit位的值对对应的条带进行数据重建之后，还包括：
当所述目标区域中各bit位对应的条带重建完成后，释放所申请的所述目标区域。
6.一种数据重建装置，其特征在于，包括：
确定单元，用于当目标独立冗余磁盘阵列RAID由正常状态转换为临界状态或降级状态时，确定数据变化记录表中与所述目标RAID对应的目标基本区的大小，所述基本区为与***支持的最大RAID个数等量的小区域空间，各小区域空间固定用于记录对应的RAID中包括的条带中的数据变化情况；
判断单元，用于判断所述目标基本区中bit位与所述目标RAID包括的条带数的比例是否大于或等于1:1；
申请单元，用于当所述判断单元判断所述目标基本区中bit位与所述目标RAID包括的条带数的比例小于1:1时，从数据变化记录表的扩展区中申请目标大小的目标区域，以使所述目标基本区与所述目标区域的bit位之和与所述目标RAID包括的条带数的比例达到1:1，所述扩展区为各RAID共用的区域，用来记录相应RAID中包括的条带中的数据变化情况；
设置单元，用于根据所述目标RAID包括的各条带中的数据变化情况对所述目标基本区与所述目标区域中bit位的值进行设置；
数据重建单元，用于当需要进行数据重建时，根据所述目标基本区与所述目标区域中各bit位的值对对应的条带进行数据重建。
7.根据权利要求6所述的装置，其特征在于，
所述设置单元，还用于当所述判断单元判断所述目标基本区中bit位与所述目标RAID包括的条带数的比例大于或等于1:1时，根据所述目标RAID包括的各条带中数据变化情况对所述目标基本区中bit位的值进行设置；
所述数据重建单元，还用于当需要进行数据重建时，根据所述目标基本区中各bit位的值对对应的条带进行数据重建。
8.根据权利要求6或7所述的装置，其特征在于，
所述判断单元，还用于判断所述数据变化记录表的扩展区的剩余可用区域的大小是否大于或等于所述目标大小；
所述申请单元，具体用于当所述判断单元判断所述数据变化记录表的扩展区的剩余可用区域的大小大于或等于所述目标大小时，从数据变化记录表的扩展区中申请目标大小的目标区域。
9.根据权利要求8所述的装置，其特征在于，
所述申请单元，还用于当所述判断单元判断所述数据变化记录表的扩展区的剩余可用区域的大小小于所述目标大小时，申请所述数据变化记录表的扩展区的全部剩余可用区域的大小；
所述确定单元，还用于根据所述目标基本区的大小和所述扩展区的全部剩余可用区域的大小，确定所述目标基本区与所述扩展区的全部剩余可用区域中bit位之和与所述目标RAID包括的条带数的目标比例1：N；N为大于或等于2的自然数；
所述设置单元，还用于根据所述目标比例，以及所述目标RAID包括的各条带中的数据变化情况对所述目标基本区与所述扩展区的全部剩余可用区域中相应bit位的值进行设置；
所述数据重建单元，还用于当需要进行数据重建时，根据所述目标基本区与所述扩展区的全部剩余可用区域中相应bit位的值对对应的条带进行数据重建。
10.根据权利要求6或7所述的装置，其特征在于，所述装置还包括：
释放单元，用于当所述目标区域中各bit位对应的条带重建完成后，释放所申请的所述目标区域。
CN201610173584.1A 2016-03-24 2016-03-24 一种数据重建方法及装置 Active CN105867841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610173584.1A CN105867841B (zh) 2016-03-24 2016-03-24 一种数据重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610173584.1A CN105867841B (zh) 2016-03-24 2016-03-24 一种数据重建方法及装置

Publications (2)

Publication Number Publication Date
CN105867841A CN105867841A (zh) 2016-08-17
CN105867841B true CN105867841B (zh) 2019-01-15

Family

ID=56625645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610173584.1A Active CN105867841B (zh) 2016-03-24 2016-03-24 一种数据重建方法及装置

Country Status (1)

Country Link
CN (1) CN105867841B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349249B (zh) * 2019-06-26 2021-04-06 华中科技大学 基于rgb-d数据的实时稠密重建方法及***
CN113741794B (zh) * 2020-05-29 2024-04-05 浙江宇视科技有限公司 一种smr盘阵列重建方法、***、设备及计算机介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196799A (zh) * 2008-01-09 2008-06-11 杭州华三通信技术有限公司 磁盘冗余阵列的同步方法和磁盘冗余阵列及其控制器
CN101840360A (zh) * 2009-10-28 2010-09-22 创新科存储技术有限公司 Raid***的快速重建方法及装置
CN102609224A (zh) * 2012-02-16 2012-07-25 浪潮(北京)电子信息产业有限公司 一种独立冗余磁盘阵列***及其初始化方法
CN105302492A (zh) * 2015-11-18 2016-02-03 浙江大华技术股份有限公司 一种磁盘阵列raid重建方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8527698B2 (en) * 2010-06-22 2013-09-03 Lsi Corporation Parity-based raid system configured to protect against data corruption caused by the occurrence of write holes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196799A (zh) * 2008-01-09 2008-06-11 杭州华三通信技术有限公司 磁盘冗余阵列的同步方法和磁盘冗余阵列及其控制器
CN101840360A (zh) * 2009-10-28 2010-09-22 创新科存储技术有限公司 Raid***的快速重建方法及装置
CN102609224A (zh) * 2012-02-16 2012-07-25 浪潮(北京)电子信息产业有限公司 一种独立冗余磁盘阵列***及其初始化方法
CN105302492A (zh) * 2015-11-18 2016-02-03 浙江大华技术股份有限公司 一种磁盘阵列raid重建方法及装置

Also Published As

Publication number Publication date
CN105867841A (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
US7565569B2 (en) Data protection in a mass storage system
US10691187B2 (en) Persistent reservations for virtual disk using multiple targets
EP3101530B1 (en) Data distribution method, data storage method, related apparatus, and system
US7844775B2 (en) Distribution of data in a distributed shared storage system
JP6132766B2 (ja) データセンタサービスの制御された自動復旧
CN105072182A (zh) 一种负载均衡方法、负载均衡器和用户终端
WO2019228560A3 (en) Managing blockchain-based centralized ledger systems
CN104378423B (zh) 元数据集群分布式存储***及读取、写入存储数据的方法
WO2013097674A1 (zh) 一种分布式***及其数据操作方法
CN105955824A (zh) 一种虚拟资源配置方法以及装置
CN102387179B (zh) 分布式文件***及其结点、存储方法和存储控制方法
EP1519271A3 (en) Disk array device,method of extending storage capacity and computer program
CN105867841B (zh) 一种数据重建方法及装置
JP2013539134A5 (zh)
CN107729536A (zh) 一种数据存储方法和装置
CN106777164A (zh) 一种数据迁移集群及数据迁移方法
CN106462503A (zh) 异步预取可共享存储器页面
CN103812945A (zh) 一种数据升级的方法和中心服务器
CN109976907A (zh) 任务分配方法和***、电子设备、计算机可读介质
CN105897837A (zh) 内容分发任务的提交方法及***
CN108156208A (zh) 一种应用程序数据的发布方法、装置和***
CN106569729A (zh) 用于分布式***中数据写入的方法和设备
CN111026337A (zh) 一种基于机器学习和ceph思想的分布式储存方法
CN103607468A (zh) 一种上传文件的方法及终端
CN102799543A (zh) 在动态变化的存储介质上分散存储数据及恢复方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant