CN101453489B - 一种网络附加存储装置及其数据备份和数据恢复方法 - Google Patents
一种网络附加存储装置及其数据备份和数据恢复方法 Download PDFInfo
- Publication number
- CN101453489B CN101453489B CN 200810204752 CN200810204752A CN101453489B CN 101453489 B CN101453489 B CN 101453489B CN 200810204752 CN200810204752 CN 200810204752 CN 200810204752 A CN200810204752 A CN 200810204752A CN 101453489 B CN101453489 B CN 101453489B
- Authority
- CN
- China
- Prior art keywords
- data
- memory cell
- formation
- synchrodata
- length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Techniques For Improving Reliability Of Storages (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种网络附加存储装置,该装置包括:网络接口,实现数据在网络中的传输;NAS控制器,用于提供各种数据应用的传输控制功能,接收通过网络接口传来的用户数据;数据处理单元,用于将从所述NAS控制器接收到的用户数据存储到所述共享存储单元的过程中,将用户数据同步到所述数据备份存储单元;数据共享存储单元,用于共享存储用户数据,采用高速磁盘介质;数据备份存储单元,用于备份存储用户数据,采用低速磁盘介质。由于在网络附加存储装置内部实现了数据备份,无需经过网络传输,且数据备份使用了低速磁盘介质,因此同时实现了低能耗、低成本和低网络资源占用。本发明同时公开了上述网络附加存储装置的数据备份和数据恢复方法。
Description
技术领域
本发明涉及网络附加存储技术领域,特别涉及一种网络附加存储装置及其数据备份和数据恢复方法。
背景技术
网络附加存储(NAS,Network Attached Storage)是一种新兴的网络存储方案,在NAS存储结构中,存储***不再通过I/O总线附属于某个服务器或客户机,而直接通过网络接口与网络直接相连,用户主机可以通过通用英特网文件***(CIFS,Common Internet File System)、网络文件***(NFS,Net File System)等网络协议直接访问NAS装置,对其中存储的数据进行读写操作。NAS装置实际上是一个带有瘦服务器的存储设备,其作用类似于一个专用的文件服务器。这种专用存储服务器去掉了通用服务器原有的不适用的大多数计算功能,而仅仅提供文件***功能,一般用于政府、学校、企业等组织机构的数据网络共享。
图1为现有NAS装置的结构示意图,如图1所示,该装置包括:
网络接口,用于连接网络,实现数据在网络中的传输。
NAS控制器,与网络接口相连,用于提供各种数据应用的传输控制功能,如FTP服务、文件共享服务、流媒体点播服务等。
存储介质,与NAS控制器相连,用于数据的存储,可以采用任意存储介质,如磁盘或磁带等。
由于数据共享应用需要较高的存储性能,通常情况下,NAS中使用基于串行小型计算机***接口(SAS)或小型计算机***接口(SCSI)的高速磁盘作为存储介质,这种存储介质具有高性能、高可靠性等优点,适宜需要频繁读写的数据共享类应用。
NAS存储***由于存储介质或误操作等原因,保存在NAS装置上的共享数据可能会面临丢失的风险,因此,一般都需要为NAS装置配置一套备份***,通过网络将NAS装置中的数据同步到备份***中。一般情况下,可以使用基于穿行高级技术附件(SATA)或集成设备电路(IDE)接口的低速磁盘作为存储介质的备份***。相对于15000转的SAS或SCSI接口的高速磁盘来说,SATA或IDE接口低速磁盘的转速普遍为7200转或5400转,其能耗和单位容量成本均较SAS或SCSI接口的高速磁盘低很多,因此适合用于对于性能不太敏感的数据备份应用。
虽然单独为NAS装置设置一套数据备份***,可以有效提高NAS***的数据安全性,且成本较低,但由于在数据备份过程中,备份***需要从NAS装置中获取需要备份的用户数据,这些数据都要通过网络进行传输,那么在用户使用NAS装置共享数据时,用户数据首先要传输到NAS装置中,再从NAS装置中传输到备份***中,这样需要进行两次数据传输才能完成数据备份,占用了大量的网络资源,对于整个网络数据共享的性能都会产生不利影响。
另外,目前还可以通过在同一个NAS装置中使用独立冗余磁盘阵列(RAID)或快照技术(SnapShot)来实现数据备份,从而无需占用有限的网络资源,但是,RAID技术需要主介质和备份介质完全一样,因此无法实现根据数据共享和数据备份的不同特点,使用不同的存储介质,而一般为保证性能,都需要使用高速磁盘作为存储介质,从而使NAS装置的整体成本和能源消耗提高。而SnapShot快照技术则是用于单一介质中的备份技术,共享数据和备份数据保存在同一个介质上,主要用于防止存储时的逻辑错误,如果该介质损坏,数据是无法恢复的,其备份的安全性并不理想,不适合大数据量的数据备份,同时,由于共享数据和备份数据存在于同一介质,因此也同样存在与RAID技术相同的成本及能耗高的问题。
因此目前还没有一种可以兼顾低能源消耗、低成本和低网络资源占用的NAS数据备份方案。
发明内容
本发明实施例提供一种网络附加存储装置,可以同时实现低能耗、低成本和低网络资源占用的数据备份。
本发明实施例提供一种网络附加存储装置的数据备份方法,用于本发明实施例提供的网络附加存储装置,可以同时实现低能耗、低成本和低网络资源占用的数据备份。
本发明实施例提供一种网络附加存储装置的数据恢复方法,用于本发明实施例提供的网络附加存储装置,可以同时实现低能耗、低成本和低网络资源占用的数据恢复。
为达到上述目的,本发明的技术方案具体是这样实现的:
一种网络附加存储装置,该装置包括:
网络接口,用于连接网络,实现数据在网络中的传输;
NAS控制器,与网络接口相连,用于提供各种数据应用的传输控制功能,接收通过网络接口传来的用户数据;
数据处理单元,与NAS控制器及数据共享存储单元和数据备份存储单元分别相连,用于将从所述NAS控制器接收到的用户数据存储到所述共享存储单元的过程中,将用户数据同步到所述数据备份存储单元;
数据共享存储单元,与数据处理单元相连,用于共享存储用户数据,采用高速磁盘介质;
数据备份存储单元,与数据处理单元相连,用于备份存储用户数据,采用低速磁盘介质。
一种用于上述网络附加存储装置的数据备份方法,该方法包括:
从网络中接收用户数据;
在将所述用户数据存储到网络附加存储装置内部的数据共享存储单元的过程中,通过内部接口将用户数据同步到网络附加存储装置内部的数据备份存储单元。
一种用于上述网络附加存储装置的数据恢复方法,其特征在于,该方法包括:
根据接收到的数据恢复指令,从数据备份存储单元中读取需要恢复的数据并发送给需要恢复数据的用户或数据共享存储单元;
根据接收到的备份重建指令,格式化数据备份存储单元,遍历数据共享存储单元,获取所有共享用户数据,并逐一同步到格式化后的数据备份存储单元。
由上述的技术方案可见,本发明的这种网络附加存储装置及其数据备份和恢复方法,通过在网络附加存储装置内部实现了数据备份,无需经过网络传输,且数据备份使用了低速磁盘介质,因此同时实现了低能耗、低成本和低网络资源占用的数据备份和数据恢复。
附图说明
图1为现有NAS装置的结构示意图;
图2为本发明实施例的NAS装置结构示意图;
图3为本发明第一实施例的数据处理单元结构示意图;
图4为本发明第二实施例的数据处理单元结构示意图;
图5为本发明实施例的数据转换模块结构示意图;
图6为本发明第三实施例的数据处理单元结构示意图;
图7为本发明实施例的网络附加存储装置的数据备份方法流程图;
图8为本发明实施例中将用户数据同步到数据备份存储单元的具体流程图;
图9为本发明另一实施例中将用户数据同步到数据备份存储单元的具体流程图;
图10为本发明实施例的同步数据队列结构示意图;
图11为本发明实施例中将同步文件队列中的数据对象恢复到同步数据队列的流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下参照附图并举实施例,对本发明进一步详细说明。
本发明主要是将NAS装置中的存储介质划分为独立的数据共享存储单元和数据备份存储单元,数据共享存储单元采用高速磁盘作为存储介质,以保证数据共享应用的性能;数据备份存储单元采用低速磁盘作为存储介质,以降低NAS装置的整体能耗和成本;同时增加一个数据处理单元,连接数据共享存储单元和数据备份存储单元,用于在NAS装置内部将数据共享存储单元内的数据同步到数据备份存储单元,避免占用网络资源传输备份数据。
图2为本发明实施例的NAS装置结构示意图,如图2所示,该装置包括:
网络接口201,用于连接网络,实现数据在网络中的传输。可以采用任意接口,如以太网接口等。
NAS控制器202,与网络接口201相连,用于提供各种数据应用的传输控制功能,接收通过网络接口传来的用户数据。
NAS控制器实现的功能是现有成熟技术,这里就不再详述了。
数据处理单元203,与NAS控制器202及数据共享存储单元204和数据备份存储单元205分别相连,用于将从所述NAS控制器202接收到的用户数据存储到所述共享存储单元204的过程中,将用户数据同步到数据备份存储单元205;
数据共享存储单元204,与数据处理单元203相连,用于共享存储用户数据,供用户主机访问和使用共享的数据。为保证数据共享性能,可以采用速度快、耗电量大、单位成本高的高速磁盘介质,如SAS接口或SCSI接口的磁盘。
数据备份存储单元205,与数据处理单元203相连,用于备份存储用户数据,供用户主机恢复或数据共享存储单元恢复数据。数据备份无需较高的读写性能,因此可采用单位成本低、省电、速度慢的低速磁盘介质,以降低NAS装置的能耗和成本,如SATA或IDE接口的磁盘。
用户数据通过网络传输到NAS装置后,通过网络接口201及NAS控制器202的解析和识别后,经由数据处理单元203,将用户数据同步到数据共享存储单元204,同时,数据处理单元203可以采用同步复制或异步复制方式自动将同步到数据共享存储单元204的用户数据备份到数据备份存储单元205。
图3为本发明第一实施例的数据处理单元结构示意图,如图3所示,数据处理单元具体包括:
数据共享模块301,与所述NAS控制器202相连,用于接收用户数据,并将用户数据存储到所述数据共享存储单元204;
数据转换模块302,与所述数据共享模块301相连,用于将所述用户数据转换为数据对象,并发送至数据队列模块;
同步数据队列模块303,与所述数据转换模块302相连,用于缓存所述数据转换模块发送的数据对象,形成同步数据队列;
数据同步模块304,与所述数据队列模块303相连,用于定期按照队列顺序从所述同步数据队列模块303中取出数据对象,并将数据对象同步到所述数据备份存储单元205。
本发明实施例中,同步数据队列的具体构成可以参见图10,图10为本发明实施例的同步数据队列结构示意图,如图10所示,同步数据队列中排列着多个缓存的数据对象,数据对象为数据处理单元在同步过程中缓存的用户数据信息,每个数据对象都包括用户数据的文件名、数据块位移、数据块长度和数据决内容信息。其中,数据块位移是指该数据块在文件中的绝对位置,数据块内容是具体的用户数据内容,数据块长度主要用于校验数据。当然,具体如何进行队列以及将用户数据转换成什么样的数据对象,数据对象中都包括哪些信息,可以根据实际需要而定,只要保证数据对象中包含数据备份所需的所有信息即可。将用户数据转换为数据对象并进行队列缓存,可以避免执行数据备份时,再次从数据共享存储单元读取文件,大大提高整个NAS装置的性能。
图4为本发明第二实施例的数据处理单元结构示意图,如图4所示,该数据处理单元除包括与第一实施例中相同的数据共享模块401、数据转换模块402、同步数据队列模块403和数据同步模块404之外,还进一步包括:
同步文件队列模块405,与所述数据转换模块402相连,用于缓存释放掉数据块内容的数据对象,形成同步文件队列;
所述数据转换模块402,进一步用于在将数据对象发送到所述同步数据队列模块403之前,判断所述同步数据队列模块403中缓存的同步数据队列占用的缓存容量是否达到预设的阈值;
若所述同步数据队列模块403中缓存的同步数据队列占用的缓存容量达到预设的阈值,则将数据对象发送到同步文件队列模块405,并释放数据对象中的数据块内容;否则正常发送到同步数据队列模块403。
若所述同步数据队列模块403中缓存的同步数据队列占用的缓存容量恢复到预设的阈值以下,且所述同步文件队列模块405中缓存的同步文件队列不为空,则根据所述释放掉数据块内容的数据对象中的用户数据文件名、数据块位移和数据块长度,从所述数据共享存储单元204中读取数据块内容,恢复为完整的数据对象并发送到所数同步数据队列模块403。
本实施例中,同步文件队列的结构与图10中所示的同步数据队列相似,只是数据对象中不再包括数据块内容。
增加同步文件队列模块是为了减少备份时需要占用的缓存的容量,由于数据备份存储单元采用低性能的存储介质,而数据共享存储单元采用高性能的存储介质,导致数据共享存储单元的处理速度会优于数据备份存储单元,因此在备份过程中可能会缓存大量数据而导致缓存不足。通过将数据对象中的数据块内容部分释放掉,可以节省大量的缓存空间,等空出足够的缓存空间时,再从共享数据存储单元读出该数据块内容即可。
另外,数据同步队列模块和数据文件队列模块可以使用同一个存储器实现缓存,或者分别使用独立的存储器。
图5为本发明实施例的数据转换模块结构示意图,如图5所示,数据转换模块具体包括:
数据分解子模块501,与所述数据共享模块401相连,用于将超过预设数据长度的用户数据分解为多个连续的数据块,每个分解后的数据块的数据长度都小于预设的数据长度;
数据对象生成子模块502,与所述数据分解子模块501相连,用于记录分解后的数据块的文件名、数据块位移、数据块长度和数据块内容,将每一个分解后的数据块的文件名、数据块位移、数据块长度和数据块内容组成一个数据对象;对数据长度小于预设数据长度的用户数据则直接转换为数据对象,此时,数据对象中的数据块位移为0,数据块长度为完整用户数据的长度,数据块内容为完整的用户数据内容。
将用户数据分解为小块的数据可以减少单次数据同步的数据量,减少备份大文件可能产生的风险,并且减少数据队列所需的缓存容量。当然,如果有足够的缓存容量,也可以不对用户数据进行分解。
图6为本发明第三实施例的数据处理单元结构示意图,如图6所示,该数据处理单元除包括与第二实施例相同的数据共享模块601、数据转换模块602、同步数据队列模块603、数据同步模块604、同步文件队列模块605之外,还进一步包括:
数据恢复模块606,与所述NAS控制器202相连,根据接收到的数据恢复指令,从数据备份存储单元205中读取需要恢复的数据并发送给需要恢复数据的用户或数据共享存储单元204;根据接收到的备份重建指令,格式化所述数据备份存储单元205;遍历所述数据共享存储单元204,获取所有共享用户数据,并发送给所述数据转换模块602;
所述数据转换模块602,进一步与所述数据恢复模块606相连,将所述共享用户数据转换为数据对象,并发送至数据队列模块603。
当然,在第一实施例的基础上进一步包括数据恢复模块也是可以的,实现方式类似,这里就不再详述了。
通过数据恢复模块,NAS装置可以实现数据恢复的功能,当网络中的用户主机中的数据遭受损坏后,可从备份数据存储单元中恢复丢失的数据到用户主机;当共享数据存储单元中的数据遭受部分或完全损坏后,可从备份数据存储单元中恢复丢失的部分或所有数据到共享数据存储单元;当备份数据存储单元中的数据遭受完全损坏后,也可从共享数据存储单元中重新备份所有数据到备份数据存储单元。
下面将具体介绍本发明实施例的网络附加存储装置的数据备份方法,可以用于本发明实施例中所述的NAS装置。
图7为本发明实施例的网络附加存储装置的数据备份方法流程图,如图所示,该方法包括:
步骤701,从网络中接收用户数据;
步骤702,在将所述用户数据存储到网络附加存储装置内部的数据共享存储单元的过程中,通过内部接口将用户数据同步到网络附加存储装置内部的数据备份存储单元。
将用户数据存储到数据共享存储单元的过程和将用户数据同步到数据备份存储单元的过程是同时进行的,是一种异步同步方式,互相之间互不影响。内部接口是指不通过网络接口来进行数据传输,而是直接使用NAS装置内部的接口来进行数据传输,具体是何种内部接口可以根据具体需要而定,本发明实施例并不限制内部接口的类型。
其中,将用户数据同步到所述数据备份存储单元的具体方法可参见图8,图8为本发明实施例中将用户数据同步到数据备份存储单元的具体流程图如图8所示,该流程包括:
步骤801,将用户数据转换为数据对象;
步骤802,将所述数据对象添加到同步数据队列;
步骤803,定期按照队列顺序从同步数据队列中取出数据对象,并将数据对象同步到所述数据备份存储单元。
其中,将用户数据转换为数据对象时,可以将超过预设数据长度的用户数据分解为多个连续的数据块,每个分解后的数据决的数据长度都小于预设的数据长度,记录分解后的数据块的文件名、数据块位移、数据块长度和数据块内容,将每一个分解后的数据块的文件名、数据块位移、数据块长度和数据块内容组成一个数据对象;对数据长度小于预设数据长度的用户数据不进行分解,直接转换为数据对象,此时,数据对象中的数据块位移为0,数据块长度为完整用户数据的长度,数据块内容为完整的用户数据内容。另外,只要有足够的缓存容量,可以缓存较大的用户数据文件,也可以不对用户数据进行分解。
图9为本发明另一实施例中将用户数据同步到数据备份存储单元的具体流程图,如图9所示,为了进一步减少对数据备份时的缓存容量需求,可以再将用户数据转换为数据对象之后,将数据对象添加到同步数据队列之前,进一步判断所述同步数据队列占用的缓存容量是否达到预设的阈值;若所述同步数据队列占用的缓存容量已达到预设的阈值,则将数据对象加入同步文件队列,并释放数据对象中的数据块内容;若所述同步数据队列占用的缓存容量未达预设的阈值,则将数据对象添加到同步数据队列。
具体步骤如下:
步骤901,将用户数据转换为数据对象;
步骤902,判断所述同步数据队列占用的缓存容量是否达到预设的阈值;若是,执行步骤904,否则执行步骤903。
步骤903,将数据对象添加到同步数据队列。
步骤904,将数据对象添加到同步文件队列,并释放数据对象中的数据块内容。
另外,若同步数据队列占用的缓存容量恢复到预设的阈值以下,则可以根据所述释放掉数据块内容的数据对象中的文件名、数据块位移和数据块长度,从所述数据共享存储单元中读取数据块内容,恢复为完整的数据对象并重新添加到同步数据队列中。将同步文件队列中的数据对象恢复到同步数据队列的过程可以定时进行或者根据对同步数据队列所占用的缓存情况决定是否进行,例如:可以从同步数据队列中取出数据对象,并同步到所述数据备份存储单元之后,进一步判断所述同步文件队列是否为空;若不为空,则根据所述释放掉数据块内容的数据对象中的用户数据文件名、数据块位移和数据块长度,从所述数据共享存储单元中读取数据块内容,恢复为完整的数据对象并添加到同步数据队列中。
图11为本发明实施例中将同步文件队列中的数据对象恢复到同步数据队列的流程图,如图11所示,该流程包括如下步骤:
步骤1101,定时访问同步数据队列;
步骤1102,判断同步数据队列是否为空,若是,则返回1101,否则执行步骤1103;
步骤1103,取出数据对象;
步骤1104,将数据对象同步到数据备份存储单元;
步骤1105,判断同步文件队列是否为空,若是,则返回1101,否则执行步骤1106;
步骤1106,从同步文件队列中取出同步文件对象,恢复到同步数据队列。
步骤1101~1104是将同步数据队列中缓存的用户数据同步到数据备份存储单元的具体步骤,在执行一次将数据对象同步到数据备份存储单元的操作之后,队列同步数据队列中将必然空出一个数据对象的空间,因此此时就可以将同步文件队列中的一个数据对象恢复到同步数据队列了。
另外,对于保存在数据备份存储单元的用户数据,还可以实现数据的恢复,如根据接收到的数据恢复指令,从数据备份存储单元中读取需要恢复的数据并发送给需要恢复数据的用户或数据共享存储单元;根据接收到的备份重建指令,格式化数据备份存储单元,遍历数据共享存储单元,获取所有共享用户数据,并逐一同步到格式化后的数据备份存储单元。
具体来说,主机在发生数据损坏后,用户主机可以通过数据处理单元浏览备份的用户数据;选择损坏的数据后,向数据处理单元请求恢复数据;数据处理单元根据主机的请求,读取备份的用户数据并返回给主机。
当保存在数据共享存储单元的数据部分遭受损坏后,如被误删除,用户主机可以通过数据处理单元浏览备份的用户数据;选择损坏的数据后,向数据处理单元请求恢复数据到数据共享存储单元;数据处理单元根据备份的用户数据定位数据共享存储单元中的数据存储位置;将备份的用户数据写入到数据共享存储单元。
当保存在共享数据存储单元的数据将全部损坏时,如共享数据存储单元的存储介质损坏,则用户可以向数据处理单元发起重建数据共享存储单元的请求,重建过程包括介质重建过程和数据重建过程,介质重建过程通常是将新介质应用到存储装置,并格式化为可读写的存储单元;
数据重建过程是数据处理单元从数据备份存储单元中恢复所有数据到共享单元的过程,包括:数据处理单元遍历数据备份存储单元,获得所有备份的用户数据的最新状态,最新状态是指在备份过程中保留多个副本时,选择的最新一个副本;将备份的用户数据按备份时的文件名信息恢复到数据共享存储单元。另外,如果没有保存多个副本,则可以不执行获得所有备份数据的最新状态的步骤。
另外,当备份数据存储单元损坏后,保存在备份数据存储单元的数据将全部丢失,此时,用户可以向数据处理单元发起重建数据备份存储单元的请求,重建过程包括介质重建过程和数据重建过程,介质重建过程通常是将新介质应用到存储装置,并格式化为可读写的存储单元;
数据重建过程是数据处理单元从数据共享存储单元中重新备份所有数据到共享单元的过程,具体包括:数据处理单元遍历数据共享存储单元,获得所有的共享的用户数据;逐一将共享的用户数据备份到数据备份存储单元;逐一将共享的用户数据备份到数据备份存储单元的过程实际上与正常数据备份过程相同,只不过备份的数据是来自数据共享存储单元的共享用户数据,而不是来自用户主机的用户数据,这里就不再详述了。
由上述的实施例可见,本发明的这种网络附加存储装置及其数据备份和恢复方法,通过在网络附加存储装置内部实现了数据备份,无需经过网络传输,且数据备份使用了低速磁盘介质,因此同时实现了低能耗、低成本和低网络资源占用的数据备份和数据恢复。
所应理解的是,以上所述仅为本发明的较佳实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (14)
1.一种网络附加存储装置,其特征在于,该装置包括:
网络接口,用于连接网络,实现数据在网络中的传输;
网络附加存储NAS控制器,与网络接口相连,用于提供各种数据应用的传输控制功能,接收通过网络接口传来的用户数据;
数据处理单元,与NAS控制器及数据共享存储单元和数据备份存储单元分别相连,用于将从所述NAS控制器接收到的用户数据存储到所述共享存储单元的过程中,将用户数据同步到所述数据备份存储单元;
数据共享存储单元,与数据处理单元相连,用于共享存储用户数据,采用高速磁盘介质;
数据备份存储单元,与数据处理单元相连,用于备份存储用户数据,采用低速磁盘介质。
2.如权利要求1所述的网络附加存储装置,其特征在于,所述数据处理单元包括:
数据共享模块,与所述NAS控制器相连,用于接收用户数据,并将用户数据存储到所述数据共享存储单元;
数据转换模块,与所述数据共享模块相连,用于将所述用户数据转换为数据对象,并发送至数据队列模块;
同步数据队列模块,与所述数据转换模块相连,用于缓存所述数据转换模块发送的数据对象,形成同步数据队列;
数据同步模块,与所述数据队列模块相连,用于定期按照队列顺序从所述同步数据队列模块中取出数据对象,并将数据对象同步到所述数据备份存储单元。
3.如权利要求2所述的网络附加存储装置,其特征在于,所述数据转换模块包括:
数据分解子模块,与所述数据共享模块相连,用于将超过预设数据长度的 用户数据分解为多个连续的数据块,每个分解后的数据块的数据长度都小于预设的数据长度;
数据对象生成子模块,与所述数据分解子模块相连,用于记录分解后的数据块的文件名、数据块位移、数据块长度和数据块内容,将每一个分解后的数据块的文件名、数据块位移、数据块长度和数据块内容组成一个数据对象;对数据长度小于预设数据长度的用户数据则直接转换为数据对象,此时,数据对象中的数据块位移为0,数据块长度为完整用户数据的长度,数据块内容为完整的用户数据内容。
4.如权利要求3所述的网络附加存储装置,其特征在于,所述数据处理单元进一步包括:
同步文件队列模块,与所述数据转换模块相连,用于缓存释放掉数据块内容的数据对象,形成同步文件队列;
所述数据转换模块,进一步用于在将数据对象发送到所述同步数据队列模块之前,判断所述同步数据队列模块中缓存的同步数据队列占用的缓存容量是否达到预设的阈值;
若所述同步数据队列模块中缓存的同步数据队列占用的缓存容量达到预设的阈值,则将数据对象发送到同步文件队列模块,并释放数据对象中的数据块内容;
若所述同步数据队列模块中缓存的同步数据队列占用的缓存容量恢复到预设的阈值以下,且所述同步文件队列模块中缓存的同步文件队列不为空,则根据所述释放掉数据块内容的数据对象中的用户数据文件名、数据块位移和数据块长度,从所述数据共享存储单元中读取数据块内容,恢复为完整的数据对象并发送到所述同步数据队列模块。
5.如权利要求2-4中任一项权利要求所述的网络附加存储装置,其特征在于,所述数据处理单元进一步包括:
数据恢复模块,与所述NAS控制器相连,根据接收到的数据恢复指令,从数据备份存储单元中读取需要恢复的数据并发送给需要恢复数据的用户或数据 共享存储单元;根据接收到的备份重建指令,格式化所述数据备份存储单元;遍历所述数据共享存储单元,获取所有共享用户数据,并发送给所述数据转换模块;
所述数据转换模块,进一步与所述数据恢复模块相连,将所述共享用户数据转换为数据对象,并发送至数据队列模块。
6.如权利要求1-4中任一项权利要求所述的网络附加存储装置,其特征在于,所述高速磁盘介质为SAS或SCSI接口的磁盘,所述低速磁盘为SATA或IDE接口的磁盘。
7.一种用于权利要求1所述的网络附加存储装置的数据备份方法,其特征在于,该方法包括:
从网络中接收用户数据;
在将所述用户数据存储到网络附加存储装置内部的数据共享存储单元的过程中,通过内部接口将用户数据同步到网络附加存储装置内部的数据备份存储单元。
8.如权利要求7所述的网络附加存储装置的数据备份方法,其特征在于,所述将用户数据同步到所述数据备份存储单元包括:
将用户数据转换为数据对象;
将所述数据对象添加到同步数据队列;
定期按照队列顺序从同步数据队列中取出数据对象,并将数据对象同步到所述数据备份存储单元。
9.如权利要求8所述的网络附加存储装置的数据备份方法,其特征在于,所述将用户数据转换为数据对象包括:
将超过预设数据长度的用户数据分解为多个连续的数据块,每个分解后的数据块的数据长度都小于预设的数据长度,记录分解后的数据块的文件名、数据块位移、数据块长度和数据块内容,将每一个分解后的数据块的文件名、数据块位移、数据块长度和数据块内容组成一个数据对象;
对数据长度小于预设数据长度的用户数据不进行分解,直接转换为数据对 象,此时,数据对象中的数据块位移为0,数据块长度为完整用户数据的长度,数据块内容为完整的用户数据内容。
10.如权利要求7-9中任一项权利要求所述的网络附加存储装置的数据备份方法,其特征在于,所述将用户数据转换为数据对象之后,将数据对象添加到同步数据队列之前,该方法进一步包括:判断所述同步数据队列占用的缓存容量是否达到预设的阈值;
若所述同步数据队列占用的缓存容量已达到预设的阈值,则将数据对象加入同步文件队列,并释放数据对象中的数据块内容;
若同步数据队列占用的缓存容量恢复到预设的阈值以下,且同步文件队列不为空,则根据所述释放掉数据块内容的数据对象中的文件名、数据块位移和数据块长度,从所述数据共享存储单元中读取数据块内容,恢复为完整的数据对象并添加到同步数据队列中。
11.一种用于权利要求1所述的网络附加存储装置的数据恢复方法,其特征在于,该方法包括:
根据接收到的数据恢复指令,从数据备份存储单元中读取需要恢复的数据并发送给需要恢复数据的用户或数据共享存储单元;
根据接收到的备份重建指令,格式化数据备份存储单元,遍历数据共享存储单元,获取所有共享用户数据,并逐一同步到格式化后的数据备份存储单元。
12.如权利要求11所述的网络附加存储装置的数据恢复方法,其特征在于,所述将所有共享用户数据同步到格式化后的数据备份存储单元包括:
将共享用户数据转换为数据对象并添加到同步数据队列,定期按照队列顺序将数据对象同步到所述数据备份存储单元。
13.如权利要求12所述的网络附加存储装置的数据恢复方法,其特征在于,所述将共享的用户数据转换为数据对象包括:
将超过预设数据长度的共享用户数据分解为多个连续的数据块,每个分解后的数据块的数据长度都小于预设的数据长度,记录分解后的数据块的文件名、数据块位移、数据块长度和数据块内容,将每一个分解后的数据块的文件名、 数据块位移、数据块长度和数据块内容组成一个数据对象;
对数据长度小于预设数据长度的共享用户数据不进行分解,直接转换为数据对象,此时,数据对象中的数据块位移为0,数据块长度为完整共享用户数据的长度,数据块内容为完整的共享用户数据内容。
14.如权利要求13所述的网络附加存储装置的数据恢复方法,其特征在于,若所述同步数据队列占用的缓存容量达到预设的阈值,则将后续的数据对象加入同步文件队列,并释放数据对象中的数据块内容;
若同步数据队列占用的缓存容量恢复到预设的阈值以下,且同步文件队列不为空,则根据所述释放掉数据块内容的数据对象中的文件名、数据块位移和数据块长度,从所述数据共享存储单元中读取数据块内容,恢复为完整的数据对象并添加到同步数据队列中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200810204752 CN101453489B (zh) | 2008-12-17 | 2008-12-17 | 一种网络附加存储装置及其数据备份和数据恢复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200810204752 CN101453489B (zh) | 2008-12-17 | 2008-12-17 | 一种网络附加存储装置及其数据备份和数据恢复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101453489A CN101453489A (zh) | 2009-06-10 |
CN101453489B true CN101453489B (zh) | 2012-12-19 |
Family
ID=40735509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200810204752 Expired - Fee Related CN101453489B (zh) | 2008-12-17 | 2008-12-17 | 一种网络附加存储装置及其数据备份和数据恢复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101453489B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102088361B (zh) * | 2009-12-02 | 2015-04-15 | 华为数字技术(成都)有限公司 | 数据备份设备、方法和*** |
CN101902498B (zh) * | 2010-07-02 | 2013-03-27 | 广州鼎甲计算机科技有限公司 | 一种基于网络技术的存储云备份方法 |
JP5150696B2 (ja) * | 2010-09-28 | 2013-02-20 | 株式会社バッファロー | 記憶処理装置及びフェイルオーバ制御方法 |
CN102469120A (zh) * | 2010-10-28 | 2012-05-23 | 智微科技股份有限公司 | 网络储存***以及网络储存方法 |
CN102325171B (zh) * | 2011-08-26 | 2014-06-25 | 杭州华三通信技术有限公司 | 一种监控***中数据的存储方法及其*** |
CN102521072B (zh) * | 2011-11-25 | 2013-09-11 | 华为数字技术(成都)有限公司 | 虚拟磁带库设备及数据恢复方法 |
CN102611745B (zh) * | 2011-12-31 | 2015-02-25 | 华为数字技术(成都)有限公司 | 文件在线迁移方法、装置和*** |
CN103312623B (zh) * | 2012-03-08 | 2016-08-17 | 百度在线网络技术(北京)有限公司 | 任务协作装置及方法 |
CN103618769A (zh) * | 2013-11-15 | 2014-03-05 | 华为技术有限公司 | 一种冗余配置的方法、***以及相关设备 |
CN105446830A (zh) * | 2015-11-09 | 2016-03-30 | 上海爱数信息技术股份有限公司 | 一种基于ndmp磁盘到磁盘复制技术的数据备份方法 |
CN106648963B (zh) * | 2016-10-11 | 2020-10-20 | 广东工业大学 | 一种恢复数据同步备份的方法及*** |
CN113015964B (zh) * | 2018-12-28 | 2024-05-03 | 华为技术有限公司 | 用于异步目录复制的方法、设备和*** |
CN113434344A (zh) * | 2021-07-22 | 2021-09-24 | 咪咕数字传媒有限公司 | 文件存储方法、装置、计算设备及计算机存储介质 |
CN115396386B (zh) * | 2022-08-09 | 2023-11-17 | 伟志股份公司 | 一种数据共享***、方法及其应用 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1815475A (zh) * | 2005-02-04 | 2006-08-09 | 国际商业机器公司 | 备份生成装置和恢复处理装置 |
-
2008
- 2008-12-17 CN CN 200810204752 patent/CN101453489B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1815475A (zh) * | 2005-02-04 | 2006-08-09 | 国际商业机器公司 | 备份生成装置和恢复处理装置 |
Also Published As
Publication number | Publication date |
---|---|
CN101453489A (zh) | 2009-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101453489B (zh) | 一种网络附加存储装置及其数据备份和数据恢复方法 | |
JP6522812B2 (ja) | 分散型データベースシステム用高速クラッシュ回復 | |
JP6538780B2 (ja) | 分散型データベースシステムのシステム全体のチェックポイント回避 | |
CN102955720B (zh) | 一种提高ext文件***稳定性的方法 | |
CA2906522C (en) | Log record management | |
CA2906547C (en) | In place snapshots | |
US8689047B2 (en) | Virtual disk replication using log files | |
US8712962B1 (en) | Snapshots in de-duplication | |
US8914595B1 (en) | Snapshots in deduplication | |
US8543609B1 (en) | Snapshots in deduplication | |
EP2948849B1 (en) | System and method for replicating data | |
EP2218006B1 (en) | Local flash memory and remote server hybrid continuous data protection | |
CN106407040A (zh) | 一种远程数据复制方法及*** | |
CN104077380B (zh) | 一种重复数据删除方法、装置及*** | |
US20070106712A1 (en) | Replication arbitration apparatus, method and program | |
US7979651B1 (en) | Method, system, and computer readable medium for asynchronously processing write operations for a data storage volume having a copy-on-write snapshot | |
CN101945131B (zh) | 一种基于存储虚拟化的数据迁移方法 | |
CN103516736A (zh) | 分布式缓存***的数据恢复方法及装置 | |
CN103095843A (zh) | 一种基于版本矢量的数据备份方法及客户端 | |
CN103455577A (zh) | 云主机镜像文件的多备份就近存储和读取方法及*** | |
CN110109778A (zh) | 一种大量小数据文件备份方法及恢复方法 | |
CN103118104A (zh) | 一种基于版本矢量的数据还原方法及服务器 | |
CN103023996A (zh) | 一种云数据存储*** | |
CN104583966A (zh) | 用于去重复文件***的备份和恢复***以及对应的服务器和方法 | |
CN102820998A (zh) | 实现面向办公应用的双机容错服务***及其数据存储方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C56 | Change in the name or address of the patentee | ||
CP03 | Change of name, title or address |
Address after: 201112, room 25, 204 Zhenkang Road, Cambridge, Shanghai, Pudong New Area Patentee after: SHANGHAI EISOO INFORMATION TECHNOLOGY CO., LTD. Address before: 201103, room 25, 204 Zhenkang Road, Cambridge, Shanghai, Pudong New Area Patentee before: Shanghai Eisoo Software Co.,Ltd. |
|
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121219 Termination date: 20191217 |
|
CF01 | Termination of patent right due to non-payment of annual fee |