CN105468733A - 一种基于源端数据重删的卷复制方法 - Google Patents
一种基于源端数据重删的卷复制方法 Download PDFInfo
- Publication number
- CN105468733A CN105468733A CN201510817190.0A CN201510817190A CN105468733A CN 105468733 A CN105468733 A CN 105468733A CN 201510817190 A CN201510817190 A CN 201510817190A CN 105468733 A CN105468733 A CN 105468733A
- Authority
- CN
- China
- Prior art keywords
- data block
- data
- metadata
- source
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000010076 replication Effects 0.000 title abstract description 9
- 230000008569 process Effects 0.000 claims description 16
- 230000009467 reduction Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 10
- 238000012545 processing Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
- G06F11/1453—Management of the data involved in backup or backup restore using de-duplication of the data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/128—Details of file system snapshots on the file-level, e.g. snapshot creation, administration, deletion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/184—Distributed file systems implemented as replicated file system
- G06F16/1844—Management specifically adapted to replicated file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Library & Information Science (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于源端数据重删的卷复制方法,所述卷复制方法包括以下步骤:S1,对源卷创建快照;S2,遍历所述快照,形成数据流,S3,对所述数据流进行重删处理;S4,发送经过重删处理的数据流;S5,接收所述数据流,对重删数据进行还原,并将所接收的全部数据写入存储到对应的位置上,再对其做快照。本发明能够减少复制网络中的数据传输量,提高远程复制整体的效率,节省***资源。
Description
技术领域
本发明涉及一种卷复制方法,特别是涉及一种基于源端数据重删的卷复制方法。
背景技术
当前,随着信息化技术的不断发展,人们需要保存的资料、数据越来越多,数据对人们的工作、生活也越来越重要。数据的保存和数据的安全也显得越来越重要了,出现了各种各样的数据备份技术和产品。如针对前端主机的数据备份,将主机上的数据拷贝到其他的存储介质上进行保存,以便将来当原有数据丢失时,能够再找回来。基于存储后端的备份技术。有对存储卷或者文件***做快照、创建克隆等本地的数据备份方式和将生成的快照备份到异地的存储介质上面的复制,异步远程镜像等技术。
通过快照技术实现卷复制过程中,卷中很多数据可能是相同的。在传输过程中,很多数据是相同的,或者有些文件只是修改了很少的部分,绝大多数是相同的。但在传输中,传输的是整个卷的数据。即使是一样的数据,也需要传输多次到目的端。而现有的卷复制一般用于异地数据保护,如两地三中心等这种场景,网络一般采用10/100Mb专线网络,相比本地的数据读写速度慢很多,网络就成为了整个***的瓶颈。如何在不增加网络带宽的情况下,提高卷复制的整体效率,成为该发明需要解决的首要问题。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种基于源端数据重删的卷复制方法,用于解决现有技术中卷复制整体效率低、复制网络中数据传输量大的问题。
为实现上述目的及其他相关目的,本发明提供一种基于源端数据重删的卷复制方法,其特征在于,所述卷复制方法包括以下步骤:S1,对源卷创建快照;S2,遍历所述快照,形成数据流,S3,对所述数据流进行重删处理;S4,发送经过重删处理的数据流;S5,接收所述数据流,对重删数据进行还原,并将所接收的全部数据写入存储到对应的位置上,再对其做快照。
于本发明的一实施例中,步骤S2中形成的数据流以文件***的数据块为最小单位,每个所述数据块的前部分为此数据块的元数据,后部分为此数据块的内容。
于本发明的一实施例中,所述元数据用于描述数据块的属性,至少包括所述数据块的标示符、所述数据块在数据对象中的偏移、所述数据块的位置。
于本发明的一实施例中,所述步骤S3包括如下步骤:S31,将每一个所述数据块与其他所述数据块进行比较,确定是否是重复数据块,若是,则执行步骤S32;否则,执行步骤S33;S32,在所述数据块的元数据中增加重复数据块的元数据信息,并仅将增加后的元数据***到所述数据流中;S33,将所述数据块***到所述数据流中。
于本发明的一实施例中,所述步骤S31具体包括如下步骤:S311,建立初始为空的指纹库;S312,遍历所述数据块,计算其指纹值;S313,逐一将所述数据块的指纹值与所述指纹库中的指纹值进行对比,判断所述指纹库中是否存在相同的指纹值,若是,则执行步骤S32;否则,将所述指纹值***到所述指纹库中以更新指纹库,并执行步骤S33。
于本发明的一实施例中,所述步骤S312中采用哈希算法sha-256计算数据块的指纹值。
于本发明的一实施例中,所述步骤S32中所增加的元数据信息至少包括重复数据块的唯一标示符、重复数据块在数据对象中的偏移、原数据块的位置。
于本发明的一实施例中,经过重删处理后的数据块形成重删数据块,所述重删数据块的元数据中包含两个位置信息,分别为原数据块的位置以及数据块写入的位置。
于本发明的一实施例中,步骤S5具体包括如下步骤:S51,接收所述数据流,并将其解析成多个数据块;S52,逐个读取所述数据块的元数据部分,确定是否为重删数据块,若为重删数据块则执行步骤S53;否则,执行步骤S54;S53,根据所述重删数据块的元数据中描述的原数据块的位置读取所述重删数据块的内容到内存中以对所述重删数据块进行还原,并将还原后的数据块写入存储到所述重删数据块的元数据中描述的数据块写入的位置中。S54,直接读取所述数据块的元数据后面的数据内容,并将所述数据块写入存储到所述数据块的元数据中描述的数据块写入的位置中;S55,对写入的全部数据做快照,将源端的指纹库销毁。
于本发明的一实施例中,所述步骤S53中,通过读取重删数据块的内容的接口将其内容读取到内存中。
如上所述,本发明的一种基于源端数据重删的卷复制方法,具有以下有益效果:
1、卷复制时,采用该重删技术可以显著降低网络数据的传输量,加快整个卷复制的效率,特别是在网络带宽受限的情况下;
2、不需要在源端和目标端保存大量的指纹库,占用大量的存储资源,也不需要在源端和目标端同步指纹库,占用额外的网络带宽;
3、支持单个任务级重删,减少指纹库的大小,使占用的内存数量计较少;
4、重删发生在网络传输上,不影响卷复制的源端和目标端,对源端和目标端的数据读写不会产生任何影响。
附图说明
图1显示为本发明的基于源端数据重删的卷复制方法流程图。
图2显示为本发明的卷复制数据流中数据块分布图。
图3显示为本发明的重删处理流程图。
图4显示为本发明的目标端数据处理流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
请参阅图1-图4,本发明提供一种基于源端数据重删的卷复制方法,本方法可用于异地数据保护中,提供一种在卷复制过程中,通过引入数据重删技术,达到在复制源端实现重复数据删除,进而减少复制网络中的数据传输量,提高远程复制整体的效率,节省***资源的目标。
如图1所示,为本发明的基于源端数据重删的卷复制方法流程图,包括如下步骤:S1,对源卷创建快照;S2,遍历所述快照,形成数据流,S3,对所述数据流进行重删处理;S4,发送经过重删处理的数据流;S5,接收所述数据流,对重删数据进行还原,并将所接收的全部数据写入存储到对应的位置上,再对其做快照。
于本实施例中,步骤S2中形成的数据流以文件***的数据块为最小单位,每个所述数据块的前部分为所述数据块的元数据,后部分为所述数据块的内容。元数据用于描述数据块的属性,包括数据块的标示符、数据块在数据对象中的偏移、数据块的位置、数据块大小、块数据效验码、是否压缩等。如图2所示,为卷复制数据流中数据块分布图,每个数据块前部分为metaData元数据信息,后面data为内容。
于本实施例中,S3包括如下步骤:S31,将每一个所述数据块与其他所述数据块进行比较,确定是否是重复数据块,若是则执行步骤S32;否则,执行步骤S33;S32,在所述数据块的元数据中增加重复数据块的元数据信息,并仅将增加后的元数据***到所述数据流中;S33,将所述数据块***到所述数据流中。如图3所示,为步骤S3的重删处理流程图,包括如下步骤:S311,建立初始为空的指纹库;S312,遍历所述数据块,计算其指纹值;S313,逐一将所述数据块的指纹值与所述指纹库中的指纹值进行对比,判断所述指纹库中是否存在相同的指纹值,若是,则执行步骤S32,即在所述数据块的元数据中增加重复数据块的元数据信息,并仅将增加后的元数据***到所述数据流中;否则将所述指纹值***到所述指纹库中以更新指纹库,并执行步骤S33,即将所述数据块***到所述数据流中。
对于步骤S32中所增加的元数据信息包括重复数据块的唯一标示符、重复数据块在数据对象中的偏移、原数据块的位置、重复数据块的对象标号等。
仅将增加了重复数据块的元数据信息的元数据***到数据流中后,经过如此重删处理后的数据块即为重删数据块,其所增加的重复数据块的元数据信息即为重删数据块的元数据信息。可将此信息用于重删数据块的判别中。
重删数据块的元数据结构主要字段如下:
uint64_tobject;该数据块所在对象编号
uint64_toffset;该数据块在数据对象中的偏移
uint64_ttoguid;该数据块的唯一标示符
uint64_trefguid;重删数据块的唯一标示符
uint64_trefobject;重删数据块的对象标号
uint64_trefoffset;重删数据块的在数据对象中的偏移
uint64_tchksum;指纹值
指纹库的数据结构主要字段如下:
uint64_tchksum;指纹值
uint64_tguid;该数据块的唯一标示符
uint64_tobject;该数据块所在对象编号
uint64_toffset该数据块在数据对象中的偏移
进行重删处理后的重删数据块,因为仅将增加后的元数据***到数据流中,所以数据流中的重删数据块仅包括元数据,而不包括数据块的内容。
元数据包含数据块写入的位置,而当确定为重复数据块后,再增加一个原数据块的位置,使得重复数据块具有两个位置信息,即原数据块的位置以及数据块写入的位置。增加原数据块的位置,是为了在后续目标端对重删数据进行还原时,根据此位置信息,读取其数据块的内容。
步骤S312中采用哈希算法sha-256计算数据块的指纹值,sha-256为一个强hash算法,它的哈希算法hash冲突率非常的低。
在复制任务开始时,建立一个空的指纹库,并计算数据流中的数据块的指纹值,逐一地按照顺序将其指纹值与指纹库中的指纹值进行比较,当然,第一个被比较的数据块只能跟空的指纹库进行比较,因为空的指纹库中不存在与此数据块相同的指纹值,其便不是重复块,将其整个数据块***数据流中,并将其指纹值***到指纹库中,以更新指纹库,供后续数据块进行比较,继续后续数据块的比较,若指纹库中存在与数据块相同的指纹值,则说明前面存在与此数据块重复的数据块,确定此数据块为重复块后,在此数据块的元数据中增加重复数据块的元数据信息,并仅将增加后的元数据***到所述数据流中。
如图4所示,为步骤S5的目标端数据处理流程图,步骤S5具体包括如下步骤:S51,接收所述数据流,并将其解析成多个数据块;S52,逐个读取所述数据块的元数据部分,确定是否为重删数据块,若是,则执行步骤S53;否则,执行步骤S54;S53,根据所述重删数据块的元数据中描述的原数据块的位置读取所述重删数据块的内容到内存中以对所述重删数据块进行还原,并将还原后的数据块写入存储到所述重删数据块的元数据中描述的数据块写入的位置中;S54,直接读取所述数据块的元数据后面的数据内容,并将所述数据块写入存储到所述数据块的元数据中描述的数据块写入的位置中;S55,对写入的全部数据做快照,将源端的指纹库销毁。
步骤S52中,在读取数据块的元数据后,通过元数据信息即可判断是否为重删数据块,这是由于在前述步骤中,对于确定为重复块的数据块增加了重复数据块的元数据信息,可通过增加的信息中的重删数据块的唯一标示符、重删数据块的在数据对象中的偏移等来确定是否为重删数据块。
步骤S53中,通过读取重删数据块的内容的接口将其内容读取到内存中。这里,目标端根据元数据中描述的原数据块的位置,调用由文件***提供的相应的接口,从而将该数据块的内容从目标端中读取出来。
复制完成后,指纹库就销毁掉,指纹库位于内存中,加快指纹查找的速度,不需要进行存盘,不占用存储的额外空间。只在运行时,需要占用源端存储的内存。如果文件***的数据块大小为128K,一条指纹值占用64个字节。复制2T的数据,理论上只需要1G的内存做指纹库。重删时,在单次任务数据量不是很大时,对源端内存的消耗不是很大。源端卷在没有卷复制任务时,也不需要额外去保存和维护指纹库,简化了源端存储的工作量。
由于卷复制采用的是快照技术,在卷复制过程中,目标端通过复制写入的数据块在复制任务运行过程中是不能修改和删除的,这样就确保了该任务之前写入的数据块,在后面有相同的数据块时,只需要传入位置信息,就可以把之前的数据读取出来,而不需要考虑之前写入的数据发生改变的问题。但卷复制任务结束后,目标端的卷都是可以进行读、写、修改、删除等任意操作的,不会受到该重删方案的任何影响。
采用该数据重删方法,可以跟其他数据处理手段共存,不影响其他处理方式,如数据压缩,数据加密等。
由此可见,在整个网络传输中,采用源端重删技术后,对于重复数据块,只需传输元数据,即可实现卷复制,很大程度上减少了复制网络中的数据传输量,提高了远程复制整体的效率,节省了***资源。
综上所述,在整个网络传输中,采用源端重删技术后,对于重复数据块,只需传输元数据,即可实现卷复制,很大程度上减少了复制网络中的数据传输量,提高了远程复制整体的效率,节省了***资源。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种基于源端数据重删的卷复制方法,其特征在于,所述卷复制方法包括以下步骤:
S1,对源卷创建快照;
S2,遍历所述快照,形成数据流,
S3,对所述数据流进行重删处理;
S4,发送经过重删处理的数据流;
S5,接收所述数据流,对重删数据进行还原,并将所接收的全部数据写入存储到对应的位置上,再对其做快照。
2.根据权利要求1所述的基于源端数据重删的卷复制方法,其特征在于:所述步骤S2中,形成的数据流以文件***的数据块为最小单位,每个所述数据块的前部分为所述数据块的元数据,后部分为所述数据块的内容。
3.根据权利要求2所述的基于源端数据重删的卷复制方法,其特征在于:所述元数据用于描述数据块的属性,至少包括所述数据块的标示符、所述数据块在数据对象中的偏移、所述数据块的位置。
4.根据权利要求3所述的基于源端数据重删的卷复制方法,其特征在于:所述步骤S3包括如下步骤:
S31,将每一个所述数据块与其他所述数据块进行比较,确定是否是重复数据块,若是,则执行步骤S32;否则,执行步骤S33;
S32,在所述数据块的元数据中增加重复数据块的元数据信息,并仅将增加后的元数据***到所述数据流中;
S33,将所述数据块***到所述数据流中。
5.根据权利要求4所述的基于源端数据重删的卷复制方法,其特征在于:所述步骤S31具体包括如下步骤:
S311,建立初始为空的指纹库;
S312,遍历所述数据块,计算其指纹值;
S313,逐一将所述数据块的指纹值与所述指纹库中的指纹值进行对比,判断所述指纹库中是否存在相同的指纹值,若是,则执行步骤S32;否则将所述指纹值***到所述指纹库中以更新指纹库,并执行步骤S33。
6.根据权利要求5所述的基于源端数据重删的卷复制方法,其特征在于:所述步骤S312中采用哈希算法sha-256计算数据块的指纹值。
7.根据权利要求4至6中任一项所述的基于源端数据重删的卷复制方法,其特征在于:所述步骤S32中所增加的元数据信息至少包括重复数据块的唯一标示符、重复数据块在数据对象中的偏移、原数据块的位置。
8.根据权利要求7所述的基于源端数据重删的卷复制方法,其特征在于:经过重删处理后的数据块形成重删数据块,所述重删数据块的元数据中包含两个位置信息,分别为原数据块的位置以及数据块写入的位置。
9.根据权利要求8所述的基于源端数据重删的卷复制方法,其特征在于:步骤S5具体包括如下步骤:
S51,接收所述数据流,并将其解析成多个数据块;
S52,逐个读取所述数据块的元数据部分,确定是否为重删数据块,若是,则执行步骤S53;否则,执行步骤S54;
S53,根据所述重删数据块的元数据中描述的原数据块的位置读取所述重删数据块的内容到内存中以对所述重删数据块进行还原,并将还原后的数据块写入存储到所述重删数据块的元数据中描述的数据块写入的位置中;
S54,直接读取所述数据块的元数据后面的数据内容,并将所述数据块写入存储到所述数据块的元数据中描述的数据块写入的位置中;
S55,对写入的全部数据做快照,将源端的指纹库销毁。
10.根据权利要求9所述的基于源端数据重删的卷复制方法,其特征在于:所述步骤S53中,通过读取所述重删数据块的内容的接口将其内容读取到内存中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510817190.0A CN105468733B (zh) | 2015-11-23 | 2015-11-23 | 一种基于源端数据重删的卷复制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510817190.0A CN105468733B (zh) | 2015-11-23 | 2015-11-23 | 一种基于源端数据重删的卷复制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105468733A true CN105468733A (zh) | 2016-04-06 |
CN105468733B CN105468733B (zh) | 2019-04-19 |
Family
ID=55606434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510817190.0A Active CN105468733B (zh) | 2015-11-23 | 2015-11-23 | 一种基于源端数据重删的卷复制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105468733B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106209840A (zh) * | 2016-07-12 | 2016-12-07 | ***股份有限公司 | 一种网络包去重方法及装置 |
CN108090355A (zh) * | 2017-11-28 | 2018-05-29 | 西安交通大学 | 一种apk自动触发工具 |
CN111125012A (zh) * | 2019-12-22 | 2020-05-08 | 浪潮(北京)电子信息产业有限公司 | 一种快照生成方法、装置、设备及可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102902762A (zh) * | 2012-09-25 | 2013-01-30 | 华为技术有限公司 | 一种删除重复数据的方法、装置和*** |
US20130262404A1 (en) * | 2012-03-30 | 2013-10-03 | Netapp, Inc. | Systems, Methods, And Computer Program Products For Scheduling Processing To Achieve Space Savings |
CN103365745A (zh) * | 2013-06-07 | 2013-10-23 | 上海爱数软件有限公司 | 一种基于内容地址存储的块级备份方法及*** |
CN103842972A (zh) * | 2011-09-28 | 2014-06-04 | 国际商业机器公司 | 基于性能要求自动选择功能以减少存储容量 |
CN103917960A (zh) * | 2011-08-19 | 2014-07-09 | 株式会社日立制作所 | 存储装置和副本数据检测方法 |
-
2015
- 2015-11-23 CN CN201510817190.0A patent/CN105468733B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103917960A (zh) * | 2011-08-19 | 2014-07-09 | 株式会社日立制作所 | 存储装置和副本数据检测方法 |
CN103842972A (zh) * | 2011-09-28 | 2014-06-04 | 国际商业机器公司 | 基于性能要求自动选择功能以减少存储容量 |
US20130262404A1 (en) * | 2012-03-30 | 2013-10-03 | Netapp, Inc. | Systems, Methods, And Computer Program Products For Scheduling Processing To Achieve Space Savings |
CN104272244A (zh) * | 2012-03-30 | 2015-01-07 | Netapp股份有限公司 | 用于对处理进行调度以实现空间节省的***、方法和计算机程序产品 |
CN102902762A (zh) * | 2012-09-25 | 2013-01-30 | 华为技术有限公司 | 一种删除重复数据的方法、装置和*** |
CN103365745A (zh) * | 2013-06-07 | 2013-10-23 | 上海爱数软件有限公司 | 一种基于内容地址存储的块级备份方法及*** |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106209840A (zh) * | 2016-07-12 | 2016-12-07 | ***股份有限公司 | 一种网络包去重方法及装置 |
CN108090355A (zh) * | 2017-11-28 | 2018-05-29 | 西安交通大学 | 一种apk自动触发工具 |
CN111125012A (zh) * | 2019-12-22 | 2020-05-08 | 浪潮(北京)电子信息产业有限公司 | 一种快照生成方法、装置、设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105468733B (zh) | 2019-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9928250B2 (en) | System and method for managing deduplication using checkpoints in a file storage system | |
US8719237B2 (en) | Method and apparatus for deleting duplicate data | |
US9400799B2 (en) | Data block migration | |
CN106201771B (zh) | 数据存储***和数据读写方法 | |
CN103095843B (zh) | 一种基于版本矢量的数据备份方法及客户端 | |
CN103020255B (zh) | 分级存储方法和装置 | |
CN103116615B (zh) | 一种基于版本矢量的数据索引方法及服务器 | |
CN105955970A (zh) | 一种基于日志解析的数据库复制方法及装置 | |
CN105404679B (zh) | 数据处理方法和装置 | |
US20110307456A1 (en) | Active file instant cloning | |
CN103118104B (zh) | 一种基于版本矢量的数据还原方法及服务器 | |
JP2012513069A (ja) | コンテンツアウェア・データ分割およびデータ重複排除のための方法ならびに装置 | |
CN103034684A (zh) | 一种基于内容寻址存储的虚拟机镜像存储优化方法 | |
CN110347651A (zh) | 基于云存储的数据同步方法、装置、设备及存储介质 | |
CN104111804A (zh) | 一种分布式文件*** | |
CN103914522A (zh) | 一种应用于云存储重复数据删除的数据块合并方法 | |
US11422727B2 (en) | Restoring a storage system using file relocation metadata | |
US20160203155A1 (en) | Storing Data Files in a File System | |
US20230394010A1 (en) | File system metadata deduplication | |
CN104572505A (zh) | 一种保证海量数据缓存最终一致性的***及方法 | |
US20220197861A1 (en) | System and method for reducing read amplification of archival storage using proactive consolidation | |
CN109451004A (zh) | 基于云网桥的云存储***及方法 | |
CN105468733A (zh) | 一种基于源端数据重删的卷复制方法 | |
US11275717B2 (en) | Web-scale distributed deduplication | |
CN107798063A (zh) | 快照处理方法和快照处理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A volume replication method based on source side data re deletion Effective date of registration: 20231115 Granted publication date: 20190419 Pledgee: Bank of Shanghai Limited by Share Ltd. Pudong branch Pledgor: SHANGHAI EISOO INFORMATION TECHNOLOGY Co.,Ltd. Registration number: Y2023310000743 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right |