CN107391774A - 基于重复数据删除的日志文件***的垃圾回收方法 - Google Patents
基于重复数据删除的日志文件***的垃圾回收方法 Download PDFInfo
- Publication number
- CN107391774A CN107391774A CN201710834662.2A CN201710834662A CN107391774A CN 107391774 A CN107391774 A CN 107391774A CN 201710834662 A CN201710834662 A CN 201710834662A CN 107391774 A CN107391774 A CN 107391774A
- Authority
- CN
- China
- Prior art keywords
- data
- data block
- over journey
- weak
- strong
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1847—File system types specifically adapted to static storage, e.g. adapted to flash memory or SSD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1748—De-duplication implemented within the file system, e.g. based on file segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
- G06F3/0641—De-duplication techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
基于重复数据删除的日志文件***的垃圾回收方法,涉及计算机数据存储方法。由初始化、并行的数据处理、垃圾回收和结束步骤。根据重复数据删除技术得到的数据块的引用值,将数据分为强数据和弱数据,然后在日志文件***进行垃圾回收时将强数据块和弱数据块分别迁移到不同的数据段中,从而实现强弱数据的分开存储。对于强数据段,段内数据块的失效率低,进行垃圾回收的次数就少,对于弱数据段,段内数据块的失效率高,进行垃圾回收时需要迁移的有效数据块就少。因此,这种基于重复数据删除的日志文件***的垃圾回收方法可以有效地减少日志文件***中垃圾回收时迁移数据块的次数,进而可以提高闪存存储***的性能和可靠性。
Description
技术领域
本发明涉及计算机数据存储方法,尤其是涉及一种基于重复数据删除的日志文件***的垃圾回收方法。
背景技术
近年来,随着闪存存储介质的快速发展,基于闪存的固态盘被广泛使用于企业级存储***及数据中心中。为了充分发挥闪存固态盘的高顺序写性能,基于闪存固态盘的存储***越来越多地采用日志文件***。
日志文件***在存储管理单位上主要分两个粒度:数据段和数据块。其中,数据块是读、写和删除操作的基本单位,数据段是垃圾回收操作的基本单位,一个数据段由多个数据块组成。日志文件***具有两个显著的特点:顺序写及异地更新。所谓顺序写是指在当前已分配的数据段中,所有写请求都是一个接一个顺序地往地址增长的数据块里写入内容;而所谓的异地更新是指更新数据块时,将原数据块的数据置为无效,将新数据写入到其他空闲数据块中。
由于闪存存储介质的异地更新特性,闪存存储介质需要擦除后才能再次存储数据,擦除的单位是闪存数据块(逻辑上对应日志文件***的一个数据段),一个闪存数据块包括多个闪存数据页(逻辑上对应日志文件***的一个数据块),在闪存固态盘内部进行垃圾回收操作时,需要先将选中要擦除的闪存数据块中的有效数据页迁移到空闲数据块中。同样地,由于日志文件***的异地更新特性,随着***运行时间的增长,***中的无效数据块会越来越多,而空闲数据块会越来越少。因此,需要回收***中的无效数据块使之成为空闲数据块,这一过程称为日志文件***的垃圾回收。虽然,日志文件***的垃圾回收操作不需要擦除数据段,但是为了保证数据段内顺序写的特性,日志文件***也需要先将选中做垃圾回收的数据段中的有效数据块迁移到空闲数据段中,然后回收整个数据段的存储空间。
虽然在日志文件***的垃圾回收过程中,数据迁移是在文件***的层次进行,然而该操作会反映到底层闪存设备上,因此日志文件***的数据迁移实际上会导致闪存内部的数据迁移,大大增加了闪存内部的数据迁移次数和垃圾回收时的擦除次数,对闪存的访问性能和寿命都会有很大的负面影响。因此,减少日志文件***的垃圾回收过程中迁移的数据块,可以提高闪存存储***的性能和可靠性。
另一方面,重复数据删除技术将文件分块,然后根据数据块计算的指纹值删除重复的数据块。因此,在重复数据删除存储***中,存储在设备上的数据块往往是唯一的、非重复数据块。其中,有些数据块可能被多个文件所共享,对于这样的数据块,若要使之失效,必须对所有共享它的文件进行操作。因此,我们认为同时被多个文件共享的数据块的失效概率低,在本发明中将其称为强数据;相对地,同时被较少文件共享的数据块的失效概率高,称为弱数据。
目前,已经有不少将重复数据删除技术实现到日志文件***的研究。
参考文献:
[1]Changman Lee,Dongho Sim,Joo-Young Hwang,and Sangyeun Cho.F2FS:ANew File System for Flash Storage.Proceedings of the 13th USENIX Conferenceon File and Storage Technologies(FAST’15).Santa Clara,CA,USA.February 16–19,2015.
发明内容
本发明的目的在于提供针对基于重复数据删除的日志文件***,减少日志文件***中垃圾回收时迁移数据块的次数,进而提高闪存存储***的性能和可靠性的基于重复数据删除的日志文件***的垃圾回收方法。
本发明包括以下步骤:
1)初始化步骤,包括以下过程:
(1)根据用户指令挂载日志文件***,初始化模块判断指纹索引表是否存在,若是,则转过程(2),否则转过程(4);
(2)从固态盘的超级块读取指纹索引表、强数据段指针及弱数据段指针到内存,转过程(3);
(3)从固态盘的超级块获取用来区分强数据和弱数据的引用值的阈值(当数据的引用值大于阈值时说明该数据为强数据,当数据的引用值小于阈值时说明该数据为弱数据),转并行的步骤2)和步骤3);
(4)在内存中创建指纹索引表、强数据段指针及弱数据段指针并初始化,转过程(5);
(5)设置用于区分强数据和弱数据的引用值的阈值,转并行的步骤2)和步骤3);
2)数据处理步骤,包括以下过程:
(1)等待上层用户请求操作,数据处理模块判断该操作是否为读操作,若是,则转过程(2),否则判断该操作是否为写操作,若是,则转过程(3),否则表示该操作为删除操作,转过程(6);
(2)根据用户指令中待读取数据块的地址,从固态盘上读取数据块返回上层用户,转过程(1);
(3)计算待写入数据块的指纹值,在指纹索引表中查找是否存在相同的指纹值,若是,则表示该数据块为重复的数据块,转过程(4),否则表示该数据块为非重复的数据块,转过程(5);
(4)将该数据块的引用值加1,转过程(9);
(5)分配新的空闲数据块存储该数据块,在指纹索引表中添加对应的指纹表项,并置该数据块的引用值为1,转过程(9);
(6)根据待删除数据块的地址查找指纹索引表,判断该数据块的引用值是否大于1,若是,则转过程(7),否则转过程(8);
(7)将该数据块的引用值减1,转过程(9);
(8)将指索引表中该数据块对应的表项置空,将该数据块标志为无效数据块,转过程(9);
(9)更新日志文件***的元数据,转过程(1);
3)垃圾回收步骤,包括以下过程:
(1)垃圾回收控制模块根据日志文件***状态或用户请求,判断日志文件***是否需要进行垃圾回收,若是,则转过程(2),否则转过程(1);
(2)选择需要进行垃圾回收的数据段;
(3)判断该数据段是否包含需要迁移的有效数据块,若是,则转过程(4),否则转过程(13);
(4)读取该数据段内的一个有效数据块及其对应的元数据,转过程(5);
(5)根据数据地址查找该数据块对应的指纹表项,判断该数据块的引用值是否大于阈值,若是,则转过程(6),否则转过程(9);
(6)判断当前强数据段是否有空闲的数据块,若是,则转过程(7),否则转过程(8);
(7)将该数据块写入到当前强数据段中,转过程(12);
(8)挑选一个空闲段作为新的强数据段,将该数据块写入到该强数据段中,转过程(12);
(9)判断当前弱数据段是否有空闲的数据块,若是,则转过程(10),否则转过程(11);
(10)将该数据块写入到当前弱数据段中,转过程(12);
(11)挑选一个空闲段作为新的弱数据段,将该数据块写入到该弱数据段中,转过程(12);
(12)将该数据块置为无效并更新对应的元数据,转过程(3);
(13)擦除当前进行垃圾回收的数据段,更新日志文件***的元数据,转过程(1);
4)结束步骤,当用户发出卸载文件***指令时,顺序进行以下过程:
(1)结束模块将指纹索引表、强数据段指针、弱数据段指针及区分强数据和弱数据的引用值的阈值写回固态盘的超级块中;
(2)卸载文件***,释放相关资源。
所述指纹索引表可包括M条索引信息,每条索引信息由3个数据项构成:指纹值、数据块地址和引用值,M为大于等于0的自然数。
本发明由初始化步骤、并行的数据处理步骤、垃圾回收步骤、结束步骤组成,***主要包括初始化模块、数据处理模块和垃圾回收模块。
本发明根据重复数据删除技术得到的数据块的引用值,将数据分为强数据和弱数据,然后在日志文件***进行垃圾回收时将强数据块和弱数据块分别迁移到不同的数据段中,从而实现强弱数据的分开存储。对于强数据段,段内数据块的失效率低,进行垃圾回收的次数就少,对于弱数据段,段内数据块的失效率高,进行垃圾回收时需要迁移的有效数据块就少。因此,这种基于重复数据删除的日志文件***的垃圾回收方法可以有效地减少日志文件***中垃圾回收时迁移数据块的次数,进而可以提高闪存存储***的性能和可靠性。
附图说明
图1为本发明实施例的各步骤关系示意图;
图2为指纹索引表中一条表项的示意图;
图3为本发明的初始化步骤过程示意图;
图4为本发明的数据处理步骤过程示意图;
图5为本发明的垃圾回收步骤过程示意图;
图6为本发明的结束步骤过程示意图。
具体实施方式
下面结合附图对本发明进一步详细说明。
图1为本发明各步骤关系示意图,初始化步骤完成后,进入并行的数据处理步骤和垃圾回收步骤,当用户发出卸载文件***指令时,进入结束步骤。
图2为指纹索引表中一条表项的示意图,指纹索引表中,每条表项由3个数据项构成:数据块的指纹值、数据块地址和引用值。
图3为本发明的初始化步骤过程示意图,进行下述操作:
根据用户指令挂载日志文件***,初始化模块判断指纹索引表是否存在,若是,则从固态盘的超级块读取指纹索引表、强数据段指针及弱数据段指针到内存,并从固态盘的超级块获取用来区分强数据和弱数据的引用值的阈值(当数据的引用值大于阈值时说明该数据为强数据,当数据的引用值小于阈值时说明该数据为弱数据);否则在内存中创建指纹索引表、强数据段指针及弱数据段指针,并设置用来区分强数据和弱数据的引用值的阈值。
图4为本发明的数据处理阶段过程示意图,进行下述步骤:
数据处理模块等待上层用户请求操作,判断该操作是否为读操作,若是,则根据用户指令中待读取数据块的地址,从固态盘上读取数据块返回上层用户;否则判断该操作是否为写操作,若是,则计算待写入数据块的指纹值,在指纹索引表中查找是否存在相同的指纹值,若是,则表示该数据块为重复的数据块,将该数据块的引用值加1,更新日志文件***的元数据,否则表示该数据块为非重复的数据块,分配新的空闲数据块存储该数据块,在指纹索引表中添加对应的指纹表项,并置该数据块的引用值为1,更新日志文件***的元数据;否则表示该操作为删除操作,根据待删除数据块的地址查找指纹索引表,判断该数据块的引用值是否大于1,若是,则将该数据块的引用值减1,更新日志文件***的元数据,否则将指索引表中该数据块对应的表项置空,将该数据块标志为无效数据块,更新日志文件***的元数据。
图5为本发明的垃圾回收步骤过程示意图,进行下述操作:
垃圾回收控制模块根据日志文件***状态或用户请求,判断日志文件***是否需要进行垃圾回收,若日志文件***不需要进行垃圾回收,则重新检测日志文件***状态或用户请求,判断日志文件***是否需要进行垃圾回收;否则选择需要进行垃圾回收的数据段,判断该数据段是否包含需要迁移的有效数据块,若该数据段不包含需要迁移的有效数据块,则擦除当前进行垃圾回收的数据段,更新日志文件***的元数据;否则读取该数据段内的一个有效数据块及其对应的元数据,判断该数据块对应指纹表项的引用值是否大于阈值,若该数据块对应指纹表项的引用值大于阈值,则判断当前强数据段是否有空闲的数据块,若是,则将该数据块写入到当前强数据段中,将该数据块置为无效并更新对应的元数据,否则挑选一个空闲段作为新的强数据段,将该数据块写入到该强数据段中,将该数据块置为无效并更新对应的元数据;若该数据块对应指纹表项的引用值不大于阈值,则判断当前弱数据段是否有空闲的数据块,若是,则将该数据块写入到当前弱数据段中,将该数据块置为无效并更新对应的元数据,否则挑选一个空闲段作为新的弱数据段,将该数据块写入到该弱数据段中,将该数据块置为无效并更新对应的元数据。
图6为本发明的结束步骤过程示意图,进行下述操作:
结束模块将指纹索引表、强数据段指针、弱数据段指针及区分强数据和弱数据的引用值的阈值写回固态盘的超级块中,然后卸载文件***,释放相关资源。
本发明充分利用重复数据删除技术的数据块引用特性来减少日志文件***中垃圾回收时迁移数据块的次数,进而可以提高闪存存储***的性能和可靠性。本发明由初始化步骤、并行的数据处理步骤、垃圾回收步骤、结束步骤组成。***主要包括初始化模块、数据处理模块和垃圾回收模块。根据重复数据删除技术得到的数据块的引用值,将数据块区分为强数据和弱数据,然后在日志文件***进行垃圾回收时将强数据块和弱数据块分别迁移到不同的数据段中,从而实现强弱数据的分离存储。对于强数据段,段内数据块的失效率低,进行垃圾回收的次数就少,而对于弱数据段,段内数据块的失效率高,进行垃圾回收时需要迁移的有效数据块就少。
Claims (2)
1.基于重复数据删除的日志文件***的垃圾回收方法,其特征在于包括以下步骤:
1)初始化步骤,包括以下过程:
(1)根据用户指令挂载日志文件***,初始化模块判断指纹索引表是否存在,若是,则转过程(2),否则转过程(4);
(2)从固态盘的超级块读取指纹索引表、强数据段指针及弱数据段指针到内存,转过程(3);
(3)从固态盘的超级块获取用来区分强数据和弱数据的引用值的阈值(当数据的引用值大于阈值时说明该数据为强数据,当数据的引用值小于阈值时说明该数据为弱数据),转并行的步骤2)和步骤3);
(4)在内存中创建指纹索引表、强数据段指针及弱数据段指针并初始化,转过程(5);
(5)设置用于区分强数据和弱数据的引用值的阈值,转并行的步骤2)和步骤3);
2)数据处理步骤,包括以下过程:
(1)等待上层用户请求操作,数据处理模块判断该操作是否为读操作,若是,则转过程(2),否则判断该操作是否为写操作,若是,则转过程(3),否则表示该操作为删除操作,转过程(6);
(2)根据用户指令中待读取数据块的地址,从固态盘上读取数据块返回上层用户,转过程(1);
(3)计算待写入数据块的指纹值,在指纹索引表中查找是否存在相同的指纹值,若是,则表示该数据块为重复的数据块,转过程(4),否则表示该数据块为非重复的数据块,转过程(5);
(4)将该数据块的引用值加1,转过程(9);
(5)分配新的空闲数据块存储该数据块,在指纹索引表中添加对应的指纹表项,并置该数据块的引用值为1,转过程(9);
(6)根据待删除数据块的地址查找指纹索引表,判断该数据块的引用值是否大于1,若是,则转过程(7),否则转过程(8);
(7)将该数据块的引用值减1,转过程(9);
(8)将指索引表中该数据块对应的表项置空,将该数据块标志为无效数据块,转过程(9);
(9)更新日志文件***的元数据,转过程(1);
3)垃圾回收步骤,包括以下过程:
(1)垃圾回收控制模块根据日志文件***状态或用户请求,判断日志文件***是否需要进行垃圾回收,若是,则转过程(2),否则转过程(1);
(2)选择需要进行垃圾回收的数据段;
(3)判断该数据段是否包含需要迁移的有效数据块,若是,则转过程(4),否则转过程(13);
(4)读取该数据段内的一个有效数据块及其对应的元数据,转过程(5);
(5)根据数据地址查找该数据块对应的指纹表项,判断该数据块的引用值是否大于阈值,若是,则转过程(6),否则转过程(9);
(6)判断当前强数据段是否有空闲的数据块,若是,则转过程(7),否则转过程(8);
(7)将该数据块写入到当前强数据段中,转过程(12);
(8)挑选一个空闲段作为新的强数据段,将该数据块写入到该强数据段中,转过程(12);
(9)判断当前弱数据段是否有空闲的数据块,若是,则转过程(10),否则转过程(11);
(10)将该数据块写入到当前弱数据段中,转过程(12);
(11)挑选一个空闲段作为新的弱数据段,将该数据块写入到该弱数据段中,转过程(12);
(12)将该数据块置为无效并更新对应的元数据,转过程(3);
(13)擦除当前进行垃圾回收的数据段,更新日志文件***的元数据,转过程(1);
4)结束步骤,当用户发出卸载文件***指令时,顺序进行以下过程:
(1)结束模块将指纹索引表、强数据段指针、弱数据段指针及区分强数据和弱数据的引用值的阈值写回固态盘的超级块中;
(2)卸载文件***,释放相关资源。
2.如权利要求1所述基于重复数据删除的日志文件***的垃圾回收方法,其特征在于所述指纹索引表包括M条索引信息,每条索引信息由3个数据项构成:指纹值、数据块地址和引用值,M为大于等于0的自然数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710834662.2A CN107391774B (zh) | 2017-09-15 | 2017-09-15 | 基于重复数据删除的日志文件***的垃圾回收方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710834662.2A CN107391774B (zh) | 2017-09-15 | 2017-09-15 | 基于重复数据删除的日志文件***的垃圾回收方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107391774A true CN107391774A (zh) | 2017-11-24 |
CN107391774B CN107391774B (zh) | 2019-11-19 |
Family
ID=60350120
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710834662.2A Active CN107391774B (zh) | 2017-09-15 | 2017-09-15 | 基于重复数据删除的日志文件***的垃圾回收方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107391774B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108052644A (zh) * | 2017-12-22 | 2018-05-18 | 深圳大普微电子科技有限公司 | 数据模式日志文件***的数据写入方法及*** |
CN108090168A (zh) * | 2017-12-14 | 2018-05-29 | 厦门市美亚柏科信息股份有限公司 | 一种通用f2fs文件***解析方法、终端设备及存储介质 |
CN109445681A (zh) * | 2018-08-27 | 2019-03-08 | 华为技术有限公司 | 数据的存储方法、装置和存储*** |
CN110851398A (zh) * | 2018-08-20 | 2020-02-28 | 阿里巴巴集团控股有限公司 | 垃圾数据的回收处理方法、装置及电子设备 |
CN110908966A (zh) * | 2019-11-15 | 2020-03-24 | 浪潮电子信息产业股份有限公司 | 一种重删率计算方法、装置、设备及可读存储介质 |
WO2021018052A1 (zh) * | 2019-07-31 | 2021-02-04 | 华为技术有限公司 | 一种垃圾回收方法及装置 |
CN112783656A (zh) * | 2021-01-29 | 2021-05-11 | 网易(杭州)网络有限公司 | 内存管理方法、介质、装置和计算设备 |
CN114780489A (zh) * | 2022-06-17 | 2022-07-22 | 苏州思萃工业互联网技术研究所有限公司 | 一种实现分布式块存储底层gc的方法及装置 |
CN114942908A (zh) * | 2022-07-19 | 2022-08-26 | 阿里巴巴(中国)有限公司 | 索引***、数据处理方法、电子设备及介质 |
TWI808011B (zh) * | 2022-09-26 | 2023-07-01 | 慧榮科技股份有限公司 | 資料處理方法及對應之資料儲存裝置 |
CN117435135A (zh) * | 2023-10-27 | 2024-01-23 | 广州鼎甲计算机科技有限公司 | 关于重复数据删除的存储空间回收的方法、装置和*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102508788A (zh) * | 2011-09-28 | 2012-06-20 | 成都市华为赛门铁克科技有限公司 | Ssd及ssd垃圾回收方法和装置 |
CN102799535A (zh) * | 2012-06-29 | 2012-11-28 | 记忆科技(深圳)有限公司 | 固态硬盘的数据处理方法及固态硬盘 |
CN103412826A (zh) * | 2013-07-18 | 2013-11-27 | 记忆科技(深圳)有限公司 | 固态硬盘的垃圾回收方法及*** |
CN103530237A (zh) * | 2013-10-31 | 2014-01-22 | 厦门大学 | 一种固态盘阵列的垃圾回收方法 |
CN104933153A (zh) * | 2015-06-24 | 2015-09-23 | 华中科技大学 | 一种基于协作的固态盘存储***性能提高方法 |
-
2017
- 2017-09-15 CN CN201710834662.2A patent/CN107391774B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102508788A (zh) * | 2011-09-28 | 2012-06-20 | 成都市华为赛门铁克科技有限公司 | Ssd及ssd垃圾回收方法和装置 |
CN102799535A (zh) * | 2012-06-29 | 2012-11-28 | 记忆科技(深圳)有限公司 | 固态硬盘的数据处理方法及固态硬盘 |
CN103412826A (zh) * | 2013-07-18 | 2013-11-27 | 记忆科技(深圳)有限公司 | 固态硬盘的垃圾回收方法及*** |
CN103530237A (zh) * | 2013-10-31 | 2014-01-22 | 厦门大学 | 一种固态盘阵列的垃圾回收方法 |
CN104933153A (zh) * | 2015-06-24 | 2015-09-23 | 华中科技大学 | 一种基于协作的固态盘存储***性能提高方法 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108090168A (zh) * | 2017-12-14 | 2018-05-29 | 厦门市美亚柏科信息股份有限公司 | 一种通用f2fs文件***解析方法、终端设备及存储介质 |
CN108090168B (zh) * | 2017-12-14 | 2021-01-12 | 厦门市美亚柏科信息股份有限公司 | 一种通用f2fs文件***解析方法、终端设备及存储介质 |
CN108052644A (zh) * | 2017-12-22 | 2018-05-18 | 深圳大普微电子科技有限公司 | 数据模式日志文件***的数据写入方法及*** |
CN110851398A (zh) * | 2018-08-20 | 2020-02-28 | 阿里巴巴集团控股有限公司 | 垃圾数据的回收处理方法、装置及电子设备 |
CN110851398B (zh) * | 2018-08-20 | 2023-05-09 | 阿里巴巴集团控股有限公司 | 垃圾数据的回收处理方法、装置及电子设备 |
CN109445681A (zh) * | 2018-08-27 | 2019-03-08 | 华为技术有限公司 | 数据的存储方法、装置和存储*** |
US12008263B2 (en) | 2018-08-27 | 2024-06-11 | Huawei Technologies Co., Ltd. | Garbage collection and data storage method and apparatus, and storage system |
WO2021018052A1 (zh) * | 2019-07-31 | 2021-02-04 | 华为技术有限公司 | 一种垃圾回收方法及装置 |
CN110908966B (zh) * | 2019-11-15 | 2022-06-10 | 浪潮电子信息产业股份有限公司 | 一种重删率计算方法、装置、设备及可读存储介质 |
CN110908966A (zh) * | 2019-11-15 | 2020-03-24 | 浪潮电子信息产业股份有限公司 | 一种重删率计算方法、装置、设备及可读存储介质 |
CN112783656A (zh) * | 2021-01-29 | 2021-05-11 | 网易(杭州)网络有限公司 | 内存管理方法、介质、装置和计算设备 |
CN112783656B (zh) * | 2021-01-29 | 2024-04-30 | 杭州网易智企科技有限公司 | 内存管理方法、介质、装置和计算设备 |
CN114780489A (zh) * | 2022-06-17 | 2022-07-22 | 苏州思萃工业互联网技术研究所有限公司 | 一种实现分布式块存储底层gc的方法及装置 |
CN114942908A (zh) * | 2022-07-19 | 2022-08-26 | 阿里巴巴(中国)有限公司 | 索引***、数据处理方法、电子设备及介质 |
TWI808011B (zh) * | 2022-09-26 | 2023-07-01 | 慧榮科技股份有限公司 | 資料處理方法及對應之資料儲存裝置 |
CN117435135A (zh) * | 2023-10-27 | 2024-01-23 | 广州鼎甲计算机科技有限公司 | 关于重复数据删除的存储空间回收的方法、装置和*** |
CN117435135B (zh) * | 2023-10-27 | 2024-04-02 | 广州鼎甲计算机科技有限公司 | 关于重复数据删除的存储空间回收的方法、装置和*** |
Also Published As
Publication number | Publication date |
---|---|
CN107391774B (zh) | 2019-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107391774B (zh) | 基于重复数据删除的日志文件***的垃圾回收方法 | |
US11301379B2 (en) | Access request processing method and apparatus, and computer device | |
CN104978151B (zh) | 基于应用感知的重复数据删除存储***中的数据重构方法 | |
US10402091B1 (en) | Managing data in log-structured storage systems | |
KR100843543B1 (ko) | 플래시 메모리 장치를 포함하는 시스템 및 그것의 데이터복구 방법 | |
CN102511044B (zh) | 一种数据删除方法及装置 | |
CN108733306B (zh) | 一种文件合并方法及装置 | |
KR100484147B1 (ko) | 플래시 메모리 관리 방법 | |
CN106502587B (zh) | 硬盘数据管理方法和硬盘控制装置 | |
KR102050723B1 (ko) | 컴퓨팅 시스템 및 그 데이터 관리 방법 | |
CN102567427B (zh) | 一种对象数据处理方法及装置 | |
CN110018989B (zh) | 一种快照比对的方法和装置 | |
CN105868122A (zh) | 快闪存储设备的数据处理方法及装置 | |
CN109671458A (zh) | 管理闪存模块的方法及相关的闪存控制器 | |
KR20120090965A (ko) | 고체-상태 저장 디바이스 상에서 데이터를 캐싱하는 장치, 시스템, 및 방법 | |
CN108628542B (zh) | 一种文件合并方法及控制器 | |
CN102929884A (zh) | 一种收缩虚拟磁盘镜像文件的方法及装置 | |
CN102591790B (zh) | 基于固态硬盘的数据存储快照实现方法及固态硬盘 | |
CN110945486B (zh) | 一种存储碎片管理方法及终端 | |
CN108604165A (zh) | 存储装置 | |
CN113568582B (zh) | 数据管理方法、装置和存储设备 | |
US20170160940A1 (en) | Data processing method and apparatus of solid state disk | |
CN105917303A (zh) | 一种控制器、识别数据块稳定性的方法和存储*** | |
CN101154447B (zh) | 一种闪存控制方法及闪存 | |
WO2017143972A1 (zh) | 数据处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |