CN116700634A - 分布式存储***垃圾回收方法、装置及分布式存储*** - Google Patents
分布式存储***垃圾回收方法、装置及分布式存储*** Download PDFInfo
- Publication number
- CN116700634A CN116700634A CN202310988513.7A CN202310988513A CN116700634A CN 116700634 A CN116700634 A CN 116700634A CN 202310988513 A CN202310988513 A CN 202310988513A CN 116700634 A CN116700634 A CN 116700634A
- Authority
- CN
- China
- Prior art keywords
- storage system
- distributed storage
- garbage collection
- determining
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 119
- 238000004064 recycling Methods 0.000 title claims description 25
- 230000008569 process Effects 0.000 claims description 58
- 238000005457 optimization Methods 0.000 claims description 14
- 238000011084 recovery Methods 0.000 claims description 9
- 230000005059 dormancy Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 10
- 230000004622 sleep time Effects 0.000 description 7
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
- G06F12/023—Free address space management
- G06F12/0253—Garbage collection, i.e. reclamation of unreferenced memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种分布式存储***垃圾回收方法、装置及分布式存储***，该方法包括：获取分布式存储***的历史运行数据；根据历史运行数据，确定分布式存储***的性能指标及当前业务压力；根据性能指标与当前业务压力之间的大小关系，确定目标垃圾回收策略；按照目标垃圾回收策略，确定分布式存储***的目标垃圾回收参数，以基于目标垃圾回收参数对分布式存储***进行垃圾回收。上述方案提供的方法，通过综合考虑分布式存储***的性能指标及当前业务压力，设定目标垃圾回收参数，以避免出现垃圾回收影响分布式存储***对业务的正常处理，从而提高了分布式存储***的稳定性。
Description
技术领域
本申请涉及分布式存储技术领域，尤其涉及一种分布式存储***垃圾回收方法、装置及分布式存储***。
背景技术
目前，随着信息技术的快速发展，大量数据需要被存储，分布式文件存储***作为一种可靠的解决方案得到了快速发展。分布式存储***在数据存储的过程中，常常会产生垃圾数据，因此如何回收这些垃圾数据成为了重点研究内容。
在现有技术中，通常是根据分布式存储***的当前数据占用程度的高低，配置垃圾回收速率。
但是，若在分布式存储***的业务负荷较高的情况下，采用较大的垃圾回收速率回收垃圾，将影响分布式存储***对业务的处理，降低了分布式存储***的稳定性。
发明内容
本申请提供一种分布式存储***垃圾回收方法、装置及分布式存储***，以解决现有技术降低了分布式存储***的稳定性等缺陷。
本申请第一个方面提供一种分布式存储***垃圾回收方法，包括：
获取分布式存储***的历史运行数据；
根据所述历史运行数据，确定所述分布式存储***的性能指标及当前业务压力；
根据所述性能指标与当前业务压力之间的大小关系，确定目标垃圾回收策略；
按照所述目标垃圾回收策略，确定所述分布式存储***的目标垃圾回收参数，以基于所述目标垃圾回收参数对所述分布式存储***进行垃圾回收。
在一种可选的实施方式中，所述根据所述历史运行数据，确定所述分布式存储***的性能指标，包括：
根据所述历史运行数据，确定所述分布式存储***的读写IOPS和读写带宽；
根据所述分布式存储***的读写IOPS和读写带宽，确定所述分布式存储***的性能指标。
在一种可选的实施方式中，所述根据所述分布式存储***的读写IOPS和读写带宽，确定所述分布式存储***的性能指标，包括：
按照第一预设粒度，根据所述分布式存储***的读写IOPS和读写带宽，确定所述分布式存储***的性能统计结果；
根据所述分布式存储***的性能统计结果，确定所述分布式存储***的性能指标。
在一种可选的实施方式中，所述按照第一预设粒度，根据所述分布式存储***的读写IOPS和读写带宽，确定所述分布式存储***的性能统计结果，包括：
按照第一预设粒度，根据所述分布式存储***的读写IOPS和读写带宽，确定所述分布式存储***在所述第一预设粒度内的平均读写IOPS和平均读写带宽；
根据所述分布式存储***在所述第一预设粒度内的平均读写IOPS和平均读写带宽，确定所述分布式存储***的性能统计结果。
在一种可选的实施方式中，所述根据所述分布式存储***的性能统计结果，确定所述分布式存储***的性能指标，包括：
根据第一预设粒度和第二预设粒度之间的比值，确定所述性能统计结果的第一汇总数量；
按照所述性能统计结果的第一汇总数量，获取最近且连续的性能统计结果作为第一目标集合；
根据所述第一目标集合，确定所述分布式存储***在所述第二预设粒度内的平均读写IOPS和平均读写带宽；
根据所述分布式存储***在所述第二预设粒度内的平均读写IOPS和平均读写带宽，确定所述分布式存储***的性能指标；
其中，所述第二预设粒度大于所述第一预设粒度。
在一种可选的实施方式中，所根据所述分布式存储***在所述第二预设粒度内的平均读写IOPS和平均读写带宽，确定所述分布式存储***的性能指标，包括：
根据所述分布式存储***在所述第二预设粒度内的平均读写IOPS和平均读写带宽，确定所述分布式存储***的最近性能指标；
根据所述分布式存储***的最近性能指标和历史性能指标，确定所述分布式存储***的最大性能指标；
将所述分布式存储***的最大性能指标作为所述分布式存储***的性能指标。
在一种可选的实施方式中，所述根据所述历史运行数据，确定所述分布式存储***的当前业务压力，包括：
根据第一预设粒度和第三预设粒度之间的比值，确定所述性能统计结果的第二汇总数量；
按照所述性能统计结果的第二汇总数量，获取最近且连续的性能统计结果作为第二目标集合；
根据所述第二目标集合，确定所述分布式存储***在所述第三预设粒度内的平均读写IOPS和平均读写带宽；
根据所述分布式存储***在所述第三预设粒度内的平均读写IOPS和平均读写带宽，确定所述分布式存储***的当前业务压力；
其中，所述第三预设粒度大于所述第一预设粒度且小于所述第二预设粒度。
在一种可选的实施方式中，所述根据所述性能指标与当前业务压力之间的大小关系，确定目标垃圾回收策略，包括：
根据所述性能指标与当前业务压力之间的大小关系，确定所述分布式存储***的当前垃圾回收等级；
按照所述分布式存储***的当前垃圾回收等级，确定所述目标垃圾回收策略。
在一种可选的实施方式中，所述根据所述性能指标与当前业务压力之间的大小关系，确定所述分布式存储***的当前垃圾回收等级，包括：
按照预设比例，确定性能指标对应的性能比较值；
当所述性能比较值小于所述当前业务压力时，确定所述分布式存储***的当前垃圾回收等级为最低级别。
在一种可选的实施方式中，所述方法还包括：
当所述性能比较值不小于所述当前业务压力时，确定所述分布式存储***的当前垃圾回收等级为一般级别。
在一种可选的实施方式中，所述按照所述分布式存储***的当前垃圾回收等级，确定所述目标垃圾回收策略，包括：
当所述分布式存储***的当前垃圾回收等级为最低级别时，将无效数据占用比达到预设阈值的对象，确定为待回收对象；
其中，所述目标垃圾回收策略包括待回收对象。
在一种可选的实施方式中，所述按照所述分布式存储***的当前垃圾回收等级，确定所述目标垃圾回收策略，包括：
当所述分布式存储***的当前垃圾回收等级为一般级别时，根据所述性能比较值与所述当前业务压力之间的差值，确定垃圾收回的预期读写IOPS和带宽限制值；
其中，所述目标垃圾回收策略包括垃圾收回的预期读写IOPS和带宽限制值。
在一种可选的实施方式中，所述按照所述目标垃圾回收策略，确定所述分布式存储***的目标垃圾回收参数，包括：
根据所述目标垃圾回收策略表征的带宽限制值，确定所述分布式存储***的垃圾回收进程的目标写带宽和目标读带宽；
其中，所述目标垃圾回收参数至少包括所述垃圾回收进程的目标写带宽和目标读带宽。
在一种可选的实施方式中，所述方法还包括：
获取所述垃圾回收进程的有效数据量；
根据所述垃圾回收进程的目标写带宽和所述有效数据量，确定所述垃圾回收进程的休眠时间；
其中，所述目标垃圾回收参数至少包括所述垃圾回收进程的休眠时间。
在一种可选的实施方式中，还包括：
获取所述分布式存储***的存储池容量占用比；
在所述存储池容量占用比达到预设占用比阈值的情况下，若所述垃圾回收进程的实际垃圾回收速率小于当前实际业务压力，根据所述分布式存储***的性能指标，确定所述垃圾回收进程的参数优化策略。
在一种可选的实施方式中，所述根据所述分布式存储***的性能指标，确定所述垃圾回收进程的参数优化策略，包括：
按照预设参数优化比例，根据所述分布式存储***的性能指标，重新确定垃圾收回的预期读写IOPS和带宽限制值，以得到优化读写IOPS和优化带宽限制值；
根据所述优化读写IOPS和优化带宽限制值，确定所述垃圾回收进程的参数优化策略。
本申请第二个方面提供一种分布式存储***垃圾回收装置，包括：
获取模块，用于获取分布式存储***的历史运行数据；
确定模块，用于根据所述历史运行数据，确定所述分布式存储***的性能指标及当前业务压力；
策略制定模块，用于根据所述性能指标与当前业务压力之间的大小关系，确定目标垃圾回收策略；
回收模块，用于按照所述目标垃圾回收策略，确定所述分布式存储***的目标垃圾回收参数，以基于所述目标垃圾回收参数对所述分布式存储***进行垃圾回收。
本申请第三个方面提供一种分布式存储***，包括：若干个存储节点；
所述存储节点采用如上第一个方面以及第一个方面各种可能的设计所述的方法进行垃圾回收。
本申请第四个方面提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一个方面以及第一个方面各种可能的设计所述的方法。
本申请第五个方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一个方面以及第一个方面各种可能的设计所述的方法。
本申请技术方案，具有如下优点：
本申请提供一种分布式存储***垃圾回收方法、装置及分布式存储***，该方法包括：获取分布式存储***的历史运行数据；根据历史运行数据，确定分布式存储***的性能指标及当前业务压力；根据性能指标与当前业务压力之间的大小关系，确定目标垃圾回收策略；按照目标垃圾回收策略，确定分布式存储***的目标垃圾回收参数，以基于目标垃圾回收参数对分布式存储***进行垃圾回收。上述方案提供的方法，通过综合考虑分布式存储***的性能指标及当前业务压力，设定目标垃圾回收参数，以避免出现垃圾回收影响分布式存储***对业务的正常处理，从而提高了分布式存储***的稳定性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例基于的网络的结构示意图；
图2为本申请实施例提供的分布式存储***垃圾回收方法的流程示意图；
图3为本申请实施例提供的示例性的性能指标的原理图；
图4为本申请实施例提供的分布式存储***垃圾回收装置的结构示意图；
图5为本申请实施例提供的分布式存储***的结构示意图；
图6为本申请实施例提供的电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。
目前，在分布式存储场景下目前存在一种这样的方案，在高速介质如固态电子存储阵列硬盘（Solid State Disk，简称：SSD）上划分分区部署对象存储设备（Object-basedStorage Device，简称：OSD），用这些OSD创建一个高速存储池，在低速介质硬盘驱动器（Hard Disk Drive，简称：HDD）上也划分分区部署OSD，用这些OSD创建一个低速大容量存储池，将这两个存储池进行绑定，所有从客户端来的数据请求都要先经过这个高速存储池，然后由它对这些数据进行聚合，聚合成4M大对象，并写入到低速存储池中，在追加写模式下，低速存储池所有数据的写入都会被分配一段新的物理空间，修改写时对于原始数据的修改则将原始数据被修改部分置为失效，新的数据依然写入新分配的空间，依靠映射的正向关系进行管理。这样在进行一段时间的随机写后，会产生越来越多的失效数据，此时需要对这些失效数据进行垃圾回收处理，以保证存储池的空间利用率。在追加写模式下，垃圾回收需要先将待回收对象的有效部分读取出来，聚合后重新写入新分配的空间。一般的垃圾回收策略多是基于水位进行垃圾回收速度调整，水位越高垃圾回收速度越快，水位即为分布式存储***的当前数据占用程度。这种策略的缺陷是没有同时考虑垃圾回收速度和业务负载，当垃圾回收速度快时恰好业务负载也高时，对于业务的影响较大，且没有充分利用磁盘的性能。
针对上述问题，本申请实施例提供的分布式存储***垃圾回收方法、装置及分布式存储***，该方法包括：获取分布式存储***的历史运行数据；根据历史运行数据，确定分布式存储***的性能指标及当前业务压力；根据性能指标与当前业务压力之间的大小关系，确定目标垃圾回收策略；按照目标垃圾回收策略，确定分布式存储***的目标垃圾回收参数，以基于目标垃圾回收参数对分布式存储***进行垃圾回收。上述方案提供的方法，通过综合考虑分布式存储***的性能指标及当前业务压力，设定目标垃圾回收参数，以避免出现垃圾回收影响分布式存储***对业务的正常处理，从而提高了分布式存储***的稳定性。
下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明实施例进行描述。
首先，对本申请所基于的网络结构的结构进行说明：
本申请实施例提供的分布式存储***垃圾回收方法、装置及分布式存储***，适用于对分布式存储***中的无效数据进行垃圾回收，以释放存储空间。如图1所示，为本申请实施例基于的网络的结构示意图，主要包括垃圾回收设备及分布式存储***。其中，垃圾回收设备基于本申请实施例提供的方法，确定目标垃圾回收参数，以基于该目标垃圾回收参数对分布式存储***中的无效数据进行垃圾回收。
本申请实施例提供了一种分布式存储***垃圾回收方法，用于对分布式存储***中的无效数据进行垃圾回收，以释放存储空间。本申请实施例的执行主体为电子设备，比如服务器、台式电脑、笔记本电脑、平板电脑及其他可用于对分布式存储***中的无效数据进行垃圾回收的电子设备。
如图2所示，为本申请实施例提供的分布式存储***垃圾回收方法的流程示意图，该方法包括：
步骤201，获取分布式存储***的历史运行数据。
其中，历史运行数据可以是分布式存储***在过去一段时间的运行日志，运行日志至少包括读写数据对象的大小和个数。
具体地，可以在调用分布式存储***数据读写接口的地方获取读写数据对象的大小和个数；即调用接口对象（OP）个数累加，对象大小累加。OP个数用于统计该分布式存储***的对象存储设备OSD的每秒发生的读写输入输出操作次数（Input/Output OperationsPer Second，简称：IOPS），对象大小用于统计该OSD的读写带宽。
步骤202，根据历史运行数据，确定分布式存储***的性能指标及当前业务压力。
具体地，可以通过分析历史运行数据，确定该分布式存储***在过去一段时间内对象存储设备的读写IOPS和读写带宽，进而确定分布式存储***的性能指标及当前业务压力。
步骤203，根据性能指标与当前业务压力之间的大小关系，确定目标垃圾回收策略。
具体地，可以根据性能指标与当前业务压力之间的大小关系，确定当前垃圾回收进程是采用高速率的垃圾回收策略，还是采用低速率的垃圾回收速率，以避免在当前业务压力较大的情况下，采用高速率的垃圾回收策略，对分布式存储***对业务的处理造成影响。
步骤204，按照目标垃圾回收策略，确定分布式存储***的目标垃圾回收参数，以基于目标垃圾回收参数对分布式存储***进行垃圾回收。
具体地，可以按照目标垃圾回收策略，确定该分布式存储***的垃圾回收进程的目标垃圾回收参数，以配置垃圾回收进程的垃圾回收速率，确保垃圾回收进程基于该目标垃圾回收参数对分布式存储***进行垃圾回收时，不会影响分布式存储***对其他业务的处理。
在上述实施例的基础上，作为一种可实施的方式，在一实施例中，根据历史运行数据，确定分布式存储***的性能指标，包括：
步骤2021，根据历史运行数据，确定分布式存储***的读写IOPS和读写带宽；
步骤2022，根据分布式存储***的读写IOPS和读写带宽，确定分布式存储***的性能指标。
需要说明的是，分布式存储***的性能指标具体可以采用分布式存储***的过往运行周期内的平均读写IOPS和平均读写带宽。
具体地，在一实施例中，可以按照第一预设粒度，根据分布式存储***的读写IOPS和读写带宽，确定分布式存储***的性能统计结果；根据分布式存储***的性能统计结果，确定分布式存储***的性能指标。
其中，第一预设粒度可以为三分钟，具体可以根据分布式存储***在过去三分钟的读写IOPS和读写带宽，确定分布式存储***的性能统计结果，然后将若干个连续三分钟的性能统计结果，确定为分布式存储***的性能指标。
具体地，在一实施例中，可以按照第一预设粒度，根据分布式存储***的读写IOPS和读写带宽，确定分布式存储***在第一预设粒度内的平均读写IOPS和平均读写带宽；根据分布式存储***在第一预设粒度内的平均读写IOPS和平均读写带宽，确定分布式存储***的性能统计结果。
具体地，当第一预设粒度为三分钟时，可以根据分布式存储***在过去三分钟累计的读写IOPS和读写带宽，确定分布式存储***在第一预设粒度内的平均读写IOPS和平均读写带宽，进而得到分布式存储***的性能统计结果。其中，分布式存储***的性能统计结果包括分布式存储***在各个第一预设粒度内的平均读写IOPS和平均读写带宽。
具体地，在一实施例中，可以根据第一预设粒度和第二预设粒度之间的比值，确定性能统计结果的第一汇总数量；按照性能统计结果的第一汇总数量，获取最近且连续的性能统计结果作为第一目标集合；根据第一目标集合，确定分布式存储***在第二预设粒度内的平均读写IOPS和平均读写带宽；根据分布式存储***在第二预设粒度内的平均读写IOPS和平均读写带宽，确定分布式存储***的性能指标。
其中，第二预设粒度大于第一预设粒度。
具体地，若第二预设粒度为1个小时，第一预设粒度为3分钟，则确定性能统计结果的第一汇总数量为20（60分钟/3分钟），因此获取最近且连续的20个性能统计结果作为第一目标集合。然后根据第一目标集合中的性能统计结果的均值计算结果，确定分布式存储***在第二预设粒度内的平均读写IOPS和平均读写带宽，进而得到分布式存储***的性能指标。
示例性的，如图3所示，为本申请实施例提供的示例性的性能指标的原理图，随着分布式存储***的不断运行，性能统计结果的数量不断增加，在性能统计结果数量增加的同时，分布式存储***的性能指标也在不断更新，以确保分布式存储***的性能指标的准确性，即不断以最近且连续的20个性能统计结果更新第一目标集合，以得到分布式存储***的最新性能指标。其中，图3中三分钟统计的总数据量即为分布式存储***在过去三分钟累计的读写IOPS和读写带宽，三分钟统计的总数据量的平均值即为分布式存储***在这三分钟的性能统计结果。
其中，若分布式存储***刚开始运行，其运行时间还未达到预设第二粒度（1小时），则可以取当前已有数据之和除以时间得到平均值，作为分布式存储***的性能指标。
具体地，在一实施例中，由于分布式存储***的不断运行的，为进一步确保最终得到的性能指标的客观性，可以根据分布式存储***在第二预设粒度内的平均读写IOPS和平均读写带宽，确定分布式存储***的最近性能指标；根据分布式存储***的最近性能指标和历史性能指标，确定分布式存储***的最大性能指标；将分布式存储***的最大性能指标作为分布式存储***的性能指标。
其中，分布式存储***的最近性能指标是最近更新的性能指标。
具体地，可以每更新一次性能指标，将其与在此之前得到的历史性能指标中进行比较，以确定分布式存储***的最大性能指标，最后将分布式存储***的最大性能指标作为后续参与目标垃圾回收策略制定的性能指标。
在上述实施例的基础上，作为一种可实施的方式，在一实施例中，根据历史运行数据，确定分布式存储***的当前业务压力，包括：
步骤2023，根据第一预设粒度和第三预设粒度之间的比值，确定性能统计结果的第二汇总数量；
步骤2024，按照性能统计结果的第二汇总数量，获取最近且连续的性能统计结果作为第二目标集合；
步骤2025，根据第二目标集合，确定分布式存储***在第三预设粒度内的平均读写IOPS和平均读写带宽；
步骤2026，根据分布式存储***在第三预设粒度内的平均读写IOPS和平均读写带宽，确定分布式存储***的当前业务压力。
其中，第三预设粒度大于第一预设粒度且小于第二预设粒度。
具体地，当第一预设粒度为3分钟，第二预设粒度为1小时时，第三预设粒度可以为12分钟，性能统计结果的第二汇总数量则为4，具体可以获取最近且连续的4个性能统计结果作为第二目标集合。然后根据第二目标集合中的性能统计结果的均值计算结果，确定分布式存储***在第三预设粒度内的平均读写IOPS和平均读写带宽，进而得到分布式存储***的当前业务压力。
其中，针对运行时间还未达到预设第三粒度（12分钟）的分布式存储***，则可以取当前已有数据之和除以时间得到的平均值，作为分布式存储***的当前业务压力。
需要说明的是，为确保最终确定的当前业务压力的准确性，可以随着分布式存储***运行时间的增加，不断更新当前业务压力，当前业务压力的具体确定方式可以参考上述实施例提供的性能指标的确定方式，二者流程相似，区别仅在于采用的预设粒度不同。
在上述实施例的基础上，作为一种可实施的方式，在一实施例中，根据性能指标与当前业务压力之间的大小关系，确定目标垃圾回收策略，包括：
步骤2031，根据性能指标与当前业务压力之间的大小关系，确定分布式存储***的当前垃圾回收等级；
步骤2032，按照分布式存储***的当前垃圾回收等级，确定目标垃圾回收策略。
具体地，在一实施例中，为进一步避免垃圾回收进程运行相应分布式存储***对其他业务的处理，可以按照预设比例，确定性能指标对应的性能比较值；当性能比较值小于当前业务压力时，确定分布式存储***的当前垃圾回收等级为最低级别。
相应地，在一实施例中，当性能比较值不小于当前业务压力时，确定分布式存储***的当前垃圾回收等级为一般级别。
其中，预设比例可以为80%。
具体地，若80%性能指标（性能比较值）小于当前业务压力，则确定该分布式存储***当前的业务负荷较大，此时不适合做高速率的垃圾回收，因此确定分布式存储***的当前垃圾回收等级为最低级别。若80%性能指标（性能比较值）不小于当前业务压力，则确定该分布式存储***当前的业务负荷较小，此时可以做高速率的垃圾回收，因此确定分布式存储***的当前垃圾回收等级为一般级别。
进一步地，在一实施例中，当分布式存储***的当前垃圾回收等级为最低级别时，将无效数据占用比达到预设阈值的对象，确定为待回收对象。
其中，目标垃圾回收策略包括待回收对象。
具体地，可以在当前垃圾回收等级为最低级别时，仅回收无效数据占整对象数据90%的对象中的无效数据，及将无效数据占用比达到预设阈值（90%）的对象，确定为待回收对象。在确定待回收对象后，可以将默认的低速垃圾回收参数作为目标垃圾回收参数，进行后续的垃圾回收操作。
相应地，在一实施例中，当分布式存储***的当前垃圾回收等级为一般级别时，根据性能比较值与当前业务压力之间的差值，确定垃圾收回的预期读写IOPS和带宽限制值。
其中，目标垃圾回收策略包括垃圾收回的预期读写IOPS和带宽限制值。
具体地，可以用性能比较值减去当前业务压力，得到垃圾收回的预期读写IOPS和带宽限制值。由于性能指标和当前业务压力是不断更新的，所以垃圾收回的预期读写IOPS和带宽限制值也随之更新。
需要说明的是，在当前业务压力为0时，可以直接将性能比较值表征的平均读写IOPS和平均读写带宽作为垃圾收回的预期读写IOPS和带宽限制值。
进一步地，在一实施例中，可以根据目标垃圾回收策略表征的带宽限制值，确定分布式存储***的垃圾回收进程的目标写带宽和目标读带宽。
其中，目标垃圾回收参数至少包括垃圾回收进程的目标写带宽和目标读带宽。
需要说明的是，垃圾回收进程的运行时将待回收对象中的有效数据读取出来，然后再将读取到的有效数据写入新分配的空间，最后对该待回收对象进行整体删除，因此垃圾回收进程的参数包括目标写带宽和目标读带宽。
具体地，根据带宽限制值表征的最大读带宽和最大写带宽，设置垃圾回收进程的目标写带宽和目标读带宽，如将最大写带宽作为目标写带宽，将最大读带宽作为目标读带宽。
在上述实施例的基础上，作为一种可实施的方式，为提高垃圾回收进程的稳定性，在一实施例中，该方法还包括：
步骤301，获取垃圾回收进程的有效数据量；
步骤302，根据垃圾回收进程的目标写带宽和有效数据量，确定垃圾回收进程的休眠时间。
其中，目标垃圾回收参数至少包括垃圾回收进程的休眠时间。
需要说明的是，由于垃圾回收进程需要将有效数据写入新分配的空间，而分布式存储***的对象存储设备有固定的数据写入要求，如将待写入数据聚合成4M大对象后，才将其写入低速存储池中。
具体地，垃圾回收进程每次启动后，首先获取垃圾回收进程的有效数据量（如4M），即垃圾回收进程要聚合4M有效数据，才能向低速存储池写入有效数据。具体可以将目标写带宽（8M/s）和有效数据量（4M）之间的比值，确定垃圾回收进程的休眠时间（0.5s）。其中，若目标写带宽小于有效数据量，则将默认的最小休眠时间作为该垃圾回收进程的休眠时间。
其中，垃圾回收进程读有效数据时需要读取多个待回收对象的有效数据，如果进行的是整对象读取，则需要以最大读带宽作为限制条件设定垃圾回收进程的休眠时间，如果仅读取对象中的有效数据部分，则可将预期读IOPS作为限制条件设定垃圾回收进程的休眠时间。
具体地，在一实施例中，由于垃圾回收进程的实际运行能力可能达不到预设的目标垃圾回收参数，因此为进一步提高垃圾回收效率，可以获取分布式存储***的存储池容量占用比；在存储池容量占用比达到预设占用比阈值的情况下，若垃圾回收进程的实际垃圾回收速率小于当前实际业务压力，根据分布式存储***的性能指标，确定垃圾回收进程的参数优化策略。
其中，分布式存储***的存储池容量占用比即为分布式存储***的当前数据占用程度。
具体地，可以在分布式存储***的存储池容量占用比达到预设占用比阈值（90%），且垃圾回收进程的实际垃圾回收速率小于当前实际业务压力时，适当增加垃圾回收进程的速率，即确定垃圾回收进程的参数优化策略。
具体地，在一实施例中，可以按照预设参数优化比例，根据分布式存储***的性能指标，重新确定垃圾收回的预期读写IOPS和带宽限制值，以得到优化读写IOPS和优化带宽限制值；根据优化读写IOPS和优化带宽限制值，确定垃圾回收进程的参数优化策略。
具体地，可以调整垃圾回收进程的垃圾回收速率为70%（预设参数优化比例）的性能指标，即将70%的性能指标确定为垃圾收回的预期读写IOPS和带宽限制值，以得到优化读写IOPS和优化带宽限制值，进而根据优化读写IOPS和优化带宽限制值，重新确定垃圾回收进程的参数优化策略，以提高垃圾回收进程的垃圾回收速率，以此反压业务，使业务压力下降，提高存储池垃圾数据的释放的速度，以尽快释放空间。
本申请实施例提供的分布式存储***垃圾回收方法，通过获取分布式存储***的历史运行数据；根据历史运行数据，确定分布式存储***的性能指标及当前业务压力；根据性能指标与当前业务压力之间的大小关系，确定目标垃圾回收策略；按照目标垃圾回收策略，确定分布式存储***的目标垃圾回收参数，以基于目标垃圾回收参数对分布式存储***进行垃圾回收。上述方案提供的方法，通过综合考虑分布式存储***的性能指标及当前业务压力，设定目标垃圾回收参数，以避免出现垃圾回收影响分布式存储***对业务的正常处理，从而提高了分布式存储***的稳定性。并且，通过根据分布式存储***的实际运行情况，动态调整垃圾回收速率，在充分利用磁盘性能的基础上，平衡垃圾回收速度和业务压力，降低了垃圾回收对于业务压力的影响，提高了存储集群的性能。
本申请实施例提供了一种分布式存储***垃圾回收装置，用于执行上述实施例提供的分布式存储***垃圾回收方法。
如图4所示，为本申请实施例提供的分布式存储***垃圾回收装置的结构示意图。该分布式存储***垃圾回收装置40包括：获取模块401、确定模块402、策略制定模块403及回收模块404。
其中，获取模块，用于获取分布式存储***的历史运行数据；确定模块，用于根据历史运行数据，确定分布式存储***的性能指标及当前业务压力；策略制定模块，用于根据性能指标与当前业务压力之间的大小关系，确定目标垃圾回收策略；回收模块，用于按照目标垃圾回收策略，确定分布式存储***的目标垃圾回收参数，以基于目标垃圾回收参数对分布式存储***进行垃圾回收。
关于本实施例中的分布式存储***垃圾回收装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请实施例提供的分布式存储***垃圾回收装置，用于执行上述实施例提供的分布式存储***垃圾回收方法，其实现方式与原理相同，不再赘述。
本申请实施例提供了一种分布式存储***，用于执行上述实施例提供的分布式存储***垃圾回收方法。
如图5所示，为本申请实施例提供的分布式存储***的结构示意图。该分布式存储***50包括：若干个存储节点。
存储节点采用如上述实施例提供的分布式存储***垃圾回收方法进行垃圾回收。
其中，存储节点在高速介质如固态电子存储阵列硬盘（Solid State Disk，简称：SSD）上划分分区部署对象存储设备（Object-based Storage Device，简称：OSD），用这些OSD创建一个高速存储池，在低速介质硬盘驱动器（Hard Disk Drive，简称：HDD）H上也划分分区部署OSD，用这些OSD创建一个低速大容量存储池，将这两个存储池进行绑定，所有从客户端来的数据请求都要先经过这个高速存储池 ，然后由它对这些数据进行聚合，聚合成4M大对象，并写入到低速存储池中。垃圾回收进程在存储节点上运行，已对存储节点的低速存储池上的无效数据进行垃圾回收，以释放存储空间。
本申请实施例提供了一种电子设备，用于执行上述实施例提供的分布式存储***垃圾回收方法。
如图6所示，为本申请实施例提供的电子设备的结构示意图。该电子设备60包括：至少一个处理器61和存储器62。
存储器存储计算机执行指令；至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如上实施例提供的分布式存储***垃圾回收方法。
本申请实施例提供的一种电子设备，用于执行上述实施例提供的分布式存储***垃圾回收方法，其实现方式与原理相同，不再赘述。
本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上任一实施例提供的分布式存储***垃圾回收方法。
本申请实施例的包含计算机可执行指令的存储介质，可用于存储前述实施例中提供的分布式存储***垃圾回收方法的计算机执行指令，其实现方式与原理相同，不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (20)
1.一种分布式存储***垃圾回收方法，其特征在于，包括：
获取分布式存储***的历史运行数据；
根据所述历史运行数据，确定所述分布式存储***的性能指标及当前业务压力；
根据所述性能指标与当前业务压力之间的大小关系，确定目标垃圾回收策略；
按照所述目标垃圾回收策略，确定所述分布式存储***的目标垃圾回收参数，以基于所述目标垃圾回收参数对所述分布式存储***进行垃圾回收。
2.根据权利要求1所述的方法，其特征在于，所述根据所述历史运行数据，确定所述分布式存储***的性能指标，包括：
根据所述历史运行数据，确定所述分布式存储***的读写IOPS和读写带宽；
根据所述分布式存储***的读写IOPS和读写带宽，确定所述分布式存储***的性能指标。
3.根据权利要求2所述的方法，其特征在于，所述根据所述分布式存储***的读写IOPS和读写带宽，确定所述分布式存储***的性能指标，包括：
按照第一预设粒度，根据所述分布式存储***的读写IOPS和读写带宽，确定所述分布式存储***的性能统计结果；
根据所述分布式存储***的性能统计结果，确定所述分布式存储***的性能指标。
4.根据权利要求3所述的方法，其特征在于，所述按照第一预设粒度，根据所述分布式存储***的读写IOPS和读写带宽，确定所述分布式存储***的性能统计结果，包括：
按照第一预设粒度，根据所述分布式存储***的读写IOPS和读写带宽，确定所述分布式存储***在所述第一预设粒度内的平均读写IOPS和平均读写带宽；
根据所述分布式存储***在所述第一预设粒度内的平均读写IOPS和平均读写带宽，确定所述分布式存储***的性能统计结果。
5.根据权利要求3所述的方法，其特征在于，所述根据所述分布式存储***的性能统计结果，确定所述分布式存储***的性能指标，包括：
根据第一预设粒度和第二预设粒度之间的比值，确定所述性能统计结果的第一汇总数量；
按照所述性能统计结果的第一汇总数量，获取最近且连续的性能统计结果作为第一目标集合；
根据所述第一目标集合，确定所述分布式存储***在所述第二预设粒度内的平均读写IOPS和平均读写带宽；
根据所述分布式存储***在所述第二预设粒度内的平均读写IOPS和平均读写带宽，确定所述分布式存储***的性能指标；
其中，所述第二预设粒度大于所述第一预设粒度。
6.根据权利要求5所述的方法，其特征在于，所根据所述分布式存储***在所述第二预设粒度内的平均读写IOPS和平均读写带宽，确定所述分布式存储***的性能指标，包括：
根据所述分布式存储***在所述第二预设粒度内的平均读写IOPS和平均读写带宽，确定所述分布式存储***的最近性能指标；
根据所述分布式存储***的最近性能指标和历史性能指标，确定所述分布式存储***的最大性能指标；
将所述分布式存储***的最大性能指标作为所述分布式存储***的性能指标。
7.根据权利要求5所述的方法，其特征在于，所述根据所述历史运行数据，确定所述分布式存储***的当前业务压力，包括：
根据第一预设粒度和第三预设粒度之间的比值，确定所述性能统计结果的第二汇总数量；
按照所述性能统计结果的第二汇总数量，获取最近且连续的性能统计结果作为第二目标集合；
根据所述第二目标集合，确定所述分布式存储***在所述第三预设粒度内的平均读写IOPS和平均读写带宽；
根据所述分布式存储***在所述第三预设粒度内的平均读写IOPS和平均读写带宽，确定所述分布式存储***的当前业务压力；
其中，所述第三预设粒度大于所述第一预设粒度且小于所述第二预设粒度。
8.根据权利要求1所述的方法，其特征在于，所述根据所述性能指标与当前业务压力之间的大小关系，确定目标垃圾回收策略，包括：
根据所述性能指标与当前业务压力之间的大小关系，确定所述分布式存储***的当前垃圾回收等级；
按照所述分布式存储***的当前垃圾回收等级，确定所述目标垃圾回收策略。
9.根据权利要求8所述的方法，其特征在于，所述根据所述性能指标与当前业务压力之间的大小关系，确定所述分布式存储***的当前垃圾回收等级，包括：
按照预设比例，确定性能指标对应的性能比较值；
当所述性能比较值小于所述当前业务压力时，确定所述分布式存储***的当前垃圾回收等级为最低级别。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
当所述性能比较值不小于所述当前业务压力时，确定所述分布式存储***的当前垃圾回收等级为一般级别。
11.根据权利要求9所述的方法，其特征在于，所述按照所述分布式存储***的当前垃圾回收等级，确定所述目标垃圾回收策略，包括：
当所述分布式存储***的当前垃圾回收等级为最低级别时，将无效数据占用比达到预设阈值的对象，确定为待回收对象；
其中，所述目标垃圾回收策略包括待回收对象。
12.根据权利要求9所述的方法，其特征在于，所述按照所述分布式存储***的当前垃圾回收等级，确定所述目标垃圾回收策略，包括：
当所述分布式存储***的当前垃圾回收等级为一般级别时，根据所述性能比较值与所述当前业务压力之间的差值，确定垃圾收回的预期读写IOPS和带宽限制值；
其中，所述目标垃圾回收策略包括垃圾收回的预期读写IOPS和带宽限制值。
13.根据权利要求12所述的方法，其特征在于，所述按照所述目标垃圾回收策略，确定所述分布式存储***的目标垃圾回收参数，包括：
根据所述目标垃圾回收策略表征的带宽限制值，确定所述分布式存储***的垃圾回收进程的目标写带宽和目标读带宽；
其中，所述目标垃圾回收参数至少包括所述垃圾回收进程的目标写带宽和目标读带宽。
14.根据权利要求13所述的方法，其特征在于，所述方法还包括：
获取所述垃圾回收进程的有效数据量；
根据所述垃圾回收进程的目标写带宽和所述有效数据量，确定所述垃圾回收进程的休眠时间；
其中，所述目标垃圾回收参数至少包括所述垃圾回收进程的休眠时间。
15.根据权利要求13所述的方法，其特征在于，还包括：
获取所述分布式存储***的存储池容量占用比；
在所述存储池容量占用比达到预设占用比阈值的情况下，若所述垃圾回收进程的实际垃圾回收速率小于当前实际业务压力，根据所述分布式存储***的性能指标，确定所述垃圾回收进程的参数优化策略。
16.根据权利要求15所述的方法，其特征在于，所述根据所述分布式存储***的性能指标，确定所述垃圾回收进程的参数优化策略，包括：
按照预设参数优化比例，根据所述分布式存储***的性能指标，重新确定垃圾收回的预期读写IOPS和带宽限制值，以得到优化读写IOPS和优化带宽限制值；
根据所述优化读写IOPS和优化带宽限制值，确定所述垃圾回收进程的参数优化策略。
17.一种分布式存储***垃圾回收装置，其特征在于，包括：
获取模块，用于获取分布式存储***的历史运行数据；
确定模块，用于根据所述历史运行数据，确定所述分布式存储***的性能指标及当前业务压力；
策略制定模块，用于根据所述性能指标与当前业务压力之间的大小关系，确定目标垃圾回收策略；
回收模块，用于按照所述目标垃圾回收策略，确定所述分布式存储***的目标垃圾回收参数，以基于所述目标垃圾回收参数对所述分布式存储***进行垃圾回收。
18.一种分布式存储***，其特征在于，包括：若干个存储节点；
所述存储节点采用如权利要求1至16任一项所述的方法进行垃圾回收。
19.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至16任一项所述的方法。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至16任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310988513.7A CN116700634B (zh) | 2023-08-08 | 2023-08-08 | 分布式存储***垃圾回收方法、装置及分布式存储*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310988513.7A CN116700634B (zh) | 2023-08-08 | 2023-08-08 | 分布式存储***垃圾回收方法、装置及分布式存储*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116700634A true CN116700634A (zh) | 2023-09-05 |
| CN116700634B CN116700634B (zh) | 2023-11-03 |
Family
ID=87837925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310988513.7A Active CN116700634B (zh) | 2023-08-08 | 2023-08-08 | 分布式存储***垃圾回收方法、装置及分布式存储*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116700634B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117908794A (zh) * | 2024-01-22 | 2024-04-19 | 江苏商贸职业学院 | 计算机分布式存储***中垃圾回收方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105630638A (zh) * | 2014-10-31 | 2016-06-01 | 国际商业机器公司 | 用于为磁盘阵列分配缓存的设备和方法 |
| CN110764714A (zh) * | 2019-11-06 | 2020-02-07 | 深圳大普微电子科技有限公司 | 一种数据处理方法、装置、设备及可读存储介质 |
| CN112416814A (zh) * | 2020-11-25 | 2021-02-26 | 合肥大唐存储科技有限公司 | 固态硬盘中垃圾回收的管理方法、存储介质和电子装置 |
| CN113971137A (zh) * | 2020-07-22 | 2022-01-25 | 华为技术有限公司 | 一种垃圾回收方法及装置 |
| CN116467267A (zh) * | 2023-03-31 | 2023-07-21 | 阿里巴巴（中国）有限公司 | 垃圾回收方法、设备、存储介质和*** |
-
2023
- 2023-08-08 CN CN202310988513.7A patent/CN116700634B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105630638A (zh) * | 2014-10-31 | 2016-06-01 | 国际商业机器公司 | 用于为磁盘阵列分配缓存的设备和方法 |
| CN110764714A (zh) * | 2019-11-06 | 2020-02-07 | 深圳大普微电子科技有限公司 | 一种数据处理方法、装置、设备及可读存储介质 |
| CN113971137A (zh) * | 2020-07-22 | 2022-01-25 | 华为技术有限公司 | 一种垃圾回收方法及装置 |
| CN112416814A (zh) * | 2020-11-25 | 2021-02-26 | 合肥大唐存储科技有限公司 | 固态硬盘中垃圾回收的管理方法、存储介质和电子装置 |
| CN116467267A (zh) * | 2023-03-31 | 2023-07-21 | 阿里巴巴（中国）有限公司 | 垃圾回收方法、设备、存储介质和*** |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117908794A (zh) * | 2024-01-22 | 2024-04-19 | 江苏商贸职业学院 | 计算机分布式存储***中垃圾回收方法 |
| CN117908794B (zh) * | 2024-01-22 | 2024-07-16 | 江苏商贸职业学院 | 计算机分布式存储***中垃圾回收方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116700634B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8521986B2 (en) | Allocating storage memory based on future file size or use estimates | |
| US20200089624A1 (en) | Apparatus and method for managing storage of data blocks | |
| CN103995855B (zh) | 存储数据的方法和装置 | |
| CN116700634B (zh) | 分布式存储***垃圾回收方法、装置及分布式存储*** | |
| JP2004513456A (ja) | ディスクにあるデータの適応的な事前取得 | |
| US11288186B2 (en) | Adjustment of garbage collection parameters in a storage system | |
| AU2004285241C1 (en) | Tracking space usage in a database | |
| CN108874324A (zh) | 一种访问请求处理方法、装置、设备及可读存储介质 | |
| GB2497172A (en) | Reserving space on a storage device for new data based on predicted changes in access frequencies of storage devices | |
| US7203713B2 (en) | Method and apparatus for optimizing extent size | |
| EP4099235A1 (en) | Data pre-fetching method and apparatus, and storage device | |
| CN116643704A (zh) | 存储管理方法、装置、电子设备及存储介质 | |
| US20230100110A1 (en) | Computing resource management method, electronic equipment and program product | |
| CN114518848B (zh) | 存储数据的处理方法、装置、设备和介质 | |
| CN115993932A (zh) | 数据处理方法、装置、存储介质以及电子设备 | |
| CN114201369A (zh) | 一种服务器集群管理方法、装置、电子设备及存储介质 | |
| CN117389485B (zh) | 存储性能优化方法、装置、存储***、电子设备和介质 | |
| CN117093508B (zh) | 一种内存资源管理方法、装置、电子设备及存储介质 | |
| CN111177022B (zh) | 一种特征提取方法、装置、设备及存储介质 | |
| CN114817169A (zh) | 存储管理方法、设备和计算机程序产品 | |
| CN117076536A (zh) | 自动化统计信息收集方法、电子设备和存储介质 | |
| CN116775969A (zh) | 数据流处理方法、装置、电子设备及计算机可读介质 | |
| CN117193660A (zh) | 一种数据处理方法、装置、***、电子设备及存储介质 | |
| CN115963980A (zh) | 一种存储资源动态分配的方法、装置、介质及电子设备 | |
| CN117370423A (zh) | 一种数据处理方法、装置、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |