CN115390752A - 一种多磁盘的缓存文件管理方法 - Google Patents
一种多磁盘的缓存文件管理方法 Download PDFInfo
- Publication number
- CN115390752A CN115390752A CN202210956973.7A CN202210956973A CN115390752A CN 115390752 A CN115390752 A CN 115390752A CN 202210956973 A CN202210956973 A CN 202210956973A CN 115390752 A CN115390752 A CN 115390752A
- Authority
- CN
- China
- Prior art keywords
- cache
- capacity
- preset
- library
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007726 management method Methods 0.000 title claims description 6
- 238000000034 method Methods 0.000 claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims abstract description 25
- 238000004140 cleaning Methods 0.000 claims abstract description 22
- 239000002699 waste material Substances 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 8
- 230000003139 buffering effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0674—Disk device
- G06F3/0676—Magnetic disk device
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本申请涉及计算机技术领域,特别是涉及一种多磁盘的缓存文件管理方法。包括:获取全部磁盘的缓存文件数据和剩余容量数据,并根据磁盘内的已缓存文件数据和剩余容量数据生成若干缓存库;需缓存软件根据缓存顺序选择缓存库,并在选定的缓存库中创建缓存文件;当到达预设时间节点或缓存数据达到预设缓存阈值时,获取缓存库中缓存文件数据进行清理,需缓存软件重新选定缓存库。根据用户的磁盘使用情况,建立若干缓存库,设定剩余容量数据矩阵和缓存库容量矩阵,根据磁盘的实时剩余容量设定磁盘的缓存库容量,避免磁盘空间的浪费,同时根据预设时间节点,动态调整缓存库,避免了用户磁盘单一区域频繁读写,使得读写压力分散,使用户磁盘更长寿。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种多磁盘的缓存文件管理方法。
背景技术
在现代软件开发的过程中,缓存的使用对***性能的提升起到相当关键的作用。在通常情况下,使用的最多的是内存缓存,即将缓存对象存储到内存中,便于快速的读取。但是,内存缓存的存储空间有限,即使是分布式内存缓存,能够提供的内存存储空间也是有限的,当需要缓存大量的大对象(如图片、音频、视频以及其他大对象等)时,内存缓存就显得不太合适,而基于磁盘的缓存能够很好的满足大对象的存储需求。在基于磁盘的缓存实现中,如果是直接将每个待缓存的对象作为单独文件存储在磁盘中,如果缓存对象数量众多,就会在磁盘中产生大量的问题,这样会大大降低磁盘的读写效率。而缓存对象通常都有一定的生命周期,会根据不同的策略失效,此时,磁盘文件就会频繁的增加和删除,导致大量磁盘碎片产生,从而进一步降低磁盘读写效率,而现有技术中一般都是在创建缓存文件的时候,一次性分配足够的磁盘空间作为虚拟磁盘使用。这就导致在用户初期使用的时候,会有很大的磁盘空间浪费。
发明内容
本申请的目的是:为避免磁盘文件就会频繁的增加和删除,导致大量磁盘碎片产生,降低磁盘读写效率,并造成磁盘空间浪费的问题,本申请提供了一种多磁盘的缓存文件管理方法。
本申请的一些实施例中,根据用户的磁盘使用情况,建立若干缓存库,设定剩余容量数据矩阵和缓存库容量矩阵,根据磁盘的实时剩余容量设定磁盘的缓存库容量,避免磁盘空间的浪费,同时根据预设时间节点,动态调整缓存库,避免了用户磁盘单一区域频繁读写,使得读写压力分散,使用户磁盘更长寿。
本申请的一些实施例中,通过在缓存文件时,生成当缓存文件缓存时,生成第一时间戳和可储存时间,并通过设置默认的第一可储存时间和可根据实际情况设定的第二储存时间,在清理时无需对全部缓存文件逐个扫描,仅需获取可储存时间和已储存时间即可进行判断,并进行清理,从而节省了处理资源和处理时间,可以提高磁盘清理的效率。
本申请的一些实施例中提供了一种多磁盘的缓存文件管理方法,包括:
步骤一:获取全部磁盘的缓存文件数据和剩余容量数据,并根据磁盘内的已缓存文件数据和剩余容量数据生成若干缓存库;
步骤二:需缓存软件根据缓存顺序选择缓存库,并在选定的缓存库中创建缓存文件;
步骤三:当到达预设时间节点或缓存数据达到预设缓存阈值时,获取缓存库中缓存文件数据进行清理,需缓存软件重新选定缓存库。
本申请的一些实施例中,所述根据磁盘内缓存文件数据和剩余容量数据生成若干缓存库,具体为:
获取全部磁盘的已缓存文件数据,判断是否超过预设缓存阈值,若磁盘的已缓存文件大于预设缓存阈值,则不建立缓存库,若所述磁盘的已缓存文件小于预设缓存阈值,则标记磁盘;
获取全部标记磁盘的剩余容量数据,并根据标记磁盘的剩余容量数据建立不同容量的缓存库。
本申请的一些实施例中,所述根据剩余容量数据建立不同容量的缓存库具体为:
预设缓存库容量矩阵A,设定A(A1,A2,A3,A4),其中A1为第一预设缓存库容量,A2为第二预设缓存库容量,A3为第三预设缓存库容量,A4为第四预设缓存库容量,且A1<A2<A3<A4;
预设剩余容量数据矩阵B,设定B(B1,B2,B3,B4),其中B1为第一预设剩余容量,B2为第二预设剩余容量,B3为第三预设剩余容量,B4为第四预设剩余容量,其中,B1<B2<B3<B4;
获取磁盘的实时剩余容量b,并根据磁盘的实时剩余容量b设定磁盘的缓存库容量a,其具体为:
当B1<b<B2时,设定磁盘的缓存库容量a为第一预设缓存库容量A1;
当B2<b<B3时,设定磁盘的缓存库容量a为第二预设缓存库容量A2;
当B3<b<B4时,设定磁盘的缓存库容量a为第三预设缓存库容量A3;
当b>B4时,设定磁盘的缓存库容量a为第四预设缓存库容量A4。
本申请的一些实施例中,所述步骤二包括:
根据缓存库容量矩阵A生成缓存库选择顺序,其具体为:
其缓存库容量为A4的缓存库为第一选择等级C1,缓存库容量为A3的缓存库为第二选择等级C2,缓存库容量为A2的缓存库为第三选择等级C3,缓存库容量为A1的缓存库为第四选择等级C4,其中优先性C1>C2>C3>C4。
本申请的一些实施例中,所述需缓存软件根据缓存顺序选择缓存库时,包括:
预设第一时间间隔,获取需缓存软件的历史缓存数据量,并根据第一时间间隔生成若干历史缓存数据值;
根据若干缓存历史数据值生成预测软件缓存数据值,并根据预测软件缓存数据值选择缓存库。
本申请的一些实施例中,所述根据预测软件缓存数据值选择缓存库时,包括:
根据需缓存软件的预测软件缓存数据值生成缓存顺序,根据缓存顺序选择缓存库;
当每个需缓存软件完成选择后,获取该需缓存软件的预测软件缓存数据值和选择的缓存库的缓存库容量值并生成剩余量值;
判断下一需缓存软件的预测软件缓存数据值与剩余量值之间的关系,判断是否选择下一个缓存库。
本申请的一些实施例中,判断是否选择下一个缓存库时,包括:
预设剩余量阈值矩阵D(D1,D2,D3,D4),其中,D1为第一预设剩余量阈值,D2为第二预设剩余量阈值,D3为第三预设剩余量阈值,D4为第四预设剩余量阈值,且D1<D2<D3<D4;
根据缓存库容量a,设定缓存库的剩余量阈值d,其具体为:
当缓存库容量a为第一预设缓存库容量A1时,设定缓存库的剩余量阈值d为第一预设剩余量阈值D1;
当缓存库容量a为第二预设缓存库容量A2时,设定缓存库的剩余量阈值d为第二预设剩余量阈值D2;
当缓存库容量a为第三预设缓存库容量A3时,设定缓存库的剩余量阈值d为第三预设剩余量阈值D3;
当缓存库容量a为第四预设缓存库容量A4时,设定缓存库的剩余量阈值d为第四预设剩余量阈值D4;
根据缓存库的剩余量值与需缓存软件的预测软件缓存数据值,生成第一差值,并根据第一差值与剩余量阈值矩阵D之间的关系,生成判断结果:
当第一差值小于剩余量阈值时,选择下一缓存库。
本申请的一些实施例中,所述步骤三包括:
当缓存文件缓存时,生成第一时间戳和可储存时间;
当到达所述预设时间节点时,获取全部缓存文件的第一时间戳,并根据所述预设时间节点和第一时间戳生成已储存时间,根据缓存文件的可储存时间与已储存时间的关系判断是否清除缓存文件;
当清理完成后,重新根据磁盘内的已缓存文件数据和剩余容量数据生成若干缓存库,需缓存软件根据缓存顺序重新选择缓存库。
本申请的一些实施例中,所述步骤三还包括:
当达到预设缓存阈值时,获取实时的时间节点和缓存库中全部缓存文件的第一时间戳,并生成已储存时间,根据缓存文件的可储存时间与已储存时间的关系进行初次清理;
当达到预设时间节点时,对缓存文件进行二次清理。
本申请的一些实施例中,生成可储存时间时,包括:
预设第一可储存时间和第二可储存时间;
其中,第二可储存时间需人工设定,若设定第二储存时间,则缓存文件的可储存时间为第一可储存时间,若未设定第二可储存时间,则缓存文件的可储存时间为第一可储存时间。
本申请实施例一种多磁盘的缓存文件管理方法与现有技术相比,其有益效果在于:
根据用户的磁盘使用情况,建立若干缓存库,设定剩余容量数据矩阵和缓存库容量矩阵,根据磁盘的实时剩余容量设定磁盘的缓存库容量,避免磁盘空间的浪费,同时根据预设时间节点,动态调整缓存库,避免了用户磁盘单一区域频繁读写,使得读写压力分散,使用户磁盘更长寿。
通过在缓存文件时,生成当缓存文件缓存时,生成第一时间戳和可储存时间,并通过设置默认的第一可储存时间和可根据实际情况设定的第二储存时间,在清理时无需对全部缓存文件逐个扫描,仅需获取可储存时间和已储存时间即可进行判断,并进行清理,从而节省了处理资源和处理时间,可以提高磁盘清理的效率。
附图说明
图1是本申请实施例一种多磁盘的缓存文件管理方法的流程示意图。
具体实施方式
下面结合附图和实施例,对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
在本申请的描述中,需要理解的是,术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本申请的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
如图1所示,本申请实施例优选实施例的一种多磁盘的缓存文件管理方法,包括:
步骤一:获取全部磁盘的缓存文件数据和剩余容量数据,并根据磁盘内的已缓存文件数据和剩余容量数据生成若干缓存库;
步骤二:需缓存软件根据缓存顺序选择缓存库,并在选定的缓存库中创建缓存文件;
步骤三:当到达预设时间节点或缓存数据达到预设缓存阈值时,获取缓存库中缓存文件数据进行清理,需缓存软件重新选定缓存库。
本申请实施例优选实施例中,根据磁盘内缓存文件数据和剩余容量数据生成若干缓存库,具体为:
获取全部磁盘的已缓存文件数据,判断是否超过预设缓存阈值,若磁盘的已缓存文件大于预设缓存阈值,则不建立缓存库,若磁盘的已缓存文件小于预设缓存阈值,则标记磁盘;
获取全部标记磁盘的剩余容量数据,并根据标记磁盘的剩余容量数据建立不同容量的缓存库。
具体而言,缓存阈值是根据磁盘的历史缓存数据生成,当磁盘中的缓存文件超过缓存阈值时,会明显降低此磁盘的读写效率。
具体而言,根据剩余容量数据建立不同容量的缓存库为:
预设缓存库容量矩阵A,设定A(A1,A2,A3,A4),其中A1为第一预设缓存库容量,A2为第二预设缓存库容量,A3为第三预设缓存库容量,A4为第四预设缓存库容量,且A1<A2<A3<A4;
预设剩余容量数据矩阵B,设定B(B1,B2,B3,B4),其中B1为第一预设剩余容量,B2为第二预设剩余容量,B3为第三预设剩余容量,B4为第四预设剩余容量,其中,B1<B2<B3<B4;
获取磁盘的实时剩余容量b,并根据磁盘的实时剩余容量b设定磁盘的缓存库容量a,其具体为:
当B1<b<B2时,设定磁盘的缓存库容量a为第一预设缓存库容量A1;
当B2<b<B3时,设定磁盘的缓存库容量a为第二预设缓存库容量A2;
当B3<b<B4时,设定磁盘的缓存库容量a为第三预设缓存库容量A3;
当b>B4时,设定磁盘的缓存库容量a为第四预设缓存库容量A4。
具体而言,其第四预设缓存库容量大于任一单个需缓存软件的缓存需求量。
具体而言,缓存库选择顺序是根据缓存库容量矩阵A生成。
具体而言,设定不同容量的缓存库选择优先级,其缓存库容量为A4的缓存库为第一选择等级C1,缓存库容量为A3的缓存库为第二选择等级C2,缓存库容量为A2的缓存库为第三选择等级C3,缓存库容量为A1的缓存库为第四选择等级C4,其中优先性C1>C2>C3>C4。
具体而言,其选择根据缓存库的容量,优先选择容量高的缓存库,在同等级的缓存库在选择顺序上没有先后为随机选择。
可以理解的是上述实施例中,根据用户的磁盘使用情况,建立若干缓存库,设定剩余容量数据矩阵和缓存库容量矩阵,根据磁盘的实时剩余容量设定磁盘的缓存库容量,避免磁盘空间的浪费
本申请实施例优选实施例中,需缓存软件根据缓存顺序选择缓存库时,包括:
预设第一时间间隔,获取需缓存软件的历史缓存数据量,并根据第一时间间隔生成若干历史缓存数据值;
根据若干缓存历史数据值生成预测软件缓存数据值,并根据预测软件缓存数据值选择缓存库。
具体而言,根据若干历史缓存数据量的平均值生成预测软件缓存数据值。
具体而言,根据预测软件缓存数据值选择缓存库时,包括:
根据需缓存软件的预测软件缓存数据值生成缓存顺序,根据缓存顺序选择缓存库;
当每个需缓存软件完成选择后,获取该需缓存软件的预测软件缓存数据值和选择的缓存库的缓存库容量值并生成剩余量值;
判断下一需缓存软件的预测软件缓存数据值与剩余量值之间的关系,判断是否选择下一个缓存库。
具体而言,根据预期值按顺序进行选择,当预期值的总和缓存库的容量之间的差值超过预设剩余量阈值时,则选择下一缓存库,保证单个缓存库内不会因为缓存文件过多影响磁盘的性能。
具体而言,判断是否选择下一个缓存库时,包括:
预设剩余量阈值矩阵D(D1,D2,D3,D4),其中,D1为第一预设剩余量阈值,D2为第二预设剩余量阈值,D3为第三预设剩余量阈值,D4为第四预设剩余量阈值,且D1<D2<D3<D4;
根据缓存库容量a,设定缓存库的剩余量阈值d,其具体为:
当缓存库容量a为第一预设缓存库容量A1时,设定缓存库的剩余量阈值d为第一预设剩余量阈值D1;
当缓存库容量a为第二预设缓存库容量A2时,设定缓存库的剩余量阈值d为第二预设剩余量阈值D2;
当缓存库容量a为第三预设缓存库容量A3时,设定缓存库的剩余量阈值d为第三预设剩余量阈值D3;
当缓存库容量a为第四预设缓存库容量A4时,设定缓存库的剩余量阈值d为第四预设剩余量阈值D4;
具体而言,根据缓存库的剩余量值与需缓存软件的预测软件缓存数据值,生成第一差值,并根据第一差值与剩余量阈值矩阵D之间的关系,生成判断结果:
当第一差值小于剩余量阈值时,选择下一缓存库。
具体而言,第一差值为缓存库的剩余量值减去需缓存软件的预测软件缓存数据值,其第一差值出现负数时直接选择下一缓存库,当第一差值为正数时,进行判别。
本申请实施例优选实施例中,需缓存软件重新选定缓存库具体为:
当缓存文件缓存时,生成第一时间戳和可储存时间;
当到达预设时间节点时,获取全部缓存文件的第一时间戳,并根据预设时间节点和第一时间戳生成已储存时间,根据缓存文件的可储存时间与已储存时间的关系判断是否清除缓存文件;
当清理完成后,重新根据磁盘内的已缓存文件数据和剩余容量数据生成若干缓存库,需缓存软件根据缓存顺序重新选择缓存库。
具体而言,生成可储存时间时,预设第一可储存时间和第二可储存时间;
具体而言,第二可储存时间需人工设定,若设定第二储存时间,则缓存文件的可储存时间为第一可储存时间,若未设定第二可储存时间,则缓存文件的可储存时间为第一可储存时间。
可以理解的是,上述实施例中,通过预设时间节点,实现对于磁盘中缓存文件的定期清理,在清理完成后,重新生成缓存库,动态调整缓存库,避免了用户磁盘单一区域频繁读写,使得读写压力分散,使用户磁盘更长寿
本申请实施例优选实施例中,当达到预设缓存阈值时,获取实时的时间节点和缓存库中全部缓存文件的第一时间戳,并生成已储存时间,根据缓存文件的可储存时间与已储存时间的关系进行初次清理;
当达到预设时间节点时,对缓存文件进行二次清理。
具体而言,初次清理仅针对超过预设缓存阈值的缓存库,二次清理针对全部磁盘的缓存库,其二次清理过程为到达预设时间节点时的清理过程。
可以理解的是,上述实施例中并通过设置默认的第一可储存时间和可根据实际情况设定的第二储存时间,在清理时无需对全部缓存文件逐个扫描,仅需获取可储存时间和已储存时间即可进行判断,并进行清理,从而节省了处理资源和处理时间,可以提高磁盘清理的效率。
根据本申请的第一构思,根据用户的磁盘使用情况,建立若干缓存库,设定剩余容量数据矩阵和缓存库容量矩阵,根据磁盘的实时剩余容量设定磁盘的缓存库容量,避免磁盘空间的浪费,同时根据预设时间节点,动态调整缓存库,避免了用户磁盘单一区域频繁读写,使得读写压力分散,使用户磁盘更长寿。
根据本申请的第二构思,通过在缓存文件时,生成当缓存文件缓存时,生成第一时间戳和可储存时间,并通过设置默认的第一可储存时间和可根据实际情况设定的第二储存时间,在清理时无需对全部缓存文件逐个扫描,仅需获取可储存时间和已储存时间即可进行判断,并进行清理,从而节省了处理资源和处理时间,可以提高磁盘清理的效率。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
Claims (10)
1.一种多磁盘的缓存文件管理方法,其特征在于,包括:
步骤一:获取全部磁盘的缓存文件数据和剩余容量数据,并根据磁盘内的已缓存文件数据和剩余容量数据生成若干缓存库;
步骤二:需缓存软件根据缓存顺序选择缓存库,并在选定的缓存库中创建缓存文件;
步骤三:当到达预设时间节点或缓存数据达到预设缓存阈值时,获取缓存库中缓存文件数据进行清理,需缓存软件重新选定缓存库。
2.如权利要求1所述的多磁盘的缓存文件管理方法,其特征在于,所述根据磁盘内缓存文件数据和剩余容量数据生成若干缓存库,具体为:
获取全部磁盘的已缓存文件数据,判断是否超过预设缓存阈值,若磁盘的已缓存文件大于预设缓存阈值,则不建立缓存库,若所述磁盘的已缓存文件小于预设缓存阈值,则标记磁盘;
获取全部标记磁盘的剩余容量数据,并根据标记磁盘的剩余容量数据建立不同容量的缓存库。
3.如权利要求2所述的多磁盘的缓存文件管理方法,其特征在于,所述根据剩余容量数据建立不同容量的缓存库具体为:
预设缓存库容量矩阵A,设定A(A1,A2,A3,A4),其中A1为第一预设缓存库容量,A2为第二预设缓存库容量,A3为第三预设缓存库容量,A4为第四预设缓存库容量,且A1<A2<A3<A4;
预设剩余容量数据矩阵B,设定B(B1,B2,B3,B4),其中B1为第一预设剩余容量,B2为第二预设剩余容量,B3为第三预设剩余容量,B4为第四预设剩余容量,其中,B1<B2<B3<B4;
获取磁盘的实时剩余容量b,并根据磁盘的实时剩余容量b设定磁盘的缓存库容量a,其具体为:
当B1<b<B2时,设定磁盘的缓存库容量a为第一预设缓存库容量A1;
当B2<b<B3时,设定磁盘的缓存库容量a为第二预设缓存库容量A2;
当B3<b<B4时,设定磁盘的缓存库容量a为第三预设缓存库容量A3;
当b>B4时,设定磁盘的缓存库容量a为第四预设缓存库容量A4。
4.如权利要求3所述的多磁盘的缓存文件管理方法,其特征在于,所述步骤二包括:
根据缓存库容量矩阵A生成缓存库选择顺序,其具体为:
其缓存库容量为A4的缓存库为第一选择等级C1,缓存库容量为A3的缓存库为第二选择等级C2,缓存库容量为A2的缓存库为第三选择等级C3,缓存库容量为A1的缓存库为第四选择等级C4,其中优先性C1>C2>C3>C4。
5.如权利要求4所述的多磁盘的缓存文件管理方法,其特征在于,所述需缓存软件根据缓存顺序选择缓存库时,包括:
预设第一时间间隔,获取需缓存软件的历史缓存数据量,并根据第一时间间隔生成若干历史缓存数据值;
根据若干缓存历史数据值生成预测软件缓存数据值,并根据预测软件缓存数据值选择缓存库。
6.如权利要求5所述的多磁盘的缓存文件管理方法,其特征在于,所述根据预测软件缓存数据值选择缓存库时,包括:
根据需缓存软件的预测软件缓存数据值生成缓存顺序,根据缓存顺序选择缓存库;
当每个需缓存软件完成选择后,获取该需缓存软件的预测软件缓存数据值和选择的缓存库的缓存库容量值并生成剩余量值;
判断下一需缓存软件的预测软件缓存数据值与剩余量值之间的关系,判断是否选择下一个缓存库。
7.如权利要求6所述的多磁盘的缓存文件管理方法,其特征在于,判断是否选择下一个缓存库时,包括:
预设剩余量阈值矩阵D(D1,D2,D3,D4),其中,D1为第一预设剩余量阈值,D2为第二预设剩余量阈值,D3为第三预设剩余量阈值,D4为第四预设剩余量阈值,且D1<D2<D3<D4;
根据缓存库容量a,设定缓存库的剩余量阈值d,其具体为:
当缓存库容量a为第一预设缓存库容量A1时,设定缓存库的剩余量阈值d为第一预设剩余量阈值D1;
当缓存库容量a为第二预设缓存库容量A2时,设定缓存库的剩余量阈值d为第二预设剩余量阈值D2;
当缓存库容量a为第三预设缓存库容量A3时,设定缓存库的剩余量阈值d为第三预设剩余量阈值D3;
当缓存库容量a为第四预设缓存库容量A4时,设定缓存库的剩余量阈值d为第四预设剩余量阈值D4;
根据缓存库的剩余量值与需缓存软件的预测软件缓存数据值,生成第一差值,并根据第一差值与剩余量阈值矩阵D之间的关系,生成判断结果:
当第一差值小于剩余量阈值时,选择下一缓存库。
8.如权利要求2所述的多磁盘的缓存文件管理方法,其特征在于,所述步骤三包括:
当缓存文件缓存时,生成第一时间戳和可储存时间;
当到达所述预设时间节点时,获取全部缓存文件的第一时间戳,并根据所述预设时间节点和第一时间戳生成已储存时间,根据缓存文件的可储存时间与已储存时间的关系判断是否清除缓存文件;
当清理完成后,重新根据磁盘内的已缓存文件数据和剩余容量数据生成若干缓存库,需缓存软件根据缓存顺序重新选择缓存库。
9.如权利要求8所述的多磁盘的缓存文件管理方法,其特征在于,所述步骤三还包括:
当达到预设缓存阈值时,获取实时的时间节点和缓存库中全部缓存文件的第一时间戳,并生成已储存时间,根据缓存文件的可储存时间与已储存时间的关系进行初次清理;
当达到预设时间节点时,对缓存文件进行二次清理。
10.如权利要求8所述的多磁盘的缓存文件管理方法,其特征在于,生成可储存时间时,包括:
预设第一可储存时间和第二可储存时间;
其中,第二可储存时间需人工设定,若设定第二储存时间,则缓存文件的可储存时间为第一可储存时间,若未设定第二可储存时间,则缓存文件的可储存时间为第一可储存时间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210956973.7A CN115390752B (zh) | 2022-08-10 | 2022-08-10 | 一种多磁盘的缓存文件管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210956973.7A CN115390752B (zh) | 2022-08-10 | 2022-08-10 | 一种多磁盘的缓存文件管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115390752A true CN115390752A (zh) | 2022-11-25 |
CN115390752B CN115390752B (zh) | 2023-04-18 |
Family
ID=84117872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210956973.7A Active CN115390752B (zh) | 2022-08-10 | 2022-08-10 | 一种多磁盘的缓存文件管理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115390752B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116627920A (zh) * | 2023-07-24 | 2023-08-22 | 华能信息技术有限公司 | 一种基于工业互联网的数据存储方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004220479A (ja) * | 2003-01-17 | 2004-08-05 | Fuji Photo Film Co Ltd | ディスクキャッシュ装置 |
CN104298467A (zh) * | 2013-07-17 | 2015-01-21 | 合一网络技术(北京)有限公司 | 一种p2p缓存文件管理方法和装置 |
CN105335102A (zh) * | 2015-10-10 | 2016-02-17 | 浪潮(北京)电子信息产业有限公司 | 一种缓存数据处理方法及装置 |
CN106354724A (zh) * | 2015-07-15 | 2017-01-25 | 阿里巴巴集团控股有限公司 | 文件存档方法、文件读取方法及装置 |
CN106569733A (zh) * | 2015-10-12 | 2017-04-19 | 北京国双科技有限公司 | 缓存数据的处理方法和装置 |
CN107783721A (zh) * | 2016-08-25 | 2018-03-09 | 华为技术有限公司 | 一种数据的处理方法和物理机 |
CN110134652A (zh) * | 2019-05-10 | 2019-08-16 | Oppo广东移动通信有限公司 | 缓存文件的回收方法、装置、电子设备及存储介质 |
CN110377228A (zh) * | 2019-06-19 | 2019-10-25 | 深圳壹账通智能科技有限公司 | 区块链节点的自动扩容方法、装置、运维终端及存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102333079A (zh) * | 2011-02-25 | 2012-01-25 | 北京兴宇中科科技开发股份有限公司 | 一种磁盘空间清理方法 |
CN103678638B (zh) * | 2013-12-20 | 2018-10-19 | 厦门雅迅网络股份有限公司 | 一种基于磁盘的对象缓存方法 |
CN108228478A (zh) * | 2018-01-05 | 2018-06-29 | 湖南国科微电子股份有限公司 | 一种ssd写性能的提高方法及装置 |
CN110196683B (zh) * | 2018-09-05 | 2021-09-07 | 腾讯科技(深圳)有限公司 | 一种操作控制的方法、装置、终端设备和介质 |
CN110162272B (zh) * | 2019-05-23 | 2020-06-12 | 北京邮电大学 | 一种内存计算缓存管理方法及装置 |
CN112929400A (zh) * | 2019-12-06 | 2021-06-08 | 中国电力科学研究院有限公司 | 一种分布式缓存库数据重均衡方法和*** |
CN111488127B (zh) * | 2020-04-16 | 2023-01-10 | 苏州浪潮智能科技有限公司 | 基于磁盘簇的数据并行存储方法、装置以及数据读取方法 |
CN111880734A (zh) * | 2020-07-24 | 2020-11-03 | 北京浪潮数据技术有限公司 | 一种数据处理方法、***、电子设备及存储介质 |
CN113138945B (zh) * | 2021-04-16 | 2023-11-21 | 宜通世纪科技股份有限公司 | 一种数据缓存方法、装置、设备及介质 |
-
2022
- 2022-08-10 CN CN202210956973.7A patent/CN115390752B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004220479A (ja) * | 2003-01-17 | 2004-08-05 | Fuji Photo Film Co Ltd | ディスクキャッシュ装置 |
CN104298467A (zh) * | 2013-07-17 | 2015-01-21 | 合一网络技术(北京)有限公司 | 一种p2p缓存文件管理方法和装置 |
CN106354724A (zh) * | 2015-07-15 | 2017-01-25 | 阿里巴巴集团控股有限公司 | 文件存档方法、文件读取方法及装置 |
CN105335102A (zh) * | 2015-10-10 | 2016-02-17 | 浪潮(北京)电子信息产业有限公司 | 一种缓存数据处理方法及装置 |
CN106569733A (zh) * | 2015-10-12 | 2017-04-19 | 北京国双科技有限公司 | 缓存数据的处理方法和装置 |
CN107783721A (zh) * | 2016-08-25 | 2018-03-09 | 华为技术有限公司 | 一种数据的处理方法和物理机 |
CN110134652A (zh) * | 2019-05-10 | 2019-08-16 | Oppo广东移动通信有限公司 | 缓存文件的回收方法、装置、电子设备及存储介质 |
CN110377228A (zh) * | 2019-06-19 | 2019-10-25 | 深圳壹账通智能科技有限公司 | 区块链节点的自动扩容方法、装置、运维终端及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116627920A (zh) * | 2023-07-24 | 2023-08-22 | 华能信息技术有限公司 | 一种基于工业互联网的数据存储方法 |
CN116627920B (zh) * | 2023-07-24 | 2023-11-07 | 华能信息技术有限公司 | 一种基于工业互联网的数据存储方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115390752B (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10049040B2 (en) | Just in time garbage collection | |
CN103688247B (zh) | 混合slc/mlc存储器中的块管理方案 | |
US9329995B2 (en) | Memory device and operating method thereof | |
CN1085863C (zh) | 计算机***的存储器管理*** | |
CN106547476B (zh) | 用于数据存储***的方法和装置 | |
JP4185058B2 (ja) | フラッシュメモリのリマッピング方法 | |
CN102436353B (zh) | 半导体存储器控制装置 | |
US8312217B2 (en) | Methods and systems for storing data blocks of multi-streams and multi-user applications | |
JP5955877B2 (ja) | システム、記憶デバイスおよび記憶空間割当方法 | |
CN111427969B (zh) | 一种分级存储***的数据替换方法 | |
US20080313505A1 (en) | Flash memory wear-leveling | |
CN103608782A (zh) | Lsb页面和msb页面中的选择性数据存储 | |
CN1466060A (zh) | 闪速存储器文件*** | |
CN112346666B (zh) | 基于ocssd的键值存储***的写、块粒度压缩合并方法和*** | |
CN109947363A (zh) | 一种分布式存储***的数据缓存方法 | |
CN109471594B (zh) | 一种mlc闪存读写方法 | |
CN115390752B (zh) | 一种多磁盘的缓存文件管理方法 | |
CN109558333B (zh) | 具有可变额外存储空间的固态存储设备命名空间 | |
CN113626431A (zh) | 一种基于lsm树的延迟垃圾回收的键值分离存储方法及*** | |
US20170123975A1 (en) | Centralized distributed systems and methods for managing operations | |
CN101441597B (zh) | 可调式混合密度内存储存装置的控制方法及其热门数据控管模块 | |
CN117891412B (zh) | 一种基于zns固态硬盘的坏块映射方法 | |
CN116364148A (zh) | 一种面向分布式全闪存储***的磨损均衡方法及*** | |
CN108897618B (zh) | 一种异构内存架构下基于任务感知的资源分配方法 | |
US7752405B2 (en) | Data recording apparatus, program product, and data recording method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: Room 1105-40, 11th Floor, No. 1155 Oujiang Road, Lucheng District, Wenzhou City, Zhejiang Province, 310019 Patentee after: Zhongke Haolian (Wenzhou) Technology Co.,Ltd. Country or region after: China Address before: 310000 room 811, yinzun, Zunbao building, Shangcheng District, Hangzhou City, Zhejiang Province Patentee before: Zhongke Haolian (Hangzhou) Technology Co.,Ltd. Country or region before: China |
|
CP03 | Change of name, title or address |