CN111813740A - 一种文件分层存储方法及服务器 - Google Patents
一种文件分层存储方法及服务器 Download PDFInfo
- Publication number
- CN111813740A CN111813740A CN201910291050.2A CN201910291050A CN111813740A CN 111813740 A CN111813740 A CN 111813740A CN 201910291050 A CN201910291050 A CN 201910291050A CN 111813740 A CN111813740 A CN 111813740A
- Authority
- CN
- China
- Prior art keywords
- target file
- access
- file
- storage
- access heat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000004590 computer program Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000005012 migration Effects 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000010076 replication Effects 0.000 description 3
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003362 replicative effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1727—Details of free space management performed by the file system
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种文件分层存储方法,用于解决现有技术中对冷热文件判断粗略,不能真实反应文件的冷热程度,致使文件分层存储不准确,不能合理分配和有效利用不同性能的存储设备,实用性较低。方法包括:基于当前时刻之前预定时间段内目标文件的平均访问频率,以及所述目标文件的平均访问比例,确定所述目标文件的访问热度;基于所述目标文件的访问热度,将所述目标文件存储在与所述访问热度匹配的存储层级上。本申请还公开了一种服务器。
Description
技术领域
本发明实施例涉及存储技术领域,尤其涉及一种文件分层存储方法及服务器。
背景技术
随着社会的发展,各企业所需存储的数据量越来越大,存储的数据种类也越来越多。通常各个企业会购买其他的存储设备来达到亟需扩容的目的,由于购买的存储设备的性能不统一,因此,如何合理分配和有效利用这些不同性能的存储设备至关重要。
目前,通过对企业***的文件进行冷热程度判断,再对判断出的冷热文件进行分层存储,来合理分配和有效利用这些不同性能的存储设备。但现有的文件分层存储方法中,对文件的冷热程度的判断基于自上次访问时间,具体为:如文件a上次访问时间atime是201805031400,若计划在201805031500执行文件分层,文件a的冷热度=60;如文件b上次访问时间atime是201805031000,若计划在201805031500执行文件分层,文件b的冷热度=300。可见,计算自上次访问文件以来的时间的方法是:执行分层命令执行的时间减去文件的上次访问时间atime。但是,此种判断文件的冷热程度的方式存在如下缺点:
第一种,如果有些文件在分层命令执行之前打开,自上次访问以来的时间是一天,即使这些文件可能是前一个月处于非活动状态的冷文件。在进行这些文件存储分层过程中,这种冷文件显然会判定为热文件,从而不会存储在低性能存储设备中,导致大量不常使用的文件对应的数据继续占用高性能存储设备。
第二种,如果有些文件在每周/每月的某几个固定时间都会进行大量读/写(I/O)操作,显然,这些文件为热文件。但是,在进行这些文件存储分层时指定3天前未活动的文件为冷文件,可能会把这些文件重新迁移至低性能存储设备上。
因此,现有技术中的文件分层存储方法对冷热文件判断粗略,无法真实的反应文件的冷热程度,致使文件分层存储不准确,不能合理分配和有效利用不同性能的存储设备,实用性较低。
发明内容
本发明实施例提供一种文件分层存储方法及服务器,用于解决现有技术中对冷热文件判断粗略,不能真实反应文件的冷热程度,致使文件分层存储不准确,不能合理分配和有效利用不同性能的存储设备,实用性较低的问题。
本发明实施例采用下述技术方案:
第一方面,提供了一种文件分层存储方法,所述方法包括:
基于当前时刻之前预定时间段内目标文件的平均访问频率,以及所述目标文件的平均访问比例,确定所述目标文件的访问热度;
基于所述目标文件的访问热度,将所述目标文件存储在与所述访问热度匹配的存储层级上。
第二方面,提供了一种服务器,所述服务器包括:
第一确定模块,用于基于当前时刻之前预定时间段内目标文件的平均访问频率,以及所述目标文件的平均访问比例,确定所述目标文件的访问热度;
存储模块,用于基于所述目标文件的访问热度,将所述目标文件存储在与所述访问热度匹配的存储层级上。
第三方面,提供了一种服务器,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如下操作:
基于当前时刻之前预定时间段内目标文件的平均访问频率,以及所述目标文件的平均访问比例,确定所述目标文件的访问热度;
基于所述目标文件的访问热度,将所述目标文件存储在与所述访问热度匹配的存储层级上。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如下操作:
基于当前时刻之前预定时间段内目标文件的平均访问频率,以及所述目标文件的平均访问比例,确定所述目标文件的访问热度;
基于所述目标文件的访问热度,将所述目标文件存储在与所述访问热度匹配的存储层级上。
本发明实施例采用的上述至少一个技术方案能够达到以下有益效果:
本发明实施例提供的文件分层存储方法,通过基于当前时刻之前预定时间段内目标文件的平均访问频率,以及目标文件的平均访问比例,确定该目标文件的访问热度,能够真实、准确反应目标文件的访问冷热程度,为目标文件分层存储提供依据;基于该目标文件的访问热度,将目标文件存储在与该访问热度匹配的存储层级上,以基于目标文件的访问热度进行分层存储,以便能合理分配和有效利用不同性能的存储设备,实用性较高。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本说明书的一个实施例提供的文件分层存储方法流程示意图;
图2为本说明书的一个实施例提供的文件分层存储方法的实际应用场景示意图之一;
图3为本说明书的一个实施例提供的文件分层存储方法的实际应用场景示意图之二;
图4为本说明书的一个实施例提供的文件分层存储方法的实际应用场景示意图之三;
图5为本说明书的一个实施例提供的文件分层存储方法的实际应用场景示意图之四;
图6为本说明书的一个实施例提供的服务器结构示意图之一;
图7为本说明书一个实施例提供的服务器结构示意图之二。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本发明实施例提供一种文件分层存储方法及服务器,以解决现有技术中对冷热文件判断粗略,不能真实反应文件的冷热程度,致使文件分层存储不准确,不能合理分配和有效利用不同性能的存储设备,实用性较低的问题。本发明实施例提供一种文件分层存储方法,该方法的执行主体,可以但不限于应用程序、服务器或能够被配置为执行本发明实施例提供的该方法的装置或***。
为便于描述,下文以该方法的执行主体为能够执行该方法的服务器为例,对该方法的实施方式进行介绍。可以理解,该方法的执行主体为服务器只是一种示例性的说明,并不应理解为对该方法的限定。
图1为本发明实施例提供的文件分层存储方法的流程图,图1的方法可以由服务器执行,如图1所示,该方法可以包括:
步骤101、基于当前时刻之前预定时间段内目标文件的平均访问频率,以及所述目标文件的平均访问比例,确定所述目标文件的访问热度。
该当前时刻之前预定时间段可以根据实际需求设定,本发明实施例不做具体限定。该当前时刻可以为用户自定义的时刻,该预定时间段可以以“天”为单位。
示例性的,该预定时间段可以为单位时间,如1天;或者,该预定时间段也可以为0.5倍的单位时间,如0.5天;再或者,该预定时间段还可以为5倍的单位时间,如5天。
该平均访问频率,可以指单位时间内文件的总读写次数,即文件总读写次数除以单位时间。
示例性的,在2天内有20个文件的读/写(I/O)请求,该文件的平均访问频率为20÷2天=10;
该平均访问的比例,可以指单位时间内文件读的总大小或文件写的总大小,占总文件大小的比例,即单位时间内文件读/写的总大小除以总文件的大小。
示例性的,如果文件总大小为2MB,且该文件在最近三天被完全读取或写入15次,则平均访问比例为15*2MB÷2MB÷3天=5。
该访问热度可以分为冷、温和热三个等级,当然,也可以分为多个等级,本发明实施例不再一一列举。
本步骤具体可实现为:
若所述平均访问频率大于等于第一阈值,且所述平均访问比例大于等于第二阈值,则确定所述目标文件的访问热度为热;
若所述平均访问频率大于等于第一阈值,且所述平均访问比例小于第二阈值,则确定所述目标文件的访问热度为温;
若所述平均访问频率小于第一阈值,且所述平均访问比例大于等于第二阈值,则确定所述目标文件的访问热度为温;
若所述平均访问频率小于第一阈值,且所述平均访问比例小于第二阈值,则确定所述目标文件的访问热度为冷。
其中,第一阈值和第二阈值均可根据现实具体环境及要求由用户自定义设置的。
示例性的,假设第一阈值为a,第二阈值为b,则本步骤具体实现可以为:
若文件的平均访问频率>=a且文件的平均访问比例>=b,则该文件的访问热度为热;
若文件的平均访问频率>=a且文件的平均访问比例<b或文件的平均访问频率<a且文件的平均访问比例>=b,则该文件的访问热度为温;
若文件的平均访问频率<a且文件的平均访问比例<b,则该文件的访问热度为冷。
在实际应用中,例如:指定每周对app文件***进行一次数据冷热分层,文件的平均访问频率的参考值a=10,文件的平均访问比例的参考值b=50,单位时间设为7天,文件α的大小、文件β的大小、文件γ的大小和7天内完全读取次数、部分读取次数和总读取量及相应的文件的访问热度判定,如表1所示:
表1
步骤102、基于所述目标文件的访问热度,将所述目标文件存储在与所述访问热度匹配的存储层级上。
假设某***内可能存在3种以至于更多的存储设备,这些存储设备的存储性能不同,通常以IOPS为指标作为存储性能的判断依据,IOPS值越大,存储性能越好。例如,
IOPS≥100万次为高端存储设备,用于存储热数据,则访问热度为热的文件存储在高端存储上;
100万>IOPS≥10万次为中端存储设备,用于存储温数据,访问热度为温的文件存储在中端存储设备上;
IOPS<10万次为低端存储设备,用于存储冷数据,则访问热度为冷的文件存储在低端存储设备上。
示例性的,主机的某app***上有存储设备1、存储设备2、存储设备3。存储设备1、存储设备2和存储设备3的IOPS分别为2000000、500000、80000。
那么,目标文件的访问热度确认后,将访问热度为热的目标文件存放在存储设备1上,访问热度为温的目标文件存放在存储设备2上,访问热度为冷的目标文件存放在存储设备3上。
本发明实施例提供的文件分层存储方法,通过基于当前时刻之前预定时间段内目标文件的平均访问频率,以及目标文件的平均访问比例,确定该目标文件的访问热度,能够真实、准确反应目标文件的访问冷热程度,为目标文件分层存储提供依据;基于该目标文件的访问热度,将目标文件存储在与该访问热度匹配的存储层级上,以基于目标文件的访问热度进行分层存储,以便能合理分配和有效利用不同性能的存储设备,实用性较高。
作为一个实施例,步骤102具体可实现为:
基于所述目标文件的访问热度,确定所述目标文件的当前所属存储层级;
判断所述当前所属存储层级是否与所述目标文件的原存储层级相同;
若否,则执行将所述目标文件由所述原存储层级迁移至所述当前所属存储层级上并存储的操作;
若是,则无需执行迁移操作。
示例性的,沿用上述示例,假设主机的某app***上有存储设备1(IOPS=2000000)、存储设备2(IOPS=500000)、存储设备3(IOPS=80000),文件α、文件β、文件γ目前均存储在存储1上(如图2所示)。
根据本步骤可实现为:根据文件α、文件β、文件γ的访问热度可以分别确定文件α、文件β、文件γ所属层级,根据文件α、文件β、文件γ所属层级判断文件α、文件β、文件γ原存储层级是否相同,若相同,则无需迁移文件α、文件β、文件γ;若不相同,则需要迁移文件α、文件β、文件γ,具体如表2和表3所示:
表2
文件名 | 文件的访问热度 | 原存储层级 | 是否迁移 | 所属层级 |
α | 热 | 存储设备1 | 否 | 存储设备1 |
β | 温 | 存储设备1 | 是 | 存储设备2 |
γ | 冷 | 存储设备1 | 是 | 存储设备3 |
表3
文件名 | 寻址 | 数据块 | 寻址 | 数据块 | 寻址 | 数据块 | 寻址 | 数据块 |
α | 0x1 | 00D | 0x2 | E05 | 0x3 | A32 | 0x4 | DD3 |
β | 0x5 | 00D | 0x6 | E05 | 0x7 | DD3 | 0x8 | A38 |
γ | 0x9 | E05 | 0x10 | DD3 | 0x11 | 32F | …… | …… |
作为一个实施例,所述执行将所述目标文件由所述原存储层级迁移至所述当前所属存储层级上的操作,具体可实现为:
在所述当前所属存储层级上同步所述目标文件在所述原存储层级上的数据块;
更改所述目标文件的文件指针,使所述文件指针指向所述当前所属存储层级的数据块对应的地址。
示例性的,以文件β为例:通过数据块的复制和同步,在存储设备2(简化为存储2)上创建与存储设备1(简化为存储1)上相同的β文件的数据块,创建完成后更改β文件的文件指针,即完成迁移,如图3所示。
作为一个实施例,在所述当前所属存储层级上同步所述目标文件在所述原存储层级上的数据块之前,包括:
确定所述目标文件的访问热度变化情况;
若所述目标文件的访问热度变小(如,访问热度由热向温转变,或者,访问热度由温向冷转变,或者,访问热度由热向冷转变),则所述在所述当前所属存储层级上同步所述目标文件在所述原存储层级上的数据块,包括:
确定所述目标文件在当前所属存储层级上的数据块与在所述原存储层级上的数据块是否相同;
若是,则更改所述目标文件的文件指针,使所述文件指针指向所述当前所属存储层级的数据块对应的地址;
若否,则在所述当前所属存储层级上同步复制所述目标文件在所述原存储层级上的数据块。
示例性的,沿用上述示例,若目标文件γ的访问热度变小,则目标文件γ从存储设备1(简称存储1)向存储设备3(简称存储3)迁移。那么需要确定目标文件γ在所属层级上(即存储3)的数据块与在原存储层级上(即存储1)的数据块是否相同,如图3中存储1和存储3的表,确定目标文件γ的块数据E05和数据块DD3在存储3上已经存在,故只需更改目标文件γ的文件指针即可;确定目标文件γ的数据块32F在存储3上无对应的数据块,故在需要复制同步该数据块并更改目标文件γ的文件指针。
本发明实施例,通过确定目标文件的访问热度变化情况,若目标文件的访问热度变小,则确定目标文件在当前所属存储层级上的数据块与在原存储层级上的数据块是否相同,若相同,则更改目标文件的文件指针,使文件指针指向当前所属存储层级的数据块对应的地址,实现对目标文件进行迁移且压缩,将访问热度为冷的目标文件以压缩的方式存储在性能要求不高的存储设备上,提高存储设备的可利用空间,提高了存储空间的利用率,减少成本。
作为一个实施例,在所述当前所属存储层级上同步所述目标文件在所述原存储层级上的数据块之前,包括:
确定所述目标文件的访问热度变化情况;
若所述目标文件的访问热度变大(如,访问热度由冷向温转变,或者,访问热度由温向热转变,或者,访问热度由冷向热转变),则所述在所述当前所属存储层级上同步复制所述目标文件在所述原存储层级上的数据块。具体实现为:
示例性的,沿用上述示例,若目标文件γ的访问热度变大,目标文件γ从存储设备3(简称存储3)向存储设备2(简称存储2)迁移,如图5所示。那么,只需根据目标文件的文件指针指的数据库对应的地址,在存储2上创建与存储3相同的数据块即可。其中,文件寻址则为数据块的实际位置。
本发明实施例,通过确定目标文件的访问热度变化情况,若目标文件的访问热度变大,则在当前所属存储层级上同步目标文件在所述原存储层级上的数据块,并更改文件指针,使文件指针指向当前所属存储层级的数据块对应的地址,实现对目标文件进行迁移且解压,将访问热度为热的目标文件以解压存储在性能要求高的存储设备上,保证了访问热度为热的目标文件的读写性能,保证业务的正常高速运行。
以上说明书部分详细介绍了文件分层存储方法实施例,如图6所示,本说明书还提供了一种服务器,如图6所示,该服务器600包括:
确定模块601,用于基于当前时刻之前预定时间段内目标文件的平均访问频率,以及所述目标文件的平均访问的比例,确定所述目标文件的访问热度;
存储模块602,用于基于所述目标文件的访问热度,将所述目标文件存储在与所述访问热度匹配的存储层级上。
可选地,作为一个实施例,所述确定模块601包括:
第一确定单元,用于若所述平均访问频率大于等于第一阈值,且所述平均访问比例大于等于第二阈值,则确定所述目标文件的访问热度为热;
第二确定单元,用于若所述平均访问频率大于等于第一阈值,且所述平均访问比例小于第二阈值,则确定所述目标文件的访问热度为温;
第三确定单元,用于若所述平均访问频率小于第一阈值,且所述平均访问比例大于等于第二阈值,则确定所述目标文件的访问热度为温;
第四确定单元,用于若所述平均访问频率小于第一阈值,且所述平均访问比例小于第二阈值,则确定所述目标文件的访问热度为冷。
可选地,作为一个实施例,所述存储模块602包括:
第五确定单元,用于基于所述目标文件的访问热度,确定所述当前所属存储层级;
判断单元,用于判断所述当前所属存储层级是否与所述目标文件的原存储层级相同;
第一执行单元,用于若当前所属存储层级与所述目标文件的原存储层级不相同,则执行将所述目标文件由所述原存储层级迁移至所述当前所属存储层级上并存储的操作。
可选地,作为一个实施例,所述存储模块602包括:
第二执行单元,用于若当前所属存储层级与所述目标文件的原存储层级相同,则无需执行迁移操作。
可选地,作为一个实施例,所述第一执行单元包括:
同步子单元,用于在所述当前所属存储层级上同步所述目标文件在所述原存储层级上的数据块;
更改子单元,用于更改所述目标文件的文件指针,使所述文件指针指向所述当前所属存储层级的数据块对应的地址。
可选地,作为一个实施例,所述第一执行单元包括:
第一确定子单元,用于确定所述目标文件的访问热度变化情况;
若所述目标文件的访问热度变小,则所述同步子单元包括:
第二确定子单元,用于确定所述目标文件在当前所属存储层级上的数据块与在所述原存储层级上的数据块是否相同;
更改子单元,用于若确定所述目标文件在当前所属存储层级上的数据块与在所述原存储层级上的数据块相同,则更改所述目标文件的文件指针,使所述文件指针指向所述当前所属存储层级的数据块对应的地址。
可选地,作为一个实施例,若所述目标文件的访问热度变大,则所述同步子单元包括:
第一同步复制子单元,用于在所述当前所属存储层级上同步复制所述目标文件在所述原存储层级上的数据块。
可选地,作为一个实施例,若所述目标文件的访问热度由高向低转变,则所述同步子单元包括:
第二同步复制子单元,用于若确定所述目标文件在当前所属存储层级上的数据块与在所述原存储层级上的数据块不相同,则在所述当前所属存储层级上同步复制所述目标文件在所述原存储层级上的数据块。
本发明实施例提供的文件分层存储方法,通过基于当前时刻之前预定时间段内目标文件的平均访问频率,以及目标文件的平均访问比例,确定该目标文件的访问热度,能够真实、准确反应目标文件的访问冷热程度,为目标文件分层存储提供依据;基于该目标文件的访问热度,将目标文件存储在与该访问热度匹配的存储层级上,以基于目标文件的访问热度进行分层存储,以便能合理分配和有效利用不同性能的存储设备,实用性较高。
下面将结合图7详细描述根据本发明实施例的服务器。参考图7,在硬件层面,服务器包括处理器,可选地,包括内部总线、网络接口、存储器。其中,如图7所示,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该服务器还可能包括实现其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外设部件互连标准(Peripheral Component Interconnect,PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture,EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成转发聊天信息的装置。处理器,执行存储器所存放的程序,并具体用于执行本说明书前文所述的方法实施例的操作。
上述图1至图6所示实施例揭示的方法、服务器执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
图7所示的服务器还可执行图1至图5的方法,并实现文件分层存储方法在图1至图5所示实施例的功能,本发明实施例在此不再赘述。
当然,除了软件实现方式之外,本申请的服务器并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述各个方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种文件分层存储方法,其特征在于,包括:
基于当前时刻之前预定时间段内目标文件的平均访问频率,以及所述目标文件的平均访问比例,确定所述目标文件的访问热度;
基于所述目标文件的访问热度,将所述目标文件存储在与所述访问热度匹配的存储层级上。
2.根据权利要求1所述的方法,其特征在于,
所述基于当前时刻之前预定时间段内目标文件的平均访问频率,以及所述目标文件的平均访问比例,确定所述目标文件的访问热度,包括:
若所述平均访问频率大于等于第一阈值,且所述平均访问比例大于等于第二阈值,则确定所述目标文件的访问热度为热;
若所述平均访问频率大于等于第一阈值,且所述平均访问比例小于第二阈值,则确定所述目标文件的访问热度为温;
若所述平均访问频率小于第一阈值,且所述平均访问比例大于等于第二阈值,则确定所述目标文件的访问热度为温;
若所述平均访问频率小于第一阈值,且所述平均访问比例小于第二阈值,则确定所述目标文件的访问热度为冷。
3.根据权利要求2所述的方法,其特征在于,所述基于所述目标文件的访问热度,将所述目标文件存储在与所述访问热度匹配的存储层级上,包括:
基于所述目标文件的访问热度,确定所述目标文件的当前所属存储层级;
判断所述目标文件所属层级是否与所述目标文件的原存储层级相同;
若否,则执行将所述目标文件由所述原存储层级迁移至所述当前所属存储层级上并存储的操作。
4.根据权利要求3所述的方法,其特征在于,所述执行将所述目标文件由所述原存储层级迁移至所述当前所属存储层级上的操作,包括:
在所述当前所属存储层级上同步所述目标文件在所述原存储层级上的数据块;
更改所述目标文件的文件指针,使所述文件指针指向所述当前所属存储层级的数据块对应的地址。
5.根据权利要求4所述的方法,其特征在于,在所述当前所属存储层级上同步所述目标文件在所述原存储层级上的数据块之前,包括:
确定所述目标文件的访问热度变化情况;
若所述目标文件的访问热度变大,则所述在所述当前所属存储层级上同步所述目标文件在所述原存储层级上的数据块,包括:
在所述当前所属存储层级上同步复制所述目标文件在所述原存储层级上的数据块。
6.根据权利要求5所述的方法,其特征在于,
若所述目标文件的访问热度变小,则所述在所述当前所属存储层级上同步所述目标文件在所述原存储层级上的数据块,包括:
确定所述目标文件在当前所属存储层级上的数据块与在所述原存储层级上的数据块是否相同;
若是,则更改所述目标文件的文件指针,使所述文件指针指向所述当前所属存储层级的数据块对应的地址。
7.根据权利要求6所述的方法,其特征在于,
若所述目标文件的访问热度变小,则所述在所述当前所属存储层级上同步所述目标文件在所述原存储层级上的数据块,包括:
若否,则在所述当前所属存储层级上同步复制所述目标文件在所述原存储层级上的数据块。
8.一种服务器,其特征在于,包括:
确定模块,用于基于当前时刻之前预定时间段内目标文件的平均访问频率,以及所述目标文件的平均访问比例,确定所述目标文件的访问热度;
存储模块,用于基于所述目标文件的访问热度,将所述目标文件存储在与所述访问热度匹配的存储层级上。
9.一种服务器,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如下步骤:
基于当前时刻之前预定时间段内目标文件的平均访问频率,以及所述目标文件的平均访问比例,确定所述目标文件的访问热度;
基于所述目标文件的访问热度,将所述目标文件存储在与所述访问热度匹配的存储层级上。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
基于当前时刻之前预定时间段内目标文件的平均访问频率,以及所述目标文件的平均访问比例,确定所述目标文件的访问热度;
基于所述目标文件的访问热度,将所述目标文件存储在与所述访问热度匹配的存储层级上。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910291050.2A CN111813740A (zh) | 2019-04-11 | 2019-04-11 | 一种文件分层存储方法及服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910291050.2A CN111813740A (zh) | 2019-04-11 | 2019-04-11 | 一种文件分层存储方法及服务器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111813740A true CN111813740A (zh) | 2020-10-23 |
Family
ID=72843855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910291050.2A Pending CN111813740A (zh) | 2019-04-11 | 2019-04-11 | 一种文件分层存储方法及服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111813740A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022134345A1 (zh) * | 2020-12-25 | 2022-06-30 | 平安科技(深圳)有限公司 | 文件访问方法、装置、设备及可读存储介质 |
CN115543930A (zh) * | 2022-03-01 | 2022-12-30 | 荣耀终端有限公司 | 一种在内存中锁定文件的方法、装置及相关设备 |
CN117236236A (zh) * | 2023-11-10 | 2023-12-15 | 杭州行芯科技有限公司 | 一种芯片设计数据管理方法、装置、电子设备及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521260A (zh) * | 2011-11-18 | 2012-06-27 | 华为技术有限公司 | 数据预热方法及装置 |
CN102523279A (zh) * | 2011-12-12 | 2012-06-27 | 云海创想信息技术(无锡)有限公司 | 一种分布式文件***及其热点文件存取方法 |
CN103198027A (zh) * | 2013-02-27 | 2013-07-10 | 天脉聚源(北京)传媒科技有限公司 | 一种存储文件和提供文件的方法和装置 |
CN104199784A (zh) * | 2014-08-20 | 2014-12-10 | 浪潮(北京)电子信息产业有限公司 | 一种基于分级存储的数据迁移方法及装置 |
CN105653524A (zh) * | 2014-11-10 | 2016-06-08 | 阿里巴巴集团控股有限公司 | 一种数据存储方法、装置和*** |
CN105763508A (zh) * | 2014-12-16 | 2016-07-13 | 阿里巴巴集团控股有限公司 | 一种数据访问方法和应用服务器 |
CN106502576A (zh) * | 2015-09-06 | 2017-03-15 | 中兴通讯股份有限公司 | 迁移策略调整方法、容量变更建议方法及装置 |
CN107844269A (zh) * | 2017-10-17 | 2018-03-27 | 华中科技大学 | 一种基于一致性哈希的分层混合存储***及方法 |
CN109144411A (zh) * | 2018-07-24 | 2019-01-04 | 中国电子科技集团公司第三十八研究所 | 数据中心混合磁盘阵列及其数据动态迁移策略 |
CN109344092A (zh) * | 2018-09-11 | 2019-02-15 | 天津易华录信息技术有限公司 | 一种提高冷存储数据读取速度的方法和*** |
-
2019
- 2019-04-11 CN CN201910291050.2A patent/CN111813740A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521260A (zh) * | 2011-11-18 | 2012-06-27 | 华为技术有限公司 | 数据预热方法及装置 |
CN102523279A (zh) * | 2011-12-12 | 2012-06-27 | 云海创想信息技术(无锡)有限公司 | 一种分布式文件***及其热点文件存取方法 |
CN103198027A (zh) * | 2013-02-27 | 2013-07-10 | 天脉聚源(北京)传媒科技有限公司 | 一种存储文件和提供文件的方法和装置 |
CN104199784A (zh) * | 2014-08-20 | 2014-12-10 | 浪潮(北京)电子信息产业有限公司 | 一种基于分级存储的数据迁移方法及装置 |
CN105653524A (zh) * | 2014-11-10 | 2016-06-08 | 阿里巴巴集团控股有限公司 | 一种数据存储方法、装置和*** |
CN105763508A (zh) * | 2014-12-16 | 2016-07-13 | 阿里巴巴集团控股有限公司 | 一种数据访问方法和应用服务器 |
CN106502576A (zh) * | 2015-09-06 | 2017-03-15 | 中兴通讯股份有限公司 | 迁移策略调整方法、容量变更建议方法及装置 |
CN107844269A (zh) * | 2017-10-17 | 2018-03-27 | 华中科技大学 | 一种基于一致性哈希的分层混合存储***及方法 |
CN109144411A (zh) * | 2018-07-24 | 2019-01-04 | 中国电子科技集团公司第三十八研究所 | 数据中心混合磁盘阵列及其数据动态迁移策略 |
CN109344092A (zh) * | 2018-09-11 | 2019-02-15 | 天津易华录信息技术有限公司 | 一种提高冷存储数据读取速度的方法和*** |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022134345A1 (zh) * | 2020-12-25 | 2022-06-30 | 平安科技(深圳)有限公司 | 文件访问方法、装置、设备及可读存储介质 |
CN115543930A (zh) * | 2022-03-01 | 2022-12-30 | 荣耀终端有限公司 | 一种在内存中锁定文件的方法、装置及相关设备 |
CN115543930B (zh) * | 2022-03-01 | 2023-10-24 | 荣耀终端有限公司 | 一种在内存中锁定文件的方法、装置及相关设备 |
CN117236236A (zh) * | 2023-11-10 | 2023-12-15 | 杭州行芯科技有限公司 | 一种芯片设计数据管理方法、装置、电子设备及存储介质 |
CN117236236B (zh) * | 2023-11-10 | 2024-04-16 | 杭州行芯科技有限公司 | 一种芯片设计数据管理方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107450979B (zh) | 一种区块链共识方法及装置 | |
CN107391526B (zh) | 一种基于区块链的数据处理方法及设备 | |
CN104679661B (zh) | 混合存储的控制方法及混合存储*** | |
US9298389B2 (en) | Operating a memory management controller | |
CN110879800B (zh) | 数据写入、压缩和读取方法、数据处理方法及装置 | |
CN111813740A (zh) | 一种文件分层存储方法及服务器 | |
CN108628688B (zh) | 一种消息处理方法、装置及设备 | |
US10628200B2 (en) | Base state for thin-provisioned volumes | |
US20160274819A1 (en) | Memory system including host and a plurality of storage devices and data migration method thereof | |
CN109669640A (zh) | 一种数据存储方法、装置、电子设备及介质 | |
CN111708787A (zh) | 多中心业务数据管理*** | |
WO2024082787A1 (zh) | 一种创建表空间的方法、装置、存储介质及电子设备 | |
CN107632779B (zh) | 数据处理方法和装置、服务器 | |
CN110955720A (zh) | 一种数据加载方法、装置及*** | |
CN113434470B (zh) | 数据分布方法、装置及电子设备 | |
CN114442931A (zh) | 一种数据重删方法及***、电子设备、存储介质 | |
CN111475099A (zh) | 一种数据存储方法、装置及其设备 | |
CN111078127A (zh) | 数据迁移方法、***及装置 | |
US9690886B1 (en) | System and method for a simulation of a block storage system on an object storage system | |
US10901972B2 (en) | Table partition configuration method, apparatus and system for database system | |
US11200210B2 (en) | Method of efficient backup of distributed file system files with transparent data access | |
CN107102898B (zh) | 一种基于numa架构的内存管理、构建数据结构的方法及装置 | |
CN109558073A (zh) | 一种基于教育***的磁盘延长寿命的方法及电子设备 | |
CN116932196A (zh) | 融合***的数据处理方法、装置、设备和*** | |
CN107645541B (zh) | 数据存储方法、装置及服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201023 |