CN111367469B - 一种分层存储数据迁移方法和*** - Google Patents
一种分层存储数据迁移方法和*** Download PDFInfo
- Publication number
- CN111367469B CN111367469B CN202010094756.2A CN202010094756A CN111367469B CN 111367469 B CN111367469 B CN 111367469B CN 202010094756 A CN202010094756 A CN 202010094756A CN 111367469 B CN111367469 B CN 111367469B
- Authority
- CN
- China
- Prior art keywords
- file
- migration
- storage layer
- value
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013508 migration Methods 0.000 claims abstract description 147
- 230000005012 migration Effects 0.000 claims abstract description 147
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种分层存储数据迁移方法和***,所述方法包括如下步骤:获取文件的元数据信息;根据所述的元数据信息计算文件价值;根据文件价值产生文件迁移计划表;所述的文件迁移计划表内的迁移任务根据文件价值按优先级顺序排列;从文件迁移计划表里取出迁移任务,对文件在不同存储层上进行迁移。本发明提出访问模式与存储性能相匹配的文件价值判定方法能够有效提高文件迁移的准确性和匹配度,同时减少了数据迁移时对***性能的影响。
Description
技术领域
本发明涉及存储数据迁移管理技术领域,具体涉及一种分层存储数据迁移方法和***。
背景技术
计算机和通讯技术的发展,使得数据呈***式发展,数据的快速增长对存储***的高效利用提出了更高的要求。但是根据相关机构统计,大量的数据在创建后被访问的次数非常少,有的数据长期处于休眠状态,但数据却依然存放在昂贵的存储设备上,而企业通常希望将更重要的数据放在高性能的存储设备中,以获得更高的性能和利用率。因此越来越多的机构开始意识到分层存储的重要性。
分层存储是一种让数据在不同存储层次间进行迁移管理的技术。分层存储管理的出现是为了提供所需性能的同时,节约更多的成本。在所有数据中,访问频率较高的数据存放于高性能的存储层,而其他大部分数据存放于性能较低但是容量大且价格低廉的存储层,用户不需要知道数据存放在哪里,***会自动检索出数据。从存储介质的物理结构来看,分层存储最新的发展是机械硬盘和闪存的结合。存储***中的分层存储即将访问频率较高的热点数据存放在高速率存储层,例如SSD存储层,而将访问频率较低的冷数据存放在低速率存储层,例如HDD存储层上。而大部分基于文件的分层存储***数据迁移主要是根据数据的创建时间长短以及访问频率来决定,超过一定年限的数据或访问频率较低的文件放入低速的存储设备中,但是忽略了数据访问模式和不同层存储介质以及实际业务场景之间的关联,同时没有考虑业务本身的时效性和对存储***可能带来的波动性,导致存储设备的效率没有得到有效提升。
发明内容
针对而大部分基于文件的分层存储***数据迁移主要是根据数据的创建时间长短以及访问频率来决定,超过一定年限的数据或访问频率较低的文件放入低速的存储设备中,但是忽略了数据访问模式和不同层存储介质以及实际业务场景之间的关联,同时没有考虑业务本身的时效性和对存储***可能带来的波动性,导致存储设备的效率没有得到有效提升的问题,本发明提供一种基于数据价值的分层存储数据迁移方法和***。
本发明的技术方案是:
一方面,本发发明技术方案提供一种分层存储数据迁移方法,包括如下步骤:
获取文件的元数据信息;
根据所述的元数据信息计算文件价值;
根据文件价值产生文件迁移计划表;所述的文件迁移计划表内的迁移任务根据文件价值按优先级顺序排列;
从文件迁移计划表里取出迁移任务,对文件在不同存储层上进行迁移。
进一步的,所述的获取文件的元数据信息中,所述的元数据信息包括文件的读写频率,顺序/随机访问比例,文件读写大小,文件读写顺序/随机系数;
δ∈(0,1),设X周期的平均响应时间为t:
δ是0到1之间的常数,表示历史访问频率对文件价值判定的影响大小。
进一步的,所述的根据所述的元数据信息计算文件价值的步骤包括:
所述的根据所述的元数据信息计算文件价值的步骤包括:
获取***中所有文件在高速率存储层和低速率存储层完成所有读写操作所需要的时间;
根据获取的时间和文件读写顺序/随机系数计算存储层匹配程度系数;
根据所述的存储层匹配程度系数、文件读写顺序/随机系数和当前文件的大小计算文件价值F;所述的文件价值F用于体现文件存放在高速率存储层获得的价值;
进一步的,所述根据获取的时间和文件读写顺序/随机系数计算存储层匹配程度系数的步骤包括:
将获取的在低速率存储层顺序访问所需时间与在高速率存储层顺序访问所需时间计算时间差,并将计算的时间差与文件读写顺序系数相乘得到顺序匹配系数;
将获取的在低速率存储层随机访问所需时间与在高速率存储层随机访问所需时间计算时间差,并将计算的时间差与文件读写随机系数相乘得到随机匹配系数;
将顺序匹配系数与随机匹配系数相加得到存储层匹配程度系数。匹配程度系数体现了该文件适合存放在某一存储层而不适合存放在另外存储层的程度。
进一步的,所述的根据文件价值产生文件迁移计划表的步骤包括:
根据文件价值的大小对文件进行排序并输出文件列表;文件列表的顺序体现了不同的文件在当前层获得的文件价值的相对大小;
遍历文件列表每一个文件输出文件迁移计划表;其中,遍历文件时,若当前文件未在高速率存储层,并且文件大小小于高速率存储层的可用空间,在迁移计划表里面添加一条文件迁移计划。
进一步的,所述的从文件迁移计划表里取出迁移任务,对文件在不同存储层上进行迁移的步骤包括:
从文件迁移计划表里取出迁移任务,检测当前文件***的性能信息并根据所述的性能信息,对文件在不同存储层上进行迁移;其中,所述的性能参数包括文件***的负载率、剩余存储空间、历史访问模式。
进一步的,所述的从文件迁移计划表里取出迁移任务,检测当前文件***的性能信息并根据所述的性能信息,对文件在不同存储层上进行迁移的步骤中,具体步骤包括:
检测当前文件***的负载率;
当检测到所述负载率小于设定的负载阈值时,检测目标存储层的文件存储容量,当目标存储层的文件存储容量低于设定的第一阈值时,从文件迁移计划表里取出迁移任务执行迁移;当前存储空间已满或者文件已经全部迁移完成后,停止迁移;
当目标存储层的文件存储容量高于设定的第二阈值时,判断待迁移文件大小小于目标存储层当前可用空间时,从文件迁移计划表里取出迁移任务执行迁移,否则不执行迁移过程,其中,第一阈值小于第二阈值。
进一步的,若待迁移文件当前所在的存储层为低速率存储层并且文件大小大于设定的大文件阈值时,查询该文件的历史访问模式,若该文件历史访问模式为顺序访问模式,则该文件不执行迁移;若该文件历史访问模式为随机访问模式,将该文件迁移到高速率存储层。
进一步的,若待迁移文件当前所在的存储层为低速率存储层并且的文件大小小于设定的小文件阈值时,该文件不执行迁移。
另一方面,本发明技术方案还提供一种分层存储数据迁移***,包括元数据管理模块、文件价值判定模块、迁移控制模块、文件***监视模块、迁移模块;
元数据管理模块,用于获取并管理文件的元数据信息;
文件价值判定模块,用于对文件进行价值判定并将判定结果输出到迁移控制模块;
迁移控制模块,接受文件价值判定模块的文件价值计算结果,产生文件迁移计划表并输出控制信息到迁移模块;
文件***监视模块,收集存储***的性能信息并输出信息到迁移控制模块;
迁移模块,用于接收迁移控制模块的控制信息从迁移计划表里面取出迁移任务,对文件在不同存储层上进行迁移。
该***还包括访问重定向模块,所述的访问重定向模块,用于提供虚拟层,使上层接口用统一的应用程序接口访问不同的存储层。
综合考虑了数据大小、访问时间、访问频率、访问模式和对***性能影响等因素,在需要迁移的数据较多时,相比传统的迁移方法,数据迁移具有更高的精确性,同时对***性能的影响更小。
从以上技术方案可以看出,本发明具有以下优点:本发明提出访问模式与存储性能相匹配的文件价值判定方法能够有效提高文件迁移的准确性和匹配度,同时减少了数据迁移时对***性能的影响。
此外,本发明设计原理可靠,结构简单,具有非常广泛的应用前景。
由此可见,本发明与现有技术相比,具有突出的实质性特点和显著地进步,其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供分层存储数据迁移方法的示意性流程图。
图2是本发明实施例四提供的分层存储数据迁移***的示意性框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
实施例一
如图1所示,本发明技术方案提供一种分层存储数据迁移方法,包括如下步骤:
S1-1:获取文件的元数据信息;在这里,元数据信息包括文件的属性、文件位置以及历史访问信息,其中,历史访问信息包括文件的读写频率,顺序/随机访问比例,文件读写大小,文件读写顺序/随机系数;
S1-2:根据所述的元数据信息计算文件价值;在这里,根据文件在当前存储层和相邻存储层完成所有读写操作所需要的时间以及文件读写顺序/随机系数来计算文件价值;
S1-3:根据文件价值产生文件迁移计划表;
S1-4:从文件迁移计划表里取出迁移任务,对文件在不同存储层上进行迁移,本实施例中,本领域技术人员可以设定什么时候进行迁移,以及如何进行迁移。迁移时间间隔的长短考虑文件***负载变化的快慢、剩余存储空间,文件访问命中率等因素,从而制定合理的文件迁移时间间隔,促进文件价值判定模块更好地发现热点文件,同时保证***的迁移活动对***的正常业务的影响在可控的范围内。
实施例二
本发明技术方案提供一种分层存储数据迁移方法,包括如下步骤:
S1-1:获取文件的元数据信息;在这里,元数据信息包括文件的属性、文件位置以及历史访问信息,其中,历史访问信息包括文件的读写频率,顺序/随机访问比例,文件读写大小,文件读写顺序/随机系数;
S1-2:根据所述的元数据信息计算文件价值;在这里,根据文件在当前存储层和相邻存储层完成所有读写操作所需要的时间以及文件读写顺序/随机系数来计算文件价值;
S1-3:根据文件价值产生文件迁移计划表;
S1-4:从文件迁移计划表里取出迁移任务,对文件在不同存储层上进行迁移,本实施例中,从文件迁移计划表里取出迁移任务,检测当前文件***的性能信息并根据所述的性能信息,对文件在不同存储层上进行迁移;其中,所述的性能参数包括文件***的负载率、剩余存储空间、历史访问模式。具体步骤包括:
检测当前文件***的负载率;
当检测到所述负载率小于设定的负载阈值时,检测目标存储层的文件存储容量,当目标存储层的文件存储容量低于设定的第一阈值时,从文件迁移计划表里取出迁移任务执行迁移;当前存储空间已满或者文件已经全部迁移完成后,停止迁移;
当目标存储层的文件存储容量高于设定的第二阈值时,判断待迁移文件大小小于目标存储层当前可用空间时,从文件迁移计划表里取出迁移任务执行迁移,否则不执行迁移过程,其中,第一阈值小于第二阈值。
若待迁移文件当前所在的存储层为低速率存储层并且文件大小大于设定的大文件阈值时,查询该文件的历史访问模式,若该文件历史访问模式为顺序访问模式,则该文件不执行迁移;若该文件历史访问模式为随机访问模式,将该文件迁移到高速率存储层。若待迁移文件当前所在的存储层为低速率存储层并且的文件大小小于设定的小文件阈值时,该文件不执行迁移。
实施例三
本发明技术方案提供一种分层存储数据迁移方法,包括如下步骤:
S2-1:获取文件的元数据信息;本步骤中,所述的获取文件的元数据信息中,所述的元数据信息包括文件的读写频率,顺序/随机访问比例,文件读写大小,文件读写顺序/随机系数;
δ∈(0,1),设X周期的平均响应时间为t:
δ是0到1之间的常数,表示历史访问频率对文件价值判定的影响大小。
S2-2:根据所述的元数据信息计算文件价值;需要说明的是,本步骤包括:
S2-21:获取***中所有文件在高速率存储层和低速率存储层完成所有读写操作所需要的时间;本实施例中高速率存储层为SSD存储层,低速率存储层为HDD存储层;
S2-22:根据获取的时间和文件读写顺序/随机系数计算存储层匹配程度系数ρ;
在本发明实施例中,ρ表示文件适合存放在SSD存储层而不适合存放在HDD存储层的程度。因此需要分别计算文件在SSD存储层和HDD存储层完成上一周期读写系数对应的操作所需的时间。然后将计算得到的所需时间相减即可得到程度系数ρ。ρ的计算公式为ρ=Fs(i)×[Ts(k+1)-Ts(k)]+Fr(i)×[Tr(k+1)-Tr(k)],符号定义如下:Ts(k+1)表示在HDD存储层存储顺序访问所需时间,Ts(k)表示在SSD存储层存储顺序访问所需时间,Tr(k+1)表示在HDD存储层存储随机访问所需时间,Tr(k)表示在SSD存储层存储随机访问所需时间。
S2-23:根据所述的存储层匹配程度系数、文件读写顺序/随机系数和当前文件的大小计算文件价值F;
其中,为了防止部分小文件获得太大的文件价值设定的文件最小值γ,α为文件大小权重,来平衡文件访问频率以及文件大小的关系;Fsize(i)为当前文件的大小,ρ匹配程度系数。在本发明实施例中,计算出文件在SSD存储层的文件价值F,F体现了文件存放在SSD存储层存储的获得的价值。
S2-4:根据文件价值产生文件迁移计划表;按照F的大小对文件进行排序并输出文件列表;遍历文件列表每一个文件输出文件迁移计划表;遍历文件时,若当前文件未在SSD存储层,并且文件大小小于SSD层存储的可用空间,在迁移计划表里面添加一条文件迁移计划,若文件在此之前已经在SSD存储层,则无需操作。所述的文件迁移计划表内的迁移任务根据文件价值按优先级顺序排列。
S2-5:从文件迁移计划表里取出迁移任务,对文件在不同存储层上进行迁移。从文件迁移计划表里取出迁移任务,本实施例中,迁移任务对应的目标迁移层为SSD存储层,检测SSD存储层当前文件***的性能信息并根据所述的性能信息,对文件在不同存储层上进行迁移;其中,所述的性能参数包括文件***的负载率、剩余存储空间、历史访问模式。
具体步骤包括:
S2-51:检测SSD存储层当前文件***的负载率;
S2-52:当检测到所述负载率小于设定的负载阈值时,检测SSD存储层的文件存储容量,当SSD存储层的文件存储容量低于设定的第一阈值时,从文件迁移计划表里取出迁移任务执行迁移;当前存储空间已满或者文件已经全部迁移完成后,停止迁移;
S2-53:当SSD存储层的文件存储容量高于设定的第二阈值时,判断待迁移文件大小小于SSD存储层当前可用空间时,从文件迁移计划表里取出迁移任务执行迁移,否则不执行迁移过程,其中,第一阈值小于第二阈值。
S2-54:若待迁移文件当前所在的存储层为HDD存储层并且文件大小大于设定的大文件阈值时,查询该文件的历史访问模式,若该文件历史访问模式为顺序访问模式,则该文件不执行迁移;若该文件历史访问模式为随机访问模式,将该文件迁移到SSD存储层。
S2-55:若待迁移文件当前所在的存储层为HDD存储层并且的文件大小小于设定的小文件阈值时,该文件不执行迁移。需要说明的是,迁移的目的是将存储在低速率存储层的热点数据迁移到高速率存储层,将原有在高速率存储层的非热点数据在合适的迁移时间点将费热点数据迁出高速率存储层,进一步合理的利用资源。
实施例四
如图2所示,本发明技术方案还提供一种分层存储数据迁移***,包括元数据管理模块、文件价值判定模块、迁移控制模块、文件***监视模块、迁移模块;
元数据管理模块,用于获取并管理文件的元数据信息;保留文件的属性、文件位置以及历史访问信息包括文件的读写频率,顺序、随机访问比例,文件读写大小等信息,这些信息是文件价值判定阶段对文件进行价值判定的主要输入。文件价值判定模块,用于对文件进行价值判定并将判定结果输出到迁移控制模块;判定的结果反映文件的活跃程度;迁移控制模块,接受文件价值判定模块的文件价值计算结果,产生文件迁移计划表并输出控制信息到迁移模块;文件***监视模块,收集目标存储层存储***的性能信息并输出信息到迁移控制模块;包括文件***访问延迟,访问命中率,顺序读写比例、存储***剩余空间等,是产生迁移计划以及控制迁移模块迁移速度的重要依据;迁移模块,用于接收迁移控制模块的控制信息从迁移计划表里面取出迁移任务,对文件在不同存储层上进行迁移。为了使迁移后的数据访问不受限***中还存在访问重定向模块,用于提供虚拟层,上层接口可用统一的应用程序接口访问不同的存储层。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述,但本发明并不限于此。在不脱离本发明的精神和实质的前提下,本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换,而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种分层存储数据迁移方法,其特征在于,包括如下步骤:
获取文件的元数据信息;
根据所述的元数据信息计算文件价值;
根据文件价值产生文件迁移计划表;所述的文件迁移计划表内的迁移任务根据文件价值按优先级顺序排列;
从文件迁移计划表里取出迁移任务,对文件在不同存储层上进行迁移;
所述的获取文件的元数据信息中,所述的元数据信息包括文件的读写频率,顺序/随机访问比例,文件读写大小,文件读写顺序/随机系数;
δ∈(0,1),设X周期的平均响应时间为t;
δ是0到1之间的常数,表示历史访问频率对文件价值判定的影响大小;
所述的根据所述的元数据信息计算文件价值的步骤包括:
获取***中所有文件在高速率存储层和低速率存储层完成所有读写操作所需要的时间;
根据获取的时间和文件读写顺序/随机系数计算存储层匹配程度系数;
根据所述的存储层匹配程度系数、文件读写顺序/随机系数和当前文件的大小计算文件价值F;所述的文件价值F用于体现文件存放在高速率存储层获得的价值;
2.根据权利要求1所述的一种分层存储数据迁移方法,其特征在于,所述根据获取的时间和文件读写顺序/随机系数计算存储层匹配程度系数的步骤包括:
将获取的在低速率存储层顺序访问所需时间与在高速率存储层顺序访问所需时间计算时间差,并将计算的时间差与文件读写顺序系数相乘得到顺序匹配系数;
将获取的在低速率存储层随机访问所需时间与在高速率存储层随机访问所需时间计算时间差,并将计算的时间差与文件读写随机系数相乘得到随机匹配系数;
将顺序匹配系数与随机匹配系数相加得到存储层匹配程度系数。
3.根据权利要求1所述的一种分层存储数据迁移方法,其特征在于,所述的根据文件价值产生文件迁移计划表的步骤包括:
根据文件价值的大小对文件进行排序并输出文件列表;
遍历文件列表的每一个文件并输出文件迁移计划表;其中,遍历文件时,若当前文件未在高速率存储层,并且文件大小小于高速率存储层的可用空间,在迁移计划表里面添加一条文件迁移计划。
4.根据权利要求1所述的一种分层存储数据迁移方法,其特征在于,所述的从文件迁移计划表里取出迁移任务,对文件在不同存储层上进行迁移的步骤包括:
从文件迁移计划表里取出迁移任务,检测当前文件***的性能信息并根据所述的性能信息,对文件在不同存储层上进行迁移;其中,所述的性能参数包括文件***的负载率、剩余存储空间、历史访问模式。
5.根据权利要求4所述的一种分层存储数据迁移方法,其特征在于,所述的从文件迁移计划表里取出迁移任务,检测当前文件***的性能信息并根据所述的性能信息,对文件在不同存储层上进行迁移的步骤中,具体步骤包括:
检测当前文件***的负载率;
当检测到所述负载率小于设定的负载阈值时,检测目标存储层的文件存储容量,当目标存储层的文件存储容量低于设定的第一阈值时,从文件迁移计划表里取出迁移任务执行迁移;当前存储空间已满或者文件已经全部迁移完成后,停止迁移;
当目标存储层的文件存储容量高于设定的第二阈值时,判断待迁移文件大小小于目标存储层当前可用空间时,从文件迁移计划表里取出迁移任务执行迁移,否则不执行迁移过程,其中,第一阈值小于第二阈值。
6.根据权利要求5所述的一种分层存储数据迁移方法,其特征在于,若待迁移文件当前所在的存储层为低速率存储层并且文件大小大于设定的大文件阈值时,查询该文件的历史访问模式,若该文件的历史访问模式为顺序访问模式,则该文件不执行迁移;若该文件的历史访问模式为随机访问模式,将该文件迁移到高速率存储层;
若待迁移文件当前所在的存储层为低速率存储层并且的文件大小小于设定的小文件阈值时,该文件不执行迁移。
7.一种分层存储数据迁移***,其特征在于,包括元数据管理模块、文件价值判定模块、迁移控制模块、文件***监视模块、迁移模块;
元数据管理模块,用于获取并管理文件的元数据信息;所述的元数据信息包括文件的读写频率,顺序/随机访问比例,文件读写大小,文件读写顺序/随机系数;
δ∈(0,1),设X周期的平均响应时间为t;
δ是0到1之间的常数,表示历史访问频率对文件价值判定的影响大小;
文件价值判定模块,用于对文件进行价值判定并将判定结果输出到迁移控制模块;具体用于获取***中所有文件在高速率存储层和低速率存储层完成所有读写操作所需要的时间;根据获取的时间和文件读写顺序/随机系数计算存储层匹配程度系数;根据所述的存储层匹配程度系数、文件读写顺序/随机系数和当前文件的大小计算文件价值F;所述的文件价值F用于体现文件存放在高速率存储层获得的价值;
迁移控制模块,接收文件价值判定模块的文件价值计算结果,产生文件迁移计划表并输出控制信息到迁移模块;
文件***监视模块,收集存储***的性能信息并输出信息到迁移控制模块;
迁移模块,用于接收迁移控制模块的控制信息从迁移计划表里面取出迁移任务,对文件在不同存储层上进行迁移。
8.根据权利要求7所述的一种分层存储数据迁移***,其特征在于,该***还包括访问重定向模块,所述的访问重定向模块,用于提供虚拟层,使上层接口用统一的应用程序接口访问不同的存储层。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010094756.2A CN111367469B (zh) | 2020-02-16 | 2020-02-16 | 一种分层存储数据迁移方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010094756.2A CN111367469B (zh) | 2020-02-16 | 2020-02-16 | 一种分层存储数据迁移方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111367469A CN111367469A (zh) | 2020-07-03 |
CN111367469B true CN111367469B (zh) | 2022-07-08 |
Family
ID=71206123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010094756.2A Active CN111367469B (zh) | 2020-02-16 | 2020-02-16 | 一种分层存储数据迁移方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111367469B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112269759B (zh) * | 2020-10-23 | 2023-12-22 | 北京浪潮数据技术有限公司 | 一种共享文件存储的迁移方法及相关装置 |
CN112506875B (zh) * | 2020-12-15 | 2023-01-17 | 科大讯飞股份有限公司 | 文件存储方法、相关装置及文件存储*** |
CN113515238B (zh) * | 2021-07-27 | 2024-02-06 | 华云数据控股集团有限公司 | 一种基于分层存储的数据调度方法、***及电子设备 |
CN113741819A (zh) * | 2021-09-15 | 2021-12-03 | 第四范式(北京)技术有限公司 | 数据分级存储的方法和装置 |
CN114816749B (zh) * | 2022-04-22 | 2023-02-10 | 江苏华存电子科技有限公司 | 一种用于内存的智能化管理方法及*** |
CN116974468B (zh) * | 2023-07-18 | 2024-02-20 | 广东华原网络工程有限公司 | 一种基于大数据的设备数据存储管理方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103150263A (zh) * | 2012-12-13 | 2013-06-12 | 深圳先进技术研究院 | 分级存储方法 |
CN103548004A (zh) * | 2011-12-28 | 2014-01-29 | 华为技术有限公司 | 在文件***中实现多级存储的方法和装置 |
CN105653591A (zh) * | 2015-12-22 | 2016-06-08 | 浙江中控研究院有限公司 | 一种工业实时数据分级存储及迁移方法 |
-
2020
- 2020-02-16 CN CN202010094756.2A patent/CN111367469B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103548004A (zh) * | 2011-12-28 | 2014-01-29 | 华为技术有限公司 | 在文件***中实现多级存储的方法和装置 |
CN103150263A (zh) * | 2012-12-13 | 2013-06-12 | 深圳先进技术研究院 | 分级存储方法 |
CN105653591A (zh) * | 2015-12-22 | 2016-06-08 | 浙江中控研究院有限公司 | 一种工业实时数据分级存储及迁移方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111367469A (zh) | 2020-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111367469B (zh) | 一种分层存储数据迁移方法和*** | |
CN105653591B (zh) | 一种工业实时数据分级存储及迁移方法 | |
US8909887B1 (en) | Selective defragmentation based on IO hot spots | |
US9355112B1 (en) | Optimizing compression based on data activity | |
CN102364474B (zh) | 用于机群文件***的元数据存储***和管理方法 | |
CN104516471B (zh) | 一种管理存储器***的电源的方法和装置 | |
CN103399713B (zh) | 平衡多级存储性能与固态硬盘寿命的数据缓冲方法 | |
US20140331004A1 (en) | Write Spike Performance Enhancement In Hybrid Storage Systems | |
WO2018019119A1 (zh) | 一种面向连续数据存储的动态局部并行数据布局方法及装置 | |
CN102136005B (zh) | 数据查询方法和装置 | |
CN103440208B (zh) | 一种数据存储的方法及装置 | |
US8478939B2 (en) | Relative heat index based hot data determination for block based storage tiering | |
CN104699424B (zh) | 一种基于页面热度的异构内存管理方法 | |
WO2018113317A1 (zh) | 数据的迁移方法、装置和*** | |
CN105242871A (zh) | 一种数据写入方法及装置 | |
CN102117248A (zh) | 一种缓存***和在缓存***中缓存数据的方法 | |
CN104102454A (zh) | 一种自动实现分层存储的方法和管理分层存储的*** | |
CN101373445B (zh) | 一种内存调度方法及装置 | |
CN103916459A (zh) | 一种大数据归档存储*** | |
CN107340975A (zh) | 一种文件存储的方法及装置 | |
CN105630810A (zh) | 一种对于海量小文件在分布式存储***中上载的方法 | |
CN109388341A (zh) | 一种基于Device Mapper的***存储优化方法 | |
CN106371762A (zh) | 一种存储数据优化方法及*** | |
CN102722450A (zh) | 一种基于位置敏感哈希的删冗块设备存储方法 | |
CN103020077A (zh) | 一种电力***实时数据库内存管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |