CN110688360A - 分布式文件***存储管理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种分布式文件***存储管理方法，通过获取目标文件的访问热度信息，并根据访问热度信息对目标文件进行热度文件判别，当判定目标文件为热度文件时，将热度文件添加至预设高性能存储区。该方法可以实时的检测文件热度特性，区分数据访问的冷热状态，并将用户经常访问的数据存储到高性能存储区，预设的高性能存储区相对于其他存储空间的请求响应速度更优，从而可以提升频繁接受文件请求的热度文件的响应速度，相对实现在有限的资源条件下提高***性能的目的。本发明还提供了一种分布式文件***存储管理装置、设备及可读存储介质，具有上述有益效果。

Description

分布式文件***存储管理方法、装置、设备及存储介质

技术领域

本发明涉及分布式文件***技术领域，特别涉及一种分布式文件***存储管理方法、装置、设备及可读存储介质。

背景技术

分布式文件***通过将数据分布保存在多个服务器的多个磁盘上来实现数据的海量存储和快速部署。由于其资源共享性、透明性以及高可用性等优势，分布式文件***被广泛应用。

目前的分布式文件***的文件存储是随机分布存储的，然而该种文件存储方式面对越来越频繁的文件请求的响应速度有限，越来越不能满足高速化的用户体验需求。

因此，如何提升分布式文件存储***的访问性能，是本领域技术人员需要解决的技术问题。

发明内容

本发明的目的是提供一种分布式文件***存储管理方法，该方法可以提升分布式文件存储***的访问性能；本发明的另一目的是提供一种分布式文件***存储管理装置、设备及一种可读存储介质。

为解决上述技术问题，本发明提供一种分布式文件***存储管理方法，包括：

获取目标文件的访问热度信息；

根据所述访问热度信息对所述目标文件进行热度文件判别；

当判定所述目标文件为热度文件时，将所述热度文件添加至预设高性能存储区。

可选地，所述获取目标文件的访问热度信息，包括：

监控所述目标文件的文件IO操作，并根据监控信息进行文件热度的更新，生成访问热度信息；

获取实时更新后的所述访问热度信息。

可选地，监控所述目标文件的文件IO操作，并根据监控信息进行文件热度的更新，生成访问热度信息，包括：

当检测到所述目标文件存在文件IO访问操作时，生成访问信息；

根据所述访问信息进行文件热度的更新，生成访问热度信息。

可选地，根据所述访问热度信息对所述目标文件进行热度文件判别，包括：

在一个统计周期内根据所述目标文件的访问热度信息判定文件热度超过设定阈值时，则判定所述目标文件为热度文件。

可选地，当判定所述目标文件为热度文件时，将所述热度文件添加至预设高性能存储区，包括：

根据历史热度文件与当前热度文件间的文件差异对所述预设高性能存储区进行文件添加。

可选地，根据历史热度文件与当前热度文件间的文件差异对所述预设高性能存储区进行文件添加，包括：

将所述热度文件的文件信息***第一文件热度索引表中；

在当前热度统计周期结束后，对所述第一文件热度索引表中文件信息进行存盘记录；

在下一个热度统计周期内，将所述热度文件的文件信息记录于第二文件热度索引表中；

通过比对所述第一文件热度索引表与所述第二文件热度索引表中文件的差异，确定所述预设高性能存储区的待迁入的文件信息；

根据所述待迁入的文件信息对所述预设高性能存储区进行相应文件迁入操作。

可选地，所述分布式文件***存储管理方法还包括：

通过比对所述第一文件热度索引表与所述第二文件热度索引表中文件的差异，确定所述预设高性能存储区的待迁出的文件信息；

根据所述待迁出的文件信息对所述预设高性能存储区进行相应文件迁出操作。

本发明公开一种分布式文件***存储管理装置，包括：

热度信息获取单元，用于获取目标文件的访问热度信息；

文件判别单元，用于根据所述访问热度信息对所述目标文件进行热度文件判别；

文件存储调整单元，用于当判定所述目标文件为热度文件时，将所述热度文件添加至预设高性能存储区。

本发明公开一种分布式文件***存储管理设备，包括：

存储器，用于存储程序；

处理器，用于执行所述程序时实现所述分布式文件***存储管理方法的步骤。

本发明公开一种可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现所述分布式文件***存储管理方法的步骤。

本发明所提供的分布式文件***存储管理方法，通过获取目标文件的访问热度信息，并根据访问热度信息对目标文件进行热度文件判别，当判定目标文件为热度文件时，将热度文件添加至预设高性能存储区。该方法可以实时的检测文件热度特性，区分数据访问的冷热状态，并将用户经常访问的数据存储到高性能存储区，预设的高性能存储区相对于其他存储空间的请求响应速度更优，从而可以提升频繁接受文件请求的热度文件的响应速度，相对实现在有限的资源条件下提高***性能的目的。

本发明还提供了一种分布式文件***存储管理装置、设备及可读存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的分布式文件***存储管理方法的流程图；

图2为本发明实施例提供的分布式文件***存储管理装置的结构框图；

图3为本发明实施例提供的分布式文件***存储管理设备的结构示意图。

具体实施方式

本发明的核心是提供一种分布式文件***存储管理方法，该方法可以提升分布式文件存储***的访问性能；本发明的另一核心是提供一种分布式文件***存储管理装置、设备及一种可读存储介质。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在分布式文件***中，少量文件经常被访问，大部分文件访问次数有限，同时，分布式文件***中由于采用的存储区较多，不同的存储区间也存在存储性能间的差异。本实施例通过实时的检测文件热度特性，并将用户经常访问的数据存储到高性能存储区，不常访问的数据存储到性能低的存储区。通过区分数据访问的冷热状态可以实现在有限的资源条件下提高分布式文件***读写性能。

请参考图1，图1为本实施例提供的分布式文件***存储管理方法的流程图；该方法可以包括：

步骤s110、获取目标文件的访问热度信息；

用户对文件进行IO访问时，文件的访问热度信息会发生变化，其中，访问热度信息指分布式***内文件的访问热度，当有文件的访问操作发生时，文件热度就会变化。获取的访问热度信息可以为计算得到的文件热度值，也可以为文件的操作记录信息，操作记录信息中记录有***对文件的操作信息，本实施例中对访问热度信息的信息种类不做限定，可以实现对文件访问热度的判定即可。

热度信息的信息种类不同，对应地访问热度信息的获取方式也不同，由于上述介绍中对认读信息的信息种类不做限定，在此对访问热度信息的获取方式也不做限定，当热度信息为文件热度值时，可以通过调用某个可以实现热度值计算的设备或部件，获取该设备或部件输出的文件热度值，可以实现热度值计算的设备或部件比如元数据服务器等；当热度信息为操作记录信息时，可以通过获取前端用户的操作指令，对对应访问的数据进行统计作为操作记录信息；也可以直接通过统计分布式数据库***中各数据操作情况作为操作记录信息，其中，后者直接对数据进行统计可以通过元数据来实现。分布式***元数据中记录有数据操作情况，可以将其作为操作记录信息。分布式***的元数据热度，可以直观的反应文件的访问频度等信息。

可选地，一种获取目标文件的访问热度信息的实现方式如下：

监控目标文件的文件IO操作，并根据监控信息进行文件热度的更新，生成访问热度信息；

获取实时更新后的访问热度信息。

该方式可以直接根据文件IO操作进行文件访问热度的更新，保证访问热度信息的精准度。

其中，具体地，监控目标文件的文件IO操作，并根据监控信息进行文件热度的更新，生成访问热度信息的一种具体实现方式如下：

当检测到目标文件存在文件IO访问操作时，生成访问信息；

根据访问信息进行文件热度的更新，生成访问热度信息。

以上实现以当检测到单次IO访问操作时立即进行文件热度更新为例，也可以统计预设时间范围内的IO访问操作进行文件热度的更新，在此不做限定。

需要说明的是，本实施例中的目标文件可以指分布式文件***中需要根据文件访问热度进行存储管理的任意文件，可以为分布式文件***中所有文件，也可以指分布式文件***中某些指定文件，在此对目标文件不做限定。

步骤s120、根据访问热度信息对目标文件进行热度文件判别；

根据访问热度信息对目标文件进行访问热度分析，根据分析结果进行热度文件的判别，具体地，当访问热度信息为热度值时，可以设定某个热度值为阈值，超过该阈值时判定为热度文件，不超过该阈值时为非热度文件；当访问热度信息为文件操作信息时，可以以某个时间范围内的访问频率进行热度文件的判别；当访问热度信息为用户定义的热度文件列表时，则可以直接判定列表中的文件为热度文件等。本实施例中仅以上述热度文件判别方式为例进行介绍，其它文件判别方式均可参照本实施例的介绍，在此不做限定。

可选地，一种根据访问热度信息对目标文件进行热度文件判别的实现方式如下：

在一个统计周期内根据目标文件的访问热度信息判定文件热度超过设定阈值时，则判定目标文件为热度文件。

以上以统计一个时间周期内的访问热度信息进行文件访问热度的平均统计过程进行热度文件的判定为例，该方式可以快速识别某时间段下的热度文件，此外热度文件的判定还可以通过自定义，比如由相关技术人员指定某些文件为热度文件等；还可以统计非连续的多个时间周期内的平均访问热度，本实施例中对热度文件的判别方式不做限定，可以根据实际使用需求进行设定。

步骤s130、当判定目标文件为热度文件时，将热度文件添加至预设高性能存储区。

预设高性能存储区为预先定义的存储性能强、响应速度快的存储区，将热度文件添加至该区域可以加快热度文件的请求响应性能。

可选地，当判定目标文件为热度文件时，将热度文件添加至预设高性能存储区的一种实现方式如下：根据历史热度文件与当前热度文件间的文件差异对预设高性能存储区进行文件添加。

由于不同时间周期内判定的热度文件可能不同，前一个时间周期内判定的热度文件可能已经添加至高性能存储区，下一个时间周期内进行重复添加的话不仅引发重复操作占用***资源，同时也会影响高性能存储区的存储性能，上述实现方式通过比对历史热度文件与当前热度文件间的文件差异，确定待添加的热度文件进行文件添加，可以避免重复操作等情况，提升***处理效率。

需要说明的是，当判定目标文件为非热度文件时，可以按照传统文件***的存储管理方式进行存储控制，也可以如步骤s140所示将非热度文件存储至按照热度存储至较低性能存储区，以降低高性能存储区的存储符合，保证存储***的存储平衡。

具体地，根据历史热度文件与当前热度文件间的文件差异对预设高性能存储区进行文件添加的一种实现方式如下：

将热度文件的文件信息***第一文件热度索引表中；

在当前热度统计周期结束后，对第一文件热度索引表中文件信息进行存盘记录；

在下一个热度统计周期内，将热度文件的文件信息记录于第二文件热度索引表中；

通过比对第一文件热度索引表与第二文件热度索引表中文件的差异，确定预设高性能存储区的待迁入的文件信息；

根据待迁入的文件信息对预设高性能存储区进行相应文件迁入操作。

该方式通过索引表对比差异文件可以实现差异文件的精准对比，简化比对流程，需要说明的是，除临近周期的历史热度文件外的历史热度文件可以删除也可以存储，为降低内存占用，可以直接将当前周期得到的热度文件覆盖添加至存储有除临近周期的历史热度文件外的文件热度索引表中，即可以通过两个索引表实现差异文件的精准对比，保证***处理效率。

进一步地，在上述步骤的基础上，可以进一步执行以下步骤：

通过比对第一文件热度索引表与第二文件热度索引表中文件的差异，确定预设高性能存储区的待迁出的文件信息；

根据待迁出的文件信息对预设高性能存储区进行相应文件迁出操作。

若判定某文件为热度文件，则将该文件信息***第一文件热度索引表中，当前热度统计周期结束后，向快速池迁移之前，先将索引信息落盘，即将第一文件热度索引表进行存盘记录，紧接着进行扫描迁移将第一文件热度索引表中热度文件迁移到快速存储池。在下一个热度统计周期依然会记录一个热度文件信息，记录于第二文件热度索引表。比较相邻周期内索引表中文件的差异，可以判定出当前周期需要完成的迁入和迁出的文件信息，例如，上个周期的第一文件热度索引表中包含(a，b，c，d)四个文件信息，第二文件热度索引表中包含的文件为(a，b，e，f)。通过对比可知道，当前周期需要迁入的文件为(e，f)，需要完成的迁出的文件为(c，d)。通过这种新旧索引表对比的方式，可以实现数据的动态迁入迁出任务，在满足提高用户访问性能要求的同时尽可能的降低快速存储设备的容量需求，能够满足性能提高和降低成本的双重需求。

基于上述介绍，本实施例提供的分布式文件***存储管理方法可以实时的检测文件热度特性，区分数据访问的冷热状态，并将用户经常访问的数据存储到高性能存储区，预设的高性能存储区相对于其他存储空间的请求响应速度更优，从而可以提升频繁接受文件请求的热度文件的响应速度，相对实现在有限的资源条件下提高***性能的目的。

请参考图2，图2为本实施例提供的分布式文件***存储管理装置的结构框图；可以包括：热度信息获取单元210、文件判别单元220以及文件存储调整单元230。本实施例提供的分布式文件***存储管理装置可与上述实施例提供的分布式文件***存储管理方法相互对照。

其中，热度信息获取单元210主要用于获取目标文件的访问热度信息；

文件判别单元220主要用于根据访问热度信息对目标文件进行热度文件判别；

文件存储调整单元230主要用于当判定目标文件为热度文件时，将热度文件添加至预设高性能存储区。

可选地，热度信息获取单元具体可以包括：

操作监控子单元，用于监控目标文件的文件IO操作，并根据监控信息进行文件热度的更新，生成访问热度信息；

信息获取子单元，用于获取实时更新后的访问热度信息。

可选地，操作监控子单元具体可以包括：

访问信息生成子单元，用于当检测到目标文件存在文件IO访问操作时，生成访问信息；

信息生成子单元，用于根据访问信息进行文件热度的更新，生成访问热度信息。

可选地，文件判别单元具体可以为对比判别单元，对比判别单元用于：在一个统计周期内根据目标文件的访问热度信息判定文件热度超过设定阈值时，则判定目标文件为热度文件。

可选地，文件存储调整单元具体可以为差异调整单元，差异调整单元具体用于：根据历史热度文件与当前热度文件间的文件差异对预设高性能存储区进行文件添加。

可选地，差异调整单元具体可以包括：

第一处理子单元，用于将热度文件的文件信息***第一文件热度索引表中；

第二处理子单元，用于在当前热度统计周期结束后，对第一文件热度索引表中文件信息进行存盘记录；

第三处理子单元，用于在下一个热度统计周期内，将热度文件的文件信息记录于第二文件热度索引表中；

第四处理子单元，用于通过比对第一文件热度索引表与第二文件热度索引表中文件的差异，确定预设高性能存储区的待迁入的文件信息；

第五处理子单元，用于根据待迁入的文件信息对预设高性能存储区进行相应文件迁入操作。

可选地，差异调整单元可以进一步包括：

第六处理子单元，用于通过比对第一文件热度索引表与第二文件热度索引表中文件的差异，确定预设高性能存储区的待迁出的文件信息；

第七处理子单元，用于根据待迁出的文件信息对预设高性能存储区进行相应文件迁出操作。

本实施例提供的分布式文件***存储管理装置可以提升分布式文件存储***的访问性能。

本实施例提供一种分布式文件***存储管理设备，包括：存储器以及处理器。

其中，存储器用于存储程序；

处理器用于执行程序时实现如分布式文件***存储管理方法的步骤，具体可参照上述分布式文件***存储管理方法的介绍。

具体地，本实施例中分布式文件***存储管理设备具体可以为任意可以实现上述功能的设备，比如元数据服务器。为加深理解，本实施例以元数据服务器为例对一种实现过程进行介绍。

用户对文件进行IO访问时，客户端将文件的访问信息上报至元数据管理器。元数据管理器实时的对文件的热度信息进行更新识别。若在一个统计周期内文件热度超过设定值，则将该文件信息***索引表A中。热度统计周期结束后将索引表A进行存盘记录，紧接着进行扫描迁移将索引表A中热度文件迁移到快速存储池。在下一个热度统计周期内，热度文件信息记录于索引表B。通过比较相邻周期内索引表中文件的差异，可以判定出待迁入和待迁出的文件信息，能够完成文件向快速池的迁入迁出任务。在提高***访问性能的同时降低快速存储设备的容量需求。

其它设备类型下的实现过程均可参照本实施例的介绍，在此不再赘述。

本实施例公开一种可读存储介质，其上存储有程序，程序被处理器执行时实现如分布式文件***存储管理方法的步骤，具体可参照上述分布式文件***存储管理方法的介绍。

请参考图3，为本实施例提供的分布式文件***存储管理设备的结构示意图，该管理设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在管理设备301上执行存储介质330中的一系列指令操作。

管理设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作***341，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上面图1所描述的分布式文件***存储管理方法中的步骤可以由本实施例提供的分布式文件***存储管理设备的结构实现。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的分布式文件***存储管理方法、装置、设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种分布式文件***存储管理方法，其特征在于，包括：

获取目标文件的访问热度信息；

根据所述访问热度信息对所述目标文件进行热度文件判别；

当判定所述目标文件为热度文件时，将所述热度文件添加至预设高性能存储区。

2.如权利要求1所述的分布式文件***存储管理方法，其特征在于，所述获取目标文件的访问热度信息，包括：

监控所述目标文件的文件IO操作，并根据监控信息进行文件热度的更新，生成访问热度信息；

获取实时更新后的所述访问热度信息。

3.如权利要求2所述的分布式文件***存储管理方法，其特征在于，监控所述目标文件的文件IO操作，并根据监控信息进行文件热度的更新，生成访问热度信息，包括：

当检测到所述目标文件存在文件IO访问操作时，生成访问信息；

根据所述访问信息进行文件热度的更新，生成访问热度信息。

4.如权利要求1所述的分布式文件***存储管理方法，其特征在于，根据所述访问热度信息对所述目标文件进行热度文件判别，包括：

在一个统计周期内根据所述目标文件的访问热度信息判定文件热度超过设定阈值时，则判定所述目标文件为热度文件。

5.如权利要求1至4任一项所述的分布式文件***存储管理方法，其特征在于，当判定所述目标文件为热度文件时，将所述热度文件添加至预设高性能存储区，包括：

根据历史热度文件与当前热度文件间的文件差异对所述预设高性能存储区进行文件添加。

6.如权利要求5所述的分布式文件***存储管理方法，其特征在于，根据历史热度文件与当前热度文件间的文件差异对所述预设高性能存储区进行文件添加，包括：

将所述热度文件的文件信息***第一文件热度索引表中；

在当前热度统计周期结束后，对所述第一文件热度索引表中文件信息进行存盘记录；

在下一个热度统计周期内，将所述热度文件的文件信息记录于第二文件热度索引表中；

通过比对所述第一文件热度索引表与所述第二文件热度索引表中文件的差异，确定所述预设高性能存储区的待迁入的文件信息；

根据所述待迁入的文件信息对所述预设高性能存储区进行相应文件迁入操作。

7.如权利要求6所述的分布式文件***存储管理方法，其特征在于，还包括：

通过比对所述第一文件热度索引表与所述第二文件热度索引表中文件的差异，确定所述预设高性能存储区的待迁出的文件信息；

根据所述待迁出的文件信息对所述预设高性能存储区进行相应文件迁出操作。

8.一种分布式文件***存储管理装置，其特征在于，包括：

热度信息获取单元，用于获取目标文件的访问热度信息；

文件判别单元，用于根据所述访问热度信息对所述目标文件进行热度文件判别；

文件存储调整单元，用于当判定所述目标文件为热度文件时，将所述热度文件添加至预设高性能存储区。

9.一种分布式文件***存储管理设备，其特征在于，包括：

存储器，用于存储程序；

处理器，用于执行所述程序时实现如权利要求1至7任一项所述分布式文件***存储管理方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有程序，所述程序被处理器执行时实现如权利要求1至7任一项所述分布式文件***存储管理方法的步骤。

Images