CN109471843A - 一种元数据缓存方法、***及相关装置 - Google Patents

Abstract

本申请所提供的一种元数据缓存方法，包括：接收缓存元数据的请求指令；根据请求指令对元数据进行精简处理，得到精简元数据；将精简元数据缓存至存储节点中的预设缓存区。该方法先是接收缓存元数据的请求指令，再根据请求指令对元数据进行精简处理，得到精简元数据，最后将精简元数据缓存至存储节点中的预设缓存区。可见，该方法相比于相关技术对元数据进行了精简处理，能够在存储节点总内存不变的情况下提高缓存的元数据总量，进而提高文件的读取速度。本申请还提供一种元数据缓存***、设备及计算机可读存储介质，均具有上述有益效果。

Description

一种元数据缓存方法、***及相关装置

技术领域

本申请涉及元数据缓存技术领域，特别涉及一种元数据缓存方法、***、设备及计算机可读存储介质。

背景技术

分布式文件***的海量小文件场景中的性能问题一直是个很难突破的技术难题。在分布式文件***中，如果访问文件不能够在本地命中缓存，基于分布式文件***的特征每次访问文件都需要在集群网络内部访问元数据，一次IO读写的执行过程也可能会跨网络读取元数据，每次文件操作都去跨网络获取元数据增大了文件读取的时延，故需要对元数据进行缓存，但是相关技术中直接对元数据进行缓存，在存储节点总内存不变的情况下缓存的元数据总量较少，导致在读取文件的时候，很难做到命中缓存，从而导致读取文件的时候需要遍历查找文件，大大增加了读取时延，降低的文件的读取速度。

因此，如何在存储节点总内存不变的情况下提高缓存的元数据总量，进而提高文件的读取速度是本领域技术人员需要解决的技术问题。

发明内容

本申请的目的是提供一种元数据缓存方法、***、设备及计算机可读存储介质，能够在存储节点总内存不变的情况下提高缓存的元数据总量，进而提高文件的读取速度。

为解决上述技术问题，本申请提供一种元数据缓存方法，包括：

接收缓存元数据的请求指令；

根据所述请求指令对所述元数据进行精简处理，得到精简元数据；

将所述精简元数据缓存至存储节点中的预设缓存区。

优选地，将所述精简元数据缓存至存储节点中的预设缓存区之后，还包括：

在读取目标元数据时，判断所述预设缓存区中是否存在所述目标元数据；

若是，则从所述预设缓存区中读取所述目标元数据；

若否，则从所述存储节点的内存中读取所述目标元数据。

优选地，从所述存储节点的内存中读取所述目标元数据之后，还包括：

对所述目标元数据进行所述精简处理，得到目标精简元数据；

将所述目标精简元数据缓存至所述存储节点中的所述预设缓存区。

优选地，所述根据所述请求指令对所述元数据进行精简处理，得到精简元数据，包括：

根据所述请求指令，剔除所述元数据中的业务运行数据，得到所述精简元数据。

本申请提供，接收缓存元数据的请求指令之后，还包括：

判断所述元数据的数量是否达到预设阈值；

若是，则执行所述根据所述请求指令对所述元数据进行精简处理，得到精简元数据的步骤。

本申请还提供一种元数据缓存***，包括：

请求指令接收模块，用于接收缓存元数据的请求指令；

精简处理模块，用于根据所述请求指令对所述元数据进行精简处理，得到精简元数据；

元数据缓存模块，用于将所述精简元数据缓存至存储节点中的预设缓存区。

优选地，该元数据缓存***还包括：

判断模块，用于在读取目标元数据时，判断所述预设缓存区中是否存在所述目标元数据；

第一读取模块，用于若所述预设缓存区中存在所述目标元数据，则从所述预设缓存区中读取所述目标元数据；

第二读取模块，用于若所述预设缓存区中不存在所述目标元数据，则从所述存储节点的内存中读取所述目标元数据。

优选地，所述精简处理模块，包括：

精简处理单元，用于根据所述请求指令，剔除所述元数据中的业务运行数据，得到所述精简元数据。

本申请还提供一种设备，包括：

存储器和处理器；其中，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现上述所述的元数据缓存方法的步骤。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的元数据缓存方法的步骤。

本申请所提供的一种元数据缓存方法，包括：接收缓存元数据的请求指令；根据所述请求指令对所述元数据进行精简处理，得到精简元数据；将所述精简元数据缓存至存储节点中的预设缓存区。

该方法先是接收缓存元数据的请求指令，再根据所述请求指令对所述元数据进行精简处理，得到精简元数据，最后将所述精简元数据缓存至存储节点中的预设缓存区。可见，该方法相比于相关技术对元数据进行了精简处理，能够在存储节点总内存不变的情况下提高缓存的元数据总量，进而提高文件的读取速度。本申请还提供一种元数据缓存***、设备及计算机可读存储介质，均具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种元数据缓存方法的流程图；

图2为本申请实施例所提供的一种元数据缓存***的结构框图。

具体实施方式

本申请的核心是提供一种元数据缓存方法，能够在存储节点总内存不变的情况下提高缓存的元数据总量，进而提高文件的读取速度。本申请的另一核心是提供一种元数据缓存***、设备及计算机可读存储介质。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

分布式文件***的海量小文件场景中的性能问题一直是个很难突破的技术难题。在分布式文件***中，如果访问文件不能够在本地命中缓存，基于分布式文件***的特征每次访问文件都需要在集群网络内部访问元数据，一次IO读写的执行过程也可能会跨网络读取元数据，每次文件操作都去跨网络获取元数据增大了文件读取的时延，故需要对元数据进行缓存，但是相关技术中直接对元数据进行缓存，在存储节点总内存不变的情况下缓存的元数据总量较少，导致在读取文件的时候，很难做到命中缓存，从而导致读取文件的时候需要遍历查找文件，大大增加了读取时延，降低的文件的读取速度。本申请实施例能够在存储节点总内存不变的情况下提高缓存的元数据总量，进而提高文件的读取速度。具体请参考图1，图1为本申请实施例所提供的一种元数据缓存方法的流程图，该元数据缓存方法具体包括:

S101、接收缓存元数据的请求指令；

本申请实施例的执行主体为分布式存储***中的任一存储节点，该存储节点先是接收缓存元数据的请求指令。在分布式存储***中每一个存储节点通常都是存储服务器，存储服务器之间通过高速网络互连，即存储节点之间通过高速网络互连。在此对分布式存储节点中存储节点的数量不作具体限定，应由本领域技术人员根据实际情况作出相应的设定。在此对发送缓存元数据的请求指令的客户端也不作具体限定，例如可以为应用服务器，还可以为终端用户。

进一步地，在接收缓存元数据的请求指令之后，通常还包括：判断元数据的数量是否达到预设阈值；若是，则执行根据请求指令对元数据进行精简处理，得到精简元数据的步骤。在此对于预设阈值的数值大小不作具体限定，应由本领域技术人员根据实际情况作出相应的设定。若元数据的数量达到预设阈值，本申请实施例可以统一对这些元数据进行精简处理，得到精简元数据。对于元数据的数量没有达到预设阈值这种情况，后续的执行操作不作具体限定，通常会继续等待直至元数据的数量达到预设阈值。

S102、根据请求指令对元数据进行精简处理，得到精简元数据；

本申请实施例中存储节点在接收缓存元数据的请求指令后，根据请求指令对元数据进行精简处理，得到精简元数据。在此对元数据进行简要说明：任何文件***中的数据分为数据和元数据；数据是指普通文件中的实际数据，而元数据指用来描述一个文件的特征的***数据，诸如访问权限、文件拥有者以及文件数据块的分布信息等等。在分布式文件***中，分布信息包括文件在磁盘上的位置以及磁盘在集群中的位置。用户需要操作一个文件必须首先得到它的元数据，才能定位到文件的位置并且得到文件的内容或相关属性。

在此对元数据管理的方式不作具体限定，应由本领域技术人员根据实际情况作出相应的设定，通常采用分布式管理方式。分布式管理是指将元数据存放在***的任意节点并且能动态的迁移，对元数据管理的职责也分布到各个不同的节点上。分布式元数据管理的好处是解决了集中式管理的单一失效点问题，而且性能不会随着操作频繁而出现瓶颈。

元数据包括两部分，分别为用户预设需存入磁盘的数据和业务运行数据。对于用户预设需存入磁盘的数据的内容和业务运行数据的内容，在此均不作具体限定，应由本领域技术人员根据实际情况作出相应的设定。本申请实施例得到的精简元数据即为用户预设需存入磁盘的数据，故对元数据进行精简处理的方式不作具体限定，例如可以直接将用户预设需存入磁盘的数据从元数据中剥离出来，还可以将元数据中业务运行数据剔除掉。

进一步地，上述根据请求指令对元数据进行精简处理，得到精简元数据，通常包括：根据请求指令，剔除元数据中的业务运行数据，得到精简元数据。对于剔除元数据中的业务运行数据的方式，在此不作具体限定，应由本领域技术人员根据实际情况作出相应的设定，通常执行预设的程序进行业务运行数据的剔除操作。之所以可以剔除业务运行数据是因为在后续进程中可以重新加载这些业务运行数据，故缓存时只需缓存精简元数据即可。

S103、将精简元数据缓存至存储节点中的预设缓存区。

本申请实施例中存储节点在得到精简元数据后，将精简元数据缓存至存储节点中的预设缓存区。在此对存储节点中的预设缓存区的位置和预设缓存区的内存大小均不作具体限定，应由本领域技术人员根据实际情况作出相应的设定，通常预设缓存区位于存储节点中的RAM中。进一步地，对于RAM的型号以及将精简元数据缓存至RAM的缓存速度，在此均不作具体限定，应由本领域技术人员根据实际情况作出相应的设定。

进一步地，将精简元数据缓存至存储节点中的预设缓存区之后，通常还包括：在读取目标元数据时，判断预设缓存区中是否存在目标元数据；若是，则从预设缓存区中读取目标元数据；若否，则从存储节点的内存中读取目标元数据。对于分布式文件***来说，读取目录元数据需从海量文件中进行读取，如果不能够在本地存储节点的预设缓存区读取到需读取的目录元数据或文件，那么基于分布式文件***的特征每次访问文件都需要在集群网络内部访问元数据，一次IO读写的执行过程也可能会跨网络读取元数据，每次读取文件操作都去跨网络获取元数据增大了文件读取的时延。由上文可知，本申请实施例对元数据进行精简处理，能够在存储节点总内存不变的情况下提高缓存的元数据总量，故本申请实施例在读取目标元数据时，首先会判断预设缓存区中是否存在目标元数据，若预设缓存区中存在目标元数据，则直接从预设缓存区中读取目标元数据，进而提高文件的读取速度。若预设缓存区中不存在目标元数据，则从存储节点的内存中读取目标元数据，可以满足业务的需求。在此对于内存所属存储器的类型和内存的容量大小均不作具体限定，应由本领域技术人员根据实际情况作出相应的设定。

进一步地，在从存储节点的内存中读取目标元数据之后，通常还包括：对目标元数据进行精简处理，得到目标精简元数据；将目标精简元数据缓存至存储节点中的预设缓存区。由上文可知，本申请实施例对元数据进行精简处理的方式不作具体限定，故此处对目标元数据进行精简处理的方式也不作具体限定，例如可以直接将用户预设需存入磁盘的数据从目标元数据中剥离出来，还可以将目标元数据中业务运行数据剔除掉。因为在内存中读取目标元数据的速度相比较于直接从预设缓存区读取的速度比较慢，故在从存储节点的内存中读取目标元数据之后，对目标元数据进行精简处理，得到目标精简元数据，将目标精简元数据缓存至存储节点中的预设缓存区，主要是为了下次再次读取目标元数据时可以直接从预设缓存区中直接读取，加快读写速度。

本申请实施例先是接收缓存元数据的请求指令，再根据请求指令对元数据进行精简处理，得到精简元数据，最后将精简元数据缓存至存储节点中的预设缓存区。可见，该方法相比于相关技术对元数据进行了精简处理，能够在存储节点总内存不变的情况下提高缓存的元数据总量，进而提高文件的读取速度。

下面对本申请实施例提供的一种元数据缓存***、设备及计算机可读存储介质进行介绍，下文描述的元数据缓存***、设备及计算机可读存储介质与上文描述的元数据缓存方法可相互对应参照。

请参考图2，图2为本申请实施例所提供的一种元数据缓存***的结构框图；该元数据缓存***包括：

请求指令接收模块201，用于接收缓存元数据的请求指令；

精简处理模块202，用于根据请求指令对元数据进行精简处理，得到精简元数据；

元数据缓存模块203，用于将精简元数据缓存至存储节点中的预设缓存区。

基于上述实施例，本实施例中元数据缓存***，通常还包括：

判断模块，用于在读取目标元数据时，判断预设缓存区中是否存在目标元数据；

第一读取模块，用于若预设缓存区中存在目标元数据，则从预设缓存区中读取目标元数据；

第二读取模块，用于若预设缓存区中不存在目标元数据，则从存储节点的内存中读取目标元数据。

基于上述实施例，本实施例中元数据缓存***，通常还包括：

目标精简元数据获取模块，用于对目标元数据进行精简处理，得到目标精简元数据；

目标精简元数据缓存模块，用于将目标精简元数据缓存至存储节点中的预设缓存区。

基于上述实施例，本实施例中精简处理模块202，通常包括：

精简处理单元，用于根据请求指令，剔除元数据中的业务运行数据，得到精简元数据。

基于上述实施例，本实施例中元数据缓存***，通常还包括：

数量判断模块，用于判断元数据的数量是否达到预设阈值；

精简处理模块202具体为当元数据的数量达到预设阈值时，根据请求指令对元数据进行精简处理，得到精简元数据的模块。

本申请还提供一种设备，包括：存储器和处理器；其中，存储器用于存储计算机程序，处理器用于执行计算机程序时实现上述任意实施例的元数据缓存方法的步骤。

本申请还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述任意实施例的元数据缓存方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的***而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种元数据缓存方法、***、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种元数据缓存方法，其特征在于，包括：

接收缓存元数据的请求指令；

根据所述请求指令对所述元数据进行精简处理，得到精简元数据；

将所述精简元数据缓存至存储节点中的预设缓存区。

2.根据权利要求1所述的元数据缓存方法，其特征在于，将所述精简元数据缓存至存储节点中的预设缓存区之后，还包括：

在读取目标元数据时，判断所述预设缓存区中是否存在所述目标元数据；

若是，则从所述预设缓存区中读取所述目标元数据；

若否，则从所述存储节点的内存中读取所述目标元数据。

3.根据权利要求2所述的元数据缓存方法，其特征在于，从所述存储节点的内存中读取所述目标元数据之后，还包括：

对所述目标元数据进行所述精简处理，得到目标精简元数据；

将所述目标精简元数据缓存至所述存储节点中的所述预设缓存区。

4.根据权利要求1所述的元数据缓存方法，其特征在于，所述根据所述请求指令对所述元数据进行精简处理，得到精简元数据，包括：

根据所述请求指令，剔除所述元数据中的业务运行数据，得到所述精简元数据。

5.根据权利要求1所述的元数据缓存方法，其特征在于，接收缓存元数据的请求指令之后，还包括：

判断所述元数据的数量是否达到预设阈值；

若是，则执行所述根据所述请求指令对所述元数据进行精简处理，得到精简元数据的步骤。

6.一种元数据缓存***，其特征在于，包括：

请求指令接收模块，用于接收缓存元数据的请求指令；

精简处理模块，用于根据所述请求指令对所述元数据进行精简处理，得到精简元数据；

元数据缓存模块，用于将所述精简元数据缓存至存储节点中的预设缓存区。

7.根据权利要求6所述的元数据缓存***，其特征在于，还包括：

判断模块，用于在读取目标元数据时，判断所述预设缓存区中是否存在所述目标元数据；

第一读取模块，用于若所述预设缓存区中存在所述目标元数据，则从所述预设缓存区中读取所述目标元数据；

第二读取模块，用于若所述预设缓存区中不存在所述目标元数据，则从所述存储节点的内存中读取所述目标元数据。

8.根据权利要求6所述的元数据缓存***，其特征在于，所述精简处理模块，包括：

精简处理单元，用于根据所述请求指令，剔除所述元数据中的业务运行数据，得到所述精简元数据。

9.一种设备，其特征在于，包括：

存储器和处理器；其中，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现如权利要求1至5任一项所述的元数据缓存方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的元数据缓存方法的步骤。