CN111090633A - 一种分布式文件***的小文件聚合方法、装置及设备 - Google Patents

Abstract

本发明公开了一种分布式文件***的小文件聚合方法，通过在分布式文件***中预先创建n个空闲聚合大文件，在对分布式文件***中的小文件进行聚合时，调用空闲聚合大文件以满足小文件的聚合需求，从而避免了在小文件聚合需要新的空闲聚合大文件时再创建聚合大文件所造成的小文件写入性能的抖动，进而提高了分布式文件***的稳定性。本发明还公开了一种分布式文件***的小文件聚合装置、设备及计算机可读存储介质，具有上述有益效果。

Description

一种分布式文件***的小文件聚合方法、装置及设备

技术领域

本发明涉及分布式存储技术领域，特别是涉及一种分布式文件***的小文件聚合方法、装置、设备及计算机可读存储介质。

背景技术

在现今的分布式文件***中，数据量飞速增长，尤其是小文件(通常指容量在几K到几十K大小之间的文件)的数量极为庞大，如果均采用普通的流程一个个的存储，将占用大量的IO操作，导致磁盘压力增大，存储效率较低。同时，由于所有的文件的读、写、删除等IO操作均需要向元数据服务器请求元数据信心，而元数据服务器的资源有效，当IOPS较高时，会导致元数据服务器出现瓶颈。

因此本领域技术人员提出了将分布式文件***中的小文件以追加写的方式写入聚合大文件的小文件聚合方法，以降低大量小文件带来的磁盘IO压力和元数据服务器的压力。

聚合大文件是一类特殊的文件，当聚合大文件写至一定阈值后，后续的小文件需要写入新的聚合大文件。在首次需要写入聚合大文件或当聚合大文件写到阈值需要更换聚合大文件时，需要先创建新的聚合大文件再进行后续小文件的聚合，然而这就会导致小文件的写入过程发生抖动，降低了小文件的写入性能，对分布式文件***的稳定性影响较大。

如何降低小文件聚合过程中写入性能的抖动，是本领域技术人员需要解决的技术问题。

发明内容

本发明的目的是提供一种分布式文件***的小文件聚合方法、装置、设备及计算机可读存储介质，用于降低小文件聚合过程中写入性能的抖动，提高分布式文件***的稳定性。

为解决上述技术问题，本发明提供一种分布式文件***的小文件聚合方法，包括：

在分布式文件***中，预先创建n个空闲聚合大文件；

在对所述分布式文件***中的小文件进行聚合时，调用所述空闲聚合大文件以满足所述小文件的聚合需求；

其中，n为正整数。

可选的，还包括：

定时判断所述空闲聚合大文件的数量是否小于n；

如果是，则创建新的空闲聚合大文件以使所述分布式文件***中的空闲聚合大文件的数量为n。

可选的，所述定时判断所述空闲聚合大文件的数量是否小于n，具体为：

每隔1s执行一次所述判断所述空闲聚合大文件的数量是否小于n的步骤。

可选的，所述预先创建n个空闲聚合大文件，具体包括：

预先在所述分布式文件***中采用元数据服务器创建n个所述空闲聚合大文件；

将各所述空闲聚合大文件的地址信息存于所述分布式文件***的客户端的本地缓存中；

相应的，所述调用所述空闲聚合大文件以满足所述小文件的聚合需求，具体为：

在所述本地缓存中获取所述空闲聚合大文件的地址信息，以调用所述空闲聚合大文件以满足所述小文件的聚合需求。

可选的，所述空闲聚合大文件的地址信息具体为所述空闲聚合大文件的句柄。

可选的，还包括：

检查所述空闲聚合大文件的命中率；其中，所述空闲聚合大文件的命中率为一个预设时段内，供调用的所述空闲聚合大文件的数量占所述小文件聚合时所需的空闲聚合大文件的数量的比率；

根据所述命中率调整n的值。

可选的，所述根据所述命中率调整所述n的值，具体包括：

判断所述命中率是否小于预设阈值；

如果是，则增加n的值。

为解决上述技术问题，本发明还提供一种分布式文件***的小文件聚合装置，包括：

创建单元，用于在分布式文件***中，预先创建n个空闲聚合大文件；

调用单元，用于在对所述分布式文件***中的小文件进行聚合时，调用所述空闲聚合大文件以满足所述小文件的聚合需求；

其中，n为正整数。

为解决上述技术问题，本发明还提供一种分布式文件***的小文件聚合设备，包括：

存储器，用于存储指令，所述指令包括上述任意一项所述分布式文件***的小文件聚合方法的步骤；

处理器，用于执行所述指令。

为解决上述技术问题，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述分布式文件***的小文件聚合方法的步骤。

本发明所提供的分布式文件***的小文件聚合方法，通过在分布式文件***中预先创建n个空闲聚合大文件，在对分布式文件***中的小文件进行聚合时，调用空闲聚合大文件以满足小文件的聚合需求，从而避免了在小文件聚合需要新的空闲聚合大文件时再创建聚合大文件所造成的小文件写入性能的抖动，进而提高了分布式文件***的稳定性。本发明还提供一种分布式文件***的小文件聚合装置、设备及计算机可读存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的第一种分布式文件***的小文件聚合方法的流程图；

图2为本发明实施例提供的第二种分布式文件***的小文件聚合方法的流程图；

图3为本发明实施例提供的第三种分布式文件***的小文件聚合方法的流程图；

图4为本发明实施例提供的一种分布式文件***的小文件聚合装置的结构示意图；

图5为本发明实施例提供的一种分布式文件***的小文件聚合设备的结构示意图。

具体实施方式

本发明的核心是提供一种分布式文件***的小文件聚合方法、装置、设备及计算机可读存储介质，用于降低小文件聚合过程中写入性能的抖动，提高分布式文件***的稳定性。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的第一种分布式文件***的小文件聚合方法的流程图。

如图1所示，本发明实施例提供的分布式文件***的小文件聚合方法包括：

S101：在分布式文件***中，预先创建n个空闲聚合大文件。

S102：在对分布式文件***中的小文件进行聚合时，调用空闲聚合大文件以满足小文件的聚合需求。

其中，n为正整数。

在分布式文件***中，小文件数据以追加写的方式写入聚合大文件，即为小文件的聚合。在首次需要写入聚合大文件时或者聚合大文件写到阈值时需要创建新的聚合大文件，如果在需要时再进行聚合大文件的创建，则会造成小文件写入性能下降、写入性能抖动的问题。为此，本发明实施例提供的本发明实施例提供的分布式文件***的小文件聚合方法预先创建n个空闲聚合大文件作为备用。

在具体实施中，由分布式文件***的客户端负责空闲聚合大文件的创建，可以预先在客户端中增加聚合大文件管理器用于实现本发明实施例的步骤。

通过预先创建n个空闲聚合大文件，当分布式文件***中某个节点需要新的聚合大文件时，可以通过该节点的本地客户端直接从聚合大文件管理器中获取聚合大文件，无需因等待新的聚合大文件的创建而造成写入性能抖动的问题。

对于步骤S101来说，预先创建n个空闲聚合大文件，具体可以包括：

预先在分布式文件***中采用元数据服务器创建n个空闲聚合大文件；

将各空闲聚合大文件的地址信息存于分布式文件***的客户端的本地缓存中。

相应的，对于步骤S102来说，调用空闲聚合大文件以满足小文件的聚合需求，具体为：

在本地缓存中获取所述空闲聚合大文件的地址信息，以调用空闲聚合大文件以满足小文件的聚合需求。

通过聚合大文件管理器，将创建的空闲聚合大文件存于指定地址，并将空闲聚合大文件的地址信息存入本地缓存的agg_inode_map中。在分布式文件***中，当某个节点需要新的空闲聚合大文件时，则该节点的本地客户端向载有聚合大文件管理器的客户端发送请求，聚合大文件管理器向该节点的本地客户端返回空闲聚合大文件的地址信息，该节点的本地客户端就可以根据空闲聚合大文件的地址信息到指定地址调用聚合大文件，进而将小文件写入新的聚合大文件，省去了等待创建新的聚合大文件的时间。

在具体实施中，空闲聚合大文件的地址信息可以为空闲聚合大文件的句柄fh*。

本发明实施例提供的分布式文件***的小文件聚合方法，通过在分布式文件***中预先创建n个空闲聚合大文件，在对分布式文件***中的小文件进行聚合时，调用空闲聚合大文件以满足小文件的聚合需求，从而避免了在小文件聚合需要新的空闲聚合大文件时再创建聚合大文件所造成的小文件写入性能的抖动，进而提高了分布式文件***的稳定性。

图2为本发明实施例提供的第二种分布式文件***的小文件聚合方法的流程图。

在上述实施例的基础上，为进一步提高分布式文件***中小文件写入性能的稳定性，如图2所示，本发明实施例提供的分布式文件***的小文件聚合方法还包括：

S201：定时判断空闲聚合大文件的数量是否小于n；如果是，则进入步骤S202。

S202：创建新的空闲聚合大文件以使分布式文件***中的空闲聚合大文件的数量为n。

需要说明的是，步骤S201-S202与步骤S101-S102无顺序关系，可以为先执行步骤S101-S102再执行步骤S201-S202；也可以将步骤S101和步骤S202看做一个步骤，即根据空闲聚合大文件的数量与n的关系进行新的空闲聚合大文件的创建。

在具体实施中，在聚合大文件管理器中增加定时检测线程，定时检测客户端的本地缓存中缓存的空闲聚合大文件(的地址信息)的数量，进而得知分布式文件***中空闲聚合大文件的数量。通过周期性地检测空闲聚合大文件的数量，并在空闲聚合大文件的数量小于n时创建新的空闲聚合大文件，保证在分布式文件***中始终有n个空闲聚合大文件可供调用，从而起到维持分布式文件***中小文件的写入性能稳定性的作用。

其中，定时判断空闲聚合大文件的数量是否小于n，具体可以为：

每隔1s执行一次判断空闲聚合大文件的数量是否小于n的步骤。

基于本发明实施例提供的方案，在聚合大文件管理***中，当接收到请求空闲聚合大文件的信息时，将all_requests计数+1(表示对空闲聚合大文件的请求书+1)，如果本地缓存的agg_inode_map中有可用的空闲聚合大文件，可以直接返回空闲聚合大文件的句柄fh*，cached计数+1(表示空闲聚合大文件命中数+1)，并在agg_inode_map中移除该空闲聚合大文件的信息。

图3为本发明实施例提供的第三种分布式文件***的小文件聚合方法的流程图。

预先创建的空闲聚合大文件会占据一定的存储空间，而过多的空闲聚合大文件可能会造成存储空间的浪费，因此在上述实施例的基础上，为提高分布式文件***的资源利用率，如图3所示，本发明实施例提供的分布式文件***的小文件聚合方法还包括：

S301：检查空闲聚合大文件的命中率。

其中，空闲聚合大文件的命中率为一个预设时段内，供调用的空闲聚合大文件的数量占小文件聚合时所需的空闲聚合大文件的数量的比率。

在上述实施例中，当接收到请求空闲聚合大文件的信息时，将all_requests计数+1，如果本地缓存的agg_inode_map中有可用的空闲聚合大文件，返回空闲聚合大文件的句柄fh*，将cached计数+1，则空闲聚合大文件的命中率可以用cached/all_requests×100％表示。

S302：根据命中率调整n的值。

命中率是一个位于0到100％之间的数值，在实际应用中，当命中率小于100％时，若分布式文件***的资源充足，可以增加n值使命中率达到100％；而当分布式文件***的资源不充足时，则无需保证命中率为100％，此时可以适当降低n的值。

因此，步骤S302具体可以包括：

判断命中率是否小于预设阈值；

如果是，则增加n的值。

其中，预设阈值为0到100％之间的数值。

当命中率大于预设阈值时，降低n的值。

进一步的，可以在聚合大文件管理器中另设一个定时检测线程，用于定时执行对命中率与预设阈值关系的判断，并周期性的根据判断结果调整n的值。

上文详述了分布式文件***的小文件聚合方法对应的各个实施例，在此基础上，本发明还公开了与上述方法对应的分布式文件***的小文件聚合装置、设备及计算机可读存储介质。

图4为本发明实施例提供的一种分布式文件***的小文件聚合装置的结构示意图。

如图4所示，本发明实施例提供的分布式文件***的小文件聚合装置包括：

第一创建单元401，用于在分布式文件***中，预先创建n个空闲聚合大文件；

调用单元402，用于在对分布式文件***中的小文件进行聚合时，调用空闲聚合大文件以满足小文件的聚合需求；

其中，n为正整数。

进一步的，本发明实施例提供的分布式文件***的小文件聚合装置还可以包括：

判断单元，用于定时判断空闲聚合大文件的数量是否小于n；如果是，则进入第二创建单元；

第二创建单元，用于创建新的空闲聚合大文件以使分布式文件***中的空闲聚合大文件的数量为n。

其中，判断单元可以每隔1s执行一次判断空闲聚合大文件的数量是否小于n的步骤。

进一步的，第一创建单元401具体包括：

创建子单元，用于预先在分布式文件***中采用元数据服务器创建n个空闲聚合大文件；

存储子单元，用于将各空闲聚合大文件的地址信息存于分布式文件***的客户端的本地缓存中。

相应的，调用单元402调用空闲聚合大文件以满足小文件的聚合需求，具体为：

调用单元402在本地缓存中获取空闲聚合大文件的地址信息，以调用空闲聚合大文件以满足小文件的聚合需求。

其中，空闲聚合大文件的地址信息具体可以采用空闲聚合大文件的句柄。

进一步的，本发明实施例提供的分布式文件***的小文件聚合装置还可以包括：

检查单元，用于检查空闲聚合大文件的命中率；

调整单元，用于根据命中率调整n的值。

其中，空闲聚合大文件的命中率为一个预设时段内，供调用的空闲聚合大文件的数量占小文件聚合时所需的空闲聚合大文件的数量的比率。

进一步的，调整单元具体可以包括：

判断子单元，用于判断命中率是否小于预设阈值；如果是，则进入调整子单元；

调整子单元，用于增加n的值。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

图5为本发明实施例提供的一种分布式文件***的小文件聚合设备的结构示意图。

如图5所示，本发明实施例提供的分布式文件***的小文件聚合设备包括：

存储器510，用于存储指令，所述指令包括上述任意一项实施例所述的分布式文件***的小文件聚合方法的步骤；

处理器520，用于执行所述指令。

其中，处理器520可以包括一个或多个处理核心，比如3核心处理器、8核心处理器等。处理器520可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器520也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器520可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器520还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器510可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器510还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器510至少用于存储以下计算机程序511，其中，该计算机程序511被处理器520加载并执行之后，能够实现前述任一实施例公开的分布式文件***的小文件聚合方法中的相关步骤。另外，存储器510所存储的资源还可以包括操作***512和数据513等，存储方式可以是短暂存储或者永久存储。其中，操作***512可以为Windows。数据513可以包括但不限于上述方法所涉及到的数据。

在一些实施例中，分布式文件***的小文件聚合设备还可包括有显示屏530、电源540、通信接口550、输入输出接口560、传感器570以及通信总线580。

本领域技术人员可以理解，图5中示出的结构并不构成对分布式文件***的小文件聚合设备的限定，可以包括比图示更多或更少的组件。

本申请实施例提供的分布式文件***的小文件聚合设备，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如上所述的分布式文件***的小文件聚合方法，效果同上。

需要说明的是，以上所描述的装置、设备实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本发明各个实施例所述方法的全部或部分步骤。

为此，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如分布式文件***的小文件聚合方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例中提供的计算机可读存储介质所包含的计算机程序能够在被处理器执行时实现如上所述的分布式文件***的小文件聚合方法的步骤，效果同上。

以上对本发明所提供的一种分布式文件***的小文件聚合方法、装置、设备及计算机可读存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种分布式文件***的小文件聚合方法，其特征在于，包括：

在分布式文件***中，预先创建n个空闲聚合大文件；

在对所述分布式文件***中的小文件进行聚合时，调用所述空闲聚合大文件以满足所述小文件的聚合需求；

其中，n为正整数。

2.根据权利要求1所述的小文件聚合方法，其特征在于，还包括：

定时判断所述空闲聚合大文件的数量是否小于n；

如果是，则创建新的空闲聚合大文件以使所述分布式文件***中的空闲聚合大文件的数量为n。

3.根据权利要求2所述的小文件聚合方法，其特征在于，所述定时判断所述空闲聚合大文件的数量是否小于n，具体为：

每隔1s执行一次所述判断所述空闲聚合大文件的数量是否小于n的步骤。

4.根据权利要求1所述的小文件聚合方法，其特征在于，所述预先创建n个空闲聚合大文件，具体包括：

预先在所述分布式文件***中采用元数据服务器创建n个所述空闲聚合大文件；

将各所述空闲聚合大文件的地址信息存于所述分布式文件***的客户端的本地缓存中；

相应的，所述调用所述空闲聚合大文件以满足所述小文件的聚合需求，具体为：

在所述本地缓存中获取所述空闲聚合大文件的地址信息，以调用所述空闲聚合大文件以满足所述小文件的聚合需求。

5.根据权利要求4所述的小文件聚合方法，其特征在于，所述空闲聚合大文件的地址信息具体为所述空闲聚合大文件的句柄。

6.根据权利要求1所述的小文件聚合方法，其特征在于，还包括：

检查所述空闲聚合大文件的命中率；其中，所述空闲聚合大文件的命中率为一个预设时段内，供调用的所述空闲聚合大文件的数量占所述小文件聚合时所需的空闲聚合大文件的数量的比率；

根据所述命中率调整n的值。

7.根据权利要求6所述的小文件聚合方法，其特征在于，所述根据所述命中率调整所述n的值，具体包括：

判断所述命中率是否小于预设阈值；

如果是，则增加n的值。

8.一种分布式文件***的小文件聚合装置，其特征在于，包括：

创建单元，用于在分布式文件***中，预先创建n个空闲聚合大文件；

调用单元，用于在对所述分布式文件***中的小文件进行聚合时，调用所述空闲聚合大文件以满足所述小文件的聚合需求；

其中，n为正整数。

9.一种分布式文件***的小文件聚合设备，其特征在于，包括：

存储器，用于存储指令，所述指令包括权利要求1至7任意一项所述分布式文件***的小文件聚合方法的步骤；

处理器，用于执行所述指令。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述分布式文件***的小文件聚合方法的步骤。

Images