CN107341267A - 一种分布式文件***访问方法及平台 - Google Patents

Abstract

本申请公开了一种分布式文件***访问方法及平台，该方法包括：获取客户端的写入请求；判断所述写入请求对应的待写入文件的文件大小是否小于预设文件大小阈值；如果是，则判定所述待写入文件的文件类型为小文件，并将所述待写入文件缓存至分布式redis集群。本发明采用分布式redis集群作为缓存池，客户端从后端磁盘的存储集群写入文件，从redis集群读取文件。由上可知，针对一写多读，文件较小且不删除的情况下，在写入时将小文件缓存至redis集群，读取小文件时直接从redis集群读取，减少读取文件的延迟；把redis集群与后端磁盘的存储集群隔离开，在redis集群的读取行为不会影响到在后端磁盘的写入行为，减小了后端磁盘的压力，提升了文件***性能。

Description

一种分布式文件***访问方法及平台

技术领域

本发明涉及文件访问技术领域，特别涉及一种分布式文件***访问方法及平台。

背景技术

在分布式云存储领域，为了减少文件***容量冗余，通常采用纠删码来存储数据，即将一份数据通过纠删算法写入多块磁盘。当需要读取文件时，需要从多块磁盘中读取数据才能获取最终的数据，这样导致读取时需要多块磁盘同时参与。当需要一写多读时，大量的读取请求会占用磁盘的输入输出(IO)，导致写入请求的带宽受到影响，文件***压力很大，尤其当写入请求的待写入文件较小时，文件***的性能显得更低。

现有技术中，采用快速固态磁盘(SSD)来做后端串口(SATA)硬盘数据池的高速缓冲存储池(cache)。客户端从cache池写入文件，从SATA数据池读取文件；当cache池写满时，将文件数据迁移到SATA数据池中；当某文件读取较为频繁时，将该文件判定为热点数据，并将该文件从SATA数据池中迁移到cache池中，加速对于该文件的再次读取。

采用这种方式，如果当前写入压力较大，也会因为热点数据的迁移影响到文件***的性能。

发明内容

有鉴于此，本发明的目的在于提供一种分布式文件***访问方法及平台，能够减小后端磁盘的压力，减少读取文件的延迟，提升文件***性能。其具体方案如下：

一种分布式文件***访问方法，包括：

获取客户端的写入请求；

判断所述写入请求对应的待写入文件的文件大小是否小于预设文件大小阈值；

如果是，则判定所述待写入文件的文件类型为小文件，并将所述待写入文件缓存至分布式redis集群。

优选地，所述方法进一步包括：

记录所述客户端针对小文件的读取行为，得到相应的读取行为数据；

判断所述读取行为数据是否满足预设条件，如果是，则将所述读取行为数据对应的小文件缓存至所述分布式redis集群。

优选地，所述判断所述读取行为数据是否满足预设条件的过程，包括：

判断读取频率是否大于第一预设频率阈值，如果是，则判定所述读取行为数据满足所述预设条件。

优选地，所述判断所述读取行为数据是否满足预设条件的过程，包括：

判断读取次数是否大于第一预设次数阈值，如果是，则判定所述读取行为数据满足所述预设条件。

优选地，所述判断所述读取行为数据是否满足预设条件的过程，包括：

若所述读取频率大于所述第二预设频率阈值，则判断读取次数是否大于第二预设次数阈值，如果是，则判定所述读取行为数据满足所述预设条件。

优选地，所述判断所述读取行为数据是否满足预设条件的过程，包括：

判断读取次数是否大于第三预设次数阈值；

若所述读取次数大于所述第三预设次数阈值，则判断读取频率是否大于第三预设频率阈值，如果是，则判定所述读取行为数据满足所述预设条件。

优选地，所述方法进一步包括：

确定所述客户端当前请求读取的小文件和/或历史上请求读取的小文件，得到相应的目标小文件；

确定与所述目标小文件相关联的小文件，得到关联小文件；

将所述关联小文件缓存至所述分布式redis集群。

优选地，所述确定与所述目标小文件相关联的小文件，得到关联小文件的过程，包括：

确定与所述目标小文件相关联的第一类小文件和/或第二类小文件，得到所述关联小文件；

其中，所述第一类小文件为与所述目标小文件具有相同关键字的小文件；

所述第二类小文件为与所述目标小文件的存储路径相同的小文件。

本发明还提供一种分布式文件***访问平台，包括：

获取模块，用于获取客户端的写入请求；

大小判断模块，用于判断所述写入请求对应的待写入文件的文件大小是否小于预设文件大小阈值；

第一缓存模块，用于当所述大小判断模块判断所述待写入文件的文件大小小于所述预设文件大小阈值，将所述待写入文件缓存至分布式redis集群。

优选地，所述平台进一步包括：

数据模型分析模块，用于记录所述客户端针对小文件的读取行为，得到相应的读取行为数据；

行为判断模块，用于判断所述读取行为数据是否满足预设条件；

第二缓存模块，用于当所述行为判断模块判断所述读取行为数据满足所述预设条件，将所述读取行为数据对应的小文件缓存至所述分布式redis集群。

优选地，所述平台进一步包括：

第一确定模块，用于确定所述客户端当前请求读取的小文件和/或历史上请求读取的小文件，得到相应的目标小文件；

第二确定模块，用于确定与所述目标小文件相关联的小文件，得到关联小文件；

第三缓存模块，用于将所述关联小文件缓存至所述分布式redis集群。

本发明公开的分布式文件***访问方法及平台，采用分布式redis集群作为缓存池，客户端从后端磁盘的存储集群写入文件，从redis集群读取文件。针对一写多读，文件较小且不删除的情况下，在写入时将小文件缓存至redis集群，读取小文件时直接从redis集群读取，减少读取文件的延迟；把redis集群与后端磁盘的存储集群隔离开，在redis集群的读取行为不会影响到在后端磁盘的写入行为，减小了后端磁盘的压力，提升了文件***性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种分布式文件***访问方法的流程图；

图2为本发明实施例公开的另一种分布式文件***访问方法的流程图；

图3为本发明实施例公开的又一种分布式文件***访问方法的流程图；

图4为本发明实施例公开的一种分布式文件***访问平台的结构图；

图5为本发明实施例公开的另一种分布式文件***访问平台的结构图；

图6为本发明实施例公开的又一种分布式文件***访问平台的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种分布式文件***访问方法，参见图1所示，图1为本发明实施例公开的一种分布式文件***访问方法的流程图，包括以下步骤：

步骤S11：获取客户端的写入请求。

具体地，客户端的写入行为发生在后端磁盘的存储集群中。

步骤S12：判断所述写入请求对应的待写入文件的文件大小是否小于预设文件大小阈值。

在本发明实施例中，通过写入请求中包括的待写入文件信息，确定待写入文件，通过预设大小阈值判断待写入文件是否为小文件。其中，小文件的判断阈值可以为根据文件***的实际性能来确定的阈值，使本发明实施例在一写多读的小文件场景中，能够发挥更好的效果。

步骤S13：如果是，则判定所述待写入文件的文件类型为小文件，并将所述待写入文件缓存至分布式redis集群。

其中，分布式redis集群为一种分布式内存键值对数据库，且redis集群的事件处理速度比一般存储集群快。将小文件从后端存储集群异步写入分布式redis集群中，进而可以从分布式redis集群中读取小文件，可以减少读取小文件的延迟。

本发明实施例公开的一种分布式文件***访问方法，采用分布式redis集群作为缓存池，客户端从后端磁盘的存储集群写入文件，从redis集群读取文件。针对一写多读，文件较小且不删除的情况下，在写入时将小文件缓存至redis集群，读取小文件时直接从redis集群读取，减少读取文件的延迟；把redis集群与后端磁盘的存储集群隔离开，在redis集群的读取行为不会影响到在后端磁盘的写入行为，减小了后端磁盘的压力，提升了文件***性能。

为了进一步提升文件***的性能，本发明实施例公开另一种分布式文件***访问方法。参见图2所示，图2为本发明实施例公开的另一种分布式文件***访问方法的流程图，包括以下步骤：

步骤S21：记录所述客户端针对小文件的读取行为，得到相应的读取行为数据。

本发明实施例中，读取行为可以包括历史上读取的行为，即相应的读取行为数据为积累的读取行为数据，例如，记录在过去的一周中，客户端对某文件读取了N次，如果以天为计算单位，那么该文件的读取频率为N/7。

步骤S22：判断所述读取行为数据是否满足预设条件，如果是，则将所述读取行为数据对应的小文件缓存至所述分布式redis集群。

具体地，读取行为数据可以为任何能够表明客户端对某文件访问情况的数据。通常情况下，读取行为数据为读取次数和/或读取频率。

此时，上述判断所述读取行为数据是否满足预设条件的过程，可以通过四种方案来实现，包括第一判断方案、第二判断方案、第三判断方案及第四判断方案。其中：

第一判断方案包括：判断读取频率是否大于第一预设频率阈值，如果是，则判定所述读取行为数据满足所述预设条件。

第二判断方案包括：判断读取次数是否大于第一预设次数阈值，如果是，则判定所述读取行为数据满足所述预设条件。

第三判断方案包括：

判断读取频率是否大于第二预设频率阈值；

若所述读取频率大于所述第二预设频率阈值，则判断读取次数是否大于第二预设次数阈值，如果是，则判定所述读取行为数据满足所述预设条件。

第四判断方案包括：

判断读取次数是否大于第三预设次数阈值；

若所述读取次数大于所述第三预设次数阈值，则判断读取频率是否大于第三预设频率阈值，如果是，则判定所述读取行为数据满足所述预设条件。

此处的预设阈值为可以根据实际情况改变的最适合当前文件***的阈值。当某文件的读取次数和/或读取频率大于相应的阈值时，可以认为该文件成为客户端经常访问的“热点数据”，将该文件缓存至分布式redis集群中，下次客户端读取该文件时从分布式redis集群读取，可以减少读取延迟。需要说明的是，当读取行为数据为读取频率和读取次数时，二者都应大于相应的阈值，并且由于此时考虑了两种数据，可以根据实际情况适当降低阈值数值。

为了再进一步提升文件***读取性能，本发明实施例又公开了一种分布式文件***访问方法。参见图3所示，图3为本发明实施例公开的又一种分布式文件***访问方法的流程图，包括以下步骤：

步骤S31：确定所述客户端当前请求读取的小文件和/或历史上请求读取的小文件，得到相应的目标小文件。

本发明实施例中，当目标小文件的来源仅为当前请求读取的小文件时，仅需获取当前读取请求；当目标小文件的来源中包括历史上请求读取的小文件时，需要记录客户端的读取请求历史数据。

步骤S32：确定与所述目标小文件相关联的小文件，得到关联小文件。

一般地，确定关联小文件的依据可以为与目标小文件具有相同关键字和/或相同存储路径的小文件。以相同关键字为例，当客户端请求读取的小文件为包含电视机型号数据的文本文档时，通过关键字“电视机”检索出来的关联小文件可以为包含关键字“电视机”的电视机结构图，也可以为其他与电视机相关的小文件。而相同存储路径的小文件通常为用户根据自身习惯划分的相关联小文件。本发明实施例通过关联性确定目标小文件，此时的目标小文件即为客户端接下来可能会访问的小文件，将目标小文件缓存至redis集群中，通过预测来减小客户端可能进行的读取行为的延迟，进一步提升了文件***当前的性能。

当然，在实际应用中，还可以采用其他方式确定关联小文件，对此本发明实施例不做限定。

相应地，本发明实施例还提供一种分布式文件***访问平台，参见图5所示，图4为本发明实施例公开的一种分布式文件***访问平台的结构图，该平台包括：

获取模块41，用于获取客户端的写入请求；

大小判断模块42，用于判断所述写入请求对应的待写入文件的文件大小是否小于预设文件大小阈值；

第一缓存模块43，用于当所述大小判断模块判断所述待写入文件的文件大小小于所述预设文件大小阈值，将所述待写入文件缓存至分布式redis集群。

参见图5所示，图5为本发明实施例公开的另一种分布式文件***访问平台的结构图，该平台包括：

数据模型分析模块51，用于记录所述客户端针对小文件的读取行为，得到相应的读取行为数据；

行为判断模块52，用于判断所述读取行为数据是否满足预设条件；

第二缓存模块53，用于当所述行为判断模块判断所述读取行为数据满足所述预设条件，将所述读取行为数据对应的小文件缓存至所述分布式redis集群。

参见图6所示，图6为本发明实施例公开的又一种分布式文件***访问平台的结构图，该平台包括：

第一确定模块61，用于确定所述客户端当前请求读取的小文件和/或历史上请求读取的小文件，得到相应的目标小文件；

第二确定模块62，用于确定与所述目标小文件相关联的小文件，得到关联小文件；

第三确定模块63，用于将所述关联小文件缓存至所述分布式redis集群。

关于上述分布式文件***访问平台中的各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本发明实施例公开的分布式文件***访问方法及平台，采用分布式redis集群作为缓存池，客户端从后端磁盘的存储集群写入文件，从redis集群读取文件。针对一写多读，文件较小且不删除的情况下，在写入时将小文件缓存至redis集群，读取小文件时直接从redis集群读取，减少读取文件的延迟；把redis集群与后端磁盘的存储集群隔离开，在redis集群的读取行为不会影响到在后端磁盘的写入行为，减小了后端磁盘的压力，提升了文件***性能。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的分布式文件***访问方法及平台进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种分布式文件***访问方法，其特征在于，包括：

获取客户端的写入请求；

判断所述写入请求对应的待写入文件的文件大小是否小于预设文件大小阈值；

如果是，则判定所述待写入文件的文件类型为小文件，并将所述待写入文件缓存至分布式redis集群。

2.根据权利要求1所述的方法，其特征在于，进一步包括：

记录所述客户端针对小文件的读取行为，得到相应的读取行为数据；

判断所述读取行为数据是否满足预设条件，如果是，则将所述读取行为数据对应的小文件缓存至所述分布式redis集群。

3.根据权利要求2所述的方法，其特征在于，所述判断所述读取行为数据是否满足预设条件的过程，包括：

判断读取频率是否大于第一预设频率阈值，如果是，则判定所述读取行为数据满足所述预设条件。

4.根据权利要求2所述的方法，其特征在于，所述判断所述读取行为数据是否满足预设条件的过程，包括：

判断读取次数是否大于第一预设次数阈值，如果是，则判定所述读取行为数据满足所述预设条件。

5.根据权利要求2所述的方法，其特征在于，所述判断所述读取行为数据是否满足预设条件的过程，包括：

判断读取频率是否大于第二预设频率阈值；

若所述读取频率大于所述第二预设频率阈值，则判断读取次数是否大于第二预设次数阈值，如果是，则判定所述读取行为数据满足所述预设条件。

6.根据权利要求2所述的方法，其特征在于，所述判断所述读取行为数据是否满足预设条件的过程，包括：

判断读取次数是否大于第三预设次数阈值；

若所述读取次数大于所述第三预设次数阈值，则判断读取频率是否大于第三预设频率阈值，如果是，则判定所述读取行为数据满足所述预设条件。

7.根据权利要求1至6中任一项所述的方法，其特征在于，进一步包括：

确定所述客户端当前请求读取的小文件和/或历史上请求读取的小文件，得到相应的目标小文件；

确定与所述目标小文件相关联的小文件，得到关联小文件；

将所述关联小文件缓存至所述分布式redis集群。

8.根据权利要求7所述的方法，其特征在于，所述确定与所述目标小文件相关联的小文件，得到关联小文件的过程，包括：

确定与所述目标小文件相关联的第一类小文件和/或第二类小文件，得到所述关联小文件；

其中，所述第一类小文件为与所述目标小文件具有相同关键字的小文件；

所述第二类小文件为与所述目标小文件的存储路径相同的小文件。

9.一种分布式文件***访问平台，其特征在于，包括：

获取模块，用于获取客户端的写入请求；

大小判断模块，用于判断所述写入请求对应的待写入文件的文件大小是否小于预设文件大小阈值；

第一缓存模块，用于当所述大小判断模块判断所述待写入文件的文件大小小于所述预设文件大小阈值，将所述待写入文件缓存至分布式redis集群。

10.根据权利要求9所述的平台，其特征在于，进一步包括：

数据模型分析模块，用于记录所述客户端针对小文件的读取行为，得到相应的读取行为数据；

行为判断模块，用于判断所述读取行为数据是否满足预设条件；

第二缓存模块，用于当所述行为判断模块判断所述读取行为数据满足所述预设条件，将所述读取行为数据对应的小文件缓存至所述分布式redis集群。

11.根据权利要求9或10所述的平台，其特征在于，进一步包括：

第一确定模块，用于确定所述客户端当前请求读取的小文件和/或历史上请求读取的小文件，得到相应的目标小文件；

第二确定模块，用于确定与所述目标小文件相关联的小文件，得到关联小文件；

第三缓存模块，用于将所述关联小文件缓存至所述分布式redis集群。