CN109063103A - 一种分布式非易失文件*** - Google Patents

Abstract

本发明公开了一种分布式非易失文件***，包括多个元数据服务器、多个存储服务器，每个存储服务器中设置有一个或多个非易失内存，所有非易失内存映射成一个整体的内存空间；其中，任意一个元数据服务器，用于在接收到针对目标文件的存储请求时，将目标文件划分为多个条带；根据每个条带的大小，通过查询空间可分配表，为每个条带分配相应的内存空间；在目标文件的元数据中记录每个条带在内存空间中的起始地址和偏移量。应用本发明实施例所提供的技术方案，利用非易失内存进行文件存储，可以实现快速的元数据访问，减少元数据的查找时间，减少数据拷贝，降低读写访问延迟。

Description

一种分布式非易失文件***

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种分布式非易失文件***。

背景技术

随着计算机技术的快速发展，处理器和存储器之间性能差距越来越大，特别是处理器和外存之间性能的差距尤为明显，这样使得I/O瓶颈问题日益突出。

为缓解I/O瓶颈问题，传统方法是通过在内存中设置磁盘文件缓存，减少访问外存的次数。

但数据***式的增长对内存容量的需求越来越大，传统方法通过增加缓存容量带来的效益反而减少，而且内外存之间频繁交换数据会产生较大的开销，读写访问延迟较大。

发明内容

本发明的目的是提供一种分布式非易失文件***，以实现快速的元数据访问，减少元数据查找时间，减少数据拷贝，降低读写访问延迟。

为解决上述技术问题，本发明提供如下技术方案：

一种分布式非易失文件***，包括多个元数据服务器、多个存储服务器，每个存储服务器中设置有一个或多个非易失内存，所有非易失内存映射成一个整体的内存空间；其中，

任意一个元数据服务器，用于在接收到针对目标文件的存储请求时，将所述目标文件划分为多个条带；根据每个条带的大小，通过查询空间可分配表，为每个条带分配相应的内存空间；在所述目标文件的元数据中记录每个条带在内存空间中的起始地址和偏移量。

在本发明的一种具体实施方式中，

任意一个元数据服务器，具体用于在所述存储请求中携带存放位置信息时，根据每个条带的大小，通过查询空间可分配表，优先在所述存放位置对应的存储服务器中为每个条带分配相应的内存空间。

在本发明的一种具体实施方式中，

任意一个元数据服务器，具体用于根据每个条带的大小和存储服务器的负载程度，通过查询空间可分配表，为每个条带分配相应的内存空间。

在本发明的一种具体实施方式中，

任意一个元数据服务器，具体用于根据每个条带的大小，通过查询空间可分配表，在负载程度小于预设阈值的存储服务器的内存空间中为每个条带分配相应的内存空间。

在本发明的一种具体实施方式中，

任意一个元数据服务器，还用于在监测到内存空间有空间释放时，在所述空间可分配表中记录释放的内存空间。

在本发明的一种具体实施方式中，

任意一个元数据服务器，还用于在接收到针对目标文件的存储请求时，将所述目标文件的副本文件映射到内存空间存储。

在本发明的一种具体实施方式中，所有非易失内存映射成的整体的内存空间的地址全局共享。

在本发明的一种具体实施方式中，所有非易失内存映射成的整体的内存空间的地址包括虚拟地址和物理地址。

在本发明的一种具体实施方式中，

任意一个元数据服务器，具体用于在所述目标文件的元数据中记录每个条带在内存空间中的起始虚拟地址和偏移量。

在本发明的一种具体实施方式中，

任意一个元数据服务器，还用于在接收到针对所述目标文件的访问请求时，根据所述目标文件在内存空间中的起始虚拟地址和偏移量，通过查询内存映射表，确定所述目标文件的物理起始地址，并读取所述目标文件。

应用本发明实施例所提供的技术方案，分布式非易失文件***中每个存储服务器中设置有一个或多个非易失内存，所有非易失内存映射成一个整体的内存空间，元数据服务器在接收到针对目标文件的存储请求时，将目标文件划分为多个条带，根据每个条带的大小，通过查询空间可分配表，为每个条带分配相应的内存空间，在目标文件的元数据中记录每个条带在内存空间中的起始地址和偏移量。利用非易失内存进行文件存储，可以实现快速的元数据访问，减少元数据的查找时间，减少数据拷贝，降低读写访问延迟。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种分布式非易失文件***的结构示意图；

图2为本发明实施例中一种文件存储方法的实施流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种分布式非易失文件***，该分布式非易失文件***包括多个元数据服务器、多个存储服务器，每个存储服务器中设置有一个或多个非易失内存，所有非易失内存映射成一个整体的内存空间。借助于非易失内存进行文件的存储，可以更好地利用非易失存储设备的随机访问性能。所有非易失内存映射成的整体的内存空间的地址全局共享，分布式非易失文件***中所有元数据服务器、存储服务器等节点可看到一致的视图。即各个非易失内存组成各个存储服务器上的内存空间被统一管理，映射成一个整体的内存空间，同一地址指向同一个位置，该统一地址空间可字节寻址，由持久化的非易失内存组成。

如图1所示，为分布式非易失文件***的结构示意图，包括元数据服务器1、元数据服务器2、元数据服务器3，存储服务器1、存储服务器2、存储服务器3，每个存储服务器中设置有两个非易失内存，所有非易失内存映射成一个整体的内存空间，该整体的内存空间具有分布式、高可靠、持久化、统一地址、字节寻址等特性。客户端通过元数据服务器可将文件存储至内存空间，同时可在内存空间读取文件，执行相应的I/O操作。支持多用户、并发访问。

需要说明的是，图1所示元数据服务器、存储服务器、非易失内存个数仅为示例，在实际应用中，可以有更多个。

如图2所示，在该分布式非易失文件***中，任意一个元数据服务器通过以下步骤进行文件存储：

S210：在接收到针对目标文件的存储请求时，将所述目标文件划分为多个条带；

S220：根据每个条带的大小，通过查询空间可分配表，为每个条带分配相应的内存空间；

S230：在所述目标文件的元数据中记录每个条带在内存空间中的起始地址和偏移量。

在本发明实施例中，客户端可以根据实际需要向相应的元数据服务器发出针对文件的存储请求。对于分布式非易失文件***中的任意一个元数据服务器而言，该元数据服务器在接收到针对目标文件的存储请求时，可以将目标文件划分为多个条带。

具体的，可以预先设定划分规则，比如，按照设定大小进行划分，划分后的最后一个条带大小小于或等于该设定大小，或者，按照不同类型文件设定不同大小划分。元数据服务器可以按照该设定规则对目标文件进行条带划分，获得多个条带。

将目标文件划分为多个条带后，可以进一步根据每个条带的大小，通过查询空间可分配表，为每个条带分配相应的内存空间。空间可分配表中记录有当前可供分配的空闲的内存空间。通过查询空间可分配表，可以知悉每个空闲的内存空间的大小。每个条带的大小可能相同或不同，为每个条带分配相应的内存空间时，尽量进行大小匹配，避免小碎片和空洞的形成。

在本发明的一种具体实施方式中，任意一个元数据服务器具体用于在存储请求中携带存放位置信息时，根据每个条带的大小，通过查询空间可分配表，优先在存放位置对应的存储服务器中为每个条带分配相应的内存空间。

在实际应用中，客户端可以根据实际情况确定文件的存放位置，如根据存储服务器的负载状况、通信代价等确定，这样在存储请求中可以携带存放位置信息。元数据服务器在接收到针对目标文件的存储请求时，可以获得存储请求中携带的存放位置信息。将目标文件划分为多个条带后，可以根据每个条带的大小，通过查询空间可分配表，优先选择存放位置对应的存储服务器的内存空间进行分配。当存放位置对应的存储服务器没有空闲的内存空间时，可以根据默认规则分配其他存储服务器的内存空间。

在本发明的另一种具体实施方式中，任意一个元数据服务器具体用于根据每个条带的大小和存储服务器的负载程度，通过查询空间可分配表，为每个条带分配相应的内存空间。

具体的，可以根据每个条带的大小，通过查询空间可分配表，在负载程度小于预设阈值的存储服务器的内存空间中为每个条带分配相应的内存空间。

在本发明实施例中，元数据服务器在接收到针对目标文件的存储请求时，可以先获得存储服务器的负载程度，通过查询空间可分配表，确定负载程度小于预设阈值的存储服务器中的空闲的内存空间，根据每个条带的大小，在这些内存空间中为每个条带自适应分配相应的内存空间。

为每个条带分配相应的内存空间后，在目标文件的元数据中记录每个条带在内存空间中的起始地址和偏移量。

具体的，可以在目标文件的元数据中记录每个条带在内存空间中的起始虚拟地址和偏移量。

在本发明实施例中，所有非易失内存映射成的整体的内存空间的地址包括虚拟地址和物理地址，即所有非易失内存映射成的整体的内存空间可以分为虚拟地址空间和物理地址空间。物理地址空间是指PM(Persistent Memory，持久内存)，存储包括PM元数据信息、内存映射表、文件***空间等。PM元数据信息包括PM内部大小、元数据分区的起始位置、映射表的起始位置和大小、文件***空间的起始位置和大小。内存映射表保存了文件***空间的页(page)到虚拟地址的映射。文件***空间保存了真实的文件的数据、元数据信息。

在本发明的一个实施例中，任意一个元数据服务器还用于在接收到针对目标文件的访问请求时，根据目标文件在内存空间中的起始虚拟地址和偏移量，通过查询内存映射表，确定目标文件的物理起始地址，并读取所述目标文件。

将目标文件映射到内存空间中进行存储后，客户端可以对目标文件进行访问。元数据服务器在接收到针对目标文件的访问请求时，根据目标文件在内存空间中的起始虚拟地址和偏移量，通过查询内存映射表，可以确定目标文件的物理起始地址，基于该物理起始地址和偏移量，可以读取目标文件，响应访问请求。

将文件划分为页映射到虚拟地址，保证虚拟地址连续。对文件的访问只需记录文件的起始虚拟地址和偏移量就可以找到文件的存放位置。在对文件的起始位置添加偏移时需重新计算文件的位置。在内存空间中加载虚拟地址，可以提高文件***的访问效率。虚拟地址的空间结构包括超级块super block、元数据表inode table和文件区域file region。

在本发明的一个实施例中，任意一个元数据服务器还用于在监测到内存空间有空间释放时，在空间可分配表中记录释放的内存空间。

内存空间中存储的文件可能会因为删除等原因释放内存空间。元数据服务器在监测到内存空间有空间释放时，可以在空间可分配表中记录释放的内存空间，将释放的内存空间再次分配，实现内存空间的回收再利用。空间可分配表中内存空间的大小可以以字节为单位，避免造成内存空间的浪费。

在本发明的一个实施例中，任意一个元数据服务器还用于在接收到针对目标文件的存储请求时，将目标文件的副本文件映射到内存空间存储。对于副本文件的存储方式可以与目标文件一致，本发明实施例在此不再赘述。

应用本发明实施例所提供的技术方案，分布式非易失文件***中每个存储服务器中设置有一个或多个非易失内存，所有非易失内存映射成一个整体的内存空间，元数据服务器在接收到针对目标文件的存储请求时，将目标文件划分为多个条带，根据每个条带的大小，通过查询空间可分配表，为每个条带分配相应的内存空间，在目标文件的元数据中记录每个条带在内存空间中的起始地址和偏移量。利用非易失内存进行文件存储，可以实现快速的元数据访问，减少元数据的查找时间，减少数据拷贝，降低读写访问延迟。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种分布式非易失文件***，其特征在于，包括多个元数据服务器、多个存储服务器，每个存储服务器中设置有一个或多个非易失内存，所有非易失内存映射成一个整体的内存空间；其中，

任意一个元数据服务器，用于在接收到针对目标文件的存储请求时，将所述目标文件划分为多个条带；根据每个条带的大小，通过查询空间可分配表，为每个条带分配相应的内存空间；在所述目标文件的元数据中记录每个条带在内存空间中的起始地址和偏移量。

2.根据权利要求1所述的分布式非易失文件***，其特征在于，

任意一个元数据服务器，具体用于在所述存储请求中携带存放位置信息时，根据每个条带的大小，通过查询空间可分配表，优先在所述存放位置对应的存储服务器中为每个条带分配相应的内存空间。

3.根据权利要求1所述的分布式非易失文件***，其特征在于，

任意一个元数据服务器，具体用于根据每个条带的大小和存储服务器的负载程度，通过查询空间可分配表，为每个条带分配相应的内存空间。

4.根据权利要求3所述的分布式非易失文件***，其特征在于，

任意一个元数据服务器，具体用于根据每个条带的大小，通过查询空间可分配表，在负载程度小于预设阈值的存储服务器的内存空间中为每个条带分配相应的内存空间。

5.根据权利要求1至4之中任一项所述的分布式非易失文件***，其特征在于，

任意一个元数据服务器，还用于在监测到内存空间有空间释放时，在所述空间可分配表中记录释放的内存空间。

6.根据权利要求1所述的分布式非易失文件***，其特征在于，

任意一个元数据服务器，还用于在接收到针对目标文件的存储请求时，将所述目标文件的副本文件映射到内存空间存储。

7.根据权利要求1所述的分布式非易失文件***，其特征在于，所有非易失内存映射成的整体的内存空间的地址全局共享。

8.根据权利要求7所述的分布式非易失文件***，其特征在于，所有非易失内存映射成的整体的内存空间的地址包括虚拟地址和物理地址。

9.根据权利要求8所述的分布式非易失文件***，其特征在于，

任意一个元数据服务器，具体用于在所述目标文件的元数据中记录每个条带在内存空间中的起始虚拟地址和偏移量。

10.根据权利要求9所述的分布式非易失文件***，其特征在于，

任意一个元数据服务器，还用于在接收到针对所述目标文件的访问请求时，根据所述目标文件在内存空间中的起始虚拟地址和偏移量，通过查询内存映射表，确定所述目标文件的物理起始地址，并读取所述目标文件。