CN103544322A

CN103544322A - 基于服务器集群的热点元数据管理方法

Info

Publication number: CN103544322A
Application number: CN201310552106.8A
Authority: CN
Inventors: 陆月明; 齐磊
Original assignee: Beijing University of Posts and Telecommunications
Current assignee: Beijing University of Posts and Telecommunications
Priority date: 2013-11-08
Filing date: 2013-11-08
Publication date: 2014-01-29

Abstract

本发明涉及一种基于服务器集群的热点元数据管理方法，该发明应用于分布式文件***中的元数据服务器集群中，由元数据访问监控、元数据访问控制、目录树信息管理、目录子树信息管理、目录子树拆分、元数据迁移六个模块组成。该发明完成了***对元数据访问的实时监控、元数据访问的可控性和目录子树分割形式的一致性等功能，达到了***在出现热点元数据的情形下实现负载均衡的目标。

Description

基于服务器集群的热点元数据管理方法

技术领域

本发明涉及基于服务器集群的热点元数据管理方法，该方法应用于采用服务器集群的分布式文件***中，可提高热点元数据的访问速度，属于信息领域。

背景技术

云计算、大数据和虚拟化场景等新兴技术与服务均是依赖于海量数据的存储，应用于海量数据存储的分布式文件***在这些领域中都发挥着很重要的作用，因此分布式文件***的性能提升也必然会促进这些新兴技术与服务的进步。然而，分布式文件***在设计目标、体系结构、***规模、性能、可扩展性、可用性等方面都有别于传统的文件***。

目前应用较为广泛的分布式文件***，比如HDFS、MooseFS和TFS均把文件分成两部分，一部分是文件的元数据（Metadata），包括文件名、属性和权限、修改时间等信息，另外一部分是文件的数据（即文件内容，简称数据）。这两部分数据在分布式文件***中被存储到不同的服务器中。在某些分布式文件***中采用了一台服务器来存储所有文件的元数据，这个服务器称为元数据服务器（简称为MDS），但采用一台元数据服务器管理元数据要比采用多台元数据服务器（元数据服务器集群）管理的方式来说，在可靠性、可用性以及可扩展性等方面要逊色很多。

此外，分布式文件***中文件读写操作与元数据密切相关，元数据管理效率的高低在很大程度上影响了整个分布式文件***读写性能。因此，有越来越多的分布式文件***采用元数据服务器集群来管理元数据。

使用元数据服务器集群管理元数据会涉及到元数据分配策略问题，目前使用较为普遍的方式是子树分割法，子树分割法包括静态子树分割法和动态子树分割法。静态子树分割法通过***管理员的操作将文件目录（称为目录树）分割成多个目录子树（子目录），并将这些目录子树部署到多台MDS上，单台MDS仅负责管理单个目录子树，静态子树分割法的优点是管理简单，但缺点是当出现用户对某个目录子树下的元数据（热点元数据）进行集中访问时就会出现存储热点元数据的那台MDS负载过重的情况。子树分割法中第二种是动态子树分割法，它能够将负载动态地分配到每台MDS上，但是当出现复杂的目录树结构或者是执行重命名等操作时，会出现大量的元数据迁移，并且按这种方式构建的***的结构也十分复杂。

本发明提出基于服务器集群的热点元数据管理方法，综合了静态子树分割法和动态子树分割法的优点，在保证***结构较为简单的同时，能够进行负载均衡，解决热点元数据的集中访问问题。

发明内容

本发明“基于服务器集群的热点元数据管理方法”由元数据访问监控、元数据访问控制、目录树信息管理、目录子树信息管理、目录子树拆分、元数据迁移六个模块组成。下面详细介绍基于服务器集群的热点元数据管理方法的结构和各个组成部分的内容。

（1）本发明构架

为了实现本发明“基于服务器集群的热点元数据管理方法”，要求对现有的分布式文件***的多元数据服务器集群的体系结构进行修改，本发明形成的热点元数据管理架构如图1所示。

（2）本发明的六个组成模块

本发明“基于服务器集群的热点元数据管理方法”由元数据访问监控、元数据访问控制、目录树信息管理、目录子树信息管理、目录子树拆分、元数据迁移六个模块组成。以下就各功能模块及其方法作详细说明。

●元数据访问监控：该模块用于监控每个目录子树的元数据访问情况。这里首先定义目录子树的访问热度和访问热度的阈值。每个目录子树都对应一个访问热度，每到来一个用户的元数据请求时，相应目录子树的访问热度增1，等待时间T后，访问热度减1。当目录子树的访问热度达到访问热度的阈值后，元数据成为热点元数据。当该模块监测到某个目录子树出现热点元数据时，则通知目录子树信息管理模块需要对这个目录子树进行拆分。

●元数据访问控制：该模块用于响应具体的元数据访问请求，建立用户与具体MDS间的通信。当***在进行目录子树的拆分操作时，会涉及到元数据迁移操作，为保护元数据的安全性和一致性，元数据访问控制模块会暂时将对热点元数据的访问请求置于等待状态，并存入等待队列中，直到目录子树完成拆分操作，并向目录树信息管理模块和目录子树信息管理模块反馈相应的信息后，再开始处理处于等待状态的元数据访问请求。

●目录树信息管理：该模块负责管理每个目录子树间的层次关系，以保障***能够根据用户提供的文件或目录的绝对路径定位到正确的目录子树上。在***部署时，由***管理员对最初目录树进行人工拆分，将拆分得到的目录子树部署到不同的MDS上。

●目录子树信息管理：该模块用于管理***中所有的目录子树，保存每个目录子树的位置信息，即每个目录子树位于哪台MDS上。

●目录子树的拆分：该模块的主要功能包括两个，即目录子树的分割和目录子树的复制。该模块会对出现热点元数据的目录子树进行分割或复制，形成多个新的目录子树，具体的方式如图2所示。这里将仅拥有单个目录的目录子树结构称为简单类型，否则称之为复杂类型。如果出现热点元数据的目录子树结构为复杂类型，如图2中左侧所示，则将其拆成多个简单类型的目录子树。如果出现热点元数据的目录子树结构为简单类型，如图2中右侧所示，则将目录子树进行复制，形成多个简单类型的目录子树，并通过加锁机制，保障元数据的安全性和一致性。在完成目录子树的拆分操作后，再根据元数据服务器集群中每台MDS的负载情况，将新的目录子树部署到负载较低的MDS上。

●元数据迁移：该模块用于实现元数据迁移的功能。在进行目录子树的拆分操作时，该模块具体实现将新目录子树迁移到负载低的MDS上。

（3）本发明各模块的执行流程

为了说明本发明的执行流程，图3从热点元数据的出现到***完成负载均衡的整个过程描述了本发明各模块之间的关系和本发明的执行流程，本发明的具体执行流程如下：

●热点元数据监测阶段：元数据访问监控模块监测到某台MDS出现热点元数据，通知元数据访问控制模块阻塞对该目录子树的元数据访问请求，并通知目录子树信息管理模块需要对该目录子树进行拆分，以及哪些MDS负载较低，适合分担负载。

●负载均衡阶段：对出现热点元数据的目录子树进行拆分操作。并调用元数据迁移模块，将热点元数据从原MDS迁移到新MDS上。

●目录树信息更新阶段：在上述操作完成之后，目录树信息管理模块和目录子树信息管理模块需要完成相应信息的更新。

●元数据访问恢复阶段：在目录树信息更新完成后，通知元数据访问控制模块解除对该目录子树元数据访问请求的阻塞，恢复元数据访问请求。

附图说明

图1基于服务器集群的热点元数据管理方法的***结构

图2目录子树的拆分策略

图3本发明各模块的执行流程

图4***在出现热点元数据时实现负载均衡的例子

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例也仅仅是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了说明“基于服务器集群的热点元数据管理方法”，这里给出一个“在MDS1出现热点元数据的情形下，***实现负载均衡”的例子。

●热点元数据监测阶段：元数据访问监控模块检测到MDS1上出现热点元数据，通知元数据访问控制模块阻塞用户a、b、c对热点元数据的访问请求，并将这些访问请求存入等待队列中。通知目录子树信息管理模块MDS1上的目录子树A需要进行拆分，并告知其MDS2和MDS3上的负载较低，适合分担负载。

●负载均衡阶段：目录子树的拆分模块对目录子树A进行拆分，如图4所示，将目录子树A拆分为新的目录子树E和F，并记录拆分后的目录子树对象的层次关系。在拆分完成后，调用元数据迁移模块，原先存于MDS1中的新目录子树E和F迁移至MDS2和MDS3下。

●目录树信息更新阶段：如图4所示，在目录子树信息管理模块中，用新目录子树E和F取代原目录子树A。在目录树信息管理模块中，用新目录子树E和F的层次关系取代原目录子树A在目录树中的位置。

●元数据访问恢复阶段：通知元数据访问控制模块模块恢复用户a、b、c的元数据访问请求，处理保存在等待队列中的元数据访问请求。

本发明的优势

本发明涉及基于服务器集群的热点元数据管理方法，本发明应用于目前分布式文件***的元数据管理中。本发明的优点主要有四个：

(1)负载均衡的相对性：本发明仅对出现热点元数据的目录子树采用了负载均衡机制，从而保证了***结构的简单稳定和***运行的高效性。

(2)元数据访问的实时监控性：本发明对用户的元数据访问采用了实时监控机制，记录了每个目录子树的访问热度，可以实时地监控元数据的访问情况，并及时发现热点元数据的出现。

(3)元数据访问的可控性：本发明对用户的元数据访问请求采用了控制机制。通过对用户的元数据访问请求的控制，在进行目录子树的负载均衡操作期间中，保障了元数据的安全性和一致性。

(4)目录子树分割形式的一致性：本发明采用了统一的目录子树拆分方法，保障了***结构的稳定性。

Claims

1.本发明涉及一种基于服务器集群的热点元数据管理方法，该方法应用于采用服务器集群的分布式文件***中，以提高热点元数据的访问速度。本发明由元数据访问监控、元数据访问控制、目录树信息管理、目录子树信息管理、目录子树拆分、元数据迁移六个模块组成。

2.根据权利要求书(1)所述的方法，其特征在于本发明提出了相对的负载均衡，仅对出现热点元数据的目录子树采用了负载均衡机制。

3.根据权利要求书(1)所述的方法，其特征在于本发明对用户的元数据访问采用了实时监控机制。

4.根据权利要求书(1)所述的方法，其特征在于本发明对用户的元数据访问请求采用了控制机制。

5.根据权利要求书(1)所述的方法，其特征在于本发明采用了统一的目录子树拆分方法，并提出了拆分目录子树的标准形式。