CN102012933B

CN102012933B - 分布式文件***及利用其存储数据和提供服务的方法

Info

Publication number: CN102012933B
Application number: CN 201010570126
Authority: CN
Inventors: 郑纬民; 张尧学; 薛瑞尼; 韩文弢; 陈康; 陈文光
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2010-12-02
Filing date: 2010-12-02
Publication date: 2013-01-30
Anticipated expiration: 2030-12-02
Also published as: CN102012933A

Abstract

本发明公开了一种分布式文件***，包括：元数据服务器，用于保存所有用户标识符对应的数据服务器节点的列表以及该节点与其标识符的对应关系，维护每个节点的负载情况，并指导数据服务器执行负载均衡和冗余恢复的操作，负载情况以数据量来表征；数据服务器，用于存储用户的数据以及对应的用户的元数据，每个用户的数据存储在一个单独的目录下，并使用标识符对目录进行区分；文件***客户端，用于形成本地文件目录，并将操作转发到相应的数据服务器；应用程序客户端，用于通过文件***客户端所形成的文件目录使用户访问文件***，从而为用户提供应用程序。本发明还提供了利用该***存储数据和提供服务的方法。本发明提高了存储个人用户数据的效率。

Description

分布式文件***及利用其存储数据和提供服务的方法

技术领域

本发明涉及操作***的文件***领域，特别涉及服务海量个人用户分布式文件***及利用其存储个人用户数据和为个人用户提供服务的方法。

背景技术

随着云计算技术和移动互联网技术的发展，越来越多的用户个人数据的存储位置从本地设备(如台式机、上网本、智能手机等)转移到了远程服务端。这给用户的使用带来了很多便利。

首先，这样的存储模式给不同设备上的数据之间的同步创造了机会。用户的文档、图片、音乐等数据可能是在台式机上创建或产生的，但也想在上网本或智能手机上查看或修改。由于数据在远程服务端有一份始终可用的数据，应用程序可以通过某种协议进行数据的自动同步，避免了用户手动复制数据带来的麻烦和问题。

其次，这样的存储模式给数据的恢复创造了机会。当用户误删了本地的数据，或者是丢失设备之后，由于远程服务端还保留了用户的数据，因此可以通过应用程序来恢复数据。

第三，这样的存储模式给不同用户之间的数据共享创造了机会。当某个用户想给其他用户共享数据时，他可以将数据传到远程服务端，并标记为共享。其他经过授权的用户可以访问这些被标记为共享的数据。

上述的存储模式可以向用户提供以上这些使用数据的便利，大大提高了用户数据的可用性，是移动互联网一个典型的应用模式。与此同时带来的一个问题是，对于一个服务来说，要支持海量的用户就必须有一个大容量、高可靠、易扩展的文件***来提供存储。Google公司2003年在The ACM Symposium on Operating Systems Principles(SOSP)会议上发表的论文The Google File System中阐述了在Google公司内部使用的分布式文件***，具有大容量、高可靠、容错等特性，并针对搜索引擎领域大量索引和缓存数据的特点进行了优化，为Google公司的业务提供了强大的支撑平台。它的问题主要在于搜索引擎领域的数据特点是大量索引和缓存数据均为一次性写入，修改方式主要以追加为主，在处理大量用户的个人数据需要频繁改写的情况时效率会比较低下。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何提高存储个人用户数据的效率。

(二)技术方案

为解决上述技术问题，本发明提供了一种分布式文件***，包括：

元数据服务器，用于保存所有用户标识符对应的数据服务器节点的列表以及该节点与其标识符的对应关系，维护每个节点的负载情况，并指导数据服务器执行负载均衡和冗余恢复的操作，所述负载情况以数据量来表征；

数据服务器，用于存储用户的数据以及对应的用户的元数据，其中每个用户的数据存储在一个单独的目录下，并使用所述标识符对目录进行区分；

文件***客户端，用于形成本地的文件目录，并将操作转发到相应的数据服务器；

应用程序客户端，用于通过所述文件***客户端所形成的文件目录使用户访问文件***，从而为用户提供应用程序。

本发明还提供了一种利用上述分布式文件***存储用户数据的方法，每个用户的数据存储在一个单独的目录下，并使用用户标识符对目录进行区分。

其中，所述用户为个人用户。

本发明还提供了一种利用上述分布式文件***为用户提供服务的方法，将所述分布式文件***提供给应用程序使用，再由该应用程序给用户提供服务。

其中，所述用户为个人用户。

(三)有益效果

本发明对于海量用户数据的存储方式进行优化，将每个用户的个人数据存储在一个单独的目录下，并利用用户标识符(User Identifier，以后简称用户ID)对这些目录进行在数据服务器上的划分。这样可以节省元数据，提高效率。同时，当用户使用他的文件时，由于文件都放在同一台数据服务器上，所以可以进行高效的预取和缓存，进一步提高效率。分布式文件***并不直接暴露给终端用户使用，而是提供给传统的应用程序使用，再由这些服务程序给终端用户提供服务，这样把具体应用的语义定义交给了应用程序来设计，简化了分布式文件***的设计。

另外，本发明的***能够兼容现有的本地文件***，提供虚拟文件***(Virtual File System，VFS)的接口，方便现有应用程序能够很快移植到文件***中，不需要太多的额外工作。另一个优点是可以通过文件***结构提供额外的功能，例如可以为每个用户建立自己的索引，能够进行全文搜索等。还能够在一部分数据服务器节点坏掉的时候，仍然保证***的高可靠性。该***无需管理员的参与，能够自动进行***的配置工作，自动实现数据均衡以及对错误数据的处理。

附图说明

图1是本发明实施例的***结构示意图；

图2显示了用户数据在DS上的组织形式。

具体实施方式

下面结合附图和具体实施方式，对本发明做进一步说明。

如图1所示，本发明提供的分布式文件***包括：

元数据服务器(Metadata Server，MDS)，用于保存所有用户标识符对应的数据服务器节点的列表以及该节点与其标识符的对应关系，维护每个节点的负载情况，并指导数据服务器执行负载均衡和冗余恢复的操作，所述负载情况以数据量来表征；

数据服务器(Data Server，DS)，用于存储用户的数据以及对应的用户的元数据，其中每个用户的数据存储在一个单独的目录下，并使用所述标识符对目录进行区分；

文件***客户端(File System Client，FSC)，用于形成本地的文件目录，并将操作转发到相应的数据服务器；

应用程序客户端(Application Client，AC)，用于通过所述文件***客户端所形成的文件目录使用户访问文件***，从而为用户提供应用程序。

上述用户优选为个人用户，个人用户的数据指非全局统一的数据。

下面详细介绍上述***的各个模块。

MDS是整个***的核心，它的主要工作是：(1)响应FSC对于某一个用户的查询请求；(2)向每一个DS节点发出心跳消息，并接收响应；(3)根据DS节点掉线的情况，更新DataServerStatusList(DS节点信息的列表)，并对相应的UserStatusList(所维护的用户信息)中的信息进行更新；(4)更新上述的UserStatusList，并对需要进行数据重分布的用户发起数据重分布工作，根据响应的信息更新用户数据的状态结构；(5)处理对于DS新节点的加入，新节点加入的时候需要先向MDS进行报到；(6)MDS在刚开始启动的时候，询问每一个DS去构建本身内存中的数据结构；(7)对于很长时间不在线，并且后来又重新上线的DS启动垃圾收集程序，删除过时的用户数据(移动到某一个垃圾目录中)；(8)如果发现某一个节点在一段相当长的时间里不在线，通过电子邮件或者其他手段通知***管理员，使得管理员可以通过一些技术手段来决定下一步的工作。

DS用于存储用户数据，每个用户的数据以一个顶级目录的形式被分配到几台DS上存储。DS本身是一个被动的设备，等待FSC的读写请求，等待MDS的各种命令，并作出相应的回复或反应。

本发明***的客户端分为两个部分，一部分是FSC，它通过一些现有的技术手段提供在本地文件***上挂载本分布式文件***，形成一个可以用操作***本身提供的编程接口进行访问的本地文件夹或者驱动器。另一部分是AC，它是向终端用户提供服务的程序，通过FSC提供的文件***接口来存储用户的个人数据。

本***中存储的数据在DS上的分布以用户为单位，单个用户的所有数据在逻辑上组成一个文件***的顶级文件夹，并以这样的顶级文件夹为单位，通过MDS的协调分到不同的DS上。这样的分布方式与以单个文件为单位，或者文件的数据块为单位的方式相比，可以大大减少额外的元数据的量，同时为文件的缓存和预取提供机会。

本发明还提供了一种利用上述分布式文件***存储个人用户数据的方法，每个用户的数据存储在一个单独的目录下，并使用用户标识符对目录进行区分。

本发明还提供了一种利用上述分布式文件***为个人用户提供服务的方法，将所述分布式文件***提供给应用程序使用，再由该应用程序给用户提供服务。

在具体实施过程中，需要在各模块维护相关的数据，并按照一定的流程进行操作。

MDS要维护整个分布式文件***全局的信息，并对影响全局的事件做出反应。***全局有几个可配置的参数，分别是正常情况下的用户文件副本数n(建议值为3)，心跳检测的时间间隔h(建议值为5分钟)，以及判定掉线的时间间隔d(建议值为2小时)。

在MDS中需要维护的数据分为两个部分，分别是DS情况的数据以及用户情况的数据，以适应不同的处理应用场景。

(1)DS节点信息的列表：

表1

(2)所维护的用户信息：

表2

在MDS刚启动的时候，需要有一个启动的DS列表，以便在MDS询问每一个DS的情况，从而获得具体的服务器情况。

本发明的分布式文件***的主要工作流程：

1、响应对某个用户进行节点查询的请求(FSC可以缓存请求的结果)。

a)AC发起一个请求，创建一个在/user/下面的一个新的目录，如/user/newuserid。

b)对应的请求被转发给FSC，此时FSC将发起一个请求，向MDS请求用户信息。

c)MDS接收到上述的请求，查询本地数据库，将数据库中节点的对应情况返回给FSC，FSC收到信息之后和对应的DS通讯，FSC可以一直缓存相关信息，直到信息过期为止。MDS不参与下面有关数据读写的工作。

d)MDS接收到上述请求，查询本地数据库，发现没有对应的用户，则开始进入创建用户对应服务器节点映射的工作。(用户目录在本地没有，而客户端需要进行请求，应该是新创建的用户，因此需要在元数据中创建对于用户相应的项。)

e)MDS根据DS节点信息的列表，按照某一个算法生成n个DS的列表，并将此列表存储到MDS本身所在的数据库中。

f)MDS将这n个节点的列表返回给FSC。之后，FSC将和对应的DS进行通讯。

2、向每一个在DataServerStatusList中出现的DS定时发出心跳消息，并收集响应信息。定时对后台的服务器进行监测(监测的发起时刻可以是定时，也可以是在MDS空闲的时候，由这两个因素去确定，优先服务正常的元数据操作)，如果发现工作异常的节点，则进行数据重分布的操作。

a)维护所有节点的心跳信息，定时监测，并刷新在MDS上的对应节点的状态信息。(刷新信息的时候，不光需要进行节点是否运行的检查，还需要检查对应的DS是否正在工作。在DS要能够响应心跳消息。)在发现节点掉线时，需要更新用户数据可用副本数目。

b)在上面刷新状态信息的同时，检查运行不正常的DS节点的状态。如果不正常的节点下线时间超过d，则启动对于数据重分布的请求。

3、更新节点状态信息，如果发现某一个节点长期不在线，则去更新对应的用户数据列表，并且如果有必要，发起数据重分布操作。此时，就是对这个节点所对应的所有的数据备份相应的ReplicaStatus进行更新。最后还需要删除针对错误状态的DS所维持的数据结构。

4、更新UserStatusList，并对需要进行数据重分布的用户发起数据重分布工作，根据响应的信息更新用户数据的状态结构。在发起更新的时候，随机选取当前可用的数据节点(偏向于数据比较少的节点)，并***到用户状态的UserHostList中，并将对应的ReplicaStatus状态设置为RECOVERING，直到收到一个响应消息将状态设置为HEALTHY。

5、处理DS新节点加入的情况，在收到某一个节点加入***的消息的时候，将节点的信息***到DataServerStatusList。

6、MDS在刚开始启动的时候，询问每一个DS去构建本身内存中的数据结构。重构的过程要询问每一个DS的状态，来重构出上述的两个列表，即DataServerStatusList和UserStatusList。

7、若某一个DataServer长期不在线，但是后来又重新上线了，在MDS重构数据本身的时候，会碰到数据不一致的情况。这种情况通过版本号来解决，选取在***中绝大多数数据所形成的版本号，抛弃不一致的数据，放入到垃圾收集目录中。

8、垃圾收集。对于很长时间不在线，并且后来又重新上线的DS启动垃圾收集程序，删除过时的用户数据。

9、状态监测与通知。如果发现某一个节点不在线时间超过d，通过电子邮件或者其他手段通知***管理员，使得管理员可以通过一些技术手段来决定下一步的工作。

DS本身是一个被动的设备，等待FSC的读写请求，等待MDS的各种命令，并作出相应的回复或反应。

DS本身保存了用户的数据。用户数据在DS上的组织形式如附图2所示，“/用户数据/用户ID1”表示用户ID1对应的用户数据，App1～App3分别表示应用程序1至应用程序3。在DS上有一个全局的配置文件指定这些数据的存放位置，以及存放可能出现的垃圾数据的目录。

DS的访问接口与处理流程如下：

DS提供的访问接口包括一个是从FSC来的对于对应目录下文件的读写操作；一个是从MDS过来的进行数据重分布的请求接口；最后一个是从其他的DS发送过来的用户数据，响应用数据重分布的请求；还有一个是重构MDS的请求(扫描本地用户ID列表，并汇报至MDS)。另外心跳和新增DS通知MDS是单向的。

1.根据FSC发过来的信息对对应的目录进行读写操作。

2.根据MFS发出的命令，对数据进行重分布操作。MFS发过来的重分布命令分为两个部分，即需要重分布的用户数据的用户ID号，以及目标节点。

3.从其他DS发送过来的用户数据。

4.响应MDS发送过来的心跳消息。在心跳消息中捎带对于用户数据使用情况的信息，对于已经完成数据重分布的信息等。

5.新的DS自动向MDS汇报。

AC去读写对应用户下的特定目录。客户的文件数据按照/user/useridxxxx/service/file进行统一管理。每个AC都需要进行改写以自动地对相应的目录下的文件进行读写。在Linux操作***下的实现中，读写操作被FUSE(用户空间的文件***)转发给FSC。FSC是一个FUSE的应用程序，起到两个作用：

1.用来产生本地文件***中的一个特殊目录，这个特殊目录下的文件实际上都是通过FSClient进行转发的特殊的文件***。

2.用来对远程的文件进行读写。

FSC的工作流程如下：

1.FSC首先通过VFS(虚拟文件***)接口去读写某一个文件夹中的文件，例如/user/useridxxxx/service/file，那么在/user/useridxxxx/service下的所有的文件读写接口就会被转发给FSC的服务程序。

2.AC对于文件或者目录的操作会通过FUSE的接口转发给FSC。

3.如果FSC已经缓存了对应的用户所在的DS的位置，则无需从MDS中获取用户的元数据，否则向MDS请求相应用户的元数据。

4.若是读操作，FSC根据本地的策略，选择最近的服务器进行读取，或者根据节点的负载状况，选择负载最轻的。

5.若是写操作，按照下文的写入协议进行。

基于上述的组成模块，下面描述文件的写入、读取、打开、关闭等操作的详细流程。

文件的写操作：

1.FSC接到写入操作。

2.若在FSC本地已经缓存了该用户的节点信息，则直接用；否则向MDS查询该用户的节点信息。

3.按照用户的节点信息列表的顺序依次尝试发送写入请求。

4.节点写入数据时，首先写入到内存中相应文件的缓存，然后将写入操作作为日志写入到本地磁盘，等待两次写入完成后返回该DS节点上的写入操作成功。

5.若某一步写入出现错误，则返回错误至FSC，FSC返回写入操作失败。

6.日志管理服务：在文件首次写入日志时要向日志管理服务注册，每次写日志时都检查日志的大小，如果超过阈值则通知日志管理服务。日志管理服务扫描所有注册的日志，将所有的日志操作应用到原来的文件中。

文件的读操作：

1.FSC接到读取操作。

3.向用户节点列表中的主DS发送读操作请求。

4.主DS这端，先从内存缓存中找数据，若没有则从磁盘日志中找，若还没有则直接读取磁盘上的文件。读取相应内容后回复请求。

5.FSC返回读取的内容。

文件的打开操作：

1.FSC接到打开文件请求。

2.若在FSC本地已经缓存了该用户的节点信息，则可以直接返回OK。

3.否则FSC向MDS发送请求，异步请求用户对应的节点信息并缓存，也返回OK。

文件的关闭操作：

1.FSC接到关闭文件请求。

2.FSC返回OK。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims

1.一种分布式文件***，其特征在于，包括：

元数据服务器，用于保存所有用户标识符对应的数据服务器节点的列表以及该节点与其标识符的对应关系，维护每个节点的负载情况，并通过向数据服务器发送控制指令来指导数据服务器执行负载均衡和冗余恢复的操作，所述负载情况以数据量来表征；

数据服务器，用于存储用户的数据以及对应的用户的元数据，其中每个用户的数据存储在一个单独的目录下，并且每个用户的所有文件存放在同一台数据服务器上，并使用所述用户标识符对目录进行区分；

文件***客户端，用于形成本地的文件目录，并将文件读写操作转发到相应的数据服务器；

2.一种利用权利要求1所述的分布式文件***存储用户数据的方法，其特征在于，每个用户的数据存储在一个单独的目录下，并且每个用户的所有文件存放在同一台数据服务器上，并使用用户标识符对目录进行区分。

3.如权利要求2所述的方法，其特征在于，所述用户为个人用户。

4.一种利用权利要求1所述的分布式文件***为用户提供服务的方法，其特征在于，将所述分布式文件***提供给应用程序使用，再由该应用程序给用户提供服务。

5.如权利要求4所述的方法，其特征在于，所述用户为个人用户。