CN101441668B - 分布式文件***中多磁盘分组热备的方法与装置 - Google Patents

Abstract

本发明公开了一种分布式文件***中多磁盘分组热备的方法，包括：以文件访问服务器为对象对磁盘进行分组，以组为对象建立磁盘之间的热备关系；检测到磁盘上电时，判断上电磁盘是否为新磁盘，若是则根据新磁盘所在的组确定新磁盘的热备关系，为新磁盘加载备份文件；若不是新磁盘则判断上电磁盘当前所在的组与原组是否一致，若一致则恢复上电磁盘原有的热备关系，并判断上电磁盘的文件内容与其热备磁盘中文件内容是否相同，若相同则不作处理，若不同重新为上电磁盘加载备份文件；若不一致则根据上电磁盘当前所在组重新为上电磁盘建立热备关系，并重新为上电磁盘加载备份文件。本发明同时公开了一种实现前述方法的装置。本发明提高了DFS数据的可靠性。

Description

分布式文件***中多磁盘分组热备的方法与装置

技术领域

本发明涉及一种分布式文件***(DFS，Distributed File System)中多磁盘分组热备的方法与装置。

背景技术

DFS中一般包括有多个文件访问服务器(FAS，File Access Sever)，每个FAS对外提供文件***的文件读写功能，同时每个FAS管理多个磁盘，磁盘的状态由FAS定时向文件定位寄存器(FLR，File Locating Register)上报，磁盘发现功能由FAS来实现。为了提高***的可靠性，降低FAS故障对整个***产生的影响，一般采用磁盘备份的方法来保证的，即在单个磁盘故障时，使用一个备份的磁盘继续提供服务。对于分布式文件***而言，由于每个FAS管理多个磁盘，而每个FAS管理的磁盘之间是有一定的耦合性的。如果仅采用磁盘备份的机制，当FAS故障时，该FAS上的主备盘将会同时故障，从而导致该FAS上的文件不能提供给访问用户，造成***文件服务的质量降低。

发明内容

有鉴于此，本发明的主要目的在于提供一种分布式文件***中多磁盘分组热备的方法与装置，能有效提高DFS的可靠性。

为达到上述目的，本发明的技术方案是这样实现的：

一种分布式文件***中多磁盘分组热备的方法，包括：

以文件访问服务器为对象对磁盘进行分组，以组为对象建立磁盘之间的热备关系；

检测到磁盘上电时，判断上电磁盘是否为新磁盘，若是则根据所述新磁盘所在的组确定所述新磁盘的热备关系，为所述新磁盘加载备份文件；

若不是新磁盘则判断所述上电磁盘当前所在的组与原组是否一致，若一致则恢复所述上电磁盘原有的热备关系，并判断所述上电磁盘的文件内容与其热备磁盘中文件内容是否相同，若相同则不作处理，若不同重新为所述上电磁盘加载备份文件；以及

若不一致则根据所述上电磁盘当前所在组重新为所述上电磁盘建立热备关系，并重新为所述上电磁盘加载备份文件。

优选地，所述以文件访问服务器为对象对磁盘进行分组，具体为：

为所述文件访问服务器配置位置的物理信息、逻辑单元信息以及分组号信息，建立磁盘参数与所述文件访问服务器位置的物理信息、逻辑单元信息以及分组号信息之间的对应关系。

优选地，所述位置的物理信息包括所述文件访问服务器所在的架、框、槽板位的信息；所述逻辑单元信息包括所述文件访问服务器的CPU、内口单元、外口单元、MAC地址、IP地址的信息；所述磁盘参数包括磁盘数据区使用标识、磁盘在所述文件访问服务器的逻辑地址索引号、磁盘物理序列号、磁盘逻辑标识、磁盘块校验查询序列号、磁盘心跳检测、磁盘状态、磁盘总容量、磁盘空闲容量、磁盘某段时间读数据量、磁盘某段时间写数据量、上报开始时间、上报结束时间。

优选地，所述以组为对象建立磁盘之间的热备关系，具体为：

为所述组中的磁盘设置热备号，按所述热备号建立组之间磁盘的动态对应关系。

一种分布式文件***中多磁盘分组热备的装置，包括：

磁盘分组单元，用于以文件访问服务器为对象对磁盘进行分组；

热备关系静态配置单元，用于以组为对象建立磁盘之间的热备关系；

监测单元，用于监测磁盘的更新状况；

新磁盘检测单元，用于判断上电的磁盘是否为新磁盘，若是则触发新磁盘热备关系确定单元，若否则触发组判断单元；

新磁盘热备关系确定单元，用于根据所述新磁盘所在的组确定所述新磁盘的热备关系，并触发备份文件加载单元；

组判断单元，用于判断所述上电磁盘当前所在的组与原组是否一致，若一致则触发热备关系恢复及文件内容判断单元，若不一致则触发热备关系更新单元；

热备关系恢复及文件内容判断单元，用于恢复所述上电磁盘原有的热备关系，并判断所述上电磁盘的文件内容与其热备磁盘中文件内容是否相同，若相同则不作处理，若不同则触发备份文件加载单元；

热备关系更新单元，用于根据所述上电磁盘当前所在组重新为所述上电磁盘建立热备关系，并触发备份文件加载单元；以及

备份文件加载单元，用于为所述上电磁盘加载备份文件。

优选地，所述磁盘分组单元以文件访问服务器为对象对磁盘进行分组，具体为：

为所述文件访问服务器配置位置的物理信息、逻辑单元信息以及分组号信息，建立磁盘参数与所述文件访问服务器位置的物理信息、逻辑单元信息以及分组号信息之间的对应关系。。

优选地，所述位置的物理信息包括所述文件访问服务器所在的架、框、槽板位的信息；所述逻辑单元信息包括所述文件访问服务器的CPU、内口单元、外口单元、MAC地址、IP地址的信息；所述磁盘参数包括磁盘数据区使用标识、磁盘在所述文件访问服务器的逻辑地址索引号、磁盘物理序列号、磁盘逻辑标识、磁盘块校验查询序列号、磁盘心跳检测、磁盘状态、磁盘总容量、磁盘空闲容量、磁盘某段时间读数据量、磁盘某段时间写数据量、上报开始时间、上报结束时间。

优选地，所述热备关系静态配置单元以组为对象建立磁盘之间的热备关系，具体为：

为所述组中的磁盘设置热备号，按所述热备号建立组之间磁盘的动态对应关系。

本发明以FAS为磁盘分组的基础，一个FAS中的所有磁盘划为一个组，以组为单位进行热备，这样，无论是单个磁盘出现问题或是单个FAS出现问题，都不会对整个DFS造成影响。另外，在以组为单位进行热备时，组内磁盘之间的热备关系并不是固定的，而是根据磁盘的更新状况而动态变化，当FAS中有磁盘上电时，本发明能根据原先组之间的热备关系而自动生成新上电磁盘的热备关系，从而使本发明磁盘间的热备关系更牢固。本发明大大提高了DFS的数据的可靠性。

附图说明

图1为本发明实施例的分布式文件***中多磁盘分组热备的方法的流程示意图；

图2为本发明实施例的分布式文件***中多磁盘分组热备的装置的结构示意图。

具体实施方式

本发明的基本思想是：以FAS为磁盘分组的基础，一个FAS中的所有磁盘划为一个组，以组为单位进行热备，这样，无论是单个磁盘出现问题或是单个FAS出现问题，都不会对整个DFS造成影响。另外，在以组为单位进行热备时，组内磁盘之间的热备关系并不是固定的，而是根据磁盘的更新状况而动态变化，当FAS中有磁盘上电时，本发明能根据原先组之间的热备关系而自动生成新上电磁盘的热备关系，从而使本发明磁盘间的热备关系更牢固，使DFS向用户提供数据文件的服务更可靠，不会轻易中断。

为使本发明的目的、技术方案和优点更加清楚明白，以下举实施例并参照附图，对本发明进一步详细说明。

图1为本发明实施例的分布式文件***中多磁盘分组热备的方法的流程示意图，如图1所示，本发明实施例的分布式文件***中多磁盘分组热备的方法包括：

步骤101：以文件访问服务器为对象对磁盘进行分组，以组为对象建立磁盘之间的热备关系。

在FLR上留出存放磁盘信息的数据区，这里的磁盘信息包括磁盘的基本信息，磁盘所属FAS的信息，组中磁盘之间的热备关系等。在FLR的数据区为FAS配置位置的物理信息、逻辑单元信息以及分组号信息，建立磁盘参数与FAS位置的物理信息、逻辑单元信息以及分组号信息之间的对应关系。所述位置的物理信息包括所述文件访问服务器所在的架、框、槽板位的信息等；所述逻辑单元信息包括FAS的CPU、内口单元、外口单元、MAC地址、IP地址的信息等；所述磁盘参数包括磁盘数据区使用标识、磁盘在所述文件访问服务器的逻辑地址索引号、磁盘物理序列号、磁盘逻辑标识、磁盘块校验查询序列号、磁盘心跳检测、磁盘状态、磁盘总容量、磁盘空闲容量、磁盘某段时间读数据量、磁盘某段时间写数据量、上报开始时间、上报结束时间等。

本发明以一个FAS中的所有磁盘为一个组，在两个组之间建立起热备关系，为所述组中的磁盘设置热备号，按所述热备号建立组之间磁盘的动态对应关系。虽然两个组之间是热备关系，但组之内的磁盘之间的热备对应关系却是动态的：每个组内热备号码数按FAS支持的最大磁盘数来设置，以在FAS中的磁盘上电时，仍能按本发明的热备方法进行动态调整。本发明实施例中，互为热备的两个组分配相同的组号，以便于识别。也就是说，本发明将热备关系限定到组，组内磁盘之间的热备关系是可任意设定。

步骤102：检测到磁盘上电时，判断上电磁盘是否为新磁盘，若是则执行步骤103，否则执行步骤104。

本发明中，FAS会周期性地检测该FAS中的磁盘更新状况，当有磁盘***上电或磁盘被拔掉或坏掉时，均会将检测结果上报至FLR，FLR根据FAS的上报结果对FLR数据区进行修改，增加或删除磁盘的相关信息。由于本发明针对的是磁盘的动态热备方法，因此将重点描述磁盘上电的情况，对于磁盘脱离FLR的情况，磁盘的相关配置信息会保留一段时间，超出设定预设的时长后将删除磁盘的相关配置信息。当有磁盘***到FAS中的磁盘插口时，FAS动态检测磁盘的相关参数信息包括磁盘物理序列号、磁盘总容量、磁盘空闲容量等，具体的参数信息参见步骤101中的相关描述，这里不再赘述；FAS上报所检测到的磁盘的参数信息。FLR根据所接收到的磁盘参数信息检索数据区，查看所述磁盘是否为新磁盘，是时执行步骤103，否则执行步骤104。

步骤103：根据新磁盘所在的组确定新磁盘的热备关系，并为新磁盘加载备份文件。

FLR根据上报磁盘参数信息的FAS确定该新磁盘所属的组，根据所述组信息为新磁盘分配一个热备号码，并确定与该组互为热备的另一个组，如前所述，可通过组号来确定互为热备的两个组，确定所述另一个组中原来没有热备的磁盘，如果有两个，则任选一个所述原没有热备的磁盘与新磁盘建立互为热备关系，如果有一个，则将该原没有热备的磁盘与新磁盘建立互为热备关系，如果没有则不作处理；建立热备关系即将所述原没有热备的磁盘与新磁盘之间的热备号码关联起来，并存储于FLR的数据区。建立起热备关系后，将所述原没有热备的磁盘中的文件拷贝到新磁盘中，结束流程。

步骤104：判断所述上电磁盘当前所在的组与原组是否一致，若一致则执行步骤105，否则执行步骤106。

FLR根据磁盘的相关参数信息确定所述上电磁盘原来所属的组，确定所述上电磁盘是否更换了FAS，如果更换FAS，则该上电磁盘是从其它FAS中更换来的，执行步骤106，否则是FAS内磁盘重新上电使用，执行步骤105。

步骤105：恢复磁盘间原有的热备关系，并判断所述上电磁盘的文件内容与其热备磁盘中文件内容是否相同，若相同则不作处理，若不同则重新为所述上电磁盘加载备份文件。

FAS中***原有的磁盘，很有可能是FAS中磁盘因接口虚接、短暂维修等原因而暂时取下而又***到FAS中，此时，FLR查找该磁盘的热备关系是否还存在，存在时查看该磁盘中的文件内容是否与热备磁盘中的文件内容一致，一致时不作处理，否则进行文件更新，使所述新***磁盘与热备磁盘中的文件内容一致。如果不存在所述磁盘的热备关系，则恢复所述上电磁盘原有的热备关系，再查看该磁盘中的文件内容是否与热备磁盘中的文件内容一致，一致时不作处理，否则将所述新***磁盘与热备磁盘中的文件内容更新为一致。结束流程。

步骤106：根据所述上电磁盘当前所在组重新为所述上电磁盘建立热备关系，并重新为所述上电磁盘加载备份文件。

当确定新***FAS中的磁盘原来不属于该FAS时，将该新***的磁盘当作新磁盘进行处理，即按步骤103的方式进行热备处理，这里不再赘述。磁盘热备关系处理完毕后，将所述新***磁盘与热备磁盘中的文件内容更新为一致，删除所述上电磁盘的原来的热备配置信息。结束流程。

图2为本发明实施例的分布式文件***中多磁盘分组热备的装置的结构示意图，如图2所示，本发明实施例的分布式文件***中多磁盘分组热备的装置包括磁盘分组单元20、热备关系静态配置单元21、监测单元22、新磁盘检测单元23、新磁盘热备关系确定单元24、组判断单元25、热备关系恢复及文件内容判断单元26、热备关系更新单元27和备份文件加载单元28，其中，磁盘分组单元20用于以文件访问服务器为对象对磁盘进行分组，即一个FAS中的所有磁盘归为一个组。热备关系静态配置单元21用于以组为对象建立磁盘之间的热备关系，即建立组之间的热备关系，但并不限定组中各磁盘之间的热备对应关系，具有热备关系的组选用相同的组号。关于热备关系的建立，需要上报磁盘的基本参数信息以及FAS相关信息，热备关系即磁盘与FAS组、两组中磁盘之间的关联关系。监测单元22用于监测磁盘的更新状况，当磁盘上电或失电时，将上电或失电信息进行上报。新磁盘检测单元23用于判断上电的磁盘是否为新磁盘，若是则触发新磁盘热备关系确定单元24，若否则触发组判断单元25。本发明的重点是磁盘间热备关系的动态维护，特别是有磁盘上电时的热备关系维护，因此重点关注磁盘新上电的情形。新磁盘热备关系确定单元24用于根据所述新磁盘所在的组确定所述新磁盘的热备关系，并触发备份文件加载单元28，备份文件加载单元28将所述新磁盘热备对象的磁盘中的文件拷贝到新磁盘中。组判断单元25用于判断所述上电磁盘当前所在的组与原组是否一致，若一致则触发热备关系恢复及文件内容判断单元26，若不一致则触发热备关系更新单元27。热备关系恢复及文件内容判断单元26用于恢复所述上电磁盘原有的热备关系，并判断所述上电磁盘的文件内容与其热备磁盘中文件内容是否相同，若相同则不作处理，结束流程；若不同则触发备份文件加载单元28，备份文件加载单元28将所述新***磁盘与热备磁盘中的文件内容更新为一致。热备关系更新单元27用于根据所述上电磁盘当前所在组重新为所述上电磁盘建立热备关系，并触发备份文件加载单元28，备份文件加载单元28将所述新***磁盘与热备磁盘中的文件内容更新为一致。当原有磁盘是其他FAS中磁盘而新***了另一个FAS中时，热备关系的更新动作与新磁盘***的热备关系更新基本相同。备份文件加载单元28用于为所述上电磁盘加载备份文件。

本领域技术人员应当理解，本发明实施例的分布式文件***中多磁盘分组热备的装置是为实现前述分布式文件***中多磁盘分组热备的方法而设计的，图2所示装置中的各处理单元的实现功能可参照图1所示的方法中的相关描述而理解。本发明实施例的分布式文件***中多磁盘分组热备的装置中各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (8)

1.一种分布式文件***中多磁盘分组热备的方法，其特征在于，包括：

以文件访问服务器为对象对磁盘进行分组，以组为对象建立磁盘之间的热备关系；

检测到磁盘上电时，判断上电磁盘是否为新磁盘，若是则根据所述新磁盘所在的组确定所述新磁盘的热备关系，为所述新磁盘加载备份文件；

若不是新磁盘则判断所述上电磁盘当前所在的组与原组是否一致，若一致则恢复所述上电磁盘原有的热备关系，并判断所述上电磁盘的文件内容与其热备磁盘中文件内容是否相同，若相同则不作处理，若不同重新为所述上电磁盘加载备份文件；以及

若不一致则根据所述上电磁盘当前所在组重新为所述上电磁盘建立热备关系，并重新为所述上电磁盘加载备份文件。

2.根据权利要求1所述的方法，其特征在于，所述以文件访问服务器为对象对磁盘进行分组，具体为：

为所述文件访问服务器配置位置的物理信息、逻辑单元信息以及分组号信息，建立磁盘参数与文件访问服务器位置的物理信息、逻辑单元信息以及分组号信息之间的对应关系。

3.根据权利要求2所述的方法，其特征在于，所述位置的物理信息包括所述文件访问服务器所在的架、框、槽板位的信息；所述逻辑单元信息包括所述文件访问服务器的CPU、内口单元、外口单元、MAC地址、IP地址的信息；所述磁盘参数包括磁盘数据区使用标识、磁盘在所述文件访问服务器的逻辑地址索引号、磁盘物理序列号、磁盘逻辑标识、磁盘块校验查询序列号、磁盘心跳检测、磁盘状态、磁盘总容量、磁盘空闲容量、磁盘某段时间读数据量、磁盘某段时间写数据量、上报开始时间、上报结束时间。

4.根据权利要求1所述的方法，其特征在于，所述以组为对象建立磁盘之间的热备关系，具体为： 

为所述组中的磁盘设置热备号，按所述热备号建立组之间磁盘的动态对应关系。

5.一种分布式文件***中多磁盘分组热备的装置，其特征在于，包括：

磁盘分组单元，用于以文件访问服务器为对象对磁盘进行分组；

热备关系静态配置单元，用于以组为对象建立磁盘之间的热备关系；

监测单元，用于监测磁盘的更新状况；

新磁盘检测单元，用于判断上电的磁盘是否为新磁盘，若是则触发新磁盘热备关系确定单元，若否则触发组判断单元；

新磁盘热备关系确定单元，用于根据所述新磁盘所在的组确定所述新磁盘的热备关系，并触发备份文件加载单元；

组判断单元，用于判断所述上电磁盘当前所在的组与原组是否一致，若一致则触发热备关系恢复及文件内容判断单元，若不一致则触发热备关系更新单元；

热备关系恢复及文件内容判断单元，用于恢复所述上电磁盘原有的热备关系，并判断所述上电磁盘的文件内容与其热备磁盘中文件内容是否相同，若相同则不作处理，若不同则触发备份文件加载单元；

热备关系更新单元，用于根据所述上电磁盘当前所在组重新为所述上电磁盘建立热备关系，并触发备份文件加载单元；以及

备份文件加载单元，用于为所述上电磁盘加载备份文件。

6.根据权利要求5中所述的装置，其特征在于，所述磁盘分组单元以文件访问服务器为对象对磁盘进行分组，具体为：

为所述文件访问服务器配置位置的物理信息、逻辑单元信息以及分组号信息，建立磁盘参数与文件访问服务器位置的物理信息、逻辑单元信息以及分组号信息之间的对应关系。

7.根据权利要求6所述的装置，其特征在于，所述位置的物理信息包括所述文件访问服务器所在的架、框、槽板位的信息；所述逻辑单元信息包括所述文件访问服务器的CPU、内口单元、外口单元、MAC地址、IP地址的信息； 所述磁盘参数包括磁盘数据区使用标识、磁盘在所述文件访问服务器的逻辑地址索引号、磁盘物理序列号、磁盘逻辑标识、磁盘块校验查询序列号、磁盘心跳检测、磁盘状态、磁盘总容量、磁盘空闲容量、磁盘某段时间读数据量、磁盘某段时间写数据量、上报开始时间、上报结束时间。

8.根据权利要求5所述的装置，其特征在于，所述热备关系静态配置单元以组为对象建立磁盘之间的热备关系，具体为：

为所述组中的磁盘设置热备号，按所述热备号建立组之间磁盘的动态对应关系。 

Images