CN106789180A - 一种元数据服务器的服务控制方法及装置 - Google Patents

Abstract

本发明公开了一种元数据服务器的服务控制方法及装置，其中该方法包括：设置与元数据服务器集群中每个元数据服务器对应的影子节点；控制每个影子节点中保存的数据与对应元数据服务器中保存的元数据信息一致；如果任一元数据服务器发生故障成为故障服务器，则控制该故障服务器对应的影子节点基于存储的数据实现对应元数据服务。本申请公开的上述技术方案中，在元数据服务器发生故障时能够由对应影子节点代替对应元数据服务器实现对应元数据服务，从而避免了元数据因对应元数据服务器发生故障出现的丢失等情况，能够在元数据服务器出现故障时快速恢复其应提供的元数据服务，保证了服务器集群中元数据服务的连续性。

Description

一种元数据服务器的服务控制方法及装置

技术领域

本发明涉及元数据存储技术领域，更具体地说，涉及一种元数据服务器的服务控制方法。

背景技术

随着物联网、云计算和移动电子商务的发展，大数据业务占整个数据库市场的比例不断提高；大数据时代的来临使数据分析和处理能力成为数据中心日益倚重的技术手段；信息规模的扩大和数据结构的多样化，使海量数据存储成为大数据分析研究的热点。

为了实现数据的快速读写，通常需要获取到数据的元数据，包括数据对应的文件名称及存储位置等信息，进而在实现数据读写时先通过元数据确定出数据的相关信息，以基于该相关信息快速定位到对应的数据。现有技术中为了实现海量数据对应的大量元数据信息，通常需要将元数据存储至元数据集群中的每个元数据服务器中，但是随着集群规模的扩大，元数据服务器发生故障的概率增加，而如果任一元数据服务器发生故障，则其存储的元数据将丢失且无法恢复，进而导致无法基于这部分元数据实现对应数据的读写，即无法实现该发生故障的元数据服务器应提供的元数据服务。

综上所述，现有技术中存在可能出现因元数据服务器故障导致无法实现对应元数据服务情况的问题。

发明内容

本发明的目的是提供一种元数据服务器的服务控制方法，以解决现有技术中存在的可能出现因元数据服务器故障导致无法实现对应元数据服务情况的问题。

为了实现上述目的，本发明提供如下技术方案：

一种元数据服务器的服务控制方法，包括：

设置与元数据服务器集群中每个元数据服务器对应的影子节点；

控制每个所述影子节点中保存的数据与对应元数据服务器中保存的元数据信息一致；

如果任一所述元数据服务器发生故障成为故障服务器，则控制该故障服务器对应的影子节点基于存储的数据实现对应元数据服务。

优选的，控制每个所述影子节点中保存的数据与对应元数据服务器中保存的元数据信息一致，包括：

控制每个影子节点获取对应元数据服务器的镜像文件，所述镜像文件为预先对对应元数据服务器中保存的元数据信息进行镜像得到的；

如果任一元数据服务器中保存的元数据信息相对于对应镜像文件发生变化，则将该变化对应的日志信息发送至对应的影子节点。

优选的，还包括：

如果所述故障服务器对应的影子节点为故障节点，则将所述故障服务器对应的镜像文件及日志信息进行合并得到合并元数据信息，并在所述故障服务器重启后将所述合并元数据信息发送至所述故障服务器，以供所述故障服务器重启后基于所述合并元数据信息实现对应元数据服务。

优选的，将所述合并元数据信息发送至所述故障服务器之后，还包括：

将所述故障服务器对应的镜像文件及日志信息发送至所述故障服务器，以供所述故障服务器判断所述合并元数据信息与当前接收到的镜像文件及日志信息进行数据一致性校验，并在校验通过后实现对应元数据服务。

优选的，还包括：

定时获取每个所述元数据服务器对应的镜像文件及日志信息，并将获取时间及对应获取到的镜像文件及日志信息进行存储；

如果每个所述元数据服务器及对应影子节点均发生故障，则在各个所述元数据服务器及对应影子节点重启后将距离发生故障时刻最近的获取时刻对应的镜像文件及日志信息发送至对应的元数据服务器及影子节点。

一种元数据服务器的服务控制装置，包括：

设置模块，用于设置与元数据服务器集群中每个元数据服务器对应的影子节点；

一致性模块，用于控制每个所述影子节点中保存的数据与对应元数据服务器中保存的元数据信息一致；

第一恢复模块，用于如果任一所述元数据服务器发生故障成为故障服务器，则控制该故障服务器对应的影子节点基于存储的数据实现对应元数据服务。

优选的，所述一致性模块包括：

一致性单元，用于：控制每个影子节点获取对应元数据服务器的镜像文件，所述镜像文件为预先对对应元数据服务器中保存的元数据信息进行镜像得到的；以及用于如果任一元数据服务器中保存的元数据信息相对于对应镜像文件发生变化，则将该变化对应的日志信息发送至对应的影子节点。

优选的，还包括：

第二恢复模块，用于如果所述故障服务器对应的影子节点为故障节点，则将所述故障服务器对应的镜像文件及日志信息进行合并得到合并元数据信息，并在所述故障服务器重启后将所述合并元数据信息发送至所述故障服务器，以供所述故障服务器重启后基于所述合并元数据信息实现对应元数据服务。

优选的，还包括：

校验模块，用于将所述合并元数据信息发送至所述故障服务器之后，将所述故障服务器对应的镜像文件及日志信息发送至所述故障服务器，以供所述故障服务器判断所述合并元数据信息与当前接收到的镜像文件及日志信息进行数据一致性校验，并在校验通过后实现对应元数据服务。

优选的，还包括：

第三恢复模块，用于：定时获取每个所述元数据服务器对应的镜像文件及日志信息，并将获取时间及对应获取到的镜像文件及日志信息进行存储；以及用于如果每个所述元数据服务器及对应影子节点均发生故障，则在各个所述元数据服务器及对应影子节点重启后将距离发生故障时刻最近的获取时刻对应的镜像文件及日志信息发送至对应的元数据服务器及影子节点。

本发明提供了一种元数据服务器的服务控制方法及装置，其中该方法包括：设置与元数据服务器集群中每个元数据服务器对应的影子节点；控制每个所述影子节点中保存的数据与对应元数据服务器中保存的元数据信息一致；如果任一所述元数据服务器发生故障成为故障服务器，则控制该故障服务器对应的影子节点基于存储的数据实现对应元数据服务。本申请公开的上述技术方案中，为每个元数据服务器设置对应影子节点，且每个影子节点的数据与对应元数据服务器中的元数据信息保持一致，从而在元数据服务器发生故障时能够由对应影子节点代替对应元数据服务器实现对应元数据服务，从而避免了元数据因对应元数据服务器发生故障出现的丢失等情况，提高了元数据的可靠性；进一步通过上述技术方案能够在元数据服务器出现故障时快速恢复其应提供的元数据服务，保证了服务器集群中元数据服务的连续性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种元数据服务器的服务控制方法的流程图；

图2为本发明实施例提供的一种元数据服务器的服务控制装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明实施例提供的一种元数据服务器的服务控制方法的流程图，可以包括以下步骤：

S11：设置与元数据服务器集群中每个元数据服务器对应的影子节点。

在元数据服务器集群中包括多个元数据服务器，每个元数据服务器均存储有其对应部分数据的元数据信息，包括这部分数据对应的文件名称、存储位置等，而对于元数据服务器与数据的对应关系可以预先根据实际需要进行设定。影子节点具体可以为一个处于备用状态下元数据服务器集群中的元数据服务器或者单独的节点，元数据服务器与影子节点一一对应。

S12：控制每个影子节点中保存的数据与对应元数据服务器中保存的元数据信息一致。

控制每个影子节点中保存的数据与对应元数据服务器中保存的元数据信息始终保持一致，也即保持每个影子节点中数据与对应元数据服务器中元数据信息始终相同，但是影子节点处于备用状态，即在元数据服务器正常工作时影子节点是不提供元数据服务器，仅需要和对应元数据服务器保存的元数据信息保存一致即可，或者说影子节点为对对应元数据服务器进行的备份。

S13：如果任一元数据服务器发生故障成为故障服务器，则控制该故障服务器对应的影子节点基于存储的数据实现对应元数据服务。

当任一元数据服务器成为故障服务器时，无法继续提供其所维护的元数据信息，影响上层文件***的访问；此时由于其对应影子节点中的数据与故障服务器发生故障前保存的元数据信息一致，因此可以直接由影子节点替代故障服务器，并提供故障服务器应提供的元数据服务，从而实现元数据服务器的节点热备。

本申请公开的上述技术方案中，为每个元数据服务器设置对应影子节点，且每个影子节点的数据与对应元数据服务器中的元数据信息保持一致，从而在元数据服务器发生故障时能够由对应影子节点代替对应元数据服务器实现对应元数据服务，从而避免了元数据因对应元数据服务器发生故障出现的丢失等情况，提高了元数据的可靠性；进一步通过上述技术方案能够在元数据服务器出现故障时快速恢复其应提供的元数据服务，保证了服务器集群中元数据服务的连续性。

本发明实施例提供的一种元数据服务器的服务控制方法，控制每个影子节点中保存的数据与对应元数据服务器中保存的元数据信息一致，可以包括：

控制每个影子节点获取对应元数据服务器的镜像文件，镜像文件为预先对对应元数据服务器中保存的元数据信息进行镜像得到的；

如果任一元数据服务器中保存的元数据信息相对于对应镜像文件发生变化，则将该变化对应的日志信息发送至对应的影子节点。

镜像(Mirroring)是冗余的一种类型，一个磁盘上的数据在另一个磁盘上存在一个完全相同的副本即为镜像，本申请中镜像文件即为对应元数据服务器的副本。并且在任一元数据服务器中保存的元数据信息相对于该元数据服务器的镜像文件发生变化时，可以将该变化记录为日志信息，进而将日志信息发送至对应影子节点，通过得到对应元数据服务器的镜像文件及日志信息，能够有效保证影子节点与对应元数据服务器中保存的元数据信息的一致性。

本发明实施例提供的一种元数据服务器的服务控制方法，还可以包括：

如果故障服务器对应的影子节点为故障节点，则将故障服务器对应的镜像文件及日志信息进行合并得到合并元数据信息，并在故障服务器重启后将合并元数据信息发送至故障服务器，以供故障服务器重启后基于合并元数据信息实现对应元数据服务。

如果故障服务器对应影子节点也发生了故障成为故障节点，则基于故障服务器的镜像文件及日志信息实现对应元数据服务的恢复，具体来说，可以将日志信息对应的元数据信息的变化替换镜像文件中对应部分的数据，进而得到合并元数据信息，在管理员对故障服务器实现修复操作并重启后将合并元数据信息发送至故障服务器，由此，故障服务器能够基于合并元数据信息提供对应元数据服务，从而进一步保证了元数据服务的连续性。

本发明实施例提供的一种元数据服务器的服务控制方法，将合并元数据信息发送至故障服务器之后，还可以包括：

将故障服务器对应的镜像文件及日志信息发送至故障服务器，以供故障服务器判断合并元数据信息与当前接收到的镜像文件及日志信息进行数据一致性校验，并在校验通过后实现对应元数据服务。

需要说明的是，为了保证合并元数据信息与对应镜像文件及日志信息的一致性，将合并元数据信息发送至重启后的故障服务器后还可以将故障服务器对应的镜像文件及日志信息发送至故障服务器，故障服务器将镜像文件及日志信息合并并确定合并所得结果与接收到的合并元数据信息是否一致，如果是，则校验通过，故障服务器基于元数据信息实现对应元数据服务，否则，则校验失败，将校验失败的信息可以发送至管理员对应管理终端，且暂时不提供元数据服务，等待管理员的处理，从而进一步保证了元数据的可靠性以及元数据服务的正常提供。

本发明实施例提供的一种元数据服务器的服务控制方法，还可以包括：

定时获取每个元数据服务器对应的镜像文件及日志信息，并将获取时间及对应获取到的镜像文件及日志信息进行存储；

如果每个元数据服务器及对应影子节点均发生故障，则在各个元数据服务器及对应影子节点重启后将距离发生故障时刻最近的获取时刻对应的镜像文件及日志信息发送至对应的元数据服务器及影子节点。

定时获取的每个元数据服务器对应的镜像文件及日志信息，包括该元数据服务器的镜像文件及截止到当前时刻其保存的元数据信息相对于镜像文件发生的每次变化对应的日志信息，从而将获取时间及获取到的上述信息进行存储，也即为上述信息增加时间戳，从而能够基于不同获取时间获取到不同的信息。如果每个元数据服务器及对应影子节点均发生故障，则需要获取距离发生上述故障的时刻最近时刻的获取时间获取的对应的镜像文件及日志信息，以使得***重启，即元数据服务器及影子节点均重启后，元数据服务器及影子节点能够获取到故障前应具有的数据，进而使得元数据服务器正常提供元数据服务，而影子节点继续保持与元数据服务器的数据一致性，从而保证各服务器及节点恢复到故障前的一致状态，实现全局状态恢复。

需要说明的是，本发明实施例提供的上述技术方案可以应用于大数据文件***中，该***主要包括多个元数据服务器、多个数据服务器、共享存储池及多个客户端节点。其中，镜像文件及对应日志信息均可以存储至共享存储池中，具体来说，共享存储池可以维护有每个元数据服务器对应的日志文件，该元数据服务器产生的每次日志信息均可以存储至对应日志文件，并且为了保证镜像文件及日志信息的可靠性，可以在共享存储池中增加其对应的一个或者多个副本，以在由于某些故障导致镜像文件或日志信息丢失或损坏时由对应的副本中获取到对应数据；另外，在由共享存储池中获取镜像文件或日志信息等数据时，可以先由本地磁盘中获取，如果本地磁盘中不存在再由远程节点中获取，从而保证了数据的快速获取。

本发明实施例还提供了一种元数据服务器的服务控制装置，如图2所示，可以包括：

设置模块11，用于设置与元数据服务器集群中每个元数据服务器对应的影子节点；

一致性模块12，用于控制每个影子节点中保存的数据与对应元数据服务器中保存的元数据信息一致；

第一恢复模块13，用于如果任一元数据服务器发生故障成为故障服务器，则控制该故障服务器对应的影子节点基于存储的数据实现对应元数据服务。

本发明实施例提供的一种元数据服务器的服务控制装置，一致性模块可以包括：

一致性单元，用于：控制每个影子节点获取对应元数据服务器的镜像文件，镜像文件为预先对对应元数据服务器中保存的元数据信息进行镜像得到的；以及用于如果任一元数据服务器中保存的元数据信息相对于对应镜像文件发生变化，则将该变化对应的日志信息发送至对应的影子节点。

本发明实施例提供的一种元数据服务器的服务控制装置，还可以包括：

第二恢复模块，用于如果故障服务器对应的影子节点为故障节点，则将故障服务器对应的镜像文件及日志信息进行合并得到合并元数据信息，并在故障服务器重启后将合并元数据信息发送至故障服务器，以供故障服务器重启后基于合并元数据信息实现对应元数据服务。

本发明实施例提供的一种元数据服务器的服务控制装置，还可以包括：

校验模块，用于将合并元数据信息发送至故障服务器之后，将故障服务器对应的镜像文件及日志信息发送至故障服务器，以供故障服务器判断合并元数据信息与当前接收到的镜像文件及日志信息进行数据一致性校验，并在校验通过后实现对应元数据服务。

本发明实施例提供的一种元数据服务器的服务控制装置，还可以包括：

第三恢复模块，用于：定时获取每个元数据服务器对应的镜像文件及日志信息，并将获取时间及对应获取到的镜像文件及日志信息进行存储；以及用于如果每个元数据服务器及对应影子节点均发生故障，则在各个元数据服务器及对应影子节点重启后将距离发生故障时刻最近的获取时刻对应的镜像文件及日志信息发送至对应的元数据服务器及影子节点。

本发明实施例提供的一种元数据服务器的服务控制装置中相关部分的说明请参见本发明实施例提供的一种元数据服务器的服务控制方法中对应部分的详细说明，在此不再赘述。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种元数据服务器的服务控制方法，其特征在于，包括：

设置与元数据服务器集群中每个元数据服务器对应的影子节点；

控制每个所述影子节点中保存的数据与对应元数据服务器中保存的元数据信息一致；

如果任一所述元数据服务器发生故障成为故障服务器，则控制该故障服务器对应的影子节点基于存储的数据实现对应元数据服务。

2.根据权利要求1所述的方法，其特征在于，控制每个所述影子节点中保存的数据与对应元数据服务器中保存的元数据信息一致，包括：

控制每个影子节点获取对应元数据服务器的镜像文件，所述镜像文件为预先对对应元数据服务器中保存的元数据信息进行镜像得到的；

如果任一元数据服务器中保存的元数据信息相对于对应镜像文件发生变化，则将该变化对应的日志信息发送至对应的影子节点。

3.根据权利要求2所述的方法，其特征在于，还包括：

如果所述故障服务器对应的影子节点为故障节点，则将所述故障服务器对应的镜像文件及日志信息进行合并得到合并元数据信息，并在所述故障服务器重启后将所述合并元数据信息发送至所述故障服务器，以供所述故障服务器重启后基于所述合并元数据信息实现对应元数据服务。

4.根据权利要求3所述的方法，其特征在于，将所述合并元数据信息发送至所述故障服务器之后，还包括：

将所述故障服务器对应的镜像文件及日志信息发送至所述故障服务器，以供所述故障服务器判断所述合并元数据信息与当前接收到的镜像文件及日志信息进行数据一致性校验，并在校验通过后实现对应元数据服务。

5.根据权利要求2所述的方法，其特征在于，还包括：

定时获取每个所述元数据服务器对应的镜像文件及日志信息，并将获取时间及对应获取到的镜像文件及日志信息进行存储；

如果每个所述元数据服务器及对应影子节点均发生故障，则在各个所述元数据服务器及对应影子节点重启后将距离发生故障时刻最近的获取时刻对应的镜像文件及日志信息发送至对应的元数据服务器及影子节点。

6.一种元数据服务器的服务控制装置，其特征在于，包括：

设置模块，用于设置与元数据服务器集群中每个元数据服务器对应的影子节点；

一致性模块，用于控制每个所述影子节点中保存的数据与对应元数据服务器中保存的元数据信息一致；

第一恢复模块，用于如果任一所述元数据服务器发生故障成为故障服务器，则控制该故障服务器对应的影子节点基于存储的数据实现对应元数据服务。

7.根据权利要求6所述的装置，其特征在于，所述一致性模块包括：

一致性单元，用于：控制每个影子节点获取对应元数据服务器的镜像文件，所述镜像文件为预先对对应元数据服务器中保存的元数据信息进行镜像得到的；以及用于如果任一元数据服务器中保存的元数据信息相对于对应镜像文件发生变化，则将该变化对应的日志信息发送至对应的影子节点。

8.根据权利要求7所述的装置，其特征在于，还包括：

第二恢复模块，用于如果所述故障服务器对应的影子节点为故障节点，则将所述故障服务器对应的镜像文件及日志信息进行合并得到合并元数据信息，并在所述故障服务器重启后将所述合并元数据信息发送至所述故障服务器，以供所述故障服务器重启后基于所述合并元数据信息实现对应元数据服务。

9.根据权利要求8所述的装置，其特征在于，还包括：

校验模块，用于将所述合并元数据信息发送至所述故障服务器之后，将所述故障服务器对应的镜像文件及日志信息发送至所述故障服务器，以供所述故障服务器判断所述合并元数据信息与当前接收到的镜像文件及日志信息进行数据一致性校验，并在校验通过后实现对应元数据服务。

10.根据权利要求7所述的装置，其特征在于，还包括：

第三恢复模块，用于：定时获取每个所述元数据服务器对应的镜像文件及日志信息，并将获取时间及对应获取到的镜像文件及日志信息进行存储；以及用于如果每个所述元数据服务器及对应影子节点均发生故障，则在各个所述元数据服务器及对应影子节点重启后将距离发生故障时刻最近的获取时刻对应的镜像文件及日志信息发送至对应的元数据服务器及影子节点。