CN103019626B - 存储***、控制集群元数据的方法及装置 - Google Patents

存储***、控制集群元数据的方法及装置 Download PDF

Info

Publication number
CN103019626B
CN103019626B CN201210547876.9A CN201210547876A CN103019626B CN 103019626 B CN103019626 B CN 103019626B CN 201210547876 A CN201210547876 A CN 201210547876A CN 103019626 B CN103019626 B CN 103019626B
Authority
CN
China
Prior art keywords
metadata
cluster
memory node
cluster metadata
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210547876.9A
Other languages
English (en)
Other versions
CN103019626A (zh
Inventor
田晓波
林友滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Huawei Technology Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201210547876.9A priority Critical patent/CN103019626B/zh
Publication of CN103019626A publication Critical patent/CN103019626A/zh
Application granted granted Critical
Publication of CN103019626B publication Critical patent/CN103019626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种存储***、控制集群元数据的方法及装置,方法包括:将集群元数据按照与各存储节点的相关性进行划分,得到各存储节点的相关元数据;各存储节点为集群元数据所属集群内的存储节点;将相关元数据下发到集群内相关的存储节点;当集群元数据无法获取时,从集群内的各存储节点获取下发的相关元数据;将获取的相关元数据构建成集群元数据。通过将集群元数据划分并下发到各存储节点进行保存,使得主元数据服务器及备元数据服务器均故障,丢失了集群元数据的情况下,仍能够通过从各存储节点获取元数据,构建得到集群元数据,从而恢复集群元数据,解决了现有技术中主元数据服务器及备元数据服务器均故障导致集群元数据丢失而无法恢复的问题。

Description

存储***、控制集群元数据的方法及装置
技术领域
本发明涉及存储技术,尤其涉及一种存储***、控制集群元数据的方法及装置。
背景技术
存储***中,记录了数据逻辑与物理位置的映像关系的数据即集群元数据。其中,集群是指存储***中的存储设备集群。集群元数据中包含了用户数据存储的位置信息等,如果丢失了集群元数据,将无法找到用户数据的存储位置,从而将最终导致用户数据的丢失。
通常,集群元数据存储在元数据服务器中,并且,为了提高集群元数据存储的可靠性,元数据服务器一般有两台,一台为主元数据服务器,一台为备元数据服务器。其中,主元数据服务器在存储***工作时,为客户端提供集群元数据,以使客户端根据主元数据服务器提供的集群元数据读取到存储的用户数据。备元数据服务器用来对集群元数据进行备份,当主元数据服务器不能正常工作时,备元数据服务器可替代主元数据服务器为客户端提供集群元数据。
但是,当主元数据服务器和为备元数据服务器均不能正常工作时,将导致整个存储***无法正常工作。
发明内容
有鉴于此,本发明实施例提供一种存储***、控制集群元数据的方法及装置,用于解决现有存储***中集群元数据丢失后,无法自动恢复的问题。
第一个方面,本发明实施例提供一种控制集群元数据的方法,包括:
将集群元数据按照与各存储节点的相关性进行划分,得到所述各存储节点的相关元数据;所述各存储节点为所述集群元数据所属集群内的存储节点;
将所述相关元数据下发到所述集群内相关的存储节点;
当所述集群元数据无法获取时,从所述集群内的各存储节点获取下发的相关元数据;
将获取的相关元数据构建成所述集群元数据。
第二个方面,本发明实施例提供一种用于控制集群元数据的方法,包括:
接收并存储元数据控制器下发的相关元数据,所述相关元数据与本存储节点相关,由所述元数据控制器将集群元数据按照与各存储节点的相关性进行划分得到;
将所述相关元数据发送给所述元数据控制器,以使得当所述集群元数据无法获取时,所述元数据控制器将接收到的相关元数据构建成所述集群元数据。
第三个方面,本发明实施例提供一种用于控制集群元数据的方法,包括:
接收元数据控制器发送的集群元数据,所述集群元数据由所述元数据控制器将获取的相关元数据构建得到,所述相关元数据由所述元数据控制器当所述集群元数据无法获取时,从所述集群内的各存储节点获取得到;
保存接收的所述集群元数据。
第四个方面,本发明实施例提供一种控制集群元数据的装置,包括:
第一划分单元,用于将集群元数据按照与各存储节点的相关性进行划分,得到所述各存储节点的相关元数据;所述各存储节点为所述集群元数据所属集群内的存储节点;
第一下发单元,用于将所述相关元数据下发到所述集群内相关的存储节点;
第一获取单元,用于当所述集群元数据无法获取时,从所述集群内的各存储节点获取下发的相关元数据;
第一构建单元,用于将获取的相关元数据构建成所述集群元数据。
第五个方面,本发明实施例提供一种存储节点设备,包括:
元数据接收单元,用于接收并存储元数据控制器下发的相关元数据,所述相关元数据与本存储节点相关,由所述元数据控制器将集群元数据按照与各存储节点的相关性进行划分得到;
元数据发送单元,用于将所述相关元数据发送给所述元数据控制器,以使得当所述集群元数据无法获取时,所述元数据控制器将接收到的相关元数据构建成所述集群元数据。
第六个方面,本发明实施例提供一种元数据服务器,包括:
第一接收单元,用于接收元数据控制器发送的集群元数据,所述集群元数据由所述元数据控制器将获取的相关元数据构建得到,所述相关元数据由所述元数据控制器当所述集群元数据无法获取时,从所述集群内的各存储节点获取得到;
存储单元,用于保存所述集群元数据接收单元接收的所述集群元数据。
第七个方面,本发明实施例提供一种存储***,包括上述控制集群元数据的装置、上述存储节点设备及上述元数据服务器。
本发明实施例提供的存储***、控制集群元数据的方法及装置,通过将集群元数据划分并下发到各存储节点进行保存,使得主元数据服务器及备元数据服务器均故障,丢失了集群元数据的情况下,仍能够通过从各存储节点获取元数据,构建得到集群元数据,从而恢复集群元数据,解决了现有技术中主元数据服务器及备元数据服务器均故障导致集群元数据丢失而无法恢复的问题,提高了存储***的可靠性。
附图说明
图1为本发明实施例提供的一种控制集群元数据的方法的流程图;
图2为本发明实施例提供的一种用于控制集群元数据的方法的流程图;
图3为本发明实施例提供的另一种用于控制集群元数据的方法的流程图;
图4为本发明实施例提供的控制集群元数据的方法应用示意图;
图5为本发明实施例提供的控制集群元数据的方法中MDC重新构建整个存储***的集群元数据的流程图;
图6为本发明实施例提供的一种控制集群元数据的装置的结构示意图;
图7为本发明实施例提供的一种存储节点设备的结构示意图;
图8为本发明实施例提供的一种元数据服务器的结构示意图;
图9为本发明实施例提供的一种存储***的结构示意图。
具体实施方式
图1为本发明实施例提供的一种控制集群元数据的方法的流程图。本实施例提供的方法可由集群元数据所属存储***的主控板执行,例如可在主控板上增加一个控制模块,以执行本实施例提供的方法。如图1所示,该方法包括:
步骤11、将集群元数据按照与各存储节点的相关性进行划分,得到该各存储节点的相关元数据;该各存储节点为所述集群元数据所属集群内的存储节点。
例如,某一个存储***的设备集群包括存储节点A、B、C、D和E,那么,集群元数据便可划分为5个相关元数据部分:相关元数据a、b、c、d和e。其中,相关元数据a为与存储节点A相关的元数据,相关元数据b为与存储节点B相关的元数据,相关元数据c为与存储节点C相关的元数据,相关元数据d为与存储节点D相关的元数据,相关元数据d为与存储节点D相关的元数据,相关元数据e为与存储节点E相关的元数据。
步骤12、将上述相关元数据下发到上述集群内相关的存储节点。
例如,将相关元数据a下发到存储节点A,将相关元数据b下发到存储节点B,将相关元数据c下发到存储节点C,将相关元数据d下发到存储节点D,将相关元数据d下发到存储节点D,将相关元数据e下发到存储节点E。
步骤13、当上述集群元数据无法获取时,从上述集群内的各存储节点获取下发的相关元数据。
例如,当现有的元数据服务器故障时,用户便无法获得集群元数据。这种情况下,可从各存储节点获取相关元数据,以恢复集群元数据。仍以上述存储节点A、B、C、D和E,以及相关元数据a、b、c、d和e为例,当集群元数据无法获取时,可从存储节点A获取相关元数据a,从存储节点B获取相关元数据b,从存储节点C获取相关元数据c,从存储节点D获取相关元数据d,从存储节点E获取相关元数据e。
步骤14、将获取的相关元数据构建成上述集群元数据。
例如,将获取的相关元数据a、b、c、d和e合并重构,得到上述步骤11中的集群元数据。
可选地,本发明实施例提供的控制集群元数据的方法还包括:
当上述集群内的各存储节点变更时,根据该各存储节点的变更更新上述集群元数据,得到新的集群元数据。
仍以上述存储节点A、B、C、D和E为例,当存储节点D故障或被撤销时,相应地,对集群元数据进行更新,删除与存储节点D相关,且与其他存储节点无关的元数据。如果存储***中增加了存储节点F,相应地,在集群元数据中增加与存储节点F相关的元数据。
本实施例提供的方法通过将集群元数据划分并下发到各存储节点进行保存,使得主元数据服务器及备元数据服务器均故障,丢失了集群元数据的情况下,仍能够通过从各存储节点获取元数据,构建得到集群元数据,从而恢复集群元数据,解决了现有技术中主元数据服务器及备元数据服务器均故障导致集群元数据丢失而无法恢复的问题,提高了存储***的可靠性。
当集群元数据被更新时,还可对新的集群元数据执行上述步骤11~步骤14的操作,例如本发明实施例提供的控制集群元数据的方法还可包括:
将上述新的集群元数据按照与剩余存储节点的相关性进行划分,得到该剩余存储节点的新的相关元数据;
将该新的相关元数据下发到该剩余存储节点;
当该新的集群元数据无法获取时,从该剩余存储节点获取下发的新的相关元数据;
将获取的新的相关元数据构建成上述新的集群元数据。
其中,剩余存储节点为广义的剩余存储节点,即该剩余存储节点的数量可小于原有的存储节点的数量,也可大于原有的存储接收的数量。仍以上述存储节点A、B、C、D和E为例,当存储节点D故障或被撤销时,剩余存储节点为存储节点A、B、C和E;如果存储***中增加了存储节点F,则剩余存储节点为存储节点A、B、C、D、E和F。
可选地,将获取的新的相关元数据构建成上述新的集群元数据之后,还包括:
将上述新的集群元数据发送给元数据服务器。其中,元数据服务器可为主元数据服务器,也可为备元数据服务器。
当上述方法由设置在主控板上的控制模块执行时,控制模块下发相关元数据之前,首先要获得集群元数据。例如,将集群元数据按照与各存储节点的相关性进行划分之前,还包括:
根据上述集群的存储***启动时生成的配置文件得到上述集群元数据,或者从元数据服务器得到上述集群元数据。
相应地,由于集群元数据无法获取,可能是因为元数据服务器故障引起,因此,将获取的相关元数据构建成上述集群元数据之后,还包括:
将构建成的集群元数据发送给元数据服务器。这样,当元数据服务器恢复后,还可获得集群元数据,解决了现有技术中主备元数据服务器均故障的情况下,无法恢复集群元数据的问题。
相应地,图2为本发明实施例提供的一种用于控制集群元数据的方法的流程图。本实施例提供的方法为存储***中或者说集群内的存储节点的操作流程。如图2所示,该流程包括:
步骤21、接收并存储元数据控制器下发的相关元数据,该相关元数据与本存储节点相关,由该元数据控制器将集群元数据按照与各存储节点的相关性进行划分得到。
其中,元数据控制器即实现图1所示方法的装置,可为新增加的控制模块,也可是主控板。相关元数据的划分及下发,详见上述图1中的说明。
步骤22、将上述相关元数据发送给元数据控制器,以使得当上述集群元数据无法获取时,元数据控制器将接收到的相关元数据构建成该集群元数据。
其中,集群元数据详见上述图1中的说明。当存储集群元数据的装置发生故障时,元数据控制器需要从存储节点获取下发给存储节点的相关元数据,以构建集群元数据,实现集群元数据的恢复。
上述实施例提供的方法通过接收元数据控制器下发的相关元数据,并在集群元数据无法获取的情况下,向元数据控制器发送其下发的相关元数据,使得元数据控制器能够用存储节点发送的相关元数据构建得到集群元数据,解决了现有技术中主元数据服务器及备元数据服务器均故障导致集群元数据丢失而无法恢复的问题。
相应地,图3为本发明实施例提供的另一种用于控制集群元数据的方法的流程图。本实施例提供的方法为元数据服务器的操作流程,元数据服务器可以是主元数据服务器,也可是备元数据服务器。如图3所示,该流程包括:
步骤31、接收元数据控制器发送的集群元数据,该集群元数据由该元数据控制器将获取的相关元数据构建得到,该相关元数据由该元数据控制器当该集群元数据无法获取时,从该集群内的各存储节点获取得到。
其中,元数据控制器即实现图1所示方法的装置,可为新增加的控制模块,也可是主控板。相关元数据的划分及下发,以及获取相关元数据构建集群元数据的方法,详见上述图1中的说明。
当元数据服务器故障后重启,可从元数据控制器接收恢复的集群元数据。
步骤32、保存接收的上述集群元数据。
元数据服务器保存从元数据控制器接收的集群元数据,从而恢复元数据服务器的集群元数据的存储。
上述实施例提供的方法通过接收元数据控制器利用相关元数据构建得到的集群元数据,恢复了元数据服务器中的集群元数据,解决了现有技术中主元数据服务器及备元数据服务器均故障导致集群元数据丢失而无法恢复的问题。
当集群中存储节点变更导致集群元数据更新时,本发明实施例提供的用于控制集群元数据的方法还可包括:
接收并保存上述元数据控制器发送的新的集群元数据,该新的集群元数据由上述元数据控制器当该集群内的各存储节点变更时,根据该各存储节点的变更更新上述集群元数据得到。
这样,元数据服务器能够在集群元数据变更的情况下,通过接收并保存元数据控制器发送的新的集群元数据,相应更新存储的集群元数据。
下面以图4、图5为例,对控制集群元数据的方法作进一步详细说明。
为了解决现有技术中元数据服务器集中存放集群元数据带来的可靠性问题,本实施例中引入了一个集群元数据控制服务器的角色元数据控制器(MetadataController,MDC)。
集群元数据存储在元数据服务器上,元数据服务器可以建立主备机制。MDC负责管理和控制集群元数据,将整个集群元数据按照与各个存储节点的相关性(存储节点与用户数据的对应关系)进行划分,并将划分后的元数据分别下发给各个相关的存储节点,各存储节点将自身相关的元数据保存在本地硬盘上。
当主备元数据服务器均发生故障时,MDC负责重新构建整个存储***的集群元数据。具体参见图5,包括如下步骤:
步骤51、MDC分别获取存储节点1、存储节点2、…、存储节点N上保存的一部分元数据;
步骤52、存储节点1、存储节点2、…、存储节点N返回各自保存的元数据。
步骤53、MDC将存储节点1、存储节点2、…、存储节点N返回的元数据进行合并重构,得到集群元数据。
步骤54、MDC将步骤53中得到的集群元数据发送给元数据服务器,以恢复元数据服务器丢失的集群元数据数据。
本实施例在现有的存储***的基础上,增加了MDC,通过MDC在元数据服务器故障的情况下,自动从存储节点上收集元数据信息,并进行重建恢复,提高了元数据的可靠性和可用性。并且,MDC会重新启动新的元数据服务器,并将恢复后的集群元数据写入元数据服务器,保证了业务自动恢复。通过增加MDC对集群元数据进行控制,使得元数据服务器从复杂的业务处理中独立出来,只需进行元数据的存储,即通过将集群元数据的控制和集群元数据的存储相互独立处理,进一步地保证了元数据服务器的可靠性和可扩展性。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图6为本发明实施例提供的一种控制集群元数据的装置的结构示意图。本实施例提供的装置用于实现图1所示的方法,可为上述方法实施例中的元数据控制器。如图6所示,该装置包括:第一划分单元61、第一下发单元62、第一获取单元63和第一构建单元64。
第一划分单元61用于将集群元数据按照与各存储节点的相关性进行划分,得到所述各存储节点的相关元数据;所述各存储节点为所述集群元数据所属集群内的存储节点
第一下发单元62用于将所述相关元数据下发到所述集群内相关的存储节点。
第一获取单元63用于当所述集群元数据无法获取时,从所述集群内的各存储节点获取下发的相关元数据。
第一构建单元64用于将获取的相关元数据构建成所述集群元数据。
可选地,本发明实施例提供的控制集群元数据的装置还包括:
更新单元,用于当所述集群内的各存储节点变更时,根据所述各存储节点的变更更新所述集群元数据,得到新的集群元数据。
可选地,本发明实施例提供的控制集群元数据的装置还包括:
第二划分单元,用于将所述新的集群元数据按照与剩余存储节点的相关性进行划分,得到所述剩余存储节点的新的相关元数据;
第二下发单元,用于将所述新的相关元数据下发到所述剩余存储节点;
第二获取单元,用于当所述新的集群元数据无法获取时,从所述剩余存储节点获取下发的新的相关元数据;
第二构建单元,用于将获取的新的相关元数据构建成所述新的集群元数据。
可选地,本发明实施例提供的控制集群元数据的装置还包括:第一发送单元,用于在所述第二构建单元将获取的新的相关元数据构建成所述新的集群元数据之后,将所述新的集群元数据发送给元数据服务器。
可选地,本发明实施例提供的控制集群元数据的装置还包括:集群元数据获得单元,用于在所述第一划分单元将集群元数据按照与各存储节点的相关性进行划分之前,根据所述集群的存储***启动时生成的配置文件得到所述集群元数据,或者从元数据服务器得到所述集群元数据。
可选地,本发明实施例提供的控制集群元数据的装置还包括:第二发送单元,用于在所述第一构建单元将获取的相关元数据构建成所述集群元数据之后,将构建成的集群元数据发送给元数据服务器。
图7为本发明实施例提供的一种存储节点设备的结构示意图。本实施例提供的装置用于实现图2所示的方法,可为上述方法实施例中的存储节点。如图7所示,该设备包括:元数据接收单元71和元数据发送单元72。
元数据接收单元71用于接收并存储元数据控制器下发的相关元数据,所述相关元数据与本存储节点相关,由所述元数据控制器将集群元数据按照与各存储节点的相关性进行划分得到。
元数据发送单元72用于将所述相关元数据发送给所述元数据控制器,以使得当所述集群元数据无法获取时,所述元数据控制器将接收到的相关元数据构建成所述集群元数据。
图8为本发明实施例提供的一种元数据服务器的结构示意图。本实施例提供的装置用于实现图3所示的方法,可为上述方法实施例中的元数据控制器。如图8所示,该服务器包括:第一接收单元81和存储单元82。
第一接收单元81用于接收元数据控制器发送的集群元数据,所述集群元数据由所述元数据控制器将获取的相关元数据构建得到,所述相关元数据由所述元数据控制器当所述集群元数据无法获取时,从所述集群内的各存储节点获取得到。
存储单元82用于保存所述集群元数据接收单元接收的所述集群元数据。
可选地,本发明实施例提供的元数据服务器还包括:
第二接收单元,用于接收并保存所述元数据控制器发送的新的集群元数据,所述新的集群元数据由所述元数据控制器当所述集群内的各存储节点变更时,根据所述各存储节点的变更更新所述集群元数据得到。
图9为本发明实施例提供的一种存储***的结构示意图。本实施例提供的装置可用于实现图1-图5所示的方法。如图9所示,该存储***包括元数据控制器91、存储节点92及元数据服务器93。
元数据控制器91可为上述任一种控制集群元数据的装置,用于划分并下发元数据到存储节点,并在元数据服务器故障丢失集群元数据的情况下,从存储节点获取元数据,恢复集群元数据。存储节点92可为上述实施例提供的任一种存储节点设备,用于存储与自己相关的元数据,并在元数据服务器故障丢失集群元数据的情况下,将各自相关的元数据发送给元数据控制器91,进行重构,恢复集群元数据。元数据服务器93可为上述实施例提供的任一种元数据服务器,丢失集群元数据后,可从元数据控制器91得到集群元数据,实现集群元数据的恢复。
另外,本发明实施例还给出一种计算机程序产品,该计算机程序产品包括计算机可读介质,该可读介质包括第二组程序代码,用于执行上述图1所示方法中的步骤:
将集群元数据按照与各存储节点的相关性进行划分,得到所述各存储节点的相关元数据;所述各存储节点为所述集群元数据所属集群内的存储节点;
将所述相关元数据下发到所述集群内相关的存储节点;
当所述集群元数据无法获取时,从所述集群内的各存储节点获取下发的相关元数据;
将获取的相关元数据构建成所述集群元数据。
可选地,还包括:
当所述集群内的各存储节点变更时,根据所述各存储节点的变更更新所述集群元数据,得到新的集群元数据。
可选地,还包括:
将所述新的集群元数据按照与剩余存储节点的相关性进行划分,得到所述剩余存储节点的新的相关元数据;
将所述新的相关元数据下发到所述剩余存储节点;
当所述新的集群元数据无法获取时,从所述剩余存储节点获取下发的新的相关元数据;
将获取的新的相关元数据构建成所述新的集群元数据。
可选地,将获取的新的相关元数据构建成所述新的集群元数据之后,还包括:
将所述新的集群元数据发送给元数据服务器。
可选地,将集群元数据按照与各存储节点的相关性进行划分之前,还包括:
根据所述集群的存储***启动时生成的配置文件得到所述集群元数据,或者从元数据服务器得到所述集群元数据。
可选地,将获取的相关元数据构建成所述集群元数据之后,还包括:
将构建成的集群元数据发送给元数据服务器。
另外,本发明实施例还给出另一种计算机程序产品,该计算机程序产品包括计算机可读介质,该可读介质包括第二组程序代码,用于执行上述图2所示方法中的步骤:
接收并存储元数据控制器下发的相关元数据,所述相关元数据与本存储节点相关,由所述元数据控制器将集群元数据按照与各存储节点的相关性进行划分得到;
将所述相关元数据发送给所述元数据控制器,以使得当所述集群元数据无法获取时,所述元数据控制器将接收到的相关元数据构建成所述集群元数据。
最后,本发明实施例还给出又一种计算机程序产品,该计算机程序产品包括计算机可读介质,该可读介质包括第二组程序代码,用于执行上述图3所示方法中的步骤:
接收元数据控制器发送的集群元数据,所述集群元数据由所述元数据控制器将获取的相关元数据构建得到,所述相关元数据由所述元数据控制器当所述集群元数据无法获取时,从所述集群内的各存储节点获取得到;
保存接收的所述集群元数据。
可选地,还包括执行以下步骤:
接收并保存所述元数据控制器发送的新的集群元数据,所述新的集群元数据由所述元数据控制器当所述集群内的各存储节点变更时,根据所述各存储节点的变更更新所述集群元数据得到。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (15)

1.一种控制集群元数据的方法,其特征在于,包括:
将集群元数据按照与各存储节点的相关性进行划分,得到所述各存储节点的相关元数据;所述各存储节点为所述集群元数据所属集群内的存储节点;
将所述相关元数据下发到所述集群内相关的存储节点;
当所述集群元数据无法获取时,从所述集群内的各存储节点获取下发的相关元数据;
将获取的相关元数据构建成所述集群元数据;
当所述集群内的各存储节点变更时,根据所述各存储节点的变更更新所述集群元数据,得到新的集群元数据。
2.根据权利要求1所述方法,其特征在于,还包括:
将所述新的集群元数据按照与剩余存储节点的相关性进行划分,得到所述剩余存储节点的新的相关元数据;
将所述新的相关元数据下发到所述剩余存储节点;
当所述新的集群元数据无法获取时,从所述剩余存储节点获取下发的新的相关元数据;
将获取的新的相关元数据构建成所述新的集群元数据。
3.根据权利要求2所述方法,其特征在于,将获取的新的相关元数据构建成所述新的集群元数据之后,还包括:
将所述新的集群元数据发送给元数据服务器。
4.根据权利要求1-3任一项所述方法,其特征在于,将集群元数据按照与各存储节点的相关性进行划分之前,还包括:
根据所述集群的存储***启动时生成的配置文件得到所述集群元数据,或者从元数据服务器得到所述集群元数据。
5.根据权利要求1-3任一项所述方法,其特征在于,将获取的相关元数据构建成所述集群元数据之后,还包括:
将构建成的集群元数据发送给元数据服务器。
6.一种用于控制集群元数据的方法,其特征在于,由所述集群元数据所属存储***中的所有存储节点执行,所述方法包括:
每个所述存储节点接收并存储元数据控制器下发的相关元数据,所述相关元数据与本存储节点相关,由所述元数据控制器将集群元数据按照与各存储节点的相关性进行划分得到;
每个所述存储节点将所述相关元数据发送给所述元数据控制器,以使得当所述集群元数据无法获取时,所述元数据控制器将接收到的相关元数据构建成所述集群元数据;
至少一个所述存储节点在变更时,使得所述元数据控制器根据所述至少一个存储节点的变更更新所述集群元数据,以获得新的集群元数据。
7.一种用于控制集群元数据的方法,其特征在于,包括:
接收元数据控制器发送的集群元数据,所述集群元数据由所述元数据控制器将获取的相关元数据构建得到,所述相关元数据由所述元数据控制器当所述集群元数据无法获取时,从所述集群内的各存储节点获取得到;
保存接收的所述集群元数据;
接收并保存所述元数据控制器发送的新的集群元数据,所述新的集群元数据由所述元数据控制器当所述集群内的各存储节点变更时,根据所述各存储节点的变更更新所述集群元数据得到。
8.一种控制集群元数据的装置,其特征在于,包括:
第一划分单元,用于将集群元数据按照与各存储节点的相关性进行划分,得到所述各存储节点的相关元数据;所述各存储节点为所述集群元数据所属集群内的存储节点;
第一下发单元,用于将所述相关元数据下发到所述集群内相关的存储节点;
第一获取单元,用于当所述集群元数据无法获取时,从所述集群内的各存储节点获取下发的相关元数据;
第一构建单元,用于将获取的相关元数据构建成所述集群元数据;
更新单元,用于当所述集群内的各存储节点变更时,根据所述各存储节点的变更更新所述集群元数据,得到新的集群元数据。
9.根据权利要求8所述装置,其特征在于,还包括:
第二划分单元,用于将所述新的集群元数据按照与剩余存储节点的相关性进行划分,得到所述剩余存储节点的新的相关元数据;
第二下发单元,用于将所述新的相关元数据下发到所述剩余存储节点;
第二获取单元,用于当所述新的集群元数据无法获取时,从所述剩余存储节点获取下发的新的相关元数据;
第二构建单元,用于将获取的新的相关元数据构建成所述新的集群元数据。
10.根据权利要求9所述装置,其特征在于,还包括:第一发送单元,用于在所述第二构建单元将获取的新的相关元数据构建成所述新的集群元数据之后,将所述新的集群元数据发送给元数据服务器。
11.根据权利要求8-10任一项所述装置,其特征在于,还包括:集群元数据获得单元,用于在所述第一划分单元将集群元数据按照与各存储节点的相关性进行划分之前,根据所述集群的存储***启动时生成的配置文件得到所述集群元数据,或者从元数据服务器得到所述集群元数据。
12.根据权利要求8-10任一项所述装置,其特征在于,还包括:第二发送单元,用于在所述第一构建单元将获取的相关元数据构建成所述集群元数据之后,将构建成的集群元数据发送给元数据服务器。
13.一种存储节点设备,其特征在于,包括:
元数据接收单元,用于接收并存储元数据控制器下发的相关元数据,所述相关元数据与本存储节点相关,由所述元数据控制器将集群元数据按照与各存储节点的相关性进行划分得到;
元数据发送单元,用于将所述相关元数据发送给所述元数据控制器,以使得当所述集群元数据无法获取时,所述元数据控制器将接收到的相关元数据构建成所述集群元数据;其中,所述存储节点设备在变更时,使得所述元数据控制器根据所述存储节点设备的变更更新所述集群元数据,以获得新的集群元数据。
14.一种元数据服务器,其特征在于,包括:
第一接收单元,用于接收元数据控制器发送的集群元数据,所述集群元数据由所述元数据控制器将获取的相关元数据构建得到,所述相关元数据由所述元数据控制器当所述集群元数据无法获取时,从所述集群内的各存储节点获取得到;
存储单元,用于保存所述集群元数据接收单元接收的所述集群元数据;
第二接收单元,用于接收并保存所述元数据控制器发送的新的集群元数据,所述新的集群元数据由所述元数据控制器当所述集群内的各存储节点变更时,根据所述各存储节点的变更更新所述集群元数据得到。
15.一种存储***,其特征在于,包括上述权利要求8-12任一项所述的控制集群元数据的装置、上述权利要求13所述的存储节点设备及上述权利要求14所述的元数据服务器。
CN201210547876.9A 2012-12-17 2012-12-17 存储***、控制集群元数据的方法及装置 Active CN103019626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210547876.9A CN103019626B (zh) 2012-12-17 2012-12-17 存储***、控制集群元数据的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210547876.9A CN103019626B (zh) 2012-12-17 2012-12-17 存储***、控制集群元数据的方法及装置

Publications (2)

Publication Number Publication Date
CN103019626A CN103019626A (zh) 2013-04-03
CN103019626B true CN103019626B (zh) 2016-04-13

Family

ID=47968278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210547876.9A Active CN103019626B (zh) 2012-12-17 2012-12-17 存储***、控制集群元数据的方法及装置

Country Status (1)

Country Link
CN (1) CN103019626B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808378B (zh) 2016-02-26 2018-10-30 华为技术有限公司 元数据修复方法及装置
WO2018081960A1 (zh) * 2016-11-02 2018-05-11 华为技术有限公司 管理文件的方法、文件***和服务器***
CN109426587B (zh) * 2017-08-25 2020-08-28 杭州海康威视数字技术股份有限公司 一种数据恢复方法及装置
CN111338647B (zh) * 2018-12-18 2023-09-12 杭州海康威视数字技术股份有限公司 一种大数据集群管理方法和装置
CN114428760A (zh) * 2021-12-30 2022-05-03 北京云宽志业网络技术有限公司 集群存储***和元数据恢复方法
CN117390078B (zh) * 2023-12-13 2024-02-09 中国对外经济贸易信托有限公司 数据处理方法、装置、存储介质和计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692239A (zh) * 2009-10-19 2010-04-07 浙江大学 一种分布式文件***元数据分配方法
CN101741731A (zh) * 2009-12-03 2010-06-16 中兴通讯股份有限公司 内容分发网络中内容元数据的存储、查询方法及管理***
US7949569B2 (en) * 2007-01-30 2011-05-24 Oracle International Corporation Distributed device information management system as a distributed information repository system
CN102088389A (zh) * 2009-12-02 2011-06-08 中兴通讯股份有限公司 一种分布式内容存取调度装置和内容读取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007007326A1 (de) * 2007-02-14 2008-09-04 Siemens Ag Multisite-Szenarien beim Speichern und Archivieren von medizinischen Datenobjekten

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7949569B2 (en) * 2007-01-30 2011-05-24 Oracle International Corporation Distributed device information management system as a distributed information repository system
CN101692239A (zh) * 2009-10-19 2010-04-07 浙江大学 一种分布式文件***元数据分配方法
CN102088389A (zh) * 2009-12-02 2011-06-08 中兴通讯股份有限公司 一种分布式内容存取调度装置和内容读取方法
CN101741731A (zh) * 2009-12-03 2010-06-16 中兴通讯股份有限公司 内容分发网络中内容元数据的存储、查询方法及管理***

Also Published As

Publication number Publication date
CN103019626A (zh) 2013-04-03

Similar Documents

Publication Publication Date Title
CN103019626B (zh) 存储***、控制集群元数据的方法及装置
CN102981931B (zh) 虚拟机备份方法及装置
CN103345470B (zh) 一种数据库容灾方法、***及服务器
US9170888B2 (en) Methods and apparatus for virtual machine recovery
CN103098016B (zh) 基于文件***备份的去重
US20150213100A1 (en) Data synchronization method and system
CN108804523A (zh) 数据同步方法、***及计算机可读存储介质
CN102308273A (zh) 存储***
CN102681917B (zh) 一种操作***及其修复方法
CN101739313B (zh) 一种连续数据保护和恢复方法
CN103138912B (zh) 数据同步方法及***
CN105359099A (zh) 索引更新管线
CN101809558A (zh) 远程异步数据复制***和方法
US20090063807A1 (en) Data redistribution in shared nothing architecture
US9525733B2 (en) Method and system for data synchronization
CN101567211A (zh) 一种提高磁盘可用性的方法和磁盘阵列控制器
CN106603319B (zh) 一种故障处理的方法、管理服务器以及逻辑服务器
CN105278882A (zh) 一种分布式文件***的磁盘管理方法
CN103618788A (zh) 一种支持b/s结构***高可用的方法
CN102347866A (zh) 网络管理中的数据配置***及配置方法
CN104570831A (zh) 过程控制***和方法
CN111771193A (zh) 用于在生产集群中备份最终一致的数据库的***和方法
CN102902561A (zh) 数据存储方法及数据存储***
CN104461773A (zh) 一种虚拟机备份去重的方法
CN104750755A (zh) 一种数据库主备切换后的数据回补方法及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220526

Address after: No. 1899 Xiyuan Avenue, high tech Zone (West District), Chengdu, Sichuan 610041

Patentee after: Chengdu Huawei Technologies Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.