CN102411639B - 元数据的多副本存储管理方法和*** - Google Patents
元数据的多副本存储管理方法和*** Download PDFInfo
- Publication number
- CN102411639B CN102411639B CN 201110459020 CN201110459020A CN102411639B CN 102411639 B CN102411639 B CN 102411639B CN 201110459020 CN201110459020 CN 201110459020 CN 201110459020 A CN201110459020 A CN 201110459020A CN 102411639 B CN102411639 B CN 102411639B
- Authority
- CN
- China
- Prior art keywords
- server
- metadata
- master server
- servers
- master
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Hardware Redundancy (AREA)
Abstract
本发明公开了一种元数据的多副本存储管理方法和***,该方法包括:多个服务器在各自的存储器中保存需要保存的全部元数据,并且多个服务器之间实现元数据存储的同步;在多个服务器中预先指定的主服务器无法继续提供元数据处理服务的情况下,其他服务器中的一个服务器利用保存的元数据代替主服务器提供元数据处理服务。本发明通过在每个元数据服务器上保存所有需要保存的元数据并在服务器之间实现元数据同步和主备切换,能够有效实现元数据的多副本保存,同时实现多服务器彼此间的备份和替换,提高***的稳定性和可靠性。
Description
技术领域
本发明涉及计算机领域,并且特别地,涉及一种元数据的多副本存储管理方法和***。
背景技术
目前,在大规模高性能计算集群中,由于存在着用户众多、作业量巨大、整体IO吞吐量要求高的情况,因此现在基于单个服务器端的网络文件***已经大大不能满足用户的需求,特别是大型数据中心和并发数量大、IO量大的需求。这时,并行存储***(分布式存储***)的概念就应用而生了。
目前已经出现了一些并行存储***,这些存储***能够实现元数据和数据分别存储,以便在读写的时候提高性能;数据服务器的数量为多个,从几个达到数百甚至数千个,从而构成了大规模的网络文件***。
虽然存储元数据的多个服务器可以实现相互之间的备份,从而提高整个***的稳定性和可靠性,但是,这多个服务器访问的存储器只有一个,在该存储器出现故障的情况下,所有的服务器均无法提供与元数据处理相关的服务器,从而导致整个***出现故障。
针对相关技术中存储元数据的服务器无法实现有效的彼此替换和数据备份的问题,目前尚未提出有效的解决方案。
发明内容
针对相关技术中存储元数据的服务器无法实现有效的彼此替换和数据备份的问题,本发明提出一种元数据的多副本存储管理方法和***,能够有效实现元数据的多副本保存,同时实现多服务器彼此间的备份和替换,提高***的稳定性和可靠性。
本发明的技术方案是这样实现的:
根据本发明的一个方面,提供了一种元数据的多副本存储管理方法。
该方法包括:多个服务器在各自的存储器中保存需要保存的全部元数据,并且多个服务器之间实现元数据存储的同步;在多个服务器中预先指定的主服务器无法继续提供元数据处理服务的情况下,其他服务器中的一个服务器利用保存的元数据代替主服务器提供元数据处理服务。
其中,在多个服务器中未确定主服务器、或者已经确定的主服务器无法继续提供元数据处理服务的情况下,通过以下方式确定主服务器:多个服务器彼此之间进行协商,根据各个服务器的当前状态确定作为主服务器的服务器;或者根据操作人员的指示,确定需要作为主服务器的服务器。
并且,服务器的当前状态包括以下至少之一:该服务器的存储器访问是否正常,该服务器的负载,该服务器的网络连接状态。
此外,在指定的主服务器满足以下条件中的至少之一时,确定该主服务器无法继续提供元数据处理服务:该主服务器的网络连接出现异常、该主服务器的存储器访问出现异常、该主服务器的负载超过预定负载阈值。
此外,其他服务器中的一个服务器利用保存的元数据代替主服务器提供元数据处理服务包括:确定原主服务器之外的一个服务器作为新的主服务器,并将该服务器的存储器激活,使激活的存储器能够提供元数据处理服务;新的主服务器利用其存储器中存储的元数据,响应于元数据处理服务的指令提供元数据处理服务。
根据本发明的另一方面,提供了一种元数据的多副本存储管理***。
该***包括多个服务器,其中,每个服务器包括:存储器,用于保存需要保存的全部元数据;同步模块,用于实现所在服务器与其他服务器之间的元数据存储同步;服务提供模块,用于在所在的服务器被确定为主服务器的情况下,利用所在服务器的存储器中保存的元数据提供元数据处理服务;其中,在多个服务器中预先指定的主服务器无法继续提供元数据处理服务的情况下,其他服务器中的一个服务器代替当前的主服务器提供元数据处理服务。
其中,在多个服务器中指定的主服务器满足以下条件中的至少之一时,该主服务器触发重新选择主服务器:该主服务器的网络连接出现异常、该主服务器的存储器访问出现异常、该主服务器的负载超过预定负载阈值。
其中,多个服务器中的主服务器的存储器处于激活状态,在激活状态下,该主服务器能够利用其存储器中存储的元数据提供元数据处理服务器,其他服务器则被禁止提供元数据处理服务。
此外,每个服务器进一步包括信息交互模块,用于与其他服务器实现信息的交互,交互的信息包括服务器状态信息,在当前的主服务器无法继续提供数据处理服务的情况下,每个服务器根据各自的状态信息与其他服务器的状态信息确定能够作为新的主服务器的服务器。
本发明通过在每个元数据服务器上保存所有需要保存的元数据并在服务器之间实现元数据同步和主备切换,能够有效实现元数据的多副本保存,同时实现多服务器彼此间的备份和替换,提高***的稳定性和可靠性。
附图说明
图1是根据本发明实施例的元数据的多副本存储管理方法的流程图;
图2是根据本发明实施例的元数据的多副本存储管理***的框图。
具体实施方式
根据本发明的实施例,提供了一种元数据的多副本存储管理方法。
如图1所示,根据本发明实施例的元数据的多副本存储管理方法包括:
步骤S101,多个服务器在各自的存储器中保存需要保存的全部元数据,并且多个服务器之间实现元数据存储的同步;
步骤S103,在多个服务器中预先指定的主服务器无法继续提供元数据处理服务的情况下,其他服务器中的一个服务器利用保存的元数据代替主服务器提供元数据处理服务。
其中,在多个服务器中未确定主服务器、或者已经确定的主服务器无法继续提供元数据处理服务的情况下,可以通过以下方式确定主服务器:
多个服务器彼此之间进行协商,根据各个服务器的当前状态确定作为主服务器的服务器;或者
根据操作人员的指示,确定需要作为主服务器的服务器。
也就是说,不论在什么情况下确定主服务器,既可以采用服务器之间协商的方式,也可以又管理员发出指令指定主服务器。
在服务器进行协商时,可以彼此传输各自的状态,每个服务器传输的该服务器的当前状态可以包括以下至少之一:该服务器的存储器访问是否正常,该服务器的负载,该服务器的网络连接状态。每个服务器可以先判断自身的状态是否能够作为主服务器,之后可以将其他服务器传输的状态与自身的状态进行比较(可选地,只有自身状态满足作为主服务器要求的服务器会进行该比较步骤),根据一定的策略确定本身相比于其他服务器是否更适合作为主服务器(例如,上述策略可以是将状态最好的服务器确定为主服务器),最后,被确定为主服务器的服务器会将其被确定为主服务器的信息通知给其他服务器。
具体如何选择主服务器的方法有很多,并不局限于上述方法,本文不再一一列举。
在指定的主服务器网络连接出现异常、和/或该主服务器的存储器访问出现异常、和/或该主服务器的负载超过预定负载阈值的情况下,该主服务器就会确定其无法继续提供元数据处理服务,此时需要出发主服务器的重选,该服务器可以不作为候选对象。
在当前主服务器之外的一个服务器作为新的主服务器代替原主服务器提供元数据处理服务时,可以将该服务器的存储器激活,使激活的存储器能够提供元数据处理服务,并且使得对原主服务器的访问转移到新的主服务器;新的主服务器利用其存储器中存储的元数据,响应于元数据处理服务的指令提供元数据处理服务,由于每个服务器保存的元数据是相同的,因此,新的主服务器能够正常提供元数据处理服务,包括对元数据的读取、写入、修改、删除等操作。
本发明可以用于多种并行存储***,例如,可以用于parastor并行存储***避免某个元数据服务器出现故障而造成数据丢失、进而使整个并行存储***的文件全部不可用的问题。本发明能够在并行存储***的元数据服务器上增加功能,使其能够将文件的元数据同时存储在两个或多个地方,从而避免单点故障导致整个文件***不可用的情况。
根据本法明的实施例,还提供了一种元数据的多副本存储管理***。
如图2所示,该***包括多个服务器(出于清楚的目的,图2中仅示出了2个服务器,在实际应用中,服务器的数量可以更多,根据实际需要,可能会达到成百上千甚至更多),每个服务器包括(出于清楚的目的,图2中仅详细示出了一个服务器的结构,实际上,其他的服务器同样具备类似结构):
存储器21,用于保存需要保存的全部元数据;
同步模块22,连接至存储器21,用于实现所在服务器与其他服务器之间的元数据存储同步;
服务提供模块23,连接至存储器21和同步模块22,用于在所在的服务器被确定为主服务器的情况下,利用所在服务器的存储器中保存的元数据提供元数据处理服务;
其中,在多个服务器中预先指定的主服务器无法继续提供元数据处理服务的情况下,其他服务器中的一个服务器代替当前的主服务器提供元数据处理服务。
其中,在多个服务器中指定的主服务器满足以下条件中的至少之一时,该主服务器触发重新选择主服务器:该主服务器的网络连接出现异常、该主服务器的存储器访问出现异常、该主服务器的负载超过预定负载阈值。
每个服务器都会与其他服务器进行通信,该通信可以实时进行,传递元数据同步或各自的状态等多种信息。每个服务器进一步包括信息交互模块,用于与其他服务器实现上述通信,通信过程中交互的信息包括服务器状态信息,在当前的主服务器无法继续提供数据处理服务的情况下,每个服务器根据各自的状态信息与其他服务器的状态信息确定能够作为新的主服务器的服务器。该交互模块可以与同步模块集成在一起。
并且,多个服务器中的主服务器的存储器处于激活状态,在激活状态下,该主服务器能够利用其存储器中存储的元数据提供元数据处理服务器,其他服务器则被禁止提供元数据处理服务。
通过本发明的上述技术方案,允许在同一并行存储***内有两个或多个元数据服务器存在,但当前正在服务的元数据服务器只有一个,其他服务器不对外提供服务;不同元数据服务器均有自己的存储空间来存储整个文件***的元数据信息,相互之间没有依赖关系,从而保证主服务器的数据损坏之后,其他服务器保存的元数据仍旧正常;其他服务器的元数据信息能够和主服务器间实现实时、无缝的同步,当新的数据写入时,能够保证在各个元数据服务器的数据信息完成同步以后,写入操作才返回。此外,主服务器和其他服务器能够实现高可用的关系(例如,可以通过第三方控制平台或软件来实现),即当主服务器不能提供服务时,能够由其他服务器自动接管主服务器的资源,为整个文件***提供服务。
综上所述,借助于本发明的上述技术方案,通过在每个元数据服务器上保存所有需要保存的元数据并在服务器之间实现元数据同步和主备切换,能够有效实现元数据的多副本保存,同时实现多服务器彼此间的备份和替换,提高***的稳定性和可靠性。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种元数据的多副本存储管理方法,其特征在于,包括:
多个服务器在各自的存储器中保存需要保存的全部元数据,并且所述多个服务器之间实现元数据存储的同步;
在所述多个服务器中预先指定的主服务器无法继续提供元数据处理服务的情况下,其他服务器中的一个服务器利用保存的元数据代替所述主服务器提供元数据处理服务;
其中,在指定的所述主服务器满足以下条件中的至少之一时,确定该主服务器无法继续提供元数据处理服务:该主服务器的网络连接出现异常、该主服务器的存储器访问出现异常、该主服务器的负载超过预定负载阈值;
其中,其他服务器中的一个服务器利用保存的元数据代替所述主服务器提供元数据处理服务包括:确定原主服务器之外的一个服务器作为新的主服务器,并将该服务器的存储器激活,使激活的存储器能够提供元数据处理服务;以及,新的主服务器利用其存储器中存储的元数据,响应于元数据处理服务的指令提供元数据处理服务;以及,
其中,在所述多个服务器中未确定主服务器、或者已经确定的主服务器无法继续提供元数据处理服务的情况下,通过以下方式确定主服务器:多个服务器彼此之间进行协商,根据各个服务器的当前状态确定作为主服务器的服务器;或者,根据操作人员的指示,确定需要作为主服务器的服务器。
2.根据权利要求1所述的多副本存储管理方法,其特征在于,服务器的当前状态包括以下至少之一:
该服务器的存储器访问是否正常,该服务器的负载,该服务器的网络连接状态。
3.一种元数据的多副本存储管理***,其特征在于:
用于控制多个服务器在各自的存储器中保存需要保存的全部元数据,并且所述多个服务器之间实现元数据存储的同步的模块;
用于控制在所述多个服务器中预先指定的主服务器无法继续提供元数据处理服务的情况下,其他服务器中的一个服务器利用保存的元数据代替所述主服务器提供元数据处理服务的模块;
其中,在指定的所述主服务器满足以下条件中的至少之一时,确定该主服务器无法继续提供元数据处理服务:该主服务器的网络连接出现异常、该主服务器的存储器访问出现异常、该主服务器的负载超过预定负载阈值;
其中,其他服务器中的一个服务器利用保存的元数据代替所述主服务器提供元数据处理服务包括:确定原主服务器之外的一个服务器作为新的主服务器,并将该服务器的存储器激活,使激活的存储器能够提供元数据处理服务;以及,新的主服务器利用其存储器中存储的元数据,响应于元数据处理服务的指令提供元数据处理服务;以及,
在所述多个服务器中未确定主服务器、或者已经确定的主服务器无法继续提供元数据处理服务的情况下,用于控制通过以下方式确定主服务器的模块:多个服务器彼此之间进行协商,根据各个服务器的当前状态确定作为主服务器的服务器;或者,根据操作人员的指示,确定需要作为主服务器的服务器。
4.根据权利要求3所述的多副本存储管理***,其特征在于,服务器的当前状态包括以下至少之一:
该服务器的存储器访问是否正常,该服务器的负载,该服务器的网络连接状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110459020 CN102411639B (zh) | 2011-12-31 | 2011-12-31 | 元数据的多副本存储管理方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110459020 CN102411639B (zh) | 2011-12-31 | 2011-12-31 | 元数据的多副本存储管理方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102411639A CN102411639A (zh) | 2012-04-11 |
CN102411639B true CN102411639B (zh) | 2013-05-08 |
Family
ID=45913710
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110459020 Active CN102411639B (zh) | 2011-12-31 | 2011-12-31 | 元数据的多副本存储管理方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102411639B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103379167A (zh) * | 2012-04-28 | 2013-10-30 | 鸿富锦精密工业(深圳)有限公司 | 多点同步存储的文件下载异常处理***及方法 |
CN103530200B (zh) * | 2012-07-04 | 2018-01-26 | 腾讯科技(深圳)有限公司 | 一种服务器热备份***和方法 |
CN102880522B (zh) * | 2012-09-21 | 2014-12-31 | 中国人民解放军国防科学技术大学 | 面向硬件故障的***关键文件故障纠正方法及装置 |
CN103049527B (zh) * | 2012-12-20 | 2016-01-20 | 中国电力科学研究院 | 一种面向大电网的并行实时数据库主备切换管理*** |
CN103246716B (zh) * | 2013-04-26 | 2016-02-24 | 中国传媒大学 | 基于对象集群文件***的对象副本高效管理方法及*** |
CN103294787A (zh) * | 2013-05-21 | 2013-09-11 | 成都市欧冠信息技术有限责任公司 | 分布式数据库***的多副本存储方法和*** |
CN103544081B (zh) * | 2013-10-23 | 2015-08-12 | 曙光信息产业(北京)有限公司 | 双元数据服务器的管理方法和装置 |
CN105760398A (zh) * | 2014-12-18 | 2016-07-13 | 中兴通讯股份有限公司 | 一种日志记录***及日志记录操作方法 |
CN104506625B (zh) * | 2014-12-22 | 2018-04-17 | 国云科技股份有限公司 | 一种提升云数据库元数据节点可靠性的方法 |
US10997030B2 (en) * | 2015-03-31 | 2021-05-04 | EMC IP Holding Company LLC | Disaster recovery as a service |
CN105306605B (zh) * | 2015-12-09 | 2018-12-25 | 北京中电普华信息技术有限公司 | 一种双主机服务器*** |
CN107729178A (zh) * | 2017-09-28 | 2018-02-23 | 郑州云海信息技术有限公司 | 一种元数据服务进程接替方法及装置 |
CN108984299A (zh) * | 2018-06-29 | 2018-12-11 | 郑州云海信息技术有限公司 | 一种分布式集群的优化方法、装置、***及可读存储介质 |
CN108846136A (zh) * | 2018-07-09 | 2018-11-20 | 郑州云海信息技术有限公司 | 一种分布式集群的优化方法、装置、***及可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101667181A (zh) * | 2008-09-05 | 2010-03-10 | 华为技术有限公司 | 一种数据容灾的方法、装置及*** |
CN102024022A (zh) * | 2010-11-04 | 2011-04-20 | 曙光信息产业(北京)有限公司 | 一种分布式文件***复制元数据的方法 |
CN102045396A (zh) * | 2010-12-20 | 2011-05-04 | 福建星网视易信息***有限公司 | 服务器文件的负载均衡方法 |
CN102122306A (zh) * | 2011-03-28 | 2011-07-13 | 中国人民解放军国防科学技术大学 | 一种数据处理方法及应用该方法的分布式文件*** |
-
2011
- 2011-12-31 CN CN 201110459020 patent/CN102411639B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101667181A (zh) * | 2008-09-05 | 2010-03-10 | 华为技术有限公司 | 一种数据容灾的方法、装置及*** |
CN102024022A (zh) * | 2010-11-04 | 2011-04-20 | 曙光信息产业(北京)有限公司 | 一种分布式文件***复制元数据的方法 |
CN102045396A (zh) * | 2010-12-20 | 2011-05-04 | 福建星网视易信息***有限公司 | 服务器文件的负载均衡方法 |
CN102122306A (zh) * | 2011-03-28 | 2011-07-13 | 中国人民解放军国防科学技术大学 | 一种数据处理方法及应用该方法的分布式文件*** |
Also Published As
Publication number | Publication date |
---|---|
CN102411639A (zh) | 2012-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102411639B (zh) | 元数据的多副本存储管理方法和*** | |
US11360854B2 (en) | Storage cluster configuration change method, storage cluster, and computer system | |
CN102411637B (zh) | 分布式文件***的元数据管理方法 | |
CN1893370B (zh) | 用于服务器群集恢复和维护的方法和*** | |
CN101808012B (zh) | 一种云环境下的数据备份方法 | |
KR101547719B1 (ko) | 데이터 센터들에 걸쳐 데이터 서버들내 데이터 무결정의 유지 | |
CN113641511B (zh) | 一种消息通信方法和装置 | |
CN109582443A (zh) | 基于分布式存储技术的虚拟机备份*** | |
CN102088490B (zh) | 数据存储方法、设备和*** | |
CN101751415B (zh) | 元数据服务***、元数据同步方法与写服务器更新方法 | |
CN105930498A (zh) | 一种分布式数据库的管理方法及*** | |
EP4213038A1 (en) | Data processing method and apparatus based on distributed storage, device, and medium | |
US20110035356A1 (en) | Transactional archiving of an electronic document | |
CN102541693A (zh) | 数据的多副本存储管理方法和*** | |
CN101137984A (zh) | 用于分布加载数据库的***、方法和软件 | |
US20130124916A1 (en) | Layout of mirrored databases across different servers for failover | |
US20130031221A1 (en) | Distributed data storage system and method | |
WO2012069091A1 (en) | Real time database system | |
CN102982182A (zh) | 一种数据存储规划方法及装置 | |
CN106919473A (zh) | 一种数据灾备***及业务处理方法 | |
CN109639773A (zh) | 一种动态构建的分布式数据集群控制***及其方法 | |
CN104424052A (zh) | 一种自动冗余的分布式存储***及方法 | |
CN108319618A (zh) | 一种分布式存储***的数据分布控制方法、***及装置 | |
CN114900532A (zh) | 电力数据容灾方法、***、装置、计算机设备和存储介质 | |
CN109859068B (zh) | 一种基于资源池技术的电网数据实时同步*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |