CN102890716B - 分布式文件***和分布式文件***的数据备份方法 - Google Patents

分布式文件***和分布式文件***的数据备份方法 Download PDF

Info

Publication number
CN102890716B
CN102890716B CN201210376301.5A CN201210376301A CN102890716B CN 102890716 B CN102890716 B CN 102890716B CN 201210376301 A CN201210376301 A CN 201210376301A CN 102890716 B CN102890716 B CN 102890716B
Authority
CN
China
Prior art keywords
flr
dormancy
standby
main
fas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210376301.5A
Other languages
English (en)
Other versions
CN102890716A (zh
Inventor
欧阳伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing ZTE New Software Co Ltd
Original Assignee
Nanjing ZTE New Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing ZTE New Software Co Ltd filed Critical Nanjing ZTE New Software Co Ltd
Priority to CN201210376301.5A priority Critical patent/CN102890716B/zh
Publication of CN102890716A publication Critical patent/CN102890716A/zh
Priority to EP13841208.5A priority patent/EP2902922B1/en
Priority to MX2015003987A priority patent/MX352038B/es
Priority to PCT/CN2013/084645 priority patent/WO2014048396A1/zh
Priority to US14/432,357 priority patent/US20150254271A1/en
Application granted granted Critical
Publication of CN102890716B publication Critical patent/CN102890716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1456—Hardware arrangements for backup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/1658—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2069—Management of state, configuration or failover
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开了一种分布式文件***和分布式文件***的数据备份方法，该***包括：主FLR、第一FAC、主FAS，以及第一休眠FLR和第一替补FAS；备分布式子***包括备FLR、第二FAC、备FAS，以及第二休眠FLR和第二替补FAS；第一休眠FLR和第二休眠FLR均用于对主FLR或备FLR上的元数据进行备份；第一替补FAS和第二替补FAS均用于在第一FAC或第二FAC接收到写数据操作指示时，与主FAS和备FAS同步对当前的实际数据进行写入操作。通过本发明，解决了相关技术中的分布式***出现异地容灾时，恢复后的文件***存在单点故障的问题，增强了***的可靠性和实用性。

Description

分布式文件***和分布式文件***的数据备份方法
技术领域
本发明涉及通信领域，具体而言，涉及一种分布式文件***和分布式文件***的数据备份方法。
背景技术
云存储领域中涉及的分布式文件***与普通文件***不同，分布式文件***除了存储实际数据，还要存储标识数据所在副本位置的元数据。这意味着传统的只备份实际数据的方式对分布式文件***并不适用，以数据块信息为例，数据块信息上标识有磁盘信息与存储节点信息，磁盘信息是唯一的，如果A地机房发生灾难，即使将数据块信息与数据都备份到B地，也无法找到匹配的磁盘，即备份过去的元数据无效；因此，分布式文件***只能采用内部自有的备份机制对元数据和实际数据进行备份。如图1所示的相关技术中分布式文件***的架构示意图，其中，图1中的粗实线表示的是控制流的传输，细实线表示的是数据流的传输，各设备描述如下：
文件位置寄存器（FLR，File Location Register）：即元数据服务器，负责管理本文件***内所有文件的文件名、数据块等元数据信息；并向文件访问客户端（FAC，FileAccess Client）提供元数据写入和查询等操作；
FAC：负责为本文件***面向的应用程序提供类似于标准文件***的接口调用服务，例如，发起访问请求，获取数据后返回给应用程序等；
文件访问服务器（FAS，File Access Server）：负责与本文件***内的存储介质进行交互，进行实际数据块的读写操作；响应文件访问客户端的数据读写请求，从存储媒介上读取数据并返回给文件访问客户端；从文件访问客户端读取数据并写入存储媒介；
存储媒介（即图1中的存储设备集群1，…，n）：磁盘、磁盘阵列等存储设备，用于保存实际数据。
图1中的元数据通过互为主备（或主副）的FLR_A1与FLR_A2进行实时同步，实际数据在进行写操作时默认设置为写双副本，此时保证了***不会存在单点故障。在容灾方面，如果简单地将备用FLR与存储实际数据副本的文件访问服务器（FAS）布署在B地，在A地发生灾难时，虽然B地的FLR能迅速切换为主FLR，但是此时元数据与实际数据都只剩下一个副本，存在单点故障，即一旦B地再发生故障，元数据和实际数据将永久丢失。
针对相关技术中的分布式***出现异地容灾时，恢复后的文件***存在单点故障的问题，目前尚未提出有效的解决方案。
发明内容
针对上述分布式***出现异地容灾时，恢复后的文件***存在单点故障的问题，本发明提供了一种分布式文件***和分布式文件***的数据备份方法，以至少解决上述问题。
根据本发明的一个方面，提供了一种分布式文件***，该***包括位于第一位置的主分布式子***和位于第二位置的备分布式子***；其中，主分布式子***包括主文件位置寄存器FLR、第一文件访问客户端FAC和主文件访问服务器FAS；备分布式子***包括备FLR、第二FAC和备FAS，其特征在于，主分布式子***包括第一休眠FLR和第一替补FAS，备分布式子***包括第二休眠FLR和第二替补FAS；第一休眠FLR和第二休眠FLR均用于对主FLR或备FLR上的元数据进行备份；第一替补FAS和第二替补FAS均用于在第一FAC或第二FAC接收到写数据操作指示时，与主FAS和备FAS同步对当前的实际数据进行写入操作。
其中，上述第一休眠FLR和第二休眠FLR均包括：休眠通信模块，用于在主FLR和备FLR正常时，通过心跳检测通信方式对主FLR或备FLR上的元数据进行备份。
上述备FLR包括：广播模块，用于确定主FLR重启后，向第一休眠FLR和第二休眠FLR广播主备切换消息；第一休眠FLR和第二休眠FLR均包括：定时通信模块，用于接收到主备切换消息后，按照设定的周期定时与备FLR进行元数据同步。
上述备FLR包括：第一检测模块，用于检测主分布式子***是否发生灾难故障；通知模块，用于第一检测模块检测到的结果为是时，向第二休眠FLR发送倒换指令；第二休眠FLR包括：重启模块，用于接收到倒换指令后，进行重启；实时同步模块，用于重启后，以备用状态实时与备FLR进行元数据同步。
上述备FLR包括：第二检测模块，用于检测主FLR是否恢复正常；通知模块，用于第二检测模块检测到的结果为是时，向第二休眠FLR发送回切指令；上述第二休眠FLR包括：回切模块，用于接收到回切指令后，将当前的备用状态切换为休眠状态。
根据本发明的另一方面，提供了一种分布式文件***的数据备份方法，该方法中的分布式文件***为上述分布式文件***，该方法包括：第一休眠FLR和第二休眠FLR对主FLR或备FLR上的元数据进行备份；在第一FAC或第二FAC接收到写数据操作指示时，第一替补FAS、第二替补FAS、主FAS和备FAS同步对当前的实际数据进行写入操作。
上述第一休眠FLR和第二休眠FLR对主FLR或备FLR上的元数据进行备份包括：第一休眠FLR和第二休眠FLR在主FLR和备FLR正常时，通过心跳检测通信方式对主FLR或备FLR上的元数据进行备份。
上述第一休眠FLR和第二休眠FLR对主FLR或备FLR上的元数据进行备份包括：备FLR确定主FLR重启后，向第一休眠FLR和第二休眠FLR广播主备切换消息；第一休眠FLR和第二休眠FLR接收到主备切换消息后，按照设定的周期定时与备FLR进行元数据同步。
上述第一休眠FLR和第二休眠FLR对主FLR或备FLR上的元数据进行备份包括：备FLR检测主分布式子***是否发生灾难故障；如果是，向第二休眠FLR发送倒换指令；第二休眠FLR接收到倒换指令后，进行重启；第二休眠FLR重启后，以备用状态实时与备FLR进行元数据同步。
上述第一休眠FLR和第二休眠FLR对主FLR或备FLR上的元数据进行备份包括：备FLR检测主FLR是否恢复正常；如果是，向第二休眠FLR发送回切指令；第二休眠FLR接收到回切指令后，将当前的备用状态切换为休眠状态，并通过心跳检测通信方式对主FLR或备FLR上的元数据进行备份。
通过本发明，采用在主备分布式子***中均设置休眠FLR和替补FAS，可以扩展元数据和实际数据的备份数目，这种备份方式即使主分布式子***所在的机房发生灾难，备分布式子***切换为主用后，该子***中的休眠FLR也能够及时对该子***中的元数据进行备份，该子***中的替补FAS也能够及时对写入的实际数据进行备份，解决了相关技术中的分布式***出现异地容灾时，恢复后的文件***存在单点故障的问题，增强了***的可靠性和实用性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据相关技术的分布式文件***的架构示意图；
图2是根据本发明实施例的分布式文件***的结构框图；
图3是根据本发明实施例的分布式文件***的具体结构示意图；
图4是根据本发明实施例的分布式文件***的数据备份方法流程；
图5是根据本发明实施例的分布式文件***的数据备份方法的具体流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明实施例对分布式文件***的元数据与数据均进行异地备份，保证在一地发生灾难时备份机房能立即无缝切换，不影响当前业务的进行，且切换后的***仍不存在单点故障风险。基于此，本发明实施例提供了一种分布式文件***，如图2所示的分布式文件***的结构框图，该***包括位于第一位置的主分布式子***10和位于第二位置的备分布式子***20；其中，主分布式子***10包括主FLR12、第一FAC14和主FAS16；备分布式子***20包括备FLR22、第二FAC24和备FAS26，与图1所示***不同的是，本发明实施例中的主分布式子***10还包括第一休眠FLR18和第一替补FAS19，备分布式子***20还包括第二休眠FLR28和第二替补FAS29；各个设备的功能如下：
第一休眠FLR 18和第二休眠FLR 28均用于对主FLR 12或备FLR 22上的元数据进行备份；
第一替补FAS19和第二替补FAS29均用于在第一FAC14或第二FAC24接收到写数据操作指示时，与主FAS16和备FAS26同步对当前的实际数据进行写入操作。
本实施例通过在主备分布式子***中均设置休眠FLR和替补FAS，可以扩展元数据和实际数据的备份数目，这种备份方式即使主分布式子***所在的机房发生灾难，备分布式子***切换为主用后，该子***中的休眠FLR也能够及时对该子***中的元数据进行备份，该子***中的替补FAS也能够及时对写入的实际数据进行备份，解决了相关技术中的分布式***出现异地容灾时，恢复后的文件***存在单点故障的问题，增强了***的可靠性和实用性。
本实施例中的第一休眠FLR18和第二休眠FLR28在主FLR12和备FLR22正常时，均处于休眠状态，基于此，第一休眠FLR18和第二休眠FLR28均包括：休眠通信模块，用于在主FLR12和备FLR22正常时，通过心跳检测通信方式对主FLR12和备FLR22上的元数据进行备份。这样可以降低信息交互的次数，以及减少***的耗电量。
在分布式文件***运行过程中，可能因为某些原因导致主FLR12重启，为了不影响业务的正常进行，本实施例的备FLR22包括：广播模块，用于确定主FLR12重启后，向第一休眠FLR18和第二休眠FLR28广播主备切换消息；第一休眠FLR18和第二休眠FLR28均包括：定时通信模块，用于接收到主备切换消息后，按照设定的周期定时与备FLR22进行元数据同步。
对于第一位置处发生灾难，例如火灾或水灾，导致主分布式子***10瘫痪，本实施例将这种情况称为主分布式子***发生灾难故障，为了保证这种情况下业务的顺利进行，本实施例的备FLR22包括：第一检测模块，用于检测主分布式子***是否发生灾难故障；通知模块，与第一检测模块相连，用于第一检测模块检测到的结果为是时，向第二休眠FLR28发送倒换指令；第二休眠FLR28包括：重启模块，用于接收到上述倒换指令后，进行重启；实时同步模块，与重启模块相连，用于重启后，以备用状态实时与备FLR22进行元数据同步。
当发生灾难故障的主分布式子***10恢复正常时，该***中的主FLR12将向备FLR22发送消息，以使备FLR22能够检测到其是否恢复正常，进而调整上述休眠FLR的状态，使***更节电。基于此，上述备FLR22包括：第二检测模块，用于检测主FLR12是否恢复正常；通知模块，与第二检测模块相连，用于第二检测模块检测到的结果为是时，向第二休眠FLR28发送回切指令；相应地，第二休眠FLR28包括：回切模块，用于接收到上述回切指令后，将当前的备用状态切换为休眠状态。
由上述实施例可知，本发明实施例中的休眠FLR与原有的主备FLR不同，该服务器平常只与主FLR之间通过心跳检测通信，一旦发生灾难导致主分布式子***所在地的服务器全部损毁，备分布式子***所在地的休眠FLR会收到切换后的主FLR发出的指令，重新启动，并加载元数据成为备FLR；对于实际数据的存储，为了增强***的可靠性，本实施例采用了双副本指定节点存储算法，即在默认双副本情况下，容灾备份中设置四个副本并且另外两个副本的数据全部存放在备分布式子***所在地的机房，确保主分布式子***发生灾难时，备分布式子***的数据仍有两个副本。
本发明实施例中的休眠FLR的个数仅以每个子***各有一个为例进行的说明，在实际实现时，不限于只有一个，可以根据需要增设；同理，备分布式子***也不限于一个，可以根据需要在多个位置分别部署。
下面以图3所示的分布式文件***的具体结构示意图为例进行说明，其中，位于A地的各设备属于主分布式子***，位于B地的各设备属于备分布式子***。图3所示的***是在图1的基础上进行的改进，主要改进包括：
一、FLR及元数据的异地备份：
由原有的两个FLR服务器扩展为4台FLR服务器，原有图1架构中主FLR与副FLR（也称为备FLR）都只有一个，即图3中的FLR_A1与FLR_B1，本实施例将增设的其他两个FLR命名为休眠状态，休眠状态的FLR定时与主FLR通信，已知A地有FLR_A1（主FLR）、FLRA2（休眠态FLR，B地有FLR_B1（副FLR）、FLR_B2（休眠态FLR），四台FLR的状态变化分为以下几种：
1、A地的FLR_A1发生重启：FLR主备倒换，FLR_B1变为主FLR，将信息广播给休眠态FLR_A2和FLR_B2，以后FLR_A2与FLR_B2改为定时与FLR_B1做心跳通信；
2、A地或B地的休眠态FLR发生重启，原有流程无变化；
3、B地的副FLR发生重启：流程无变化；
4、A地机房发生灾难：B地副FLR先转换为主FLR，B地的主FLR若发现A地的两个FLR都不通，且A地的存储节点（例如，FAS）也没有心跳上报时，则认为A地发生灾难，作为主FLR的FLR_B1向FLR_B2发出倒换为副FLR的指令，FLR_B2重启版本软件后状态变为副FLR，与主FLR实时同步；
5、A地机房灾难后恢复：FLR_A1向B地的FLR_B1发出心跳，FLR_B1检测到以后发出将FLR_B2状态切换为休眠，而FLR_A1启动成功后状态变为副FLR，FLR_A2仍为休眠态，回到初始状态。
二、FAS及实际数据的异地备份
图3所示的***中设置有异地容灾开关，开启异地容灾开关后，副本数由2变为4，而且分布式文件***数据库模块的磁盘存储策略发生变化，由原来的完全随机存储变为分组后的组内完全随机存储（副本按照A地和B地两个分组进行存储，每个分组中存储的副本数均为2），既保证每个数据块各有两个副本在A地和B地，又保证了数据块副本在A地或B地的均匀分布。
本发明实施例还提供了一种分布式文件***的数据备份方法，其中，该分布式文件***如上所示，参见图4所示的分布式文件***的数据备份方法流程，该方法包括以下步骤：
步骤S402，第一休眠FLR和第二休眠FLR对主FLR或备FLR上的元数据进行备份；
步骤S404，在第一FAC或第二FAC接收到写数据操作指示时，第一替补FAS、第二替补FAS、主FAS和备FAS同步对当前的实际数据进行写入操作。
本实施例通过主备分布式子***中设置的休眠FLR和替补FAS，扩展了元数据和实际数据的备份数目，这种备份方式即使主分布式子***所在的机房发生灾难，备分布式子***切换为主用后，该子***中的休眠FLR也能够及时对该子***中的元数据进行备份，该子***中的替补FAS也能够及时对写入的实际数据进行备份，解决了相关技术中的分布式***出现异地容灾时，恢复后的文件***存在单点故障的问题，增强了***的可靠性和实用性。
在主FLR和备FLR正常时，上述第一休眠FLR和第二休眠FLR可以通过心跳检测通信方式对主FLR或备FLR上的元数据进行备份。这样可以减少信令交互次数，使***更节电。
本实施例中，如果备FLR确定主FLR重启后，可以向第一休眠FLR和第二休眠FLR广播主备切换消息；这样第一休眠FLR和第二休眠FLR接收到主备切换消息后，则按照设定的周期定时与备FLR进行元数据同步。这种方式可以使休眠的FLR更及时地进行元数据的同步，增强***的安全性。
在主FLR重启后，备FLR还可以检测主分布式子***是否发生灾难故障；如果是，向第二休眠FLR发送倒换指令；第二休眠FLR接收到倒换指令后，进行重启；第二休眠FLR重启后，以备用状态实时与备FLR进行元数据同步。这种情况下，因主分布式子***发生了灾难故障，因此元数据的备份只能依靠第二休眠FLR，所以通过将其由休眠状态切换为备用状态，能够提高元数据同步的及时性，增强数据的安全性。
本实施例的备FLR检测主FLR是否恢复正常；如果是，向第二休眠FLR发送回切指令；第二休眠FLR接收到该回切指令后，将当前的备用状态切换为休眠状态，并通过心跳检测通信方式对主FLR或备FLR上的元数据进行备份，以使***的耗电比较小。
以图3所示的***为例，本实施例图5提供了分布式文件***的数据备份方法的具体流程图，该方法包括以下步骤：
步骤S502，FLR_B1检测到与FLR_A1失去通讯，B地的FLR_B1切换为主FLR；
步骤S504，FLR_B1判断A地其它设备是否正常，如果是，执行步骤S506；如果否，执行步骤S508；
步骤S506，FLR_B1确定A地主FLR为普通重启，容灾流程结束；
步骤S508，FLR_B1确定A地发生灾难故障，然后执行步骤S510；
步骤S510，FLR_B1向FLR_B2发出倒换指令，FLR_B2重启后，切换为副FLR；
步骤S512，FLR_B1指示接收实际数据的FAC将实际数据存储于FAS_B1至FAS_Bn中的任意两个，例如FAS_B1和FAS_B2，实际数据存储副本数为2；
步骤S514，FLR_B1判断A地设备是否恢复正常，如果是，执行步骤S516；如果否，执行步骤S518；
步骤S516，FLR_B1确定A地灾难恢复，然后执行步骤S520；
步骤S518，FLR_B1确定A地灾难未恢复，返回步骤S514，FLR_B1继续检测A地设备是否恢复正常；
步骤S520，FLR_B1通过发送消息设置FLR_B2切换为休眠状态，FLR_A1变为副FLR，FLR_A2处于休眠状态；此时实际数据的副本存储数为4；容灾流程结束。
对于图1所示的***架构，为了实现本发明上述实施例，可以采用下述方式实现：
1）在网管上增加B地的FLR地址并设置属性为副FLR状态或休眠态；
2）在网管界面上打开容灾备份开关，副本数由2变为4；
3）在网管上配置磁盘的分组选取策略；
4）在网管上重启所有版本程序；
容灾配置成功的标志：在显示界面上可以看到4个FLR的状态分别为主、休眠、备、休眠，副本数为4，查询任一数据块的备份，各有两份在A地和B地。通过这种配置方式，在A地发生灾难后，能在B地迅速恢复的分布式文件***容灾备份机制，而且恢复后的文件***仍然不存在单点故障，即元数据与实际数据在B地仍然存在两个副本。
从以上的描述中可以看出，本发明实施例与普通容灾备份相比，上述实施例既充分利用分布式文件***原有的备份机制，又实现了灾难情况下的元数据与实际数据的双副本备份，能完全满足分布式文件***的容灾需求，并且做到元数据与数据的实时备份与切换时不影响业务，将分布式文件***的安全提升了一个层次，比较适用于有元数据服务器的分布式文件***。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式文件***，包括位于第一位置的主分布式子***和位于第二位置的备分布式子***；其中，所述主分布式子***包括主文件位置寄存器FLR、第一文件访问客户端FAC和主文件访问服务器FAS；所述备分布式子***包括备FLR、第二FAC和备FAS，其特征在于，所述主分布式子***包括第一休眠FLR和第一替补FAS，所述备分布式子***包括第二休眠FLR和第二替补FAS；
所述第一休眠FLR和所述第二休眠FLR均用于对所述主FLR或所述备FLR上的元数据进行备份；
所述第一替补FAS和所述第二替补FAS均用于在所述第一FAC或所述第二FAC接收到写数据操作指示时，与所述主FAS和所述备FAS同步对当前的实际数据进行写入操作。
2.根据权利要求1所述的分布式文件***，其特征在于，所述第一休眠FLR和所述第二休眠FLR均包括：休眠通信模块，用于在所述主FLR和所述备FLR正常时，通过心跳检测通信方式对所述主FLR或所述备FLR上的元数据进行备份。
3.根据权利要求1所述的分布式文件***，其特征在于，
所述备FLR包括：广播模块，用于确定所述主FLR重启后，向所述第一休眠FLR和所述第二休眠FLR广播主备切换消息；
所述第一休眠FLR和所述第二休眠FLR均包括：定时通信模块，用于接收到所述主备切换消息后，按照设定的周期定时与所述备FLR进行元数据同步。
4.根据权利要求1所述的分布式文件***，其特征在于，
所述备FLR包括：第一检测模块，用于检测所述主分布式子***是否发生灾难故障；通知模块，用于所述第一检测模块检测到的结果为是时，向所述第二休眠FLR发送倒换指令；
所述第二休眠FLR包括：重启模块，用于接收到所述倒换指令后，进行重启；实时同步模块，用于重启后，以备用状态实时与所述备FLR进行元数据同步。
5.根据权利要求4所述的分布式文件***，其特征在于，
所述备FLR包括：第二检测模块，用于检测所述主FLR是否恢复正常；通知模块，用于所述第二检测模块检测到的结果为是时，向所述第二休眠FLR发送回切指令；
所述第二休眠FLR包括：回切模块，用于接收到所述回切指令后，将当前的备用状态切换为休眠状态。
6.一种分布式文件***的数据备份方法，其特征在于，所述分布式文件***为权利要求1至5中任一项所述的分布式文件***，所述方法包括：
所述第一休眠FLR和所述第二休眠FLR对所述主FLR或所述备FLR上的元数据进行备份；
在所述第一FAC或所述第二FAC接收到写数据操作指示时，所述第一替补FAS、所述第二替补FAS、所述主FAS和所述备FAS同步对当前的实际数据进行写入操作。
7.根据权利要求6所述的方法，其特征在于，所述第一休眠FLR和所述第二休眠FLR对所述主FLR或所述备FLR上的元数据进行备份包括：所述第一休眠FLR和所述第二休眠FLR在所述主FLR和所述备FLR正常时，通过心跳检测通信方式对所述主FLR或所述备FLR上的元数据进行备份。
8.根据权利要求6所述的方法，其特征在于，所述第一休眠FLR和所述第二休眠FLR对所述主FLR或所述备FLR上的元数据进行备份包括：
所述备FLR确定所述主FLR重启后，向所述第一休眠FLR和所述第二休眠FLR广播主备切换消息；
所述第一休眠FLR和所述第二休眠FLR接收到所述主备切换消息后，按照设定的周期定时与所述备FLR进行元数据同步。
9.根据权利要求6所述的方法，其特征在于，所述第一休眠FLR和所述第二休眠FLR对所述主FLR或所述备FLR上的元数据进行备份包括：
所述备FLR检测所述主分布式子***是否发生灾难故障；如果是，向所述第二休眠FLR发送倒换指令；
所述第二休眠FLR接收到所述倒换指令后，进行重启；
所述第二休眠FLR重启后，以备用状态实时与所述备FLR进行元数据同步。
10.根据权利要求9所述的方法，其特征在于，所述第一休眠FLR和所述第二休眠FLR对所述主FLR或所述备FLR上的元数据进行备份包括：
所述备FLR检测所述主FLR是否恢复正常；如果是，向所述第二休眠FLR发送回切指令；
所述第二休眠FLR接收到所述回切指令后，将当前的备用状态切换为休眠状态，并通过心跳检测通信方式对所述主FLR或所述备FLR上的元数据进行备份。
CN201210376301.5A 2012-09-29 2012-09-29 分布式文件***和分布式文件***的数据备份方法 Active CN102890716B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201210376301.5A CN102890716B (zh) 2012-09-29 2012-09-29 分布式文件***和分布式文件***的数据备份方法
EP13841208.5A EP2902922B1 (en) 2012-09-29 2013-09-29 Distributed file system and data backup method for distributed file system
MX2015003987A MX352038B (es) 2012-09-29 2013-09-29 Sistema de archivos distribuido y método de copia de seguridad de datos de sistema de archivos distribuido.
PCT/CN2013/084645 WO2014048396A1 (zh) 2012-09-29 2013-09-29 分布式文件***和分布式文件***的数据备份方法
US14/432,357 US20150254271A1 (en) 2012-09-29 2013-09-29 Distributed File System and Data Backup Method for Distributed File System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210376301.5A CN102890716B (zh) 2012-09-29 2012-09-29 分布式文件***和分布式文件***的数据备份方法

Publications (2)

Publication Number Publication Date
CN102890716A CN102890716A (zh) 2013-01-23
CN102890716B true CN102890716B (zh) 2017-08-08

Family

ID=47534218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210376301.5A Active CN102890716B (zh) 2012-09-29 2012-09-29 分布式文件***和分布式文件***的数据备份方法

Country Status (5)

Country Link
US (1) US20150254271A1 (zh)
EP (1) EP2902922B1 (zh)
CN (1) CN102890716B (zh)
MX (1) MX352038B (zh)
WO (1) WO2014048396A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102890716B (zh) * 2012-09-29 2017-08-08 南京中兴新软件有限责任公司 分布式文件***和分布式文件***的数据备份方法
CN103812675A (zh) * 2012-11-08 2014-05-21 中兴通讯股份有限公司 一种实现业务交付平台异地容灾切换的方法和***
CN103577546B (zh) * 2013-10-12 2017-06-09 北京奇虎科技有限公司 一种数据备份的方法、设备及分布式集群文件***
CN104660643A (zh) * 2013-11-25 2015-05-27 南京中兴新软件有限责任公司 请求响应方法、装置及分布式文件***
CN105589887B (zh) * 2014-10-24 2020-04-03 中兴通讯股份有限公司 分布式文件***的数据处理方法及分布式文件***
CN105242988B (zh) * 2015-10-10 2018-02-02 国家电网公司 分布式文件***和分布式文件***的数据备份方法
CN108023746B (zh) * 2016-11-02 2020-01-17 杭州海康威视数字技术股份有限公司 一种视频数据处理方法、装置及***
CN108173971A (zh) * 2018-02-05 2018-06-15 江苏物联网研究发展中心 一种基于主备切换的MooseFS高可用方法及***
CN110609764B (zh) * 2018-06-15 2023-07-25 伊姆西Ip控股有限责任公司 用于数据备份的方法、设备和计算机程序产品
CN109857588A (zh) * 2018-12-11 2019-06-07 浪潮(北京)电子信息产业有限公司 基于多控存储***的精简卷元数据处理方法、装置及***
CN111581013A (zh) * 2020-03-18 2020-08-25 宁波送变电建设有限公司永耀科技分公司 基于元数据和影子文件的***信息备份与重构方法
CN112099990A (zh) * 2020-08-31 2020-12-18 新华三信息技术有限公司 一种容灾备份方法、装置、设备及机器可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101192960A (zh) * 2006-11-28 2008-06-04 中兴通讯股份有限公司 分布式体系中主备倒换检测和控制装置和方法
US7464125B1 (en) * 2002-04-15 2008-12-09 Ibrix Inc. Checking the validity of blocks and backup duplicates of blocks during block reads
CN101334797A (zh) * 2008-08-04 2008-12-31 中兴通讯股份有限公司 一种分布式文件***及其数据块一致性管理的方法
US7650341B1 (en) * 2005-12-23 2010-01-19 Hewlett-Packard Development Company, L.P. Data backup/recovery
CN101635638A (zh) * 2008-07-25 2010-01-27 中兴通讯股份有限公司 一种容灾***及其容灾方法
CN102024044A (zh) * 2010-12-08 2011-04-20 华为技术有限公司 分布式文件***
CN102122306A (zh) * 2011-03-28 2011-07-13 中国人民解放军国防科学技术大学 一种数据处理方法及应用该方法的分布式文件***

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7146524B2 (en) * 2001-08-03 2006-12-05 Isilon Systems, Inc. Systems and methods for providing a distributed file system incorporating a virtual hot spare
US20060212439A1 (en) * 2005-03-21 2006-09-21 Microsoft Corporation System and method of efficient data backup in a networking environment
US7882079B2 (en) * 2005-11-30 2011-02-01 Oracle International Corporation Database system configured for automatic failover with user-limited data loss
US8712966B1 (en) * 2007-08-09 2014-04-29 Emc Corporation Backup and recovery of distributed storage areas
CN101520805B (zh) * 2009-03-25 2011-05-11 中兴通讯股份有限公司 一种分布式文件***及其文件处理方法
US8818955B2 (en) * 2010-11-17 2014-08-26 International Business Machines Corporation Reducing storage costs associated with backing up a database
WO2013147785A1 (en) * 2012-03-29 2013-10-03 Hitachi Data Systems Corporation Highly available search index with storage node addition and removal
US8977672B2 (en) * 2012-06-08 2015-03-10 Commvault Systems, Inc. Intelligent scheduling for remote computers
CN102890716B (zh) * 2012-09-29 2017-08-08 南京中兴新软件有限责任公司 分布式文件***和分布式文件***的数据备份方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7464125B1 (en) * 2002-04-15 2008-12-09 Ibrix Inc. Checking the validity of blocks and backup duplicates of blocks during block reads
US7650341B1 (en) * 2005-12-23 2010-01-19 Hewlett-Packard Development Company, L.P. Data backup/recovery
CN101192960A (zh) * 2006-11-28 2008-06-04 中兴通讯股份有限公司 分布式体系中主备倒换检测和控制装置和方法
CN101635638A (zh) * 2008-07-25 2010-01-27 中兴通讯股份有限公司 一种容灾***及其容灾方法
CN101334797A (zh) * 2008-08-04 2008-12-31 中兴通讯股份有限公司 一种分布式文件***及其数据块一致性管理的方法
CN102024044A (zh) * 2010-12-08 2011-04-20 华为技术有限公司 分布式文件***
CN102122306A (zh) * 2011-03-28 2011-07-13 中国人民解放军国防科学技术大学 一种数据处理方法及应用该方法的分布式文件***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种舰载分布式构件***的容错机制;陈昀林等;《舰船电子工程》;20111231;第31卷(第5期);第1-4页 *

Also Published As

Publication number Publication date
CN102890716A (zh) 2013-01-23
WO2014048396A1 (zh) 2014-04-03
EP2902922A4 (en) 2015-09-23
MX2015003987A (es) 2016-03-21
MX352038B (es) 2017-11-07
US20150254271A1 (en) 2015-09-10
EP2902922A1 (en) 2015-08-05
EP2902922B1 (en) 2017-02-22

Similar Documents

Publication Publication Date Title
CN102890716B (zh) 分布式文件***和分布式文件***的数据备份方法
EP3620905B1 (en) Method and device for identifying osd sub-health, and data storage system
CN106062717B (zh) 一种分布式存储复制***和方法
US20200233762A1 (en) Method and Apparatus for Redundancy in Active-Active Cluster System
US20130238676A1 (en) Method, system, token conreoller and memory database for implementing distribute-type main memory database system
CN102891849B (zh) 业务数据同步方法、恢复方法及装置和网络设备
CN101383690B (zh) 一种基于socket的容错计算机***的网络同步方法
WO2017219857A1 (zh) 一种数据处理方法和设备
CN107241430A (zh) 一种基于分布式存储的企业级容灾***及容灾控制方法
CN106919473B (zh) 一种数据灾备***及业务处理方法
CN103840961A (zh) 双机热备份***
CN105955836A (zh) 一种冷热备份自动演练多功能***
CN103905220B (zh) 数据同步处理方法及***
EP4213038A1 (en) Data processing method and apparatus based on distributed storage, device, and medium
CN109597718A (zh) 一种容灾平台及一种容灾方法
CN115794499B (zh) 一种用于分布式块存储集群间双活复制数据的方法和***
CN114900532A (zh) 电力数据容灾方法、***、装置、计算机设备和存储介质
CN105824571A (zh) 一种实现数据无缝迁移的方法及装置
CN114090349A (zh) 一种基于主备集群服务器跨地区服务容灾方法及装置
WO2021115043A1 (zh) 分布式数据库***和数据灾备演练方法
WO2015196692A1 (zh) 一种云计算***以及云计算***的处理方法和装置
CN111813606A (zh) 一种双节点虚拟机容错的方法、***、设备及介质
CN107590032A (zh) 存储集群故障转移的方法及存储集群***
CN111831490B (zh) 一种冗余主备用节点之间内存同步方法及***
CN102833096A (zh) 一种低成本的高可用***实现方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant