CN102752093A - 基于分布式文件***的数据处理方法、设备和*** - Google Patents
基于分布式文件***的数据处理方法、设备和*** Download PDFInfo
- Publication number
- CN102752093A CN102752093A CN2012102268010A CN201210226801A CN102752093A CN 102752093 A CN102752093 A CN 102752093A CN 2012102268010 A CN2012102268010 A CN 2012102268010A CN 201210226801 A CN201210226801 A CN 201210226801A CN 102752093 A CN102752093 A CN 102752093A
- Authority
- CN
- China
- Prior art keywords
- controlled node
- main controlled
- subsequent use
- back end
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Hardware Redundancy (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种基于分布式文件***的数据处理方法、设备和***,其中,该方法包括:数据节点采用双主控节点工作模式与主用主控节点和备用主控节点同时进行通信交互的过程中监测主用主控节点和备用主控节点的工作状态,若确定主用主控节点出现故障且备用主控节点正常工作,则向备用主控节点发送单主控节点工作模式切换指令,以采用单主控节点工作模式继续与备用主控节点进行通信交互。通过本发明提供的基于分布式文件***的数据处理方法、设备和***,实现了数据节点与主备主控节点之间采用两种工作模式进行通信交互,解决了主用主控节点故障时导致***中断时间过长的问题,大大提高了***的有效性和稳定性。
Description
技术领域
本发明涉及通信技术领域,尤其涉及一种基于分布式文件***的数据处理方法、设备和***。
背景技术
分布式文件***(Hadoop Distributed File System,HDFS)是一个主从结构体系,包括一个主控节点和若干个数据节点,其中,数据节点主要执行来自主控节点的指示包括块的创建,删除,和复制,将文件块存储在本地文件***中,保存了文件块的元数据,同时周期性地将所有存在的文件块信息发送给主控节点。
由于HDFS中主控节点只有一个,因此,一旦主控节点发生故障,整个HDFS***将发生瘫痪,造成了单点瓶颈,影响整个***的可用性。因此,现有技术通过在HDFS***中配置一个备用主控节点,当原有的主控节点即主用主控节点出现故障后,通过将主用主控节点的文件导入到备用主控节点中,将备用主控节点作为新的主用主控节点与数据节点继续通信,从而保证HDFS***的正常工作。
但是,由于主用主控节点的文件量非常大,往备用主控节点导入数据的时间过长,从而导致主用主控节点与数据节点的交互需要中断很长时间,从而使整个HDFS***无法满足应用需求。
发明内容
针对现有技术的上述缺陷,本发明实施例提供一种基于分布式文件***的数据处理方法、设备和***。
本发明一方面提供一种基于分布式文件***的数据处理方法,包括:
数据节点采用双主控节点工作模式与主用主控节点和备用主控节点同时进行通信交互的过程中,监测所述主用主控节点和所述备用主控节点的工作状态,其中,所述通信交互包括:与所述主用主控节点进行信令交互,与所述主用主控节点和所述备用主控节点同时进行数据交互;
所述数据节点若确定所述主用主控节点出现故障且所述备用主控节点正常工作,则向所述备用主控节点发送单主控节点工作模式切换指令;
所述数据节点接收所述备用主控节点返回的第一确认响应,并采用单主控节点工作模式继续与所述备用主控节点进行所述信令交互和所述数据交互。
本发明另一方面提供一种基于分布式文件***的数据处理方法,包括:
备用主控节点采用双主控节点工作模式与数据节点进行通信交互的过程中,接收所述数据节点发送的单主控节点工作模式切换指令,其中,所述通信交互包括:所述数据节点与所述主用主控节点进行信令交互,与所述主用主控节点和所述备用主控节点同时进行数据交互,所述单主控节点工作模式切换指令是所述数据节点在所述通信交互过程中监测到所述主用主控节点出现故障且所述备用主控节点正常工作时所发送的;
所述备用主控节点向所述数据节点返回第一确认响应,以采用单主控节点工作模式继续与所述数据节点进行所述信令交互和所述数据交互。
本发明又一方面提供一种数据节点,包括:
第一监测模块,用于采用双主控节点工作模式与主用主控节点和备用主控节点同时进行通信交互的过程中,监测所述主用主控节点和所述备用主控节点的工作状态,其中,所述通信交互包括:与所述主用主控节点进行信令交互,与所述主用主控节点和所述备用主控节点同时进行数据交互;
切换模块,用于若确定所述主用主控节点出现故障且所述备用主控节点正常工作,则向所述备用主控节点发送单主控节点工作模式切换指令;
第一处理模块,用于接收所述备用主控节点返回的第一确认响应,并采用单主控节点工作模式继续与所述备用主控节点进行所述信令交互和所述数据交互。
本发明再一方面提供一种备用主控节点,包括:
接收模块,用于采用双主控节点工作模式与数据节点进行通信交互的过程中,接收所述数据节点发送的单主控节点工作模式切换指令,其中,所述通信交互包括:所述数据节点与所述主用主控节点进行信令交互,与所述主用主控节点和所述备用主控节点同时进行数据交互,所述单主控节点工作模式切换指令是所述数据节点在所述通信交互过程中监测到所述主用主控节点出现故障且所述备用主控节点正常工作时所发送的;
响应模块,用于向所述数据节点返回第一确认响应,以采用单主控节点工作模式继续与所述数据节点进行所述信令交互和所述数据交互。
本发明又一方面提供一种基于分布式文件***的数据处理***,包括:主用主控节点,还包括:上述的数据节点和备用主控节点。
本发明实施例提供的基于分布式文件***的数据处理方法、设备和***,通过数据节点采用双主控节点工作模式与主用主控节点和备用主控节点同时进行通信交互具体包括:与主用主控节点进行信令交互,与主用主控节点和备用主控节点同时进行数据交互,在该通信交互过程中若监测到主用主控节点出现故障且备用主控节点正常工作,则向备用主控节点发送单主控节点工作模式切换指令,以采用单主控节点工作模式继续与备用主控节点进行数据交互和信令交互,从而实现了数据节点与主备主控节点之间采用两种工作模式进行通信交互,解决了主用主控节点故障时导致***中断时间过长的问题,大大提高了***的有效性和稳定性。
附图说明
图1为本发明基于分布式文件***的数据处理方法一个实施例的流程图;
图2为本发明基于分布式文件***的数据处理方法另一实施例的流程图;
图3为本发明基于分布式文件***的数据处理方法又一实施例的流程图;
图4为本发明基于分布式文件***的数据处理方法再一实施例的流程图;
图5为本发明数据节点一个实施例的结构示意图;
图6为本发明数据节点另一实施例的结构示意图;
图7为本发明备用主控节点一个实施例的结构示意图;
图8为本发明备用主控节点另一实施例的结构示意图;
图9为本发明基于分布式文件***的数据处理***一个实施例的结构示意图。
具体实施方式
图1为本发明基于分布式文件***的数据处理方法一个实施例的流程图,如图1所示,该方法具体包括:
步骤100,数据节点采用双主控节点工作模式与主用主控节点和备用主控节点同时进行通信交互的过程中,监测所述主用主控节点和所述备用主控节点的工作状态,其中,所述通信交互包括:与所述主用主控节点进行信令交互,与所述主用主控节点和所述备用主控节点同时进行数据交互;
HDFS包括一个主用主控节点、一个备用主控节点和若干个数据节点,主用主控节点和备用主控节点中的初始文件相同,数据节点采用双主控节点工作模式与主用主控节点和备用主控节点同时进行通信交互,该通信交互具体包括:数据节点与主用主控节点进行通信交互中的信令交互,数据节点与主用主控节点和备用主控节点同时进行通信交互中的数据交互。具体地,通信交互中的信令交互包括:主用主控节点向数据节点发送信令指示包括:数据块的创建、删除和复制,从而数据节点根据主用主控节点下发的信令指示对本地文件块中的元数据进行相应的处理。通信交互中的数据交互包括:数据节点要周期性地扫描本地文件***,根据本地的文件产生一个所有HDFS数据块的文件信息,并将文件信息同时发送给主用主控节点和备用主控节点进行块报告,当数据节点接收到主用主控节点和备用主控节点返回的响应消息后,才确认完成了数据交互,从而保证了主用主控节点和备用主控节点中的数据信息同步。
数据节点采用双主控节点工作模式与主用主控节点和备用主控节点同时进行通信交互的过程中监测主用主控节点和备用主控节点的工作状态以确定主用主控节点和/或备用主控节点是否出现故障。数据节点对主用主控节点和备用主控节点的工作状态进行监测的方式很多,比如:数据节点在向主用主控节点和备用主控节点进行块报告后,判断是否能够在预设的时间段内接收到主用主控节点和/或备用主控节点返回的响应消息,若是,则主用主控节点和/或备用主控节点处于正常工作状态,否则,主用主控节点和/或备用主控节点出现故障。
步骤101,数据节点若确定所述主用主控节点出现故障且所述备用主控节点正常工作,则向所述备用主控节点发送单主控节点工作模式切换指令;
数据节点在监测主用主控节点和备用主控节点的工作状态的过程中,若确定主用主控节点出现故障且备用主控节点正常工作,则向备用主控节点发送单主控节点工作模式切换指令。
步骤102,数据节点接收备用主控节点返回的第一确认响应,并采用单主控节点工作模式继续与备用主控节点进行信令交互和数据交互。
当数据节点接收到备用主控节点返回的第一确认响应后,说明备用主控节点已经准备接替主用主控节点的功能继续与数据节点进行通信交互,从而数据节点将双主控节点工作模式切换到单主控节点工作模式,继续与备用主控节点进行通信交互,具体地,通信交互中的信令交互包括:备用主控节点向数据节点发送信令指示包括:数据块的创建、删除和复制,从而数据节点根据备用主控节点下发的信令指示对本地文件块中的元数据进行相应的处理。通信交互中的数据交互包括:数据节点要周期性地扫描本地文件***,根据本地的文件产生一个所有HDFS数据块的文件信息,并将文件信息发送给备用主控节点进行块报告,当数据节点接收到备用主控节点返回的响应消息后确认完成了数据交互。
本实施例提供的基于分布式文件***的数据处理方法,通过数据节点采用双主控节点工作模式与主用主控节点和备用主控节点同时进行通信交互具体包括:与主用主控节点进行信令交互,与主用主控节点和备用主控节点同时进行数据交互,在该通信交互过程中若监测到主用主控节点出现故障且备用主控节点正常工作,则向备用主控节点发送单主控节点工作模式切换指令,以采用单主控节点工作模式继续与备用主控节点进行数据交互和信令交互,从而实现了数据节点与主备主控节点之间采用两种工作模式进行通信交互,解决了主用主控节点故障时导致***中断时间过长的问题,大大提高了***的有效性和稳定性。
图2为本发明基于分布式文件***的数据处理方法另一实施例的流程图,如图2所示,该方法具体包括:
步骤200,数据节点采用双主控节点工作模式与主用主控节点和备用主控节点同时进行通信交互的过程中,向主用主控节点发送第一心跳信号,并向备用主控节点发送第二心跳信号以确定主用主控节点和/或备用主控节点是否出现故障,其中,通信交互包括:与主用主控节点进行信令交互,与主用主控节点和备用主控节点同时进行数据交互;
HDFS包括一个主用主控节点、一个备用主控节点和若干个数据节点,主用主控节点和备用主控节点中的初始文件相同,数据节点采用双主控节点工作模式与主用主控节点和备用主控节点同时进行通信交互,该通信交互具体包括:数据节点与主用主控节点进行通信交互中的信令交互,数据节点与主用主控节点和备用主控节点同时进行通信交互中的数据交互。具体地,通信交互中的信令交互包括:主用主控节点向数据节点发送信令指示包括:数据块的创建、删除和复制,从而数据节点根据主用主控节点下发的信令指示对本地文件块中的元数据进行相应的处理。通信交互中的数据交互包括:数据节点要周期性地扫描本地文件***,根据本地的文件产生一个所有HDFS数据块的文件信息,并将文件信息同时发送给主用主控节点和备用主控节点进行块报告,当数据节点接收到主用主控节点和备用主控节点返回的响应消息后,才确认完成了数据交互,从而保证了主用主控节点和备用主控节点中的数据信息同步。
数据节点采用双主控节点工作模式与主用主控节点和备用主控节点同时进行通信交互的过程中向主用主控节点发送第一心跳信号,并向备用主控节点发送第二心跳信号,判断是否能够接收到主用主控节点返回的第一心跳响应消息和/或备用主控节点返回的第二心跳响应消息,若是,则确定主用主控节点和/或备用主控节点处于正常工作状态,否则,确定主用主控节点和/或备用主控节点出现故障。
步骤201,数据节点若确定主用主控节点出现故障且备用主控节点正常工作,则向备用主控节点发送单主控节点工作模式切换指令;
数据节点在向主用主控节点发送第一心跳信号,并向备用主控节点发送第二心跳信号以监测主用主控节点和备用主控节点工作状态的过程中,若确定主用主控节点出现故障且备用主控节点正常工作,则向备用主控节点发送单主控节点工作模式切换指令。
步骤202,数据节点接收备用主控节点返回的第一确认响应,并采用单主控节点工作模式继续与备用主控节点进行信令交互和数据交互;
当数据节点接收到备用主控节点返回的第一确认响应后,说明备用主控节点已经准备接替主用主控节点的功能继续与数据节点进行通信交互,从而数据节点将双主控节点工作模式切换到单主控节点工作模式,继续与备用主控节点进行通信交互,具体地,通信交互中的信令交互包括:备用主控节点向数据节点发送信令指示包括:数据块的创建、删除和复制,从而数据节点根据备用主控节点下发的信令指示对本地文件块中的元数据进行相应的处理。通信交互中的数据交互包括:数据节点要周期性地扫描本地文件***,根据本地的文件产生一个所有HDFS数据块的文件信息,并将文件信息发送给备用主控节点进行块报告,当数据节点接收到备用主控节点返回的响应消息后确认完成了数据交互。
步骤203,数据节点接收备用主控节点发送的故障恢复消息,并向主用主控节点和备用主控节点发送双主控节点工作模式切换指令,其中,故障恢复消息是备用主控节点向数据节点返回第一确认响应后对主用主控节点进行监测,若确定主用主控节点能够正常工作,则根据本地当前存储的数据对主用主控节点进行数据同步处理后所发送的;
在备用主控节点向数据节点返回第一确认响应之后,备用主控节点监测主用主控节点的工作状态,比如可以通过向主用主控节点发送心跳响应进行监测,若接收到主用主控节点返回的心跳响应消息,则确定主用主控节点能够正常工作。然后备用主控节点根据本地当前存储的数据对主用主控节点进行数据同步处理,具体为将本地当前存储的数据导入到主用主控节点中,当数据同步处理完成后向数据节点发送故障恢复消息,从而数据节点在接收到备用主控节点发送的故障恢复消息后,确定主用主控节点的通信功能已经恢复,则向主用主控节点和备用主控节点发送双主控节点工作模式切换指令。
步骤204,数据节点接收主用主控节点和备用主控节点返回的第二确认响应,并采用双主控节点工作模式继续与主用主控节点和备用主控节点同时进行通信交互。
当主用主控节点和备用主控节点接收到数据节点发送的双主控节点工作模式切换指令后,主用主控节点重新启动与数据节点之间采用双主控节点工作模式进行通信交互的功能,并向数据节点返回第二确认响应,备用主控节点停止之前接替主用主控节点与数据节点进行通信交互的功能,切换到与数据节点之间采用双主控节点工作模式进行通信交互的功能,并向数据节点返回第二确认响应,从而当数据节点确定接收到主用主控节点和备用主控节点返回的第二确认响应后,采用双主控节点工作模式继续与主用主控节点和备用主控节点同时进行通信交互,具体的通信交互过程将步骤200,此处不再赘述。
本实施例提供的基于分布式文件***的数据处理方法,通过数据节点采用双主控节点工作模式与主备主控节点同时进行的通信交互具体包括:与主用主控节点进行信令交互,与主备主控节点同时进行数据交互,在该通信交互过程中若监测到主用主控节点出现故障且备用主控节点正常工作,则向备用主控节点发送单主控节点工作模式切换指令,以采用单主控节点工作模式继续与备用主控节点进行数据交互和信令交互,当主用主控节点且备用主控节点对其进行数据同步后,数据节点重新采用双主控节点工作模式继续与主备主控节点进行通信交互,从而实现了数据节点与主备主控节点之间采用两种工作模式进行通信交互,解决了主用主控节点故障时导致***中断时间过长的问题,大大提高了***的有效性和稳定性。
图3为本发明基于分布式文件***的数据处理方法又一实施例的流程图,如图3所示,该方法具体包括:
步骤300,备用主控节点采用双主控节点工作模式与数据节点进行通信交互的过程中,接收数据节点发送的单主控节点工作模式切换指令,其中,通信交互包括:数据节点与主用主控节点进行信令交互,与主用主控节点和备用主控节点同时进行数据交互,单主控节点工作模式切换指令是数据节点在通信交互过程中监测到主用主控节点出现故障且备用主控节点正常工作时所发送的;
步骤301,备用主控节点向数据节点返回第一确认响应,以采用单主控节点工作模式继续与数据节点进行信令交互和数据交互。
本实施例提供的基于分布式文件***的数据处理方法中的具体实施处理流程,可以参见上述图1所示的方法实施例,其实现原理和技术效果类似,此处不再赘述。
图4为本发明基于分布式文件***的数据处理方法再一实施例的流程图,如图4所示,该方法具体包括:
步骤400,备用主控节点采用双主控节点工作模式与数据节点进行通信交互的过程中,接收数据节点发送的单主控节点工作模式切换指令,其中,通信交互包括:数据节点与主用主控节点进行信令交互,与主用主控节点和备用主控节点同时进行数据交互,单主控节点工作模式切换指令是数据节点在通信交互过程中监测到主用主控节点出现故障且备用主控节点正常工作时所发送的;
步骤401,备用主控节点向数据节点返回第一确认响应,以采用单主控节点工作模式继续与数据节点进行信令交互和数据交互;
步骤402,备用主控节点监测主用主控节点的工作状态;
步骤403,备用主控节点若确定主用主控节点能够正常工作,则根据本地当前存储的数据对主用主控节点进行数据同步处理,并向数据节点发送故障恢复消息;
步骤404,备用主控节点接收数据节点发送的双主控节点工作模式切换指令,并向数据节点返回第二确认响应,以采用双主控节点工作模式继续与数据节点进行通信交互。
本实施例提供的基于分布式文件***的数据处理方法中的具体实施处理流程,可以参见上述图2所示的方法实施例,其实现原理和技术效果类似,此处不再赘述。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图5为本发明数据节点一个实施例的结构示意图,如图5所示,该数据节点包括:第一监测模块11、切换模块12和第一处理模块13,其中,第一监测模块11用于采用双主控节点工作模式与主用主控节点和备用主控节点同时进行通信交互的过程中,监测主用主控节点和备用主控节点的工作状态,其中,通信交互包括:与主用主控节点进行信令交互,与主用主控节点和备用主控节点同时进行数据交互;切换模块12用于若确定主用主控节点出现故障且备用主控节点正常工作,则向备用主控节点发送单主控节点工作模式切换指令;第一处理模块13用于接收备用主控节点返回的第一确认响应,并采用单主控节点工作模式继续与备用主控节点进行信令交互和数据交互。
本实施例提供的数据节点中各模块的功能和处理流程,可以参见上述图1所示的方法实施例,其实现原理和技术效果类似,此处不再赘述。
图6为本发明数据节点另一实施例的结构示意图,如图6所示,基于图5所示实施例,该数据节点还包括:第二处理模块14;其中,切换模块12还用于在采用单主控节点工作模式继续与所述备用主控节点进行信令交互和数据交互之后,接收备用主控节点发送的故障恢复消息,并向主用主控节点和备用主控节点发送双主控节点工作模式切换指令,其中,故障恢复消息是备用主控节点向数据节点返回所述第一确认响应后对主用主控节点进行监测,若确定主用主控节点能够正常工作,则根据本地当前存储的数据对主用主控节点进行数据同步处理后所发送的;第二处理模块14用于接收主用主控节点和备用主控节点返回的第二确认响应,并采用双主控节点工作模式继续与主用主控节点和备用主控节点同时进行通信交互。
本实施例提供的数据节点中各模块的功能和处理流程,可以参见上述图2所示的方法实施例,其实现原理和技术效果类似,此处不再赘述。
图7为本发明备用主控节点一个实施例的结构示意图,如图7所示,该备用主控节点包括:接收模块21和响应模块22,其中,接收模块21用于采用双主控节点工作模式与数据节点进行通信交互的过程中,接收数据节点发送的单主控节点工作模式切换指令,其中,通信交互包括:数据节点与主用主控节点进行信令交互,与主用主控节点和备用主控节点同时进行数据交互,单主控节点工作模式切换指令是数据节点在通信交互过程中监测到主用主控节点出现故障且备用主控节点正常工作时所发送的;响应模块22用于向数据节点返回第一确认响应,以采用单主控节点工作模式继续与数据节点进行信令交互和数据交互。
本实施例提供的备用主控节点中各模块的功能和处理流程,可以参见上述图3所示的方法实施例,其实现原理和技术效果类似,此处不再赘述。
图8为本发明备用主控节点另一实施例的结构示意图,如图8所示,基于图7所示实施例,该备用主控节点还包括:第二监测模块23和第三处理模块24,其中,第二监测模块23用于在向数据节点返回第一确认响应之后,监测主用主控节点的工作状态;第三处理模块24用于若确定主用主控节点能够正常工作,则根据本地当前存储的数据对主用主控节点进行数据同步处理,并向数据节点发送故障恢复消息;接收模块21还用于接收数据节点发送的双主控节点工作模式切换指令;响应模块22还用于向数据节点返回第二确认响应,以采用双主控节点工作模式继续与数据节点进行通信交互。
本实施例提供的备用主控节点中各模块的功能和处理流程,可以参见上述图4所示的方法实施例,其实现原理和技术效果类似,此处不再赘述。
图9为本发明基于分布式文件***的数据处理***一个实施例的结构示意图,如图9所示,该***包括:主用主控节点1、备用主控节点2和数据节点3,其中,备用主控节点2和数据节点3可以采用本发明实施例所提供的备用主控节点和数据节点,主用主控节点1为本发明实施例所涉及的主用主控节点。
本实施例提供的基于分布式文件***的数据处理***中各模块的功能和处理流程,可以参见上述所示的方法实施例,其实现原理和技术效果类似,此处不再赘述。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于分布式文件***的数据处理方法,其特征在于,包括:
数据节点采用双主控节点工作模式与主用主控节点和备用主控节点同时进行通信交互的过程中,监测所述主用主控节点和所述备用主控节点的工作状态,其中,所述通信交互包括:与所述主用主控节点进行信令交互,与所述主用主控节点和所述备用主控节点同时进行数据交互;
所述数据节点若确定所述主用主控节点出现故障且所述备用主控节点正常工作,则向所述备用主控节点发送单主控节点工作模式切换指令;
所述数据节点接收所述备用主控节点返回的第一确认响应,并采用单主控节点工作模式继续与所述备用主控节点进行所述信令交互和所述数据交互。
2.根据权利要求1所述的基于分布式文件***的数据处理方法,其特征在于,在所述采用单主控节点工作模式继续与所述备用主控节点进行所述信令交互和所述数据交互之后,所述方法还包括:
所述数据节点接收所述备用主控节点发送的故障恢复消息,并向所述主用主控节点和所述备用主控节点发送双主控节点工作模式切换指令,其中,所述故障恢复消息是所述备用主控节点向所述数据节点返回所述第一确认响应后对所述主用主控节点进行监测,若确定所述主用主控节点能够正常工作,则根据本地当前存储的数据对所述主用主控节点进行数据同步处理后所发送的;
所述数据节点接收所述主用主控节点和所述备用主控节点返回的第二确认响应,并采用所述双主控节点工作模式继续与所述主用主控节点和所述备用主控节点同时进行所述通信交互。
3.根据权利要求1或2所述的基于分布式文件***的数据处理方法,其特征在于,所述监测所述主用主控节点和所述备用主控节点的工作状态包括:
所述数据节点向所述主用主控节点发送第一心跳信号,并向所述备用主控节点发送第二心跳信号以确定所述主用主控节点和/或所述备用主控节点是否出现故障。
4.一种基于分布式文件***的数据处理方法,其特征在于,包括:
备用主控节点采用双主控节点工作模式与数据节点进行通信交互的过程中,接收所述数据节点发送的单主控节点工作模式切换指令,其中,所述通信交互包括:所述数据节点与所述主用主控节点进行信令交互,与所述主用主控节点和所述备用主控节点同时进行数据交互,所述单主控节点工作模式切换指令是所述数据节点在所述通信交互过程中监测到所述主用主控节点出现故障且所述备用主控节点正常工作时所发送的;
所述备用主控节点向所述数据节点返回第一确认响应,以采用单主控节点工作模式继续与所述数据节点进行所述信令交互和所述数据交互。
5.根据权利要求4所述的基于分布式文件***的数据处理方法,其特征在于,在所述备用主控节点向所述数据节点返回第一确认响应之后,所述方法还包括:
所述备用主控节点监测所述主用主控节点的工作状态;
所述备用主控节点若确定所述主用主控节点能够正常工作,则根据本地当前存储的数据对所述主用主控节点进行数据同步处理,并向所述数据节点发送故障恢复消息;
所述备用主控节点接收所述数据节点发送的双主控节点工作模式切换指令,并向所述数据节点返回第二确认响应,以采用所述双主控节点工作模式继续与所述数据节点进行所述通信交互。
6.一种数据节点,其特征在于,包括:
第一监测模块,用于采用双主控节点工作模式与主用主控节点和备用主控节点同时进行通信交互的过程中,监测所述主用主控节点和所述备用主控节点的工作状态,其中,所述通信交互包括:与所述主用主控节点进行信令交互,与所述主用主控节点和所述备用主控节点同时进行数据交互;
切换模块,用于若确定所述主用主控节点出现故障且所述备用主控节点正常工作,则向所述备用主控节点发送单主控节点工作模式切换指令;
第一处理模块,用于接收所述备用主控节点返回的第一确认响应,并采用单主控节点工作模式继续与所述备用主控节点进行所述信令交互和所述数据交互。
7.根据权利要求6所述的数据节点,其特征在于,还包括:第二处理模块;
所述切换模块,还用于在采用单主控节点工作模式继续与所述备用主控节点进行所述信令交互和所述数据交互之后,接收所述备用主控节点发送的故障恢复消息,并向所述主用主控节点和所述备用主控节点发送双主控节点工作模式切换指令,其中,所述故障恢复消息是所述备用主控节点向所述数据节点返回所述第一确认响应后对所述主用主控节点进行监测,若确定所述主用主控节点能够正常工作,则根据本地当前存储的数据对所述主用主控节点进行数据同步处理后所发送的;
第二处理模块,用于接收所述主用主控节点和所述备用主控节点返回的第二确认响应,并采用所述双主控节点工作模式继续与所述主用主控节点和所述备用主控节点同时进行所述通信交互。
8.一种备用主控节点,其特征在于,包括:
接收模块,用于采用双主控节点工作模式与数据节点进行通信交互的过程中,接收所述数据节点发送的单主控节点工作模式切换指令,其中,所述通信交互包括:所述数据节点与所述主用主控节点进行信令交互,与所述主用主控节点和所述备用主控节点同时进行数据交互,所述单主控节点工作模式切换指令是所述数据节点在所述通信交互过程中监测到所述主用主控节点出现故障且所述备用主控节点正常工作时所发送的;
响应模块,用于向所述数据节点返回第一确认响应,以采用单主控节点工作模式继续与所述数据节点进行所述信令交互和所述数据交互。
9.根据权利要求8所述的备用主控节点,其特征在于,还包括:
第二监测模块,用于在向所述数据节点返回第一确认响应之后,监测所述主用主控节点的工作状态;
第三处理模块,用于若确定所述主用主控节点能够正常工作,则根据本地当前存储的数据对所述主用主控节点进行数据同步处理,并向所述数据节点发送故障恢复消息;
所述接收模块,还用于接收所述数据节点发送的双主控节点工作模式切换指令;
所述响应模块,还用于向所述数据节点返回第二确认响应,以采用所述双主控节点工作模式继续与所述数据节点进行所述通信交互。
10.一种基于分布式文件***的数据处理***,包括:主用主控节点,其特征在于,还包括:如权利要求6或7所述的数据节点,以及如权利要求8或9所述的备用主控节点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210226801.0A CN102752093B (zh) | 2012-06-29 | 2012-06-29 | 基于分布式文件***的数据处理方法、设备和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210226801.0A CN102752093B (zh) | 2012-06-29 | 2012-06-29 | 基于分布式文件***的数据处理方法、设备和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102752093A true CN102752093A (zh) | 2012-10-24 |
CN102752093B CN102752093B (zh) | 2016-02-10 |
Family
ID=47032012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210226801.0A Active CN102752093B (zh) | 2012-06-29 | 2012-06-29 | 基于分布式文件***的数据处理方法、设备和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102752093B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103019889A (zh) * | 2012-12-21 | 2013-04-03 | 曙光信息产业(北京)有限公司 | 分布式文件***及其故障处理方法 |
CN103036744A (zh) * | 2012-12-19 | 2013-04-10 | 北京搜房网络技术有限公司 | 一种监控多机分布式复制块设备的方法及装置 |
CN103491192A (zh) * | 2013-09-30 | 2014-01-01 | 北京搜狐新媒体信息技术有限公司 | 一种分布式***的Namenode切换方法和*** |
CN103944974A (zh) * | 2014-04-02 | 2014-07-23 | 华为技术有限公司 | 一种协议报文处理方法、控制器故障处理方法及相关设备 |
CN104506364A (zh) * | 2014-12-29 | 2015-04-08 | 迈普通信技术股份有限公司 | 一种主从备份切换方法、主控卡及网络设备 |
CN105338078A (zh) * | 2015-10-26 | 2016-02-17 | 北京百度网讯科技有限公司 | 用于存储***的数据存储方法和装置 |
WO2016127580A1 (zh) * | 2015-02-10 | 2016-08-18 | 华为技术有限公司 | 处理至少一个分布式集群中的故障的方法、设备和*** |
CN106301823A (zh) * | 2015-05-19 | 2017-01-04 | 中兴通讯股份有限公司 | 一种关键组件的故障告警方法、装置及大数据管理*** |
CN106685676A (zh) * | 2015-11-06 | 2017-05-17 | ***通信集团浙江有限公司 | 一种节点切换方法及装置 |
CN106789155A (zh) * | 2016-11-16 | 2017-05-31 | 深圳市中博睿存科技有限公司 | 元数据仲裁服务器、控制方法和通讯*** |
CN109167690A (zh) * | 2018-09-25 | 2019-01-08 | 郑州云海信息技术有限公司 | 一种分布式***中节点服务的恢复方法、装置及相关设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101562543A (zh) * | 2009-05-25 | 2009-10-21 | 阿里巴巴集团控股有限公司 | 一种缓存数据的处理方法、处理***和装置 |
CN101656624A (zh) * | 2008-08-18 | 2010-02-24 | 中兴通讯股份有限公司 | 一种多节点应用级容灾***及容灾方法 |
CN101777951A (zh) * | 2009-12-30 | 2010-07-14 | 中兴通讯股份有限公司 | 一种数据监测的方法和*** |
CN102346779A (zh) * | 2011-10-18 | 2012-02-08 | 中国联合网络通信集团有限公司 | 分布式文件***和主控节点的备份方法 |
-
2012
- 2012-06-29 CN CN201210226801.0A patent/CN102752093B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101656624A (zh) * | 2008-08-18 | 2010-02-24 | 中兴通讯股份有限公司 | 一种多节点应用级容灾***及容灾方法 |
CN101562543A (zh) * | 2009-05-25 | 2009-10-21 | 阿里巴巴集团控股有限公司 | 一种缓存数据的处理方法、处理***和装置 |
CN101777951A (zh) * | 2009-12-30 | 2010-07-14 | 中兴通讯股份有限公司 | 一种数据监测的方法和*** |
CN102346779A (zh) * | 2011-10-18 | 2012-02-08 | 中国联合网络通信集团有限公司 | 分布式文件***和主控节点的备份方法 |
Non-Patent Citations (1)
Title |
---|
刘国秀等: "双主控网络设备冗余备份的研究与应用", 《铁路计算机应用》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103036744A (zh) * | 2012-12-19 | 2013-04-10 | 北京搜房网络技术有限公司 | 一种监控多机分布式复制块设备的方法及装置 |
CN103036744B (zh) * | 2012-12-19 | 2016-01-20 | 北京搜房网络技术有限公司 | 一种监控多机分布式复制块设备的方法及装置 |
CN103019889A (zh) * | 2012-12-21 | 2013-04-03 | 曙光信息产业(北京)有限公司 | 分布式文件***及其故障处理方法 |
CN103491192B (zh) * | 2013-09-30 | 2016-08-17 | 北京搜狐新媒体信息技术有限公司 | 一种分布式***的Namenode切换方法和*** |
CN103491192A (zh) * | 2013-09-30 | 2014-01-01 | 北京搜狐新媒体信息技术有限公司 | 一种分布式***的Namenode切换方法和*** |
CN103944974A (zh) * | 2014-04-02 | 2014-07-23 | 华为技术有限公司 | 一种协议报文处理方法、控制器故障处理方法及相关设备 |
CN103944974B (zh) * | 2014-04-02 | 2017-10-17 | 华为技术有限公司 | 一种协议报文处理方法、控制器故障处理方法及相关设备 |
CN104506364A (zh) * | 2014-12-29 | 2015-04-08 | 迈普通信技术股份有限公司 | 一种主从备份切换方法、主控卡及网络设备 |
WO2016127580A1 (zh) * | 2015-02-10 | 2016-08-18 | 华为技术有限公司 | 处理至少一个分布式集群中的故障的方法、设备和*** |
US10560315B2 (en) | 2015-02-10 | 2020-02-11 | Huawei Technologies Co., Ltd. | Method and device for processing failure in at least one distributed cluster, and system |
CN106301823A (zh) * | 2015-05-19 | 2017-01-04 | 中兴通讯股份有限公司 | 一种关键组件的故障告警方法、装置及大数据管理*** |
CN105338078A (zh) * | 2015-10-26 | 2016-02-17 | 北京百度网讯科技有限公司 | 用于存储***的数据存储方法和装置 |
CN105338078B (zh) * | 2015-10-26 | 2019-01-01 | 北京百度网讯科技有限公司 | 用于存储***的数据存储方法和装置 |
CN106685676A (zh) * | 2015-11-06 | 2017-05-17 | ***通信集团浙江有限公司 | 一种节点切换方法及装置 |
CN106685676B (zh) * | 2015-11-06 | 2020-02-11 | ***通信集团浙江有限公司 | 一种节点切换方法及装置 |
CN106789155A (zh) * | 2016-11-16 | 2017-05-31 | 深圳市中博睿存科技有限公司 | 元数据仲裁服务器、控制方法和通讯*** |
CN109167690A (zh) * | 2018-09-25 | 2019-01-08 | 郑州云海信息技术有限公司 | 一种分布式***中节点服务的恢复方法、装置及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN102752093B (zh) | 2016-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102752093A (zh) | 基于分布式文件***的数据处理方法、设备和*** | |
CN202798798U (zh) | 基于云计算技术的高可用*** | |
CN101394306B (zh) | 一种双服务器***的无缝切换方法 | |
EP2902922B1 (en) | Distributed file system and data backup method for distributed file system | |
CN101741536B (zh) | 数据级容灾方法、***和生产中心节点 | |
US20140089259A1 (en) | Operation method and apparatus for data storage system | |
CN101079759B (zh) | 分布式双向转发检测方法及设备 | |
CN102467508A (zh) | 提供数据库服务的方法及数据库*** | |
CN102346779B (zh) | 分布式文件***和主控节点的备份方法 | |
WO2018023994A1 (zh) | 一种容灾切换的方法、节点及*** | |
CN106357787A (zh) | 一种存储容灾控制*** | |
CN105159795A (zh) | 数据同步方法、装置和*** | |
CN1180569C (zh) | 一种设置备份归属位置寄存器的方法 | |
CN101110776B (zh) | 数据业务的备份方法、备份装置与备份*** | |
CN104679604A (zh) | 一种主节点和备节点切换的方法和装置 | |
CN104468521A (zh) | 在线迁移方法、装置和*** | |
CN104469310A (zh) | 录像数据的网络存储方法和***、视频监控平台 | |
CN102968360B (zh) | 具有n+1冗余功能的存储***及方法 | |
CN103036719A (zh) | 一种基于主备集群服务器的跨地区服务容灾方法及装置 | |
CN102025562A (zh) | 一种路径检测方法及装置 | |
CN103886091A (zh) | 一种基于记录标记的数据库同步方法 | |
CN102244600A (zh) | 一种rrpp环网中链路故障检测及处理方法、装置 | |
CN103605616A (zh) | 一种多控制器间的缓存数据一致性保障方法 | |
CN106855869B (zh) | 一种实现数据库高可用的方法、装置和*** | |
CN102487332B (zh) | 故障处理方法、装置和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |