CN109344202B - 一种数据同步方法及管理节点 - Google Patents

Abstract

本申请实施例提供一种数据同步方法及管理节点。其中，方法应用于大数据管理***中的管理节点，管理节点包括主用管理节点和备用管理节点，方法包括：主用管理节点定期向动态主机配置协议DHCP服务器发送主用管理节点对应的第一postgres数据库的属性信息；备用管理节点定期向DHCP服务器请求第一postgres数据库的属性信息；备用管理节点确定获取的第一postgres数据库的属性信息与自身对应的第二postgres数据库的属性信息不同时，将第一postgres数据库的数据同步到所述第二postgres数据库。如此，可提高大数据集成管理平台的运行可靠性。

Description

一种数据同步方法及管理节点

技术领域

本申请实施例涉及数据处理技术领域，具体而言，涉及一种数据同步方法及管理节点。

背景技术

现有的大数据集成管理平台中包括三类节点：管理节点、控制节点和数据节点。

其中，管理节点上部署有集群的管理***(Manager)，Manager提供统一的访问入口，对集群中的各类节点及服务进行集中管理。为了实现大数据集群的管理平面的高可用性，可以开启ManagerHA服务，此时，会在大数据集群中的另一个节点上启动备用的Manager，通过主用管理节点(MasterManager)与备用管理节点(StandbyManager)之间的互相备份，可以防止发生管理节点的单点故障。当主用管理节点出现故障无法访问时，会自动激活备用管理节点，以保证服务的正常进行。

当大数据集群中主用管理节点和备用管理节点出现一次切换后，如果当下的主用管理节点再次出现故障，那么，会因为备用管理节点的Postgres数据库没有及时和主用管理节点的Postgres数据库同步的原因，导致第二次主备切换失败，最终导致服务无法正常运行。

发明内容

有鉴于此，本申请的目的在于提供一种数据同步方法及管理节点，以实现数据自动同步。

第一方面，本申请实施例提供了一种数据同步方法，应用于大数据管理***中的管理节点，所述管理节点包括主用管理节点和备用管理节点，所述方法包括：

所述主用管理节点定期向动态主机配置协议DHCP服务器发送所述主用管理节点对应的第一postgres数据库的属性信息；

所述备用管理节点定期向所述DHCP服务器请求所述第一postgres数据库的属性信息；

所述备用管理节点确定获取的所述第一postgres数据库的属性信息与自身对应的第二postgres数据库的属性信息不同时，将所述第一postgres数据库的数据同步到所述第二postgres数据库。

第二方面，本申请实施例中提供了一种管理节点，包括：主用管理节点和备用管理节点；

所述主用管理节点用于：定期向DHCP服务器发送所述主用管理节点对应的第一postgres数据库的属性信息；

所述备用管理节点用于：定期向所述DHCP服务器请求所述第一postgres数据库的属性信息；

确定获取的所述第一postgres数据库的属性信息与自身对应的第二postgres数据库的属性信息不同时，将所述第一postgres数据库的数据同步到所述第二postgres数据库。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。

相对于现有技术而言，本申请实施例具有以下有益效果：主用管理节点在运行中定期向DHCP服务器发送该主用管理节点对应的第一postgres数据库的属性信息，备用管理节点定期向DHCP服务器请求获取主用管理节点对应的第一postgres数据库的属性信息，并且备用管理节点在确定获取的第一postgres数据库的属性信息与自身对应的第二postgres数据库的属性信息不同时，将第一postgres数据库的数据同步到第二postgres数据库。进而，本申请中主用管理节点和备用管理节点分别对应的数据库的中的数据可以保持同步状态，在主用管理节点发生异常以后，备用管理节点可以顺利切换成为当下的主用管理节点，切换完成之后的主用管理节点也会定期向DHCP服务器发送其对应的第一postgres数据库的属性信息，当下的备用管理节点会定期向DHCP服务器请求当下主用管理节点对应的第一postgres数据库的属性信息，并在确定其自身的第二postgres数据库的属性信息与第一postgres数据库的属性信息不同时，则进行数据同步；因而即使在当下主用管理节点再次出现故障时，由于当前备用管理节点与当前主用管理节点的数据库的数据同步，也可以顺利地进行第二次主备切换，保障了服务的正常运行；具有可靠性高的积极效果，并且能够提高用户体验。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请实施例的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的数据同步方法的流程示意图；

图2为本申请实施例提供的数据同步过程中报文传输的示意图；

图3为本申请实施例提供的一种管理节点的结构示意图；

图4为本申请实施例提供的计算机设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

图1示出了本申请实施例提供的一种数据同步方法的流程示意图。该方法应用于大数据管理***中的管理节点，该管理节点包括主用管理节点和备用管理节点；该主用管理节点和备用管理节点分别对应一个postgres数据库，分别为：第一postgres数据库和第二postgres数据库；参照图1所示，该方法包括如下步骤：

步骤101、所述主用管理节点定期向动态主机配置协议DHCP服务器发送所述主用管理节点对应的第一postgres数据库的属性信息。

本申请实施例中，主用管理节点在正常运行过程中，定期将其对应的第一postgres数据库的属性信息发送至DHCP(Dynamic Host Configuration Protocol，动态主机配置协议)服务器。该DHCP服务器接收主用管理节点发送的第一postgres数据库的属性信息以后进行存储。

步骤102、所述备用管理节点定期向所述DHCP服务器请求所述第一postgres数据库的属性信息。

本申请实施例中，备用管理节点定期向DHCP服务器发送请求，以获取上述主用管理节点对应的第一postgres数据库的属性信息。

步骤103、所述备用管理节点确定获取的所述第一postgres数据库的属性信息与自身对应的第二postgres数据库的属性信息不同时，将所述第一postgres数据库的数据同步到所述第二postgres数据库。

备用管理节点从DHCP服务器获取主用管理节点对应的第一postgres数据库的属性信息以后，将该第一postgres数据库的属性信息与自身对应的第二postgres数据库的属性信息进行比较，当该第一postgres数据库的属性信息与自身对应的第二postgres数据库的属性信息不同时，将第一postgres数据库的数据同步到自身的第二postgres数据库。

上述将第一postgres数据库的数据同步到自身的第二postgres数据库，可以是采用Pacemaker托管等现有技术中的方式实现。

上述的数据库的属性信息，至少包括：数据库数据大小信息和元数据信息；也可以还包括数据库最近一次更新的时间信息等。

进而，上述备用管理节点将主用管理节点对应的第一postgres数据库的数据大小和元数据信息与自身对应的第二postgres数据库的数据大小和元数据信息进行比较，在确定出现以下任一种情况时：第一postgres数据库的数据大小与第二postgres数据库的数据大小不同；第一postgres数据库的元数据信息与第二postgres数据库的元数据信息；第一postgres数据库的数据大小和元数据信息与第二postgres数据库的数据大小和元数据信息均不同；将第一postgres数据库的数据同步到第二postgres数据库。

本申请实施例中，主用管理节点在运行过程中会定期向DHCP服务器发送该主用管理节点对应的第一postgres数据库的属性信息，DHCP服务器接收并存储该第一postgres数据库的属性信息；备用管理节点定期向DHCP服务器请求获取主用管理节点对应的第一postgres数据库的属性信息，DHCP服务器将第一postgres数据库的属性信息发送至备用管理节点，备用管理节点在确定获取的第一postgres数据库的属性信息与自身对应的第二postgres数据库的属性信息不同时，将第一postgres数据库的数据同步到第二postgres数据库。进而，本申请中主用管理节点和备用管理节点对应的数据库中的数据可以保持同步状态，在主用管理节点发生异常以后，备用管理节点可以顺利切换成为当下的主用管理节点。切换完成之后的当下的主用管理节点和备用管理节也会按照上述的方法进行数据同步，因而，即使在当下主用管理节点再次出现故障时，也可以顺利地进行第二次主备切换，保障了服务的正常运行；提高了大数据集成管理平台的运行可靠性，并且提高了用户体验。

本申请一实施例中，上述步骤101中，所述主用管理节点定期向动态主机配置协议DHCP服务器发送所述主用管理节点对应的第一postgres数据库的属性信息，包括如下步骤A10：

步骤A10、所述主用管理节点定期检测所述第一postgres数据库中的数据是否发生更新，在检测到发生更新后，向所述DHCP服务器发送所述主用管理节点对应的第一postgres数据库的属性信息。

进而，本申请实施例中，主用管理节点会定期检测该主用管理节点所对应的第一postgres数据库中的数据是否发生更新，比如，是否发生数据增加、删除等操作，当检测到数据发生更新后，向DHCP服务器发送主用管理节点对应的第一postgres数据库的属性信息。如此，可以避免在第一postgres数据库中的数据未发生更新的状态下，将第一postgres数据库的属性信息重复上报至DHCP服务器的情况。

图2为本申请实施例提供的一种数据同步过程中报文传输的示意图。参照图2所示，本申请实施例中，上述步骤102，所述备用管理节点定期向所述DHCP服务器请求所述第一postgres数据库的属性信息，包括如下步骤B10：

步骤B10、所述备用管理节点定期广播DHCP DISCOVER报文，所述DHCP DISCOVER报文中包含有表征申请所述主用管理节点对应的第一postgres数据库的属性信息的标识。

所述DHCP服务器在接收到所述DHCP DISCOVER报文以后，并在判断所述DHCP报文中包含有所述表征申请所述主用管理节点对应的第一postgres数据库的属性信息的标识后，将所述主用管理节点对应的第一postgres数据库的属性信息通过DHCP PFFER报文发送至所述备用管理节点。

具体的，备用管理节点定期进行广播DHCP DISCOVER报文，该DHCPDISCOVER报文中包含有表征申请主用管理节点对应的第一postgres数据库的属性信息的标识。该DHCPDISCOVER报文中还包含有目的地址，用于发现DHCP服务器，例如，该目的地址包括：目的IP地址255.255.255.255，目的MAC地址FFFF-FFFF-FFFF。

DHCP服务器在接收到DHCP DISCOVER报文以后，若判断该报文中包含有表征申请所述主用管理节点对应的第一postgres数据库的属性信息的标识，则不按照DHCP协议规定的方式进行处理，而是获取该标识对应的第一postgres数据库的属性信息，将获取的第一postgres数据库的属性信息通过DHCP OFFER报文发送至上述广播DHCP DISCOVER报文的备用管理节点。而备用管理节点在接收到DHCP OFFER报文时，若报文中携带了第一postgres数据库的属性信息，也不会按照DHCP协议规定的方式进行处理，而是从DHCP OFFER报文中获取第一postgres数据库的属性信息，与自身对应的第二postgres数据库的属性信息进行比较。

若DHCP DISCOVER报文中没有包含表征申请所述主用管理节点对应的第一postgres数据库的属性信息的标识，则根据DHCP协议，对该DHCPDISCOVER报文进行处理。而备用管理节点接收到的DHCP OFFER报文不包含第一postgres数据库的属性信息时，也根据DHCP协议，对该DHCPOFFER报文进行处理。

进而，本申请实施例中，备用管理节点通过与DHCP服务器间的DHCPDISCOVER和DHCP OFFER二次握手，即可完成获取主用管理节点对应的第一Postgres数据库的属性信息。

本申请实施例中，在DHCP DISCOVER报文中新增第一Option，以此标识申请所述主用管理节点对应的第一postgres数据库的属性信息。在DHCP OFFER报文中新增第二Option，该Option中携带上述第一Postgres数据库的属性信息。

本实施例利用DHCP报文中的扩展字段设置表征申请所述主用管理节点对应的第一postgres数据库的属性信息的标识，该标识中应当包含有第一postgres数据库标识。

图3为本申请实施例提供的一种管理节点的结构示意图。参照图3所示，该管理节点300包括：

主用管理节点301和备用管理节点302；

所述主用管理节点301用于：定期向DHCP服务器发送所述主用管理节点对应的第一postgres数据库的属性信息；

所述备用管理节点302用于：定期向所述DHCP服务器请求所述第一postgres数据库的属性信息；

确定获取的所述第一postgres数据库的属性信息与自身对应的第二postgres数据库的属性信息不同时，将所述第一postgres数据库的数据同步到所述第二postgres数据库。

本申请一可选的实施例中，上述主用管理节点301，具体用于：

定期检测所述第一postgres数据库中的数据是否发生更新，在检测到发生更新后，向所述DHCP服务器发送所述主用管理节点对应的第一postgres数据库的属性信息。

本申请一可选的实施例中，上述的备用管理节点302用于通过以下方式定期向所述DHCP服务器请求所述第一postgres数据库的属性信息：

所述备用管理节点定期广播DHCP DISCOVER报文，所述DHCPDISCOVER报文中包含有表征申请所述主用管理节点对应的第一postgres数据库的属性信息的标识，以使所述DHCP服务器在接收到所述DHCPDISCOVER报文以后，并在判断所述DHCP报文中包含有所述表征申请所述主用管理节点对应的第一postgres数据库的属性信息的标识后，将所述主用管理节点对应的第一postgres数据库的属性信息通过DHCP PFFER报文发送至所述备用管理节点。

本申请一可选的实施例中，所述属性信息，至少包括：数据库数据大小信息和元数据信息。

本申请一可选的实施例中，上述备用管理节点302用于通过以下方式确定获取的所述第一postgres数据库的属性信息与自身对应的第二postgres数据库的属性信息不同时，将所述第一postgres数据库的数据同步到所述第二postgres数据库：

所述备用管理节点将所述第一postgres数据库的数据大小和元数据信息与所述第二postgres数据库的的数据大小和元数据信息进行比较，确定所述第一postgres数据库的数据大小与第二postgres数据库的数据大小不同，和/或所述第一postgres数据库的元数据信息与第二postgres数据库的元数据信息不同时，将所述第一postgres数据库的数据同步到所述第二postgres数据库。

图4为本申请实施例提供的计算机设备的结构示意图。如图4所示，本申请实施例一实施例提供的一种计算机设备，用于执行图1至图2中的数据同步方法，该设备包括存储器1000、处理器2000及存储在该存储器1000上并可在该处理器2000上运行的计算机程序，其中，上述处理器2000执行上述计算机程序时实现上述数据同步方法的步骤。

具体地，上述存储器1000和处理器2000能够为通用的存储器和处理器，这里不做具体限定，当处理器2000运行存储器2000存储的计算机程序时，能够执行上述数据同步方法，从而解决现有技术中当大数据集群中主用管理节点和备用管理节点出现一次切换后，如果当下的主用管理节点再次出现故障，那么，会因为备用管理节点的Postgres数据库没有及时和主用管理节点的Postgres数据库同步的原因，导致第二次主备切换失败，最终导致服务无法正常运行的问题；因此，本申请实施例具有提高大数据集成管理平台的运行可靠性的积极效果，并且能够提高用户体验。

对应于图1至图2中的基于数据同步方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述数据同步方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述数据同步方法，从而解决现有技术中当大数据集群中主用管理节点和备用管理节点出现一次切换后，如果当下的主用管理节点再次出现故障，那么，会因为备用管理节点的Postgres数据库没有及时和主用管理节点的Postgres数据库同步的原因，导致第二次主备切换失败，最终导致服务无法正常运行的问题；因此，本申请实施例具有提高大数据集成管理平台的运行可靠性的积极效果，并且能够提高用户体验。

在本申请实施例所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请实施例各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种数据同步方法，其特征在于，应用于大数据管理***中的管理节点，所述管理节点包括主用管理节点和备用管理节点，所述方法包括：

所述主用管理节点定期检测所述主用管理节点对应的第一postgres数据库中的数据是否发生更新，在检测到发生更新后，向DHCP服务器发送所述主用管理节点对应的第一postgres数据库的属性信息；

所述备用管理节点定期广播DHCP DISCOVER报文，所述DHCP DISCOVER报文中包含有表征申请所述主用管理节点对应的第一postgres数据库的属性信息的标识，以使所述DHCP服务器在接收到所述DHCP DISCOVER报文以后，并在判断所述DHCP报文中包含有所述标识后，将所述主用管理节点对应的第一postgres数据库的属性信息通过DHCP OFFER报文发送至所述备用管理节点；

所述备用管理节点确定获取的所述第一postgres数据库的属性信息与自身对应的第二postgres数据库的属性信息不同时，将所述第一postgres数据库的数据同步到所述第二postgres数据库。

2.根据权利要求1所述的方法，其特征在于，所述属性信息包括：数据大小和元数据信息。

3.根据权利要求2所述的方法，其特征在于，所述备用管理节点确定获取的所述第一postgres数据库的属性信息与自身对应的第二postgres数据库的属性信息不同时，将所述第一postgres数据库的数据同步到所述第二postgres数据库，包括：

所述备用管理节点将所述第一postgres数据库的数据大小和元数据信息与自身对应的所述第二postgres数据库的数据大小和元数据信息进行比较，确定所述第一postgres数据库的数据大小与第二postgres数据库的数据大小不同，和/或所述第一postgres数据库的元数据信息与第二postgres数据库的元数据信息不同时，将所述第一postgres数据库的数据同步到所述第二postgres数据库。

4.一种大数据管理***中的管理节点，其特征在于，包括：主用管理节点和备用管理节点；

所述主用管理节点用于：定期检测所述主用管理节点对应的第一postgres数据库中的数据是否发生更新，在检测到发生更新后，向DHCP服务器发送所述主用管理节点对应的第一postgres数据库的属性信息；

所述备用管理节点用于：定期广播DHCP DISCOVER报文，所述DHCP DISCOVER报文中包含有表征申请所述主用管理节点对应的第一postgres数据库的属性信息的标识，以使所述DHCP服务器在接收到所述DHCP DISCOVER报文以后，并在判断所述DHCP报文中包含有所述标识后，将所述主用管理节点对应的第一postgres数据库的属性信息通过DHCP OFFER报文发送至所述备用管理节点；

确定获取的所述第一postgres数据库的属性信息与自身对应的第二postgres数据库的属性信息不同时，将所述第一postgres数据库的数据同步到所述第二postgres数据库。

5.根据权利要求4所述的管理节点，其特征在于，所述属性信息，至少包括：数据库数据大小信息和元数据信息。

6.根据权利要求5所述的管理节点，其特征在于，所述备用管理节点用于通过以下方式确定获取的所述第一postgres数据库的属性信息与自身对应的第二postgres数据库的属性信息不同时，将所述第一postgres数据库的数据同步到所述第二postgres数据库；

所述备用管理节点将所述第一postgres数据库的数据大小和元数据信息与所述第二postgres数据库的数据大小和元数据信息进行比较，确定所述第一postgres数据库的数据大小与第二postgres数据库的数据大小不同，和/或所述第一postgres数据库的元数据信息与第二postgres数据库的元数据信息不同时，将所述第一postgres数据库的数据同步到所述第二postgres数据库。

Images