CN115714722A - 一种集群网络动态配置方法、装置和*** - Google Patents

Abstract

本发明公开了一种集群网络动态配置方法，所述集群包括N个数据处理服务的节点，对外提供数据处理服务的节点数为M，且M小于N，只有对外提供数据处理服务的节点配置对外服务网络，在任一个节点上进行网络动态配置，包括以下步骤：初始化服务状态及网络；其中，所述服务为依赖于外部网络的数据处理服务，所述服务的状态内容包括键和值，键和值存储于内存数据库中，键是唯一标识，值包括时间戳、节点标识；更新服务状态；服务异常管理。本发明方法步骤简单，能实现对同一网络配置多个地址，在集群中配置多个网络的多组地址。

Description

一种集群网络动态配置方法、装置和***

技术领域

本发明属于集群控制技术领域，具体涉及一种集群网络动态配置方法、装置和***。

背景技术

传统的数据处理***通常采用以主机为中心的主备模式，随着数据处理规模和复杂度的上升，这种集中式***架构无法满足越来越复杂和多样的数据处理需求。

近年来由于数据处理业务的发展以及自主可控的要求，需要一种分布式数据处理***，其具有扩展性强、可靠性高等特点。分布式数据处理***通常只需要部分节点具有对外数据处理服务的职能，对外提供数据处理服务的网络地址数目可能小于集群节点数。目前常规的做法是，使用固定的节点提供对外服务，配置固定的网络设置。这种方法不能充分发挥集群的优势，如果集群中对外服务的节点发生故障，无法自动进行服务的动态迁移。还有的做法是采用虚拟IP机制，而常规的虚拟IP机制是在集群中配置对某个网络使用一个虚拟IP，不能实现对同一网络虚拟多个IP且各个IP在不同的节点上；也不能实现对多个网络虚拟多组IP且每组IP在不同的节点上等应用场景。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种集群网络动态配置方法，其方法步骤简单、设计合理，能实现对同一网络配置多个地址，在集群中配置多个网络的多组地址。

本发明的第一方面，提供一种集群网络动态配置方法，所述集群包括N个数据处理服务的节点，对外提供数据处理服务的节点数为M，且M小于N，只有对外提供数据处理服务的节点配置对外服务网络，在任一个节点k上进行网络动态配置，k、N和M为正整数，且1≤k≤N，该方法包括以下步骤：

初始化服务状态及网络；其中，所述服务为依赖于外部网络的数据处理服务，所述服务的状态内容包括键和值，键和值存储于内存数据库中，键是唯一标识，值包括时间戳、节点标识；

更新服务状态；

服务异常管理。

上述的一种集群网络动态配置方法，在任一个节点k上初始化服务状态及网络，具体过程如下：

步骤101、初始化，令i=1，服务状态Role为Ready状态；

步骤102、判断内存数据库Redis中是否存在键SERVER-i，如果键存在，执行步骤103；否则执行步骤110；

步骤103：读取键对应的值；

步骤104、判断步骤103读取的节点标识是否与节点k的节点标识相一致，如果不一致则执行步骤105；否则执行步骤110；

步骤105、将步骤103中读取的键值与上一次读取的键值进行比较，如果键值的内容不改变，则执行步骤106，否则，执行步骤108；

步骤106、如果键值与上一次读取的键值一致，则将键值一致性计数器Count值加1；

步骤107、如果Count≥3，则执行步骤110；否则，执行步骤108；

步骤108、如果键值与上一次读取的键值不一致，则置i=i+1，执行步骤109；

步骤109、如果i＞M，执行步骤111，否则执行步骤102；

步骤110、构建一个新的键SERVER-i，其值中时间戳为当前时间、节点标识为节点k的节点标识，将由键和值组成的键值对写入到内存数据库Redis中，置键值一致性计数器Count=0，置服务状态Role=SERVER-i，并且配置对外服务网络，使节点k能够对外提供服务，返回；

步骤111、关闭对外服务网络则执行步骤102。

上述的一种集群网络动态配置方法，所述更新服务状态，针对节点k，具体步骤如下：

步骤201、读取节点k的服务状态Role；

步骤202、置i=1；

步骤203、判断节点k的服务状态Role是否为SERVER-i，如果是则执行步骤204，否则执行209；

步骤204、判断内存数据库Redis中是否存在键SERVER-i，如果键存在则执行步骤205，否则执行步骤208；

步骤205、读取键对应的值；

步骤206、如果键存在且其值中的节点标识与节点k的标识不一致，则执行步骤207，否则则执行步骤208；

步骤207、置节点k的服务状态Role为Ready，关闭节点k的对外服务网络，并使节点k的服务挂起，然后重复步骤201；

步骤208、构建一个新的键SERVER-i，其值中时间戳为当前时间、节点标识为节点k的节点标识，将键和值组成的键值对写入到内存数据库Redis则执行步骤201；

步骤209、令i=i+1，则执行步骤210；

步骤210、判断i＞M是否成立，如果成立则执行步骤207，否则执行步骤203。

上述的一种集群网络动态配置方法，服务异常管理，具体过程如下：

如果节点k对外服务网络已配置，但是节点k数据处理服务未启动，则关闭节点k对外服务网络。

上述的一种集群网络动态配置方法，所述的配置对外服务网络具体为配置用于对外服务的IP地址、子网掩码、网关、静态路由、防火墙规则；

所述关闭对外服务网络具体为取消配置用于对外服务的IP地址、子网掩码、网关、静态路由、防火墙规则。

本发明的第二方面，提供一种集群网络动态配置装置，所述集群包括N个数据处理服务的节点，对外提供数据处理服务的节点数为M，且M小于N，只有对外提供数据处理服务的节点配置对外服务网络，用于上述任一项的方法，包括：

内存数据库读取单元，用于从内存数据库读取对外提供数据处理服务的状态信息；

内存数据库写入单元，用于向内存数据库写入服务的状态信息；节点状态获取单元，用于从内存获取节点k服务状态；

状态判断单元，用于判断服务状态信息的持续改变性以及节点标识是否与节点k相一致；

网络配置单元，用于配置节点网络；

网络检查单元，用于判断节点网络是否已正确配置；

网络关闭单元，用于取消配置节点对外服务的IP地址、子网掩码、网关、静态路由、防火墙规则；

服务状态检查单元，用于检查节点服务状态。

本发明的第三方面，提供一种集群网络动态配置***，包含不少于两个节点，每个节点上能运行数据处理服务以及网络动态控制器；能运行内存数据库服务的节点；联通各节点的内部网络，所有数据处理服务的节点和运行内存数据库服务的节点接入该网络；用于对外数据处理服务的网络，所有的数据处理服务的节点接入该网络；

所述的网络动态控制器包括支持上述的集群网络动态配置装置，所述***对外提供数据处理服务的节点数小于总节点数。

本发明与现有技术相比具有以下优点：

1、本发明能实现对同一网络配置多个地址，在集群中配置多个网络的多组地址。

2、本发明通过更新服务状态和服务异常管理，防止了在集群中出现重复网络配置的情况，能实现数据处理服务在无需任何人工干预情况下的故障自我恢复。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明初始化服务状态及网络的流程框图。

图2为本发明更新服务状态的流程框图。

图3为本发明的装置框图。

图4为本发明的装置框图。

具体实施方式

实施例1

如图1和图2所示的一种集群网络动态配置方法，所述集群包括N个数据处理服务的节点，对外提供数据处理服务的节点数为M，且M小于N，只有对外提供数据处理服务的节点配置对外服务网络，在任一个节点k上进行网络动态配置，k、N和M为正整数，且1≤k≤N，该方法包括以下步骤：

初始化服务状态及网络；其中，所述服务为依赖于外部网络的数据处理服务，所述服务的状态内容包括键和值，键和值存储于内存数据库中，键是唯一标识，值包括时间戳、节点标识；

更新服务状态；

服务异常管理。

本实施例中，在任一个节点k上初始化服务状态及网络，具体过程如下：

步骤101、初始化，令i=1，服务状态Role为Ready状态；

步骤102、判断内存数据库Redis中是否存在键SERVER-i，如果键存在，执行步骤103；否则执行步骤110；

步骤103：读取键对应的值；

步骤104、判断步骤103读取的节点标识是否与节点k的节点标识相一致，如果不一致则执行步骤105；否则执行步骤110；

步骤105、将步骤103中读取的键值与上一次读取的键值进行比较，如果键值的内容不改变，则执行步骤106，否则，执行步骤108；

步骤106、如果键值与上一次读取的键值一致，则将键值一致性计数器Count值加1；

步骤107、如果Count≥3，则执行步骤110；否则，执行步骤108；

步骤108、如果键值与上一次读取的键值不一致，则置i=i+1，执行步骤109；

步骤109、如果i＞M，执行步骤111，否则执行步骤102；

步骤110、构建一个新的键SERVER-i，其值中时间戳为当前时间、节点标识为节点k的节点标识，将由键和值组成的键值对写入到内存数据库Redis中，置键值一致性计数器Count=0，置服务状态Role=SERVER-i，并且配置对外服务网络，使节点k能够对外提供服务，返回；

步骤111、关闭对外服务网络则执行步骤102。

本实施例中，所述更新服务状态，针对节点k，具体步骤如下：

步骤201、读取节点k的服务状态Role；

步骤202、置i=1；

步骤203、判断节点k的服务状态Role是否为SERVER-i，如果是则执行步骤204，否则执行209；

步骤204、判断内存数据库Redis中是否存在键SERVER-i，如果键存在则执行步骤205，否则执行步骤208；

步骤205、读取键对应的值；

步骤206、如果键存在且其值中的节点标识与节点k的标识不一致，则执行步骤207，否则则执行步骤208；

步骤207、置节点k的服务状态Role为Ready，关闭节点k的对外服务网络，并使节点k的服务挂起，然后重复步骤201；

步骤208、构建一个新的键SERVER-i，其值中时间戳为当前时间、节点标识为节点k的节点标识，将键和值组成的键值对写入到内存数据库Redis则执行步骤201；

步骤209、令i=i+1，则执行步骤210；

步骤210、判断i＞M是否成立，如果成立则执行步骤207，否则执行步骤203。

本实施例中，服务异常管理，具体过程如下：

如果节点k对外服务网络已配置，但是节点k数据处理服务未启动，则关闭节点k对外服务网络。

本实施例中，所述的配置对外服务网络具体为配置用于对外服务的IP地址、子网掩码、网关、静态路由、防火墙规则；

所述关闭对外服务网络具体为取消配置用于对外服务的IP地址、子网掩码、网关、静态路由、防火墙规则。

本实施例中，步骤105中键值比较包含对时间戳、节点标识进行一一比对，只要有一个不一致，则认为结果为不一致。

本实施例中，步骤103中读取键值的内容包括：时间戳、节点标识。

本实施例中，步骤110中配置外服务网络包括：配置节点k用于对外服务的IP地址、子网掩码、网关、静态路由、防火墙规则。

本实施例中，步骤111中关闭节点k对外服务网络包括：取消配置节点k用于对外服务的IP地址、子网掩码、网关、静态路由、防火墙规则。

本实施例中，需要说明的是，从内存数据库按顺序查找所有对外提供数据处理服务的节点的状态内容。

本实施例中，需要说明的是，对外提供数据处理服务的节点有一个服务顺序标识。

实施例2

本实施例中，需要说明的是，键为服务顺序标识。

由于装置实施例基本相同于方法实施例，所以描述的比较简单，相关之处参见方法实施例说明即可。下述描述的装置实施例仅仅是示意性的。

如图3所示的一种集群网络动态配置装置，所述集群包括N个数据处理服务的节点，对外提供数据处理服务的节点数为M，且M小于N，只有对外提供数据处理服务的节点配置对外服务网络，用于实现实施例1的方法，该装置包含：

内存数据库读取单元301，用于从内存数据库读取对外提供数据处理服务的状态信息；

内存数据库写入单元302，用于向内存数据库写入服务的状态信息；

节点状态获取单元303，用于从内存获取节点k服务状态；

状态判断单元304，用于判断服务状态信息的持续改变性以及节点标识是否与节点k相一致；

网络配置单元305，用于配置节点网络；

网络检查单元306，用于判断节点网络是否已正确配置；

网络关闭单元307，用于取消配置节点对外服务的IP地址、子网掩码、网关、静态路由、防火墙规则；

服务状态检查单元308，用于检查节点服务状态。

本实施例中，所述网络配置单元305包括第一网络配置模块、第二网络配置模块、…、第M网络配置模块，所述的第一网络配置模块至第M网络配置模块分别用于配置M个对外提供数据处理服务节点对应的对外服务网络；所述的第一网络配置模块至第M网络配置模块配置的对外服务网络不同；所述的第一网络配置模块至第M网络配置模块配置功能为配置对应的对外提供数据处理服务节点用于对外服务的IP地址、子网掩码、网关、静态路由、防火墙规则。

本实施例中，所述的状态判断单元304包括：

键存在性判断子模块，用于判断内存数据库中是否存在包含服务顺序标识的键，如果不存在，则构造键值，其中键为该服务顺序标识，值中的节点标识为节点k标识、时间戳为当前时间，将键值写入内存数据库；

值改变性判断子模块，用于判断内存数据库中读取的对应的值是否持续改变，如果持续不改变，则构造键值，其中键为该服务顺序标识，值中的节点标识为节点k标识、时间戳为当前时间，将键值写入内存数据库；

拥有者判断子模块，用于判断值中的节点标识是否与节点k标识一致，如果一致，则配置对应服务顺序标识的网络信息，使节点k能够对外提供服务。

实施例3

如图4所示的一种集群网络动态配置***，该***包含：三个数据处理服务的节点，分别为节点1、节点2、节点3，节点4运行Redis服务，内网交换机，外网交换机1和外网交换机2。三个数据处理服务的节点上分别运行网络动态控制器，网络动态控制器包括以上实施例2所述的集群网络动态配置装置。节点1、节点2、节点3、节点4连接内网交换机，节点1、节点2、节点3物理连接外网交换机1和外网交换机2，节点1、节点2、节点3上运行数据处理服务，其中只能有两个节点对外提供数据处理服务。节点1、节点2、节点3虽然物理连接外网交换机1和外网交换机2，但是只能向外提供两组物理地址。比如连接外网交换机1的地址只能为10.11.2.3、10.11.2.4，连接外网交换机2的地址只能为40.11.2.3、40.11.2.4。10.11.2.3和40.11.2.3为地址组合1，10.11.2.4和40.11.2.4为地址组合2，地址组合1中的两个地址只能在同一个节点上，地址组合2中的两个地址只能在另一个节点上。

实施例中的网络动态控制器保证了节点1、节点2、节点3中的两个节点分别配置为地址组合1和地址组合2，且在配置了地址组合1和地址组合2上的节点上分别运行数据处理服务。如果配置为地址组合1或地址组合2的节点发生故障，***保证了另一个节点可以代替其对外提供数据处理服务，***具有在无需任何人工干预情况下自我恢复的能力。

根据本申请的实施例，上文参考实施例图和流程图描述集群网络动态配置方法与装置可以被实现为计算机软件部件。本申请的全部或部分可被应用为计算机程序产品的一部分，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法或装置。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。

对于本领域的技术人员而言，本申请不限于上述示范性实施例的细节，而且在不违背本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此无论从哪一点来看，均应将实施例看成是示范性的，而且是非限制性的。本申请的范围由所附的权利要求而不是上述说明限定，因此旨在将权利要求的等同的含义和范围内的所有变化含括在本申请内。

Claims (7)

1.一种集群网络动态配置方法，其特征在于，所述集群包括N个数据处理服务的节点，对外提供数据处理服务的节点数为M，且M小于N，只有对外提供数据处理服务的节点配置对外服务网络，在任一个节点k上进行网络动态配置，k、N和M为正整数，且1≤k≤N，该方法包括以下步骤：

初始化服务状态及网络；其中，所述服务为依赖于外部网络的数据处理服务，所述服务的状态内容包括键和值，键和值存储于内存数据库中，键是唯一标识，值包括时间戳、节点标识；

更新服务状态；

服务异常管理。

2.按照权利要求1所述的一种集群网络动态配置方法，其特征在于：在任一个节点k上初始化服务状态及网络，具体过程如下：

步骤101、初始化，令i=1，服务状态Role为Ready状态；

步骤102、判断内存数据库Redis中是否存在键SERVER-i，如果键存在，执行步骤103；否则执行步骤110；

步骤103：读取键对应的值；

步骤104、判断步骤103读取的节点标识是否与节点k的节点标识相一致，如果不一致则执行步骤105；否则执行步骤110；

步骤105、将步骤103中读取的键值与上一次读取的键值进行比较，如果键值的内容不改变，则执行步骤106，否则，执行步骤108；

步骤106、如果键值与上一次读取的键值一致，则将键值一致性计数器Count值加1；

步骤107、如果Count≥3，则执行步骤110；否则，执行步骤108；

步骤108、如果键值与上一次读取的键值不一致，则置i=i+1，执行步骤109；

步骤109、如果i＞M，执行步骤111，否则执行步骤102；

步骤110、构建一个新的键SERVER-i，其值中时间戳为当前时间、节点标识为节点k的节点标识，将由键和值组成的键值对写入到内存数据库Redis中，置键值一致性计数器Count=0，置服务状态Role=SERVER-i，并且配置对外服务网络，使节点k能够对外提供服务，返回；

步骤111、关闭对外服务网络则执行步骤102。

3.按照权利要求1所述的一种集群网络动态配置方法，其特征在于：所述更新服务状态，针对节点k，具体步骤如下：

步骤201、读取节点k的服务状态Role；

步骤202、置i=1；

步骤203、判断节点k的服务状态Role是否为SERVER-i，如果是则执行步骤204，否则执行209；

步骤204、判断内存数据库Redis中是否存在键SERVER-i，如果键存在则执行步骤205，否则执行步骤208；

步骤205、读取键对应的值；

步骤206、如果键存在且其值中的节点标识与节点k的标识不一致，则执行步骤207，否则则执行步骤208；

步骤207、置节点k的服务状态Role为Ready，关闭节点k的对外服务网络，并使节点k的服务挂起，然后重复步骤201；

步骤208、构建一个新的键SERVER-i，其值中时间戳为当前时间、节点标识为节点k的节点标识，将键和值组成的键值对写入到内存数据库Redis则执行步骤201；

步骤209、令i=i+1，则执行步骤210；

步骤210、判断i＞M是否成立，如果成立则执行步骤207，否则执行步骤203。

4.按照权利要求1所述的一种集群网络动态配置方法，其特征在于：服务异常管理，具体过程如下：

如果节点k对外服务网络已配置，但是节点k数据处理服务未启动，则关闭节点k对外服务网络。

5.按照权利要求2所述的一种集群网络动态配置方法，其特征在于：所述的配置对外服务网络具体为配置用于对外服务的IP地址、子网掩码、网关、静态路由、防火墙规则；

所述关闭对外服务网络具体为取消配置用于对外服务的IP地址、子网掩码、网关、静态路由、防火墙规则。

6.一种集群网络动态配置装置，其特征在于，所述集群包括N个数据处理服务的节点，对外提供数据处理服务的节点数为M，且M小于N，只有对外提供数据处理服务的节点配置对外服务网络，用于实现权利要求1～5任一项的方法，包括：

内存数据库读取单元，用于从内存数据库读取对外提供数据处理服务的状态信息；

内存数据库写入单元，用于向内存数据库写入服务的状态信息；节点状态获取单元，用于从内存获取节点k服务状态；

状态判断单元，用于判断服务状态信息的持续改变性以及节点标识是否与节点k相一致；

网络配置单元，用于配置节点网络；

网络检查单元，用于判断节点网络是否已正确配置；

网络关闭单元，用于取消配置节点对外服务的IP地址、子网掩码、网关、静态路由、防火墙规则；

服务状态检查单元，用于检查节点服务状态。

7.一种集群网络动态配置***，其特征在于：包含不少于两个节点，每个节点上能运行数据处理服务以及网络动态控制器；能运行内存数据库服务的节点；联通各节点的内部网络，所有数据处理服务的节点和运行内存数据库服务的节点接入该网络；用于对外数据处理服务的网络，所有的数据处理服务的节点接入该网络；

所述的网络动态控制器包括支持权力要求6所述的集群网络动态配置装置，所述***对外提供数据处理服务的节点数小于总节点数。

Images