CN117640364A - 消息***的集群部署方法、装置及电子设备 - Google Patents

Abstract

本申请提供了一种消息***的集群部署方法、装置及电子设备，方法应用于服务器；服务器中配置有容器和目标集群部署脚本；方法包括：执行目标集群部署脚本，以根据目标集群部署脚本中设定的目标rocketmq版本和目标IP地址，通过容器从预设镜像库中拉取对应的目标rocketmq镜像；其中，预设镜像库中存储有多种版本的rocketmq镜像；通过目标rocketmq镜像完成对应的broker集群和nameserver集群的部署。通过在一台服务器上执行集群部署脚本，以根据脚本中设定的IP地址和版本，通过容器拉取对应镜像完成集群部署，该方式方便快捷，大大减少集群部署耗时。

Description

消息***的集群部署方法、装置及电子设备

技术领域

本申请涉及集群部署技术领域，尤其是涉及一种消息***的集群部署方法、装置及电子设备。

背景技术

消息***是企业中一个非常重要的基础组件，常见的消息***有很多，rocketmq是其中主要的一个，其应用广泛，是一种开源的消息***。rocketmq消息***典型的集群化部署的方案中，包括broker集群、nameserver集群两部分，每一部分机器大概至少要三或者四台机器，部署一套相对完整的整个消息***，至少需要部署七个节点的应用程序，每个节点应用程序都有一定的状态，例如broker-a、broker-b，它们的IP等都是不同的，在不同机器上部署的时候，状态是不一致的。

如前述一个实用的rocketmq消息***是较为复杂的，在开发或者测试中经常要快速搭建一套全功能的rocketmq集群，这就需要操作若干台服务器，解决不同服务器的IP等差异，另外，在需要同时搭建很多版本下的集群时，尤为费时。

发明内容

本申请的目的在于提供一种消息***的集群部署方法、装置及电子设备，通过在一台服务器上执行集群部署脚本，以根据脚本中设定的IP地址和版本，通过容器拉取对应镜像完成集群部署，该方式方便快捷，大大减少集群部署耗时。

第一方面，本申请实施例提供一种消息***的集群部署方法，方法应用于服务器；服务器中配置有容器和目标集群部署脚本；方法包括：执行目标集群部署脚本，以根据目标集群部署脚本中设定的目标rocketmq版本和目标IP地址，通过容器从预设镜像库中拉取对应的目标rocketmq镜像；其中，预设镜像库中存储有多种版本的rocketmq镜像；rocketmq镜像中封装有broker集群和nameserver集群分别对应的安装程序；通过目标rocketmq镜像完成对应的broker集群和nameserver集群的部署。

在本申请较佳的实施方式中，上述目标集群部署脚本的生成过程如下：执行初始集群部署脚本，以显示IP地址和rocketmq版本分别对应的提示输入框；响应用户在提示输入框中的IP地址和rocketmq版本的输入操作，生成目标集群部署脚本。

在本申请较佳的实施方式中，上述根据目标集群部署脚本中设定的目标rocketmq版本和目标IP地址，通过容器从预设镜像库中拉取对应的目标rocketmq镜像的步骤，包括：根据目标集群部署脚本中设定的目标IP地址，启动映射于目标IP地址不同端口的多个容器；通过多个容器从预设镜像库中拉取与目标rocketmq版本对应的目标rocketmq镜像。

在本申请较佳的实施方式中，上述通过多个容器从预设镜像库中拉取与目标rocketmq版本对应的目标rocketmq镜像的步骤，包括：针对每个容器，通过容器从目标rocketmq版本对应的目标rocketmq镜像中拉取一个服务器安装程序至本地；服务器安装程序包括broker或nameserver服务器安装程序。

在本申请较佳的实施方式中，上述通过rocketmq镜像完成对应的broker集群和nameserver集群的部署的步骤，包括：运行broker集群对应的安装程序，完成broker集群的部署；运行nameserver集群对应的安装程序，完成nameserver集群的部署。

在本申请较佳的实施方式中，上述broker集群包括多个broker服务器；nameserver集群包括多个nameserver服务器。

在本申请较佳的实施方式中，上述部署有broker集群和nameserver集群的服务器与生产者集群、消息者集群进行数据或信息交互。

第二方面，本申请实施例还提供一种消息***的集群部署装置，装置应用于服务器；服务器中配置有容器和目标集群部署脚本；装置包括：镜像拉取模块，用于执行目标集群部署脚本，以根据目标集群部署脚本中设定的目标rocketmq版本和目标IP地址，通过容器从预设镜像库中拉取对应的目标rocketmq镜像；其中，预设镜像库中存储有多种版本的rocketmq镜像；rocketmq镜像中封装有broker集群和nameserver集群分别对应的安装程序；部署模块，用于通过目标rocketmq镜像完成对应的broker集群和nameserver集群的部署。

第三方面，本申请实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面所述的方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述第一方面所述的方法。

本申请实施例提供的消息***的集群部署方法、装置及电子设备中，方法应用于服务器；服务器中配置有容器和目标集群部署脚本；服务器执行目标集群部署脚本后，可以根据目标集群部署脚本中设定的目标rocketmq版本和目标IP地址，通过容器从预设镜像库中拉取对应的目标rocketmq镜像；其中，预设镜像库中存储有多种版本的rocketmq镜像；rocketmq镜像中封装有broker集群和nameserver集群分别对应的安装程序；通过目标rocketmq镜像完成对应的broker集群和nameserver集群的部署。本申请实施例中通过在一台服务器上执行集群部署脚本，以根据脚本中设定的IP地址和版本，通过容器拉取对应镜像完成集群部署，该方式方便快捷，大大减少集群部署耗时。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种消息***的集群部署方法的流程图；

图2为本申请实施例提供的一种消息***的集群部署方法中整体功能示意图；

图3为本申请实施例提供的一种消息***的集群部署方法中脚本生成示意图；

图4为本申请实施例提供的一种消息***的集群部署方法中集群部署示意图；

图5为本申请实施例提供的一种消息***的集群部署装置的结构框图；

图6为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合实施例对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

相关技术中，一套全功能的rocketmq集群的搭建过程中，需要操作若干台服务器，往往会存在以下问题：

1)需要登录多个服务器进行相关操作

由于broker等在不同服务器上配置不同，并且自动识别本机IP地址，自动注册到名称服务器集群，因此需要针对IP地址，nameserver服务器进行配置等，因此操作很复杂，要经常进行调试。

2)解决不同服务器的IP等差异

大多时候测试用服务器很多人共用，会有很多虚拟网卡或者IP地址等，broker在识别IP时经常识别错误，然后将错误IP地址进行处置，因此后续其他程序访问时容易造成错误，排查起来破费时间，通常都是测试后不正常获知，因此会大大降低工作效率。

3)在很多版本都要搭建时尤为费时

在消息***测试时要进行很多消息集群的测试，在多版本情况下，就需要较多的不同版本的集群供测试，因此类似的集群要经常进行搭建，目前手工搭建的方法非常不方便，耗时严重。

基于此，本申请实施例提供一种消息***的集群部署方法、装置及电子设备，通过在一台服务器上执行集群部署脚本，以根据脚本中设定的IP地址和版本，通过容器拉取对应镜像完成集群部署，该方式方便快捷，大大减少集群部署耗时。

为便于对本实施例进行理解，首先对本申请实施例所公开的一种方法进行详细介绍。

图1为本申请实施例提供的一种消息***的集群部署方法的流程图，该方法应用于服务器；服务器中配置有容器和目标集群部署脚本；该方法包括以下步骤：

步骤S102，执行目标集群部署脚本，以根据目标集群部署脚本中设定的目标rocketmq版本和目标IP地址，通过容器从预设镜像库中拉取对应的目标rocketmq镜像；

其中，预设镜像库中存储有多种版本的rocketmq镜像；rocketmq镜像中封装有broker集群和nameserver集群分别对应的安装程序。

本实施例中，预先将相关rocketmq程序通过docker方式打包为特定的镜像，上传到相应的harbor镜像仓库中，在程序运行中，通过docker将镜像从harbor中拉取到本地。

步骤S104，通过目标rocketmq镜像完成对应的broker集群和nameserver集群的部署。

本申请实施例提供的消息***的集群部署方法中，仅通过在一台服务器上执行集群部署脚本，就可以根据脚本中设定的IP地址和版本，通过容器拉取对应镜像完成集群部署，该方式方便快捷，大大减少集群部署耗时。

本申请实施例还提供另一种消息***的集群部署方法，该方法在上述实施例的基础上实现；本实施例重点描述目标集群部署脚本的生成过程，以及部署过程。

参见图2所示的本申请实施例提供的消息***的集群部署方法的完整功能示意图；其中，包括单机启动脚本工具具体生成目标集群部署脚本的过程，包括目标集群部署脚本在单机上启动后自动部署集群的过程。

上述目标集群部署脚本的生成过程如下：执行初始集群部署脚本，以显示IP地址和rocketmq版本分别对应的提示输入框；响应用户在提示输入框中的IP地址和rocketmq版本的输入操作，生成目标集群部署脚本。

参见图3所示，初始集群部署脚本运行后提示用户输入运行目标主机的可用访问IP地址。输入IP地址后，提示输入rocketmq的版本；两个参数输入后，会生成相关运行脚本程序，即上述目标集群部署脚本。用户可以将相关脚本拷贝到目标服务器中，在目标服务器上运行相关程序完成集群部署。

本申请实施例中以docker容器技术为基础，将相关的rocketmq相关安装程序包括broker，nameserver等相关安装程序封装到docker镜像中，并且通过脚本交互式和用户进行沟通，确认相关输入信息之后生成一个可以自动运行的脚本，方便快捷。

在本申请较佳的实施方式中，上述根据目标集群部署脚本中设定的目标rocketmq版本和目标IP地址，通过容器从预设镜像库中拉取对应的目标rocketmq镜像的步骤，包括：

根据目标集群部署脚本中设定的目标IP地址，启动映射于目标IP地址不同端口的多个容器；通过多个容器从预设镜像库中拉取与目标rocketmq版本对应的目标rocketmq镜像。具体实施时，针对每个容器，通过容器从目标rocketmq版本对应的目标rocketmq镜像中拉取一个服务器安装程序至本地；服务器安装程序包括broker或nameserver服务器安装程序。

在本申请较佳的实施方式中，上述通过rocketmq镜像完成对应的broker集群和nameserver集群的部署的步骤，包括：运行broker集群对应的安装程序，完成broker集群的部署；运行nameserver集群对应的安装程序，完成nameserver集群的部署。上述broker集群包括多个broker服务器；nameserver集群包括多个nameserver服务器。

用户将前面生成的单机启动脚本，即目标集群部署脚本上传到目标服务器后，通过运行相关的脚本启动如图4的一个集群。整个集群在单机服务器里运行，运行在若干个docker容器中，每个容器的相关端口映射到单IP的特定的端口上。在这些单独运行的容器里的程序，相当于一个独立的服务器，仅仅端口不相同，它们相互之间进行相互协作，进行相互处理，从而生产者、消费者看到的是一个完整的集群，通过相关单独的IP及不同的端口对完整的集群进行相关访问。即上述部署有broker集群和nameserver集群的服务器与生产者集群、消息者集群进行数据或信息交互。

本申请实施例中，自动运行的脚本，根据用户输入信息在特定的单台服务器上启用若干个docker容器，每个容器中可以模拟原每个服务器中的一个消息的中间件，从而构成了一个相关的消息集群。通过docker技术将IP地址等环境因素屏蔽到最低，只要获取到本机的IP地址即可以形成一定的工作能力。

本申请实施例提供的消息***的集群部署方法的优点如下：

1.使用最少的一台服务器实现一个完整的集群，大大节省费用，及操作时间。

传统的测试中必须搭建一个全功能集群才能模拟真正的消息***测试各个组件和各个工作情况，这样测试才完整可行。但搭建一个全套的集群需要较多服务器，需要登录各个环境，解决各个环境的差异，包括IP，java版本等等因素，耗费时间较多问题较多。

而本实施例中在一个单台服务器里面启动全部集群，并且将集群暴露到单台服务器中，让外界能方便访问。简化了部署，降低了费用，提高了测试效率。

2.使用一个通用脚本最快速的生成一个可以运行的，可以配置的脚本，并且最快速度的启动一个集群。

通过测试好的脚本生成一个专用的脚本，并且可以根据特定IP地址进行配置，单独设置rocketmq版本因此可以快速的生成需要的脚本，方便启动。

3.整个集群的工作原理，在集群内部同真正的集群完全一致，因此可以完全信赖相关的测试结果。

在docker容器内部的各个组件仍然安装标准的集群方式工作，完全同单独部署不同服务器上相同，因此完全模拟真正的工作集群，这个情况非常重要，在测试中被测试的集群必须同真正的集群工作情况完全一致才能获得准确的测试结果。

基于上述方法实施例，本申请实施例还提供一种消息***的集群部署装置，装置应用于服务器；服务器中配置有容器和目标集群部署脚本；参见图5所示，该装置包括：镜像拉取模块52，用于执行目标集群部署脚本，以根据目标集群部署脚本中设定的目标rocketmq版本和目标IP地址，通过容器从预设镜像库中拉取对应的目标rocketmq镜像；其中，预设镜像库中存储有多种版本的rocketmq镜像；rocketmq镜像中封装有broker集群和nameserver集群分别对应的安装程序；部署模块54，用于通过目标rocketmq镜像完成对应的broker集群和nameserver集群的部署。

在本申请较佳的实施方式中，上述装置还包括：脚本生成模块，用于执行以下目标集群部署脚本的生成过程：执行初始集群部署脚本，以显示IP地址和rocketmq版本分别对应的提示输入框；响应用户在提示输入框中的IP地址和rocketmq版本的输入操作，生成目标集群部署脚本。

在本申请较佳的实施方式中，上述镜像拉取模块52，用于根据目标集群部署脚本中设定的目标IP地址，启动映射于目标IP地址不同端口的多个容器；通过多个容器从预设镜像库中拉取与目标rocketmq版本对应的目标rocketmq镜像。

在本申请较佳的实施方式中，上述镜像拉取模块52，用于针对每个容器，通过容器从目标rocketmq版本对应的目标rocketmq镜像中拉取一个服务器安装程序至本地；服务器安装程序包括broker或nameserver服务器安装程序。

在本申请较佳的实施方式中，上述部署模块54，用于运行broker集群对应的安装程序，完成broker集群的部署；运行nameserver集群对应的安装程序，完成nameserver集群的部署。

在本申请较佳的实施方式中，上述broker集群包括多个broker服务器；nameserver集群包括多个nameserver服务器。

在本申请较佳的实施方式中，上述部署有broker集群和nameserver集群的服务器与生产者集群、消息者集群进行数据或信息交互。

本申请实施例提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置的实施例部分未提及之处，可参考前述方法实施例中相应内容。

本申请实施例还提供了一种电子设备，如图6所示，为该电子设备的结构示意图，其中，该电子设备包括处理器61和存储器60，该存储器60存储有能够被该处理器61执行的计算机可执行指令，该处理器61执行该计算机可执行指令以实现上述方法。

在图6示出的实施方式中，该电子设备还包括总线62和通信接口63，其中，处理器61、通信接口63和存储器60通过总线62连接。

其中，存储器60可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口63(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线62可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(PerIPheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线62可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器61可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器61中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器61可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器61读取存储器中的信息，结合其硬件完成前述实施例的方法的步骤。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述方法，具体实现可参见前述方法实施例，在此不再赘述。

本申请实施例所提供的方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本申请的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种消息***的集群部署方法，其特征在于，所述方法应用于服务器；所述服务器中配置有容器和目标集群部署脚本；所述方法包括：

执行所述目标集群部署脚本，以根据所述目标集群部署脚本中设定的目标rocketmq版本和目标IP地址，通过所述容器从预设镜像库中拉取对应的目标rocketmq镜像；其中，所述预设镜像库中存储有多种版本的rocketmq镜像；所述rocketmq镜像中封装有broker集群和nameserver集群分别对应的安装程序；

通过所述目标rocketmq镜像完成对应的broker集群和nameserver集群的部署。

2.根据权利要求1所述的方法，其特征在于，所述目标集群部署脚本的生成过程如下：

执行初始集群部署脚本，以显示IP地址和rocketmq版本分别对应的提示输入框；

响应用户在所述提示输入框中的IP地址和rocketmq版本的输入操作，生成所述目标集群部署脚本。

3.根据权利要求1所述的方法，其特征在于，根据所述目标集群部署脚本中设定的目标rocketmq版本和目标IP地址，通过所述容器从预设镜像库中拉取对应的目标rocketmq镜像的步骤，包括：

根据目标集群部署脚本中设定的所述目标IP地址，启动映射于所述目标IP地址不同端口的多个容器；

通过多个容器从预设镜像库中拉取与所述目标rocketmq版本对应的目标rocketmq镜像。

4.根据权利要求3所述的方法，其特征在于，通过多个容器从预设镜像库中拉取与所述目标rocketmq版本对应的目标rocketmq镜像的步骤，包括：

针对每个容器，通过所述容器从所述目标rocketmq版本对应的目标rocketmq镜像中拉取一个服务器安装程序至本地；所述服务器安装程序包括broker或nameserver服务器安装程序。

5.根据权利要求4所述的方法，其特征在于，通过所述rocketmq镜像完成对应的broker集群和nameserver集群的部署的步骤，包括：

运行所述broker集群对应的安装程序，完成broker集群的部署；

运行所述nameserver集群对应的安装程序，完成nameserver集群的部署。

6.根据权利要求3所述的方法，其特征在于，所述broker集群包括多个broker服务器；所述nameserver集群包括多个nameserver服务器。

7.根据权利要求3所述的方法，其特征在于，部署有broker集群和nameserver集群的服务器与生产者集群、消息者集群进行数据或信息交互。

8.一种消息***的集群部署装置，其特征在于，所述装置应用于服务器；所述服务器中配置有容器和目标集群部署脚本；所述装置包括：

镜像拉取模块，用于执行所述目标集群部署脚本，以根据所述目标集群部署脚本中设定的目标rocketmq版本和目标IP地址，通过所述容器从预设镜像库中拉取对应的目标rocketmq镜像；其中，所述预设镜像库中存储有多种版本的rocketmq镜像；所述rocketmq镜像中封装有broker集群和nameserver集群分别对应的安装程序；

部署模块，用于通过所述目标rocketmq镜像完成对应的broker集群和nameserver集群的部署。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至7任一项所述的方法。