CN106571943A - 分布式架构集群扩容方法及装置 - Google Patents

Abstract

本发明公开了一种分布式架构集群扩容方法及装置，涉及信息技术领域，能够实现自动进行分布式架构集群扩容，从而能够提高分布式架构集群扩容的效率。所述方法包括：接收分布式架构集群扩容请求，其中，所述分布式架构集群扩容请求携带服务器的标识信息和所述服务器对应的分布式架构服务的标识信息；向集群中添加与所述服务器的标识信息对应的服务器；在所述添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务。本发明适用于分布式架构集群的扩容。

Description

分布式架构集群扩容方法及装置

技术领域

本发明涉及信息技术领域，尤其涉及一种分布式架构集群扩容方法及装置。

背景技术

随着信息技术的不断发展和分布式架构集群，如Hadoop集群规模的不断增加，需要经常对分布式架构集群进行扩容。其中，对分布式架构集群进行扩容可以为越来越复杂的互联网业务需要以及越来越多样化的用户需求提供安全稳定的保证。

目前，主要采用人工的方式进行分布式架构集群扩容，即管理员需要登录到分布式架构管理***，然后在分布式架构管理***中手动输入需要添加主机的名称和IP地址等信息，手动从分布式架构服务列表中选择需要安装的分布式架构服务。然而，通过人工的方式进行分布式架构集群扩容时，每进行一次集群扩容，就需要手动输入一次需要添加主机的名称和IP地址等信息，和手动从分布式架构服务列表中选择一次需要安装的分布式架构服务，造成集群扩容的操作步骤重复且消耗管理员大量的工作时间，导致分布式架构集群扩容的效率较低。

发明内容

有鉴于此，本发明实施例提供了一种分布式架构集群扩容方法及装置，主要目的能够实现自动进行分布式架构集群扩容，从而能够提高分布式架构集群扩容的效率。

为达到上述目的，本发明主要提供如下技术方案：

依据本发明一方面，本发明实施例提供了一种分布式架构集群扩容方法，该方法包括：

接收分布式架构集群扩容请求，其中，所述分布式架构集群扩容请求携带服务器的标识信息和所述服务器对应的分布式架构服务的标识信息；

向集群中添加与所述服务器的标识信息对应的服务器；

在所述添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务。

依据本发明另一方面，本发明实施例还提供一种分布式架构集群扩容装置，该装置包括：

接收单元，用于接收分布式架构集群扩容请求，其中，所述分布式架构集群扩容请求携带服务器的标识信息和所述服务器对应的分布式架构服务的标识信息；

添加单元，用于向集群中添加与所述接收单元接收的服务器的标识信息对应的服务器；

安装单元，用于在所述添加单元添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务。

借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：

本发明实施例提供了一种分布式架构集群扩容方法及装置。首先接收分布式架构集群扩容请求，其中，所述分布式架构集群扩容请求携带服务器的标识信息和所述服务器对应的分布式架构服务的标识信息；然后向集群中添加与所述服务器的标识信息对应的服务器；最后在所述添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务。与目前采用人工的方式进行分布式架构集群扩容相比，本发明实施例能够实现自动进行分布式架构集群扩容，从而能够提高分布式架构集群扩容的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了本发明实施例提供的一种分布式架构集群扩容方法流程图；

图2示出了本发明实施例提供的另一种分布式架构集群扩容方法流程图；

图3示出了本发明实施例提供的一种分布式架构集群扩容装置的结构示意图；

图4示出了本发明实施例提供的另一种分布式架构集群扩容装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为使本发明技术方案的优点更加清楚，下面结合附图和实施例对本发明作详细说明。

本发明实施例提供了一种分布式架构集群扩容方法，如图1所示，所述方法包括：

101、接收分布式架构集群扩容请求。

其中，所述分布式架构集群扩容请求携带服务器的标识信息和所述服务器对应的分布式架构服务的标识信息。分布式架构集群可以为hadoop集群、spark集群等。所述服务器的标识信息可以为服务器的名称，也可以为服务器的互联网协议(Internet Protocol，IP)地址，如IP地址为192.168.1.101，本发明实施例不做限定。所述分布式架构服务的标识信息可以为分布式架构服务的名称，也可以为分布式架构服务的身份标识号码(Identify，ID)，本发明实施例不做限定。例如，分布式架构集群为hadoop集群，hadoop服务可以为分布式文件***(Hadoop Distributed File System，HDFS)，分布式存储***(HadoopDatabase,HBASE)，HIVE(数据仓库工具)等。

对于本发明实施例，可以通过分布式架构管理***对分布式架构组件进行安装、配置、监控等。例如，所述hadoop管理***可以为Cloudera manager。分布式架构管理***的管理人员可以将需要添加服务器的标识信息和需要安装分布式架构服务的标识信息预先保存到服务器配置文件中。服务器配置文件格式可以如下：

192.168.1.101(HDFS，HBASE，HIVE)

192.168.1.102(HDFS，HBASE)

192.168.1.103(HDFS，HBASE)

192.168.1.104(HDFS，HBASE)

若服务器配置文件如上述所示，说明需要将IP地址192.168.1.101、192.168.1.102、192.168.1.103、192.168.1.104分别对应的服务器添加到集群中，并且在192.168.1.101对应的服务器上安装HDFS服务，HBASE服务和HIVE服务，在192.168.1.102、192.168.1.103、192.168.1.104分别对应的服务器上安装HDFS服务和HBASE服务。

102、向集群中添加与所述服务器的标识信息对应的服务器。

对于本发明实施例，步骤102具体可以为：获取分布式架构集群扩容请求中服务器的标识信息，然后通过curl工具调用预置接口函数向集群中添加与所述服务器的标识信息对应的服务器。其中，Curl是利用URL语法在命令行方式下工作的开源文件传输工具。所述预置接口函数可以为分布式架构管理***提供的接口函数，如Cloudera manager API接口函数。例如，获取的服务器IP地址为192.168.1.101，通过Cloudera manager API接口函数向集群中添加IP地址为192.168.1.101的服务器。与目前通过采用人工的方式向集群中添加服务器相比，本发明实施例通过预置接口函数，向集群中添加与所述服务器的标识信息对应的服务器，能够实现自动添加与所述服务器的标识信息对应的服务器，从而能够节省大量的管理人员大量的工作时间和工作量，进而能够提高在集群中添加服务器的效率。

103、在所述添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务。

对于本发明实施例，步骤103具体可以为：获取分布式架构集群扩容请求中的分布式架构服务的标识信息，然后通过curl工具调用预置接口函数在新添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务。其中，所述预置接口函数可以为分布式架构管理***提供的接口函数，如Cloudera manager API接口函数。例如，获取IP地址为192.168.1.101的服务器上需要安装的分布式架构服务为HDFS服务，HBASE服务，HIVE服务，在IP地址为192.168.1.101的服务器添加到集群后，通过Cloudera manager API接口函数在服务器上安装HDFS服务，HBASE服务，HIVE服务。与目前通过采用人工的方式在新添加的服务器上安装分布式架构服务相比，本发明实施例通过预置接口函数，在新添加的服务器上安装分布式架构服务，能够实现自动在新添加的服务器上安装分布式架构服务，从而能够节省大量的管理人员大量的工作时间和工作量，进而能够提高在集群中添加服务器的效率。

本发明实施例提供的一种分布式架构集群扩容方法。首先接收分布式架构集群扩容请求后，其中，所述分布式架构集群扩容请求携带服务器的标识信息和所述服务器对应的分布式架构服务的标识信息；然后向集群中添加与所述服务器的标识信息对应的服务器；最后在所述添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务。与目前采用人工的方式进行分布式架构集群扩容相比，本发明实施例能够实现自动进行分布式架构集群扩容，从而能够提高分布式架构集群扩容的效率。

本发明实施例提供了另一种分布式架构集群扩容方法，如图2所示，所述方法包括：

201、接收分布式架构集群扩容请求。

其中，所述分布式架构集群扩容请求携带服务器的标识信息和所述服务器对应的分布式架构服务的标识信息。分布式架构集群可以为hadoop集群、spark集群等。所述服务器的标识信息可以为服务器的名称，也可以为服务器的IP地址，如192.168.1.102，本发明实施例不做限定。所述分布式架构服务的标识信息可以为分布式架构服务的名称，也可以为分布式架构服务的ID，本发明实施例不做限定。

对于本发明实施例，步骤201具体可以为：在预置时间段内，接收分布式架构集群扩容请求。所述预置时间段可以根据用户的需求进行设置，也可以根据***默认模式进行设置，本发明实施例不做限定。由于集群在凌晨的访问量较少，公司的运维制度规定，集群调整必须在凌晨以后进行。因此，所述预置时间段可以为00:00-01:00，或者00:00-01:30等。

进一步地，可以通过设置定时任务，实现在预置时间段内，接收分布式架构集群扩容请求。例如，通过linux的crontab，完成在预置时间段内，接收分布式架构集群扩容请求。对于本发明实施例，通过在预置时间段内，接收分布式架构集群扩容请求，能够避免管理人员在凌晨以后登录分布式架构管理***进行集群的扩容，避免管理人员在分布式架构集群扩容时加班到深夜，从而能够减少管理人员的工作时间。

202、向集群中添加与所述服务器的标识信息对应的服务器。

对于本发明实施例，步骤202具体可以为：通过调用预置表述性状态转移(Representational State Transfer，Rest)应用程序接口(ApplicationProgram Interface，API)函数，向集群中添加与所述服务器的标识信息对应的服务器。其中，所述预置Rest API接口函数的地址可以为：http://ip:7180/api/v9/clusters/Cluster1/host。

对于本发明实施例，步骤202具体可以为：获取分布式架构集群扩容请求中服务器的标识信息，然后通过curl工具调用预置Rest API接口函数，向集群中添加与所述服务器的标识信息对应的服务器。具体地，可以通过预置get_host函数获取服务器的标识信息。若所述服务器的标识信息和所述服务器对应的分布式架构服务的标识信息是以配置文件的形式存在，则可以通过预置read函数读取管理人员预设置的配置文件，然后通过预置get_host函数获取配置文件中的服务器的标识信息。例如，获取的服务器IP地址为192.168.1.102。将IP地址为192.168.1.102的服务器添加到集群中可以通过伪代码实现，所述伪代码具体可以为：

$curl-X POST-H"Content-Type:application/json"-u admin:admin\

-d'{"items":[{"address":"192.168.1.101"}]}'\

'http://ip:7180/api/v9/clusters/Cluster1/host'

$curl-X POST-H"Content-Type:application/json"-u admin:admin\

-d'{"items":[{"address":"192.168.1.101"}]}'\

'http://ip:7180/api/v9/clusters/Cluster1/host'

与目前通过采用人工的方式向集群中添加服务器相比，本发明实施例通过预置接口函数，向集群中添加与所述服务器的标识信息对应的服务器，能够实现自动添加与所述服务器的标识信息对应的服务器，从而能够节省大量的管理人员大量的工作时间和工作量，进而能够提高在集群中添加服务器的效率。

203、在所述添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务。

对于本发明实施例，步骤203具体可以为：通过调用预置Rest API接口函数，在所述添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务。其中，所述预置Rest API接口函数的地址可以为：http://ip:7180/api/v9/clusters/Cluster1/services。

对于本发明实施例，步骤203具体可以为：获取分布式架构集群扩容请求中添加的服务器对应的分布式架构服务的标识信息，然后通过curl工具调用预置Rest API接口函数，在所述添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务。具体地，可以通过预置get_services函数获取新添加的服务器对应的分布式架构服务的标识信息。若所述服务器的标识信息和所述服务器对应的分布式架构服务的标识信息是以配置文件的形式存在，则可以通过预置read函数读取管理人员预设置的配置文件，然后通过预置get_services函数获取配置文件中的所述新添加的服务器对应的分布式架构服务的标识信息。

例如，若获取IP地址为192.168.1.102服务器对应的分布式架构服务为HDFS服务，HBASE服务，则在将IP地址为192.168.1.102的服务器添加到集群中后，在192.168.1.102的服务器上安装HDFS，HBASE。在192.168.1.102的服务器上安装HDFS服务可以通过伪代码实现，所述伪代码具体可以为：

$curl-X POST-H"Content-Type:application/json"-u admin:admin\

-d'{"items":[{"address":"192.168.1.101","type":"HDFS"}]}'

\'http://ip:7180/api/v9/clusters/Cluster1/services'

在192.168.1.102的服务器上安装HBASE服务的伪代码与在192.168.1.102的服务器上安装HDFS服务的伪代码类似，在此不再赘述。与目前通过采用人工的方式在新添加的服务器上安装分布式架构服务相比，本发明实施例通过预置接口函数，在新添加的服务器上安装分布式架构服务，能够实现自动在新添加的服务器上安装分布式架构服务，从而能够节省大量的管理人员大量的工作时间和工作量，进而能够提高在集群中添加服务器的效率。

进一步地，在分布式架构集群扩容时，可以将服务器配置文件、预置get_host函数、预置get_services函数、预置Rest API接口函数等封装在addhost.sh脚本中，然后通过linux的crontab服务定时触发调用addhost.sh脚本。

204、输出提示信息。

其中，所述提示信息用于提示分布式架构集群成功扩容。所述提示信息可以文字提示信息、音频提示信息，也可以为图片提示信息，本发明实施例不做限定。具体地，所述提示信息可以为提示分布式架构集群成功扩容文字提示信息、提示分布式架构集群成功扩容音频提示信息、提示分布式架构集群成功扩容图片提示信息等。通过输出用于提示分布式架构集群成功扩容的提示信息，可以保证管理人员获知分布式架构集群扩容的情况，从而能够提升用户体验。

对于本发明实施例，具体可以通过邮件程序接口输出提示信息、也可以通过短信程序接口形式输出提示信息，本发明实施例不做限定。由于通过邮件或者短信可以及时的联系上管理人员，因此，通过邮件程序接口或者短信程序接口输出提示信息，能够保证管理人员及时收到分布式架构集群成功扩容的消息，。若管理人员没有收到提示信息，则说明分布式架构集群扩容未成功，管理人员可以在时间方便的时候进行调整。

对于本发明实施例具体应用场景可以如下所示，但不限于此，包括：接收分布式架构集群扩容请求，所述请求中携带服务器1的IP地址：192.168.1.101，服务器1对应的分布式架构服务：HDFS服务，HBASE服务，HIVE服务。然后通过调用预置get_host函数获取服务器1的IP地址：192.168.1.101，通过调用Rest API接口函数向集群中添加服务器1。服务器1添加到集群后，通过预置get_services函数分别获取HDFS服务，HBASE服务，HIVE服务，然后通过调用Rest API接口函数分别在新添加服务器1上安装HDFS服务，HBASE服务，HIVE服务。此时，即完成分布式架构集群扩容。最后向管理人员发送提示信息，通过输出用于提示分布式架构集群成功扩容的提示信息，可以保证管理人员获知分布式架构集群扩容的情况，从而能够提升用户体验。与目前采用人工的方式进行分布式架构集群扩容相比，本发明实施例能够实现自动进行分布式架构集群扩容，从而能够提高分布式架构集群扩容的效率。

本发明实施例提供的另一种分布式架构集群扩容方法。首先接收分布式架构集群扩容请求后，其中，所述分布式架构集群扩容请求携带服务器的标识信息和所述服务器对应的分布式架构服务的标识信息；然后向集群中添加与所述服务器的标识信息对应的服务器；最后在所述添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务。与目前采用人工的方式进行分布式架构集群扩容相比，本发明实施例能够实现自动进行分布式架构集群扩容，从而能够提高分布式架构集群扩容的效率。

进一步地，本发明实施例提供了一种分布式架构集群扩容装置，如图3所示，所述装置包括：接收单元31、添加单元32、安装单元33。

接收单元31，可以用于接收分布式架构集群扩容请求，其中，所述分布式架构集群扩容请求携带服务器的标识信息和所述服务器对应的分布式架构服务的标识信息。

添加单元32，可以用于向集群中添加与所述接收单元31接收的服务器的标识信息对应的服务器。

安装单元33，可以用于在所述添加单元32添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务。

需要说明的是，本发明实施例提供的一种分布式架构集群扩容装置所涉及各功能单元的其他相应描述，可以参考图1所示方法的对应描述，在此不再赘述。

本发明实施例提供的一种分布式架构集群扩容装置。首先接收分布式架构集群扩容请求后，其中，所述分布式架构集群扩容请求携带服务器的标识信息和所述服务器对应的分布式架构服务的标识信息；然后向集群中添加与所述服务器的标识信息对应的服务器；最后在所述添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务。与目前采用人工的方式进行分布式架构集群扩容相比，本发明实施例能够实现自动进行分布式架构集群扩容，从而能够提高分布式架构集群扩容的效率。

进一步地，本发明实施例提供了另一种分布式架构集群扩容装置，如图4所示，所述装置包括：接收单元41、添加单元42、安装单元43。

接收单元41，可以用于接收分布式架构集群扩容请求，其中，所述分布式架构集群扩容请求携带服务器的标识信息和所述服务器对应的分布式架构服务的标识信息。

添加单元42，可以用于向集群中添加与所述接收单元41接收的服务器的标识信息对应的服务器。

安装单元43，可以用于在所述添加单元42添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务。

所述接收单元41，具体可以用于在预置时间段内，接收分布式架构集群扩容请求。

所述添加单元42，具体可以用于通过调用预置Rest API接口函数，向集群中添加与所述服务器的标识信息对应的服务器。

所述安装单元43，具体可以用于通过调用预置Rest API接口函数，在所述添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务。

所述装置还包括：输出单元44。

输出单元44，可以用于输出提示信息，所述提示信息用于提示分布式架构集群成功扩容。

需要说明的是，本发明实施例提供的另一种分布式架构集群扩容装置所涉及各功能单元的其他相应描述，可以参考图2所示方法的对应描述，在此不再赘述。

本发明实施例提供的另一种分布式架构集群扩容装置。首先接收分布式架构集群扩容请求后，其中，所述分布式架构集群扩容请求携带服务器的标识信息和所述服务器对应的分布式架构服务的标识信息；然后向集群中添加与所述服务器的标识信息对应的服务器；最后在所述添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务。与目前采用人工的方式进行分布式架构集群扩容相比，本发明实施例能够实现自动进行分布式架构集群扩容，从而能够提高分布式架构集群扩容的效率。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种分布式架构集群扩容方法，其特征在于，包括：

接收分布式架构集群扩容请求，其中，所述分布式架构集群扩容请求携带服务器的标识信息和所述服务器对应的分布式架构服务的标识信息；

向集群中添加与所述服务器的标识信息对应的服务器；

在所述添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务。

2.根据权利要求1所述的分布式架构集群扩容方法，其特征在于，所述接收分布式架构集群扩容请求包括：

在预置时间段内，接收分布式架构集群扩容请求。

3.根据权利要求1所述的分布式架构集群扩容方法，其特征在于，所述向集群添加所述服务器包括：

通过调用预置Rest API接口函数，向集群中添加与所述服务器的标识信息对应的服务器。

4.根据权利要求1所述的分布式架构集群扩容方法，其特征在于，所述在所述添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务包括：

通过调用预置Rest API接口函数，在所述添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务。

5.根据权利要求1所述的分布式架构集群扩容方法，其特征在于，所述在所述添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务之后，还包括：

输出提示信息，所述提示信息用于提示分布式架构集群成功扩容。

6.一种分布式架构集群扩容装置，其特征在于，包括：

接收单元，用于接收分布式架构集群扩容请求，其中，所述分布式架构集群扩容请求携带服务器的标识信息和所述服务器对应的分布式架构服务的标识信息；

添加单元，用于向集群中添加与所述接收单元接收的服务器的标识信息对应的服务器；

安装单元，用于在所述添加单元添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务。

7.根据权利要求6所述的分布式架构集群扩容装置，其特征在于，

所述接收单元，具体用于在预置时间段内，接收分布式架构集群扩容请求。

8.根据权利要求6所述的分布式架构集群扩容装置，其特征在于，

所述添加单元，具体用于通过调用预置Rest API接口函数，向集群中添加与所述服务器的标识信息对应的服务器。

9.根据权利要求6所述的分布式架构集群扩容装置，其特征在于，

所述安装单元，具体用于通过调用预置Rest API接口函数，在所述添加的服务器上安装与所述分布式架构服务的标识信息对应的分布式架构服务。

10.根据权利要求6所述的分布式架构集群扩容装置，其特征在于，所述装置还包括：

输出单元，用于输出提示信息，所述提示信息用于提示分布式架构集群成功扩容。