CN111026414B

CN111026414B - 一种基于kubernetes的HDP平台部署方法

Info

Publication number: CN111026414B
Application number: CN201911288656.7A
Authority: CN
Inventors: 吴波; 范渊
Original assignee: DBAPPSecurity Co Ltd
Current assignee: DBAPPSecurity Co Ltd
Priority date: 2019-12-12
Filing date: 2019-12-12
Publication date: 2023-09-08
Anticipated expiration: 2039-12-12
Also published as: CN111026414A

Abstract

本申请公开了一种基于kubernetes的HDP平台部署方法、装置、设备及可读存储介质，包括：利用dockerfile生成HDP平台中服务组件的基础镜像，该基础镜像包括ambari服务；获取根据用户对服务组件的配置操作生成的yaml文件；在目标服务器搭建kubernetes服务，并利用kubernetes服务加载基础镜像和yaml文件，以实现HDP平台的部署。可见，本申请利用dockerfile根据基础服务ambari和HDP相关服务组件构建出基础镜像，通过安装前的配置动态生成各个服务组件的yaml文件，最终基于kubernetes实现HDP平台的自动化部署，显著提升HDP平台的部署效率。

Description

一种基于kubernetes的HDP平台部署方法

技术领域

本申请涉及计算机技术领域，特别涉及一种基于kubernetes的HDP平台部署方法、装置、设备及可读存储介质。

背景技术

HDP是一种开源的大数据平台，它提供了一个稳定，安全可靠的大数据平台，并且拥有部署、安装、配置、运维大数据集群的能力，应用广泛。

对于HDP使用最多的是部署和运维集群，在部署集群的时候，大多数人用的是blueprint方案。blueprint方案是提前规划好各个服务组件的数量以及配置，如datanode是3个，nodemager是6个等。然后安装的时候通过ambari-api应用此蓝图，就可以按照蓝图中设置的服务组件分配的方式进行安装大数据集群。

但是应用蓝图的过程中要保证服务所对应的节点必须已经存在。这样就会导致一个问题，如果服务组件数量是动态伸缩的，如应用蓝图的时候，又增加了一个datanode节点，就会导致使用blueprint方式安装变得不准确，给实施部署人员带来负担。

同时传统的HDP安装方式往往需要依赖于大量的***rpm包，对于不同的操作***又需要不同的HDP版本，这对实施人员来说是维护各个版本又是繁琐的工作量。

此外，HDP的管理依赖的ambari-server服务，以及HDP自身的大数据组件存在单点故障的问题，在物理服务器出现宕机的时候，整个集群将无法提供服务。

可见，如何对存在单点故障、动态节点数量的集群实现HDP平台的快速部署，是亟待本领域技术人员解决的问题。

发明内容

本申请的目的是提供一种基于kubernetes的HDP平台部署方法、装置、设备及可读存储介质，用以解决HDP平台存在单点故障，且动态节点数量的集群难以快速部署HDP平台的问题。其具体方案如下：

第一方面，本申请提供了一种基于kubernetes的HDP平台部署方法，包括：

利用dockerfile生成HDP平台中服务组件的基础镜像，所述基础镜像包括ambari服务；

获取根据用户对所述服务组件的配置操作生成的yaml文件；

在目标服务器搭建kubernetes服务，并利用所述kubernetes服务加载所述基础镜像和所述yaml文件，以实现HDP平台的部署。

优选的，在所述利用所述kubernetes服务加载所述基础镜像和所述yaml文件，以实现HDP平台的部署之前，还包括：

安装rook-ceph，以作为HDP平台的共享存储。

优选的，所述利用dockerfile生成HDP平台中服务组件的基础镜像，包括：

利用dockerfile生成HDP平台中服务组件的基础镜像，所述基础镜像包括容器密码和容器目标属性，所述容器目标属性为同一基础镜像对应的容器之间彼此免密。

优选的，在所述利用dockerfile生成HDP平台中服务组件的基础镜像之后，还包括：

修改容器的默认配置文件，将所述容器的存储类型修改为overlay2，并将所述容器的元数据存储目录设置为单独的分区目录。

在所述容器的初始化启动指令中增加ambari服务的启动指令。

优选的，所述利用所述kubernetes服务加载所述基础镜像和所述yaml文件，以实现HDP平台的部署，包括：

根据所述基础镜像和所述yaml文件创建pod，通过kubernetes服务利用所述pod启动ambari服务，并调用ambari服务的API接口启动HDP平台的服务组件，以实现HDP平台的部署。

第二方面，本申请提供了一种基于kubernetes的HDP平台部署装置，包括：

基础镜像生成模块：用于利用dockerfile生成HDP平台中服务组件的基础镜像，所述基础镜像包括ambari服务；

文件获取模块：用于获取根据用户对所述服务组件的配置操作生成的yaml文件；

部署模块：用于在目标服务器搭建kubernetes服务，并利用所述kubernetes服务加载所述基础镜像和所述yaml文件，以实现HDP平台的部署。

优选的，所述部署模块用于：

第三方面，本申请提供了一种基于kubernetes的HDP平台部署设备，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序，以实现如上所述的一种基于kubernetes的HDP平台部署方法的步骤。

第四方面，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的一种基于kubernetes的HDP平台部署方法的步骤。

本申请所提供的一种基于kubernetes的HDP平台部署方法，包括：利用dockerfile生成HDP平台中服务组件的基础镜像，该基础镜像包括ambari服务；获取根据用户对服务组件的配置操作生成的yaml文件；在目标服务器搭建kubernetes服务，并利用kubernetes服务加载基础镜像和yaml文件，以实现HDP平台的部署。可见，该方法利用dockerfile根据基础服务ambari和HDP相关服务组件构建出基础镜像，通过安装前的配置动态生成各个服务组件的yaml文件，最终基于kubernetes实现HDP平台的自动化部署，显著提升了HDP平台的部署效率。由于kubernetes具备高可用性的特点，适用于集群节点数量动态变化的场景，且通过ambari服务避免了单点故障的问题，提升了平台可靠性。

此外，本申请还提供了一种基于kubernetes的HDP平台部署装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应，这里不再赘述。

附图说明

为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请所提供的一种基于kubernetes的HDP平台部署方法实施例一的实现流程图；

图2为本申请所提供的一种基于kubernetes的HDP平台部署方法实施例二的实现流程图；

图3为本申请所提供的一种基于kubernetes的HDP平台部署装置实施例的功能框图；

图4为本申请所提供的一种基于kubernetes的HDP平台部署设备实施例的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的核心是提供一种基于kubernetes的HDP平台部署方法、装置、设备及可读存储介质，利用dockerfile根据基础服务ambari和HDP相关服务组件构建出基础镜像，通过安装前的配置动态生成各个服务组件的yaml文件，最终基于kubernetes实现HDP平台的自动化部署，显著提升HDP平台的部署效率。

下面对本申请提供的一种基于kubernetes的HDP平台部署方法实施例一进行介绍，参见图1，实施例一包括：

S101、利用dockerfile生成HDP平台中服务组件的基础镜像，所述基础镜像包括ambari服务；

S102、获取根据用户对所述服务组件的配置操作生成的yaml文件；

S103、在目标服务器搭建kubernetes服务，并利用所述kubernetes服务加载所述基础镜像和所述yaml文件，以实现HDP平台的部署。

本实施例用于实现HDP平台的部署，具体部署内容包括HDP平台的相关服务组件，如hdfs、hbase、zookeeper、kafka、spark、flink、storm等，还包括基础服务ambari，其中ambari是大数据平台的监控管理工具。

本实施例基于kubernetes服务实现，kubernetes服务是一种开源的容器集群管理***，其提供应用部署、维护、扩展机制等功能，利用kubernetes服务能方便地管理跨机器运行容器化的应用，一般的，利用kubernetes服务管理pod并在pod中执行特定的需要隔离环境的任务。其中，pod是kubernetes服务的基本操作单元，也是应用运行的载体。一般的，pod包括一个或多个容器，单个pod是一个隔离体，但是pod内部包含的容器之间彼此共享。

容器是轻量级的操作***级虚拟化，可以在一个资源隔离的进程中运行应用及其依赖项，运行应用程序所必需的组件都将打包成一个镜像并可以复用。具体的，本实施例采用dockerfile生成HDP平台中服务组件的基础镜像，依赖基础镜像来运行容器。其中dockerfile是一种被Docker程序解释的脚本，一般包括四部分信息：基础镜像信息、维护者信息、镜像操作指令和容器启动时执行指令。可以理解的是，本实施例中容器启动的执行指令包括ambari服务的启动指令。

上述基础镜像用于描述HDP平台中服务组件，本实施例运行用户对HDP平台中服务组件进行相应的配置操作。在实际实施过程中，根据用户对服务组件的配置操作生成相应的yaml文件，通过yaml文件，可以在pod中设置服务组件的以下任意一项或多项配置信息：启动命令、环境变量、Host网络、数据持久化、重启策略。

最终，kubernetes服务根据基础镜像和yaml文件创建pod，并将pod调度到集群的目标服务器上，利用pod启动ambari服务，并调用ambari服务的API接口启动HDP平台的服务组件，以实现HDP平台的部署。

本实施例所提供一种基于kubernetes的HDP平台部署方法，包括：利用dockerfile生成HDP平台中服务组件的基础镜像，该基础镜像包括ambari服务；获取根据用户对服务组件的配置操作生成的yaml文件；在目标服务器搭建kubernetes服务，并利用kubernetes服务加载基础镜像和yaml文件，以实现HDP平台的部署。可见，该方法利用dockerfile根据基础服务ambari和HDP相关服务组件构建出基础镜像，通过安装前的配置动态生成各个服务组件的yaml文件，最终基于kubernetes实现HDP平台的自动化部署，显著提升了HDP平台的部署效率。由于kubernetes具备高可用性的特点，适用于集群节点数量动态变化的场景，且通过ambari服务避免了单点故障的问题，提升了平台可靠性。

下面开始详细介绍本申请提供的一种基于kubernetes的HDP平台部署方法实施例二，实施例二基于前述实施例一实现，并在实施例一的基础上进行了一定程度上的拓展。

参见图2，实施例二具体包括：

S201、利用dockerfile生成HDP平台中服务组件的基础镜像，所述基础镜像包括ambari服务，还包括容器密码和容器目标属性，所述容器目标属性为同一基础镜像对应的容器之间彼此免密；

上述过程包括：添加基础rpm包，安装基础rpm包。本实施例的基础镜像集成了ambari-server和ambari-agent，在制作基础镜像的时候设置了容器密码以及自我免密的属性，这样基于同一个镜像出来的所有容器都是互相免密的。

S202、在所述容器的初始化启动指令中增加ambari服务的启动指令；

S203、修改容器的默认配置文件，将所述容器的存储类型修改为overlay2，并将所述容器的元数据存储目录设置为单独的分区目录；

默认的配置文件会把docker的元数据存储在/var/lib/docker目录，本实施例则修改容器的默认配置文件，将元数据目录放到单独的分区目录中。同时，修改docker的默认存储类型，让其使用更高效稳定的overlay2存储。

S204、获取根据用户对所述服务组件的配置操作生成的yaml文件；

yaml文件可理解为服务组件的蓝图文件，服务按照yaml文件中的设置进行创建实例，配置等。以namenode.yaml为例：设置namenode的映射端口、StatefulSet配置、共享存储等。

作为一种具体的实施方式，前述基础镜像同时包含了ambari-server和ambari-agent，但是，在yaml文件中设置只有一个pod需要启动ambari-server，其他的都只启动ambari-agent，避免额外再写一个基础镜像占用空间。

S205、安装rook-ceph，以作为HDP平台的共享存储；

rook-ceph是实现有状态服务必不可少的共享存储，本实施例将rook-ceph作为kubernetes服务底层持久化动态存储的网络盘方案，将HDP平台中有状态的分布式服务或自定义服务持久化存储到ceph中，避免宕机丢失数据。

S206、在目标服务器搭建kubernetes服务，根据所述基础镜像和所述yaml文件创建pod，通过kubernetes服务利用所述pod启动ambari服务，并调用ambari服务的API接口启动HDP平台的服务组件，以实现HDP平台的部署。

作为一种具体的实施方式，通过自动化脚本实现以下过程：

1、安装docker及配置，yum install-y docker*.rpm；

2、安装kubernetes服务环境及配置，rke up--config cluster.yml；

3、安装rook-ceph以及设置，kubectl create-f rook/common.yaml，operator.yaml,cluster.yaml；

4、导入基础镜像，docker load-i base.tar.gz；

5、创建HDP平台服务，kubectl create-f namenode.yaml，kafka.yaml，zookeeper.yaml；

6、pod中的容器初始化启动ambari-server或ambari-agent服务，然后调用yaml文件完成集群的安装。

可见，本实施例提供的一种基于kubernetes的HDP平台部署方法，利用dockerfile将运行所需要的基础服务ambari和HDP相关服务构建出基础镜像；将rook-ceph作为kubernetes服务底层持久化动态存储的网络盘方案，将HDP中有状态的分布式服务或自定义服务持久化存储到ceph中；通过安装前的配置动态生成各个服务的yaml文件，通过服务各自的yaml文件创建出服务响应的pod，在pod中自动启动ambari相关进程，每个pod启动之后会自动调用ambari-server的API接口自动启动当前pod中所对应的服务，从而实现基于kubernetes的HDP平台部署方法，一键式自动化部署，显著提升部署效率。

下面对本申请实施例提供的一种基于kubernetes的HDP平台部署装置进行介绍，下文描述的一种基于kubernetes的HDP平台部署装置与上文描述的一种基于kubernetes的HDP平台部署方法可相互对应参照。

如图3所示，该装置包括：

基础镜像生成模块301：用于利用dockerfile生成HDP平台中服务组件的基础镜像，所述基础镜像包括ambari服务；

文件获取模块302：用于获取根据用户对所述服务组件的配置操作生成的yaml文件；

部署模块303：用于在目标服务器搭建kubernetes服务，并利用所述kubernetes服务加载所述基础镜像和所述yaml文件，以实现HDP平台的部署。

在一些具体的实施例中，所述部署模块用于：

本实施例的基于kubernetes的HDP平台部署装置用于实现前述的基于kubernetes的HDP平台部署方法，因此该装置中的具体实施方式可见前文中的基于kubernetes的HDP平台部署方法的实施例部分，例如，基础镜像生成模块301、文件获取模块302、部署模块303，分别用于实现上述基于kubernetes的HDP平台部署方法中步骤S101，S102，S103。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。

另外，由于本实施例的基于kubernetes的HDP平台部署装置用于实现前述的基于kubernetes的HDP平台部署方法，因此其作用与上述方法的作用相对应，这里不再赘述。

此外，本申请还提供了一种基于kubernetes的HDP平台部署设备，如图4所示，包括：

存储器100：用于存储计算机程序；

处理器200：用于执行所述计算机程序，以实现如上文所述的一种基于kubernetes的HDP平台部署方法的步骤。

最后，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上文所述的一种基于kubernetes的HDP平台部署方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种基于kubernetes的HDP平台部署方法，其特征在于，包括：

获取根据用户对所述服务组件的配置操作生成的yaml文件；

在目标服务器搭建kubernetes服务，并利用所述kubernetes服务加载所述基础镜像和所述yaml文件，以实现HDP平台的部署；

其中，在所述利用所述kubernetes服务加载所述基础镜像和所述yaml文件，以实现HDP平台的部署之前，还包括：安装rook-ceph，以作为HDP平台的共享存储。

2.如权利要求1所述的方法，其特征在于，所述利用dockerfile生成HDP平台中服务组件的基础镜像，包括：

3.如权利要求2所述的方法，其特征在于，在所述利用dockerfile生成HDP平台中服务组件的基础镜像之后，还包括：

4.如权利要求3所述的方法，其特征在于，在所述利用dockerfile生成HDP平台中服务组件的基础镜像之后，还包括：

在所述容器的初始化启动指令中增加ambari服务的启动指令。

5.如权利要求1所述的方法，其特征在于，所述利用所述kubernetes服务加载所述基础镜像和所述yaml文件，以实现HDP平台的部署，包括：

6.一种基于kubernetes的HDP平台部署装置，其特征在于，包括：

部署模块：用于在目标服务器搭建kubernetes服务，并利用所述kubernetes服务加载所述基础镜像和所述yaml文件，以实现HDP平台的部署；

其中，所述基于kubernetes的HDP平台部署装置还用于：在所述利用所述kubernetes服务加载所述基础镜像和所述yaml文件，以实现HDP平台的部署之前，还包括：安装rook-ceph，以作为HDP平台的共享存储。

7.如权利要求6所述的装置，其特征在于，所述部署模块用于：

8.一种基于kubernetes的HDP平台部署设备，其特征在于，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序，以实现如权利要求1-5任意一项所述的一种基于kubernetes的HDP平台部署方法的步骤。

9.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1-5任意一项所述的一种基于kubernetes的HDP平台部署方法的步骤。