CN111641521A - 一种基于Ambari的云上部署大数据集群的方法 - Google Patents

一种基于Ambari的云上部署大数据集群的方法 Download PDF

Info

Publication number
CN111641521A
CN111641521A CN202010393403.2A CN202010393403A CN111641521A CN 111641521 A CN111641521 A CN 111641521A CN 202010393403 A CN202010393403 A CN 202010393403A CN 111641521 A CN111641521 A CN 111641521A
Authority
CN
China
Prior art keywords
deploying
node
ambari
big data
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010393403.2A
Other languages
English (en)
Other versions
CN111641521B (zh
Inventor
程铖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unicloud Technology Co Ltd
Original Assignee
Unicloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unicloud Technology Co Ltd filed Critical Unicloud Technology Co Ltd
Priority to CN202010393403.2A priority Critical patent/CN111641521B/zh
Publication of CN111641521A publication Critical patent/CN111641521A/zh
Application granted granted Critical
Publication of CN111641521B publication Critical patent/CN111641521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Stored Programmes (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供了一种基于Ambari的云上部署大数据集群的方法，包括以下步骤：S1、获取集群部署信息；S2、判断节点类型；S3、根据Setup info，部署server组件主节点；S4、在所有主机上部署agent组件；S5、根据Setup info部署需要的服务；S6、部署server组件的从节点，实现高可用配置；S7、同步及修改agent组件节点的元数据信息。本发明所述的server组件的高可用方式提高了***的可靠性与可用性；先部署服务再部署高可用，可降低环境资源的使用，在较恶劣的环境下，依然可以保持较高的部署成功率。

Description

一种基于Ambari的云上部署大数据集群的方法
技术领域
本发明属于大数据应用技术领域，尤其是涉及一种基于Ambari的云上部署大数据集群的方法。
背景技术
Ambari作为一款集成了主流大数据服务组件的开源软件，受到了很多互联网公司的青睐。他很好地解决了大数据各服务组件版本依赖问题，以及提供了一套十分稳定的大数据服务集群监控报警***。最完美的是他提供了一套web操作服务组件部署，极大地简化了普通安装需要手动修改配置等问题。然而云公司厂商在销售大数据服务时，不可能让用户去点击Ambari原生的界面来完成服务组件部署，而应当是让用户只关心所购买的主机、存储、网络以及需要的产品服务(Hadoop、Hive、Hbase等)点击支付后即可完成所有操作。.
目前大数据服务组件之间版本依赖性较强，组件越多，整个***越复杂， server组件的压力也就越大，非高可用模式下的server组件出现了问题，集群将不能再提供服务。另外，server组件的高可用配置后再部署服务，在某些环境中受网络、磁盘等限制，集群部署成功率较低。
发明内容
有鉴于此，本发明旨在提出一种基于Ambari的云上部署大数据集群的方法，以解决用户去点击Ambari原生的界面来完成服务组件部署问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于Ambari的云上部署大数据集群的方法，包括以下步骤：
S1、获取集群部署信息；
S2、判断节点类型；
S3、根据Setup info，部署server组件主节点；
S4、在所有主机上部署agent组件；
S5、根据Setup info部署需要的服务；
S6、部署server组件的从节点，实现高可用配置；
S7、同步及修改agent组件节点的元数据信息。
进一步的，所述步骤S2中判断节点类型的过程如下：读取配置文件，根据配置文件中host_type判断集群中各节点类型。
进一步的，所述步骤S2中节点类型分为master节点和core节点；
进一步的，所述master节点分为master1、master2，所述master1为主节点，master2为从节点。
进一步的，所述步骤S3中的server组件负责统筹、管理、及监控集群中各服务的状态及主机的运行状况。
进一步的，所述步骤S3中部署server组件主节点步骤如下：安装ambari 服务，然后启动ambari服务；配置集群管理组件，安装pacemaker、corosync 组件；根据实际配置环境，修改集群管理组件配置文件，然后重载配置文件，配置完成。
进一步的，所述步骤S4中的agent组件主要负责在集群节点上执行命令和上报状态。
进一步的，所述步骤S5中Setup info包括节点IP、节点类型、主从角色信息。
相对于现有技术，本发明所述的一种基于Ambari的云上部署大数据集群的方法具有以下优势：
本发明所述的部署方法，可以提高集群的可用性及稳定性；更改部署顺序，部署完agent组件后，先部署服务，再配置server组件的高可用，可以在较差的环境中成功部署集群，提高成功率。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的一种基于Ambari的云上部署大数据集群的方法流程图；
图2为本发明实施例所述的获取集群部署信息步骤结构图；
图3为本发明实施例所述的判断节点类型步骤结构图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
如图1至图3所示，一种基于Ambari的云上部署大数据集群的方法，包括以下步骤：
S1、获取集群部署信息；
S2、判断节点类型；
S3、根据Setup info，部署server组件主节点；
S4、在所有主机上部署agent组件；
S5、根据Setup info部署需要的服务；
S6、部署server组件的从节点，实现高可用配置；
S7、同步及修改agent组件节点的元数据信息。
如图2所示，所述步骤S2中判断节点类型的过程如下：读取配置文件，根据配置文件中host_type判断集群中各节点类型。
所述步骤S2中节点类型分为master节点和core节点；
所述master节点分为master1、master2，所述master1为主节点， master2为从节点；
如图3所示，host_type为'master'的节点，对应部署的组件为server。 'master1'为主节点，'master2'为从节点；
host_type为'analysis_core'的节点，对应部署的组件为agent。
所述步骤S3中的server组件负责统筹、管理、及监控集群中各服务的状态及主机的运行状况。
所述步骤S3中部署server组件主节点步骤如下：安装ambari服务，然后启动ambari服务；配置集群管理组件，安装pacemaker、corosync组件；根据实际配置环境，修改集群管理组件配置文件，然后重载配置文件，配置完成。
所述步骤S4中的agent组件主要负责在集群节点上执行命令和上报状态。
所述步骤S5中Setup info包括节点IP、节点类型、主从角色信息。
所述步骤S6中从节点部署方式和server组件的元数据与主节点完全一致，部署完成，从节点自动从主节点实时同步数据，待主节点故障后，集群主从可实现无缝切换，正常对外提供服务。
server组件的高可用集群通过VIP对外提供访问。
由于server组件实现了高可用，对外只暴露VIP，因此需要同步并修改 agent组件的元数据。
Ambari集群中server组件采用高可用方式，一主一从模式，主机停止服务后，从机自动提升为主，接管集群。后台服务程序根据前台传来的Setup info (节点ip，节点类型，主从角色等信息)，首先配置server组件主节点，然后远程登陆到各agent组件节点部署agent服务；agent组件部署后，部署所需的服务。最后，部署server组件的从节点，配置server组件的高可用。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于Ambari的云上部署大数据集群的方法，其特征在于包括以下步骤：
S1、获取集群部署信息；
S2、判断节点类型；
S3、根据Setup info，部署server组件主节点；
S4、在所有主机上部署agent组件；
S5、根据Setup info部署需要的服务；
S6、部署server组件的从节点，实现高可用配置；
S7、同步及修改agent组件节点的元数据信息。
2.根据权利要求1所述的一种基于Ambari的云上部署大数据集群的方法，其特征在于：所述步骤S2中判断节点类型的过程如下：读取配置文件，根据配置文件中host_type判断集群中各节点类型。
3.根据权利要求1所述的一种基于Ambari的云上部署大数据集群的方法，其特征在于：所述步骤S2中节点类型分为master节点和core节点。
4.根据权利要求3所述的一种基于Ambari的云上部署大数据集群的方法，其特征在于：所述master节点分为master1、master2，所述master1为主节点，master2为从节点。
5.根据权利要求1所述的一种基于Ambari的云上部署大数据集群的方法，其特征在于：所述步骤S3中的server组件负责统筹、管理、及监控集群中各服务的状态及主机的运行状况。
6.根据权利要求1所述的一种基于Ambari的云上部署大数据集群的方法，其特征在于：所述步骤S3中部署server组件主节点步骤如下：安装ambari服务，然后启动ambari服务；配置集群管理组件，安装pacemaker、corosync组件；根据实际配置环境，修改集群管理组件配置文件，然后重载配置文件，配置完成。
7.根据权利要求1所述的一种基于Ambari的云上部署大数据集群的方法，，其特征在于：所述步骤S4中的agent组件主要负责在集群节点上执行命令和上报状态。
8.根据权利要求1所述的一种基于Ambari的云上部署大数据集群的方法，，其特征在于：所述步骤S5中Setup info包括节点IP、节点类型、主从角色信息。
CN202010393403.2A 2020-05-11 2020-05-11 一种基于Ambari的云上部署大数据集群的方法 Active CN111641521B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010393403.2A CN111641521B (zh) 2020-05-11 2020-05-11 一种基于Ambari的云上部署大数据集群的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010393403.2A CN111641521B (zh) 2020-05-11 2020-05-11 一种基于Ambari的云上部署大数据集群的方法

Publications (2)

Publication Number Publication Date
CN111641521A true CN111641521A (zh) 2020-09-08
CN111641521B CN111641521B (zh) 2023-05-09

Family

ID=72332731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010393403.2A Active CN111641521B (zh) 2020-05-11 2020-05-11 一种基于Ambari的云上部署大数据集群的方法

Country Status (1)

Country Link
CN (1) CN111641521B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114039848A (zh) * 2021-09-30 2022-02-11 济南浪潮数据技术有限公司 一种实现InCloudInsight管理平台高可用的方法、装置及设备
CN114257512A (zh) * 2021-12-27 2022-03-29 以萨技术股份有限公司 一种实现ambari大数据平台高可用的方法及***
CN115396437A (zh) * 2022-08-24 2022-11-25 中电金信软件有限公司 一种集群搭建方法、装置、电子设备及存储介质
CN115562758A (zh) * 2022-11-10 2023-01-03 北京卓翼智能科技有限公司 一种云仿真平台部署方法、***、存储介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015184179A1 (en) * 2014-05-30 2015-12-03 Vmware, Inc. Customized configuration of cloud-based applications prior to deployment
CN106850260A (zh) * 2016-12-23 2017-06-13 曙光云计算技术有限公司 一种虚拟化资源管理平台的部署方法和装置
CN106843981A (zh) * 2017-02-06 2017-06-13 郑州云海信息技术有限公司 一种基于Apache Ambari的Hue服务自动化配置处理办法
CN107528751A (zh) * 2017-09-30 2017-12-29 南京卓盛云信息科技有限公司 一种动态分发Zabbix监控数据的***及其管理方法
CN108549717A (zh) * 2018-04-23 2018-09-18 泰华智慧产业集团股份有限公司 自动化部署运维Hadoop生态圈组件的方法及***
CN109104318A (zh) * 2018-08-23 2018-12-28 广东轩辕网络科技股份有限公司 用于实现集群自适应部署的方法、基于云平台的自适应部署大数据集群的部署方法及***
US20190087383A1 (en) * 2017-09-19 2019-03-21 Beijing Baidu Netcom Science And Technology Co., Ltd. Intelligent big data system, and method and apparatus for providing intelligent big data service
CN110880990A (zh) * 2019-11-29 2020-03-13 北京神州绿盟信息安全科技股份有限公司 一种大数据集群组件的配置核查方法、装置及计算设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015184179A1 (en) * 2014-05-30 2015-12-03 Vmware, Inc. Customized configuration of cloud-based applications prior to deployment
CN106850260A (zh) * 2016-12-23 2017-06-13 曙光云计算技术有限公司 一种虚拟化资源管理平台的部署方法和装置
CN106843981A (zh) * 2017-02-06 2017-06-13 郑州云海信息技术有限公司 一种基于Apache Ambari的Hue服务自动化配置处理办法
US20190087383A1 (en) * 2017-09-19 2019-03-21 Beijing Baidu Netcom Science And Technology Co., Ltd. Intelligent big data system, and method and apparatus for providing intelligent big data service
CN107528751A (zh) * 2017-09-30 2017-12-29 南京卓盛云信息科技有限公司 一种动态分发Zabbix监控数据的***及其管理方法
CN108549717A (zh) * 2018-04-23 2018-09-18 泰华智慧产业集团股份有限公司 自动化部署运维Hadoop生态圈组件的方法及***
CN109104318A (zh) * 2018-08-23 2018-12-28 广东轩辕网络科技股份有限公司 用于实现集群自适应部署的方法、基于云平台的自适应部署大数据集群的部署方法及***
CN110880990A (zh) * 2019-11-29 2020-03-13 北京神州绿盟信息安全科技股份有限公司 一种大数据集群组件的配置核查方法、装置及计算设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BALABALAYI: "AmbariServer高可用搭建指南", 《CSDN》 *
建康: "ambari-server主备搭建", 《CSDN》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114039848A (zh) * 2021-09-30 2022-02-11 济南浪潮数据技术有限公司 一种实现InCloudInsight管理平台高可用的方法、装置及设备
CN114257512A (zh) * 2021-12-27 2022-03-29 以萨技术股份有限公司 一种实现ambari大数据平台高可用的方法及***
CN115396437A (zh) * 2022-08-24 2022-11-25 中电金信软件有限公司 一种集群搭建方法、装置、电子设备及存储介质
CN115562758A (zh) * 2022-11-10 2023-01-03 北京卓翼智能科技有限公司 一种云仿真平台部署方法、***、存储介质及电子设备

Also Published As

Publication number Publication date
CN111641521B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN111641521B (zh) 一种基于Ambari的云上部署大数据集群的方法
CN107566165B (zh) 一种发现及部署电力云数据中心可用资源的方法及***
CN107800565B (zh) 巡检方法、装置、***、计算机设备和存储介质
CN109271170A (zh) 一种分布式***部署方法、***、电子设备及存储介质
CN111258627A (zh) 一种接口文档生成方法和装置
CN111064626B (zh) 配置更新方法、装置、服务器及可读存储介质
CN111858045A (zh) 一种多任务gpu资源调度方法、装置、设备及可读介质
CN106330546A (zh) 一种在私有云环境中应用集群部署的***和方法
CN105404530B (zh) 一种实现简易部署和使用私有云的***及方法
CN111147312B (zh) 资源配置的管理方法及装置、资源配置缓存的管理方法及装置、配置管理***
CN113079098B (zh) 路由更新的方法、装置、设备和计算机可读介质
CN114020572A (zh) 分布式告警方法及装置
CN116010111B (zh) 一种跨集群资源调度方法、***及终端设备
CN113992695B (zh) 网元设备间业务协同的方法和网元设备
CN110290163A (zh) 一种数据处理方法及装置
CN105681108A (zh) 一种实现配置同步的方法及设备
CN111064643B (zh) 一种节点服务器及其数据交互方法和相关装置
CN114070889B (zh) 配置方法、流量转发方法、设备、存储介质及程序产品
CN112799879B (zh) 节点的故障处理方法、装置、设备和存储介质
US11290318B2 (en) Disaster recovery of cloud resources
CN113824801A (zh) 一种智能融合终端统一接入管理组件***
CN112860379A (zh) 一种云平台上安装部署redis高可用的方法
CN111641680A (zh) 一种Ambari高可用集群的管理方法
CN112003731B (zh) 配置方法及装置
CN106411547B (zh) 一种redis调用监控方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant