CN108549717A - 自动化部署运维Hadoop生态圈组件的方法及*** - Google Patents
自动化部署运维Hadoop生态圈组件的方法及*** Download PDFInfo
- Publication number
- CN108549717A CN108549717A CN201810368206.8A CN201810368206A CN108549717A CN 108549717 A CN108549717 A CN 108549717A CN 201810368206 A CN201810368206 A CN 201810368206A CN 108549717 A CN108549717 A CN 108549717A
- Authority
- CN
- China
- Prior art keywords
- host
- node
- script
- cluster
- hadoop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Stored Programmes (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种自动化部署运维Hadoop生态圈组件的方法及***。该方法包括:选取一台主机作为主节点,剩余主机作为从节点;主节点上生成单节点配置功能脚本;根据单节点配置功能脚本生成单节点环境配置脚本;主节点上执行单节点环境配置脚本;主节点执行集群免密登录脚本;主节点调用远程分发脚本将单节点环境配置脚本分发到从节点上;主节点控制从节点执行单节点环境配置脚本;主节点调用yum源配置脚本;主节点执行部署安装脚本,主节点和从节点上安装Hadoop生态圈组件;主节点执行预置的管理启动脚本对Hadoop生态圈组件进行停止、启动和重启的管理操作。本发明通过自动化脚本代替人工部署配置,增加大规模部署Hadoop生态圈组件的效率,同时后期运维简单。
Description
技术领域
本发明涉及计算机应用技术领域,更具体地,涉及一种自动化部署运维Hadoop生态圈组件的方法及***。
背景技术
随着互联网大数据技术的不断应用普及,数据量正在呈指数级增长,大约每两年翻一番,这意味着在最近两年产生的数据量相较于之前产生的全部数据之和还要多,对于如此巨量数据与之相关的存储、分析、流转等等环节产生了一系列关联的问题,由此大数据平台应运而生。Hadoop已经成为目前大数据处理的数据平台的重要组成部分。随着业务量的增长和业务数据量的增长,在上百台甚至上千上万台集群规模下,需部署Hadoop的机器成千上万后,单纯依靠手动部署已经是不可能。当然目前也出现了很多自动化部署***辅助部署,但是需要额外去购买部署,成本比较高。因此如何合理的规划和部署Hadoop集群、如何高效率使用维护Hadoop生态圈组件,就显得尤为重要。
因此,提供一种自动化部署运维Hadoop生态圈组件的方法及***,实现集群内自动化部署运维Hadoop生态圈组件是本领域亟待解决的问题。
发明内容
有鉴于此,本发明提供了一种自动化部署运维Hadoop生态圈组件的方法及***,解决了集群内自动化部署运维Hadoop生态圈组件的技术问题。
为了解决上述技术问题,一方面,本发明提出一种自动化部署运维Hadoop生态圈组件的方法,包括:
选取集群中的一台主机作为主节点,所述集群内剩余主机作为从节点;
所述主节点调取预置的配置环境方法脚本,所述配置环境方法脚本根据部署环境的要求生成多个单节点配置功能脚本,其中,所述部署环境为所述集群内主机的工作环境,所述集群内的主机执行一个所述单节点配置功能脚本,能够满足部署Hadoop生态圈组件的一个基础功能;
根据多个所述单节点配置功能脚本之间的先后执行顺序生成单节点环境配置脚本,所述集群内的主机执行所述单节点环境配置脚本,能够满足部署Hadoop生态圈组件的环境要求;
在所述主节点上执行所述单节点环境配置脚本,使所述主节点满足部署Hadoop生态圈组件的环境要求,其中,执行所述单节点环境配置脚本后所述主节点的防火墙关闭;
所述主节点执行预置的集群免密登录脚本,实现所述集群内所有主机之间脚本文件及消息的传输;
所述主节点调用预置的远程分发脚本,将所述单节点环境配置脚本分发到所述从节点上;
所述主节点向所述从节点发送启动所述单节点环境配置脚本的指令,远程控制所述从节点执行所述单节点环境配置脚本,其中,执行所述单节点环境配置脚本后所述从节点的防火墙关闭;
所述从节点将所述单节点环境配置脚本的执行状态发送到日志文件中保存;
所述单节点配置功能脚本包括yum源配置脚本,所述主节点调用所述yum源配置脚本,在所述主节点上配置yum源,采用HTTP方式向所述从节点共享同一个所述yum源,其中,所述yum源包括Hadoop生态圈组件的安装包;
所述主节点执行预置的部署安装脚本,所述主节点调用所述yum源中的所述Hadoop生态圈组件的安装包,在所述主节点上安装Hadoop生态圈组件,同时,所述主节点向所述从节点发送部署安装的指令,所述从节点调用所述yum源中的所述Hadoop生态圈组件的安装包,在所述从节点上安装Hadoop生态圈组件;
所述主节点将所述部署安装脚本的执行状态发送到所述日志文件中保存;
所述集群内的主机将各自的运行状态及安装的Hadoop生态圈组件的运行状态进行展示;
所述主节点执行预置的管理启动脚本对所述集群内的主机及主机内安装的Hadoop生态圈组件进行停止、启动和重启的管理操作。
可选的,所述主节点向所述从节点发送启动所述单节点环境配置脚本的指令,远程控制所述从节点执行所述单节点环境配置脚本的步骤进一步包括:
所述主节点调用远程维护工具向所述从节点批量发送启动所述单节点环境配置脚本的指令,所述主节点远程批量控制所述从节点执行所述单节点环境配置脚本。
可选的,所述远程维护工具包括mussh、pdsh或者pssh。
可选的,所述方法还包括:所述主节点调用所述远程维护工具,在所述集群内增加或者去除主机、处理所述集群内主机及主机内Hadoop生态圈组件的异常运行状态。
可选的,所述单节点配置功能脚本包括:禁用SElinux策略脚本、禁用TransparentHuge Pages脚本、目录默认访问权限配置脚本、修改linux最大文件句柄数脚本和解压安装JDK工具包,修改环境变量及配置文件内容。
为了解决上述问题,另一方面,本发明还提供一种自动化部署运维Hadoop生态圈组件的***,所述***包括多台主机组成的集群,所述集群内的主机通过网络相连接,所述集群包括一台主节点主机和多台从节点主机,其中,
所述主节点主机包括存储器和处理器,其中,
所述存储器用于存储集群免密登录脚本、配置环境方法脚本、单节点环境配置脚本、远程分发脚本、yum源配置脚本、部署安装脚本、管理启动脚本和日志文件;
所述处理器包括部署模块和运维模块;
所述部署模块包括:单节点配置功能脚本生成模块、单节点环境配置脚本生成模块、主节点主机环境配置模块、免密登录模块、远程分发模块、环境配置执行模块、yum源配置模块、安装模块;
所述单节点配置功能脚本生成模块分别与所述存储器和所述单节点环境配置脚本生成模块相连接,从所述存储器调取所述配置环境方法脚本,所述配置环境方法脚本根据部署环境的要求生成多个单节点配置功能脚本,并将所述单节点配置功能脚本发送到所述单节点环境配置脚本生成模块,其中,所述部署环境为所述集群内主机的工作环境,所述集群内的主机执行一个所述单节点配置功能脚本,能够满足部署Hadoop生态圈组件的一个基础功能;
所述单节点环境配置脚本生成模块分别与所述单节点配置功能脚本生成模块和所述存储器相连接,用于根据多个所述单节点配置功能脚本之间的先后执行顺序生成所述单节点环境配置脚本,并将所述单节点环境配置脚本发送到所述存储器存储,其中,所述集群内的主机执行所述单节点环境配置脚本,能够满足部署Hadoop生态圈组件的环境要求;
所述主节点主机环境配置模块与所述存储器相连接,用于调取所述单节点环境配置脚本,在所述主节点主机上执行所述单节点环境配置脚本,使所述主节点主机满足部署Hadoop生态圈组件的环境要求,其中,执行所述单节点环境配置脚本后所述主节点主机的防火墙关闭;
所述免密登录模块与所述存储器相连接,所述免密登录模块从所述存储器调取所述集群免密登录脚本,所述主节点主机执行所述集群免密登录脚本,实现所述集群内所有主机之间脚本文件及消息的传输;所述远程分发模块分别与所述存储器和所述从节点主机相连接,用于从所述存储器获取所述远程分发脚本和所述单节点环境配置脚本,执行所述远程分发脚本将所述单节点环境配置脚本发送到所述从节点主机上;
所述环境配置执行模块与所述从节点主机相连接,用于向所述从节点主机发送启动所述单节点环境配置脚本的指令,远程控制所述从节点主机执行所述单节点环境配置脚本,其中,执行所述单节点环境配置脚本后所述从节点主机的防火墙关闭;
所述yum源配置模块分别与所述存储器和所述从节点主机相连接,用于从所述存储器获取所述yum源配置脚本,在所述主节点主机上配置yum源,采用HTTP方式向所述集群内的主机共享同一个所述yum源,其中,所述yum源包括Hadoop生态圈组件的安装包;
所述安装模块分别与所述存储器和所述从节点主机相连接,用于从所述存储器获取所述部署安装脚本,在所述主节点主机上执行所述部署安装脚本,所述主节点主机调用所述yum源中的所述Hadoop生态圈组件的安装包,在所述主节点主机上安装Hadoop生态圈组件,同时,所述主节点主机向所述从节点主机发送部署安装的指令;所述从节点主机调用所述yum源中的所述Hadoop生态圈组件的安装包,在所述从节点主机上安装Hadoop生态圈组件;
所述运维模块包括:日志存储模块、界面展示模块和管理启动模块;
所述日志存储模块分别与所述存储器和所述集群内的主机相连接,用于获取所述从节点主机上所述单节点环境配置脚本的执行状态和主节点主机上所述部署安装脚本的执行状态生成所述日志文件,并将所述日志文件发送到所述存储器存储;
所述界面展示模块,用于展示所述集群内的主机各自的运行状态及安装的Hadoop生态圈组件的运行状态;
所述管理启动模块,用于对所述集群内的主机及主机内安装的Hadoop生态圈组件进行停止、启动和重启的管理操作。
可选的,所述环境配置执行模块包括远程维护工具,所述主节点主机调用所述远程维护工具向所述从节点主机批量发送启动所述单节点环境配置脚本的指令,所述主节点主机远程批量控制所述从节点主机执行所述单节点环境配置脚本。
可选的,所述远程维护工具包括mussh、pdsh或者pssh。
可选的,所述运维模块还包括调用所述远程维护工具,在所述集群内增加或者去除主机、处理所述集群内主机及主机内Hadoop生态圈组件的异常运行状态。
可选的,所述单节点配置功能脚本包括:禁用SElinux策略脚本、禁用TransparentHuge Pages脚本、目录默认访问权限配置脚本、修改linux最大文件句柄数脚本和解压安装JDK工具包,修改环境变量及配置文件内容。
与现有技术相比,本发明的自动化部署运维Hadoop生态圈组件的方法及***,实现了如下的有益效果:
本发明提供的方法能够实现对集群自动化部署Hadoop生态圈组件,通过预置的各种自动化脚本代替人工部署配置,能够快速安装,调用简单,免去学习安装专业部署***的工作。同时,在大规模集群情况下免去了手动部署运维的复杂工作,能够明显节约人力成本,增加大规模部署Hadoop生态圈组件的部署效率。并且本方法通过主节点执行管理启动脚本,就能够实现对Hadoop生态圈组件的基础的运行维护管理,后期运行维护简单。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1为本发明实施例1提供的自动化部署运维Hadoop生态圈组件的方法流程图;
图2为本发明实施例3提供的自动化部署运维Hadoop生态圈组件的***的框图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
实施例1
本发明提供一种自动化部署运维Hadoop生态圈组件的方法,能够实现集群内的主机自动化部署运维Hadoop生态圈组件,图1为本发明实施例1提供的自动化部署运维Hadoop生态圈组件的方法流程图。如图1所示,本发明提供的方法包括:
步骤S101:选取集群中的一台主机作为主节点,所述集群内剩余主机作为从节点;
步骤S102:所述主节点调取预置的配置环境方法脚本,所述配置环境方法脚本根据部署环境的要求生成多个单节点配置功能脚本,其中,所述部署环境为所述集群内主机的工作环境,所述集群内的主机执行一个所述单节点配置功能脚本,能够满足部署Hadoop生态圈组件的一个基础功能;例如可以是关闭防火墙、设置主机的访问权限等。
步骤S103:根据多个所述单节点配置功能脚本之间的先后执行顺序生成单节点环境配置脚本,所述集群内的主机执行所述单节点环境配置脚本,能够满足部署Hadoop生态圈组件的环境要求。
单节点配置功能脚本可以根据实际生产环境,对脚本进行逻辑顺序的修改生成单节点环境配置脚本。例如实际生产环境中的JDK版本符合部署hadoop生态圈组件的要求,就可以将包含解压安装JDK工具包,配置***环境变量的单节点配置功能脚本屏蔽掉,形成针对于当前实际环境的单节点环境配置脚本。
步骤S104:在所述主节点上执行所述单节点环境配置脚本,使所述主节点满足部署Hadoop生态圈组件的环境要求,其中,执行所述单节点环境配置脚本后所述主节点的防火墙关闭;该步骤首先的主节点上执行单节点环境配置脚本,保证主节点满足部署的环境要求,其中需要包括关闭主节点上的防火墙,以便后续步骤的执行。
步骤S105:所述主节点执行预置的集群免密登录脚本,实现所述集群内所有主机之间脚本文件及消息的传输。该步骤后能够实现集群内主机通过SSH协议实现免密码登录功能,形成互联互通的集群,保证各个节点之间文件或者数据的传输。
步骤S106:所述主节点调用预置的远程分发脚本,将所述单节点环境配置脚本分发到所述从节点上。该步骤需要保证在主节点上执行集群免密登录脚本之后才能进行。
步骤S107:所述主节点向所述从节点发送启动所述单节点环境配置脚本的指令,远程控制所述从节点执行所述单节点环境配置脚本,其中,执行所述单节点环境配置脚本后所述从节点的防火墙关闭。各个主机上的防火墙均关闭后,避免集群内Hadoop生态圈组件通讯存在限制问题,保证在部署安装过程中,从节点能够从主节点调用yum源中的安装包。
步骤S108:所述从节点将所述单节点环境配置脚本的执行状态发送到日志文件中保存,该步骤将执行状态保存,便于及时发现运行问题,如执行失败可进行问题定位排查等工作,也有利于后期的维护。
步骤S109:所述单节点配置功能脚本包括yum源配置脚本,所述主节点调用所述yum源配置脚本,在所述主节点上配置yum源,采用HTTP方式向所述从节点共享同一个所述yum源,其中,所述yum源包括Hadoop生态圈组件的安装包。可选的,Hadoop生态圈组件包括Yarn,Hbase,Hive,Pig,Zookeeper,Spark等大数据组件。
步骤S110:所述主节点执行预置的部署安装脚本,所述主节点调用所述yum源中的所述Hadoop生态圈组件的安装包,在所述主节点上安装Hadoop生态圈组件,同时,所述主节点向所述从节点发送部署安装的指令,所述从节点调用所述yum源中的所述Hadoop生态圈组件的安装包,在所述从节点上安装Hadoop生态圈组件。从而完成集群内自动化部署Hadoop生态圈组件。
可以采用HTTP方式执行预置的部署安装脚本,将主节点作为namenode节点,从节点作为datenode节点,实现对集群内各个主机安装Hadoop生态圈组件。执行预置的部署安装脚本,也可以采用调用第三方工具的方式实现调用原生安装包,第三方工具可以是ambari。
步骤S111:所述主节点将所述部署安装脚本的执行状态发送到所述日志文件中保存。通过调用日志文件可以查看Hadoop及其生态圈组件安装状态及结果。
步骤S112:所述集群内的主机将各自的运行状态及安装的Hadoop生态圈组件的运行状态进行展示。可以通过集群主机上的管理工具界面查看各个节点运行状态,监控集群内主机资源使用情况及健康状态。管理工具界面可以是Hadoop原生管理界面,或者为ambari管理界面,当节点进程停止或非正常运行时可通过管理工具界面进行监控。
步骤S113:所述主节点执行预置的管理启动脚本对所述集群内的主机及主机内安装的Hadoop生态圈组件进行停止、启动和重启的管理操作。实现对Hadoop生态圈组件的基础运行管理。
本发明提供的自动化部署运维Hadoop生态圈组件的方法,选取集群中一台主机作为主节点,在主节点上通过预置的配置环境方法脚本根据部署环境的要求生成单节点配置功能脚本,然后根据多个单节点配置功能脚本之间的逻辑关系生成单节点环境配置脚本,首先在主节点上执行单节点环境配置脚本,保证主节点满足部署Hadoop生态圈组件的环境要求;然后主节点执行预置的集群免密登录脚本,实现所述集群内所有主机之间脚本文件及消息的传输;然后主节点通过调用预置的远程分发脚本,将所述单节点环境配置脚本分发到所述从节点上,并远程控制从节点执行单节点环境配置脚本,实现从节点满足部署Hadoop生态圈组件的环境要求;主节点通过执行yum源配置脚本,在主节点上配置yum源;在主节点执行部署安装脚本过程中,集群内的各个节点都能够从yum源调取Hadoop生态圈组件的安装包,从而实现在各个节点上安装Hadoop生态圈组件;主节点执行预置的管理启动脚本能够实现对集群内安装的Hadoop生态圈组件进行停止、启动和重启的管理操作。
本发明提供的方法能够实现对集群自动化部署Hadoop生态圈组件,通过预置的各种自动化脚本代替人工部署配置,能够快速安装,调用简单,免去学习安装专业部署***的工作。同时,在大规模集群情况下免去了手动部署运维的复杂工作,能够明显节约人力成本,增加大规模部署Hadoop生态圈组件的部署效率。并且本方法通过主节点执行管理启动脚本,就能够实现对Hadoop生态圈组件的基础的运行维护管理,后期运行维护简单。
实施例2
本发明实施例2提供一种自动化部署运维Hadoop生态圈组件的方法,该方法包括:
选取集群中的一台主机作为主节点,所述集群内剩余主机作为从节点;
所述主节点调取预置的配置环境方法脚本,所述配置环境方法脚本根据部署环境的要求生成多个单节点配置功能脚本,其中,所述部署环境为所述集群内主机的工作环境,所述集群内的主机执行一个所述单节点配置功能脚本,能够满足部署Hadoop生态圈组件的一个基础功能;
其中,所述单节点配置功能脚本包括:禁用SElinux策略脚本、禁用TransparentHuge Pages脚本、目录默认访问权限配置脚本、修改linux最大文件句柄数脚本和解压安装JDK工具包。其中,节点上执行禁用SElinux策略脚能够避免***服务和Hadoop生态圈组件不兼容的情况发生;节点上执行禁用Transparent Huge Pages脚本,可减少了TranslationLookaside Buffer(TLB)使用larger memory pages时的寻址开销能够发挥集群配置的高性能;节点上执行目录默认访问权限配置脚本,如将/etc/profile目录设置当前用户及用户所在组为读写权限,可保证Hadoop生态圈组件安装运行的环境变量能正常调用;节点上执行修改linux最大文件句柄数脚本,可以保证集群并发下使用性能。
根据多个所述单节点配置功能脚本之间的先后执行顺序生成单节点环境配置脚本,所述集群内的主机执行所述单节点环境配置脚本,能够满足部署Hadoop生态圈组件的环境要求;
在所述主节点上执行所述单节点环境配置脚本,使所述主节点满足部署Hadoop生态圈组件的环境要求,其中,执行所述单节点环境配置脚本后所述主节点的防火墙关闭;
所述主节点执行预置的集群免密登录脚本,实现所述集群内所有主机之间脚本文件及消息的传输;
所述主节点调用预置的远程分发脚本,将所述单节点环境配置脚本分发到所述从节点上;
所述主节点向所述从节点发送启动所述单节点环境配置脚本的指令,远程控制所述从节点执行所述单节点环境配置脚本,其中,执行所述单节点环境配置脚本后所述从节点的防火墙关闭;
该步骤中,所述主节点可以调用远程维护工具向所述从节点批量发送启动所述单节点环境配置脚本的指令,所述主节点远程批量控制所述从节点执行所述单节点环境配置脚本。该实施方式中,主节点调用远程维护工具向从节点批量发送指令,能够节省指令发送时间,保证了部署安装的效率。
可选的,所述远程维护工具包括mussh、pdsh或者pssh等批量执行工具。例如可以使用pdsh作为远程维护工具,主节点执行单节点配置功能脚本修改/etc/pdsh/machines文件,在主节点上配置上各个从节点主机的IP地址,在节点上使用pdsh工具命令就可以远程批量执行命令,各个从节点执行启动单节点环境配置脚本文件。
所述从节点将所述单节点环境配置脚本的执行状态发送到日志文件中保存;
所述单节点配置功能脚本包括yum源配置脚本,所述主节点调用所述yum源配置脚本,在所述主节点上配置yum源,采用HTTP方式向所述从节点共享同一个所述yum源,其中,所述yum源包括Hadoop生态圈组件的安装包;
所述主节点执行预置的部署安装脚本,所述主节点调用所述yum源中的所述Hadoop生态圈组件的安装包,在所述主节点上安装Hadoop生态圈组件,同时,所述主节点向所述从节点发送部署安装的指令,所述从节点调用所述yum源中的所述Hadoop生态圈组件的安装包,在所述从节点上安装Hadoop生态圈组件;
所述主节点将所述部署安装脚本的执行状态发送到所述日志文件中保存;
所述集群内的主机将各自的运行状态及安装的Hadoop生态圈组件的运行状态进行展示;
所述主节点执行预置的管理启动脚本对所述集群内的主机及主机内安装的Hadoop生态圈组件进行停止、启动和重启的管理操作。
进一步的,本发明提供的方法还包括:所述主节点调用所述远程维护工具,在所述集群内增加或者去除主机、处理所述集群内主机及主机内Hadoop生态圈组件的异常运行状态。该实施方式中,通过远程维护工具进一步实现对Hadoop生态圈组件的运行维护。能够方便的增加或减少主机及处理各种异常状态,使用人员不需要全面了解Hadoop生态圈所有组件的安装维护,对使用人员技术要求低,且后期运营维护简单。
实施例3
本发明还提供一种自动化部署运维Hadoop生态圈组件的***,能够实现在***的集群内的主机上完成自动化部署运维Hadoop生态圈组件。图2为本发明实施例3提供的自动化部署运维Hadoop生态圈组件的***的框图。如图2所示,本发明提供的***包括多台主机组成的集群,所述集群内的主机通过网络相连接,所述集群包括一台主节点主机和多台从节点主机,其中,
所述主节点主机包括存储器和处理器,其中,
所述存储器用于存储集群免密登录脚本、配置环境方法脚本、单节点环境配置脚本、远程分发脚本、yum源配置脚本、部署安装脚本、管理启动脚本和日志文件;
所述处理器包括部署模块和运维模块,其中,所述部署模块主要用于对集群内主机部署安装Hadoop生态圈组件,所述运维模块,用于安装后Hadoop生态圈组件的运行维护的管理操作;
所述部署模块包括:单节点配置功能脚本生成模块、单节点环境配置脚本生成模块、主节点主机环境配置模块、免密登录模块、远程分发模块、环境配置执行模块、yum源配置模块、安装模块;
所述单节点配置功能脚本生成模块分别与所述存储器和所述单节点环境配置脚本生成模块相连接,从所述存储器调取所述配置环境方法脚本,所述配置环境方法脚本根据部署环境的要求生成多个单节点配置功能脚本,并将所述单节点配置功能脚本发送到所述单节点环境配置脚本生成模块,其中,所述部署环境为所述集群内主机的工作环境,所述集群内的主机执行一个所述单节点配置功能脚本,能够满足部署Hadoop生态圈组件的一个基础功能,例如可以是关闭防火墙、设置主机的访问权限等。
所述单节点环境配置脚本生成模块分别与所述单节点配置功能脚本生成模块和所述存储器相连接,用于根据多个所述单节点配置功能脚本之间的先后执行顺序生成所述单节点环境配置脚本,并将所述单节点环境配置脚本发送到所述存储器存储,其中,所述集群内的主机执行所述单节点环境配置脚本,能够满足部署Hadoop生态圈组件的环境要求;
单节点配置功能脚本可以根据实际生产环境,对脚本进行逻辑顺序的修改生成单节点环境配置脚本。例如实际生产环境中的JDK版本符合部署hadoop生态圈组件的要求,就可以将包含解压安装JDK工具包,配置***环境变量的单节点配置功能脚本屏蔽掉,形成针对于当前实际环境的单节点环境配置脚本。
所述主节点主机环境配置模块与所述存储器相连接,用于调取所述单节点环境配置脚本,在所述主节点主机上执行所述单节点环境配置脚本,使所述主节点主机满足部署Hadoop生态圈组件的环境要求,其中,执行所述单节点环境配置脚本后所述主节点主机的防火墙关闭;
所述免密登录模块与所述存储器相连接,所述免密登录模块从所述存储器调取所述集群免密登录脚本,所述主节点主机执行所述集群免密登录脚本,实现所述集群内所有主机之间脚本文件及消息的传输;
所述远程分发模块分别与所述存储器和所述从节点主机相连接,用于从所述存储器获取所述远程分发脚本和所述单节点环境配置脚本,执行所述远程分发脚本将所述单节点环境配置脚本发送到所述从节点主机上;
所述环境配置执行模块与所述从节点主机相连接,用于向所述从节点主机发送启动所述单节点环境配置脚本的指令,远程控制所述从节点主机执行所述单节点环境配置脚本,其中,执行所述单节点环境配置脚本后所述从节点主机的防火墙关闭;各个主机上的防火墙均关闭后,避免集群内Hadoop生态圈组件通讯存在限制问题,保证在部署安装过程中,从节点能够从主节点调用yum源中的安装包。
所述yum源配置模块分别与所述存储器和所述从节点主机相连接,用于从所述存储器获取所述yum源配置脚本,在所述主节点主机上配置yum源,采用HTTP方式向所述集群内的主机共享同一个所述yum源,其中,所述yum源包括Hadoop生态圈组件的安装包;
所述安装模块分别与所述存储器和所述从节点主机相连接,用于从所述存储器获取所述部署安装脚本,在所述主节点主机上执行所述部署安装脚本,所述主节点主机调用所述yum源中的所述Hadoop生态圈组件的安装包,在所述主节点主机上安装Hadoop生态圈组件,同时,所述主节点主机向所述从节点主机发送部署安装的指令;所述从节点主机调用所述yum源中的所述Hadoop生态圈组件的安装包,在所述从节点主机上安装Hadoop生态圈组件;
可以采用HTTP方式执行预置的部署安装脚本,将主节点作为namenode节点,从节点作为detenode节点,实现对集群内各个主机安装Hadoop生态圈组件。执行预置的部署安装脚本,也可以采用调用第三方工具的方式实现调用原生安装包,第三方工具可以是ambari。
所述运维模块包括:日志存储模块、界面展示模块和管理启动模块;
用于对Hadoop生态圈组件的运行维护的基础管理。
所述日志存储模块分别与所述存储器和所述集群内的主机相连接,用于获取所述从节点主机上所述单节点环境配置脚本的执行状态和主节点主机上所述部署安装脚本的执行状态生成所述日志文件,并将所述日志文件发送到所述存储器存储;
所述界面展示模块,用于展示所述集群内的主机各自的运行状态及安装的Hadoop生态圈组件的运行状态;可以通过集群主机上的管理工具界面查看各个节点运行状态,监控集群内主机资源使用情况及健康状态。管理工具界面可以是Hadoop原生管理界面,或者为ambari管理界面,当节点进程停止或非正常运行时可通过管理工具界面进行监控。
所述管理启动模块,用于对所述集群内的主机及主机内安装的Hadoop生态圈组件进行停止、启动和重启的管理操作。
本发明提供的自动化部署运维Hadoop生态圈组件的***,集群中包括一台主节点主机和多台从节点主机,主节点主机上包括存储器和处理器,其中,存储器用于存储各种预置的脚本文件,例如集群免密登录脚本、配置环境方法脚本、单节点环境配置脚本等。主节点主机上的处理器包括部署模块和运维模块,分别负责对Hadoop生态圈组件的安装部署和运行维护,其中,单节点配置功能脚本生成模块,在主节点主机上通过预置的配置环境方法脚本根据部署环境的要求生成单节点配置功能脚本;单节点环境配置脚本生成模块,根据多个单节点配置功能脚本之间的逻辑关系生成单节点环境配置脚本;主节点主机环境配置模块,实现在主节点主机上执行单节点环境配置脚本,保证主节点主机满足部署Hadoop生态圈组件的环境要求;免密登录模块,使主节点执行预置的集群免密登录脚本,实现所述集群内所有主机之间脚本文件及消息的传输;远程分发模块,控制主节点主机通过调用预置的远程分发脚本,将单节点环境配置脚本分发到从节点主机上,并远程控制从节点主机执行单节点环境配置脚本,实现从节点主机满足部署Hadoop生态圈组件的环境要求;yum源配置模块,控制主节点主机执行yum源配置脚本,在主节点主机上配置yum源;安装模块,控制主节点主机执行部署安装脚本,集群内的各个节点主机都能够从yum源调取Hadoop生态圈组件的安装包,从而实现在各个节点主机上安装Hadoop生态圈组件;运维模块,控制主节点主机执行预置的管理启动脚本能够实现对集群内安装的Hadoop生态圈组件进行停止、启动和重启的管理操作。
本发明提供的***能够实现对集群内主机自动化部署Hadoop生态圈组件,通过预置的各种模块调用自动化脚本代替人工部署配置,能够快速安装,调用简单,免去学习安装专业部署***的工作。同时,在大规模集群情况下免去了手动部署运维的复杂工作,能够明显节约人力成本,增加大规模部署Hadoop生态圈组件的部署效率。并且本***通过运维模块,实现主节点主机执行管理启动脚本,就能够实现对Hadoop生态圈组件的基础的运行维护管理,后期运行维护简单。
进一步的,本发明提供的***中,所述环境配置执行模块包括远程维护工具,所述主节点主机调用所述远程维护工具向所述从节点主机批量发送启动所述单节点环境配置脚本的指令,所述主节点主机远程批量控制所述从节点主机执行所述单节点环境配置脚本。该实施方式中,主节点调用远程维护工具向向从节点批量发送指令,能够节省指令发送时间,保证了部署安装的效率。
进一步的,所述远程维护工具包括mussh、pdsh或者pssh。例如可以使用pdsh作为远程维护工具,主节点执行单节点配置功能脚本修改/etc/pdsh/machines文件,在主节点上配置上各个从节点主机的IP地址,在节点上使用pdsh工具命令就可以远程批量执行命令,各个从节点执行启动单节点环境配置脚本文件。
进一步的,所述运维模块还包括调用所述远程维护工具,在所述集群内增加或者去除主机、处理所述集群内主机及主机内Hadoop生态圈组件的异常运行状态。通过远程维护工具进一步实现对Hadoop生态圈组件的运行维护。
进一步的,本发明提供的***中,所述单节点配置功能脚本包括:禁用SElinux策略脚本、禁用Transparent Huge Pages脚本、目录默认访问权限配置脚本、修改linux最大文件句柄数脚本和解压安装JDK工具包。其中,节点上执行禁用SElinux策略脚能够避免***服务和Hadoop生态圈组件不兼容的情况发生;节点上执行禁用Transparent Huge Pages脚本,可减少了Translation Lookaside Buffer(TLB)使用larger memory pages时的寻址开销能够发挥集群配置的高性能;节点上执行目录默认访问权限配置脚本,如将/etc/profile目录设置当前用户及用户所在组为读写权限,可保证Hadoop生态圈组件安装运行的环境变量能正常调用;节点上执行修改linux最大文件句柄数脚本,可以保证集群并发下使用性能。
通过上述实施例可知,本发明的自动化部署运维Hadoop生态圈组件的方法及***,达到了如下的有益效果:
本发明提供的方法能够实现对集群自动化部署Hadoop生态圈组件,通过预置的各种自动化脚本代替人工部署配置,能够快速安装,调用简单,免去学习安装专业部署***的工作。同时,在大规模集群情况下免去了手动部署运维的复杂工作,能够明显节约人力成本,增加大规模部署Hadoop生态圈组件的部署效率。并且本方法通过主节点执行管理启动脚本,就能够实现对Hadoop生态圈组件的基础的运行维护管理,后期运行维护简单。
虽然已经通过例子对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上例子仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员应该理解,可在不脱离本发明的范围和精神的情况下,对以上实施例进行修改。本发明的范围由所附权利要求来限定。
Claims (10)
1.一种自动化部署运维Hadoop生态圈组件的方法,其特征在于,包括:
选取集群中的一台主机作为主节点,所述集群内剩余主机作为从节点;
所述主节点调取预置的配置环境方法脚本,所述配置环境方法脚本根据部署环境的要求生成多个单节点配置功能脚本,其中,所述部署环境为所述集群内主机的工作环境,所述集群内的主机执行一个所述单节点配置功能脚本,能够满足部署Hadoop生态圈组件的一个基础功能;
根据多个所述单节点配置功能脚本之间的先后执行顺序生成单节点环境配置脚本,所述集群内的主机执行所述单节点环境配置脚本,能够满足部署Hadoop生态圈组件的环境要求;
在所述主节点上执行所述单节点环境配置脚本,使所述主节点满足部署Hadoop生态圈组件的环境要求,其中,执行所述单节点环境配置脚本后所述主节点的防火墙关闭;
所述主节点执行预置的集群免密登录脚本,实现所述集群内所有主机之间脚本文件及消息的传输;
所述主节点调用预置的远程分发脚本,将所述单节点环境配置脚本分发到所述从节点上;
所述主节点向所述从节点发送启动所述单节点环境配置脚本的指令,远程控制所述从节点执行所述单节点环境配置脚本,其中,执行所述单节点环境配置脚本后所述从节点的防火墙关闭;
所述从节点将所述单节点环境配置脚本的执行状态发送到日志文件中保存;
所述单节点配置功能脚本包括yum源配置脚本,所述主节点调用所述yum源配置脚本,在所述主节点上配置yum源,采用HTTP方式向所述从节点共享同一个所述yum源,其中,所述yum源包括Hadoop生态圈组件的安装包;
所述主节点执行预置的部署安装脚本,所述主节点调用所述yum源中的所述Hadoop生态圈组件的安装包,在所述主节点上安装Hadoop生态圈组件,同时,所述主节点向所述从节点发送部署安装的指令,所述从节点调用所述yum源中的所述Hadoop生态圈组件的安装包,在所述从节点上安装Hadoop生态圈组件;
所述主节点将所述部署安装脚本的执行状态发送到所述日志文件中保存;
所述集群内的主机将各自的运行状态及安装的Hadoop生态圈组件的运行状态进行展示;
所述主节点执行预置的管理启动脚本对所述集群内的主机及主机内安装的Hadoop生态圈组件进行停止、启动和重启的管理操作。
2.根据权利要求1所述的自动化部署运维Hadoop生态圈组件的方法,其特征在于,
所述主节点向所述从节点发送启动所述单节点环境配置脚本的指令,远程控制所述从节点执行所述单节点环境配置脚本的步骤进一步包括:
所述主节点调用远程维护工具向所述从节点批量发送启动所述单节点环境配置脚本的指令,所述主节点远程批量控制所述从节点执行所述单节点环境配置脚本。
3.根据权利要求2所述的自动化部署运维Hadoop生态圈组件的方法,其特征在于,
所述远程维护工具包括mussh、pdsh或者pssh。
4.根据权利要求2所述的自动化部署运维Hadoop生态圈组件的方法,其特征在于,所述方法还包括:
所述主节点调用所述远程维护工具,在所述集群内增加或者去除主机、处理所述集群内主机及主机内Hadoop生态圈组件的异常运行状态。
5.根据权利要求1所述的自动化部署运维Hadoop生态圈组件的方法,其特征在于,
所述单节点配置功能脚本包括:禁用SElinux策略脚本、禁用Transparent Huge Pages脚本、目录默认访问权限配置脚本、修改linux最大文件句柄数脚本和解压安装JDK工具包,修改环境变量及配置文件内容。
6.一种自动化部署运维Hadoop生态圈组件的***,其特征在于,所述***包括多台主机组成的集群,所述集群内的主机通过网络相连接,所述集群包括一台主节点主机和多台从节点主机,其中,
所述主节点主机包括存储器和处理器,其中,
所述存储器用于存储集群免密登录脚本、配置环境方法脚本、单节点环境配置脚本、远程分发脚本、yum源配置脚本、部署安装脚本、管理启动脚本和日志文件;
所述处理器包括部署模块和运维模块;
所述部署模块包括:单节点配置功能脚本生成模块、单节点环境配置脚本生成模块、主节点主机环境配置模块、免密登录模块、远程分发模块、环境配置执行模块、yum源配置模块、安装模块;
所述单节点配置功能脚本生成模块分别与所述存储器和所述单节点环境配置脚本生成模块相连接,从所述存储器调取所述配置环境方法脚本,所述配置环境方法脚本根据部署环境的要求生成多个单节点配置功能脚本,并将所述单节点配置功能脚本发送到所述单节点环境配置脚本生成模块,其中,所述部署环境为所述集群内主机的工作环境,所述集群内的主机执行一个所述单节点配置功能脚本,能够满足部署Hadoop生态圈组件的一个基础功能;
所述单节点环境配置脚本生成模块分别与所述单节点配置功能脚本生成模块和所述存储器相连接,用于根据多个所述单节点配置功能脚本之间的先后执行顺序生成所述单节点环境配置脚本,并将所述单节点环境配置脚本发送到所述存储器存储,其中,所述集群内的主机执行所述单节点环境配置脚本,能够满足部署Hadoop生态圈组件的环境要求;
所述主节点主机环境配置模块与所述存储器相连接,用于调取所述单节点环境配置脚本,在所述主节点主机上执行所述单节点环境配置脚本,使所述主节点主机满足部署Hadoop生态圈组件的环境要求,其中,执行所述单节点环境配置脚本后所述主节点主机的防火墙关闭;
所述免密登录模块与所述存储器相连接,所述免密登录模块从所述存储器调取所述集群免密登录脚本,所述主节点主机执行所述集群免密登录脚本,实现所述集群内所有主机之间脚本文件及消息的传输;所述远程分发模块分别与所述存储器和所述从节点主机相连接,用于从所述存储器获取所述远程分发脚本和所述单节点环境配置脚本,执行所述远程分发脚本将所述单节点环境配置脚本发送到所述从节点主机上;
所述环境配置执行模块与所述从节点主机相连接,用于向所述从节点主机发送启动所述单节点环境配置脚本的指令,远程控制所述从节点主机执行所述单节点环境配置脚本,其中,执行所述单节点环境配置脚本后所述从节点主机的防火墙关闭;
所述yum源配置模块分别与所述存储器和所述从节点主机相连接,用于从所述存储器获取所述yum源配置脚本,在所述主节点主机上配置yum源,采用HTTP方式向所述集群内的主机共享同一个所述yum源,其中,所述yum源包括Hadoop生态圈组件的安装包;
所述安装模块分别与所述存储器和所述从节点主机相连接,用于从所述存储器获取所述部署安装脚本,在所述主节点主机上执行所述部署安装脚本,所述主节点主机调用所述yum源中的所述Hadoop生态圈组件的安装包,在所述主节点主机上安装Hadoop生态圈组件,同时,所述主节点主机向所述从节点主机发送部署安装的指令;所述从节点主机调用所述yum源中的所述Hadoop生态圈组件的安装包,在所述从节点主机上安装Hadoop生态圈组件;
所述运维模块包括:日志存储模块、界面展示模块和管理启动模块;
所述日志存储模块分别与所述存储器和所述集群内的主机相连接,用于获取所述从节点主机上所述单节点环境配置脚本的执行状态和主节点主机上所述部署安装脚本的执行状态生成所述日志文件,并将所述日志文件发送到所述存储器存储;
所述界面展示模块,用于展示所述集群内的主机各自的运行状态及安装的Hadoop生态圈组件的运行状态;
所述管理启动模块,用于对所述集群内的主机及主机内安装的Hadoop生态圈组件进行停止、启动和重启的管理操作。
7.根据权利要求6所述的自动化部署运维Hadoop生态圈组件的***,其特征在于,
所述环境配置执行模块包括远程维护工具,所述主节点主机调用所述远程维护工具向所述从节点主机批量发送启动所述单节点环境配置脚本的指令,所述主节点主机远程批量控制所述从节点主机执行所述单节点环境配置脚本。
8.根据权利要求7所述的自动化部署运维Hadoop生态圈组件的***,其特征在于,
所述远程维护工具包括mussh、pdsh或者pssh。
9.根据权利要求7所述的自动化部署运维Hadoop生态圈组件的***,其特征在于,
所述运维模块还包括调用所述远程维护工具,在所述集群内增加或者去除主机、处理所述集群内主机及主机内Hadoop生态圈组件的异常运行状态。
10.根据权利要求6所述的自动化部署运维Hadoop生态圈组件的***,其特征在于,
所述单节点配置功能脚本包括:禁用SElinux策略脚本、禁用Transparent Huge Pages脚本、目录默认访问权限配置脚本、修改linux最大文件句柄数脚本和解压安装JDK工具包,修改环境变量及配置文件内容。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810368206.8A CN108549717B (zh) | 2018-04-23 | 2018-04-23 | 自动化部署运维Hadoop生态圈组件的方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810368206.8A CN108549717B (zh) | 2018-04-23 | 2018-04-23 | 自动化部署运维Hadoop生态圈组件的方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108549717A true CN108549717A (zh) | 2018-09-18 |
CN108549717B CN108549717B (zh) | 2021-06-29 |
Family
ID=63512037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810368206.8A Active CN108549717B (zh) | 2018-04-23 | 2018-04-23 | 自动化部署运维Hadoop生态圈组件的方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108549717B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109361572A (zh) * | 2018-12-10 | 2019-02-19 | 浪潮(北京)电子信息产业有限公司 | 一种主机集群管理方法及相关装置 |
CN110035086A (zh) * | 2019-04-19 | 2019-07-19 | 平安科技(深圳)有限公司 | 防火墙验证方法、装置、计算机设备和存储介质 |
CN110633088A (zh) * | 2019-08-15 | 2019-12-31 | 平安普惠企业管理有限公司 | 一种Hadoop自动安装方法及装置 |
CN110764788A (zh) * | 2019-09-10 | 2020-02-07 | 武汉联影医疗科技有限公司 | 云存储部署方法、装置、计算机设备和可读存储介质 |
CN110880990A (zh) * | 2019-11-29 | 2020-03-13 | 北京神州绿盟信息安全科技股份有限公司 | 一种大数据集群组件的配置核查方法、装置及计算设备 |
CN111061503A (zh) * | 2018-10-16 | 2020-04-24 | 航天信息股份有限公司 | 集群***的配置方法和集群*** |
CN111641521A (zh) * | 2020-05-11 | 2020-09-08 | 紫光云技术有限公司 | 一种基于Ambari的云上部署大数据集群的方法 |
WO2020258175A1 (zh) * | 2019-06-27 | 2020-12-30 | 四川中电启明星信息技术有限公司 | 一种自动化安装分布式大数据平台cdh方法 |
CN112579353A (zh) * | 2020-12-15 | 2021-03-30 | 中国建设银行股份有限公司 | 自动运维方法、装置及大数据平台 |
CN112738112A (zh) * | 2020-12-30 | 2021-04-30 | 北京浪潮数据技术有限公司 | 基于Ambari的第三方组件的访问方法、装置及介质 |
CN113407191A (zh) * | 2021-06-21 | 2021-09-17 | 云智慧(北京)科技有限公司 | 一种用于变电站的可视化远程部署方法 |
WO2022021850A1 (zh) * | 2020-07-28 | 2022-02-03 | 苏州浪潮智能科技有限公司 | 一种服务实例部署方法、装置、电子设备和存储介质 |
CN114116066A (zh) * | 2021-11-30 | 2022-03-01 | 湖南麒麟信安科技股份有限公司 | 一种云平台集群控制方法、***及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103412768A (zh) * | 2013-07-19 | 2013-11-27 | 蓝盾信息安全技术股份有限公司 | 一种基于脚本程序自动化部署Zookeeper集群的方法 |
CN104811476A (zh) * | 2015-03-26 | 2015-07-29 | 南京大学 | 一种面向应用服务的高可用部署实现方法 |
US20150278244A1 (en) * | 2005-01-12 | 2015-10-01 | Wandisco, Inc. | Geographically-distributed file system using coordinated namespace replication over a wide area network |
CN105787117A (zh) * | 2016-03-28 | 2016-07-20 | 广东三盟信息科技有限公司 | 一种云计算环境下大数据节点的自动部署方法及其装置 |
US20160373370A1 (en) * | 2013-06-28 | 2016-12-22 | Pepperdata, Inc. | Systems, methods, and devices for dynamic resource monitoring and allocation in a cluster system |
CN106681956A (zh) * | 2016-12-27 | 2017-05-17 | 北京锐安科技有限公司 | 一种大规模计算机集群的操作方法及装置 |
CN106850621A (zh) * | 2017-02-07 | 2017-06-13 | 南京云创大数据科技股份有限公司 | 一种基于容器云技术快速搭建Hadoop集群的方法 |
CN107634860A (zh) * | 2017-10-09 | 2018-01-26 | 上海新炬网络信息技术股份有限公司 | 一种weblogic集群补丁批量自动升级方法 |
CN107682209A (zh) * | 2017-11-10 | 2018-02-09 | 青岛萨纳斯智能科技股份有限公司 | 一种sdp大数据自动化部署监控平台 |
CN107734035A (zh) * | 2017-10-17 | 2018-02-23 | 华南理工大学 | 一种云计算环境下的虚拟集群自动伸缩方法 |
US20180063226A1 (en) * | 2009-03-05 | 2018-03-01 | Paypal, Inc. | Distributed steam processing |
-
2018
- 2018-04-23 CN CN201810368206.8A patent/CN108549717B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150278244A1 (en) * | 2005-01-12 | 2015-10-01 | Wandisco, Inc. | Geographically-distributed file system using coordinated namespace replication over a wide area network |
US20180063226A1 (en) * | 2009-03-05 | 2018-03-01 | Paypal, Inc. | Distributed steam processing |
US20160373370A1 (en) * | 2013-06-28 | 2016-12-22 | Pepperdata, Inc. | Systems, methods, and devices for dynamic resource monitoring and allocation in a cluster system |
CN103412768A (zh) * | 2013-07-19 | 2013-11-27 | 蓝盾信息安全技术股份有限公司 | 一种基于脚本程序自动化部署Zookeeper集群的方法 |
CN104811476A (zh) * | 2015-03-26 | 2015-07-29 | 南京大学 | 一种面向应用服务的高可用部署实现方法 |
CN105787117A (zh) * | 2016-03-28 | 2016-07-20 | 广东三盟信息科技有限公司 | 一种云计算环境下大数据节点的自动部署方法及其装置 |
CN106681956A (zh) * | 2016-12-27 | 2017-05-17 | 北京锐安科技有限公司 | 一种大规模计算机集群的操作方法及装置 |
CN106850621A (zh) * | 2017-02-07 | 2017-06-13 | 南京云创大数据科技股份有限公司 | 一种基于容器云技术快速搭建Hadoop集群的方法 |
CN107634860A (zh) * | 2017-10-09 | 2018-01-26 | 上海新炬网络信息技术股份有限公司 | 一种weblogic集群补丁批量自动升级方法 |
CN107734035A (zh) * | 2017-10-17 | 2018-02-23 | 华南理工大学 | 一种云计算环境下的虚拟集群自动伸缩方法 |
CN107682209A (zh) * | 2017-11-10 | 2018-02-09 | 青岛萨纳斯智能科技股份有限公司 | 一种sdp大数据自动化部署监控平台 |
Non-Patent Citations (3)
Title |
---|
于金良 等: "Hadoop平台的自动化部署与监控研究", 《计算机与数字工程》 * |
那超: "大数据平台的自动化部署与监控***设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
陆中豪: "支持长任务的并行计算动态资源分配机制的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111061503B (zh) * | 2018-10-16 | 2023-08-18 | 航天信息股份有限公司 | 集群***的配置方法和集群*** |
CN111061503A (zh) * | 2018-10-16 | 2020-04-24 | 航天信息股份有限公司 | 集群***的配置方法和集群*** |
CN109361572A (zh) * | 2018-12-10 | 2019-02-19 | 浪潮(北京)电子信息产业有限公司 | 一种主机集群管理方法及相关装置 |
CN110035086A (zh) * | 2019-04-19 | 2019-07-19 | 平安科技(深圳)有限公司 | 防火墙验证方法、装置、计算机设备和存储介质 |
WO2020258175A1 (zh) * | 2019-06-27 | 2020-12-30 | 四川中电启明星信息技术有限公司 | 一种自动化安装分布式大数据平台cdh方法 |
CN110633088A (zh) * | 2019-08-15 | 2019-12-31 | 平安普惠企业管理有限公司 | 一种Hadoop自动安装方法及装置 |
CN110764788A (zh) * | 2019-09-10 | 2020-02-07 | 武汉联影医疗科技有限公司 | 云存储部署方法、装置、计算机设备和可读存储介质 |
CN110880990A (zh) * | 2019-11-29 | 2020-03-13 | 北京神州绿盟信息安全科技股份有限公司 | 一种大数据集群组件的配置核查方法、装置及计算设备 |
CN110880990B (zh) * | 2019-11-29 | 2022-08-23 | 绿盟科技集团股份有限公司 | 一种大数据集群组件的配置核查方法、装置及计算设备 |
CN111641521A (zh) * | 2020-05-11 | 2020-09-08 | 紫光云技术有限公司 | 一种基于Ambari的云上部署大数据集群的方法 |
CN111641521B (zh) * | 2020-05-11 | 2023-05-09 | 紫光云技术有限公司 | 一种基于Ambari的云上部署大数据集群的方法 |
US12020084B2 (en) | 2020-07-28 | 2024-06-25 | Inspur Suzhou Intelligent Technology Co., Ltd. | Service instance deployment method and apparatus, electronic device, and storage medium |
WO2022021850A1 (zh) * | 2020-07-28 | 2022-02-03 | 苏州浪潮智能科技有限公司 | 一种服务实例部署方法、装置、电子设备和存储介质 |
CN112579353A (zh) * | 2020-12-15 | 2021-03-30 | 中国建设银行股份有限公司 | 自动运维方法、装置及大数据平台 |
CN112738112B (zh) * | 2020-12-30 | 2023-02-24 | 北京浪潮数据技术有限公司 | 基于Ambari的第三方组件的访问方法、装置及介质 |
CN112738112A (zh) * | 2020-12-30 | 2021-04-30 | 北京浪潮数据技术有限公司 | 基于Ambari的第三方组件的访问方法、装置及介质 |
CN113407191A (zh) * | 2021-06-21 | 2021-09-17 | 云智慧(北京)科技有限公司 | 一种用于变电站的可视化远程部署方法 |
CN114116066A (zh) * | 2021-11-30 | 2022-03-01 | 湖南麒麟信安科技股份有限公司 | 一种云平台集群控制方法、***及存储介质 |
CN114116066B (zh) * | 2021-11-30 | 2024-05-07 | 湖南麒麟信安科技股份有限公司 | 一种云平台集群控制方法、***及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108549717B (zh) | 2021-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108549717A (zh) | 自动化部署运维Hadoop生态圈组件的方法及*** | |
US10863022B2 (en) | Using automatically collected device problem information to route and guide users' requests | |
US20130198504A1 (en) | Methods of configuring a bios in a computer system and computer program products | |
CN103412768A (zh) | 一种基于脚本程序自动化部署Zookeeper集群的方法 | |
CN105487892A (zh) | 一种Linux环境下的云中GIS服务部署*** | |
CN105099739A (zh) | 一种基于插件式软件部署方法、装置及应用服务器 | |
US20090113414A1 (en) | Computer administration deployment system | |
CN110098952A (zh) | 一种服务器的管理方法和装置 | |
TW201434300A (zh) | 跨越叢集邊界的服務遷移 | |
CN106685723A (zh) | 一种嵌入式网络设备的远程升级方法及*** | |
CN106487600A (zh) | 一种WebLogic集群的自动部署方案 | |
EP1865448A1 (en) | Provisioning and activation using a service catalog | |
CN110262809B (zh) | 基于持续集成和虚拟化容器的校园应用发布方法及*** | |
CN109684028A (zh) | 一种操作***与用户数据分离的方法、装置及设备 | |
CN108089924A (zh) | 一种任务运行方法及装置 | |
CN110011827A (zh) | 面向医联体的多用户大数据分析服务***和方法 | |
CN111880843B (zh) | 基于Linux单命令行的生物大数据分析***及方法 | |
US20150212834A1 (en) | Interoperation method of newtork device performed by computing device including cloud operating system in could environment | |
US20160246270A1 (en) | Method of controlling a data center architecture equipment | |
CN112905306A (zh) | 多集群容器管理方法、装置、电子设备和存储介质 | |
CN112948077A (zh) | 批处理方法、装置、设备及存储介质 | |
CN110162312A (zh) | 一种基于IML的BeeGFS配置方法与装置 | |
CN116048654A (zh) | 硬件资源自动配置方法及*** | |
CN109033799A (zh) | 一种基于教育云平台的云账号层级应用配置方法及*** | |
CN109698842A (zh) | 一种提供数据服务的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |