CN106330598A

CN106330598A - 一种通过zabbix监控hadoop的方法

Info

Publication number: CN106330598A
Application number: CN201610659328.3A
Authority: CN
Inventors: 付迅; 周庆勇
Original assignee: Inspur Software Co Ltd
Current assignee: Inspur Software Co Ltd
Priority date: 2016-08-11
Filing date: 2016-08-11
Publication date: 2017-01-11

Abstract

本发明公开了一种通过zabbix监控hadoop的方法，所述方法通过在zabbix***中创建一个监控对象，在此监控对象下创建若干监控项，所述监控项的数据由shell脚本hadoop.sh来获取，通过抓取namenode的dfshealth.jsp页面，解析出存储空间数据与节点的运行情况，然后用zabbix_sender把数据发送给zabbix。本发明可以实时监控hadoop集群的存储空间以及节点的运行情况以及块与文件的个数，并在Web界面上实时展现出来，当占用资源超出指定大小时产生告警信息提醒用户，构思合理、使用方便、节省人力、智能化程度高等特点，因而具有很好的推广使用价值。

Description

一种通过zabbix监控hadoop的方法

技术领域

本发明涉及计算机自动化运维与监控技术领域，具体涉及一种通过zabbix监控hadoop的方法，一种通过zabbix监控***与shell脚本监控hadoop集群的存储空间、节点的运行情况以及块与文件的个数的方法。

背景技术

随着信息时代的持续发展，IT运维已经成为IT服务内涵中重要的组成部分。面对越来越复杂的业务，面对越来越多样化的用户需求，不断扩展的IT应用需要越来越合理的模式来保障IT服务能灵活便捷、安全稳定地持续保障，这种模式中的保障因素就是IT运维。从初期的几台服务器发展到庞大的数据中心，单靠人工已经无法满足在技术、业务、管理等方面的要求，那么标准化、自动化、架构优化、过程优化等降低IT服务成本的因素越来越被人们所重视。Hadoop设计之初的目标就定位于高可靠性、高可拓展性、高容错性和高效性，正是这些设计上与生俱来的优点，才使得hadoop一出现就受到众多大公司的青睐，同时也引起了研究界的普遍关注。到目前为止，hadoop技术在互联网领域已经得到了广泛的运用。对hadoop进行监控可以让管理人员掌握它们的运行状况。

Zabbix是一个基于Web界面的提供分布式***监视以及网络监视功能的企业级的开源解决方案。

本发明基于zabbix进行扩展。由于zabbix的Web***有很多弊端，所以采用Spring、iBatis、JSP、Highcharts开发了一套新的Web***。

发明内容

本发明要解决的技术问题是：本发明提供一种通过zabbix监控hadoop的方法。

本发明所采用的技术方案为：

一种通过zabbix监控hadoop的方法，所述方法通过在zabbix***中创建一个监控对象，在此监控对象下创建若干监控项，所述监控项的数据由shell脚本hadoop.sh来获取，通过抓取namenode的dfshealth.jsp页面，解析出存储空间数据与节点的运行情况，然后用zabbix_sender把数据发送给zabbix。

所述监控项的名称，键值，类型如下：

DFS可用的存储空间大小，available_dfs_storage，Trapper

DFS存储空间使用率，ul_dfs_storage，Trapper

DFS存储空间空闲率，al_dfs_storage，Trapper

DFS已经使用的存储空间大小，dfs_use_storage，Trapper

下线的节点数目，decommissioned_nodes，Trapper

不可用的节点数目，dead_nodes，Trapper

存储空间总大小，storage_capacity，Trapper

正常节点，live_nodes，Trapper

非DFS使用的空间大小，non_dfs_use_storage，Trapper

块个数，dfs_blocks，Trapper

文件个数，file_directory_count，Trapper。

所述shell脚本hadoop.sh通过linux定时器crontab定时执行，将hadoop.sh放到zabbix目录下，赋可执行权限，通过在/etc/crontab中增加以下命令来实现每3分钟执行一次。

所述shell脚本hadoop.sh运行流程如下：

1)输入参数和文件变量

2)抓取dfshealth.jsp并过滤，将结果输出到RAW_FILE

3)分别将各监控项的数据从RAW_FILE中解析出来

4)将数据按zabbix规定格式输出到DATA_FILE中

5)通过zabbix_sender将数据发送给zabbix。

本发明的有益效果为：

本发明可以实时监控hadoop集群的存储空间以及节点的运行情况以及块与文件的个数，并在Web界面上实时展现出来，当占用资源超出指定大小时产生告警信息提醒用户，构思合理、使用方便、节省人力、智能化程度高等特点，因而具有很好的推广使用价值。

具体实施方式

下面根据具体实施方式对本发明进一步说明：

实施例1：

一种通过zabbix监控hadoop的方法，在zabbix***中创建一个监控对象，名称任意，在此监控对象下创建若干监控项，所述监控项的数据由shell脚本hadoop.sh来获取，通过抓取namenode的dfshealth.jsp页面，解析出存储空间数据与节点的运行情况，然后用zabbix_sender把数据发送给zabbix。

实施例2

在实施例1的基础上，本实施例所述监控项的名称，键值，类型如下：

DFS可用的存储空间大小，available_dfs_storage，Trapper

DFS存储空间使用率，ul_dfs_storage，Trapper

DFS存储空间空闲率，al_dfs_storage，Trapper

DFS已经使用的存储空间大小，dfs_use_storage，Trapper

下线的节点数目，decommissioned_nodes，Trapper

不可用的节点数目，dead_nodes，Trapper

存储空间总大小，storage_capacity，Trapper

正常节点，live_nodes，Trapper

非DFS使用的空间大小，non_dfs_use_storage，Trapper

块个数，dfs_blocks，Trapper

文件个数，file_directory_count，Trapper。

实施例3

在实施例1或2的基础上，本实施例所述shell脚本hadoop.sh通过linux定时器crontab定时执行，将hadoop.sh放到zabbix目录下，赋可执行权限，通过在/etc/crontab中增加以下命令来实现每3分钟执行一次：

*/3****root/usr/local/zabbix/plugins/hadoop.sh 127.0.0.1 10051127.0.0.150070hadooptest。

实施例4

在实施例3的基础上，本实施例所述shell脚本hadoop.sh运行流程如下：

1)输入参数和文件变量

ZABBIX_SERVER_IP＝$1 #zabbix server的ip

ZABBIX_SERVER_PORT＝$2 #zabbix server的端口

NAMENODE_IP＝$3 #namenode的ip

NAMENODE_PORT＝$4 #namenode的端口

HOSTNAME＝$5 #监控对象名称

RAW_FILE＝"/tmp/${HOSTNAME}.raw" #抓取dfshealth.jsp并过滤后的原始文件路径

DATA_FILE＝"/tmp/${HOSTNAME}.data"#监控项数据文件路径

LOG_FILE＝"/tmp/${HOSTNAME}.log" #日志文件路径

2)抓取dfshealth.jsp并过滤，将结果输出到RAW_FILE

curl--silent http://${NAMENODE_IP}:${NAMENODE_PORT}/dfshealth.jsp 2>$LOG_FILE|sed's/<[^>]*>/|/g'|sed's/|*|/|/g'|sed's/:*|/|/g'>$RAW_FILE

3)分别将11个监控项的数据从RAW_FILE中解析出来

#available_dfs_storage

#ul_dfs_storage

#al_dfs_storage

#dfs_use_storage

#decommissioned_nodes

#live_nodes

#dead_nodes

#storage_capacity

#non_dfs_use_storage

#file_directory_count

file_directory_count＝$(egrep'files and directories,.*blocks.*total'$RAW_FILE|cut-f2-d''|cut-f2-d'|')

#dfs_blocks

dfs_blocks＝$(egrep'files and directories,.*blocks.*total'$RAW_FILE|cut-f6-d'')

4)将数据按zabbix规定格式输出到DATA_FILE中

echo

"$HOSTNAME file_directory_count$file_directory_count

$HOSTNAME dfs_blocks$dfs_blocks

$HOSTNAME storage_capacity$storage_capacity

$HOSTNAME dfs_use_storage$dfs_use_storage

$HOSTNAME non_dfs_use_storage$non_dfs_use_storage

$HOSTNAME available_dfs_storage$available_dfs_storage

$HOSTNAME ul_dfs_storage$ul_dfs_storage

$HOSTNAME al_dfs_storage$al_dfs_storage

$HOSTNAME live_nodes$live_nodes

$HOSTNAME dead_nodes$dead_nodes

$HOSTNAME decommissioned_nodes$decommissioned_nodes">$DATA_FILE

5)通过zabbix_sender将数据发送给zabbix

/usr/local/zabbix/bin/zabbix_sender-z${ZABBIX_SERVER_IP}-p${ZABBIX_SERVER_PORT}-i${DATA_FILE}-vv 2>>${LOG_FILE}1>>${LOG_FILE}

其中脚本的5个参数分别对应着zabbix server的ip、zabbix server的端口、namenode的ip、namenode的端口、监控对象名称。

实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims

1.一种通过zabbix监控hadoop的方法，其特征在于：所述方法通过在zabbix***中创建一个监控对象，在此监控对象下创建若干监控项，所述监控项的数据由shell脚本hadoop.sh来获取，通过抓取namenode的dfshealth.jsp页面，解析出存储空间数据与节点的运行情况，然后用zabbix_sender把数据发送给zabbix。

2.根据权利要求1所述的一种通过zabbix监控hadoop的方法，其特征在于，所述监控项的名称，键值，类型如下：

DFS可用的存储空间大小，available_dfs_storage，Trapper

DFS存储空间使用率，ul_dfs_storage，Trapper

DFS存储空间空闲率，al_dfs_storage，Trapper

DFS已经使用的存储空间大小，dfs_use_storage，Trapper

下线的节点数目，decommissioned_nodes，Trapper

不可用的节点数目，dead_nodes，Trapper

存储空间总大小，storage_capacity，Trapper

正常节点，live_nodes，Trapper

非DFS使用的空间大小，non_dfs_use_storage，Trapper

块个数，dfs_blocks，Trapper

文件个数，file_directory_count，Trapper。

3.根据权利要求1或2所述的一种通过zabbix监控hadoop的方法，其特征在于：所述shell脚本hadoop.sh通过linux定时器crontab定时执行，将hadoop.sh放到zabbix目录下，赋可执行权限，通过在/etc/crontab中增加以下命令来实现每3分钟执行一次。

4.根据权利要求3所述的一种通过zabbix监控hadoop的方法，其特征在于：所述shell脚本hadoop.sh运行流程如下：

1)输入参数和文件变量

2)抓取dfshealth.jsp并过滤，将结果输出到RAW_FILE

3)分别将各监控项的数据从RAW_FILE中解析出来

4)将数据按zabbix规定格式输出到DATA_FILE中

5)通过zabbix_sender将数据发送给zabbix。