CN105930380A - 一种基于hadoop的图表监控方法和装置 - Google Patents
一种基于hadoop的图表监控方法和装置 Download PDFInfo
- Publication number
- CN105930380A CN105930380A CN201610230680.5A CN201610230680A CN105930380A CN 105930380 A CN105930380 A CN 105930380A CN 201610230680 A CN201610230680 A CN 201610230680A CN 105930380 A CN105930380 A CN 105930380A
- Authority
- CN
- China
- Prior art keywords
- hadoop
- information
- opentsdb
- unit
- grafana
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于HADOOP的图表监控方法和装置,包括:Opentsdb数据库接收Python后台服务器发送的数据信息,数据信息包括主机资源信息和HADOOP集群指标数据信息;Opentsdb数据库将所述主机资源信息和所述HADOOP集群指标数据信息存储在Hbase数据库中;Opentsdb数据库接收Grafana插件发送的图表显示请求信息;Opentsdb数据库根据所述图表显示请求信息从所述Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取所述图表显示请求信息的相关信息;Opentsdb数据库将所述相关信息发送给所述Grafana插件。本发明可以更好地了解集群整体情况,减少人员工作量,组建速度快和存储量大。
Description
技术领域
本发明涉及通信领域,特别是涉及一种基于HADOOP的图表监控方法和装置。
背景技术
随着网络信息化的发展,大数据在社会经济、政治、文化,人们生活等方面产生深远的影响,大数据时代对人类的数据驾驭能力提出新的挑战与机遇。大数据具有海量性、多样性、高速性、数据类型繁多,数据价值相对密度低、时效性要求高等特点,已经超出了传统的数据库处理***的处理能力。数据中隐藏着有价值的模式和信息,利用传统的数据处理的方式,要挖掘出大数据中的信息,需要花费较长时间和巨大的成本,甚至对有些数据无法处理。
发明内容
本发明所要解决的技术问题是提供一种基于HADOOP的图表监控方法和装置。
本发明解决上述技术问题的技术方案如下:一种基于HADOOP的图表监控方法,包括:
Opentsdb数据库接收Python后台服务器发送的数据信息,所述数据信息包括主机资源信息和HADOOP集群指标数据信息;
所述Opentsdb数据库将所述主机资源信息和所述HADOOP集群指标数据信息存储在Hbase数据库中;
所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息;
所述Opentsdb数据库根据所述图表显示请求信息从所述Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取所述图表显示请求信息的相关信息;
所述Opentsdb数据库将所述相关信息发送给所述Grafana插件。
本发明的有益效果是:在使用过程中,更好地了解集群整体情况,减少人员工作量,组建速度快和存储量大。
在上述技术方案的基础上,本发明还可以做如下改进。
进一步,在所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息之前包括:所述Grafana插件接收Web页面发送的所述图表显示请求信息。
进一步,在所述Opentsdb数据库将所述相关信息发送给所述Grafana插件之后包括:所述Grafana插件将所述相关信息发送给所述Web页面,以使得所述Web页面显示所述相关信息。
进一步,所述主机资源信息包括CPU内存信息、IO网络信息和磁盘信息。
进一步,所述HADOOP集群指标数据信息包括HADOOP总容量、HADOOP剩余容量、HADOOP使用容量,HADOOP已损坏的副本数据块、HADOOP丢失块和HADOOP块校验平均时间。
本发明解决上述技术问题的另一技术方案如下:一种基于HADOOP的图表监控装置,包括:
数据信息接收单元,用于Opentsdb数据库接收Python后台服务器发送的数据信息,所述数据信息包括主机资源信息和HADOOP集群指标数据信息;
存储单元,用于所述Opentsdb数据库将所述主机资源信息和所述HADOOP集群指标数据信息存储在Hbase数据库中;
第一图表显示请求信息接收单元,用于所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息;
调取单元,用于所述Opentsdb数据库根据所述图表显示请求信息从所述Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取所述图表显示请求信息的相关信息;
第一相关信息发送单元,用于所述Opentsdb数据库将所述相关信息发送给所述Grafana插件。
进一步,还包括:第二图表显示请求信息接收单元,用于在所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息之前,所述Grafana插件接收Web页面发送的所述图表显示请求信息。
进一步,还包括:第二相关信息发送单元,用于在所述Opentsdb数据库将所述相关信息发送给所述Grafana插件之后,所述Grafana插件将所述相关信息发送给所述Web页面,以使得所述Web页面显示所述相关信息。
本发明的有益效果是:在使用过程中,更好地了解集群整体情况,减少人员工作量,组建速度快和存储量大。
附图说明
图1为本发明实施例提供的一种基于HADOOP的图表监控方法流程图;
图2为本发明实施例提供的一种基于HADOOP的图表监控信令流程图;
图3为本发明实施例提供的一种基于HADOOP的图表监控装置示意图;
图4为本发明实施例提供的Web页面显示示意图。
附图中,各标号所代表的部件列表如下:
1、数据信息接收单元,2、存储单元,3、第一图表显示请求信息接收单元,4、调取单元,5、第一相关信息发送单元。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
图1为本发明实施例提供的一种基于HADOOP的图表监控方法流程图。
参照图1,在步骤S101,Opentsdb数据库接收Python后台服务器发送的数据信息,所述数据信息包括主机资源信息和HADOOP集群指标数据信息。
在步骤S102,Opentsdb数据库将所述主机资源信息和所述HADOOP集群指标数据信息存储在Hbase数据库中。
这里,Opentsdb数据库通过Hbase数据库存储所有的时序来构建一个分布式、可伸缩的时间序列数据库。它支持秒级数据采集所有metrics(单位),支持永久存储,可以做容量规划,并很容易的接入到现有的报警***里。Opentsdb数据库可以从大规模的集群(包括集群中的网络设备、操作***、应用程序)中获取相应的metrics(单位)并进行存储、索引以及服务,从而使得这些数据更容易让人理解,如web化,图形化等。
在步骤S103,Opentsdb数据库接收Grafana插件发送的图表显示请求信息。
这里,Grafana插件是开源的,它是功能齐全的度量仪表盘和图形编辑器。Grafana插件的主要特性:灵活丰富的图形化选项;可以混合多种风格;支持白天和夜间模式;包括多个数据源等。
在步骤S104,Opentsdb数据库根据所述图表显示请求信息从所述Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取所述图表显示请求信息的相关信息。
在步骤S105,Opentsdb数据库将所述相关信息发送给所述Grafana插件。
在本实施例中,在所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息之前包括:所述Grafana插件接收Web页面发送的所述图表显示请求信息。
在本实施例中,在所述Opentsdb数据库将所述相关信息发送给所述Grafana插件之后包括:所述Grafana插件将所述相关信息发送给所述Web页面,以使得所述Web页面显示所述相关信息。
在本实施例中,所述主机资源信息包括CPU内存信息、IO网络信息和磁盘信息。
在本实施例中,所述HADOOP集群指标数据信息包括HADOOP总容量、HADOOP剩余容量、HADOOP使用容量,HADOOP已损坏的副本数据块、HADOOP丢失块和HADOOP块校验平均时间。
图2为本发明实施例提供的一种基于HADOOP的图表监控信令流程图。
参照图2,在步骤S201,Python后台服务器获取数据信息。
这里,数据信息包括主机资源信息和HADOOP集群指标数据信息。
在步骤S202,Python后台服务器将数据信息发送给Opentsdb数据库。
在步骤S203,Opentsdb数据库将数据信息发送给Hbase数据库。
在步骤S204,Hbase数据库将数据信息进行存储。
在步骤S205,Web页面向Grafana插件发送图表显示请求信息。
在步骤S206,Grafana插件将图表显示请求信息发送给Opentsdb数据库。
在步骤S207,Opentsdb数据库从Hbase数据库的数据信息中调取图表显示请求信息的相关信息。
在步骤S208,Opentsdb数据库将相关信息发送给Grafana插件。
在步骤S209,Grafana插件将相关信息发送给Web页面。
在步骤S210,Web页面显示相关信息。
图3为本发明实施例提供的一种基于HADOOP的图表监控装置示意图。
参照图3,图表监控装置包括数据信息接收单元1、存储单元2、第一图表显示请求信息接收单元3、调取单元4和第一相关信息发送单元5。
数据信息接收单元1,用于Opentsdb数据库接收Python后台服务器发送的数据信息,所述数据信息包括主机资源信息和HADOOP集群指标数据信息。
存储单元2,用于所述Opentsdb数据库将所述主机资源信息和所述HADOOP集群指标数据信息存储在Hbase数据库中。
第一图表显示请求信息接收单元3,用于所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息。
调取单元4,用于所述Opentsdb数据库根据所述图表显示请求信息从所述Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取所述图表显示请求信息的相关信息。
第一相关信息发送单元5,用于所述Opentsdb数据库将所述相关信息发送给所述Grafana插件。
在本实施例中,还包括:第二图表显示请求信息接收单元(未示出),用于在所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息之前,所述Grafana插件接收Web页面发送的所述图表显示请求信息。
在本实施例中,还包括:第二相关信息发送单元(未示出),用于在所述Opentsdb数据库将所述相关信息发送给所述Grafana插件之后,所述Grafana插件将所述相关信息发送给所述Web页面,以使得所述Web页面显示所述相关信息。
图4为本发明实施例提供的Web页面显示示意图。
参照图4,Web页面分别显示的是群集CPU使用率、内存使用情况、群集磁盘IO利用率和群集文件***使用率。
图4a显示的是群集CPU使用率,群集CPU使用率即集群CPU使用率,是集群中主机节点的cpu使用率的平均值。Clusterid=4是集群的编号,横坐标为时间,取值为大约一个小时,即从9:40到10:30;纵坐标为百分比。当9:40时,群集CPU使用率为2.5%;当10:00时,群集CPU使用率为3%。
当Web页面向Grafana插件发送图表显示请求信息,图表显示请求信息包括群集CPU使用率,Opentsdb数据库从Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取群集CPU使用率的相关信息,并发送给Grafana插件,Grafana插件再发送给Web页面。
图4b显示的是内存使用情况,是集群中主机节点的内存使用的平均值。横坐标为时间,取值为大约一个小时,即从9:40到10:30;纵坐标为内存容量。从9:40到10:30,内存容量为27GiB。
当Web页面向Grafana插件发送图表显示请求信息,图表显示请求信息包括内存使用情况,Opentsdb数据库从Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取内存使用情况的相关信息,并发送给Grafana插件,Grafana插件再发送给Web页面。
图4c显示的是群集磁盘IO利用率,群集磁盘IO利用率即集群磁盘IO利用率,是集群中主机节点的磁盘IO使用率的平均值。横坐标为时间,取值为大约一个小时,即从9:40到10:30;纵坐标为百分比。从9:40到10:30之间,群集磁盘IO利用率为0。
当Web页面向Grafana插件发送图表显示请求信息,图表显示请求信息包括群集磁盘IO利用率,Opentsdb数据库从Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取群集磁盘IO利用率的相关信息,并发送给Grafana插件,Grafana插件再发送给Web页面。
图4d显示的是群集文件***使用率,群集文件***使用率即集群文件***使用率,是集群中主机节点的文件***使用率的平均值。横坐标为时间,取值为大约一个小时,即从9:40到10:30;纵坐标为百分比。当9:40时,群集文件***使用率为0.0007%。
当Web页面向Grafana插件发送图表显示请求信息,图表显示请求信息包括群集文件***使用率,Opentsdb数据库从Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取群集文件***使用率的相关信息,并发送给Grafana插件,Grafana插件再发送给Web页面。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于HADOOP的图表监控方法,其特征在于,包括:
Opentsdb数据库接收Python后台服务器发送的数据信息,所述数据信息包括主机资源信息和HADOOP集群指标数据信息;
所述Opentsdb数据库将所述主机资源信息和所述HADOOP集群指标数据信息存储在Hbase数据库中;
所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息;
所述Opentsdb数据库根据所述图表显示请求信息从所述Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取所述图表显示请求信息的相关信息;
所述Opentsdb数据库将所述相关信息发送给所述Grafana插件。
2.根据权利要求1所述的一种基于HADOOP的图表监控方法,其特征在于,在所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息之前包括:所述Grafana插件接收Web页面发送的所述图表显示请求信息。
3.根据权利要求1所述的一种基于HADOOP的图表监控方法,其特征在于,在所述Opentsdb数据库将所述相关信息发送给所述Grafana插件之后包括:所述Grafana插件将所述相关信息发送给所述Web页面,以使得所述Web页面显示所述相关信息。
4.根据权利要求1所述的一种基于HADOOP的图表监控方法,其特征在于,所述主机资源信息包括CPU内存信息、IO网络信息和磁盘信息。
5.根据权利要求1所述的一种基于HADOOP的图表监控方法,其特征在于,所述HADOOP集群指标数据信息包括HADOOP总容量、HADOOP剩余容量、HADOOP使用容量,HADOOP已损坏的副本数据块、HADOOP丢失块和HADOOP块校验平均时间。
6.一种基于HADOOP的图表监控装置,其特征在于,包括:
数据信息接收单元,用于Opentsdb数据库接收Python后台服务器发送的数据信息,所述数据信息包括主机资源信息和HADOOP集群指标数据信息;
存储单元,用于所述Opentsdb数据库将所述主机资源信息和所述HADOOP集群指标数据信息存储在Hbase数据库中;
第一图表显示请求信息接收单元,用于所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息;
调取单元,用于所述Opentsdb数据库根据所述图表显示请求信息从所述Hbase数据库的主机资源信息和HADOOP集群指标数据信息中调取所述图表显示请求信息的相关信息;
第一相关信息发送单元,用于所述Opentsdb数据库将所述相关信息发送给所述Grafana插件。
7.根据权利要求6所述的一种基于HADOOP的图表监控装置,其特征在于,还包括:第二图表显示请求信息接收单元,用于在所述Opentsdb数据库接收Grafana插件发送的图表显示请求信息之前,所述Grafana插件接收Web页面发送的所述图表显示请求信息。
8.根据权利要求6所述的一种基于HADOOP的图表监控装置,其特征在于,还包括:第二相关信息发送单元,用于在所述Opentsdb数据库将所述相关信息发送给所述Grafana插件之后,所述Grafana插件将所述相关信息发送给所述Web页面,以使得所述Web页面显示所述相关信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610230680.5A CN105930380A (zh) | 2016-04-14 | 2016-04-14 | 一种基于hadoop的图表监控方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610230680.5A CN105930380A (zh) | 2016-04-14 | 2016-04-14 | 一种基于hadoop的图表监控方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105930380A true CN105930380A (zh) | 2016-09-07 |
Family
ID=56838070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610230680.5A Pending CN105930380A (zh) | 2016-04-14 | 2016-04-14 | 一种基于hadoop的图表监控方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105930380A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107404417A (zh) * | 2017-07-25 | 2017-11-28 | 郑州云海信息技术有限公司 | 一种监控数据的处理方法、处理装置及处理*** |
CN107832116A (zh) * | 2017-11-13 | 2018-03-23 | 郑州云海信息技术有限公司 | 一种基于Grafana实现虚拟机实例监控的方法 |
CN108829557A (zh) * | 2018-05-10 | 2018-11-16 | 北京搜狐新媒体信息技术有限公司 | 一种基于OpenTSDB数据库的服务器性能监控数据分析方法及*** |
CN110825581A (zh) * | 2019-10-14 | 2020-02-21 | 广州力挚网络科技有限公司 | 一种数据监控方法与监控平台 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103324401A (zh) * | 2012-03-20 | 2013-09-25 | 深圳市金蝶友商电子商务服务有限公司 | 报表的图表显示方法及装置 |
CN103618644A (zh) * | 2013-11-26 | 2014-03-05 | 曙光信息产业股份有限公司 | 一种基于hadoop集群的分布式监控***及其方法 |
CN104219071A (zh) * | 2013-05-30 | 2014-12-17 | 华为技术有限公司 | 一种网络质量的监控方法和服务器 |
CN104572401A (zh) * | 2015-02-09 | 2015-04-29 | 浪潮软件股份有限公司 | 一种告警方法及告警*** |
US20150277955A1 (en) * | 2014-03-31 | 2015-10-01 | Fujitsu Limited | System and method for controlling virtual-machine migrations based on processor usage rates and traffic amounts |
-
2016
- 2016-04-14 CN CN201610230680.5A patent/CN105930380A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103324401A (zh) * | 2012-03-20 | 2013-09-25 | 深圳市金蝶友商电子商务服务有限公司 | 报表的图表显示方法及装置 |
CN104219071A (zh) * | 2013-05-30 | 2014-12-17 | 华为技术有限公司 | 一种网络质量的监控方法和服务器 |
CN103618644A (zh) * | 2013-11-26 | 2014-03-05 | 曙光信息产业股份有限公司 | 一种基于hadoop集群的分布式监控***及其方法 |
US20150277955A1 (en) * | 2014-03-31 | 2015-10-01 | Fujitsu Limited | System and method for controlling virtual-machine migrations based on processor usage rates and traffic amounts |
CN104572401A (zh) * | 2015-02-09 | 2015-04-29 | 浪潮软件股份有限公司 | 一种告警方法及告警*** |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107404417A (zh) * | 2017-07-25 | 2017-11-28 | 郑州云海信息技术有限公司 | 一种监控数据的处理方法、处理装置及处理*** |
CN107832116A (zh) * | 2017-11-13 | 2018-03-23 | 郑州云海信息技术有限公司 | 一种基于Grafana实现虚拟机实例监控的方法 |
CN108829557A (zh) * | 2018-05-10 | 2018-11-16 | 北京搜狐新媒体信息技术有限公司 | 一种基于OpenTSDB数据库的服务器性能监控数据分析方法及*** |
CN110825581A (zh) * | 2019-10-14 | 2020-02-21 | 广州力挚网络科技有限公司 | 一种数据监控方法与监控平台 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102906751B (zh) | 一种数据存储、数据查询的方法及装置 | |
CN104102790B (zh) | 基于gis的供电图自动成图***及方法 | |
CN107330056A (zh) | 基于大数据云计算平台的风电场scada***及其运行方法 | |
CN105930380A (zh) | 一种基于hadoop的图表监控方法和装置 | |
CN103853714B (zh) | 一种数据处理方法和装置 | |
CN102982186B (zh) | 基于oracle数据库***的range分区表的维护方法和*** | |
CN105631602A (zh) | 一种基于DevOps的业务级运维平台 | |
CN108848132B (zh) | 一种基于云的配电调度主站*** | |
CN108446396B (zh) | 一种基于改进型cim模型的电力数据处理方法 | |
CN102855271A (zh) | 一种多版本电网模型的存储与可追溯管理方法 | |
CN104239377A (zh) | 跨平台的数据检索方法及装置 | |
CN102609464A (zh) | Mongodb分片联表查询方法及装置 | |
CN102508886A (zh) | 一种基于xml的空间数据增量同步更新方法 | |
CN103944964A (zh) | 一种分布式***及根据该***进行逐步扩容的方法 | |
CN103023996A (zh) | 一种云数据存储*** | |
CN107798062A (zh) | 一种变电站历史数据统一存储方法和*** | |
CN112883001A (zh) | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 | |
CN106844233A (zh) | 一种基于哈希表的路由器运行数据缓存方法及*** | |
CN106777265A (zh) | 一种业务数据的处理方法及装置 | |
CN111737655A (zh) | 一种云管理平台的用户权限管理方法、***及存储介质 | |
CN102750371B (zh) | 面向电力***的并行实时数据库***及其数据管理方法 | |
CN112308738A (zh) | 一种水务数据分析处理*** | |
CN103092767B (zh) | 一种对云计算内部物理机信息内存池的管理方法 | |
CN105183797A (zh) | 一种基于iec61850文件服务的变电站文件管控方法 | |
CN110019549A (zh) | 针对物联网平台的大数据存储*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160907 |
|
RJ01 | Rejection of invention patent application after publication |