CN107239380A - 一种基于zabbix的消息队列监控方法 - Google Patents
一种基于zabbix的消息队列监控方法 Download PDFInfo
- Publication number
- CN107239380A CN107239380A CN201710324795.5A CN201710324795A CN107239380A CN 107239380 A CN107239380 A CN 107239380A CN 201710324795 A CN201710324795 A CN 201710324795A CN 107239380 A CN107239380 A CN 107239380A
- Authority
- CN
- China
- Prior art keywords
- message queue
- message
- zabbix
- main frame
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0686—Additional information in the notification, e.g. enhancement of specific meta-data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于zabbix的消息队列监控方法,包括:在zabbix平台上创建消息队列主机信息,作为某个消息队列服务的唯一标识。同时,加载消息队列的监控模板。针对消息队列服务,按照所述消息队列主机信息,创建消息队列配置,用于采集监控数据。根据消息队列配置,针对每个消息队列主机,调用消息队列的接口,获取当前的状态信息,保存到监控数据文件里。根据消息队列配置,针对每个消息队列主机,调用zabbix服务端接口,发送监控数据文件到消息队列主机对应的zabbix服务端。针对消息队列主机,在zabbix服务端里设置相应的短信和邮件接收人信息,在消息队列服务发生故障时通知管理人员。本发明方法可以轻松实现大规模消息队列集群的监控,使用方便,维护成本低。
Description
技术领域
本发明属于消息队列监控技术领域,主要应用于互联网行业各种类型的消息队列的监控。
背景技术
对于互联网公司而言,随着业务的发展,消息队列应用越来越广泛,为了能及时发现故障,需要一个很可行的监控方案。目前,监控消息队列的方案存在如下缺点:
(1)无法及时通知管理人员:很多消息队列自身虽然提供了监控方案,但是,由于不支持短信或者邮件通知机制,无法第一时间通知管理人员,导致无法及时发现问题,从而造成重大损失。
(2)监控固定,无法个性化定制:消息队列自身提供的监控方案,一般是无法个性化定制,很难满足也无需求。
(3)可行性比较低:使用消息队列自身提供的监控,需要外网IP,存在一定的风险和成本,很多场景下不允许使用外网IP,导致无法使用该方案。
发明内容
本发明的目的在于针对现有技术的不足,提供一种基于zabbix的消息队列监控方法,可以轻松实现大规模消息队列集群的监控,并且使用方便,维护成本低。
本发明的目的是通过以下技术方案来实现的:一种基于zabbix的消息队列监控方法,包括以下步骤:
(1)管理消息队列主机
在zabbix平台上创建消息队列主机信息,作为某个消息队列服务的唯一标识。同时,加载消息队列的监控模板。
zabbix是一种支持短信和邮件的监控服务器。
消息队列主机是指在zabbix中为某个消息队列创建的主机信息,作为监控某个消息队列的唯一标识。
消息队列的监控模板是指根据消息队列接口,设置的采集项、触发器以及趋势图,该模板将被加载到消息队列主机信息中。
(2)管理消息队列配置
针对消息队列服务,按照所述消息队列主机信息,创建消息队列配置,用于采集监控数据。
消息队列配置是指配置消息队列主机名称的配置,用于采集监控数据。
(3)采集监控数据
根据消息队列配置,针对每个消息队列主机,调用消息队列的接口,获取当前的状态信息,保存到监控数据文件里。
监控数据文件是指保存采集到的监控数据,所述消息队列主机对应一个监控数据文件。
(4)发送监控数据
根据消息队列配置,针对每个消息队列主机,调用zabbix服务端接口,发送监控数据文件到消息队列主机对应的zabbix服务端。
(5)告警管理
针对消息队列主机,在zabbix服务端里设置相应的短信和邮件接收人信息,在消息队列服务发生故障时候,第一时间通知管理人员。
本发明的有益效果是:本发明基于zabbix的消息队列监控方法,可以轻松实现大规模消息队列集群的监控,并且使用方便,维护成本低。
附图说明
图1是本发明基于zabbix的消息队列监控方法流程图。
具体实施方式
下面结合附图和具体实施例,对本发明作进一步详细说明。
图1是本发明基于zabbix的消息队列监控方法流程图。本发明方法首先在zabbix平台上创建所述消息队列主机,同时加载所述消息队列的监控模板;然后在所述消息队列配置里创建所述消息队列主机,接下来,定期采集所述消息队列主机对应的监控数据,然后发送到所述zabbix***中。如果所述消息队列发生故障,此时,zabbix会触发告警,通知管理人员处理。
下面详细介绍本发明方法的具体实现过程:
步骤S100:管理消息队列主机
在zabbix***“主机”页面,创建主机组,命名为MQ,然后选择MQ主机组,创建消息队列主机,命名格式为:<消息队列类型>_<端口>_<IP>,说明如下:
消息队列类型:由于存在不同类型的消息队列,这里以类型作为区分;
端口:消息队列服务端口,不同消息队列服务端口不同,便于维护消息队列监控。
IP:表示所述消息队列所在服务器的IP,便于管理人员在收到告警时处理问题。
创建消息队列主机后,选择“模板”加载消息队列的监控模板,这样,在zabbix***里,就保存了所述消息队列主机的基本信息。
如果需要删除某个消息队列主机,在zabbix***里,找到指定的主机,点击删除,同时删除消息队列配置中相应的主机信息。
步骤S101:管理消息队列配置
在创建所述消息队列主机后,需要在消息队列配置文件里,添加对应的消息队列主机,与zabbix***中的消息队列主机保持一致。
如果存在多个所述消息队列主机,每行一个。
步骤S102:采集监控数据
这里采用脚本形式,调用所述消息队列相应的接口,并且按照消息队列的监控模板中的采集项进行过滤,然后把这些数据连同消息队列主机名写入到监控数据文件,该文件每行数据格式如下:
<主机名><采集项><时间戳><采集值>
主机名是所述消息队列主机,与所述消息队列配置中的保持一致;
采集项是脚本里设置的采集项,和所述消息队列的监控模板中的采集项保持一致;
时间戳:数值型格式的时间戳;
采集值是采集项对应的值,不能为空,否则发送监控数据报错。
在定时任务中,按照如下形式设置采集数据任务:
*/1****cd/path/to/&&sh colL_mq.sh
colL_mq.sh是采集监控数据的脚本,调用所述消息队列的接口,采集所述消息队列中的诸如node,overview之类的信息,保存在所述消息队列主机对应的监控数据文件中。
步骤S103:发送监控数据
采集监控数据结束后,调用zabbix发送监控数据接口,将监控数据记录在zabbix***中,发送监控数据接口如下:
zabbix_sender--zabbix-server<zabbix服务器IP>--port<zabbix服务器端口>--input-file<监控数据文件>--with-timestamps
说明:
zabbix服务器IP是zabbix服务器所在的服务器IP;
zabbix服务器端口是zabbix服务器的服务端口;
监控数据文件就是所述消息队列主机对应的监控数据文件。
针对所述消息队列配置中的每个主机,调用该接口,发送数据到zabbix***。
发送监控数据结束后,需要清空监控数据文件,避免数据重复导致报错。
为了方便实现该功能,可以在采集监控数据脚本中调用该接口,采集监控数据后,调用该接口发送数据。
步骤S104:告警管理
在zabbix***里,设置主机组MQ对应的短信和邮件接收人,以及告警策略,当所述消息队列服务故障时,zabbix根据告警设置,即可通知管理人员及时处理。
这里可以设置哪些人接收短信和邮件,管理方便灵活。
本发明以一种简单可行的方法,实现了对所述消息队列有效监控,解决了上文提到的问题。
Claims (1)
1.一种基于zabbix的消息队列监控方法,其特征在于,包括以下步骤:
(1)管理消息队列主机
在zabbix平台上创建消息队列主机信息,作为某个消息队列服务的唯一标识。同时,加载消息队列的监控模板。所述消息队列的监控模板是指根据消息队列接口,设置的采集项、触发器以及趋势图,该模板将被加载到消息队列主机中。
(2)管理消息队列配置
针对消息队列服务,按照所述消息队列主机信息,创建消息队列配置,用于采集监控数据。
(3)采集监控数据
根据消息队列配置,针对每个消息队列主机,调用消息队列的接口,获取当前的状态信息,保存到监控数据文件里。每个消息队列主机对应一个监控数据文件。
(4)发送监控数据
根据消息队列配置,针对每个消息队列主机,调用zabbix服务端接口,发送监控数据文件到消息队列主机对应的zabbix服务端。
(5)告警管理
针对消息队列主机,在zabbix服务端里设置相应的短信和邮件接收人信息,在消息队列服务发生故障时通知管理人员。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710324795.5A CN107239380A (zh) | 2017-05-10 | 2017-05-10 | 一种基于zabbix的消息队列监控方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710324795.5A CN107239380A (zh) | 2017-05-10 | 2017-05-10 | 一种基于zabbix的消息队列监控方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107239380A true CN107239380A (zh) | 2017-10-10 |
Family
ID=59985032
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710324795.5A Pending CN107239380A (zh) | 2017-05-10 | 2017-05-10 | 一种基于zabbix的消息队列监控方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107239380A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109729003A (zh) * | 2018-12-28 | 2019-05-07 | 济南铁路信息技术有限公司 | 一种客运列车时刻数据传输方法及*** |
CN110809029A (zh) * | 2019-10-17 | 2020-02-18 | 国电南瑞科技股份有限公司 | 一种基于内存队列的多种运维指标数据接收的管理方法 |
CN115964254A (zh) * | 2023-03-16 | 2023-04-14 | 麒麟软件有限公司 | 一种动态调整监控数据处理速度的方法、***及介质 |
CN116627681A (zh) * | 2023-07-25 | 2023-08-22 | 太平金融科技服务(上海)有限公司 | 业务请求处理方法、装置、计算机设备、介质和程序产品 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100077107A1 (en) * | 2008-09-19 | 2010-03-25 | Oracle International Corporation | Storage-side storage request management |
CN104731580A (zh) * | 2015-01-12 | 2015-06-24 | 上海新炬网络信息技术有限公司 | 基于Karaf与ActiveMQ的自动化运维***及其实现方法 |
-
2017
- 2017-05-10 CN CN201710324795.5A patent/CN107239380A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100077107A1 (en) * | 2008-09-19 | 2010-03-25 | Oracle International Corporation | Storage-side storage request management |
CN104731580A (zh) * | 2015-01-12 | 2015-06-24 | 上海新炬网络信息技术有限公司 | 基于Karaf与ActiveMQ的自动化运维***及其实现方法 |
Non-Patent Citations (2)
Title |
---|
毕竟我是杨小飞I: "CentOS 6.4编译安装和部署Zabbix 2.0版本监控(中文)", 《HTTP://WWW.CNBLOGS.COM/YANGXIAOFEI/P/5435460.HTML》 * |
自由LINUX: "使用Zabbix监控RabbitMQ", 《HTTP://BLOG.51CTO.COM/JOHN88WANG/1745824》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109729003A (zh) * | 2018-12-28 | 2019-05-07 | 济南铁路信息技术有限公司 | 一种客运列车时刻数据传输方法及*** |
CN109729003B (zh) * | 2018-12-28 | 2021-05-18 | 济南铁路信息技术有限公司 | 一种客运列车时刻数据传输方法及*** |
CN110809029A (zh) * | 2019-10-17 | 2020-02-18 | 国电南瑞科技股份有限公司 | 一种基于内存队列的多种运维指标数据接收的管理方法 |
CN115964254A (zh) * | 2023-03-16 | 2023-04-14 | 麒麟软件有限公司 | 一种动态调整监控数据处理速度的方法、***及介质 |
CN115964254B (zh) * | 2023-03-16 | 2023-06-27 | 麒麟软件有限公司 | 一种动态调整监控数据处理速度的方法、***及介质 |
CN116627681A (zh) * | 2023-07-25 | 2023-08-22 | 太平金融科技服务(上海)有限公司 | 业务请求处理方法、装置、计算机设备、介质和程序产品 |
CN116627681B (zh) * | 2023-07-25 | 2023-10-17 | 太平金融科技服务(上海)有限公司 | 业务请求处理方法、装置、计算机设备、介质和程序产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107239380A (zh) | 一种基于zabbix的消息队列监控方法 | |
US8126975B2 (en) | Automatic conversion of email threads into collaborative workspaces | |
CN104699759B (zh) | 一种数据库自动化运行维护方法 | |
CN103019866B (zh) | 基于消息队列的分布式方法和*** | |
CN103095498B (zh) | 话单采集方法和*** | |
CN106487574A (zh) | 自动化运行维护监测*** | |
CN107479514B (zh) | 一种工业大数据过程控制数据采集和传输***与实现方法 | |
CN104834582B (zh) | 一种监控事件展示方法 | |
CN103646437B (zh) | 基于ic卡和gsm通信方式的学生考勤方法及*** | |
CN101883009A (zh) | 可靠性数据的自动采集方法、***及网络管理设备 | |
CN109669835A (zh) | MySQL数据库监控方法、装置、设备及可读存储介质 | |
CN107124315A (zh) | 基于snmp及ipmi协议的多服务器监测***及监测方法 | |
CN108076141A (zh) | 一种分布式实验室集中监控平台及其监控方法 | |
CN109885453A (zh) | 基于流数据处理的大数据平台监控*** | |
CN106453541A (zh) | 一种数据同步的方法、服务器以及数据同步*** | |
CN109151056B (zh) | 基于Canal的消息推送方法和*** | |
CN111049673A (zh) | 一种服务网关中api调用统计和监控的方法及*** | |
CN109657005A (zh) | 一种分布式集群***的数据缓存方法、装置及设备 | |
CN104506939B (zh) | 一种信息上报方法及电视终端 | |
CN102082677A (zh) | 一种告警信息处理方法和装置及*** | |
EP1622310A2 (en) | Administration system for network management systems | |
CN108847949A (zh) | 基于云平台的消息通知方法、装置、电子设备及存储介质 | |
CN103297477A (zh) | 一种数据采集上报***及数据处理方法和代理服务器 | |
CN105429823B (zh) | 分布式通信设备中组播流量检测方法及装置 | |
CN110445647A (zh) | 一种物联网数据诊断及纠错方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171010 |
|
RJ01 | Rejection of invention patent application after publication |