CN110809029A

CN110809029A - 一种基于内存队列的多种运维指标数据接收的管理方法

Info

Publication number: CN110809029A
Application number: CN201910987702.6A
Authority: CN
Inventors: 王纪立; 王辰; 沙一川; 季惠英; 徐丽燕; 宋奇兵; 邹金良; 陈云; 周玲; 宋超; 薛驰; 季学纯; 彭晖; 孙云枫; 翟明玉
Original assignee: Nari Technology Co Ltd; NARI Nanjing Control System Co Ltd
Current assignee: Nari Technology Co Ltd; NARI Nanjing Control System Co Ltd
Priority date: 2019-10-17
Filing date: 2019-10-17
Publication date: 2020-02-18

Abstract

本发明公开了一种基于内存队列的多种运维指标数据接收的管理方法，提供三种数据接收的方式，包括TCP接收、HTTP接收、Kafka接收。并使用ConcurrentLinkedQueue队列来保证并发执行时的线程安全。该管理方法可以运用在电力***中的智能运维平台中，开发人员只要遵循该方法制定的运维指标数据格式，选择一种数据通信方式，不需要进行通信方面的代码开发，接收的数据就会被有效的管理，达梦数据库用于数据存储、Redis用于数据查询的缓存、opentsdb用于前端数据的实时展示。

Description

一种基于内存队列的多种运维指标数据接收的管理方法

技术领域

本申请属于电网调度自动化领域，特别涉及多种运维指标数据接收的管理方法。

背景技术

在搭建电力***智能运维平台过程中，采集端发送采集运维数据到服务端的形式有很多种，例如将运维指标数据通过Kafka发送、或者通过HTTP形式发送等等；服务端怎样统一接收多种发送方式，是需要解决的一个问题。现在业界使用的开源智能运维监控***有zabbix、open-falcon、prometheus等等。

如上述的zabbix***，是一个基于WEB界面的提供分布式***监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数，保证服务器***的安全运营；并提供灵活的通知机制以让***管理员快速定可勿解决存在的各种问题。

zabbix由2部分构成，zabbix server与可选组件zabbix agent。

zabbix server可以通过SNMP、zabbix agent、ping、端口监视等方法提供对远程服务器/网络状态的监视，数据收集等功能，它可以运行在Linux、Solaris、HP-UX,AIX、FreeBSD、open BSD、OSX等平台上.

Zabbix***的优点包括：(1)zabbix最常用的监控方式，监测指标深入细致有针对性。(2)内置监控功能强大，内置监控项目丰富。(3)TCP方式实现通讯，可靠性也有保证。

但是，Zabbix虽然可以提供强大的监视功能，但是它需要在被监控的机器上逐个安装agent客户端，部署比较麻烦，也不符合电力***的现场复杂环境。而且通信方式是TCP方式，agent和服务端通信方式不是可配置的，必须符合遵从zabbix提供的方式，灵活性不太好；而且zibbix入门容易，但进行二次开发难度较大；运维***较重。

故，需要一种新的技术方案以解决上述问题。

发明内容

发明目的：本发明提出了一种基于HBase的智能电网采集监测数据存储***及存储方法，目的是为了合理存储信息，充分利用资源，以提升采集监测数据的加载和访问性能。

技术方案：为达到上述目的，本发明基于HBase的智能电网采集监测数据存储***采用如下技术方案：

一种基于内存队列的多种运维指标数据接收的管理方法，包括以下几个步骤：

步骤1)，按照制定的数据格式，梳理运维指标数据，用于有效的数据接收、数据存储和数据展示；

步骤2)，提供三种数据接收通信方式：包括TCP通信、HTTP通信、Kafka通信方式，以接收运维指标数据；

步骤3)，整合多种存储数据的数据库，包括关系数据库、时序数据库、内存缓存数据库，对数据进行有效存储。

进一步的，步骤1)中，数据来源包括但基础设施指标、运行指标、业务***指标、第三方指标；报文采取json格式，数据类型支持String、int、Float；数据格式包含了主机名、组件名、所属***、指标组、指标名、指标值、上报周期。

进一步的，步骤2)中，spring嵌入Netty，通过Netty整合了TCP和HTTP通信方式，提供了一个高性能、高可靠性的网络应用框架；spring boot嵌入Kafka，提供了可配置的向Kafka通信的机制；使用ConcurrentLinkedQueue队列来保证并发执行时的线程安全。

进一步的，步骤3)中，通过spring整合了三种数据存储方式，整合关系数据库，存储所有元数据以及指标数据；整合Redis，将最新数据存入Redis，对外可提供健康诊断接口；整合opentsdb，对前端数据丰富展示提供数据支持。

有益效果：相对于现有技术，本发明的有益效果包括：

遵循该方法的数据接入规范，可以有效的管理运维指标数据，规范中定义了组件名、所属***、指标组等，将各个数据源接收到的各种运维数据按照规范整理后存入数据库，使得数据更条理，利于之后的数据展示和应用；提供的三种数据通信方式TCP通信、HTTP通信、Kafka通信，涵盖了电力***通用的通信方式，可以和电力***的各个调度***无缝对接，做到无侵入性的收集处理运维指标数据，开发人员可以将更多精力放在数据业务应用上，不用过多考虑代码的实现。

附图说明

图1为本发明的***架构图。

具体实施方式

下面结合附图对本发明的一种基于内存队列的多种运维指标数据接收的管理方法进一步的详细介绍。

以下为本发明的数据接入规范。

报文采用json格式，指标组-指标项数据格式。

{

"endpoint":"dev1",

"system":"NariCloud",

"component":"eth1",

"metricgroup":"IPInterface",

"metric":"AdminStatus",

"datatype":"String/int/Float",

"value":1,

"step":60,

"counterType":"GAUGE/COUNTER",

"timestamp":1524724608,

}

endpoint:这一个一般是主机hostname；

component：设备的广义组件，可能是物理存在的网卡、CPU，可能是中间件组件，如DB；

system：设备所属***，比如南瑞云等

metricgroup：指标组，将指标进行归纳，//运维平台统一管理

metric:指标项，//运维平台统一管理

value:指标的值；

step:上报的时间周期；

counterType:上报的类型,只支持GAUGE以及COUNTER,因此统一使用GAUGE；

timestamp:指标上报的时间戳，单位秒；

如图1所示为本发明的***架构图。数据来源应包括但不限于基础设施指标、运行指标、业务***指标、第三方指标；通信方式支持Kafka、HTTP(POST)、TCP方式；数据接入后存储到关系库、Redis、OpenTsdb，以及发送告警。

另外，本发明的具体实现方法和途径很多，以上所述仅是本发明的优选实施方式。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims

1.一种基于内存队列的多种运维指标数据接收的管理方法，其特征在于，包括以下几个步骤：

2.根据权利要求1所述的基于内存队列的多种运维指标数据接收的管理方法，其特征在于：步骤1)中，数据来源包括但基础设施指标、运行指标、业务***指标、第三方指标；报文采取json格式，数据类型支持String、int、Float；数据格式包含了主机名、组件名、所属***、指标组、指标名、指标值、上报周期。

3.根据权利要求1所述的基于内存队列的多种运维指标数据接收的管理方法，其特征在于：步骤2)中，spring嵌入Netty，通过Netty整合了TCP和HTTP通信方式，提供了一个高性能、高可靠性的网络应用框架；spring boot嵌入Kafka，提供了可配置的向Kafka通信的机制。

4.根据权利要求3所述的基于内存队列的多种运维指标数据接收的管理方法，其特征在于：步骤2)中，使用ConcurrentLinkedQueue队列来保证并发执行时的线程安全。

5.根据权利要求1所述的基于内存队列的多种运维指标数据接收的管理方法，其特征在于：步骤3)中，通过spring整合了三种数据存储方式，整合关系数据库，存储所有元数据以及指标数据；整合Redis，将最新数据存入Redis，对外可提供健康诊断接口；整合opentsdb，对前端数据丰富展示提供数据支持。