CN110677271B - 基于elk的大数据告警方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种基于ELK的大数据告警方法、装置、设备及存储介质，涉及大数据处理技术领域。一种基于ELK的大数据告警方法，包括：采集业务的原始结果数据；对原始结果数据执行清洗加工，以获取有效数据；对有效数据执行多维度的数据抽取；获取每一项数据特征在总体数据中所占的比例，并分配特征权重；生成多类告警特征的特征值，生成告警消息进行推送。所述方法通过对由原始数据获取的有效数据进行多维度的数据抽取，可以深入到更细粒度的分析，从而更好地发现业务逻辑或者功能点中的异常，并结合特征权重和特征值这两种影响告警策略的参数调整告警策略，能够实现动态地调整告警策略，避免告警的误报和骚扰等问题。

Description

基于ELK的大数据告警方法、装置、设备及存储介质

技术领域

本申请实施例涉及大数据处理技术领域，特别是一种基于ELK的大数据告警方法、装置、设备及存储介质。

背景技术

日志，在计算机***里面，是极其重要的组成部分。日志主要包括***日志、业务日志以及安全日志。***运维和开发人员可以通过日志了解服务器软硬件信息、查阅日志信息以及分析错误发生的原因等。但是由于现在的计算机***大多比较复杂，很多***都不是在一个地方，甚至都是跨国界的。而且随着现在计算机***的日益复杂，大数据时代的来临，越来越容易就涉及到几十甚至上百台的服务器，它们都在不停产生各种各样的日志数据。面对如此海量的日志数据，又是分布在各个不同地方，如果我们需要去查找一些重要的信息，使用传统的工具和方法会显得非常笨拙和低效。因此迫切地需要有一套针对日志的集中式管理方法，把不同来源的数据集中整合到一个地方，集中式日志***的概念因此产生。业务***运行中可以通过集中式日志***实时监控其性能和关键技术指标，当出现异常时会产生日志类的告警信息，当告警产生时，运维人员查看告警信息，并去查找是否有对应的应急预案。

但是目前常见通过集中式日志***进行的业务监控告警和分析，主要是针对机器、或者业务接口响应码来告警，没有深入到接口响应内容的分析，很难发现业务逻辑或者功能点异常的问题，告警的细粒度不够，且告警策略比较单一，无法满足快速发现问题的同时又尽量避免误报和骚扰。

发明内容

本申请实施例所要解决的技术问题是，提供一种基于ELK的大数据告警方法、装置、设备及存储介质，可以基于集中式日志***深入到更细粒度的分析，能够动态地调整告警策略，解决告警策略过于单一的缺陷。

为了解决上述技术问题，本申请实施例所述的一种基于ELK的大数据告警方法，采用了如下所述的技术方案：

一种基于ELK的大数据告警方法，包括：

采集业务的原始结果数据；

通过Logstash对所述原始结果数据执行清洗加工处理，以获取有效数据；

通过ElasticSearch对所述有效数据执行多维度的数据抽取，以生成多维度的若干项数据特征；

获取每一个维度的若干项数据特征和每一项数据特征在所述若干项数据特征的总体数据中所占的比例，并基于所述比例为每一项所述数据特征分配特征权重；

基于各项数据特征对应的特征权重生成多类告警特征的特征值，聚合所述多类告警特征并基于聚合的多类告警特征生成告警消息进行推送，或分别为每一类告警特征生成告警消息进行推送。

本申请实施例所述的基于ELK的大数据告警方法，通过对由原始数据获取的有效数据进行多维度的数据抽取，可以深入到更细粒度的分析，从而更好地发现业务逻辑或者功能点中的异常；而通过计算各个维度的每项数据特征在若干项数据特征的总体数据中的所占比例并合理分配其特征权重，并结合特征权重和特征值这影响告警策略的参数调整告警策略，能够实现动态地调整告警策略，避免告警的误报和骚扰等问题。

进一步的，所述的基于ELK的大数据告警方法，所述采集业务的原始结果数据的步骤之前，所述方法还包括：

监控至少一种业务数据源的日志；所述原始结果数据记录在所述日志中。

通过监控日志，我们便可以实时获取来自业务数据源的原始结果数据的变化，从而能够及时地采集到我们所需的所述原始结果数据。

进一步的，所述的基于ELK的大数据告警方法，所述通过ElasticSearch对所述有效数据执行多维度的数据抽取，以生成多维度的若干项数据特征的步骤包括：

通过ElasticSearch对HTTP请求报文这一维度执行数据抽取，获取请求行、请求头和请求体三项数据特征；

通过ElasticSearch对HTTP响应报文这一维度执行数据抽取，获取响应行、响应头和响应体三项数据特征。

进一步的，所述的基于ELK的大数据告警方法，在所述生成多维度的若干项数据特征的步骤之后，所述方法还包括：

通过Kibana对所述多维度的数据特征执行可视化分析及展示。

对业务的所述多维度的数据特征进行可视化分析和展示，可以方便用户定位问题及分析问题产生的原因。

进一步的，所述的基于ELK的大数据告警方法，在所述生成多维度的若干项数据特征的步骤之后，所述方法还包括：

通过ElasticSearch将所述多维度的若干项数据特征聚合生成一个整体的数据集；

发送所述数据集至所述ElasticSearch进行存储。

通过将抽取出的所述若干项技术特征聚合起来形成一个整体的数据集，可以方便数据的存储和输送，以及后续步骤中从聚合好的总数据集中读取数据后，再实现相关的逻辑和功能。而通过ElasticSearch存储所述数据集，能够为所述数据集建立索引，方便对数据集中的数据信息进行结构化搜索和分析。

进一步的，所述的基于ELK的大数据告警方法，所述基于各项数据特征对应的特征权重生成多类告警特征的特征值的步骤包括：

为每一项数据特征设置若干权重阈值；

基于各项数据特征对应的特征权重和为各项数据特征设置的若干权重阈值，确定各项数据特征对应的告警等级，进而基于所述数据特征和所述告警等级生成多类告警特征的特征值。

设置权重阈值能够更好地实现动态调整告警的策略，对比数据特征的特征权重与权重阈值，可以判断当前业务数据所需告警信息内容及策略是怎样的，从而结合特征权重与权重阈值这两种影响告警策略的参数调整告警策略，以实现更详细、更深入地分析数据中存在的问题，且更合理地进行告警。

为了解决上述技术问题，本申请实施例还提供一种基于ELK的大数据告警装置，采用了如下所述的技术方案：

一种基于ELK的大数据告警装置，包括：

采集模块，用于采集业务的原始结果数据；

加工模块，用于通过Logstash对所述原始结果数据执行清洗加工处理，以获取有效数据；

数据抽取模块，用于通过ElasticSearch对所述有效数据执行多维度的数据抽取，以生成多维度的若干项数据特征；

权重分配模块，用于获取每一个维度的若干项数据特征和每一项数据特征在所述若干项数据特征的总体数据中所占的比例，并基于所述比例为每一项所述数据特征分配特征权重；

推送模块，用于基于各项数据特征对应的特征权重生成多类告警特征的特征值，聚合所述多类告警特征并基于聚合的多类告警特征生成告警消息进行推送，或分别为每一类告警特征生成告警消息进行推送。

进一步的，所述的基于ELK的大数据告警装置，还包括：监控模块；所述监控模块用于监控至少一种业务数据源的日志；所述原始结果数据记录在所述日志中。

本申请实施例所述的基于ELK的大数据告警装置，通过对由原始数据获取的有效数据进行多维度的数据抽取，可以深入到更细粒度的分析，从而更好地发现业务逻辑或者功能点中的异常；而通过计算各个维度的每项数据特征在所述若干项数据特征的总体数据中的所占比例并合理分配其特征权重，并结合特征权重和特征值这影响告警策略的参数调整告警策略，能够实现动态地调整告警策略，避免告警的误报和骚扰等问题。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项技术方案所述的基于ELK的大数据告警方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项技术方案所述的基于ELK的大数据告警方法的步骤。

与现有技术相比，本申请实施例主要有以下有益效果：

本申请实施例公开了一种基于ELK的大数据告警方法、装置、设备及存储介质，本申请实施例所述的基于ELK的大数据告警方法通过对由原始数据获取的有效数据进行多维度的数据抽取，可以深入到更细粒度的分析，从而更好地发现业务逻辑或者功能点中的异常；而通过计算各个维度的每项数据特征在所述若干项数据特征的总体数据中的所占比例并合理分配其特征权重，并结合特征权重和特征值这两种影响告警策略的参数调整告警策略，能够实现动态地调整告警策略，避免告警的误报和骚扰等问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

可以根据这些附图获得其他的附图。

图1为本申请实施例可以应用于其中的示例性***架构图；

图2为本申请实施例中所述基于ELK的大数据告警方法的一个实施例的流程图；

图3为本申请实施例中所述基于ELK的大数据告警装置的一个实施例的结构示意图；

图4为本申请实施例中计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”、“包含”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。在本申请的权利要求书、说明书以及说明书附图中的术语，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来，而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请的方案，下面将结合本申请实施例中的相关附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的基于ELK的大数据告警方法一般由服务器/终端设备执行，相应地，基于ELK的大数据告警装置一般设置于服务器/终端设备中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

ELK(ElasticSearch，Logstash，Kibana)属于集中式日志***之一，它是一套开源的集中式日志数据管理的解决方案，包括ElasticSearch，Logstash和Kibana三个软件产品。

其中，ElasticSearch是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎Apache Lucene基础上的搜索引擎，使用Java语言编写。

Logstash是一个开源的分布式搜索引擎，提供搜索、分析、存储数据三大功能。支持几乎任何类型的日志，包括***日志、业务日志和安全日志。它可以从许多来源对日志进行收集和过滤，并能够以多种方式输出数据。

Kibana是一个开源的数据分析和可视化平台，为Logstash和ElasticSearch提供日志分析友好的Web界面，可以帮助汇总、分析和搜索重要数据日志。它可以在ElasticSearch的索引中查找和交互数据，并生成各种维度的表图进行展示。

继续参考图2，示出了本申请实施例中所述基于ELK的大数据告警方法的一个实施例的流程图。所述基于ELK的大数据告警方法，包括以下步骤：

步骤201：采集业务的原始结果数据。

为了实现对告警策略的调整，我们首先需要获取关于业务的原始结果数据，以便于根据原始结果数据的各项特征调整告警策略。在本申请实施例中，可以采用ELK组件中的Logstash工具执行对所述原始结果数据的采集，从而获取所需的原始结果数据，在本申请一些其他实施例中，还可以采用Filebeat或Logagent作为采集所述原始结果数据的工具。

在调整告警策略的测试阶段，所述原始结果数据既可以为接口测试用例的结果数据，还可以为其他测试对象和内容的测试用例的结果数据。而在告警实例中，所述原始结果数据则为实际告警对象的实际用例的结果数据。

测试用例指为某个特殊目标而编制的一组测试输入、执行条件以及预期结果，以便测试某个程序路径或核实是否满足某个特定需求。而告警实例则是指实际应用中的真实数据输入。

在本申请实施例中，在所述步骤201之前，所述基于ELK的大数据告警方法还包括步骤：监控至少一种业务数据源的日志；所述原始结果数据记录在所述日志中。

业务的原始结果数据一般以日志的形式进行记录，通过监控日志，我们便可以实时获取来自业务数据源的原始结果数据的变化，从而能够及时地采集到我们所需的所述原始结果数据。

在本申请实施例的实施方式中，为了获得更好的监控效果，我们可以通过监控平台对业务的原始结果数据进行实时监控。而监控日志和从日志中采集原始结果数据时，我们均可以通过ELK组件中的Logstash工具进行实现。

而在本申请实施例的一种具体实施方式中，所述日志中至少记载有以下字段信息：请求体、响应体和状态码。

采集的所述原始结果数据中须包括明确的字段信息，以便可以从其中抽取出如请求体、响应体、状态码等字段的基本信息。因此所述日志中需至少包括上述的几种字段信息。

其中，“请求体”表示HTTP(HyperText Transfer Protocol，超文本传输协议)请求报文中的一个组成部分。而HTTP请求报文包括：请求行、请求头和请求体。请求体的内容是报文体，它将一个页面表单中的组件值编码成一个格式化串，它承载多个请求参数的数据，可以传递请求参数。

“响应体”则表示HTTP响应报文中的一个组成部分。HTTP响应报文包括：响应行、响应头和响应体。响应体的内容为服务器返回给客户端的文本信息，可以为网页或字符串编码等。

“状态码”为HTTP响应报文中响应行中的一个组成部分，一般表示为三位数字，用于向客户端反馈对于其请求的处理结果。

而所述日志的格式不限，可以为json或文本等多种格式。

在本申请实施例中，所述基于ELK的大数据告警方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式接收用户发出的采集原始结果数据和监控日志的指令。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。

步骤202：通过Logstash对所述原始结果数据执行清洗加工处理，以获取有效数据。

在本申请实施例中，所述有效数据的特点为只包含处理时所需要的数据特征，即上述的请求体、响应体、状态码以及业务场景相关的特征(所属业务模块、操作类型等)数据，而不存在不必要的冗余数据。使用Logstash工具对所述原始数据处理的目的便是清洗掉原始数据中的无用数据或脏数据等冗余数据，而通过对其中的字段内容进行转换、裁剪、计算等加工处理，清洗掉冗余数据后，则可保证输入给ElasticSearch的数据是只包含需要的数据特征，从而可以提高后续流程的处理效率，节省时间。

其中，脏数据指源***中的数据不在给定的范围内或对于实际业务毫无意义，或是数据格式非法，以及在源***中存在不规范的编码和含糊的业务逻辑。

步骤203：通过ElasticSearch对所述有效数据执行多维度的数据抽取，以生成多维度的若干项数据特征。

在本申请实施例中，对所述有效数据从多个维度进行数据抽取时，需根据业务的实际场景进行。通过多维度的数据抽取生成的多维度的数据特征可以包括：业务功能模块、接口请求方式、http状态码、业务状态码、请求体、响应体等内容。

为了理解所述多维度的概念，我们以具体的数据特征进行举例，如需要获取HTTP请求报文和HTTP响应报文的完整数据时，我们将HTTP请求报文和HTTP响应报文分别视为一个不同的维度时，请求行、请求头和请求体则属于HTTP请求报文这一维度下的数据特征，响应行、响应头和响应体属于HTTP响应报文这一维度下的数据特征。

所述多维度的数据特征对于不同的业务类型可能各不相同，如有些业务与HTTP有关，而有些无关，则无关的业务必定没有HTTP请求报文和HTTP响应报文这两个维度下的数据特征。

通过原始数据获取的有效数据进行多维度的数据抽取，可以深入到更细粒度的分析，从而更好地发现业务逻辑或者功能点中的异常。

在本申请实施例中，在所述步骤203之后，所述基于ELK的大数据告警方法还包括：通过Kibana对所述多维度的数据特征执行可视化分析及展示。

可视化分析通过将数据进行关联分析，并做出完整的分析图表，旨在借助于图形化的手段，清晰有效地传达与沟通数据信息。本申请中，即利用所述Kibana工具实现可视化分析及展示。

而对业务的所述多维度的数据特征进行可视化分析和展示，可以方便用户定位问题及分析问题产生的原因。

步骤204：获取每一个维度的若干项数据特征和每一项数据特征在所述若干项数据特征的总体数据中所占的比例，并基于所述比例为每一项所述数据特征分配特征权重。

为了更好地理解告警策略的概念，以以下实例进行说明：

在对用户进行业务数据的告警时，可能会出现下述问题：同一个集群的不同实例出现问题，可能会造成重复告警，从而浪费资源；告警消息频繁，用户被告警消息刷屏，出现告警淹没的问题后，可能导致产生麻木感；短时间内在不同的告警接收设备上出现同时对一个故障的告警消息，导致用户产生巨大压力。

因此针对不同的服务、不同的时间段和不同的员工层级，应该设定不同的告警策略。如对更重要的服务的告警应设置更高的优先级；在较忙碌的时间段，应降低告警消息的提醒频率，避免告警消息过多；对于职位级别更高的员工的告警消息应设置更高的门槛，使只有较重要的告警消息才会发送到较高级别的员工处进行提醒。

而在本申请实施例中，利用特征权重表示数据特征对于生成的告警消息的重要性，根据各数据特征和各数据特征对应的特征权重的变化，便可以及时获取每项数据特征对于告警消息的重要性的变化，从而在调整告警消息时，提升对于特征权重提高了的数据特征的参考指数，而降低对于特征权重降低了的数据特征的参考指数，以动态地调整告警策略。

本申请实施例中，在所述步骤203之后，所述基于ELK的大数据告警方法还包括：通过ElasticSearch将所述多维度的若干项数据特征聚合生成一个整体的数据集；

发送所述数据集至所述ElasticSearch进行存储。

通过将抽取出的所述若干项技术特征聚合起来形成一个整体的数据集，可以方便数据的存储和输送，以及后续步骤中从聚合好的总数据集中读取数据后，再实现相关的逻辑和功能。

而通过ElasticSearch存储所述数据集，能够为所述数据集建立索引，方便对数据集中的数据信息进行结构化搜索和分析。

步骤205：基于各项数据特征对应的特征权重生成多类告警特征的特征值，聚合所述多类告警特征并基于聚合的多类告警特征生成告警消息进行推送，或分别为每一类告警特征生成告警消息进行推送。

在本申请实施例中，所述告警特征的类型至少包括以下几种：告警模式、告警模块、告警频次、告警间隔、通知人员、告警方式和重要优先级。所述特征值即指的所述告警特征的具体告警内容。

在本申请实施例一种具体的实施方式中，如将状态码视为一项数据特征，则通过计算每一个状态码在整体的数据中的百分占比为其分配合适的特征权重。而在某一次告警中，状态码的占比大于10％，表示此状态码占比很高，需要增大它的特征权重，由此当特征权重增大了，那么针对这项数据特征，可以进行尽快的告警，缩短告警间隔，提高重要优先级，以及向更多的通知人员发送告警消息等处理，从而实现对告警策略的调整。

对所述告警消息进行推送时，主要通过文字和声音的形式进行推送，如可以通过短信、邮件或语音等形式推送以提醒用户。

而根据告警特征推送的方式，可以将多类告警特征聚合为一条告警消息进行推送，也可以分别为每一类告警特征生成多条告警消息进行推送。

在本申请实施例的实施方式中，所述步骤205中的所述基于各项数据特征对应的特征权重生成多类告警特征的特征值的步骤包括：

为每一项数据特征设置若干权重阈值；

基于各项数据特征对应的特征权重和为各项数据特征设置的若干权重阈值，确定各项数据特征对应的告警等级，进而基于所述数据特征和所述告警等级生成多类告警特征的特征值。

其中，对于同一项数据特征设置的不同权重阈值表示应对其采取的不同的告警等级，而每一个告警等级表示了根据该项数据特征调整告警特征的特征值的程度。所述权重阈值为预先设置的，可以根据实际需要进行调整，所述若干权重阈值的范围均位于0％-100％之间。

通过跟进各个维度的数据特征和各个数据特征对应的所占比例，并为每一项数据特征根据需要进行逻辑处理得出并设置权重阈值，从而可以动态地调整告警的策略，避免告警的误报和骚扰等问题，设置权重阈值的目的即是为了更好地动态调整告警的策略。

该步骤中，在设置若干权重阈值后，首先基于每一项数据特征对应的特征权重，匹配为每一项数据特征设置的若干权重阈值，通过特征权重与若干权重阈值的对比，确认特征权重最接近于哪一个权重阈值所表示的范围，从而确定每一项数据特征对应的告警等级，进而基于所述数据特征及每一项所述数据特征匹配的告警等级生成多类告警特征的特征值。

调整告警策略时，以告警模式、告警频次和告警间隔举例对各告警特征的动态变化进行说明：如当检测到业务中某些数据存在异常时，将这些异常数据作为数据特征，首先计算所述异常数据在总数据中所占的比例后，若其中异常数据的比例较大，便通过根据所述比例设置的特征权重匹配和对比预设的权重阈值，判断其告警频次是否需提高和告警间隔是否需缩短；若异常数据的比例较小，则表示告警的紧急度和重要性相对较低，便根据特征权重与权重阈值的对比结果判断是否需将其告警频次降低和告警间隔拉长；而告警频次提高/降低、告警间隔缩短/拉长的程度则可以根据不同的权重阈值所代表的告警等级判断。而告警模式则可以根据异常数据的具体内容生成的文本内容作为特征值。以上步骤通过结合数据特征和数据特征的特征权重匹配的权重阈值生成多类告警特征的特征值，从而实现了对告警策略的动态调整。

对比数据特征的特征权重与权重阈值，可以判断当前业务数据所需告警信息内容及策略是怎样的，从而结合特征权重和特征值这两种影响告警策略的参数调整告警策略，以实现更详细、更深入地分析数据中存在的问题，且更合理地进行告警。

本申请实施例所述的基于ELK的大数据告警方法，通过对由原始数据获取的有效数据进行多维度的数据抽取，可以深入到更细粒度的分析，从而更好地发现业务逻辑或者功能点中的异常；而通过计算各个维度的每项数据特征在所述若干项数据特征的总体数据中的所占比例并合理分配其特征权重，并结合特征权重和特征值这两种影响告警策略的参数调整告警策略，能够实现动态地调整告警策略，避免告警的误报和骚扰等问题。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

进一步参考图3，图3示出了为本申请实施例中所述基于ELK的大数据告警装置的一个实施例的结构示意图。作为对上述图2所示方法的实现，本申请提供了一种基于ELK的大数据告警装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图3所示，本实施例所述的基于ELK的大数据告警装置包括：

采集模块301；用于采集业务的原始结果数据。

加工模块302；用于通过Logstash对所述原始结果数据执行清洗加工处理，以获取有效数据。

数据抽取模块303；用于通过ElasticSearch对所述有效数据执行多维度的数据抽取，以生成多维度的若干项数据特征。

权重分配模块304；用于获取每一个维度的若干项数据特征和每一项数据特征在所述若干项数据特征的总体数据中所占的比例，并基于所述比例为每一项所述数据特征分配特征权重。

推送模块305；用于基于各项数据特征对应的特征权重生成多类告警特征的特征值，聚合所述多类告警特征并基于聚合的多类告警特征生成告警消息进行推送，或分别为每一类告警特征生成告警消息进行推送。

在本申请实施例中，所述基于ELK的大数据告警装置还包括：监控模块。所述监控模块用于监控至少一种业务数据源的日志；所述原始结果数据记录在所述日志中。

在本申请实施例中，所述基于ELK的大数据告警装置还包括：展示模块。所述展示模块用于通过Kibana对所述多维度的数据特征执行可视化分析及展示。

在本申请实施例中，所述基于ELK的大数据告警装置还包括：聚合模块。所述聚合模块用于通过ElasticSearch将所述多维度的若干项数据特征聚合生成一个整体的数据集；发送所述数据集至所述ElasticSearch进行存储。

在本申请实施例的一种具体实施方式中，所述推送模块305用于为每一项数据特征设置若干权重阈值，基于各项数据特征对应的特征权重和为各项数据特征设置的若干权重阈值，确定各项数据特征对应的告警等级，进而基于所述数据特征和所述告警等级生成多类告警特征的特征值。

本申请实施例所述的基于ELK的大数据告警装置，通过对由原始数据获取的有效数据进行多维度的数据抽取，可以深入到更细粒度的分析，从而更好地发现业务逻辑或者功能点中的异常；而通过计算各个维度的每项数据特征在所述若干项数据特征的总体数据中的所占比例并合理分配其特征权重，并结合特征权重和特征值这两种影响告警策略的参数调整告警策略，能够实现动态地调整告警策略，避免告警的误报和骚扰等问题。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。

所述计算机设备6包括通过***总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是，图中仅示出了具有组件61-63的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器61可以是所述计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，所述存储器61也可以是所述计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，所述存储器61通常用于存储安装于所述计算机设备6的操作***和各类应用软件，例如基于ELK的大数据告警方法的程序代码等。此外，所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器62在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中，所述处理器62用于运行所述存储器61中存储的程序代码或者处理数据，例如运行所述基于ELK的大数据告警方法的程序代码。

所述网络接口63可包括无线网络接口或有线网络接口，该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有基于ELK的大数据告警程序，所述基于ELK的大数据告警程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于ELK的大数据告警方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

在本申请所提供的上述实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。

所述模块或组件可以是或者也可以不是物理上分开的，作为模块或组件显示的部件可以是或者也可以不是物理模块，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块或组件来实现本实施例方案的目的。

本申请不限于上述实施方式，以上所述是本申请的优选实施方式，该实施例仅用于说明本申请而不用于限制本申请的范围，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，其依然可以对前述各具体实施方式所记载的技术方案进行若干改进和修饰，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理应视为包括在本申请的保护范围之内。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，以及凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种基于ELK的大数据告警方法，其特征在于，包括：

采集业务的原始结果数据；

通过Logstash对所述原始结果数据执行清洗加工处理，以获取有效数据；

通过ElasticSearch对所述有效数据执行多维度的数据抽取，以生成多维度的若干项数据特征；

获取每一个维度的若干项数据特征和每一项数据特征在所述若干项数据特征的总体数据中所占的比例，并基于所述比例为每一项所述数据特征分配特征权重；

基于各项数据特征对应的特征权重生成多类告警特征的特征值，所述特征值随所述特征权重可变，聚合所述多类告警特征并基于聚合的多类告警特征生成告警消息进行推送，或分别为每一类告警特征生成告警消息进行推送。

2.根据权利要求1所述的基于ELK的大数据告警方法，其特征在于，所述采集业务的原始结果数据的步骤之前，所述方法还包括：

监控至少一种业务数据源的日志；所述原始结果数据记录在所述日志中。

3.根据权利要求1所述的基于ELK的大数据告警方法，其特征在于，所述通过ElasticSearch对所述有效数据执行多维度的数据抽取，以生成多维度的若干项数据特征的步骤包括：

通过ElasticSearch对HTTP请求报文这一维度执行数据抽取，获取请求行、请求头和请求体三项数据特征；

通过ElasticSearch对HTTP响应报文这一维度执行数据抽取，获取响应行、响应头和响应体三项数据特征。

4.根据权利要求1所述的基于ELK的大数据告警方法，其特征在于，在所述生成多维度的若干项数据特征的步骤之后，所述方法还包括：

通过Kibana对所述多维度的数据特征执行可视化分析及展示。

5.根据权利要求1所述的基于ELK的大数据告警方法，其特征在于，在所述生成多维度的若干项数据特征的步骤之后，所述方法还包括：

通过ElasticSearch将所述多维度的若干项数据特征聚合生成一个整体的数据集；

发送所述数据集至所述ElasticSearch进行存储。

6.根据权利要求1所述的基于ELK的大数据告警方法，其特征在于，所述基于各项数据特征对应的特征权重生成多类告警特征的特征值的步骤包括：

为每一项数据特征设置若干权重阈值；

基于各项数据特征对应的特征权重和为各项数据特征设置的若干权重阈值，确定各项数据特征对应的告警等级，进而基于所述数据特征和所述告警等级生成多类告警特征的特征值。

7.一种基于ELK的大数据告警装置，其特征在于，包括：

采集模块，用于采集业务的原始结果数据；

加工模块，用于通过Logstash对所述原始结果数据执行清洗加工处理，以获取有效数据；

数据抽取模块，用于通过ElasticSearch对所述有效数据执行多维度的数据抽取，以生成多维度的若干项数据特征；

权重分配模块，用于获取每一个维度的若干项数据特征和每一项数据特征在所述若干项数据特征的总体数据中所占的比例，并基于所述比例为每一项所述数据特征分配特征权重；

推送模块，用于基于各项数据特征对应的特征权重生成多类告警特征的特征值，所述特征值随所述特征权重可变，聚合所述多类告警特征并基于聚合的多类告警特征生成告警消息进行推送，或分别为每一类告警特征生成告警消息进行推送。

8.根据权利要求7所述的基于ELK的大数据告警装置，其特征在于，还包括：监控模块；所述监控模块用于监控至少一种业务数据源的日志；所述原始结果数据记录在所述日志中。

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6中任意一项所述的基于ELK的大数据告警方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任意一项所述的基于ELK的大数据告警方法的步骤。

Images