CN110868338B

CN110868338B - 一种预警监控方法

Info

Publication number: CN110868338B
Application number: CN201911145765.3A
Authority: CN
Inventors: 胡建全; 张金桥; 徐鹏; 张惟师; 罗海斌; 王鹏
Original assignee: Beijing Gaoyin Technology Co ltd
Current assignee: Beijing Tulayan Technology Co ltd
Priority date: 2019-11-21
Filing date: 2019-11-21
Publication date: 2021-05-25
Anticipated expiration: 2039-11-21
Also published as: CN110868338A

Abstract

本发明提供了一种预警监控方法，所述方法基于预警监控***，该***包括计算模块、规则模块、总线模块；所述方法包括设置预警事件、预警规则和/或规则集的流程；监听总线模块，并获取相关数据进行规则判断、进行相关预警操作的流程；总线模块接收数据，实现模块之间通信的流程；对总线模块内流转的数据进行持久化处理的流程。本发明利用事件流进行通信，对模块之间的耦合性要求低，且实现预警监控流程自动化。

Description

一种预警监控方法

技术领域

本发明属于监控技术领域，尤其涉及一种预警监控方法。

背景技术

在大数据背景下，一些较大的公司会对业务数据进行监控，进而研发了一系列的监控平台。现有的监控平台具有如下缺点：

1.组件之间的数据通信是基于协议的，组件之间的耦合性高。

2.绝大部分只支持数据离线计算，扩展性差。

3.现有方案只支持简单预警。

4.业务人员操作繁琐，需要手动运行脚本，操作性差。

5.不同业务预警有不同的逻辑，后期维护成本极高。

如果能设计出一套高效完善、高可用、可扩展的监控预警解决方案，解决上述问题，将具有极强的实用价值及广阔的市场前景。

发明内容

为解决上述问题，本发明公开了一种预警监控方法，所述方法基于预警监控***，所述***包括计算模块、规则模块、总线模块；所述方法包括：

业务方在规则模块内选择预警事件、预警的规则和/或规则集的流程；

计算模块监听总线模块，并获取预警事件相关数据进行数据计算、任务创建、任务管理的流程；

规则模块监听总线模块，并获取相关数据进行规则判断、进行相关预警操作的流程；

总线模块接收外部被监控业务端发布的业务数据，及其余模块发布的相关信息，实现其余模块之间通信的流程；

数据持久化模块对总线模块内流转的数据进行持久化处理的流程。

进一步的，所述***还包括事件模块，当规则模块内不具有业务方需要的预警事件时，所述方法还包括业务方通过事件模块自定义预警事件的流程。

进一步的，业务方通过事件模块自定义预警事件的流程具体为：

步骤一：业务方创建自定义预警事件，包括确定事件定义、事件及数据依赖关系定义、事件补全规则定义，并设定自定义事件的元数据，所述元数据保存于事件模块；

步骤二：事件模块将自定义预警事件创建的相关信息发布到总线模块，并同步到持久化模块。

进一步的，自定义预警事件包括控制类事件、数据类事件两种。

进一步的，计算模块监听总线模块，并获取预警相关数据进行数据计算、任务创建的流程具体为：

步骤一：计算模块监听总线模块，当监听到自定义预警事件创建的相关信息时，则获取相关数据的生成脚本；

步骤二：计算模块启动任务进行相关数据的计算，根据计算结果生成对应任务；

步骤三：计算结果返回到总线模块，并同步到数据持久化模块。

进一步的，计算模块启动任务进行预警事件相关数据的计算，根据计算结果生成对应任务的步骤中，计算模块对相关数据进行实时计算或者离线计算，根据计算结果生成离线任务或者实时任务。

进一步的，所述离线计算是在预定时间点对预定时间点前指定时间段内的数据进行批量计算。

进一步的，当规则模块内不具有业务方所需要的规则和/或规则集时，所述方法还包括业务方通过规则模块提供的规则配置界面自定义规则和/或规则集的流程。

进一步的，所述总线模块采用消息队列。

进一步的，所述数据持久化模块采用MySQ、HBase、Hive、Spark、ES、Kylin中的一种或者几种。

本发明的有益效果为：

1.本发明采用基于事件流的通信机制，所有组件之间的通信是基于事件总线，耦合性低。

2.支持数据的离线计算、实时计算，进而支持延时监控预警并支持实时预警。

3.本发明实现全流程自动化，包括配置预警信息，数据抽取，数据分层，数据存储，数据预警。

4.本发明扩展性高，能有效整合所有业务预警，后期维护成本低。

附图说明

图1为本发明所基于的***的模块示意图。

具体实施方式

本发明的设计构思为：提供一种预警监控方法，所述方法基于预警监控***，所述***包括计算模块、规则模块、总线模块，所有组件之间的通信是基于事件总线，耦合性要求低，且实现预警监控流程自动化。

下面首先结合图1对本发明所基于的***进行详细的说明。

***包括事件模块、计算模块、规则模块、总线模块。下面分别予以介绍：

一：事件模块

所述事件模块被配置为：设置有事件配置界面，供业务方配置自定义预警事件，所述自定义预警事件被发布到总线模块。自定义预警事件分为控制类事件(即协议)、数据类事件(即实例)两种。

具体的，事件模块还提供了权限隔离、事件自助操作、元数据管理3个主要的功能。

a.权限隔离：

1.采用租户机制。租户机制将事件模块的数据和配置进行虚拟分区，从而每个租户(租户即业务方)都能够使用一个单独的实例，并且每个租户都可以根据自己的需求对租用的实例进行个性化配置。

2.提供权限隔离措施，由平台管理员预先配置不同“租户”可以操作的数据源及事件。

b.自定义事件设置自助操作

平台预设有部分常规预警事件，当业务方认为常规预警事件不能满足需求，需要自定义时，则在事件模块设置的事件配置界面自助地进行事件定义、事件及数据依赖关系定义、事件补全规则定义。

当进行了自定义事件自助操作时，事件模块则在总线模块上发布“事件创建”的消息，计算模块能够监听到该消息。在不需要预警的情况下进行事件的销毁。

c.元数据管理

事件模块提供自定义预警事件整个生命周期的元数据管理能力、元数据持久化能力(将配置信息元数据通过持久化模块保存到关系型数据库中)、元数据版本快照能力(可将事件回退至特定版本)、维护事件及其具体实现之间的映射关系、支持控制类事件(即协议)及数据类事件(即实例)、支持业务方相应的事件及数据依赖关系定义。

二.计算模块

计算模块包括一个任务管理器，其被配置为：监听事件数据总线，当监听到“事件创建”消息后就获取对应自定义预警数据的生成脚本，然后启动任务进行相关数据的计算。

计算分为离线计算、实时计算两种。离线计算采用的技术手段是通过HADOOP的HIVE模块、YARN模块及HDFS模块并通过任务调度***，在预定时间点对预定时间点前指定时间段内的数据进行批量计算。在本实施例中，离线计算是对当日凌晨零点之前的数据进行计算。离线计算的功能支持延时预警。离线任务生成支持手工创建定时任务、支持添加至数据平台调度***以便进行数据依赖管理和统一调度执行。数据平台调度***可以采用现有的工具，如HERA，

实时任务生成支持基于事件内容，按生成规范新建实时任务。计算后的数据被发送回事件总线，并进行持久化处理，由规则模块进行监听，并进行规则命中刷新。对预警数据事件的计算处理包括利用数据生成离线任务、实时任务。

所述任务管理器通过一个daemon进程，侦听符合条件的控制协议事件，并依此进行任务全局管理，比如“创建事件”、“销毁事件”等。所述创建事件是计算模块监听事件总线获取预警事件的规则从而建立离线或者实时的任务(即通过HADOOP的YARN集群创建的任务)，所述销毁事件是将上述的HADOOP集群中的任务销毁。

若事件伴随数据生成的任务(即数据类事件)，则按照预警数据事件中的配置信息，新建“离线任务”或“实时任务”。

依据元数据信息规范离线任务、实时任务的数据源、输出形态等。

三.规则模块

所述规则模块被配置为：存储有若干预先定义的规则和/或规则集，并设置有规则配置界面，供用户选择预定义的预警数据事件，并能够自定义监控规则或监控规则集，以形成自定义规则事件。所述自定义规则事件被发布到事件总线。规则模块还监听总线模块，并对所获得的预警数据事件进行规则判断，根据判断结果进行对应的预警操作。预警操作包括分级预警，值班预警，时段预警。分级预警的含义就是：按照员工级别和相应的告警严重等级的不同设置不同的预警级别，例如:CTO级别预警，总监级别预警，普级别通预警等。

值班预警的含义就是：公司会每天设定值班人员，每天的预警信息都会发送给值班人员；

时段预警的含义就是：按照预警的等级分时段预警，例如：普通预警只是早八点到晚八点通知，严重预警全时段通知。

所述自定义监控规则包括规则定义、规则阈值设定、规则处置动作设定。规则处置动作设定包括而不限于邮件预警、钉钉预警、电话预警、产生新事件。

所述自定义规则集是监控规则(与、或、非等)的逻辑运算。

规则模块还支持规则、规则集的启用、暂停。

下面举例说明规则具体可包含如下内容：

1.监控名称；

2.监控对象：如城市、媒体、渠道、账户、计划、单元、关键词、创意、搜索词；

3.监控范围：账户、渠道、关键词类型(包括消费-线索量、日均展示量-日均点击率、线索成本-线索量)；

4.监控指标：如：展示量、点击量、消费、展示量、消耗量、线索量、线索成本、上户成本、上户率、跳出率、关键词状态异常、未审核通过、搜索量过低、关键词包含新增或者移除关键词。

5.报警阈值：分为上限提醒、下限提醒。如，上限提醒为：今天的展示量>过去N天的平均值；下限提醒为：今天的展示量<过去N天的平均值。还可以设置报警信息接收人。

规则模块还支持如下功能：

1.支持规则、规则集整个生命周期的元数据管理能力。

2.提供对规则库、知识库、事实库自定义添加能力。

3.提供元数据持久化能力。

4.提供元数据版本快照能力，可将规则回退至特定版本。

5.若规则处置动作为“产生新事件”，则需要维护新事件及其具体实现之间的映射关系。

四.总线模块

所述总线模块被配置为接收外部被监控业务端发布的业务数据、及其余模块所发布的事件、数据、消息，作为其流转通道，以解耦其他几个模块，实现它们之间的通信。

总线模块可是以任意消息通信机制，如果采用消息队列，则可以使用RabbitMQ,Kafka等工具。

五.数据持久化模块

该模块主要用于持久化事件、规则、批量计算的数据结果、实时计算的结果等。所采用的基础设施可以是MySQL,HBase,Hive,Spark,ES,Kylin等工具中的一种或者几种的组合。

下面对本发明所述的预警监控方法进行说明。该方法基于上述的预警监控***，包括如下流程：

流程一：业务方在规则模块内选择预警事件、预警规则和/或规则集的流程。

流程二：计算模块监听总线模块，并获取预警事件相关数据进行数据计算、任务创建、任务管理的流程。

流程二具体为：

步骤一：计算模块监听总线模块，当监听到自定义预警事件创建的相关信息时，则获取相关数据的生成脚本。

步骤二：计算模块启动任务进行相关数据的计算，根据计算结果生成对应任务。计算模块的计算为实时计算或者离线计算，根据计算结果生成离线任务或者实时任务。

流程三：规则模块监听总线模块，并获取相关数据进行规则判断、进行相关预警操作的流程；

流程四：总线模块接收外部被监控业务端发布的业务数据，及其余模块发布的相关信息，实现其余模块之间通信的流程；

流程五：数据持久化模块对总线模块内流转的数据进行持久化处理的流程。

本实施例并不限制上述流程的执行顺序，各个流程之间可以为并发进行。

优选的，当规则模块内不具有业务方需要的预警事件时，所述方法还包括业务方通过事件模块提供的事件配置界面自定义预警事件的流程，具体为：

自定义预警事件包括控制类事件、数据类事件两种。

优选的，当规则模块内不具有业务方所需要的规则和/或规则集时，所述方法还包括业务方通过规则模块提供的规则配置界面自定义规则和/或规则集的流程。

以上所述的，仅为本发明的具体实施方式，但本发明的保护范围并不局限于上述实施例的限制，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述的权利要求的保护范围为准。

Claims

1.一种预警监控方法，其特征在于，所述方法基于预警监控***，该***包括计算模块、规则模块、总线模块；所述方法包括：

数据持久化模块对总线模块内流转的数据进行持久化处理的流程；

业务方通过事件模块所提供的事件配置界面自定义预警事件的流程具体为：

2.如权利要求1所述的预警监控方法，其特征在于，所述预警监控******还包括事件模块，当规则模块内不具有业务方需要的预警事件时，所述方法还包括业务方通过事件模块所提供的事件配置界面自定义预警事件的流程。

3.如权利要求2所述的预警监控方法，其特征在于，自定义预警事件包括控制类事件、数据类事件两种。

4.如权利要求2所述的预警监控方法，其特征在于，计算模块监听总线模块，并获取预警相关数据进行数据计算、任务创建的流程具体为：

5.如权利要求4所述的预警监控方法，其特征在于，计算模块启动任务进行预警事件相关数据的计算，根据计算结果生成对应任务的步骤中，计算模块对相关数据进行实时计算或者离线计算，根据计算结果生成离线任务或者实时任务。

6.如权利要求5所述的预警监控方法，其特征在于，所述离线计算是在预定时间点对预定时间点前指定时间段内的数据进行批量计算。

7.如权利要求1所述的预警监控方法，其特征在于，当规则模块内不具有业务方所需要的规则和/或规则集时，所述方法还包括业务方通过规则模块提供的规则配置界面自定义预警的规则和/或规则集的流程。

8.如权利要求1所述的预警监控方法，其特征在于，所述总线模块采用消息队列。

9.如权利要求1所述的预警监控方法，其特征在于，所述数据持久化模块采用MySQ、HBase、Hive、Spark、ES、Kylin中的一种或者几种。