CN115237724A - 基于人工智能的数据监控方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例属于人工智能领域，涉及一种基于人工智能的数据监控方法，包括：基于数据上报组件采集得到各个业务节点的处理状态数据；基于数据引擎对处理状态数据进行聚合加工处理，得到目标指标数据；调用预设数量的异常分析模型，并从所有异常分析模型中确定出目标异常分析模型；基于目标异常分析模型对目标指标数据进行异常预测处理，生成对应的异常预测结果；基于异常预测结果对目标指标数据进行标识处理并展示。本申请还提供一种基于人工智能的数据监控装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，目标指标数据可以存储于区块链中。本申请提高了对于目标指标数据的异常分析的处理效率与准确性。

Description

基于人工智能的数据监控方法、装置、设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及基于人工智能的数据监控方法、装置、设备及存储介质。

背景技术

在业务***的运作过程中，通常需要采集与用户相关的埋点数据，并且需要进一步对采集的埋点数据进行监控处理，以及时发现业务***中存在的异常情形。现有对于埋点数据的监控方式，通常是运维人员根据一些预先定义的监控规则与风控规则来对埋点数据进行人工异常分析，并且后续还需对得到的分析结果进行整理。这样的数据监控处理方式需要消耗较多的人力资源，处理效率低且异常分析的准确性无法得到保证，难于满足当下对于业务***监控日益增加的高质量要求。

发明内容

本申请实施例的目的在于提出一种基于人工智能的数据监控方法、装置、计算机设备及存储介质，以解决现有的数据监控处理方式需要消耗较多的人力资源，处理效率低且异常分析的准确性无法得到保证的技术问题。

为了解决上述技术问题，本申请实施例提供一种基于人工智能的数据监控方法，采用了如下所述的技术方案：

基于预设的数据上报组件采集各个业务节点的处理状态数据；

基于预设的数据引擎对所述处理状态数据进行聚合加工处理，得到与所述处理状态数据对应的目标指标数据；

调用预设数量的异常分析模型，并从所有所述异常分析模型中确定出目标异常分析模型；其中，所述目标异常分析模型的数量为一个或多个；

基于所述目标异常分析模型对所述目标指标数据进行异常预测处理，生成与所述目标指标数据对应的异常预测结果；

基于所述异常预测结果对所述目标指标数据进行标识处理得到处理后的目标指标数据，并展示所述处理后的目标指标数据。

进一步的，所述基于预设的数据引擎对所述处理状态数据进行聚合加工处理，得到与所述处理状态数据对应的目标指标数据的步骤，具体包括：

获取预设的时间维度信息与分区条件；

调用所述数据引擎；

使用所述数据引擎，根据所述时间维度信息与所述分区条件对所述处理状态数据进行分类聚合运算，得到所述目标指标数据。

进一步的，所述目标异常分析模型的数量为一个，所述调用预设数量的异常分析模型，并从所有所述异常分析模型中确定出目标异常分析模型的步骤，具体包括：

获取预设的测试样本数据集；

基于所述测试样本数据集生成各所述异常分析模型的召回率；

基于所述测试样本数据集生成各所述异常分析模型的预测精确率；

基于所述测试样本数据集生成各所述异常分析模型的预测处理效率值；

基于各所述异常分析模型的召回率、预测精确率与预测处理效率值，调用预设计算公式生成各所述异常分析模型的综合处理分数；

从所有所述异常分析模型中筛选出综合处理分数最大的异常分析模型，得到所述目标异常分析模型。

进一步的，所述基于所述测试样本数据集生成各所述异常分析模型的预测处理效率值的步骤，具体包括：

获取所述测试样本数据集；其中，所述测试样本数据集包括多个测试样本数据；

在指定异常分析模型获取到每一个所述测试样本数据时，分别统计所述指定异常分析模型生成与每一个所述测试样本数据分别对应的预测结果的预测处理时间；其中，所述指定异常分析模型为所有所述异常分析模型中的任意一个模型；

从所有所述预测处理时间中删除数值最大的第一预测处理时间与数值最小的第二预测处理时间，得到第三预测处理时间；

计算所有所述第三预测处理时间之间的第一平均值；

获取所有所述预测处理时间的中位数对应的指定预测处理时间；

计算所述第一平均值与所述指定预测处理时间之间的第二平均值，并将所述第二平均值作为所述指定异常分析模型的预测处理效率值。

进一步的，所述目标异常分析模型的数量为多个，所述基于所述目标异常分析模型对所述目标指标数据进行异常预测处理，生成与所述目标指标数据对应的异常预测结果的步骤，具体包括：

使用各所述目标异常分析模型分别对所述目标指标数据进行异常预测处理，得到对应的多个指定异常预测结果；其中，所述指定异常预测结果包括数据正常或数据异常；

判断所有所述指定异常预测结果是否均为数据正常；

若所有所述指定异常预测结果均为数据正常,则生成与所述目标指标数据对应的数据正常的第一异常预测结果；

若所有所述指定异常预测结果中至少存在一个数据异常的异常预测结果，则生成与所述目标指标数据对应的数据异常的第二异常预测结果。

进一步的，在所述调用预设数量的异常分析模型的步骤之前，还包括：

获取预设数量的训练样本数据集，并从所述训练样本数据集中确定出指定训练样本数据集；其中，所述指定训练样本数据集为所有所述训练样本数据集中的任意一个数据集，所述指定训练样本数据集包括若干指定指标数据样本，以及与所述指定指标数据样本对应的指定类别标签；

基于所述指定指标数据样本与所述指定类别标签对预设的机器学习模型进行训练，得到原始异常分析模型；

获取预设的验证样本数据集，并基于所述验证样本数据集对所述原始异常分析模型进行验证；

若所述原始异常分析模型通过验证，则将所述原始异常分析模型作为与所述指定训练样本数据集对应的指定异常分析模型。

进一步的，在所述基于所述目标异常分析模型对所述目标指标数据进行异常预测处理，生成与所述目标指标数据对应的异常预测结果的步骤之后，还包括：

判断所述异常预测结果是否为数据异常；

若为数据异常，基于所述异常预测结果与预设的告警信息模板，生成与所述目标指标数据对应的告警信息；

获取目标用户的通讯地址；

将所述告警信息发送至所述通讯地址。

为了解决上述技术问题，本申请实施例还提供一种基于人工智能的数据监控装置，采用了如下所述的技术方案：

采集模块，用于基于预设的数据上报组件采集各个业务节点的处理状态数据；

第一生成模块，用于基于预设的数据引擎对所述处理状态数据进行聚合加工处理，得到与所述处理状态数据对应的目标指标数据；

确定模块，用于调用预设数量的异常分析模型，并从所有所述异常分析模型中确定出目标异常分析模型；其中，所述目标异常分析模型的数量为一个或多个；

第二生成模块，用于基于所述目标异常分析模型对所述目标指标数据进行异常预测处理，生成与所述目标指标数据对应的异常预测结果；

展示模块，用于基于所述异常预测结果对所述目标指标数据进行标识处理得到处理后的目标指标数据，并展示所述处理后的目标指标数据。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

基于预设的数据上报组件采集各个业务节点的处理状态数据；

基于预设的数据引擎对所述处理状态数据进行聚合加工处理，得到与所述处理状态数据对应的目标指标数据；

调用预设数量的异常分析模型，并从所有所述异常分析模型中确定出目标异常分析模型；其中，所述目标异常分析模型的数量为一个或多个；

基于所述目标异常分析模型对所述目标指标数据进行异常预测处理，生成与所述目标指标数据对应的异常预测结果；

基于所述异常预测结果对所述目标指标数据进行标识处理得到处理后的目标指标数据，并展示所述处理后的目标指标数据。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

基于预设的数据上报组件采集各个业务节点的处理状态数据；

基于预设的数据引擎对所述处理状态数据进行聚合加工处理，得到与所述处理状态数据对应的目标指标数据；

调用预设数量的异常分析模型，并从所有所述异常分析模型中确定出目标异常分析模型；其中，所述目标异常分析模型的数量为一个或多个；

基于所述目标异常分析模型对所述目标指标数据进行异常预测处理，生成与所述目标指标数据对应的异常预测结果；

基于所述异常预测结果对所述目标指标数据进行标识处理得到处理后的目标指标数据，并展示所述处理后的目标指标数据。

与现有技术相比，本申请实施例主要有以下有益效果：

本申请实施例在基于预设的数据上报组件采集得到各个业务节点的处理状态数据后，会基于预设的数据引擎对处理状态数据进行聚合加工处理，得到与处理状态数据对应的目标指标数据，然后调用预设数量的异常分析模型，并从所有异常分析模型中确定出目标异常分析模型，后续基于目标异常分析模型对目标指标数据进行异常预测处理，生成与目标指标数据对应的异常预测结果，最后基于异常预测结果对目标指标数据进行标识处理得到处理后的目标指标数据，并展示处理后的目标指标数据。本申请能够基于计算引擎对用户在各个业务节点产生的处理状态数据进行加工处理以生成相应的指标数据，进而可以使用预设的异常分析模型对目标指标数据进行异常预测处理，从而可以快速准确地生成相应的异常预测结果，提高了对于目标指标数据的异常分析的处理效率与准确性。另外，通过基于得到的异常预测结果对目标指标数据进行标识处理并展示，提高了目标指标数据展示的智能性与便利性，提高了用户的使用体验。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性***架构图；

图2根据本申请的基于人工智能的数据监控方法的一个实施例的流程图；

图3是根据本申请的基于人工智能的数据监控装置的一个实施例的结构示意图；

图4是根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的基于人工智能的数据监控方法一般由服务器/终端设备执行，相应地，基于人工智能的数据监控装置一般设置于服务器/终端设备中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的基于人工智能的数据监控方法的一个实施例的流程图。所述的基于人工智能的数据监控方法，包括以下步骤：

步骤S201，基于预设的数据上报组件采集各个业务节点的处理状态数据。

在本实施例中，基于人工智能的数据监控方法运行于其上的电子设备(例如图1所示的服务器/终端设备)，可以通过有线连接方式或者无线连接方式采集各个业务节点的处理状态数据。需要指出的是，上述无线连接方式可以包括但不限于3G/4G/5G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。上述数据上报组件为开发人员根据实际的业务需求引入的插桩上报组件，该数据上报组件基于代码层面进行事件节点的数据上报。其中，上述业务节点具体可为投保业务节点，业务节点的处理状态数据可包括在用户进行保险浏览、保险报价、投保、支付、承保等阶段采集到的事件状态数据。另外，在得到了各个业务节点的处理状态数据后，可以将处理状态数据按事件先后顺序统一上报至数据引擎内。此外，业务人员可以根据实际的业务处理流程(例如投保业务流程)在上报组件内定义事件上报的节点及链路关系，从而后续在对目标指标数据进行展示时，业务人员能够快速了解投业务处理流程中各环节的转化指标数据，并能及时发现业务问题，同时针对客诉问题能够迅速定位原因，从而提升响应时效，有利于帮助保险企业进行投保流程环节优化，提高用户保险购买满意度。

步骤S202，基于预设的数据引擎对所述处理状态数据进行聚合加工处理，得到与所述处理状态数据对应的目标指标数据。

在本实施例中，上述数据引擎具体可为Flink。Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据引擎。Flink以数据并行(分布式)和流水线方式执行任意流数据程序，Flink的流水线运行时***可以执行批处理和流处理程序。其中，上述基于预设的数据引擎对所述处理状态数据进行聚合加工处理，得到与所述处理状态数据对应的目标指标数据的具体实施过程，本申请将在后续的具体实施例中对此进行进一步的细节描述，在此不作过多阐述。

步骤S203，调用预设数量的异常分析模型，并从所有所述异常分析模型中确定出目标异常分析模型；其中，所述目标异常分析模型的数量为一个或多个。

在本实施例中，其中，对于上述预设数量的取值不作具体限定，可根据实际的使用需求进行设置。另外，上述从所有所述异常分析模型中确定出目标异常分析模型的具体实施过程，本申请将在后续的具体实施例中对此进行进一步的细节描述，在此不作过多阐述。此外，对于目标异常分析模型的数量的确定过程可包括：获取电子设备的可用内存，并基于预设的可用内存-数量映射表查询出与上述可用内存对应的数量作为标异常分析模型的数量。上述可用内存-数量映射表可基于测试结果、线上问题分析以及专家经验生成，为记录有可用内存信息与模型运作数量的映射关系的数据表。通过基于电子设备当前的可用内存信息来从可用内存-数量映射表中查询出相对应的模型数量，可以保证电子设备的内部模型的数据计算处理过程的损耗代价较小，以及保证数据计算处理处于正常速率且电子设备不会出现卡顿情况。

步骤S204，基于所述目标异常分析模型对所述目标指标数据进行异常预测处理，生成与所述目标指标数据对应的异常预测结果。

在本实施例中，上述基于所述目标异常分析模型对所述目标指标数据进行异常预测处理，生成与所述目标指标数据对应的异常预测结果的具体实施过程，本申请将在后续的具体实施例中对此进行进一步的细节描述，在此不作过多阐述。

步骤S205，基于所述异常预测结果对所述目标指标数据进行标识处理得到处理后的目标指标数据，并展示所述处理后的目标指标数据。

在本实施例中，异常预测结果的内容可包括数据正常或数据异常。基于异常预测结果对所述目标指标数据进行标识处理的过程可包括：如果异常预测结果为数据正常，则可对目标指标数据进行绿色标注，以通过绿色标注来标识目标指标数据为正常的数据，而如果异常预测结果为数据异常，则可对目标指标数据进行红色标注，以通过红色标注来标识目标指标数据为异常的数据。通过对目标指标数据进行正常状态或异常状态的标注，使得用户可以清楚的查看出目标指标数据的数据状态，提高了用户的使用体验。另外，可以通过预设的可视化查询界面来对得到的处理后的目标指标数据进行展示。

本申请在基于预设的数据上报组件采集得到各个业务节点的处理状态数据后，会基于预设的数据引擎对处理状态数据进行聚合加工处理，得到与处理状态数据对应的目标指标数据，然后调用预设数量的异常分析模型，并从所有异常分析模型中确定出目标异常分析模型，后续基于目标异常分析模型对目标指标数据进行异常预测处理，生成与目标指标数据对应的异常预测结果，最后基于异常预测结果对目标指标数据进行标识处理得到处理后的目标指标数据，并展示处理后的目标指标数据。本申请能够基于计算引擎对用户在各个业务节点产生的处理状态数据进行加工处理以生成相应的指标数据，进而可以使用预设的异常分析模型对目标指标数据进行异常预测处理，从而可以快速准确地生成相应的异常预测结果，提高了对于目标指标数据的异常分析的处理效率与准确性。另外，通过基于得到的异常预测结果对目标指标数据进行标识处理并展示，提高了目标指标数据展示的智能性与便利性，提高了用户的使用体验。

在一些可选的实现方式中，步骤S202包括以下步骤：

获取预设的时间维度信息与分区条件。

在本实施例中，上述预设的时间维度信息与分区条件可根据实际的业务使用需求进行设置。举例地，上述维度信息可包括按照分钟/小时/天等时间维度中的任意一种。

调用所述数据引擎。

在本实施例中，上述数据引擎具体可为Flink。

使用所述数据引擎，根据所述时间维度信息与所述分区条件对所述处理状态数据进行分类聚合运算，得到所述目标指标数据。

在本实施例中，Flink可以按照时间维度信息以及分区条件，进行按时间窗口的分类聚合运算，从而得到与处理状态数据对应的目标指标数据。另外，还可以对生成的目标指标数据进行存储，例如可以将目标指标数据写入Elasticsearch搜索服务器中进行存储。

本申请在采集到各个业务节点的处理状态数据后，会通过使用计算引擎对处理状态数据进行运算处理，从而可以快速地生成所需的目标指标数据，保证了指标数据的生成速率与准确性。

在本实施例的一些可选的实现方式中，所述目标异常分析模型的数量为一个，步骤S203包括以下步骤：

获取预设的测试样本数据集。

在本实施例中，上述测试样本数据集可基于预先采集的训练样本数据集生成，例如可以从训练样本数据集中随机获取预设比例的数据作为该测试样本数据集。其中，对于上述预设比例的取值不作具体限定，可根据实际需求进行设置，例如可设为30％。另外，上述测试样本集包括多个测试样本数据，以及与各测试样本数据分别对应的类别标签。

基于所述测试样本数据集生成各所述异常分析模型的召回率。

在本实施例中，可以通过误差矩阵(或称为混淆矩阵)来计算生成异常分析模型的召回率。混淆矩阵用于衡量一个分类器的准确程度。对于二分类问题，将其样例根据真实类别和分类器的预测类别的组合划分为真正例(True Positive，TP)、假正例(FalsePositive，FP)、真反例(True Negative，TN)、假反例(FalseNegative，FN)四种情形。基于误差矩阵，可以使用如下计算公式计算出异常分析模型的召回率：召回率＝TP/(TP+FN)。

基于所述测试样本数据集生成各所述异常分析模型的预测精确率。

在本实施例中，可基于上述误差矩阵，使用如下计算公式计算出异常分析模型的预测精确率：预测精确率＝TP/(TP+FP)。

基于所述测试样本数据集生成各所述异常分析模型的预测处理效率值。

在本实施例中，上述基于所述测试样本数据集生成各所述异常分析模型的预测处理效率值的具体实施过程，本申请将在后续的具体实施例中对此进行进一步的细节描述，在此不作过多阐述。

基于各所述异常分析模型的召回率、预测精确率与预测处理效率值，调用预设计算公式生成各所述异常分析模型的综合处理分数。

在本实施例中，上述预设计算公式具体为:Score＝x*a+y*b+z*c，其中，Score为综合处理分数，x为召回率，a为召回率的第一权重，y为预测精确率，b为预测精确率的第二权重，z为预测处理效率值，c为预测处理效率值的第三权重。另外，对于上述第一权重、第二权重以及第三权重的取值不作具体限定，可根据实际的业务需求进行设置，优选第二权重>第一权重>第三权重，且第一权重、第二权重以及第三权重之间的和值等于1。

从所有所述异常分析模型中筛选出综合处理分数最大的异常分析模型，得到所述目标异常分析模型。

本申请通过使用预设的测试样本集生成每一个异常分析模型的综合处理分数，进而可基于得到的综合评价分值来确定出目标异常分析模型，由于得到的目标异常分析模型具有最高的综合处理能力，使得后续利用该目标异常分析模型来对目标指标数据进行异常分析，能够有效提高得到的与目标指标数据对应的异常预测结果的准确性，并且能提高对于目标指标数据的异常预测的处理效率。

在一些可选的实现方式中，上述基于所述测试样本数据集生成各所述异常分析模型的预测处理效率值，包括以下步骤：

获取所述测试样本数据集；其中，所述测试样本数据集包括多个测试样本数据。

在指定异常分析模型获取到每一个所述测试样本数据时，分别统计所述指定异常分析模型生成与每一个所述测试样本数据分别对应的预测结果的预测处理时间；其中，所述指定异常分析模型为所有所述异常分析模型中的任意一个模型。

在本实施例中，举例地，假如指定异常分析模型成功接收到一个测试样本数据的时间为t1，且指定异常分析模型成功生成与该测试样本数据对应的预测结果时的时间为t2，则可确定指定异常分析模型对应于该测试样本数据的预测处理时间t等于t2-t1。

从所有所述预测处理时间中删除数值最大的第一预测处理时间与数值最小的第二预测处理时间，得到第三预测处理时间。

计算所有所述第三预测处理时间之间的第一平均值。

在本实施例中，可先计算所有第三预测处理时间的和值，再获取所有第三预测处理时间的数量，之后计算上述和值与上述数量之间的商值，得到的商值即为上述第一平均值。

获取所有所述预测处理时间的中位数对应的指定预测处理时间。

计算所述第一平均值与所述指定预测处理时间之间的第二平均值，并将所述第二平均值作为所述指定异常分析模型的预测处理效率值。

在本实施例中，计算第二平均值的过程可参照上述第一平均值的计算过程，在此不作过多阐述。

本申请通过使用测试样本数据集可以快速地计算出每一个异常分析模型的预测处理效率值，有利于后续可以基于该预测处理效率值来准确地对所有异常分析模型进行筛选以确定出所需的综合处理能力最高的目标异常分析模型，进而可以使用得到的目标异常分析模型来对目标指标数据进行异常分析，以有效提高得到的与目标指标数据对应的异常预测结果的准确性，以及提高对于目标指标数据的异常预测的处理效率。

在一些可选的实现方式中，所述目标异常分析模型的数量为多个，步骤S204包括以下步骤：

使用各所述目标异常分析模型分别对所述目标指标数据进行异常预测处理，得到对应的多个指定异常预测结果；其中，所述指定异常预测结果包括数据正常或数据异常。

判断所有所述指定异常预测结果是否均为数据正常。

若所有所述指定异常预测结果均为数据正常,则生成与所述目标指标数据对应的数据正常的第一异常预测结果。

若所有所述指定异常预测结果中至少存在一个数据异常的异常预测结果，则生成与所述目标指标数据对应的数据异常的第二异常预测结果。

本申请通过使用该多个目标异常分析模型来对得到的目标指标数据进行异常预测处理，并根据各个目标异常分析模型分别生成的预测结果来生成最终的对于目标指标数据的异常预测结果，有效保证生成的异常预测结果的全面性与准确性，既避免了仅利用一个异常分析模型来对目标指标数据进行预测处理而导致预测误差过大，有效地提高了对于目标指标数据的预测准确率，提高了异常预测结果的生成智能性。

在本实施例的一些可选的实现方式中，在步骤S203之后，上述电子设备还可以执行以下步骤：

获取预设数量的训练样本数据集，并从所述训练样本数据集中确定出指定训练样本数据集；其中，所述指定训练样本数据集为所有所述训练样本数据集中的任意一个数据集，所述指定训练样本数据集包括若干指定指标数据样本，以及与所述指定指标数据样本对应的指定类别标签。

在本实施例中，上述指定类别标签的标签内容可包括数据正常或数据异常。

基于所述指定指标数据样本与所述指定类别标签对预设的机器学习模型进行训练，得到原始异常分析模型。

在本实施例中，上述机器学习模型可包括随机森林模型、朴素贝叶斯模型，逻辑回归模型中的任意一种。另外，对于各种机器学习模型的训练过程可参照现有的模型训练过程，在此不作过多阐述。

获取预设的验证样本数据集，并基于所述验证样本数据集对所述原始异常分析模型进行验证。

在本实施例中，基于所述验证样本数据集对所述原始异常分析模型进行验证是指统计的原始异常分析模型对该验证样本数据集进行异常预测处理后的得到的预测准确率是否大于预设的准确率阈值，如果预测准确率大于该准确率阈值，则判定该原始异常分析模型收敛，从而结束该原始异常分析模型的训练，并将结束训练后的原始异常分析模型作为上述指定异常分析模型。另外，如果预测准确率小于该准确率阈值，那么说明训练后的原始异常分析模型的训练还没有达到了预设标准，可能是用于训练的训练样本数据集的样本数量过少或验证样本数据集的样本数量过少，因而，在这种情况时，可进一步增大指定指标数据样本的样本数量，例如进而每次增加固定数量或每次增加随机数量，然后在此基础上重新执行上述的训练过程与测试过程，如此循环执行，直至训练后的原始异常分析模型的预测准确率满足大于该准确率阈值的要求，则结束模型训练。

若所述原始异常分析模型通过验证，则将所述原始异常分析模型作为与所述指定训练样本数据集对应的指定异常分析模型。

本申请通过使用包括指定指标数据样本，以及与指标数据样本对应的指定类别标签的训练样本数据集来对预设的机器学习模型进行训练及验证，从而可以智能快速的生成符合实际使用需求的异常分析模型，有利于后续在生成目标指标数据时，能够基于训练得到的异常分析模型来对该目标指标数据进行异常预测，进而快速准确地生成与目标指标数据对应的异常预测结果，提高了异常预测结果的生成智能性与生成效率。

在本实施例的一些可选的实现方式中，在步骤S204之后，上述电子设备还可以执行以下步骤：

判断所述异常预测结果是否为数据异常。

在本实施例中，异常预测结果的内容包括数据正常或数据异常。

若为数据异常，基于所述异常预测结果与预设的告警信息模板，生成与所述目标指标数据对应的告警信息。

在本实施例中，可以将目标指标数据的异常预测结果输入至预创建的告警信息模板内，从而可以生成与目标指标数据对应的告警信息。其中，上述告警信息模板可为根据实际的使用需求进行编写生成的。

获取目标用户的通讯地址。

在本实施例中，上述目标用户可为数据监控运营相关的管理人员。另外，上述通讯地址可为邮件地址。

将所述告警信息发送至所述通讯地址。

在本实施例中，如果通讯地址为邮件地址，则可以通过登录邮件服务器，再基于邮件服务器将该告警信息发送至目标用户的通讯地址。

本申请在通过目标异常分析模型生成了与目标指标数据对应的数据异常的异常预测结果后，会智能地基于预设的告警信息模板生成与目标指标数据对应的告警信息，并将该告警信息发送至相关的目标用户的通讯地址，以便目标用户能够及时根据接收到的告警信息对目标指标数据进行相对应的处理，以提高对于异常数据的处理效率，也提高了目标用户的使用体验。

需要强调的是，为进一步保证上述目标指标数据的私密和安全性，上述目标指标数据还可以存储于一区块链的节点中。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种基于人工智能的数据监控装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图3所示，本实施例所述的基于人工智能的数据监控装置300包括：采集模块301、第一生成模块302、确定模块303、第二生成模块304以及展示模块305。其中：

采集模块301，用于基于预设的数据上报组件采集各个业务节点的处理状态数据；

第一生成模块302，用于基于预设的数据引擎对所述处理状态数据进行聚合加工处理，得到与所述处理状态数据对应的目标指标数据；

确定模块303，用于调用预设数量的异常分析模型，并从所有所述异常分析模型中确定出目标异常分析模型；其中，所述目标异常分析模型的数量为一个或多个；

第二生成模块304，用于基于所述目标异常分析模型对所述目标指标数据进行异常预测处理，生成与所述目标指标数据对应的异常预测结果；

展示模块305，用于基于所述异常预测结果对所述目标指标数据进行标识处理得到处理后的目标指标数据，并展示所述处理后的目标指标数据。

在本实施例中，上述模块或单元分别用于执行的操作与前述实施方式的基于人工智能的数据监控方法的步骤一一对应，在此不再赘述。

在本实施例的一些可选的实现方式中，第一生成模块302包括：

第一获取子模块，用于获取预设的时间维度信息与分区条件；

调用子模块，用于调用所述数据引擎；

运算子模块，用于使用所述数据引擎，根据所述时间维度信息与所述分区条件对所述处理状态数据进行分类聚合运算，得到所述目标指标数据。

在本实施例中，上述模块或单元分别用于执行的操作与前述实施方式的基于人工智能的数据监控方法的步骤一一对应，在此不再赘述。

在本实施例的一些可选的实现方式中,所述目标异常分析模型的数量为一个，确定模块303包括：

第二获取子模块，用于获取预设的测试样本数据集；

第一生成子模块，用于基于所述测试样本数据集生成各所述异常分析模型的召回率；

第二生成子模块，用于基于所述测试样本数据集生成各所述异常分析模型的预测精确率；

第三生成子模块，用于基于所述测试样本数据集生成各所述异常分析模型的预测处理效率值；

第四生成子模块，用于基于各所述异常分析模型的召回率、预测精确率与预测处理效率值，调用预设计算公式生成各所述异常分析模型的综合处理分数；

确定子模块，用于从所有所述异常分析模型中筛选出综合处理分数最大的异常分析模型，得到所述目标异常分析模型。

本实施例中，上述模块或单元分别用于执行的操作与前述实施方式的基于人工智能的数据监控方法的步骤一一对应，在此不再赘述。

在本实施例的一些可选的实现方式中，第三生成子模块包括：

第一获取单元，用于获取所述测试样本数据集；其中，所述测试样本数据集包括多个测试样本数据；

统计单元，用于在指定异常分析模型获取到每一个所述测试样本数据时，分别统计所述指定异常分析模型生成与每一个所述测试样本数据分别对应的预测结果的预测处理时间；其中，所述指定异常分析模型为所有所述异常分析模型中的任意一个模型；

删除单元，用于从所有所述预测处理时间中删除数值最大的第一预测处理时间与数值最小的第二预测处理时间，得到第三预测处理时间；

计算单元，用于计算所有所述第三预测处理时间之间的第一平均值；

第二获取单元，用于获取所有所述预测处理时间的中位数对应的指定预测处理时间；

确定单元，用于计算所述第一平均值与所述指定预测处理时间之间的第二平均值，并将所述第二平均值作为所述指定异常分析模型的预测处理效率值。

在本实施例中，上述模块或单元分别用于执行的操作与前述实施方式的基于人工智能的数据监控方法的步骤一一对应，在此不再赘述。

在本实施例的一些可选的实现方式中，所述目标异常分析模型的数量为多个，第二生成模块304包括：

预测子模块，用于使用各所述目标异常分析模型分别对所述目标指标数据进行异常预测处理，得到对应的多个指定异常预测结果；其中，所述指定异常预测结果包括数据正常或数据异常；

判断子模块，用于判断所有所述指定异常预测结果是否均为数据正常；

第五生成子模块，用于若所有所述指定异常预测结果均为数据正常,则生成与所述目标指标数据对应的数据正常的第一异常预测结果；

第六生成子模块，用于若所有所述指定异常预测结果中至少存在一个数据异常的异常预测结果，则生成与所述目标指标数据对应的数据异常的第二异常预测结果。

在本实施例中，上述模块或单元分别用于执行的操作与前述实施方式的基于人工智能的数据监控方法的步骤一一对应，在此不再赘述。

在本实施例的一些可选的实现方式中，基于人工智能的数据监控装置还包括：

第一获取模块，用于获取预设数量的训练样本数据集，并从所述训练样本数据集中确定出指定训练样本数据集；其中，所述指定训练样本数据集为所有所述训练样本数据集中的任意一个数据集，所述指定训练样本数据集包括若干指定指标数据样本，以及与所述指定指标数据样本对应的指定类别标签；

训练模块，用于基于所述指定指标数据样本与所述指定类别标签对预设的机器学习模型进行训练，得到原始异常分析模型；

验证模块，用于获取预设的验证样本数据集，并基于所述验证样本数据集对所述原始异常分析模型进行验证；

第三生成模块，用于若所述原始异常分析模型通过验证，则将所述原始异常分析模型作为与所述指定训练样本数据集对应的指定异常分析模型。

在本实施例中，上述模块或单元分别用于执行的操作与前述实施方式的基于人工智能的数据监控方法的步骤一一对应，在此不再赘述。

在本实施例的一些可选的实现方式中，基于人工智能的数据监控装置还包括：

判断模块，用于判断所述异常预测结果是否为数据异常；

第四生成模块，用于若为数据异常，基于所述异常预测结果与预设的告警信息模板，生成与所述目标指标数据对应的告警信息；

第二获取模块，用于获取目标用户的通讯地址；

发送模块，用于将所述告警信息发送至所述通讯地址。

在本实施例中，上述模块或单元分别用于执行的操作与前述实施方式的基于人工智能的数据监控方法的步骤一一对应，在此不再赘述。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。

所述计算机设备4包括通过***总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作***和各类应用软件，例如基于人工智能的数据监控方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述基于人工智能的数据监控方法的计算机可读指令。

所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。

与现有技术相比，本申请实施例主要有以下有益效果：

本申请实施例中，在基于预设的数据上报组件采集得到各个业务节点的处理状态数据后，会基于预设的数据引擎对处理状态数据进行聚合加工处理，得到与处理状态数据对应的目标指标数据，然后调用预设数量的异常分析模型，并从所有异常分析模型中确定出目标异常分析模型，后续基于目标异常分析模型对目标指标数据进行异常预测处理，生成与目标指标数据对应的异常预测结果，最后基于异常预测结果对目标指标数据进行标识处理得到处理后的目标指标数据，并展示处理后的目标指标数据。本申请能够基于计算引擎对用户在各个业务节点产生的处理状态数据进行加工处理以生成相应的指标数据，进而可以使用预设的异常分析模型对目标指标数据进行异常预测处理，从而可以快速准确地生成相应的异常预测结果，提高了对于目标指标数据的异常分析的处理效率与准确性。另外，通过基于得到的异常预测结果对目标指标数据进行标识处理并展示，提高了目标指标数据展示的智能性与便利性，提高了用户的使用体验。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于人工智能的数据监控方法的步骤。

与现有技术相比，本申请实施例主要有以下有益效果：

本申请实施例中，在基于预设的数据上报组件采集得到各个业务节点的处理状态数据后，会基于预设的数据引擎对处理状态数据进行聚合加工处理，得到与处理状态数据对应的目标指标数据，然后调用预设数量的异常分析模型，并从所有异常分析模型中确定出目标异常分析模型，后续基于目标异常分析模型对目标指标数据进行异常预测处理，生成与目标指标数据对应的异常预测结果，最后基于异常预测结果对目标指标数据进行标识处理得到处理后的目标指标数据，并展示处理后的目标指标数据。本申请能够基于计算引擎对用户在各个业务节点产生的处理状态数据进行加工处理以生成相应的指标数据，进而可以使用预设的异常分析模型对目标指标数据进行异常预测处理，从而可以快速准确地生成相应的异常预测结果，提高了对于目标指标数据的异常分析的处理效率与准确性。另外，通过基于得到的异常预测结果对目标指标数据进行标识处理并展示，提高了目标指标数据展示的智能性与便利性，提高了用户的使用体验。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种基于人工智能的数据监控方法，其特征在于，包括下述步骤：

基于预设的数据上报组件采集各个业务节点的处理状态数据；

基于预设的数据引擎对所述处理状态数据进行聚合加工处理，得到与所述处理状态数据对应的目标指标数据；

调用预设数量的异常分析模型，并从所有所述异常分析模型中确定出目标异常分析模型；其中，所述目标异常分析模型的数量为一个或多个；

基于所述目标异常分析模型对所述目标指标数据进行异常预测处理，生成与所述目标指标数据对应的异常预测结果；

基于所述异常预测结果对所述目标指标数据进行标识处理得到处理后的目标指标数据，并展示所述处理后的目标指标数据。

2.根据权利要求1所述的基于人工智能的数据监控方法，其特征在于，所述基于预设的数据引擎对所述处理状态数据进行聚合加工处理，得到与所述处理状态数据对应的目标指标数据的步骤，具体包括：

获取预设的时间维度信息与分区条件；

调用所述数据引擎；

使用所述数据引擎，根据所述时间维度信息与所述分区条件对所述处理状态数据进行分类聚合运算，得到所述目标指标数据。

3.根据权利要求1所述的基于人工智能的数据监控方法，其特征在于，所述目标异常分析模型的数量为一个，所述调用预设数量的异常分析模型，并从所有所述异常分析模型中确定出目标异常分析模型的步骤，具体包括：

获取预设的测试样本数据集；

基于所述测试样本数据集生成各所述异常分析模型的召回率；

基于所述测试样本数据集生成各所述异常分析模型的预测精确率；

基于所述测试样本数据集生成各所述异常分析模型的预测处理效率值；

基于各所述异常分析模型的召回率、预测精确率与预测处理效率值，调用预设计算公式生成各所述异常分析模型的综合处理分数；

从所有所述异常分析模型中筛选出综合处理分数最大的异常分析模型，得到所述目标异常分析模型。

4.根据权利要求3所述的基于人工智能的数据监控方法，其特征在于，所述基于所述测试样本数据集生成各所述异常分析模型的预测处理效率值的步骤，具体包括：

获取所述测试样本数据集；其中，所述测试样本数据集包括多个测试样本数据；

在指定异常分析模型获取到每一个所述测试样本数据时，分别统计所述指定异常分析模型生成与每一个所述测试样本数据分别对应的预测结果的预测处理时间；其中，所述指定异常分析模型为所有所述异常分析模型中的任意一个模型；

从所有所述预测处理时间中删除数值最大的第一预测处理时间与数值最小的第二预测处理时间，得到第三预测处理时间；

计算所有所述第三预测处理时间之间的第一平均值；

获取所有所述预测处理时间的中位数对应的指定预测处理时间；

计算所述第一平均值与所述指定预测处理时间之间的第二平均值，并将所述第二平均值作为所述指定异常分析模型的预测处理效率值。

5.根据权利要求1所述的基于人工智能的数据监控方法，其特征在于，所述目标异常分析模型的数量为多个，所述基于所述目标异常分析模型对所述目标指标数据进行异常预测处理，生成与所述目标指标数据对应的异常预测结果的步骤，具体包括：

使用各所述目标异常分析模型分别对所述目标指标数据进行异常预测处理，得到对应的多个指定异常预测结果；其中，所述指定异常预测结果包括数据正常或数据异常；

判断所有所述指定异常预测结果是否均为数据正常；

若所有所述指定异常预测结果均为数据正常,则生成与所述目标指标数据对应的数据正常的第一异常预测结果；

若所有所述指定异常预测结果中至少存在一个数据异常的异常预测结果，则生成与所述目标指标数据对应的数据异常的第二异常预测结果。

6.根据权利要求1所述的基于人工智能的数据监控方法，其特征在于，在所述调用预设数量的异常分析模型的步骤之前，还包括：

获取预设数量的训练样本数据集，并从所述训练样本数据集中确定出指定训练样本数据集；其中，所述指定训练样本数据集为所有所述训练样本数据集中的任意一个数据集，所述指定训练样本数据集包括若干指定指标数据样本，以及与所述指定指标数据样本对应的指定类别标签；

基于所述指定指标数据样本与所述指定类别标签对预设的机器学习模型进行训练，得到原始异常分析模型；

获取预设的验证样本数据集，并基于所述验证样本数据集对所述原始异常分析模型进行验证；

若所述原始异常分析模型通过验证，则将所述原始异常分析模型作为与所述指定训练样本数据集对应的指定异常分析模型。

7.根据权利要求1所述的基于人工智能的数据监控方法，其特征在于，在所述基于所述目标异常分析模型对所述目标指标数据进行异常预测处理，生成与所述目标指标数据对应的异常预测结果的步骤之后，还包括：

判断所述异常预测结果是否为数据异常；

若为数据异常，基于所述异常预测结果与预设的告警信息模板，生成与所述目标指标数据对应的告警信息；

获取目标用户的通讯地址；

将所述告警信息发送至所述通讯地址。

8.一种基于人工智能的数据监控装置，其特征在于，包括：

采集模块，用于基于预设的数据上报组件采集各个业务节点的处理状态数据；

第一生成模块，用于基于预设的数据引擎对所述处理状态数据进行聚合加工处理，得到与所述处理状态数据对应的目标指标数据；

确定模块，用于调用预设数量的异常分析模型，并从所有所述异常分析模型中确定出目标异常分析模型；其中，所述目标异常分析模型的数量为一个或多个；

第二生成模块，用于基于所述目标异常分析模型对所述目标指标数据进行异常预测处理，生成与所述目标指标数据对应的异常预测结果；

展示模块，用于基于所述异常预测结果对所述目标指标数据进行标识处理得到处理后的目标指标数据，并展示所述处理后的目标指标数据。

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的基于人工智能的数据监控方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的基于人工智能的数据监控方法的步骤。

Images