CN110377447B - 一种异常数据检测方法、装置及服务器 - Google Patents

Abstract

本发明公开了一种异常数据检测方法、装置及服务器，其中，异常数据检测方法包括：获取目标检测对象在当前时刻的监测数据，以及所述当前时刻之前预设时间段的历史监测数据；根据所述历史监测数据，确定所述目标检测对象在当前时刻的预测数据；根据所述预测数据和监测数据，确定所述目标检测对象在当前时刻的预测偏差；基于预设异常概率函数和所述预测偏差，对所述目标检测对象在当前时刻的监测数据进行异常检测。本发明利用体现数据自身变化趋势的预测数据与实际监测数据的差异来衡量该监测数据的异常程度，提升了异常数据检测的准确性和检测效率。

Description

一种异常数据检测方法、装置及服务器

技术领域

本发明涉及计算机技术领域，特别涉及一种异常数据检测方法、装置及服务器。

背景技术

一些交互式应用常常需要监控，以在发现异常时进行告警。以游戏为例，需要对在线、登录、匹配、对局等多个游戏关键路径对应的数据进行监控，以在发现异常数据时进行告警。

相关技术中，在进行异常数据检测时忽略了数据自身变化趋势，只将当前时刻的监测数据与前一时刻的监测数据的差值与固定阈值进行比对，在该差值大于固定阈值时确认当前时刻的监测数据为异常数据。显然，这种异常数据检测方法的准确性差，而且上述固定阈值的选择需要丰富的运维经验，从而导致数据检测效率低下。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种异常数据检测方法、装置及服务器。所述技术方案如下：

一方面，提供了一种异常数据检测方法，所述方法包括：

获取目标检测对象在当前时刻的监测数据，以及所述当前时刻之前预设时间段的历史监测数据；

根据所述历史监测数据，确定所述目标检测对象在当前时刻的预测数据；

根据所述预测数据和监测数据，确定所述目标检测对象在当前时刻的预测偏差；

基于预设异常概率函数和所述预测偏差，对所述目标检测对象在当前时刻的监测数据进行异常检测。

可选的，所述基于预设异常概率函数和所述预测偏差，对所述目标检测对象在当前时刻的监测数据进行异常检测包括：

基于预设异常概率函数和所述预测偏差，确定异常概率值；

判断所述异常概率值是否大于或者等于预设阈值；

在判断的结果为是时，确定所述目标检测对象在当前时刻的监测数据异常。

另一方面，提供了一种异常数据检测装置，所述装置包括：

第一获取模块，用于获取目标检测对象在当前时刻的监测数据，以及所述当前时刻之前预设时间段的历史监测数据；

第一确定模块，用于根据所述历史监测数据，确定所述目标检测对象在当前时刻的预测数据；

第二确定模块，用于根据所述预测数据和监测数据，确定所述目标检测对象在当前时刻的预测偏差；

异常检测模块，用于基于预设异常概率函数和所述预测偏差，对所述目标检测对象在当前时刻的监测数据进行异常检测。

可选的，所述第一确定模块包括：

第三确定模块，用于确定所述目标检测对象的时序属性；

第四确定模块，用于根据所述时序属性，确定与所述目标检测对象相匹配的目标预测策略；

第五确定模块，用于根据所述目标预测策略和历史监测数据，确定所述目标检测对象在当前时刻的预测数据。

可选的，当所述目标预测策略为基于预测模型的预测策略时，所述第五确定模块包括：

模型确定模块，用于确定预测模型；所述预测模型包括基于所述目标检测对象的样本历史监测数据进行无监督机器学习确定的机器学习模型；

第一预测模块，用于基于所述预测模型和所述历史监测数据对所述目标检测对象在当前时刻进行预测，得到所述目标检测对象在当前时刻的预测数据。

可选的，所述装置还包括：

第二预测模块，用于基于预测模型对目标检测对象在每个样本历史监测数据对应的时间点进行预测，得到对应于每个样本历史监测数据的预测历史数据；

第六确定模块，用于确定所述预测历史数据与相对应的样本历史监测数据的差值，得到样本预测偏差集；

第七确定模块，用于根据所述样本预测偏差集中的样本预测偏差，确定所述预设异常概率函数中参数的参数值。

可选的，所述第七确定模块包括：

第八确定模块，用于确定所述样本预测偏差集中样本预测偏差的平均值以及所述样本预测偏差集中样本预测偏差的标准差；

第九确定模块，用于将所述样本预测偏差集中样本预测偏差的平均值和标准差作为所述预设异常概率函数中对应参数的参数值。

可选的，所述第七确定模块包括：

第一均值确定模块，确定所述样本预测偏差集中样本预测偏差的平均值；

第一函数确定模块，用于根据所述样本历史监测数据的回归处理，确定非线性拟合函数；

第一函数值确定模块，用于根据所述在当前时刻的监测数据，确定所述非线性拟合函数的函数值；

第十确定模块，用于将所述样本预测偏差集中样本预测偏差的平均值和所述非线性拟合函数的函数值作为所述预设异常概率函数中对应参数的参数值。

可选的，当所述目标预设策略为基于均值的预测策略时，所述第五确定模块包括：

第二均值确定模块，用于确定所述历史监测数据的平均值；

第三预测模块，用于将所述历史监测数据的平均值作为所述目标检测对象在当前时刻的预测数据。

可选的，所述装置还包括：

第二获取模块，用于获取所述目标检测对象的样本历史监测数据；

第四预测模块，用于确定所述样本历史监测数据的平均值，得到预测历史数据；

第十一确定模块，用于确定所述预测历史数据与每个样本历史监测数据的差值，得到样本预测偏差集；

第三均值确定模块，用于确定所述样本预测偏差集中样本预测偏差的平均值；

第二函数确定模块，用于根据所述样本历史监测数据的回归处理，确定非线性拟合函数；

第二函数值确定模块，用于根据所述在当前时刻的监测数据，确定所述非线性拟合函数的函数值；

第十二确定模块，用于将所述样本预测偏差集中样本预测偏差的平均值和所述非线性拟合函数的函数值作为所述预设异常概率函数中对应参数的参数值。

可选的，所述异常检测模块包括：

第十三确定模块，用于基于预设异常概率函数和所述预测偏差，确定异常概率值；

判断模块，用于判断所述异常概率值是否大于或者等于预设阈值；

第十四确定模块，在判断模块的判断结果为是时，确定所述目标检测对象在当前时刻的监测数据异常。

另一方面，提供了一种服务器，包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述异常数据检测方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述的异常数据检测方法。

本发明实施例通过目标检测对象的历史监测数据对目标检测对象在当前时刻进行预测得到预测数据，并基于预测数据与监测数据确定目标检测对象在当前时刻的预测偏差，然后基于该预测偏差和预设异常概率函数对该目标检测对象在当前时刻的监测数据进行异常检测，利用了预测数据与实际的监测数据的差异来衡量该监测数据的异常程度，而预测数据又充分体现了数据自身的变化趋势，从而使得异常数据检测的准确性大幅提升，并且无需依靠丰富的运维经验进行固定阈值的设置，提高了数据检测效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种异常数据检测方法的流程示意图；

图2a是本发明实施例提供的游戏关键路径对应的在线人数曲线示意图；

图2b是本发明实施例提供的的游戏关键路径对应的认证成功率曲线示意图；

图3是本发明实施例提供的根据历史监测数据确定目标检测对象在当前时刻的预测数据的一种方法的流程示意图；

图4是本发明实施例提供的根据所述目标预测策略和历史监测数据确定所述目标检测对象在当前时刻的预测数据另一种方法的流程示意图；

图5是本发明实施例提供的根据所述目标预测策略和历史监测数据确定所述目标检测对象在当前时刻的预测数据另一种方法的流程示意图；

图6是本发明实施例提供的另一种异常数据检测方法的流程示意图；

图7a是本发明实施例提供的使用神经网络模型对在线人数曲线在每个样本历史监测数据对应的时间点进行预测的预测结果示意图；

图7b是本发明实施例提供的使用指数平滑模型对匹配成功率曲线在每个样本历史监测数据对应的时间点进行预测的预测结果示意图；

图8是本发明实施例提供的另一种异常数据检测方法的流程示意图；

图9是本发明实施例提供的告警配置界面的一种示意图；

图10是本发明实施例提供的一种异常数据检测装置的结构示意图；

图11是本发明实施例提供的另一种异常数据检测装置的结构示意图；

图12是本发明实施例提供的另一种异常数据检测装置的结构示意图；

图13是本发明实施例提供的一种服务器的硬件结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

现有技术中，对于交互式应用中异常数据的检测一般依据

或x(t-1)-x(t)＞b，其中，x(t)为当前时刻的监测数据，x(t-1)为前一时刻的监测数据，a和b为设置的固定阈值。可见，这种异常数据检测方法并没有考虑数据自身的变化趋势，对于处于快速上升阶段突然增速放缓的数据以及处于持续的快速下降期的数据来说，现有技术的异常数据检测方法是无法准确检测出数据的异常程度的；而且上述的固定阈值的选择需要丰富的运维经验，数据检测效率也较低。

鉴于此，本发明实施例提出了一种异常数据检测方法，该方法通过历史监测数据对当前时刻进行预测以得到预测数据，并利用当前时刻的预测数据与监测数据的差异来衡量当前时刻的监测数据的异常程度，从而大幅提升了异常数据检测的准确性，并且无需依靠丰富的运维经验进行固定阈值的设置，提高了数据检测效率。

请参阅图1，其所示为本发明实施例提供的一种异常数据检测方法的流程示意图。需要说明的是，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的***或产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图1所示，所述方法可以包括：

S101，获取目标检测对象在当前时刻的监测数据，以及所述当前时刻之前预设时间段的历史监测数据。

其中，目标检测对象可以是目标维度中的检测对象，该目标维度表示被监测的数据的范围。目标检测对象表示被检测的某一类别的数据对象，在本说明书实施例中，可以根据目标检测对象的数据变化趋势特点，将目标检测对象划分为不同的类别，该类别可以但不限于包括时序性平滑变化类别、时序性波动变化类别以及非时序性波动变化类别等等。其中，时序性是指当前时刻的数据与前一时刻的数据相关联，非时序性是指当前时刻的数据与前一时刻的数据无关联。

以游戏为例，目标维度可以但不限于包括大区、平台、省份等等，也就是说，目标维度可以是某一个大区、某一个平台或者某一个省份等等，具体的大区、平台、省份的划分可以根据实际情况进行设定；目标检测对象可以是游戏关键路径中涉及的数据，该游戏关键路径可以但不限于包括在线、登录、匹配、对局等等，相应的，目标检测对象可以但不限于包括在线人数、认证成功率、匹配成功率等等。

实际应用中，常常将在线人数、认证成功率、匹配成功率等游戏关键路径的数据绘制成相应的曲线，将数据的变化趋势体现到相应的曲线上。一般在线人数曲线表现为叠加性和平滑性两个特点，如图2a，该类曲线当前时刻的状态是在上一时刻的基础上进行变化，正常情况下曲线不会发生大幅度突变。认证成功率曲线表现为非时序性和波动性两大特点，如图2b，该类曲线当前时刻的数据与前一时刻的数据没有直接关系，不平滑、呈锯齿状。匹配成功率曲线表现为时序性和波动性两大特点，如图7b，该类曲线当前时刻的数据与前一时刻的数据直接关联，曲线不平滑、呈锯齿状。

在本说明书实施例中，获取当前时刻之前预设时间段的历史监测数据可以根据实际需要进行设置。在一个具体的实施例中，可以按照预设时间间隔为监测粒度，获取当前时刻之前预设数量个监测粒度的历史监测数据，例如，该预设时间间隔可以为5分钟，预设数量可以为5个，即获取的当前时刻的监测数据为x_t，历史监测数据为{x_t-5，x_t-4，x_t-3，x_t-2，x_t-1}，其中，x_t-1为当前时刻的前一个时刻的监测数据，x_t-2为当前时刻的前两个时刻的监测数据，x_t-3为当前时刻的前三个时刻的监测数据，x_t-4为当前时刻的前四个时刻的监测数据，x_t-5为当前时刻的前五个时刻的监测数据。

S103，根据所述历史监测数据，确定所述目标检测对象在当前时刻的预测数据。

不同类别的目标检测对象的数据变化趋势是不同的，为了提高预测数据的准确性，本说明书实施例中，在根据历史监测数据确定目标检测对象在当前时刻的预测数据时可以包括如图3所示的步骤：

S301，确定所述目标检测对象的时序属性。

具体的，可以根据目标检测对象的类别来确定目标检测对象的时序属性，该时序属性可以包括时序性和非时序性。例如，时序性平滑变化类别和时序性波动变化类别的目标检测对象具有时序性；非时序性波动变化类别具有非时序性。

以前述游戏关键路径对应的数据曲线为例，在线人数曲线和匹配成功率曲线具有时序性，认证成功率曲线具有非时序性。

S303，根据所述时序属性，确定与所述目标检测对象相匹配的目标预测策略。

在本说明书实施例中，时序性对应基于预测模型的预测策略，非时序性对应基于均值的预测策略。基于对目标检测对象的时序属性的判断确定与其相对应的目标预测策略。

S305，根据所述目标预测策略和历史监测数据，确定所述目标检测对象在当前时刻的预测数据。

具体的，当目标预测策略为基于预测模型的预测策略时，可以采用图4中的方法实现根据所述目标预测策略和历史监测数据确定所述目标检测对象在当前时刻的预测数据，如图4所示，该方法可以包括：

S401，确定预测模型。

其中，预测模型包括基于所述目标检测对象的样本历史监测数据进行无监督机器学习确定的机器学习模型。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

无监督机器学习过程中输入至机器学习模型的训练数据没有被标记，也没有确定的结果，训练数据类别未知，机器学习模型需要根据数据间的相似性对训练数据进行分类试图使类内差距最小化，类间差距最大化。

在本说明书实施例中，具有时序性的目标检测对象，由于其波动性上也会存在比较大的差别如无大幅波动(即平滑变化)和有大幅波动，为了进一步提高预测数据的准确性，在训练得到预测模型时可以基于不同的预设机器学***滑模型等等。

以前述游戏关键路径对应的数据曲线为例，在线人数曲线和匹配成功率曲线都具有时序性，但是在线人数曲线平滑无大幅波动，可以采用神经网络模型作为预设机器学***滑，呈锯齿状，可以采用指数平滑模型作为预设机器学习模型来训练得到预测模型。

实际应用中，可以从预先构建的样本数据空间中获取目标维度的目标检测对象的样本历史监测数据，该样本数据空间可以通过对指定存储空间中收集的各个监测时刻的监测数据进行预处理后得到。该样本历史监测数据可以表示为

其中，X_n表示目标维度n的目标检测对象的样本历史监测数据，

为在历史的第T个时刻的监测数据，其可以按照预设时间间隔进行监测得到，例如该预设时间间隔可以为5分钟，则第T个时刻对应的时间为5*T。利用样本历史监测数据

作为输入对预设机器学习模型进行预测训练，在训练的过程中调整预设机器学习模型的模型参数直至输出的预测结果与相应的输入相匹配，将当前模型参数所对应的机器学习模型作为预测模型。

S403，基于所述预测模型和所述历史监测数据对所述目标检测对象在当前时刻进行预测，得到所述目标检测对象在当前时刻的预测数据。

具体的，将在当前时刻之前预设时间段的历史监测数据作为预测模型的输入，从而可以得到该预测模型输出的目标检测对象在当前时刻的预测数据。

当目标预设策略为基于均值的预测策略时，可以采用图5中的方法实现根据所述目标预测策略和历史监测数据确定所述目标检测对象在当前时刻的预测数据，如图5所示，该方法可以包括：

S501，确定所述历史监测数据的平均值。

例如，历史监测数据为{x_t-5，x_t-4，x_t-3，x_t-2，x_t-1}，则历史监测数据的平均值为(x_t-5+x_t-3+x_t-2+x_t-1)/5。

S503，将所述历史监测数据的平均值作为所述目标检测对象在当前时刻的预测数据。

S105，根据所述预测数据和监测数据，确定所述目标检测对象在当前时刻的预测偏差。

具体的，计算预测数据与监测数据的差值，得到目标检测对象在当前时刻的预测偏差，即可以表示为Δx＝x_pre-x_true，其中，Δx表示预测偏差，x_pre表示在当前时刻的预测数据，x_true表示在当前时刻的监测数据。

S107，基于预设异常概率函数和所述预测偏差，对所述目标检测对象在当前时刻的监测数据进行异常检测。

具体的，将预测偏差带入预设异常概率函数，通过预设异常概率函数计算出相应的异常概率值；判断该异常概率值是否大于或者等于预设阈值，当判断的结果为是时，确定目标检测对象在当前时刻的监测数据异常；反之，当判断的结果为异常概率值小于预设阈值时，确定目标检测对象在当前时刻的监测数据正常。其中，预设阈值可以根据异常概率函数的实际形式进行设定。

为了提高异常数据检测的效率，避免预设阈值对经验的依赖，在一个具体的实施例中，将预设异常概率函数设定为以下：

其中，Δx表示预测偏差，μ表示第一参数，σ表示第二参数。相应的，预设阈值设置为0.99999，也就是说，当F(Δx，μ，σ)大于或者等于0.99999时，可以确定目标检测对象在当前时刻的检测数据异常，反之，当F(Δx，μ，σ)小于0.99999时，可以确定目标检测对象在当前时刻的检测数据正常。

在一个具体的实施例中，可以根据目标维度的目标检测对象的历史数据计算上述F(Δx，μ，σ)中的第一参数μ和第二参数σ，具体的，第一参数μ和第二参数σ的计算方法还与目标预测策略相关联。当目标预测策略为基于预测模型的预测策略时，如图6提供的另一种异常数据检测方法的流程示意图中所示，在基于预设异常概率函数和所述预测偏差确定所述目标检测对象在当前时刻的监测数据是否异常之前，所述方法还包括：

S601，基于预测模型对目标检测对象在每个样本历史监测数据对应的时间点进行预测，得到对应于每个样本历史监测数据的预测历史数据。

具体的，样本历史检测数据可以表示为

则预测历史数据可以表示为

其中，

表示在

对应的时间点的预测历史数据，该预测历史数据由预测模型预测得到。

针对前述游戏关键路径对应的在线人数曲线，图7a为使用神经网络模型对该曲线在每个样本历史监测数据对应的时间点进行预测的预测结果示意图。

针对前述游戏关键路径对应的匹配成功率曲线，图7b为使用指数平滑模型(holtwinter)对该曲线在每个样本历史监测数据对应的时间点进行预测的预测结果示意图。

S603，确定所述预测历史数据与相对应的样本历史监测数据的差值，得到样本预测偏差集。

具体的，样本预测偏差集可以表示为

其中，

S605，根据所述样本预测偏差集中的样本预测偏差，确定所述预设异常概率函数中参数的参数值。

具体的，若样本历史监测数据无需基于相对应的统计数据，如前述的在线人数曲线中各个时刻的在线人数的确定与该时刻的总人数无关，则可以计算样本预测偏差集中样本预测偏差的平均值以及样本预测偏差集中样本预测偏差的标准差，并将样本预测偏差集中样本预测偏差的平均值以及样本预测偏差集中样本预测偏差的标准差作为预设异常概率函数中对应参数的参数值，具体计算公式表示如下：

具体的，若样本历史监测数据需要基于相对应的统计数据，如前述的匹配成功率曲线中各个时刻的匹配成功率的确定需要基于相应时刻的总匹配次数，则可以按照以下步骤来确定预设异常概率函数中参数的参数值：

计算所述样本预测偏差集中样本预测偏差的平均值，即表示为

根据所述样本历史监测数据的回归处理，确定非线性拟合函数。具体的，由于样本历史监测数据需要基于相应的统计数据进行确定，因此，在进行回归处理之前，对样本历史监测数据进行拓展，使得拓展后的每个样本数据包括样本历史监测数据和相对应的统计数据。以匹配成功率曲线为例，拓展后的每个样本数据

其中，rate^T为第T个时刻的匹配成功率，cnt^T为对应于rate^T的总匹配次数，则拓展后的样本数据

对拓展后的样本数据

进行回归处理，在回归处理中先对拓展后的样本数据

进行离散化处理，如表示为

然后根据X_n′中的各数据组计算得到相应的标准差σ与cnt的数据对，即

其中，

cnt^k为

的离散值，该离散值可以是

的平均值。

与上述

的处理方式类似，在此不再赘述。然后根据

拟合回归出σ与cnt的函数关系，例如选取二次函数σ＝a*cnt²+b*cnt+c，其中，参数a、b和c可以在该函数拟合出来时被确定。

根据所述在当前时刻的监测数据，确定所述非线性拟合函数的函数值，并将所述样本预测偏差集中样本预测偏差的平均值和所述非线性拟合函数的函数值作为所述预设异常概率函数中对应参数的参数值。具体的，根据当前时刻的监测数据可以确定其对应的统计数据，然后将该统计数据代入上述回归出的非线性函数中，从而得到该非线性函数的函数值。如将当前时刻的监测数据对应的cnt代入上述的二次函数σ＝a*cnt²+b*cnt+c中，即可得到函数值σ。将前述计算的μ和σ作为预设异常概率函数中对应参数的参数值。

当目标预测策略为基于均值的预测策略时，如图8提供的另一种异常数据检测方法的流程示意图所示，在基于预设异常概率函数和所述预测偏差确定所述目标检测对象在当前时刻的监测数据是否异常之前，所述方法还包括：

S801，获取所述目标检测对象的样本历史监测数据。

样本历史监测数据可以表示为

其中，X_n表示目标维度n的目标检测对象的样本历史监测数据，

为在历史的第T个时刻的监测数据。

S803，确定所述样本历史监测数据的平均值，得到预测历史数据。

具体的，计算样本历史监测数据的平均值，将该平均值作为每个样本历史监测数据对应的时间点的预测历史数据，即

表示预测历史数据。

S805，确定所述预测历史数据与每个样本历史监测数据的差值，得到样本预测偏差集。

具体的，样本预测偏差集可以表示为

其中，

S807，确定所述样本预测偏差集中样本预测偏差的平均值。

具体的，计算上述样本预测偏差集中样本预测偏差的平均值，即表示为

S809，根据所述样本历史监测数据的回归处理，确定非线性拟合函数。

由于基于均值的预测策略中，目标检测对象的监测数据需要基于相对应的统计数据，如前述的认证成功率中各个时刻的认证成功率的确定需要基于相应时刻的总认证次数进行确定，因此，在进行回归处理之前，对样本历史监测数据进行拓展，使得拓展后的每个样本数据包括样本历史监测数据和相对应的统计数据。以认证成功率曲线为例，拓展后的每个样本数据

其中，rate^T为认证成功率，cnt^T为对应于rate^T的总认证次数，则拓展后的样本数据

对拓展后的样本数据

进行回归处理，在回归处理中先对拓展后的样本数据

进行离散化处理，如表示为

然后根据X_n′中的各数据组计算得到相应的标准差σ与cnt的数据对，即

其中，

cnt^k为

的离散值，该离散值可以是

的平均值。

与上述

的处理方式类似，在此不再赘述。然后根据

拟合回归出σ与cnt的函数关系，例如选取二次函数σ＝a*cnt²+b*cnt+c，其中，参数a、b和c可以在该函数拟合出来时被确定。

S811，根据所述在当前时刻的监测数据，确定所述非线性拟合函数的函数值。

具体的，根据当前时刻的监测数据可以确定其对应的统计数据，然后将该统计数据代入上述回归出的非线性函数中，从而得到该非线性函数的函数值。如将当前时刻的监测数据对应的cnt代入上述的二次函数σ＝a*cnt²+b*cnt+c中，即可得到函数值σ。

S813，将所述样本预测偏差集中样本预测偏差的平均值和所述非线性拟合函数的函数值作为所述预设异常概率函数中对应参数的参数值。

具体的，将前述计算的μ和σ作为预设异常概率函数中对应参数的参数值。

实际应用中，当检测出目标检测对象在当前时刻的监测数据为异常时，可以根据实际设置发出告警信息，该告警信息的通知方式可以但不限于包括微信、短信、邮件、企业级通信平台(如RTX)，告警信息的通知对象可以但不限于包括运维、运营规划等等。

在一个具体的实施例中，可以提供如图9所示的告警配置界面，在该告警配置界面上提供监控的维度和检测对象选项，允许用户根据需要设置目标维度和目标检测对象。该告警配置界面还可以提供监控周期即监测数据获取的预设时间间隔选项，如周期5分钟等等，每一个周期对应一个时刻，并将每个预设时间间隔的监测数据存储在指定存储空间中，以便后续进行异常数据检测时从该指定存储空间获取历史监测数据。另外，该告警配置界面还可以允许对告警信息的通知方式、通知对象的设置。在完成图9中告警配置界面设置并确认后，即可以根据本发明实施例提供的异常数据检测方法进行在线监控。

由本发明实施例的上述技术方案可见，本发明实施例通过目标维度的目标检测对象的历史监测数据对目标检测对象在当前时刻进行预测得到预测数据，并基于预测数据与监测数据确定目标检测对象在当前时刻的预测偏差，然后基于该预测偏差和预设异常概率函数对该目标检测对象在当前时刻的监测数据进行异常检测，利用了预测数据与实际的监测数据的差异来衡量该监测数据的异常程度，而预测数据又充分体现了数据自身的变化趋势，从而使得异常数据检测的准确性大幅提升。

此外，本发明实施例中的参数基于目标检测对象的历史监测数据进行自训练确定，无需依靠丰富的运维经验进行固定阈值的设置，提高了数据检测效率。

与上述几种实施例提供的异常数据检测方法相对应，本发明实施例还提供一种异常数据检测装置，由于本发明实施例提供的异常数据检测装置与上述几种实施例提供的异常数据检测方法相对应，因此前述异常数据检测方法的实施方式也适用于本实施例提供的异常数据检测装置，在本实施例中不再详细描述。

请参阅图10，其所示为本发明实施例提供的一种异常数据检测装置的结构示意图，该装置具有实现上述方法实施例中异常数据检测方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。如图10所示，该装置可以包括：

第一获取模块1010，用于获取目标检测对象在当前时刻的监测数据，以及所述当前时刻之前预设时间段的历史监测数据；

第一确定模块1020，用于根据所述历史监测数据，确定所述目标检测对象在当前时刻的预测数据；

第二确定模块1030，用于根据所述预测数据和监测数据，确定所述目标检测对象在当前时刻的预测偏差；

异常检测模块1040，用于基于预设异常概率函数和所述预测偏差，对所述目标检测对象在当前时刻的监测数据进行异常检测。

在一个具体的实施例中，第一确定模块1020可以包括：

第三确定模块，用于确定所述目标检测对象的时序属性；

第四确定模块，用于根据所述时序属性，确定与所述目标检测对象相匹配的目标预测策略；

第五确定模块，用于根据所述目标预测策略和历史监测数据，确定所述目标检测对象在当前时刻的预测数据。

可选的，当所述目标预测策略为基于预测模型的预测策略时，第五确定模块可以包括：

模型确定模块，用于确定预测模型；所述预测模型包括基于所述目标检测对象的样本历史监测数据进行无监督机器学习确定的机器学习模型；

第一预测模块，用于基于所述预测模型和所述历史监测数据对所述目标检测对象在当前时刻进行预测，得到所述目标检测对象在当前时刻的预测数据。

在一个具体的实施例中，如图11提供的另一种异常数据检测装置的结构示意图，该装置还可以包括：

第二预测模块1110，用于基于预测模型对目标检测对象在每个样本历史监测数据对应的时间点进行预测，得到对应于每个样本历史监测数据的预测历史数据；

第六确定模块1120，用于确定所述预测历史数据与相对应的样本历史监测数据的差值，得到样本预测偏差集；

第七确定模块1130，用于根据所述样本预测偏差集中的样本预测偏差，确定所述预设异常概率函数中参数的参数值。

在一个具体的实施例中，第七确定模块1130可以包括：

第八确定模块，用于确定所述样本预测偏差集中样本预测偏差的平均值以及所述样本预测偏差集中样本预测偏差的标准差；

第九确定模块，用于将所述样本预测偏差集中样本预测偏差的平均值和标准差作为所述预设异常概率函数中对应参数的参数值。

在另一个具体的实施例中，第七确定模块1130可以包括：

第一均值确定模块，确定所述样本预测偏差集中样本预测偏差的平均值；

第一函数确定模块，用于根据所述样本历史监测数据的回归处理，确定非线性拟合函数；

第一函数值确定模块，用于根据所述在当前时刻的监测数据，确定所述非线性拟合函数的函数值；

第十确定模块，用于将所述样本预测偏差集中样本预测偏差的平均值和所述非线性拟合函数的函数值作为所述预设异常概率函数中对应参数的参数值。

可选的，当目标预设策略为基于均值的预测策略时，第五确定模块可以包括：

第二均值确定模块，用于确定所述历史监测数据的平均值；

第三预测模块，用于将所述历史监测数据的平均值作为所述目标检测对象在当前时刻的预测数据。

在另一个具体的实施例中，如图12提供的另一种异常数据检测装置的结构示意图，该装置还可以包括：

第二获取模块1210，用于获取所述目标检测对象的样本历史监测数据；

第四预测模块1220，用于确定所述样本历史监测数据的平均值，得到预测历史数据；

第十一确定模块1230，用于确定所述预测历史数据与每个样本历史监测数据的差值，得到样本预测偏差集；

第三均值确定模块1240，用于确定所述样本预测偏差集中样本预测偏差的平均值；

第二函数确定模块1250，用于根据所述样本历史监测数据的回归处理，确定非线性拟合函数；

第二函数值确定模块1260，用于根据所述在当前时刻的监测数据，确定所述非线性拟合函数的函数值；

第十二确定模块1270，用于将所述样本预测偏差集中样本预测偏差的平均值和所述非线性拟合函数的函数值作为所述预设异常概率函数中对应参数的参数值。

可选的，异常检测模块1040可以包括：

第十三确定模块，用于基于预设异常概率函数和所述预测偏差，确定异常概率值；

判断模块，用于判断所述异常概率值是否大于或者等于预设阈值；

第十四确定模块，在判断模块的判断结果为是时，确定所述目标检测对象在当前时刻的监测数据异常。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本发明实施例的异常数据检测装置通过目标维度的目标检测对象的历史监测数据对目标检测对象在当前时刻进行预测得到预测数据，并基于预测数据与监测数据确定目标检测对象在当前时刻的预测偏差，然后基于该预测偏差和预设异常概率函数对该目标检测对象在当前时刻的监测数据进行异常检测，利用了预测数据与实际的监测数据的差异来衡量该监测数据的异常程度，而预测数据又充分体现了数据自身的变化趋势，从而使得异常数据检测的准确性大幅提升，并且无需依靠丰富的运维经验进行固定阈值的设置，提高了数据检测效率。

本发明实施例提供了一种服务器，该服务器包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的异常数据检测方法。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及异常数据检测。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

本发明实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图13是本发明实施例提供的运行一种异常数据检测方法的服务器的硬件结构框图，如图13所示，该服务器1300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(Central Processing Units，CPU)1310(处理器1310可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1330，一个或一个以上存储应用程序1323或数据1322的存储介质1320(例如一个或一个以上海量存储设备)。其中，存储器1330和存储介质1320可以是短暂存储或持久存储。存储在存储介质1320的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1310可以设置为与存储介质1320通信，在服务器1300上执行存储介质1320中的一系列指令操作。服务器1300还可以包括一个或一个以上电源1360，一个或一个以上有线或无线网络接口1350，一个或一个以上输入输出接口1340，和/或，一个或一个以上操作***1321，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM，FreeBSDTM等等。

输入输出接口1340可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1300的通信供应商提供的无线网络。在一个实例中，输入输出接口1340包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1340可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图13所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器1300还可包括比图13中所示更多或者更少的组件，或者具有与图13所示不同的配置。

本发明的实施例还提供了一种计算机可读存储介质，所述存储介质可设置于终端之中以保存用于实现一种视频生成方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的异常数据检测方法。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种异常数据检测方法，其特征在于，所述方法包括：

获取目标检测对象在当前时刻的监测数据，以及所述当前时刻之前预设时间段的历史监测数据；

确定所述目标检测对象的时序属性，并对所述目标检测对象进行波动性分析；根据所述时序属性和波动性分析结果，确定与所述目标检测对象相匹配的目标预测策略；所述目标预测策略包括基于预测模型的预测策略，所述预测模型包括神经网络模型和指数平滑模型；

根据所述目标预测策略和所述历史监测数据，确定所述目标检测对象在当前时刻的预测数据；根据所述预测数据和监测数据，确定所述目标检测对象在当前时刻的预测偏差；

基于预设异常概率函数和所述预测偏差，对所述目标检测对象在当前时刻的监测数据进行异常检测；

所述基于预设异常概率函数和所述预测偏差，对所述目标检测对象在当前时刻的监测数据进行异常检测包括：

基于预设异常概率函数和所述预测偏差，确定异常概率值；判断所述异常概率值是否大于或者等于预设阈值。

2.根据权利要求1所述的异常数据检测方法，其特征在于，当所述目标预测策略为基于预测模型的预测策略时，所述根据所述目标预测策略和历史监测数据，确定所述目标检测对象在当前时刻的预测数据包括：

确定预测模型；所述预测模型包括基于所述目标检测对象的样本历史监测数据进行无监督机器学习确定的机器学习模型；

基于所述预测模型和所述历史监测数据对所述目标检测对象在当前时刻进行预测，得到所述目标检测对象在当前时刻的预测数据。

3.根据权利要求2所述的异常数据检测方法，其特征在于，在基于预设异常概率函数和所述预测偏差确定所述目标检测对象在当前时刻的监测数据是否异常之前，所述方法还包括：

基于预测模型对目标检测对象在每个样本历史监测数据对应的时间点进行预测，得到对应于每个样本历史监测数据的预测历史数据；

确定所述预测历史数据与相对应的样本历史监测数据的差值，得到样本预测偏差集；

根据所述样本预测偏差集中的样本预测偏差，确定所述预设异常概率函数中参数的参数值。

4.根据权利要求3所述的异常数据检测方法，其特征在于，所述根据所述样本预测偏差集中的样本预测偏差，确定所述预设异常概率函数中参数的参数值包括：

确定所述样本预测偏差集中样本预测偏差的平均值以及所述样本预测偏差集中样本预测偏差的标准差；

将所述样本预测偏差集中样本预测偏差的平均值和标准差作为所述预设异常概率函数中对应参数的参数值。

5.根据权利要求3所述的异常数据检测方法，其特征在于，所述根据所述样本预测偏差集中的样本预测偏差，确定所述预设异常概率函数中参数的参数值包括：

确定所述样本预测偏差集中样本预测偏差的平均值；

根据所述样本历史监测数据的回归处理，确定非线性拟合函数；

根据所述在当前时刻的监测数据，确定所述非线性拟合函数的函数值；将所述样本预测偏差集中样本预测偏差的平均值和所述非线性拟合函数的函数值作为所述预设异常概率函数中对应参数的参数值。

6.根据权利要求1所述的异常数据检测方法，其特征在于，当所述目标预测策略为基于均值的预测策略时，所述根据所述目标预测策略和历史监测数据，确定所述目标检测对象在当前时刻的预测数据包括：

确定所述历史监测数据的平均值；

将所述历史监测数据的平均值作为所述目标检测对象在当前时刻的预测数据。

7.根据权利要求6所述的异常数据检测方法，其特征在于，在基于预设异常概率函数和所述预测偏差确定所述目标检测对象在当前时刻的监测数据是否异常之前，所述方法还包括：

获取所述目标检测对象的样本历史监测数据；

确定所述样本历史监测数据的平均值，得到预测历史数据；

确定所述预测历史数据与每个样本历史监测数据的差值，得到样本预测偏差集；

确定所述样本预测偏差集中样本预测偏差的平均值；

根据所述样本历史监测数据的回归处理，确定非线性拟合函数；

根据所述在当前时刻的监测数据，确定所述非线性拟合函数的函数值；

将所述样本预测偏差集中样本预测偏差的平均值和所述非线性拟合函数的函数值作为所述预设异常概率函数中对应参数的参数值。

8.一种异常数据检测装置，其特征在于，所述装置包括：

第一获取模块，用于获取目标检测对象在当前时刻的监测数据，以及所述当前时刻之前预设时间段的历史监测数据；

第一确定模块，用于确定所述目标检测对象的时序属性，并对所述目标检测对象进行波动性分析；根据所述时序属性和波动性分析结果，确定与所述目标检测对象相匹配的目标预测策略；根据所述目标预测策略和所述历史监测数据，确定所述目标检测对象在当前时刻的预测数据；所述目标预测策略包括基于预测模型的预测策略，所述预测模型包括神经网络模型和指数平滑模型；

第二确定模块，用于根据所述预测数据和监测数据，确定所述目标检测对象在当前时刻的预测偏差；

异常检测模块，用于基于预设异常概率函数和所述预测偏差，对所述目标检测对象在当前时刻的监测数据进行异常检测；

所述基于预设异常概率函数和所述预测偏差，对所述目标检测对象在当前时刻的监测数据进行异常检测包括：

基于预设异常概率函数和所述预测偏差，确定异常概率值；

判断所述异常概率值是否大于或者等于预设阈值。

9.一种服务器，其特征在于，包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1～7中任一项所述的异常数据检测方法。

Images