CN113515684A - 一种异常数据检测方法及装置 - Google Patents
一种异常数据检测方法及装置 Download PDFInfo
- Publication number
- CN113515684A CN113515684A CN202010276395.3A CN202010276395A CN113515684A CN 113515684 A CN113515684 A CN 113515684A CN 202010276395 A CN202010276395 A CN 202010276395A CN 113515684 A CN113515684 A CN 113515684A
- Authority
- CN
- China
- Prior art keywords
- data
- reconstruction
- detected
- target
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种异常数据检测方法,包括:获取待检测数据;将所述待检测数据输入到目标数据重建模型中,获取与所述待检测数据对应的目标重建数据,其中,所述目标数据重建模型是用于根据所述待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型;获取所述待检测数据与所述目标重建数据之间的重建误差信息;根据所述重建误差信息,判断所述待检测数据是否为异常数据。所述方法在通过目标数据重建模型获取与待检测数据对应的目标重建数据,并通过获取待检测数据和目标重建数据之间的重建误差信息之后,根据所述重建误差信息即可方便、准确的判断待检测数据是否为异常数据。
Description
技术领域
本申请涉及计算机技术领域,具体涉及一种异常数据检测方法、装置、电子设备及存储设备。本申请同时涉及一种数据重建模型的获得方法、装置、电子设备及存储设备。本申请还涉及一种针对网络平台的异常数据检测方法、装置、电子设备及存储设备。本申请还涉及一种针对目标设备的异常检测方法、装置、电子设备及存储设备。
背景技术
随着计算机技术的不断发展,应用程序在运行时通常会产生大量的应用数据,例如,网络平台在运行时,针对用户在平台中的操作行为,通常会在平台后台产生各种各样的用户行为数据。如何准确的检测出这些数据中的异常数据,以快速解决导致产生该异常数据的程序指令数据中的问题,越来越受到人们的重视。
目前从应用程序产生的应用数据,即从待检测数据中检测异常数据的方法,一般有两种:1、针对与目标对象对应的某个指标数据进行与阈值相关的异常检测,例如,针对网络平台中的某一按键的点击次数,或者针对网络平台中某个页面的浏览量,可以统计其在单位时间内的历史数据,并在进行实时监测时,根据实时数据与历史统计数据的偏差值来判断实时数据是否存在异常;2、针对与目标对象对应的时间序列数据,通过将该目标对象对应的历史时间序列数据转换为一维时间序列数据,并通过对该一维时间序列数据进行周期性以及趋势线分解后,获得其历史周期规律或历史变化趋势规律,并通过分析实时时间序列数据与获得的历史周期规律或历史变化趋势规律的偏离程度,来判断实时时间序列数据是否为异常数据,例如,通过差分整合移动平均自回归模型(ARIMA,AutoregressiveIntegrated Moving Average model)建立与目标对象对应的一维时间序列数据的周期变化模型,并通过该周期变化模型判断与目标对象对应的实时时间序列数据是否为异常数据。
由此可知,现有技术中判断待检测数据是否为异常数据的方法,一种方法仅适用于单值分析场景,即,仅针对某个单值指标数据进行分析检测,而不能分析数据在时间序列上的整体变化;另一种方法虽然可以处理时间序列数据,但是一般仅适用于一维时间序列数据,其并不能处理具有多个维度的时间序列数据;此外,两种方法都存在训练获得用于检测异常数据的模型的过程中,训练数据中的异常样本数据获取难度大,进而导致检测结果准确度相对较低的问题。因此,现有技术在判断待检测数据是否为异常数据时,需要根据待检测数据的类型来调用不同的模型,并且还存在不能处理某些类型的数据的问题,也就是说,现有技术存在不能方便、准确的获得待检测数据中的异常数据的问题。
发明内容
本申请实施例提供一种异常数据检测方法,以解决现有技术存在的不能方便、准确的获得待检测数据中的异常数据的问题。
本申请实施例提供一种异常数据检测方法,包括:获取待检测数据;
将所述待检测数据输入到目标数据重建模型中,获取与所述待检测数据对应的目标重建数据,其中,所述目标数据重建模型是用于根据所述待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型;
获取所述待检测数据与所述目标重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述待检测数据是否为异常数据。
可选的,所述目标数据重建模型通过以下方法获得:
获取原始样本数据,其中,所述原始样本数据包括第一特征类型样本数据和第二特征类型样本数据中的至少一种数据;
根据所述原始样本数据,训练获得所述目标数据重建模型;
其中,所述目标数据重建模型包括编码模块和解码模块,所述编码模块包括用于获取与所述第一特征类型样本数据对应的第一样本特征信息的第一编码子模型,以及用于获取与所述第二特征类型样本数据对应的第二样本特征信息的第二编码子模型;所述解码模块包括第一解码子模型和第二解码子模型,所述第一解码子模型用于根据所述第一样本特征信息,重建与所述第一特征类型样本数据对应的第一重建数据,所述第二解码子模型用于根据所述第二样本特征信息,重建与所述第二特征类型样本数据对应的第二重建数据。
可选的,所述根据所述原始样本数据,训练获得所述目标数据重建模型,包括:
获得待训练数据重建模型,以及,从所述原始样本数据中,获得所述第一特征类型样本数据,并获得所述第二特征类型样本数据,其中,所述待训练数据重建模型是与所述目标数据重建模型对应的模型;
使用所述第一特征类型样本数据训练所述待训练数据重建模型中的第一编码子模型,获取所述第一样本特征信息,以及,使用所述第二特征类型样本数据训练所述待训练数据重建模型中的第二编码子模型,获取所述第二样本特征信息;
使用所述第一样本特征信息训练所述待训练数据重建模型中的第一解码子模型,获取所述第一重建数据,以及,使用所述第二样本特征信息训练所述待训练数据重建模型中的第二解码子模型,获取所述第二重建数据;
通过获取与所述第一特征类型样本数据和所述第一重建数据对应的第一重建误差信息,以及,与所述第二特征类型样本数据和所述第二重建数据对应的第二重建误差信息,调整所述待训练数据重建模型中的参数,获得满足预设收敛条件的所述目标数据重建模型。
可选的,还包括:
使用所述待训练数据重建模型中的隐藏层对所述第一样本特征信息和所述第二样本特征信息进行拼接处理,以及,使用与所述隐藏层对应的全连接层对进行拼接处理后的所述第一样本特征信息和所述第二样本特征信息进行映射处理,获得待解码完整样本特征信息;
所述方法,还包括:
在使用所述第一样本特征信息训练所述待训练数据重建模型中的第一解码子模型,获取所述第一重建数据,以及,使用所述第二样本特征信息训练所述待训练数据重建模型中的第二解码子模型,获取所述第二重建数据之前,从所述待解码完整样本特征信息中,获得所述第一样本特征信息,以及,获得所述第二样本特征信息。
可选的,所述第一特征类型样本数据包括与目标对象对应的单值指标数据,所述第二特征类型样本数据包括与所述目标对象对应的时序特征数据。
可选的,所述第一编码子模型和所述第一解码子模型为深度神经网络模型,所述第二编码子模型和所述第二解码子模型为循环神经网络模型。
可选的,所述获得所述待检测数据与所述目标重建数据之间的重建误差信息,包括:
计算所述待检测数据与所述目标重建数据之间的误差数值;
根据所述误差数值,获得所述重建误差信息。
可选的,所述待检测数据包括第一特征类型待检测数据和第二特征类型待检测数据中的至少一种数据,所述目标重建数据包括与所述第一特征类型待检测数据对应的第一目标重建数据和与所述第二特征类型待检测数据对应的第二目标重建数据;
所述计算所述待检测数据与所述目标重建数据之间的误差数值,包括:
获取与所述第一特征类型待检测数据和所述第一目标重建数据对应的第一误差数值,以及,获取与所述第二特征类型待检测数据和所述第二目标重建数据对应的第二误差数值。
可选的,所述获取与所述第一特征类型待检测数据和所述第一目标重建数据对应的第一误差数值,包括:
通过计算所述第一特征类型待检测数据与所述第一目标重建数据之间的均方误差数值,获得所述第一误差数值。
可选的,所述获取与所述第二特征类型待检测数据和所述第二目标重建数据对应的第二误差数值,包括:
通过计算所述第二特征类型待检测数据与所述第二目标重建数据之间的交叉熵,获得所述第二误差数值。
可选的,所述根据所述重建误差信息,判断所述待检测数据是否为异常数据,包括:
如果所述重建误差信息不小于预设的重建误差阈值,则判定所述待检测数据为异常数据,其中,所述预设的重建误差阈值是在训练获得所述目标数据重建模型的过程中获得到的数值。
本申请实施例还提供一种数据重建模型的获得方法,包括:获取原始样本数据,其中,所述原始样本数据包括第一特征类型样本数据和第二特征类型样本数据中的至少一种数据;
根据所述原始样本数据,训练获得目标数据重建模型;
其中,所述目标数据重建模型是用于根据待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型,所述目标数据重建模型包括编码模块和解码模块,所述编码模块包括用于获取与所述第一特征类型样本数据对应的第一样本特征信息的第一编码子模型,以及用于获取与所述第二特征类型样本数据对应的第二样本特征信息的第二编码子模型;所述解码模块包括第一解码子模型和第二解码子模型,所述第一解码子模型用于根据所述第一样本特征信息,重建与所述第一特征类型样本数据对应的第一重建数据,所述第二解码子模型用于根据所述第二样本特征信息,重建与所述第二特征类型样本数据对应的第二重建数据。
本申请实施例还提供一种针对网络平台的异常数据检测方法,包括:
获取与目标网络平台对应的待检测平台操作数据;
将所述待检测平台操作数据输入到目标数据重建模型中,获取与所述待检测平台操作数据对应的目标平台操作重建数据,其中,所述目标数据重建模型是用于根据所述待检测平台操作数据的特征信息重建所述待检测平台操作数据、获得与所述待检测平台操作数据对应的重建数据;
获取所述待检测平台操作数据与所述目标平台操作重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述待检测平台操作数据是否为异常操作数据。
可选的,如果根据所述重建误差信息,判断所述待检测平台操作数据为异常操作数据,则所述方法还包括:获取与所述异常操作数据对应的日志数据;根据所述日志数据,获得异常定位数据,其中,所述异常定位数据用于定位产生所述异常操作数据的程序指令数据。
可选的,还包括:获取与所述异常操作数据对应的用户信息;根据所述用户信息,向所述用户信息对应的用户计算设备发送异常预警信息,其中,所述异常预警信息与所述异常操作数据对应,所述用户计算设备为所述用户信息对应的用户所使用的计算设备。
可选的,还包括:向所述目标网络平台发送目标服务暂停消息,所述目标服务暂停消息用于使所述目标网络平台在预设时间范围内停止接收所述用户计算设备的操作请求。
可选的,所述目标网络平台至少包括以下任意一种平台:支付平台、电商平台。
本申请实施例还提供一种针对目标设备的异常检测方法,包括:
获取目标设备的待检测运行状态数据;
将所述待检测运行状态数据输入到目标数据重建模型中,获取与所述待检测运行状态数据对应的目标运行状态重建数据,其中,所述目标数据重建模型是用于根据运行状态数据的特征信息重建所述运行状态数据、获得与所述运行状态数据对应的重建数据的模型;
获取所述待检测运行状态数据与所述目标运行状态重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述目标设备是否为异常运行的设备。
本申请实施例还提供一种异常数据检测装置,包括:
待检测数据获取单元,用于获取待检测数据;
目标重建数据获取单元,用于将所述待检测数据输入到目标数据重建模型中,获取与所述待检测数据对应的目标重建数据,其中,所述目标数据重建模型是用于根据所述待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型;
重建误差信息获取单元,用于获取所述待检测数据与所述目标重建数据之间的重建误差信息;
判断单元,用于根据所述重建误差信息,判断所述待检测数据是否为异常数据。
本申请实施例还提供一种电子设备,包括:
处理器;
存储器,用于存储异常数据检测方法的程序,该设备通电并通过所述处理器运行所述异常数据检测方法的程序后,执行下述步骤:
获取待检测数据;
将所述待检测数据输入到目标数据重建模型中,获取与所述待检测数据对应的目标重建数据,其中,所述目标数据重建模型是用于根据所述待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型;
获取所述待检测数据与所述目标重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述待检测数据是否为异常数据。
本申请实施例还提供一种存储设备,存储有异常数据检测方法的程序,该程序被处理器运行,执行下述步骤:
获取待检测数据;
将所述待检测数据输入到目标数据重建模型中,获取与所述待检测数据对应的目标重建数据,其中,所述目标数据重建模型是用于根据所述待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型;
获取所述待检测数据与所述目标重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述待检测数据是否为异常数据。
本申请实施例还提供一种数据重建模型的获得装置,包括:
数据获取单元,用于获取原始样本数据,其中,所述原始样本数据包括第一特征类型样本数据和第二特征类型样本数据中的至少一种数据;
训练单元,用于根据所述原始样本数据,训练获得目标数据重建模型;
其中,所述目标数据重建模型是用于根据待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型,所述目标数据重建模型包括编码模块和解码模块,所述编码模块包括用于获取与所述第一特征类型样本数据对应的第一样本特征信息的第一编码子模型,以及用于获取与所述第二特征类型样本数据对应的第二样本特征信息的第二编码子模型;所述解码模块包括第一解码子模型和第二解码子模型,所述第一解码子模型用于根据所述第一样本特征信息,重建与所述第一特征类型样本数据对应的第一重建数据,所述第二解码子模型用于根据所述第二样本特征信息,重建与所述第二特征类型样本数据对应的第二重建数据。
本申请实施例还提供一种电子设备,包括:
处理器;
存储器,用于存储数据重建模型的获得方法的程序,该设备通电并通过所述处理器运行所述数据重建模型的获得方法的程序后,执行下述步骤:
获取原始样本数据,其中,所述原始样本数据包括第一特征类型样本数据和第二特征类型样本数据中的至少一种数据;
根据所述原始样本数据,训练获得目标数据重建模型;
其中,所述目标数据重建模型是用于根据待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型,所述目标数据重建模型包括编码模块和解码模块,所述编码模块包括用于获取与所述第一特征类型样本数据对应的第一样本特征信息的第一编码子模型,以及用于获取与所述第二特征类型样本数据对应的第二样本特征信息的第二编码子模型;所述解码模块包括第一解码子模型和第二解码子模型,所述第一解码子模型用于根据所述第一样本特征信息,重建与所述第一特征类型样本数据对应的第一重建数据,所述第二解码子模型用于根据所述第二样本特征信息,重建与所述第二特征类型样本数据对应的第二重建数据。
本申请实施例还提供一种存储设备,存储有数据重建模型的获得方法的程序,该程序被处理器运行,执行下述步骤:
获取原始样本数据,其中,所述原始样本数据包括第一特征类型样本数据和第二特征类型样本数据中的至少一种数据;
根据所述原始样本数据,训练获得目标数据重建模型;
其中,所述目标数据重建模型是用于根据待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型,所述目标数据重建模型包括编码模块和解码模块,所述编码模块包括用于获取与所述第一特征类型样本数据对应的第一样本特征信息的第一编码子模型,以及用于获取与所述第二特征类型样本数据对应的第二样本特征信息的第二编码子模型;所述解码模块包括第一解码子模型和第二解码子模型,所述第一解码子模型用于根据所述第一样本特征信息,重建与所述第一特征类型样本数据对应的第一重建数据,所述第二解码子模型用于根据所述第二样本特征信息,重建与所述第二特征类型样本数据对应的第二重建数据。
本申请实施例还提供一种针对网络平台的异常数据检测装置,包括:
待检测平台操作数据获取单元,用于获取与目标网络平台对应的待检测平台操作数据;
目标平台操作重建数据获取单元,用于将所述待检测平台操作数据输入到目标数据重建模型中,获取与所述待检测平台操作数据对应的目标平台操作重建数据,其中,所述目标数据重建模型是用于根据所述待检测平台操作数据的特征信息重建所述待检测平台操作数据、获得与所述待检测平台访问数据对应的重建数据;
重建误差信息获取单元,用于获取所述待检测平台操作数据与所述目标平台操作重建数据之间的重建误差信息;
异常操作数据判断单元,用于根据所述重建误差信息,判断所述待检测平台操作数据是否为异常操作数据。
本申请实施例还提供一种电子设备,包括:
处理器;
存储器,用于存储针对网络平台的异常操作数据检测方法的程序,该设备通电并通过所述处理器运行所述针对网络平台的异常数据检测方法的程序后,执行下述步骤:
获取与目标网络平台对应的待检测平台操作数据;
将所述待检测平台操作数据输入到目标数据重建模型中,获取与所述待检测平台操作数据对应的目标平台操作重建数据,其中,所述目标数据重建模型是用于根据所述待检测平台操作数据的特征信息重建所述待检测平台操作数据、获得与所述待检测平台操作数据对应的重建数据;
获取所述待检测平台操作数据与所述目标平台操作重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述待检测平台操作数据是否为异常操作数据。
本申请实施例还提供一种存储设备,存储有针对网络平台的异常数据检测方法的程序,该程序被处理器运行,执行下述步骤:
获取与目标网络平台对应的待检测平台操作数据;
将所述待检测平台操作数据输入到目标数据重建模型中,获取与所述待检测平台操作数据对应的目标平台操作重建数据,其中,所述目标数据重建模型是用于根据所述待检测平台操作数据的特征信息重建所述待检测平台操作数据、获得与所述待检测平台操作数据对应的重建数据;
获取所述待检测平台操作数据与所述目标平台操作重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述待检测平台操作数据是否为异常操作数据。
本申请实施例还提供一种针对目标设备的异常检测装置,包括:
待检测运行状态数据获取单元,用于获取目标设备的待检测运行状态数据;
运行状态数据重建单元,用于将所述待检测运行状态数据输入到目标数据重建模型中,获取与所述待检测运行状态数据对应的目标运行状态重建数据,其中,所述目标数据重建模型是用于根据运行状态数据的特征信息重建所述运行状态数据、获得与所述运行状态数据对应的重建数据的模型;
重建误差信息获取单元,用于获取所述待检测运行状态数据与所述目标运行状态重建数据之间的重建误差信息;
判断单元,用于根据所述重建误差信息,判断所述目标设备是否为异常运行的设备。
本申请实施例还提供一种电子设备,包括:
处理器;
存储器,用于存储针对目标设备的异常检测方法的程序,该设备通电并通过所述处理器运行所述针对目标设备的异常检测方法的程序后,执行下述步骤:
获取目标设备的待检测运行状态数据;
将所述待检测运行状态数据输入到目标数据重建模型中,获取与所述待检测运行状态数据对应的目标运行状态重建数据,其中,所述目标数据重建模型是用于根据运行状态数据的特征信息重建所述运行状态数据、获得与所述运行状态数据对应的重建数据的模型;
获取所述待检测运行状态数据与所述目标运行状态重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述目标设备是否为异常运行的设备。
本申请实施例还提供一种存储设备,存储有针对目标设备的异常检测方法的程序,该程序被处理器运行,执行下述步骤:
获取目标设备的待检测运行状态数据;
将所述待检测运行状态数据输入到目标数据重建模型中,获取与所述待检测运行状态数据对应的目标运行状态重建数据,其中,所述目标数据重建模型是用于根据运行状态数据的特征信息重建所述运行状态数据、获得与所述运行状态数据对应的重建数据的模型;
获取所述待检测运行状态数据与所述目标运行状态重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述目标设备是否为异常运行的设备。
与现有技术相比,本申请具有以下优点:
本申请实施例提供一种异常数据检测方法,包括:获取待检测数据;将所述待检测数据输入到目标数据重建模型中,获取与所述待检测数据对应的目标重建数据,其中,所述目标数据重建模型是用于根据所述待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型;获取所述待检测数据与所述目标重建数据之间的重建误差信息;根据所述重建误差信息,判断所述待检测数据是否为异常数据。所述方法在判断待检测数据是否为异常数据时,不需要关注数据的具体类型,仅需要通过目标数据重建模型获取与待检测数据对应的目标重建数据,并通过获取待检测数据和目标重建数据之间的重建误差信息,就可以方便、准确的判断待检测数据是否为异常数据。
本申请实施例还提供一种数据重建模型的获得方法,包括:获取原始样本数据,其中,所述原始样本数据包括第一特征类型样本数据和第二特征类型样本数据中的至少一种数据;根据所述原始样本数据,训练获得目标数据重建模型;其中,所述目标数据重建模型是用于根据待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型,所述目标数据重建模型包括编码模块和解码模块,所述编码模块包括用于获取与所述第一特征类型样本数据对应的第一样本特征信息的第一编码子模型,以及用于获取与所述第二特征类型样本数据对应的第二样本特征信息的第二编码子模型;所述解码模块包括第一解码子模型和第二解码子模型,所述第一解码子模型用于根据所述第一样本特征信息,重建与所述第一特征类型样本数据对应的第一重建数据,所述第二解码子模型用于根据所述第二样本特征信息,重建与所述第二特征类型样本数据对应的第二重建数据。所述方法通过设置与原始样本数据中的不同特征类型样本数据对应的子模型,自适应的重建与不同特征类型样本数据对应的重建数据,可以方便的获得与待检测数据对应的重建数据。
本申请实施例还提供一种针对网络平台的异常数据检测方法,包括:获取与目标网络平台对应的待检测平台操作数据;将所述待检测平台操作数据输入到目标数据重建模型中,获取与所述待检测平台操作数据对应的目标平台操作重建数据,其中,所述目标数据重建模型是用于根据所述待检测平台操作数据的特征信息重建所述待检测平台操作数据、获得与所述待检测平台操作数据对应的重建数据;获得所述待检测平台操作数据与所述目标平台操作重建数据之间的重建误差信息;根据所述重建误差信息,判断所述待检测平台操作数据是否为异常操作数据。所述方法可以方便、准确的判断与目标网络平台对应的待检测平台操作数据是否为异常操作数据,从而可以使目标网络平台对应的计算设备针对异常访问数据进行快速响应处理。
本申请实施例还提供一种针对目标设备的异常检测方法,包括:获取目标设备的待检测运行状态数据;将所述待检测运行状态数据输入到目标数据重建模型中,获取与所述待检测运行状态数据对应的目标运行状态重建数据,其中,所述目标数据重建模型是用于根据运行状态数据的特征信息重建所述运行状态数据、获得与所述运行状态数据对应的重建数据的模型;获取所述待检测运行状态数据与所述目标运行状态重建数据之间的重建误差信息;根据所述重建误差信息,判断所述目标设备是否为异常运行的设备。所述方法通过判断目标设备的待检测运行状态数据是否为异常数据,可以方便、准确的判断目标设备是否为异常运行的设备。
附图说明
图1是本申请第一实施例提供的一种异常数据检测方法的应用场景示意图。
图2是本申请第一实施例提供的一种异常数据检测方法的流程图。
图3是本申请第一实施例提供的一种异常数据检测方法的数据处理示意图。
图4是本申请第二实施例提供的一种数据重建模型的获得方法的流程图。
图5是本申请第三实施例提供的一种针对网络平台的异常数据检测方法的流程图。
图6是本申请第四实施例提供的一种异常数据检测装置的示意图。
图7是本申请第五实施例提供的一种电子设备的示意图。
图8是本申请第七实施例提供的一种数据重建模型的获得装置的示意图。
图9是本申请第十实施例提供的一种针对网络平台的异常数据检测装置的示意图。
图10是本申请十三实施例提供的一种针对目标设备的异常检测方法的流程图。
图11是本申请第十四实施例提供的一种针对目标设备的异常检测方法的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
为了使本领域的技术人员更好的理解本申请方案,下面基于本申请提供的异常数据检测方法,对其实施例的具体应用场景进行详细描述。本申请第一实施例提供的异常数据检测方法可以应用与客户端与服务端交互的场景,如图1所示,其为本申请第一实施例提供的一种异常数据检测方法的应用场景示意图。
在具体实施时,所述方法可以是为了使计算设备能够快速、方便以及准确的获得待检测数据中的异常数据,进而使得用户或该计算设备可以对产生该异常数据的程序指令数据进行及时响应的目的,在客户端获得待检测数据之后,客户端将待检测数据发送给服务端,其中,该待检测数据可以是针对某网络平台的平台操作数据,或者,也可以是某机器设备的运行状态数据,又或者是某计算设备在获得授权后采集到的某个实体对象的检测数据;服务端获取客户端发送的该待检测数据,将该待检测数据输入到目标数据重建模型中,获取与该待检测数据对应的目标重建数据,其中,所述目标数据重建模型用于根据该待检测数据的特征信息重建该待检测数据、获得与该待检测数据对应的重建数据;之后,服务端获取该待检测数据与该目标重建数据之间的重建误差信息,并根据该重建误差信息,判断待检测数据是否为异常数据;之后,将判断结果发送给客户端;当然,如果待检测数据为异常数据,服务端还可以在将判断结果发送给客户端的同时,根据异常数据的不同,向用户发送用于定位产生该异常数据的程序指令数据的异常定位数据。
当然,所述方法也可以单独应用于客户端或服务端中。例如,服务端可以在获得授权后,根据应用程序在向用户提供服务时在服务端生成的与该用户对应的用户行为日志或***日志等数据中获取待检测数据;之后,将待检测数据输入到目标数据重建模型中,获取与待检测数据对应的目标重建数据,并通过获取待检测数据与目标重建数据之间的重建误差信息,判断待检测数据是否为异常数据;如果判断待检测数据为异常数据,则服务端可以将异常数据推送给与该异常数据对应的用户计算设备,或者也可以获取与该异常数据对应的用于定位产生该异常数据的程序指令数据的异常定位数据,并将该异常定位数据推送给与该异常数据对应的用户计算设备,或者,服务端也可以生成与该异常数据对应的异常预警信息,并向与该异常数据对应的用户计算设备推送该异常预警信息,并且,如果服务端判断该异常数据为异常入侵数据,那么,还可以向客户端发送目标服务暂停消息,其中,所述目标服务暂停消息用于使客户端在预设时间范围内停止接收与该异常数据对应的用户计算设备的操作请求,所述用户计算设备为所述用户信息对应的用户所使用的计算设备。
所述客户端可以是移动终端设备,如手机、平板电脑等,也可以是常用的计算机设备。所述服务端一般是指服务器,该服务器可以是物理服务器,也可以是云端服务器,此处不做特殊限定。
需要说明的是,以上应用场景仅仅是本申请第一实施例提供的异常数据检测方法的具体实施例,提供上述应用场景的目的是便于理解所述方法,而并非用于限定所述方法。
如图2所示,其为本申请第一实施例提供的一种异常数据检测方法的流程图。以下结合图2对本申请第一实施例提供的所述方法予以介绍。
步骤S201,获取待检测数据。
所述待检测数据,是指与目标对象对应的数据,该数据可以是目标对象对应的属性数据,具体可以是与目标对象对应的单值指标数据,或者是与目标对象对应的时序特征数据,其中,目标对象泛指实体或虚拟对象。
例如,针对智能穿戴设备,如智能手表或智能手环,其对应的待检测数据可以是该智能穿戴设备在某一时间范围内检测到的心率数值;针对车辆对象,其对应的待检测数据可以是该车辆对象在行驶时与其周围车辆的在时序上的相对位置信息;针对某网络平台,如支付平台、电商平台等平台,待检测数据可以是经过授权后,用户在该网络平台中的用户操作数据,如针对某个按键的点击行为或点击次数、针对某个页面的浏览次数或者还可以是该网络平台遭受用户使用计算设备发起的入侵操作所对应的操作时间等;针对某设备,如路由器、交换机等网络设备,待检测数据可以是该设备的运行状态数据,如单位时间内的网络吞吐量等数据。
需要说明的是,在本申请第一实施例中,所述待检测数据包括第一特征类型待检测数据和第二特征类型待检测数据中的至少一种数据;所述第一特征类型待检测数据可以是与目标对象对应的单值指标数据;所述第二特征类型待检测数据可以是与目标对象对应的时序特征数据;另外,时序特征数据可以是一维时序特征数据,即,与目标对象对应的在时序上的某一单值指标数据;也可以是多维时序特征数据,即,与目标对象对应的在时序上的多个维度的单值指标数据。例如,与智能穿戴设备对应的一维时序特征数据可以为(时间,心率值)的形式;与网络平台对应的多维时序特征数据可以为(时间,某按键点击次数,某页面浏览次数,用户数量,IP数量…)的形式。
步骤S202,将所述待检测数据输入到目标数据重建模型中,获取与所述待检测数据对应的目标重建数据,其中,所述目标数据重建模型是用于根据所述待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型。
在现有技术中,当需要对待检测数据进行异常检测时,通常是使用预先训练获得的异常检测模型来判断待检测数据是否为异常数据,例如,使用异常检测模型检测单值指标类型的待检测数据是否为异常数据。然而,这种方法面对的问题是在训练获取异常检测模型时,通常比较难以获得可用于有监督学***台对应的平台操作数据判断是否存在针对网络平台的入侵操作或是否存在异常网络堵塞时,正常的心率数值、正常行驶时的时序相对位置信息及正常情况下的平台操作数据通常是能够被大批量的获取到的,而其对应的异常数据的获取难度相对较高并且其数量也极少。因此,使用大量正常样本数据和少量异常样本数据获得到的异常检测模型在获取的过程中不仅费时费力,而且还存在检测准确度低的问题。
针对现有技术中存在的问题,本申请第一实施例提供的所述异常数据检测方法采取通过预先训练获得的目标数据重建模型获取与待检测数据对应的目标重建数据,并通过获取待检测数据与目标重建数据之间的重建误差信息,判断待检测数据是否为异常数据。
所述目标数据重建模型是用于根据所述待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型;另外,针对现有技术中的异常检测模型在针对待检测数据进行检测时,通常只能单一的处理某一特征类型的数据而不能同时处理不同特征类型的数据的问题,即,针对现有技术中的异常检测模型一般要么是仅能处理单值指标数据,要么只能将多维时序特征数据转换为一维时序特征数据进行处理的问题,本申请第一实施例提供的所述目标数据重建模型为了增加模型的学习能力,其结构中包括至少两个子模型,这两个子模型可以根据输入的待检测数据的类型,自适应的进行处理。
所述目标数据重建模型可以通过以下方法获得:获取原始样本数据,其中,所述原始样本数据包括第一特征类型样本数据和第二特征类型样本数据中的至少一种数据;根据所述原始样本数据,训练获得所述目标数据重建模型;其中,所述目标数据重建模型包括编码模块和解码模块,所述编码模块包括用于获取与所述第一特征类型样本数据对应的第一样本特征信息的第一编码子模型,以及用于获取与所述第二特征类型样本数据对应的第二样本特征信息的第二编码子模型;所述解码模块包括第一解码子模型和第二解码子模型,所述第一解码子模型用于根据所述第一样本特征信息,重建与所述第一特征类型样本数据对应的第一重建数据,所述第二解码子模型用于根据所述第二样本特征信息,重建与所述第二特征类型样本数据对应的第二重建数据。
如图3所示,其为本申请第一实施例提供的一种异常数据检测方法的数据处理示意图,根据图3内容可知,本申请第一实施例提供的目标数据重建模型的结构可以是与自编码器(AE,Autoencoder)框架对应的模型结构,即,所述目标数据重建模型通过其所包含的编码模块和解码模块完成对待检测数据的重建。
需要说明的是,在本申请第一实施例中,所述第一特征类型样本数据是与步骤S201中的第一特征类型待检测数据对应的样本数据,即,第一特征类型样本数据是与目标对象对应的单值指标数据;所述第二特征类型样本数据是与步骤S201中的第二特征类型待检测数据对应的样本数据,即,第二特征类型样本数据是与目标对象对应的时序特征数据,具体可以为一维时序特征数据或多维时序特征数据。另外,所述目标数据重建模型中的第一编码子模型和第一解码子模型可以为深度神经网络模型(DNN,Deep Neural Networks),所述目标数据重建模型中的第二编码子模型和第二解码子模型可以为循环神经网络模型(RNN,Recurrent Neural Network)。当然,在具体实施时,也可以将所述目标数据重建模型设置为其它结构,此处不做特殊限定。
另外,所述根据所述原始样本数据,训练获得所述目标数据重建模型,包括:获得待训练数据重建模型,以及,从所述原始样本数据中,获得所述第一特征类型样本数据,并获得所述第二特征类型样本数据,其中,所述待训练数据重建模型是与所述目标数据重建模型对应的模型;使用所述第一特征类型样本数据训练所述待训练数据重建模型中的第一编码子模型,获取所述第一样本特征信息,以及,使用所述第二特征类型样本数据训练所述待训练数据重建模型中的第二编码子模型,获取所述第二样本特征信息;使用所述第一样本特征信息训练所述待训练数据重建模型中的第一解码子模型,获取所述第一重建数据,以及,使用所述第二样本特征信息训练所述待训练数据重建模型中的第二解码子模型,获取所述第二重建数据;通过获取与所述第一特征类型样本数据和所述第一重建数据对应的第一重建误差信息,以及,与所述第二特征类型样本数据和所述第二重建数据对应的第二重建误差信息,调整所述待训练数据重建模型中的参数,获得满足预设收敛条件的所述目标数据重建模型。需要说明的是,所述预设收敛条件可以根据实际情况进行设置,此处不做特殊限定。
此外,为了保持模型的整体性,从而可以方便的对模型进行训练以及提高模型处理结果的准确度,所述待训练数据重建模型还包括隐藏层以及与所述隐藏层对应的全连接层,在通过使用原始样本数据训练所述待训练数据重建模型,获得所述目标数据重建模型的过程中,还包括:使用所述待训练数据重建模型中的隐藏层对所述第一样本特征信息和所述第二样本特征信息进行拼接处理,以及,使用与所述隐藏层对应的全连接层对进行拼接处理后的所述第一样本特征信息和所述第二样本特征信息进行映射处理,获得待解码完整样本特征信息;所述方法,还包括:在使用所述第一样本特征信息训练所述待训练数据重建模型中的第一解码子模型,获取所述第一重建数据,以及,使用所述第二样本特征信息训练所述待训练数据重建模型中的第二解码子模型,获取所述第二重建数据之前,从所述待解码完整样本特征信息中,获得所述第一样本特征信息,以及,获得所述第二样本特征信息。
例如,针对用于重建与网络平台对应的待检测平台操作数据的重建数据的目标数据重建模型,在训练获得该目标数据重建模型的过程中,可以从与网络平台对应的服务端中获取历史平台操作数据作为训练该模型的原始样本数据,通过该原始样本数据所包括的至少上述两种特征类型的样本数据,训练获得用于获取与待检测平台操作数据对应的目标平台操作重建数据。
还需要说明的是,在本申请第一实施例中,之所以采用通过获取待检测数据与目标重建数据之间的重建误差信息来判断待检测数据是否为异常数据,具体是因为:在训练获得目标数据重建模型的过程中,正常样本数据比较容易获得,因而正常样本数据能够被较好的重建,即,获得的重建数据与正常样本数据之间的误差通常较小;然而,由于异常样本数据比较难获得,因而异常样本数据通常较难被重建,因此,获得的重建数据与异常样本数据之间的误差通常较大;因此,通过使用原始样本数据,如与待检测数据对应的历史数据来训练待训练数据重建模型,进而获得重建数据与原始样本数据的重建误差较小的目标数据重建模型,这样,当待检测数据为正常数据时,其通常能够被较好的重建,而当待检测数据为异常数据时,其重建后的数据与待检测数据的误差通常较大,通过该方法可以增加判断待检测数据是否为异常数据时的准确度。
以上,详细介绍了本申请第一实施例提供的一种目标数据重建模型的获得方法,以及为何采用目标数据重建模型来获取与待检测数据对应的重建数据,根据上述描述可知,由于在获得目标数据重建模型时,不需要耗费较大精力对原始样本数据中的异常数据进行标注,因此,所述方法可以相对简单的获得目标数据重建模型,进而方便的对待检测数据进行异常检测。
在步骤S202之后,执行步骤S203,获取所述待检测数据与所述目标重建数据之间的重建误差信息。
根据上述描述可知,所述重建误差信息,可以是待检测数据与目标重建数据之间的误差数值,即,所述获得所述待检测数据与所述目标重建数据之间的重建误差信息,包括:计算所述待检测数据与所述目标重建数据之间的误差数值;根据所述误差数值,获得所述重建误差信息。
其中,由于所述待检测数据包括第一特征类型待检测数据和第二特征类型待检测数据中的至少一种数据,与之相对应的,与待检测数据对应的目标重建数据也包括与所述第一特征类型待检测数据对应的第一目标重建数据和与所述第二特征类型待检测数据对应的第二目标重建数据。因此,所述计算所述待检测数据与所述目标重建数据之间的误差数值,包括:获取与所述第一特征类型待检测数据和所述第一目标重建数据对应的第一误差数值,以及,获取与所述第二特征类型待检测数据和所述第二目标重建数据对应的第二误差数值。
所述获取与所述第一特征类型待检测数据和所述第一目标重建数据对应的第一误差数值,包括:通过计算所述第一特征类型待检测数据与所述第一目标重建数据之间的均方误差数值,获得所述第一误差数值。
例如,针对与目标对象对应的第一特征类型待检测数据为(实体ID,特征1,特征2)的形式,如为(id00001,0.331,0.8716);与该数据对应的第一目标重建数据为(id00001,0.231,0.8826);那么,所述第一特征类型待检测数据与所述第一目标重建数据之间的均方误差数值为((0.331-0.231)^2+(0.8716-0.8826)^2)^0.5。
所述获取与所述第二特征类型待检测数据和所述第二目标重建数据对应的第二误差数值,包括:通过计算所述第二特征类型待检测数据与所述第二目标重建数据之间的交叉熵,获得所述第二误差数值。
例如,针对与目标对象对应的第二特征类型待检测数据为(实体ID,时间,时序特征1,时序特征2)的形式,如为(id00001,2020-1-20 03:20,0.1,,0.4);与该数据对应的第二目标重建数据为(id00001,2020-1-20 03:20,0.15,0.32);那么,所述第二特征类型待检测数据与所述第二目标重建数据之间的交叉熵为(0.1*log(0.15)+(1-0.1)*log(1-0.15)+0.4*log(0.32)+(1-0.4)*log(1-0.32))/2。
以上,详细介绍了如何获取待检测数据与目标重建数据之间的重建误差信息。需要说明的是,在具体实施时,也可以通过其它方法获取该重建误差信息,此处不再赘述。
步骤S204,根据所述重建误差信息,判断所述待检测数据是否为异常数据。
在经过步骤S203获得待检测数据与目标重建数据之间的重建误差信息,如误差数值之后,即可根据所述重建误差信息,判断待检测数据是否为异常数据。
所述根据所述重建误差信息,判断所述待检测数据是否为异常数据,包括:如果所述重建误差信息不小于预设的重建误差阈值,则判定所述待检测数据为异常数据,其中,所述预设的重建误差阈值是在训练获得所述目标数据重建模型的过程中获得到的数值,其中,所述重建误差阈值可以在训练获得目标数据重建模型的过程中,根据获得的重建数据与原始样本数据之间的误差变化趋势,获得该误差阈值,此处不再赘述。
另外,当目标对象为机器设备,如路由器、交换机等网络设备时,在获得该网络设备的待检测运行状态数据以及运行状态重建数据之后,当根据待检测运行状态数据与运行状态重建数据之间的重建误差信息,判断待检测运行状态数据为异常数据时,即可判定该网络设备为异常运行的设备,此时,可向用户计算设备推送异常预警信息或者直接重新启动该网络设备,以使网络设备可以尽快恢复正常运行。
此外,当目标对象为某网络平台,如支付平台或电商平台时,因为该类平台通常涉及较为敏感的数据,因此,当通过与该网络平台对应的平台操作数据和对应的平台操作重建数据,获得这两个数据之间的重建误差信息,并根据该重建误差信息判断该平台操作数据为异常操作数据,如为针对该网络平台的入侵数据或为风险交易数据时,则可以在获得授权后,获取与该异常操作数据对应的用户信息,并向该用户信息对应的用户计算设备发送异常预警信息;同时,还可以向该网络平台发送用于使该网络平台在预设时间范围内停止接收所述用户计算设备的操作请求的服务暂停消息,以避免该网络平台遭受进一步的入侵攻击。
需要说明的是,在具体实施时,当然也可以根据需要将本申请所述异常数据监测方法应用于其它场景中,此处不再赘述。
综上所述,本申请第一实施例提供的异常数据检测方法,包括:获取待检测数据;将所述待检测数据输入到目标数据重建模型中,获取与所述待检测数据对应的目标重建数据,其中,所述目标数据重建模型是用于根据所述待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型;获取所述待检测数据与所述目标重建数据之间的重建误差信息;根据所述重建误差信息,判断所述待检测数据是否为异常数据。所述方法在判断待检测数据是否为异常数据时,不需要关注数据的具体类型,仅需要通过目标数据重建模型获取与待检测数据对应的目标重建数据,并通过获取待检测数据和目标重建数据之间的重建误差信息,就可以方便、准确的判断待检测数据是否为异常数据。
与本申请第一实施例提供的异常数据检测方法相对应,本申请第二实施例还提供一种数据重建模型的获得方法,请参看图4所示,其为本申请第二实施例提供的一种数据重建模型的获得方法的流程图,其中部分步骤在本申请第一实施例中已经详细描述,所以此处描述的比较简单,相关之处参见本申请第一实施例提供的所述方法中的部分说明即可,下述描述的处理过程仅是示意性的。
步骤S401,获取原始样本数据,其中,所述原始样本数据包括第一特征类型样本数据和第二特征类型样本数据中的至少一种数据。
步骤S402,根据所述原始样本数据,训练获得目标数据重建模型;
其中,所述目标数据重建模型是用于根据待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型,所述目标数据重建模型包括编码模块和解码模块,所述编码模块包括用于获取与所述第一特征类型样本数据对应的第一样本特征信息的第一编码子模型,以及用于获取与所述第二特征类型样本数据对应的第二样本特征信息的第二编码子模型;所述解码模块包括第一解码子模型和第二解码子模型,所述第一解码子模型用于根据所述第一样本特征信息,重建与所述第一特征类型样本数据对应的第一重建数据,所述第二解码子模型用于根据所述第二样本特征信息,重建与所述第二特征类型样本数据对应的第二重建数据。
可选的,所述根据所述原始样本数据,训练获得所述目标数据重建模型,包括:获得待训练数据重建模型,以及,从所述原始样本数据中,获得所述第一特征类型样本数据,并获得所述第二特征类型样本数据,其中,所述待训练数据重建模型是与所述目标数据重建模型对应的模型;使用所述第一特征类型样本数据训练所述待训练数据重建模型中的第一编码子模型,获取所述第一样本特征信息,以及,使用所述第二特征类型样本数据训练所述待训练数据重建模型中的第二编码子模型,获取所述第二样本特征信息;使用所述第一样本特征信息训练所述待训练数据重建模型中的第一解码子模型,获取所述第一重建数据,以及,使用所述第二样本特征信息训练所述待训练数据重建模型中的第二解码子模型,获取所述第二重建数据;通过获取与所述第一特征类型样本数据和所述第一重建数据对应的第一重建误差信息,以及,与所述第二特征类型样本数据和所述第二重建数据对应的第二重建误差信息,调整所述待训练数据重建模型中的参数,获得满足预设收敛条件的所述目标数据重建模型。
可选的,所述方法还包括:使用所述待训练数据重建模型中的隐藏层对所述第一样本特征信息和所述第二样本特征信息进行拼接处理,以及,使用与所述隐藏层对应的全连接层对进行拼接处理后的所述第一样本特征信息和所述第二样本特征信息进行映射处理,获得待解码完整样本特征信息;所述方法,还包括:在使用所述第一样本特征信息训练所述待训练数据重建模型中的第一解码子模型,获取所述第一重建数据,以及,使用所述第二样本特征信息训练所述待训练数据重建模型中的第二解码子模型,获取所述第二重建数据之前,从所述待解码完整样本特征信息中,获得所述第一样本特征信息,以及,获得所述第二样本特征信息。
与本申请第一实施例提供的异常数据检测方法相对应,本申请第三实施例还提供一种针对网络平台的异常访问数据检测方法,请参看图5所示,其为本申请第三实施例提供的一种针对网络平台的异常访问数据检测方法的流程图,其中部分步骤在本申请第一实施例中已经详细描述,所以此处描述的比较简单,相关之处参见本申请第一实施例提供的所述方法中的部分说明即可,下述描述的处理过程仅是示意性的。
步骤S501,获取与目标网络平台对应的待检测平台操作数据。
步骤S502,将所述待检测平台操作数据输入到目标数据重建模型中,获取与所述待检测平台操作数据对应的目标平台操作重建数据,其中,所述目标数据重建模型是用于根据所述待检测平台操作数据的特征信息重建所述待检测平台操作数据、获得与所述待检测平台操作数据对应的重建数据。
步骤S503,获取所述待检测平台操作数据与所述目标平台操作重建数据之间的重建误差信息。
步骤S504,根据所述重建误差信息,判断所述待检测平台操作数据是否为异常操作数据。
可选的,如果根据所述重建误差信息,判断所述待检测平台操作数据为异常操作数据,则所述方法还包括:获取与所述异常操作数据对应的日志数据;根据所述日志数据,获得异常定位数据,其中,所述异常定位数据用于定位产生所述异常操作数据的程序指令数据。
可选的,还包括:获取与所述异常操作数据对应的用户信息;根据所述用户信息,向所述用户信息对应的用户计算设备发送异常预警信息,其中,所述异常预警信息与所述异常操作数据对应,所述用户计算设备为所述用户信息对应的用户所使用的计算设备。
可选的,还包括:向所述目标网络平台发送目标服务暂停消息,所述目标服务暂停消息用于使所述目标网络平台在预设时间范围内停止接收所述用户计算设备的操作请求。
可选的,所述目标网络平台至少包括以下任意一种平台:支付平台、电商平台。
与本申请第一实施例提供的一种异常数据检测方法相对应,本申请第四实施例还提供一种异常数据检测装置,请参看图6,其为本申请第四实施例提供的异常数据检测装置的示意图,由于装置实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的装置实施例仅仅是示意性的。本申请第四实施例提供的一种异常数据检测装置包括如下部分:
待检测数据获取单元601,用于获取待检测数据。
目标重建数据获取单元602,用于将所述待检测数据输入到目标数据重建模型中,获取与所述待检测数据对应的目标重建数据,其中,所述目标数据重建模型是用于根据所述待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型。
重建误差信息获取单元603,用于获取所述待检测数据与所述目标重建数据之间的重建误差信息。
判断单元604,用于根据所述重建误差信息,判断所述待检测数据是否为异常数据。
可选的,所述重建误差信息获取单元,具体用于:计算所述待检测数据与所述目标重建数据之间的误差数值;根据所述误差数值,获得所述重建误差信息。
可选的,所述待检测数据包括第一特征类型待检测数据和第二特征类型待检测数据中的至少一种数据,所述目标重建数据包括与所述第一特征类型待检测数据对应的第一目标重建数据和与所述第二特征类型待检测数据对应的第二目标重建数据;所述计算所述待检测数据与所述目标重建数据之间的误差数值,包括:获取与所述第一特征类型待检测数据和所述第一目标重建数据对应的第一误差数值,以及,获取与所述第二特征类型待检测数据和所述第二目标重建数据对应的第二误差数值。
可选的,所述获取与所述第一特征类型待检测数据和所述第一目标重建数据对应的第一误差数值,包括:通过计算所述第一特征类型待检测数据与所述第一目标重建数据之间的均方误差数值,获得所述第一误差数值。
可选的,所述获取与所述第二特征类型待检测数据和所述第二目标重建数据对应的第二误差数值,包括:通过计算所述第二特征类型待检测数据与所述第二目标重建数据之间的交叉熵,获得所述第二误差数值。
可选的,所述根据所述重建误差信息,判断所述待检测数据是否为异常数据,包括:如果所述重建误差信息不小于预设的重建误差阈值,则判定所述待检测数据为异常数据,其中,所述预设的重建误差阈值是在训练获得所述目标数据重建模型的过程中获得到的数值。
与本申请第一实施例提供的一种异常数据检测方法相对应,本申请第五实施例还提供一种电子设备,请参看图7,其为本申请第五实施例提供的一种电子设备的示意图,由于电子设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的电子设备实施例仅仅是示意性的。本申请第五实施例提供的一种电子设备包括:
处理器701;
存储器702,用于存储异常数据检测方法的程序,该设备通电并通过所述处理器运行所述异常数据检测方法的程序后,执行下述步骤:
获取待检测数据;
将所述待检测数据输入到目标数据重建模型中,获取与所述待检测数据对应的目标重建数据,其中,所述目标数据重建模型是用于根据所述待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型;
获取所述待检测数据与所述目标重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述待检测数据是否为异常数据。
与本申请第一实施例提供的一种异常数据检测方法相对应,本申请第六实施例还提供一种存储设备,由于存储设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的存储设备实施例仅仅是示意性的。
本申请第六实施例提供的一种存储设备,存储有异常数据检测方法的程序,该程序被处理器运行,执行下述步骤:
获取待检测数据;
将所述待检测数据输入到目标数据重建模型中,获取与所述待检测数据对应的目标重建数据,其中,所述目标数据重建模型是用于根据所述待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型;
获取所述待检测数据与所述目标重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述待检测数据是否为异常数据。
与本申请第二实施例提供的一种数据重建模型的获得方法相对应,本申请第七实施例还提供一种数据重建模型的获得装置,请参看图7,其为本申请第七实施例提供的数据重建模型的获得装置的示意图,由于装置实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的装置实施例仅仅是示意性的。本申请第七实施例提供的一种数据重建模型的获得装置包括如下部分:
数据获取单元701,用于获取原始样本数据,其中,所述原始样本数据包括第一特征类型样本数据和第二特征类型样本数据中的至少一种数据。
训练单元702,用于根据所述原始样本数据,训练获得目标数据重建模型;
其中,所述目标数据重建模型是用于根据待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型,所述目标数据重建模型包括编码模块和解码模块,所述编码模块包括用于获取与所述第一特征类型样本数据对应的第一样本特征信息的第一编码子模型,以及用于获取与所述第二特征类型样本数据对应的第二样本特征信息的第二编码子模型;所述解码模块包括第一解码子模型和第二解码子模型,所述第一解码子模型用于根据所述第一样本特征信息,重建与所述第一特征类型样本数据对应的第一重建数据,所述第二解码子模型用于根据所述第二样本特征信息,重建与所述第二特征类型样本数据对应的第二重建数据。
与本申请第二实施例提供的一种数据重建模型的获得方法相对应,本申请第八实施例还提供一种电子设备,由于电子设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的电子设备实施例仅仅是示意性的。本申请第八实施例提供的一种电子设备包括:
处理器;
存储器,用于存储数据重建模型的获得方法的程序,该设备通电并通过所述处理器运行所述数据重建模型的获得方法的程序后,执行下述步骤:
获取原始样本数据,其中,所述原始样本数据包括第一特征类型样本数据和第二特征类型样本数据中的至少一种数据;
根据所述原始样本数据,训练获得目标数据重建模型;
其中,所述目标数据重建模型是用于根据待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型,所述目标数据重建模型包括编码模块和解码模块,所述编码模块包括用于获取与所述第一特征类型样本数据对应的第一样本特征信息的第一编码子模型,以及用于获取与所述第二特征类型样本数据对应的第二样本特征信息的第二编码子模型;所述解码模块包括第一解码子模型和第二解码子模型,所述第一解码子模型用于根据所述第一样本特征信息,重建与所述第一特征类型样本数据对应的第一重建数据,所述第二解码子模型用于根据所述第二样本特征信息,重建与所述第二特征类型样本数据对应的第二重建数据。
与本申请第二实施例提供的一种数据重建模型的获得方法相对应,本申请第九实施例还提供一种存储设备,由于存储设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的存储设备实施例仅仅是示意性的。
本申请第九实施例提供的一种存储设备,存储有数据重建模型的获得方法的程序,该程序被处理器运行,执行下述步骤:
获取原始样本数据,其中,所述原始样本数据包括第一特征类型样本数据和第二特征类型样本数据中的至少一种数据;
根据所述原始样本数据,训练获得目标数据重建模型;
其中,所述目标数据重建模型是用于根据待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型,所述目标数据重建模型包括编码模块和解码模块,所述编码模块包括用于获取与所述第一特征类型样本数据对应的第一样本特征信息的第一编码子模型,以及用于获取与所述第二特征类型样本数据对应的第二样本特征信息的第二编码子模型;所述解码模块包括第一解码子模型和第二解码子模型,所述第一解码子模型用于根据所述第一样本特征信息,重建与所述第一特征类型样本数据对应的第一重建数据,所述第二解码子模型用于根据所述第二样本特征信息,重建与所述第二特征类型样本数据对应的第二重建数据。
与本申请第三实施例提供的一种针对网络平台的异常数据检测方法相对应,本申请第十实施例还提供一种针对网络平台的异常数据检测装置,请参看图9,其为本申请第十实施例提供的针对网络平台的异常数据检测装置的示意图,由于装置实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的装置实施例仅仅是示意性的。本申请第十实施例提供的一种针对网络平台的异常访问数据检测装置包括如下部分:
待检测平台操作数据获取单元901,用于获取与目标网络平台对应的待检测平台操作数据。
目标平台操作重建数据获取单元902,用于将所述待检测平台操作数据输入到目标数据重建模型中,获取与所述待检测平台操作数据对应的目标平台操作重建数据,其中,所述目标数据重建模型是用于根据所述待检测平台操作数据的特征信息重建所述待检测平台操作数据、获得与所述待检测平台操作数据对应的重建数据。
重建误差信息获取单元903,用于获取所述待检测平台操作数据与所述目标平台操作重建数据之间的重建误差信息。
异常操作数据判断单元904,用于根据所述重建误差信息,判断所述待检测平台操作数据是否为异常操作数据。
与本申请第三实施例提供的一种针对网络平台的异常数据检测方法相对应,本申请第十一实施例还提供一种电子设备,由于电子设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的电子设备实施例仅仅是示意性的。本申请第十一实施例提供的一种电子设备包括:
处理器;
存储器,用于存储针对网络平台的异常数据检测方法的程序,该设备通电并通过所述处理器运行所述针对网络平台的异常数据检测方法的程序后,执行下述步骤:
获取与目标网络平台对应的待检测平台操作数据;
将所述待检测平台操作数据输入到目标数据重建模型中,获取与所述待检测平台操作数据对应的目标平台操作重建数据,其中,所述目标数据重建模型是用于根据所述待检测平台操作数据的特征信息重建所述待检测平台操作数据、获得与所述待检测平台操作数据对应的重建数据;
获取所述待检测平台操作数据与所述目标平台操作重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述待检测平台操作数据是否为异常操作数据。
与本申请第三实施例提供的一种针对网络平台的异常数据检测方法相对应,本申请第十二实施例还提供一种存储设备,由于存储设备实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的存储设备实施例仅仅是示意性的。
本申请第十二实施例提供的一种存储设备,存储有针对网络平台的异常数据检测方法的程序,该程序被处理器运行,执行下述步骤:
获取与目标网络平台对应的待检测平台操作数据;
将所述待检测平台操作数据输入到目标数据重建模型中,获取与所述待检测平台操作数据对应的目标平台操作重建数据,其中,所述目标数据重建模型是用于根据所述待检测平台操作数据的特征信息重建所述待检测平台操作数据、获得与所述待检测平台操作数据对应的重建数据;
获取所述待检测平台操作数据与所述目标平台操作重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述待检测平台操作数据是否为异常操作数据。
与本申请第一实施例提供的异常数据检测方法相对应,本申请第十三实施例还提供一种针对目标设备的异常检测方法,请参看图10所示,其为本申请第十三实施例提供的一种针对目标设备的异常检测方法的流程图,其中部分步骤在本申请第一实施例中已经详细描述,所以此处描述的比较简单,相关之处参见本申请第一实施例提供的所述方法中的部分说明即可,下述描述的处理过程仅是示意性的。
步骤S1001,获取目标设备的待检测运行状态数据。
步骤S1002,将所述待检测运行状态数据输入到目标数据重建模型中,获取与所述待检测运行状态数据对应的目标运行状态重建数据,其中,所述目标数据重建模型是用于根据运行状态数据的特征信息重建所述运行状态数据、获得与所述运行状态数据对应的重建数据的模型。
步骤S1003,获取所述待检测运行状态数据与所述目标运行状态重建数据之间的重建误差信息。
步骤S1004,根据所述重建误差信息,判断所述目标设备是否为异常运行的设备。
与本申请第十三实施例提供的一种针对目标设备的异常检测方法相对应,本申请第十四实施例还提供一种针对目标设备的异常检测装置,请参看图11,其为本申请第十四实施例提供的针对目标设备的异常检测装置的示意图,由于装置实施例基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可,下述描述的装置实施例仅仅是示意性的。本申请第十四实施例提供的一种针对目标设备的异常检测装置包括如下部分:
待检测运行状态数据获取单元1101,用于获取目标设备的待检测运行状态数据。
运行状态数据重建单元1102,用于将所述待检测运行状态数据输入到目标数据重建模型中,获取与所述待检测运行状态数据对应的目标运行状态重建数据,其中,所述目标数据重建模型是用于根据运行状态数据的特征信息重建所述运行状态数据、获得与所述运行状态数据对应的重建数据的模型。
重建误差信息获取单元1103,用于获取所述待检测运行状态数据与所述目标运行状态重建数据之间的重建误差信息。
判断单元1104,用于根据所述重建误差信息,判断所述目标设备是否为异常运行的设备。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本领域技术人员应明白,本申请的实施例可提供为方法、***或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
Claims (30)
1.一种异常数据检测方法,其特征在于,包括:
获取待检测数据;
将所述待检测数据输入到目标数据重建模型中,获取与所述待检测数据对应的目标重建数据,其中,所述目标数据重建模型是用于根据所述待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型;
获取所述待检测数据与所述目标重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述待检测数据是否为异常数据。
2.根据权利要求1所述的异常数据监测方法,其特征在于,所述目标数据重建模型通过以下方法获得:
获取原始样本数据,其中,所述原始样本数据包括第一特征类型样本数据和第二特征类型样本数据中的至少一种数据;
根据所述原始样本数据,训练获得所述目标数据重建模型;
其中,所述目标数据重建模型包括编码模块和解码模块,所述编码模块包括用于获取与所述第一特征类型样本数据对应的第一样本特征信息的第一编码子模型,以及用于获取与所述第二特征类型样本数据对应的第二样本特征信息的第二编码子模型;所述解码模块包括第一解码子模型和第二解码子模型,所述第一解码子模型用于根据所述第一样本特征信息,重建与所述第一特征类型样本数据对应的第一重建数据,所述第二解码子模型用于根据所述第二样本特征信息,重建与所述第二特征类型样本数据对应的第二重建数据。
3.根据权利要求2所述的异常数据监测方法,其特征在于,所述根据所述原始样本数据,训练获得所述目标数据重建模型,包括:
获得待训练数据重建模型,以及,从所述原始样本数据中,获得所述第一特征类型样本数据,并获得所述第二特征类型样本数据,其中,所述待训练数据重建模型是与所述目标数据重建模型对应的模型;
使用所述第一特征类型样本数据训练所述待训练数据重建模型中的第一编码子模型,获取所述第一样本特征信息,以及,使用所述第二特征类型样本数据训练所述待训练数据重建模型中的第二编码子模型,获取所述第二样本特征信息;
使用所述第一样本特征信息训练所述待训练数据重建模型中的第一解码子模型,获取所述第一重建数据,以及,使用所述第二样本特征信息训练所述待训练数据重建模型中的第二解码子模型,获取所述第二重建数据;
通过获取与所述第一特征类型样本数据和所述第一重建数据对应的第一重建误差信息,以及,与所述第二特征类型样本数据和所述第二重建数据对应的第二重建误差信息,调整所述待训练数据重建模型中的参数,获得满足预设收敛条件的所述目标数据重建模型。
4.根据权利要求3所述的异常数据检测方法,其特征在于,还包括:
使用所述待训练数据重建模型中的隐藏层对所述第一样本特征信息和所述第二样本特征信息进行拼接处理,以及,使用与所述隐藏层对应的全连接层对进行拼接处理后的所述第一样本特征信息和所述第二样本特征信息进行映射处理,获得待解码完整样本特征信息;
所述方法,还包括:
在使用所述第一样本特征信息训练所述待训练数据重建模型中的第一解码子模型,获取所述第一重建数据,以及,使用所述第二样本特征信息训练所述待训练数据重建模型中的第二解码子模型,获取所述第二重建数据之前,从所述待解码完整样本特征信息中,获得所述第一样本特征信息,以及,获得所述第二样本特征信息。
5.根据权利要求2所述的异常数据检测方法,其特征在于,所述第一特征类型样本数据包括与目标对象对应的单值指标数据,所述第二特征类型样本数据包括与所述目标对象对应的时序特征数据。
6.根据权利要求2所述的异常数据检测方法,其特征在于,所述第一编码子模型和所述第一解码子模型为深度神经网络模型,所述第二编码子模型和所述第二解码子模型为循环神经网络模型。
7.根据权利要求1所述的异常数据检测模型,其特征在于,所述获得所述待检测数据与所述目标重建数据之间的重建误差信息,包括:
计算所述待检测数据与所述目标重建数据之间的误差数值;
根据所述误差数值,获得所述重建误差信息。
8.根据权利要求7所述的异常数据检测方法,其特征在于,所述待检测数据包括第一特征类型待检测数据和第二特征类型待检测数据中的至少一种数据,所述目标重建数据包括与所述第一特征类型待检测数据对应的第一目标重建数据和与所述第二特征类型待检测数据对应的第二目标重建数据;
所述计算所述待检测数据与所述目标重建数据之间的误差数值,包括:
获取与所述第一特征类型待检测数据和所述第一目标重建数据对应的第一误差数值,以及,获取与所述第二特征类型待检测数据和所述第二目标重建数据对应的第二误差数值。
9.根据权利要求8所述的异常数据检测方法,其特征在于,所述获取与所述第一特征类型待检测数据和所述第一目标重建数据对应的第一误差数值,包括:
通过计算所述第一特征类型待检测数据与所述第一目标重建数据之间的均方误差数值,获得所述第一误差数值。
10.根据权利要求8所述的异常数据检测方法,其特征在于,所述获取与所述第二特征类型待检测数据和所述第二目标重建数据对应的第二误差数值,包括:
通过计算所述第二特征类型待检测数据与所述第二目标重建数据之间的交叉熵,获得所述第二误差数值。
11.根据权利要求1所述的异常数据检测方法,其特征在于,所述根据所述重建误差信息,判断所述待检测数据是否为异常数据,包括:
如果所述重建误差信息不小于预设的重建误差阈值,则判定所述待检测数据为异常数据,其中,所述预设的重建误差阈值是在训练获得所述目标数据重建模型的过程中获得到的数值。
12.一种数据重建模型的获得方法,其特征在于,包括:
获取原始样本数据,其中,所述原始样本数据包括第一特征类型样本数据和第二特征类型样本数据中的至少一种数据;
根据所述原始样本数据,训练获得目标数据重建模型;
其中,所述目标数据重建模型是用于根据待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型,所述目标数据重建模型包括编码模块和解码模块,所述编码模块包括用于获取与所述第一特征类型样本数据对应的第一样本特征信息的第一编码子模型,以及用于获取与所述第二特征类型样本数据对应的第二样本特征信息的第二编码子模型;所述解码模块包括第一解码子模型和第二解码子模型,所述第一解码子模型用于根据所述第一样本特征信息,重建与所述第一特征类型样本数据对应的第一重建数据,所述第二解码子模型用于根据所述第二样本特征信息,重建与所述第二特征类型样本数据对应的第二重建数据。
13.一种针对网络平台的异常数据检测方法,其特征在于,包括:
获取与目标网络平台对应的待检测平台操作数据;
将所述待检测平台操作数据输入到目标数据重建模型中,获取与所述待检测平台操作数据对应的目标平台操作重建数据,其中,所述目标数据重建模型是用于根据所述待检测平台操作数据的特征信息重建所述待检测平台操作数据、获得与所述待检测平台操作数据对应的重建数据的模型;
获取所述待检测平台操作数据与所述目标重建平台操作数据之间的重建误差信息;
根据所述重建误差信息,判断所述待检测平台操作数据是否为异常操作数据。
14.根据权利要求13所述的针对网络平台的异常数据检测方法,其特征在于,如果根据所述重建误差信息,判断所述待检测平台操作数据为异常操作数据,则所述方法还包括:
获取与所述异常操作数据对应的日志数据;
根据所述日志数据,获得异常定位数据,其中,所述异常定位数据用于定位产生所述异常操作数据的程序指令数据。
15.根据权利要求13所述的针对网络平台的异常数据检测方法,其特征在于,还包括:
获取与所述异常操作数据对应的用户信息;
根据所述用户信息,向所述用户信息对应的用户计算设备发送异常预警信息,其中,所述异常预警信息与所述异常操作数据对应,所述用户计算设备为所述用户信息对应的用户所使用的计算设备。
16.根据权利要求15所述的针对网络平台的异常数据检测方法,其特征在于,还包括:
向所述目标网络平台发送目标服务暂停消息,所述目标服务暂停消息用于使所述目标网络平台在预设时间范围内停止接收所述用户计算设备的操作请求。
17.根据权利要求13所述的针对网络平台的异常数据检测方法,其特征在于,所述目标网络平台至少包括以下任意一种平台:支付平台、电商平台。
18.一种针对目标设备的异常检测方法,其特征在于,包括:
获取目标设备的待检测运行状态数据;
将所述待检测运行状态数据输入到目标数据重建模型中,获取与所述待检测运行状态数据对应的目标运行状态重建数据,其中,所述目标数据重建模型是用于根据运行状态数据的特征信息重建所述运行状态数据、获得与所述运行状态数据对应的重建数据的模型;
获取所述待检测运行状态数据与所述目标运行状态重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述目标设备是否为异常运行的设备。
19.一种异常数据检测装置,其特征在于,包括:
待检测数据获取单元,用于获取待检测数据;
目标重建数据获取单元,用于将所述待检测数据输入到目标数据重建模型中,获取与所述待检测数据对应的目标重建数据,其中,所述目标数据重建模型是用于根据所述待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型;
重建误差信息获取单元,用于获取所述待检测数据与所述目标重建数据之间的重建误差信息;
判断单元,用于根据所述重建误差信息,判断所述待检测数据是否为异常数据。
20.一种电子设备,其特征在于,包括:
处理器;
存储器,用于存储异常数据检测方法的程序,该设备通电并通过所述处理器运行所述异常数据检测方法的程序后,执行下述步骤:
获取待检测数据;
将所述待检测数据输入到目标数据重建模型中,获取与所述待检测数据对应的目标重建数据,其中,所述目标数据重建模型是用于根据所述待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型;
获取所述待检测数据与所述目标重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述待检测数据是否为异常数据。
21.一种存储设备,其特征在于,存储有异常数据检测方法的程序,该程序被处理器运行,执行下述步骤:
获取待检测数据;
将所述待检测数据输入到目标数据重建模型中,获取与所述待检测数据对应的目标重建数据,其中,所述目标数据重建模型是用于根据所述待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型;
获取所述待检测数据与所述目标重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述待检测数据是否为异常数据。
22.一种异常数据检测装置,其特征在于,包括:
数据获取单元,用于获取原始样本数据,其中,所述原始样本数据包括第一特征类型样本数据和第二特征类型样本数据中的至少一种数据;
训练单元,用于根据所述原始样本数据,训练获得目标数据重建模型;
其中,所述目标数据重建模型是用于根据待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型,所述目标数据重建模型包括编码模块和解码模块,所述编码模块包括用于获取与所述第一特征类型样本数据对应的第一样本特征信息的第一编码子模型,以及用于获取与所述第二特征类型样本数据对应的第二样本特征信息的第二编码子模型;所述解码模块包括第一解码子模型和第二解码子模型,所述第一解码子模型用于根据所述第一样本特征信息,重建与所述第一特征类型样本数据对应的第一重建数据,所述第二解码子模型用于根据所述第二样本特征信息,重建与所述第二特征类型样本数据对应的第二重建数据。
23.一种电子设备,其特征在于,包括:
处理器;
存储器,用于存储数据重建模型的获得方法的程序,该设备通电并通过所述处理器运行所述数据重建模型的获得方法的程序后,执行下述步骤:
获取原始样本数据,其中,所述原始样本数据包括第一特征类型样本数据和第二特征类型样本数据中的至少一种数据;
根据所述原始样本数据,训练获得目标数据重建模型;
其中,所述目标数据重建模型是用于根据待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型,所述目标数据重建模型包括编码模块和解码模块,所述编码模块包括用于获取与所述第一特征类型样本数据对应的第一样本特征信息的第一编码子模型,以及用于获取与所述第二特征类型样本数据对应的第二样本特征信息的第二编码子模型;所述解码模块包括第一解码子模型和第二解码子模型,所述第一解码子模型用于根据所述第一样本特征信息,重建与所述第一特征类型样本数据对应的第一重建数据,所述第二解码子模型用于根据所述第二样本特征信息,重建与所述第二特征类型样本数据对应的第二重建数据。
24.一种存储设备,其特征在于,存储有数据重建模型的获得方法的程序,该程序被处理器运行,执行下述步骤:
获取原始样本数据,其中,所述原始样本数据包括第一特征类型样本数据和第二特征类型样本数据中的至少一种数据;
根据所述原始样本数据,训练获得目标数据重建模型;
其中,所述目标数据重建模型是用于根据待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型,所述目标数据重建模型包括编码模块和解码模块,所述编码模块包括用于获取与所述第一特征类型样本数据对应的第一样本特征信息的第一编码子模型,以及用于获取与所述第二特征类型样本数据对应的第二样本特征信息的第二编码子模型;所述解码模块包括第一解码子模型和第二解码子模型,所述第一解码子模型用于根据所述第一样本特征信息,重建与所述第一特征类型样本数据对应的第一重建数据,所述第二解码子模型用于根据所述第二样本特征信息,重建与所述第二特征类型样本数据对应的第二重建数据。
25.一种针对网络平台的异常数据检测装置,其特征在于,包括:
待检测平台操作数据获取单元,用于获取与目标网络平台对应的待检测平台操作数据;
目标平台操作重建数据获取单元,用于将所述待检测平台操作数据输入到目标数据重建模型中,获取与所述待检测平台操作数据对应的目标平台操作重建数据,其中,所述目标数据重建模型是用于根据所述待检测平台操作数据的特征信息重建所述待检测平台操作数据、获得与所述待检测平台访问数据对应的重建数据;
重建误差信息获取单元,用于获取所述待检测平台操作数据与所述目标平台操作重建数据之间的重建误差信息;
异常操作数据判断单元,用于根据所述重建误差信息,判断所述待检测平台操作数据是否为异常操作数据。
26.一种电子设备,其特征在于,包括:
处理器;
存储器,用于存储针对网络平台的异常操作数据检测方法的程序,该设备通电并通过所述处理器运行所述针对网络平台的异常数据检测方法的程序后,执行下述步骤:
获取与目标网络平台对应的待检测平台操作数据;
将所述待检测平台操作数据输入到目标数据重建模型中,获取与所述待检测平台操作数据对应的目标平台操作重建数据,其中,所述目标数据重建模型是用于根据所述待检测平台操作数据的特征信息重建所述待检测平台操作数据、获得与所述待检测平台操作数据对应的重建数据;
获取所述待检测平台操作数据与所述目标平台操作重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述待检测平台操作数据是否为异常操作数据。
27.一种存储设备,其特征在于,存储有针对网络平台的异常数据检测方法的程序,该程序被处理器运行,执行下述步骤:
获取与目标网络平台对应的待检测平台操作数据;
将所述待检测平台操作数据输入到目标数据重建模型中,获取与所述待检测平台操作数据对应的目标平台操作重建数据,其中,所述目标数据重建模型是用于根据所述待检测平台操作数据的特征信息重建所述待检测平台操作数据、获得与所述待检测平台操作数据对应的重建数据;
获取所述待检测平台操作数据与所述目标平台操作重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述待检测平台操作数据是否为异常操作数据。
28.一种针对目标设备的异常检测装置,其特征在于,包括:
待检测运行状态数据获取单元,用于获取目标设备的待检测运行状态数据;
运行状态数据重建单元,用于将所述待检测运行状态数据输入到目标数据重建模型中,获取与所述待检测运行状态数据对应的目标运行状态重建数据,其中,所述目标数据重建模型是用于根据运行状态数据的特征信息重建所述运行状态数据、获得与所述运行状态数据对应的重建数据的模型;
重建误差信息获取单元,用于获取所述待检测运行状态数据与所述目标运行状态重建数据之间的重建误差信息;
判断单元,用于根据所述重建误差信息,判断所述目标设备是否为异常运行的设备。
29.一种电子设备,其特征在于,包括:
处理器;
存储器,用于存储针对目标设备的异常检测方法的程序,该设备通电并通过所述处理器运行所述针对目标设备的异常检测方法的程序后,执行下述步骤:
获取目标设备的待检测运行状态数据;
将所述待检测运行状态数据输入到目标数据重建模型中,获取与所述待检测运行状态数据对应的目标运行状态重建数据,其中,所述目标数据重建模型是用于根据运行状态数据的特征信息重建所述运行状态数据、获得与所述运行状态数据对应的重建数据的模型;
获取所述待检测运行状态数据与所述目标运行状态重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述目标设备是否为异常运行的设备。
30.一种存储设备,其特征在于,存储有针对目标设备的异常检测方法的程序,该程序被处理器运行,执行下述步骤:
获取目标设备的待检测运行状态数据;
将所述待检测运行状态数据输入到目标数据重建模型中,获取与所述待检测运行状态数据对应的目标运行状态重建数据,其中,所述目标数据重建模型是用于根据运行状态数据的特征信息重建所述运行状态数据、获得与所述运行状态数据对应的重建数据的模型;
获取所述待检测运行状态数据与所述目标运行状态重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述目标设备是否为异常运行的设备。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010276395.3A CN113515684A (zh) | 2020-04-09 | 2020-04-09 | 一种异常数据检测方法及装置 |
GBGB2011376.7A GB202011376D0 (en) | 2020-04-09 | 2020-07-23 | An automatic wall painting device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010276395.3A CN113515684A (zh) | 2020-04-09 | 2020-04-09 | 一种异常数据检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113515684A true CN113515684A (zh) | 2021-10-19 |
Family
ID=72339352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010276395.3A Pending CN113515684A (zh) | 2020-04-09 | 2020-04-09 | 一种异常数据检测方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113515684A (zh) |
GB (1) | GB202011376D0 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114799610A (zh) * | 2022-06-24 | 2022-07-29 | 苏芯物联技术(南京)有限公司 | 一种基于傅里叶逆变换及自编码器的焊接质量实时检测方法及*** |
-
2020
- 2020-04-09 CN CN202010276395.3A patent/CN113515684A/zh active Pending
- 2020-07-23 GB GBGB2011376.7A patent/GB202011376D0/en not_active Ceased
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114799610A (zh) * | 2022-06-24 | 2022-07-29 | 苏芯物联技术(南京)有限公司 | 一种基于傅里叶逆变换及自编码器的焊接质量实时检测方法及*** |
CN114799610B (zh) * | 2022-06-24 | 2022-10-04 | 苏芯物联技术(南京)有限公司 | 一种基于傅里叶逆变换及自编码器的焊接质量实时检测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
GB202011376D0 (en) | 2020-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107086944B (zh) | 一种异常检测方法和装置 | |
US11374952B1 (en) | Detecting anomalous events using autoencoders | |
CN111045894B (zh) | 数据库异常检测方法、装置、计算机设备和存储介质 | |
CN111814910B (zh) | 异常检测方法、装置、电子设备及存储介质 | |
CN116340934A (zh) | 终端异常行为检测方法、装置、设备及存储介质 | |
CN113965389A (zh) | 一种基于防火墙日志的网络安全管理方法、设备及介质 | |
CN117033039A (zh) | 故障检测方法、装置、计算机设备和存储介质 | |
CN113515684A (zh) | 一种异常数据检测方法及装置 | |
CN114218505A (zh) | 一种异常时空点的识别方法、装置、电子设备及存储介质 | |
CN117693747A (zh) | 多变量异常检测中信号跟随的被动推断 | |
CN112651172B (zh) | 一种降雨峰值类型划分方法、装置、设备和存储介质 | |
CN112130944A (zh) | 页面异常的检测方法、装置、设备及存储介质 | |
CN117194145A (zh) | 异常客户端检测方法、装置、电子设备及存储介质 | |
CN114692767B (zh) | 异常检测方法和装置、计算机可读存储介质、电子设备 | |
CN115689571A (zh) | 异常用户行为监测方法、装置、设备和介质 | |
CN116258167A (zh) | 一种数据检测方法、装置、电子设备及介质 | |
CN114218574A (zh) | 一种数据检测方法、装置、电子设备以及存储介质 | |
CN117435441B (zh) | 一种基于日志数据的故障诊断方法及装置 | |
CN117216803B (zh) | 一种面向智慧金融的用户信息保护方法及*** | |
CN115545935B (zh) | 区块链交易账户的处理方法和装置、设备和介质 | |
US20220101068A1 (en) | Outlier detection in a deep neural network using t-way feature combinations | |
CN116929753B (zh) | 传动齿轮状态检测方法、装置、计算机设备以及存储介质 | |
CN114237962B (zh) | 告警根因判断方法、模型训练方法、装置、设备和介质 | |
CN114915502B (zh) | 资产异常行为检测方法、装置、终端设备以及存储介质 | |
CN114756401B (zh) | 基于日志的异常节点检测方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40060936 Country of ref document: HK |