CN109858509A - 基于多层随机神经网络单分类器异常检测方法 - Google Patents

Abstract

本发明公开了一种基于多层随机神经网络单分类器异常检测方法。本发明输入只包含正常类的训练数据集；输入样本数据经过多层ELM‑AE自编码器编码和解码处理，得到重构的特征值；将重构的特征值输入最后一层ELM得到实际输出；然后将得到实际输出与输出标签的距离误差向量从大到小进行排序，根据设置的阈值参数，确定分隔正常类和异常类的阈值；最后，将测试数据输入到该多层随机神经网络单分类异常检测模型中，测试该模型的识别效果。本发明相更为快速高效地提取主要信息并降维，再进行识别分类。速度更快，准确率更高，泛化性能更好。不仅适用于小数据集也同样适用于高维大数据集，具有普适性。对于今后的实际应用具有重要的意义。

Description

基于多层随机神经网络单分类器异常检测方法

技术领域

本发明属于机器学习和数据挖掘领域，涉及一种基于多层随机神经网络单分类器异常检测方法。

背景技术

异常检测是机器学习和数据挖掘中的一个重要分支，被广泛应用于各领域中，例如商业金融领域中的***欺诈检测，生物医药学中的疾病检测与化学物质毒性检测，计算机图像领域的分析检测等。异常数据的存在会带来一定的危害和损失，严重威胁着人们的生命财产安全。因此如何检测出数据中存在的异常具有重要的意义。

异常检测是通过对输入数据进行分析，检测出不符合期望的数据、行为，但在实际检测过程中，面临着诸多挑战。一.获得精确的、有代表性的标签很困难，特别对于异常数据来说，带标签的数据量很少；二.在某些领域正常和异常数据并没有明确的界限；三.数据本身存在噪声，噪声和异常难以区分；四.正常和异常数据分布不均衡；五.现有的异常检测单分类器，针对高维大数据样本时，往往存在表征能力不够，识别率低等问题。

已知现有的异常检测方法中，基于传统的神经网络、支持向量机、规则和最近邻等方法进行异常检测不仅速度缓慢，而且面对高维不均衡大数据集时，对数据的表征能力不够，导致训练效果差且无法满足实时性的需求。因此，如何在更一般的数据集中通过一种优异的算法获得表征能力强泛化性能好识别率高训练速度快的异常检测模型是一个核心问题。本文采用了一种基于超限学习机(Extreme Learning Machine，ELM)算法的多层随机神经网络的单分类器来进行异常检测分类。

ELM是一种简单易用、有效的单隐层前馈神经网络(SLFNs)学习算法。它在异常检测分类上有以下几点优势：(1)ELM在输入层和隐藏层之间采用随机权重。我们可以多次训练相同的数据集，这给不同的分类精度不同的输出空间。(2)ELM是一个更简单的前馈神经网络学习算法。传统的神经网络学习算法(如BP算法)需要人为设置大量的网络训练参数，这样就会非常容易产生局部最优解。而ELM在确定网络参数的过程中，只需要设置网络的隐层节点个数，在算法执行过程中不需要调整网络的输入权值以及隐元的偏置，并且产生唯一的最优解。因此，ELM学习速度比传统人工神经网络更快且泛化性能更好，可以最快地实现模型的训练和测试。

ELM的输出为其中：β_i是隐层节点和输出节点之间的权重，G(a_i,b_i,x)是隐层输出函数。h(x)＝[G(a₁,b₁,x),...,G(a_L,b_L,x)]^T是隐层相对于输入x的输出向量。ELM的关键在于最小化训练误差和输出权重范数。即最小化以及||β||。

ELM算法总结如下：给定训练集{(x_i,t_i)|x_i∈Rⁿ,t_i∈R^m,i＝1,2,...N}，隐层节点输出函数g(w,b,x)和隐层节点数L。

(1)随机分配隐层节点的参数(w_i,b_i)，i＝1,2...,L。

(2)计算隐层输出矩阵Η。

(3)计算隐层节点和输出节点之间的权重β＝H+T。

H+是隐层输出矩阵H的Moore-Penrose广义逆矩阵，可以使用正交投影法、正交化法和奇异值分解等方法计算得到。

发明内容

本发明的目的是针对现有异常检测算法中存在的问题，提供一种基于ELM-AE自编码器的多层随机神经网络单分类检测方法，是一种更快更高效的异常检测方法。

本专利算法主要实现流程如下：首先，输入只包含正常类的训练数据集；输入样本数据经过多层ELM-AE自编码器编码和解码处理，得到重构的特征值；将重构的特征值输入最后一层ELM(不包含隐含层)，得到实际输出；然后，得到实际输出与输出标签的距离误差向量，并从大到小进行排序，根据设置的阈值参数，确定分隔正常类和异常类的阈值；最后，将测试数据(包含正常类和异常类)输入到该多层随机神经网络单分类异常检测模型中，测试该模型的识别效果。

本发明主要包括如下步骤：

步骤1、输入训练样本进行特征归一化

1-1、给定一系列训练样本其中表示第i个样本，表示其为目标样本(正常数据)，训练集只包含目标样本，N为总的训练样本数量。

步骤2、样本数据特征提取

2-1、归一化后的训练样本即ELM-AE的输入和输出矩阵。

2-2、随机生成隐层输入权值矩阵和正交化偏置向量矩阵将输入数据映射到相同或者不同的数据维度空间：h_k＝g(a_kx_α+b_k)，(a_k)^Ta_k＝I,(b_k)^Tb_k＝1，其中：g()表示激活函数，

(k＝1,2,...,K)为ELM-AE个数。

2-3、求解ELM-AE的输出权值矩阵

假设ELM-AE个数为K,输入输出层神经元数量为d,隐含层神经元数量为以及每个隐含层的正则化参数若或即对于稀疏及压缩的特征表达，若即对于等维度的特征映射，β^k＝H^-1X_A,(β^k)^Tβ^k＝I,(k＝1，2，...，K)。

其中：表示ELM-AE的隐含层输出矩阵。

步骤3、分类学习的输出权重β计算

3-1、经过多层ELM-AE***得到输出X'＝[x′₁,x'₂,...,x'_N]，输入层神经元数量为d,ELM分类层隐含神经元数量为L(在这里)以及ELM分类层的正则化参数C。若若

隐藏层输出节点矩阵为且

3-2、得到实际输出

步骤4、计算单分类器阈值θ

4-1、计算实际输出Y与样本标签T的误差距离，

4-2、将得到的误差距离进行从大到小排序,得到其中和分别表示最大和最小的误差距离。

4-3、设置一个阈值参数μ，得到阈值为θ＝ε_floor(μ·N)。

步骤5、输入测试数据进行测试

5-1、给定一系列测试样本其中表示第i个样本，表示其为目标样本(正常数据)，表示其为非目标样本(异常样本)，P为总共的测试样本数量。

5-2、输入到多层ELM-AE得到每层输出令最后一层ELM-AE输出为Y'＝[y′₁,y'₂,...,y'_N]。

5-3、输入到ELM分类层得到Y_β＝β·Y'，计算实际输出与样本标签T的误差距离

5-4、将得到的误差距离与单分类器阈值θ比较

本发明有益效果如下：

本发明采用的是超限学习机自编码器(ELM-AE)算法进行异常检测数据的特征提取，该算法是一种比普通自编码(AE)算法更为高效的自编码算法，它将原始自编码器进行特征提取优化的BP梯度下降法更换为ELM，可以快速处理较高维度的输入数据，提取其主干部分信息，并且可以实现原始数据高维度、等维度、低维度的特征表达。通过多个ELM-AE神经网络叠加增强了特征提取能力，特别是针对异常检测中的高维不均衡大数据集。最后将提取得到的特征通过ELM单分类器进行检测识别，分类速度快泛化性能更好，满足实时性和处理更一般性数据要求。

本发明相对于基于传统神经网络、支持向量机和最近邻的异常检测算法，可以更为快速高效地提取主要信息并降维，再进行识别分类。速度更快，准确率更高，泛化性能更好。不仅适用于小数据集也同样适用于高维大数据集，具有普适性。对于今后的实际应用具有重要的意义。

本发明同样测试了现场实测信号的异常检测效果，具有复杂情况下较强的抗干扰能力和实时性，那么针对理想状态下的异常数据集处理将具有更好的适应性和准确率，基于ELM-AE和ELM相结合的多层随机神经网络算法将对今后各个领域的异常数据的处理提供巨大的帮助。

本发明这是一种高效实用的自编码算法，实现在高维及大数据集中快速有效的提取有用的特征。样本数据经过编码和解码处理，若重构误差足够小，在限定范围内，即可认定此编码code是对输入样本数据的有效表达。重构以后的数据经过基于ELM的单分类异常检测算法得到输出模型，该算法只训练单类正常数据，输出一个识别准确率高泛化性能较好的单分类模型。能够较好的区分正常和异常的数据，同时多层ELM-AE叠加的神经网络模型能够更好地应用在高维大数据集中。

附图说明

图1为本发明流程示意图；

图2为单隐层前馈神经网络示意图；

图3为ELM-AE网络结构图；

图4为ML-OCELM网络结构图。

具体实施方式

下面结合附图和实例对本发明作进一步说明。

如图1所示，首先取训练数据(仅正常数据集)输入到多层ELM-AE进行特征提取，再通过ELM分类层(无隐含层)进行分类输出实际结果，根据得到的实际输出与样本标签的误差排序，经过阈值参数得到阈值。之后将待测试的样本喂入训练好的异常检测模型，得到测试数据实际输出和样本标签的误差，大于阈值的归为异常类，小于等于阈值的为正常类，并计算准确率。

图2显示了单隐层前馈神经网络的基本结构，也就是ELM算法的框架。图3显示了单个ELM-AE的网络结构，也就是自编码器采用了ELM算法作为优化算法，加快了自编码器的训练速度，增强了泛化能力。图4即为本发明采用方法的网络结构，三层ELM-AE堆叠后再通过一个无隐含层的ELM分类层。

本发明的目的是针对现有的异常检测算法中存在的问题，提供一种基于ELM自编码器的多层随机神经网络单分类检测算法，是一种更快更高效的异常检测方法。

本发明主要包括如下步骤：

步骤1、输入训练样本进行特征归一化

1-2、给定一系列训练样本{(xi_α,ti_α)xi_α∈Rⁿ,tⁱ _α∈R^m,i＝1,2,...N}，其中xⁱ _α表示第i个样本，tⁱ _α＝1表示其为目标样本(正常数据)，训练集只包含目标样本，N为总的训练样本数量。

步骤2、样本数据特征提取

2-1、归一化后的训练样本即ELM-AE的输入和输出矩阵。

2-2、随机生成隐层输入权值矩阵和正交化偏置向量矩阵将输入数据映射到相同或者不同的数据维度空间：h_k＝g(a_kx_α+b_k)，(a_k)^Ta_k＝I,(b_k)^Tb_k＝1，其中：g()表示激活函数，(k＝1,2,...,K)为ELM-AE个数。

2-3、求解ELM-AE的输出权值矩阵

假设ELM-AE个数为K,输入输出层神经元数量为d,隐含层神经元数量为以及每个隐含层的正则化参数若或即对于稀疏及压缩的特征表达，若即对于等维度的特征映射，β^k＝H^-1X_A,(β^k)^Tβ^k＝I,(k＝1,2,...,K)。

其中：表示ELM-AE的隐含层输出矩阵。

步骤3、分类学习的输出权重β计算

3-1、经过多层ELM-AE***得到输出X'＝[x′₁,x'₂,...,x'_N]，输入层神经元数量为d,ELM分类层隐含神经元数量为L(在这里)以及ELM分类层的正则化参数C。若若

隐藏层输出节点矩阵为且

3-2、得到实际输出

步骤4、计算单分类器阈值θ

4-1、计算实际输出Y与样本标签T的误差距离，

4-2、将得到的误差距离进行从大到小排序,得到其中和分别表示最大和最小的误差距离。

4-3、设置一个阈值参数μ，得到阈值为θ＝ε_floor(μ·N)。

步骤5、输入测试数据进行测试

5-1、给定一系列测试样本其中表示第i个样本，表示其为目标样本(正常数据)，表示其为非目标样本(异常样本)，P为总共的测试样本数量。

5-2、输入到多层ELM-AE得到每层输出令最后一层ELM-AE输出为Y'＝[y′₁,y'₂,...,y'_N]。

5-3、输入到ELM分类层得到Y_β＝β·Y'，计算实际输出与样本标签T的误差距离

5-4、将得到的误差距离与单分类器阈值θ比较

Claims (2)

1.基于多层随机神经网络单分类器异常检测方法，其特征在于输入只包含正常类的训练数据集；输入样本数据经过多层ELM-AE自编码器编码和解码处理，得到重构的特征值；将重构的特征值输入最后一层ELM得到实际输出；然后将得到实际输出与输出标签的距离误差向量从大到小进行排序，根据设置的阈值参数，确定分隔正常类和异常类的阈值；最后，将测试数据输入到该多层随机神经网络单分类异常检测模型中，测试该模型的识别效果。

2.根据权利要求1所述的基于多层随机神经网络单分类器异常检测方法，其特征在于具体包括如下步骤：

步骤1、输入训练样本进行特征归一化

1-1、给定一系列训练样本其中表示第i个样本，表示其为目标样本，训练集只包含目标样本，N为总的训练样本数量；

步骤2、样本数据特征提取

2-1、归一化后的训练样本即ELM-AE的输入和输出矩阵；

2-2、随机生成隐层输入权值矩阵和正交化偏置向量矩阵将输入数据映射到相同或者不同的数据维度空间：h_k＝g(a_kx_α+b_k)，(a_k)^Ta_k＝I,(b_k)^Tb_k＝1，其中：g()表示激活函数，(k＝1,2,...,K)为ELM-AE个数；

2-3、求解ELM-AE的输出权值矩阵

假设ELM-AE个数为K,输入输出层神经元数量为d,隐含层神经元数量为以及每个隐含层的正则化参数若或即对于稀疏及压缩的特征表达，若即对于等维度的特征映射，β^k＝H^-1X_A,(β^k)^Tβ^k＝I,(k＝1,2,...,K)；

其中：表示ELM-AE的隐含层输出矩阵；

步骤3、分类学习的输出权重β计算

3-1、经过多层ELM-AE***得到输出X'＝[x′₁,x′₂,...,x′_N]，输入层神经元数量为d,ELM分类层隐含神经元数量为L(在这里)以及ELM分类层的正则化参数C；若若

隐藏层输出节点矩阵为且

3-2、得到实际输出

步骤4、计算单分类器阈值θ

4-1、计算实际输出Y与样本标签T的误差距离，

4-2、将得到的误差距离进行从大到小排序,得到其中和分别表示最大和最小的误差距离；

4-3、设置一个阈值参数μ，得到阈值为θ＝ε_floor(μ·N)；

步骤5、输入测试数据进行测试

5-1、给定一系列测试样本其中表示第i个样本，表示其为目标样本，表示其为非目标样本，P为总共的测试样本数量；

5-2、输入到多层ELM-AE得到每层输出令最后一层ELM-AE输出为Y'＝[y′₁,y′₂,...,y′_N]；

5-3、输入到ELM分类层得到Y_β＝β·Y'，计算实际输出与样本标签T的误差距离

5-4、将得到的误差距离与单分类器阈值θ比较；