CN111159961A - 一种基于曲线数据的异常检测方法及*** - Google Patents

Abstract

本发明涉及一种基于曲线数据的异常检测方法及***，具体包括以下步骤：步骤（1）：第一级异常检测；将曲线数据输入训练好的AE模型进行异常检测，获取瓶颈层的k维数据和实际输出数据，并利用损失函数计算实际输出数据的loss值；步骤（2）：第二级异常检测；将步骤（1）获得的瓶颈层的k维数据和loss值，作为（

）维数据输入第二级异常检测器进行异常检测，输出异常值；当异常值大于预设的阈值，则判定进行检测的曲线数据为异常数据；所述第二级异常检测器采用常规的异常检测算法实现。本发明可以快速准确地检测出曲线数据中的异常数据。

Description

一种基于曲线数据的异常检测方法及***

技术领域

本发明是关于计算机技术领域，特别涉及一种基于曲线数据的异常检测方法及***。

背景技术

集成电路设计测试技术迅速发展，很多测试手段，如可寻址测试方法，尤其是DenseArray，会快速产生大量的测试数据，在测试数据中很多是曲线数据，如MOS管的I-V曲线等。通常为了测量工艺参数变动(process variation)，需要测量大量同类的数据，因此测量会产生大量的I-V曲线等数据，但是其中有些数据是异常数据，产生异常数据的原因有很多，可能是在制造过程中产生了错误(mistake)，也可能是测试过程出现了测量偏差。

为了尽量避免由于这些原因再次产生错误，需要排查产生异常数据的原因，比如观察测试芯片上是否出现硬件的制造失误，检查测试算法是否存在软件的设计错误等；另外，在后续进行处理数据时，也应该将异常数据排除在外，以正常的数据为准。而这些测试产生的数据，混杂有异常数据和随工艺参数变动的正常数据，基于上述原因，首先需要在所有测得的数据中查找出异常数据，也就是要进行异常检测。

现行异常检测算法很多且很成熟，但是对曲线数据的针对性不强，这些检测算法大都对检测曲线数据的异常数据精度不高。目前常用的异常检测算法有下述几类：

1)基于临近的异常检测算法：LOF(local outlier factor)和CBLOF(cluster-based local outlier factor)是两个最经典的基于临近的异常检测算法，但是在处理曲线数据时，由于曲线数据的高维度特性，维度灾难(curse of dimensionality)使得距离不再能够作为精确检测异常的特征，另外，此类基于临近的算法忽略了每一维度数据间的相关性。同样地，KNN、ABOD等这些算法也同样存在缺陷。

2)基于数理统计的异常检测算法：HBOS(Histogram-based outlier score)和XBOS是基于数理统计的算法代表，其最大的问题同样是不能体现出每一维度数据间的相关性，而曲线数据最重要的特征就蕴藏在这相关性之中。

3)基于基本机器学习模型的异常检测算法：One-class SVM(OCSVM)和AutoEncoder(AE)是比较常见的基于基本机器学习模型的算法。其中，OCSVM与基于临近的异常检测算法类似，不能将每一维度数据联系。而AE通过神经网络结构，能将数据压缩到低维度又还原为原始数据，AE的神经网络具有全连接性，即考虑到了不同维度数据的相互关系。AE有两种判断是否为异常数据的方法：①将原始数据encode压缩的结果作为score，score异常的数据即为异常数据；②将最后恢复的loss作为score，score异常的数据即为异常数据；但由于异常数据所占总数据量的比例不确定，所以很难确定score的有效计算方式。

综上可知，目前还没有一种能针对曲线数据进行精确且高效的异常检测方法。

发明内容

本发明的主要目的在于克服现有技术中的不足，提供一种结合异常检测模型和损失函数来针对曲线数据进行异常检测的方法及***。为解决上述技术问题，本发明的解决方案是：

提供一种基于曲线数据的异常检测方法，具体包括下述步骤：

步骤(1)：第一级异常检测；

将曲线数据输入训练好的AE模型进行异常检测，获取瓶颈层的k维数据和实际输出数据，并利用损失函数计算实际输出数据的loss值；

所述AE模型设有N层：第一层为输入层，用于输入d维数据；第

层为瓶颈层，瓶颈层是数据维度最小的层，且设瓶颈层是k维数据；第N层为输出层，用于输出d维数据；输入层到瓶颈层对数据进行编码压缩，瓶颈层到输出层对数据进行解码还原，且第i层和第(N-i+1)层的数据维度相同；其中，N为大于1的奇数，d、k都是大于0的自然数，

所述损失函数(CurveLoss)能计算实际输出数据的loss值；loss值用于表征实际输出数据形成的曲线和理想输出数据形成的曲线之间相差的面积；

步骤(2)：第二级异常检测；

将步骤(1)获得的瓶颈层的k维数据和loss值，作为(k+1)维数据输入第二级异常检测器进行异常检测，输出异常值；

当异常值大于预设的阈值，则判定进行检测的曲线数据为异常数据；

所述第二级异常检测器采用常规的异常检测算法实现。

作为进一步的改进，所述AE模型通过下述方法进行训练：

获取若干个样本，每个样本包括原始输入数据和理想输出数据；将每个样本的原始输入数据输入AE模型中，分别得到实际输出数据；

利用损失函数计算样本实际输出数据的loss值，用于训练AE模型至收敛；所述loss值用于表征实际输出数据形成的曲线和理想输出数据形成的曲线之间相差的面积。

作为进一步的改进，所述损失函数计算loss值的方法为：

根据理想输出数据绘制曲线A，根据实际输出数据绘制曲线B，则该实际输出数据的loss值根据下述不同情况进行计算：

情况1)若曲线A和曲线B交叉，则：

loss＝(a×h₁+b×h₂)/2

h₂＝d-h₁

其中，所述a是曲线B高于曲线A的部分的最大Y轴差值；所述b是曲线A高于曲线B的部分的最大Y轴差值；所述d是曲线A和曲线B所经过的X轴区间值；

情况2)若曲线A和曲线B不交叉，则：

其中，所述a是曲线A和曲线B的最大Y轴差值；所述b是曲线A和曲线B的最小Y轴差值；所述d是曲线A和曲线B所经过的X轴区间值；

情况3)若曲线A和曲线B重合，则：loss＝0。

作为进一步的改进，所述第二级异常检测器采用XBOS算法、LOF(local outlierfactor)算法、CBLOF(cluster-based local outlier factor)算法、HBOS(Histogram-based outlier score)算法、One-class SVM(OCSVM)算法、KNN(k-NearestNeighbor)算法、ABOD算法或者AE(Auto Encoder)算法实现；优选采用XBOS算法。

作为进一步的改进，所述进行异常检测的曲线数据和用于训练AE模型的样本都是d维数据，且该d维数据中每一维度的X坐标值或Y坐标值都是相同的；因此在将曲线数据或样本输入到AE模型时，只需输入d维数据中坐标值不同的Y坐标值或X坐标值；比如，若d维数据的x坐标值是统一的，因此只输入y坐标的值；当曲线数据或样本不是d维数据时，先进行插值处理成d维数据。

提供一种存储设备，其中存储有多条指令，所述指令适用于处理器加载并执行：上述基于曲线数据的异常检测方法。

提供一种基于曲线数据的异常检测***，包括处理器和存储设备，处理器适于实现各指令，存储设备适于存储多条指令，所述指令适用于处理器加载并执行：上述基于曲线数据的异常检测方法。

与现有技术相比，本发明的有益效果是：

本发明基于曲线数据的异常检测方法中，先利用AE模型注重数据不同维度间的相关性，再应用常规的异常检测算法，可以快速准确地检测出曲线数据中的异常数据；另外，本发明提出了新的用于AE模型训练的损失函数，该损失函数能有效计算loss值，使AE模型收敛的可信度更高了，且该损失函数能用于任何以曲线数据为输出的模型。

附图说明

图1为表征MOS管特性的I-V曲线数据表。

图2为表征MOS管特性的I-V曲线。

图3为本发明基于曲线数据的异常检测方法的流程框图。

图4为本发明中用于第一级异常检测的AE模型示意图。

图5为本发明中的损失函数示意图。

图6为损失函数的loss值示意图。

图7为损失函数的loss值示意图。

图8为实施例图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

名词解释说明：

本发明所述的“理想输出数据”是指：希望原始输入数据经过AE模型后计算得到的输出结果，即label；在本发明中可采用原始输入数据。

本发明所述的“用于训练AE模型至收敛”是指loss值不再减小。

曲线数据：一组能够绘制出有意义曲线的数据，如图1所示表征MOS管特性的I-V曲线数据表中的数据，其能绘制成图2所示的I-V曲线。对于曲线数据的异常检测，由于曲线数据的高维度特性，需要考虑每一维度数据间的相关性。本发明提出了一种结合异常检测模型和损失函数的方法，来解决异常检测算法对曲线数据的针对性不强的问题。

一种基于曲线数据的异常检测方法，可参考如图3所示基于曲线数据的异常检测***实施例图，该种基于曲线数据的异常检测方法具体包括下述步骤：

步骤(1)：创建并训练AE模型；

创建AE模型，AE模型设有N层：第一层为输入层，用于输入d维数据；第

层为瓶颈层，瓶颈层是数据维度最小的层，且设瓶颈层是k维数据；第N层为输出层，用于输出d维数据；输入层到瓶颈层对数据进行编码压缩，瓶颈层到输出层对数据进行解码还原，且第i层和第(N-i+1)层的数据维度相同；其中，N为大于1的奇数，d、k都是大于0的自然数，

可参考图4中的5层AE模型[6,4,1,4,6]。

获取若干个样本，每个样本包括原始输入数据和理想输出数据；理想输出数据是指希望原始输入数据经过AE模型后计算得到的输出结果，即label，这里采用原始输入数据作为理想输出数据。

将每个样本的原始输入数据输入AE模型中，分别得到实际输出数据；利用损失函数(CurveLoss)计算样本实际输出数据的loss值，用于训练AE模型至收敛，即loss值不再减小。

所述损失函数计算loss值的方法为：如图5所示，根据理想输出数据绘制实线的曲线A，根据实际输出数据绘制虚线的曲线B，该实际输出数据的loss值即用于表征实际输出数据形成的曲线和理想输出数据形成的曲线之间相差的面积，具体根据下述不同情况进行计算：

情况1)若曲线A和曲线B如图6所示交叉，则：

loss＝(a×h₁+b×h₂)/2

h₂＝d-h₁

其中，所述a是曲线B高于曲线A的部分的最大Y轴差值；所述b是曲线A高于曲线B的部分的最大Y轴差值；所述d是曲线A和曲线B所经过的X轴区间值。

情况2)若曲线A和曲线B如图7所示不交叉，则：

其中，所述a是曲线A和曲线B的最大Y轴差值；所述b是曲线A和曲线B的最小Y轴差值；所述d是曲线A和曲线B所经过的X轴区间值；

情况3)若曲线A和曲线B重合，则：loss＝0。

步骤(2)：第一级异常检测；

将要进行异常检测的曲线数据，输入训练好的AE模型进行异常检测，获取瓶颈层的k维数据和实际输出数据，并利用损失函数计算实际输出数据的loss值。

步骤(3)：第二级异常检测；

将获得的瓶颈层的k维数据和loss值，整合成(k+1)维数据输入第二级异常检测器进行异常检测，输出异常值；当异常值大于预设的阈值，则判定进行检测的曲线数据为异常数据；

所述第二级异常检测器采用常规的异常检测算法实现，比如采用XBOS算法、LOF(local outlier factor)算法、CBLOF(cluster-based local outlier factor)算法、HBOS(Histogram-based outlier score)算法、One-class SVM(OCSVM)算法、KNN(k-NearestNeighbor)算法、ABOD算法和AE(Auto Encoder)算法等中任意一种，优选XBOS算法。

需要注意的是，要进行异常检测的曲线数据和用于训练AE模型的样本需要统一为d维数据，且该d维数据中每一维度的X坐标值或Y坐标值都是相同的，因此在将曲线数据或样本输入到AE模型时，只需输入d维数据中坐标值不同的Y坐标值或X坐标值；比如，若d维数据的x坐标值是统一的，因此只输入y坐标的值。当曲线数据或样本不是d维数据时，则需要先进行插值处理成d维数据。

下面的实施例可以使本专业的专业技术人员更全面地理解本发明，但不以任何方式限制本发明。

选取3800组原始曲线数据，再人为制造30组异常的数据，记为outlier_data，将这30组异常数据随机***原始的3800组曲线数据中后作为样本；对所有被选定作为样本的曲线数据进行插值处理，统一维度d。

实施例

利用基于曲线数据的异常检测***，对曲线数据进行异常检测，具体步骤如下：

①选择适当的AE模型大小：[9,18,9,3,1,3,9,18,9]，输入输维度出均为d，AE模型可参考图8；然后利用将样本曲线数据输入AE模型，并利用CurveLoss作为损失函数对AE模型进行训练至收敛，即得到训练好的AE模型，以作为第一级异常检测器。

②将所有样本曲线数据，分别输入第一级异常检测器，经过AE模型预测，同时得到encode结果和通过CurveLoss计算得到的loss值。

③将encode结果和loss值输入第二级异常检测器，分别求得所有数据的异常分数值；本实施例中的第二级异常检测器采用XBOS模型实现。

④提取异常分数值中top30的曲线数据(即该实施例中以异常分数值中的第30位来设置阈值)，当作异常数据的结果。

值得注意的是，当有新的需要进行异常检测的曲线数据时，不用再重复进行训练AE的步骤(即步骤①)；但是，新的数据也需要进行插值统一为AE的输入维度。

对比例

将所有样本曲线数据，分别输入异常检测器，分别求得所有数据的异常分数值；本对比例中的异常检测器采用和实施例中相同的XBOS模型实现。提取异常分数值中top30的曲线数据(即该实施例中以异常分数值中的第30位来设置阈值)，当作异常数据的结果。

由实验数据可知，实施例中利用基于曲线数据的异常检测***检测出30个异常数据，其中有23个是outlier_data，即23/30＝76.7％的异常数据被找到；而对比例中单独利用XBOS模型检测出30个异常数据，其中有13个是outlier_data，即13/30＝43.3％的异常数据被找到。另外，根据后续试验结果可知，异常检测器替换为别的常规异常检测算法实现时，也得出了同样的结果(指类似的效果差异，并非指数据完全一致，这里不再一一提供具体数据)。故，对比实验表明，实施例将AE压缩的结果和loss的结果综合考虑，得到了更可信的异常判断结果，利用基于曲线数据的异常检测***比单独使用常规的异常检测模型更有优势。

最后，需要注意的是，以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (7)

1.一种基于曲线数据的异常检测方法，其特征在于，具体包括下述步骤：

步骤（1）：第一级异常检测；

将曲线数据输入训练好的AE模型进行异常检测，获取瓶颈层的k维数据和实际输出数据，并利用损失函数计算实际输出数据的loss值；

所述AE模型设有N层：第一层为输入层，用于输入d维数据；第（

）层为瓶颈层，瓶颈层是数据维度最小的层，且设瓶颈层是k维数据；第N层为输出层，用于输出d维数据；输入层到瓶颈层对数据进行编码压缩，瓶颈层到输出层对数据进行解码还原，且第i层和第（

）层的数据维度相同；其中，N为大于1的奇数，d、k都是大于0的自然数，i∈[1,

]；

所述损失函数（CurveLoss）能计算实际输出数据的loss值；loss值用于表征实际输出数据形成的曲线和理想输出数据形成的曲线之间相差的面积；

步骤（2）：第二级异常检测；

将步骤（1）获得的瓶颈层的k维数据和loss值，作为（

）维数据输入第二级异常检测器进行异常检测，输出异常值；

当异常值大于预设的阈值，则判定进行检测的曲线数据为异常数据；

所述第二级异常检测器采用常规的异常检测算法实现。

2.根据权利要求1所述的一种基于曲线数据的异常检测方法，其特征在于，所述AE模型通过下述方法进行训练：

获取若干个样本，每个样本包括原始输入数据和理想输出数据；将每个样本的原始输入数据输入AE模型中，分别得到实际输出数据；

利用损失函数计算样本实际输出数据的loss值，用于训练AE模型至收敛；

所述loss值用于表征实际输出数据形成的曲线和理想输出数据形成的曲线之间相差的面积。

3.根据权利要求1所述的一种基于曲线数据的异常检测方法，其特征在于，所述损失函数计算loss值的方法为：

根据理想输出数据绘制曲线A，根据实际输出数据绘制曲线B，则该实际输出数据的loss值根据下述不同情况进行计算：

情况1）若曲线A和曲线B交叉，则：

其中，所述a是曲线B高于曲线A的部分的最大Y轴差值；所述b是曲线A高于曲线B的部分的最大Y轴差值；所述d是曲线A和曲线B所经过的X轴区间值；

情况2）若曲线A和曲线B不交叉，则：

其中，所述a是曲线A和曲线B的最大Y轴差值；所述b是曲线A和曲线B的最小Y轴差值；所述d是曲线A和曲线B所经过的X轴区间值；

情况3）若曲线A和曲线B重合，则：

。

4.根据权利要求1所述的一种基于曲线数据的异常检测方法，其特征在于，所述第二级异常检测器采用XBOS算法、LOF算法、CBLOF算法、HBOS算法、One-class SVM算法、KNN算法、ABOD算法或者AE算法实现。

5.根据权利要求2所述的一种基于曲线数据的异常检测方法，其特征在于，所述进行异常检测的曲线数据和用于训练AE模型的样本都是d维数据，且该d维数据中每一维度的X坐标值或Y坐标值都是相同的；

当曲线数据或样本不是d维数据时，先进行插值处理成d维数据。

6.一种存储设备，其中存储有多条指令，所述指令适用于处理器加载并执行：权利要求1至5任意一项所述的基于曲线数据的异常检测方法。

7.一种基于曲线数据的异常检测***，包括处理器和存储设备，处理器适于实现各指令，存储设备适于存储多条指令，所述指令适用于处理器加载并执行：权利要求1至5任意一项所述的基于曲线数据的异常检测方法。

Images