CN104715160A - 基于kmdb的软测量建模数据异常点检测方法 - Google Patents

Abstract

本发明是一种基于KMDB(K-means与DBSCAN相结合的算法)的软测量建模数据异常点检测方法，其特征在于包括下列步骤：(1)设定异常点比例p₀与误差比较系数t。(2)对确定的样本数据集进行软测量建模，计算建模测试误差e₀(选取相对误差)。(3)用建模误差指导K值的选择，将数据集划分为K类。(4)对每一类用DBSCAN算法进行异常点检测。(5)用异常数据样本占总样本的比例p调整DBSCAN算法中Eps和MinPts的选择。(6)将删除异常点的数据进行软测量建模，得到误差e。比较e与te₀判断算法是否有效。(7)判断在迭代次数范围内算法是否达到设定条件，若未达到需返回(1)重新选择p₀与t；否则，算法结束。KMDB算法有效地提高了聚类算法的精度及软测量模型的稳定性。

Description

基于KMDB的软测量建模数据异常点检测方法

技术领域

本发明——基于KMDB(K-means与DBSCAN聚类算法相结合的算法)的软测量建模数据异常点检测方法，是针对复杂工业过程中建模数据异常点检测的特殊性提出的，本发明属于软测量建模领域。

背景技术

随着人工智能的发展，软测量技术在复杂工业过程中已经得到了广泛的应用。软测量技术的核心是建立工业对象的精确可靠的模型。无论采用何种方法建立软测量模型，都需要一定的建模数据，并且软测量模型的性能在很大程度上依赖于所获建模数据的准确性和有效性。然而，由于各种原因在现场采集的数据中不可避免地有异常点的存在。为了保障软测量模型的测量精度，必须在建立软测量模型之前将真实信号从含异常点的混合信号中分离出来，才能用于软测量建模。这个过程被称为复杂工业过程中异常点检测。长期以来，人们十分关注复杂工业过程中的异常数据，发现异常点并减少异常点对数据分析的影响是一项很有意义的研究。

聚类是数据挖掘中的一种重要技术，是分析数据并从中发现有用信息的一种有效手段。聚类是把一组个体按照相似性归成若干类别，即“物以类聚”。其中基于密度的算法由于可以发现任意形状的簇且能够较好地处理噪声数据，受到越来越广泛的关注。DBSCAN(Density-based spatial clustering ofapplications with noise)算法是应用最为广泛的密度聚类算法之一。该算法利用基于密度的聚类概念，即要求聚类空间中的一定区域内所包含对象(点或其它空间对象)的数目不小于某一给定阈值。DBSCAN算法的显著优点是聚类速度快，且能够有效处理异常点和发现任意形状的空间聚类。但是，由于它直接对整个数据库进行操作，且进行聚类时使用了一个全局性的表征密度的参数，因此也具有一个比较明显的弱点：当空间聚类的密度不均匀，聚类间距离相差很大时，聚类质量较差。虽然已经有一些改进的DBSCAN算法被提出，但是对于复杂工业过程建模数据异常点检测的特殊性，这些算法都具有一定的不足。

针对上述问题和复杂工业过程中建模数据异常点检测的特殊性，同时考虑到单纯使用聚类思想的不足，本文提出了一种改进的基于K-means算法的DBSCAN聚类分析方法，即KMDB算法。K-means算法是很典型的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。首先，该方法用K-means算法对DBSCAN算法改进，弥补了传统DBSCAN算法的不足。再次，该方法将异常点检测与软测量建模相结合，用建模误差对异常点检测过程进行指导，这样既保证了异常点检测的质量，同时完成了软测量模型的建立。用该方法进行异常点检测时能更有效的检测出异常点。

发明内容

针对上述问题和复杂工业过程中建模数据异常点检测的特殊性，同时考虑到单纯使用聚类思想的不足，本文提出了一种改进的基于K-means算法的DBSCAN聚类分析方法，即KMDB算法。首先，该方法用K-means算法对DBSCAN算法改进，弥补了传统DBSCAN算法的不足。再次，该方法将异常点检测与软测量建模相结合，用建模误差对异常点检测过程进行指导，这样既保证了异常点检测的质量，同时完成了软测量模型的建立。用该方法进行异常点检测时能更有效的检测出异常点。

本发明的基于KMDB的软测量建模数据异常点检测的方法具体步骤如下：

(1)设定异常点比例p₀与误差比较系数t。

(2)确定样本数据集，计算用该数据集进行软测量建模的建模测试误差e₀。

(3)根据误差使用公式(1)计算K值并对数据集聚类，将数据集划分为K类。

式中：K₀＝1，为向上取整符号，为向下取整符号，e为相对误差。

(4)调节Eps和MinPts，用DBSCAN算法进行局部聚类，不属于任何簇的点即为异常点。这里MinPts和Eps的初值根据不同的数据集依赖经验设定。

(5)合并各局部聚类结果，判断异常样本占总样本的比例p是否小于设定值p₀。

若p＜p₀，进行下一步；

若p≥p₀，依据异常样本占总样本的比例值p，调整MinPts和Eps的大小：

${\mathrm{Eps}}_{j+1}=\left\{\begin{array}{cc}{\mathrm{Eps}}_j+1& \mathrm{Min}{\mathrm{Pts}}_{j+1}<3\\ {\mathrm{Eps}}_j& \mathrm{Min}{\mathrm{Pts}}_{j+1}\&GreaterEqual;3\end{array}\right.---\left(3\right)$

返回步骤(4)。

(6)将删除异常点以后的数据划为正确数据，将正确数据作为建模数据进行软测量建模，得到建模测试误差e。比较e与te₀的大小。

若e≤te₀，则认为此次异常点检测是有效的，将去除异常点后的数据作为样本数据；

若e＞te₀，则此次检测为无效，返回步骤(3)。

(7)设定算法迭代次数为5000次，若在迭代次数范围内设定条件未达到，需重新选择p₀与t。若在迭代次数范围内能达到设定条件，异常点检测结束。

附图说明

图1KMDB算法流程图

图2KMDB算法的异常点检测结果图

图3使用KMDB算法前后建模测试误差对比图

具体实施方案：

取宝钢300吨LF炉2012年6-11月249炉生产数据进行试验，采用KMDB聚类算法对此249组建模数据进行异常点检测，同时建立软测量模型。

算法开始设定p₀取20％，t取0.6。取宝钢数据进行异常点检测，检测结果为异常数据的个数是44个，即检测出的异常点比例为17.67％。图2为KMDB算法的异常点检测结果，其中红色的圆点为检测出的异常点，蓝色的圆点为正确数据样本。结果表明KMDB算法能有效准确的检测出数据样本中的异常点。

对比原数据样本和检测后的数据样本的建模测试误差大小，从图3可知使用该方法后的建模误差有明显减小，有效地验证了KMDB算法异常点检测的有效性和实用性。

Claims (5)

1.一种基于KMDB的软测量建模数据异常点检测方法，其特征在于包含有以下步骤：

(1)设定异常点比例p₀与误差比较系数t。

(2)确定样本数据集，计算用该数据集进行软测量建模的建模测试误差e₀。

(3)根据误差使用公式(1)计算K值并对数据集聚类，将数据集划分为K类。

式中：K₀＝1，为向上取整符号，为向下取整符号，e为相对误差。

(4)调节Eps和MinPts，用DBSCAN算法进行局部聚类，不属于任何簇的点即为异常点。这里MinPts和Eps的初值根据不同的数据集依赖经验设定。

(5)合并各局部聚类结果，判断异常样本占总样本的比例p是否小于设定值p₀。

若p＜p₀，进行下一步；

若p≥p₀，依据异常样本占总样本的比例值p，调整MinPts和Eps的大小：

${\mathrm{Eps}}_{j+1}=\left\{\begin{array}{cc}{\mathrm{Eps}}_j+1& {\mathrm{MinPts}}_{j+1}<3\\ {\mathrm{Eps}}_j& {\mathrm{MinPts}}_{j+1}\&GreaterEqual;3\end{array}\right.---\left(3\right)$

返回步骤(4)。

(6)将删除异常点以后的数据划为正确数据，将正确数据作为建模数据进行软测量建模，得到建模测试误差e。比较e与te₀的大小。

若e≤te₀，则认为此次异常点检测是有效的，将去除异常点后的数据作为样本数据；

若e＞te₀，则此次检测为无效，返回步骤(3)。

(7)设定算法迭代次数为5000次，若在迭代次数范围内设定条件未达到，需重新选择p₀与t。若在迭代次数范围内能达到设定条件，异常点检测结束。

2.权利要求1所述的基于KMDB的软测量建模数据异常点检测方法，其特征还在于：算法在对数据集运用DBSCAN算法检测异常点之前，首先用K-means算法对数据进行初步划分，再使用密度聚类实现数据的异常点检测。

3.权利要求1所述的基于KMDB的软测量建模数据异常点检测方法，其特征还在于：使用K-means算法时，为了减少随机性的初始中心选择K对聚类产生的影响，提出用软测量建模误差来指导K值的选择，如公式(1)所示。

4.权利要求1所述的基于KMDB的软测量建模数据异常点检测方法，其特征还在于：使用DBSCAN算法时，用异常数据样本占总样本的比例p调整参数Eps和MinPts的选择，见公式(2)和(3)，弥补了传统DBSCAN算法的不足。

5.权利要求1所述的基于KMDB的软测量建模数据异常点检测方法，其特征还在于：将异常点检测与软测量建模相结合，这样既保证了异常点检测的质量，同时完成了软测量模型的建立。