CN109978070A - 一种改进的K-means异常值检测方法以及装置 - Google Patents

Abstract

本公开是关于一种改进的K‑means异常值检测方法、装置、电子设备以及存储介质。其中，该方法包括：获取待检测数据集并进行K‑means聚类，得到第一聚类结果；获取待检测数据集的密度指数及距离均和，分别计算所述数据集中每个数据点的点密度及标准化欧氏距离，若数据点的点密度小于检测数据集的密度指数且标准化欧氏距离大于待检测数据集的距离均和，则判定所述数据点为孤立点；剔除所述待检测数据集中的孤立点，建立新样本集；获取所述新样本集的初始聚类中心；对所述新样本集进行K‑means聚类，得到第二聚类结果，若所述第二聚类结果优于所述第一聚类结果，则判定所述孤立点为异常值。本公开通过改进的K‑means实现了复杂数据集的异常值检测，提升了预测准确率。

Description

一种改进的K-means异常值检测方法以及装置

技术领域

本公开涉及数据分析领域，具体而言，涉及一种改进的K-means异 常值检测方法、装置、电子设备以及计算机可读存储介质。

背景技术

数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际 应用数据中，发现并提取隐含在其中未知的、可信的、有用的模式的过 程。在数据挖掘过程中，这属于异常值检测过程，即是数据分析过程。 异常值检测方法有很多，例如：基于统计方法的异常值检测方法、基于 距离的异常值检测方法、基于偏离的异常值检测方法、高维数据的异常 值检测方法。但是，大数据的背景下，由于异常值产生的不同原因，表 现出不同的缺点：

基于统计方法的异常值检测方法是最早的异常值检测方法。对给定 的数据假设概率模型，然后根据模型采用不一致性来检测异常值。但是， 这种方法大多只是针对单变量的，而在数据挖掘中，大多都是多维的数 据。另外，一般要求事先知道变量服从什么分布。

基于偏离的异常值检测方法是通过分析一组数据的主要特征来检 测异常值，与给出的描述相偏离的数据视为异常点。但是，这种方法对 异常值存在的假设太过理想化，对复杂的数据分析不太理想。

高维数据的异常值检测方法是将高维数据映射到低维的子空间，根 据低维子空间映射数据的稀疏程度来确定异常值是否存在。但是这种方 法，在海量的高维数据下很难发现异常值的存在。

而聚类是数据挖掘中的一类重要技术，是分析数据并从中发现异常 值点的一种有效手段。它将数据对象分组成为多个类或簇，使得在同一 个簇中的对象之间具有较高的相似度，而不同簇中的对象差别很大。聚 类从数学分析的角度提供了一种准确、细致的分析工具。

在聚类算法中，对K-means算法的改进研究最为广泛。K-means是 一种常用的异常检测的聚类分析方法，它是一种基于划分的动态聚类算 法。但是，传统的K-means算法应用在异常检测中时却存在以下问题：

1.不能聚类前确定聚类个数k值；

2.初始聚类中心的选取影响聚类的结果；

3.孤立点对聚类结果的影响等问题。

由上可知，需要提供一种或多种至少能够解决上述问题的技术方案。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公 开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现 有技术的信息。

发明内容

本公开的目的在于提供一种改进的K-means异常值检测方法、装置、 电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相 关技术的限制和缺陷而导致的一个或者多个问题。

根据本公开的一个方面，提供一种改进的K-means异常值检测方法， 包括：

初始聚类步骤，获取待检测数据集并进行K-means聚类，得到第一 聚类结果；

孤立点判定步骤，获取待检测数据集的密度指数及距离均和，分别 计算所述数据集中每个数据点的点密度及标准化欧氏距离，若数据点的 点密度小于检测数据集的密度指数且标准化欧氏距离大于待检测数据 集的距离均和，则判定所述数据点为孤立点；

新样本集建立步骤，剔除所述待检测数据集中的孤立点，建立新样 本集；

初始聚类中心计算步骤，通过预设算法，获取所述新样本集的初始 聚类中心；

异常值分析步骤，基于所述初始聚类中心对所述新样本集进行 K-means聚类，得到第二聚类结果，若所述第二聚类结果优于所述第一 聚类结果，则判定所述孤立点为异常值。

在本公开的一种示例性实施例中，所述孤立点判定步骤还包括：

所述数据集中每个数据点的标准化欧氏距离计算公式为：

其中，d为数据维数，n为样本数据，S_k为标准差。

在本公开的一种示例性实施例中，所述孤立点判定步骤还包括：

所述待检测数据集的距离均和计算公式为：

在本公开的一种示例性实施例中，所述新样本集建立步骤还包括：

剔除所述待检测数据集中的t个孤立点，建立新样本集，所述新样 本集中样本树为m＝n-t。

在本公开的一种示例性实施例中，所述初始聚类中心计算步骤还包 括：

获取所述新样本集的初始聚类中心的预设算法为：

在本公开的一种示例性实施例中，所述初始聚类中心计算步骤还包 括：

对于所述新样本集，给定密度半径后，计算每一个数据样本关于距 离阈值的密度并排序，选取密度较大的且相对距离较远的K个样本点作 为初始聚类中心。

在本公开的一个方面，提供一种改进的K-means异常值检测装置， 包括：

初始聚类模块，用于获取待检测数据集并进行K-means聚类，得到 第一聚类结果；

孤立点判定模块，用于获取待检测数据集的密度指数及距离均和， 分别计算所述数据集中每个数据点的点密度及标准化欧氏距离，若数据 点的点密度小于检测数据集的密度指数且标准化欧氏距离大于待检测 数据集的距离均和，则判定所述数据点为孤立点；

新样本集建立模块，用于剔除所述待检测数据集中的孤立点，建立 新样本集；

初始聚类中心计算模块，用于通过预设算法，获取所述新样本集的 初始聚类中心；

异常值分析模块，用于基于所述初始聚类中心对所述新样本集进行 K-means聚类，得到第二聚类结果，若所述第二聚类结果优于所述第一 聚类结果，则判定所述孤立点为异常值。

在本公开的一个方面，提供一种电子设备，包括：

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指 令被所述处理器执行时实现根据上述任意一项所述的方法。

在本公开的一个方面，提供一种计算机可读存储介质，其上存储有 计算机程序，所述计算机程序被处理器执行时实现根据上述任意一项所 述的方法。

本公开的示例性实施例中的改进的K-means异常值检测方法，获取 待检测数据集并进行K-means聚类，得到第一聚类结果；获取待检测数 据集的密度指数及距离均和，分别计算所述数据集中每个数据点的点密 度及标准化欧氏距离，若数据点的点密度小于检测数据集的密度指数且 标准化欧氏距离大于待检测数据集的距离均和，则判定所述数据点为孤 立点；剔除所述待检测数据集中的孤立点，建立新样本集；获取所述新 样本集的初始聚类中心；对所述新样本集进行K-means聚类，得到第二 聚类结果，若所述第二聚类结果优于所述第一聚类结果，则判定所述孤 立点为异常值。一方面，所述方法可避免孤立点的稀疏性带来的将边界 点剔除，也避免了避免了当某个变量较大时，该变量起主要作用，其他变量对聚类的效果几乎不起作用的情况；另一方面，也可以避免将密度 较小的点视为异常点剔除的风险，实现了复杂数据集的异常值检测，提 升了预测准确率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解 释性的，并不能限制本公开。

附图说明

通过参照附图来详细描述其示例实施例，本公开的上述和其它特征 及优点将变得更加明显。

图1示出了根据本公开一示例性实施例的改进的K-means异常值检 测方法的流程图；

图2示出了根据本公开一示例性实施例的改进的K-means异常值检 测装置的示意框图；

图3示意性示出了根据本公开一示例性实施例的电子设备的框图； 以及

图4示意性示出了根据本公开一示例性实施例的计算机可读存储介 质的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够 以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供 这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传 达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分， 因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一 个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本 公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践 本公开的技术方案而没有所述特定细节中的一个或更多，或者可以采用 其它的方法、组元、材料、装置、步骤等。在其它情况下，不详细示出 或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开 的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的 实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或 多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不 同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

在本示例实施例中，首先提供了一种改进的K-means异常值检测方 法；参考图1中所示，该改进的K-means异常值检测方法可以包括以下 步骤：

初始聚类步骤S110，获取待检测数据集并进行K-means聚类，得到 第一聚类结果；

孤立点判定步骤S120，获取待检测数据集的密度指数及距离均和， 分别计算所述数据集中每个数据点的点密度及标准化欧氏距离，若数据 点的点密度小于检测数据集的密度指数且标准化欧氏距离大于待检测 数据集的距离均和，则判定所述数据点为孤立点；

新样本集建立步骤S130，剔除所述待检测数据集中的孤立点，建立 新样本集；

初始聚类中心计算步骤S140，通过预设算法，获取所述新样本集的 初始聚类中心；

异常值分析步骤S150，基于所述初始聚类中心对所述新样本集进行 K-means聚类，得到第二聚类结果，若所述第二聚类结果优于所述第一 聚类结果，则判定所述孤立点为异常值。

根据本示例实施例中的改进的K-means异常值检测方法，一方面， 所述方法可避免孤立点的稀疏性带来的将边界点剔除，也避免了避免了 当某个变量较大时，该变量起主要作用，其他变量对聚类的效果几乎不 起作用的情况；另一方面，也可以避免将密度较小的点视为异常点剔除 的风险，实现了复杂数据集的异常值检测，提升了预测准确率。

下面，将对本示例实施例中的改进的K-means异常值检测方法进行 进一步的说明。

在初始聚类步骤S110中，可以获取待检测数据集并进行K-means 聚类，得到第一聚类结果。

在孤立点判定步骤S120中，可以获取待检测数据集的密度指数及 距离均和，分别计算所述数据集中每个数据点的点密度及标准化欧氏距 离，若数据点的点密度小于检测数据集的密度指数且标准化欧氏距离大 于待检测数据集的距离均和，则判定所述数据点为孤立点。

在本示例的实施例中，所述孤立点判定步骤还包括：

所述数据集中每个数据点的标准化欧氏距离计算公式为：

其中，d为数据维数，n为样本数据，S_k为标准差。

在本示例的实施例中，所述孤立点判定步骤还包括：

所述待检测数据集的距离均和计算公式为：

在本示例的实施例中，传统的K-means通常是用距离大小判定是否 为孤立点，定义如下：

如果对于每个样本点i，其与其他样本点的距离和为Dist_i，各个点的 距离均和为H，如果Dist_i＞H，则认为该点是孤立点。其中 d为数据维数，n为样本数据；

但是，这种处理方式只注重了孤立点与其它点的位置，却忽略了孤 立点分布上的稀疏性。这种方法可以把所有孤立点都可以移除，但也比 较容易把密度边界点当成孤立点给剔除掉。从而影响聚类效果。而且此 类欧氏距离，偏向于数值比较大的变量。也就是：当某个变量较大时， 该变量起主要作用，其他变量对聚类的效果几乎不起作用。基于此，我们将欧氏距离改成标准化欧氏距离(S_k为对应的 标准差，对应的平均值标准化距离为为)，避免了这种情况。 另外，由于忽略了孤立点分布上的稀疏性，有的研究者提出了聚类的密 度理论，用密度来判断孤立点。点的密度定义如下：

对空间中任意一点p和距离r，以p为中心，以r为半径p作超维球 体，落在该球体内的数据点的个数称为点p关于距离r的密度，记作 Density(p,r)。

这种方法容易把一些密度较小的点当成孤立点进行处理，从而影响 聚类效果。我们应该把孤立点与密度边界点区别开。为此我们把标准化 欧式距离和密度两者结合起来，当样本点的密度参数足够小时，且其与 类中它点距离大于均值H既可认为该对象为孤立点。

密度边界点是指其密度参数小于给定的密度指数Q，并且包含于聚 类中心p的r半径超维球状范围里，既其与中心点距离小于类中所有点 与中心点的距离的均值。密度边界点的特点是距离类的中心近，但是密 度值小。依据改进后的方法可以将密度边界点与孤立点区别开。密度半 径r密度指数Q的取值方法如下：在混合类型数据的样本集中(包含正常数据和异常数据的混合样本集)，把平均欧式距离较小的类型数据的平均 欧式距离作为r的初始取值，在此基础上实验得到最佳取值。

在新样本集建立步骤S130中，可以剔除所述待检测数据集中的孤 立点，建立新样本集。

在本示例的实施例中，所述新样本集建立步骤还包括：

剔除所述待检测数据集中的t个孤立点，建立新样本集，所述新样 本集中样本树为m＝n-t。

在初始聚类中心计算步骤S140中，可以通过预设算法，获取所述 新样本集的初始聚类中心。

在本示例的实施例中，所述初始聚类中心计算步骤还包括：

获取所述新样本集的初始聚类中心的预设算法为：

在本示例的实施例中，K-means算法通过欧氏距离来聚类的，假设 精确的最佳聚类个数为K，若初始值选择K₁。若K₁＜K，则说明至少有 两个合理划分的类被归结成了一类。若初始值选择K₁＞K，则说明至少 有一个合理划分的类被再次划分成了若干个类。虽然精确的最佳聚类个 数K难以确定，但却可以通过得到聚类个数的上限来缩小聚类个数K的 设置范围。一般经验值为：

在本示例的实施例中，所述初始聚类中心计算步骤还包括：

对于所述新样本集，给定密度半径后，计算每一个数据样本关于距 离阈值的密度并排序，选取密度较大的且相对距离较远的K个样本点作 为初始聚类中心。

在本示例的实施例中，给定一个密度半径r，按照点的密度的定义， 计算每一个数据样本关于距离阈值的密度，把样本点按照密度排序，尽 量选中密度较大的且相对距离较远的k个样本点作为初始聚类中心。下 面将初始聚类中心的选择如下：

输入：有N条记录的数据集Data，密度半径为r；

输出：初始聚类中心S

初始化S，为空；

for循环,读取数据集Data中的每一条记录，计算对应记录的点密度；

根据求出来的点密度，按照降序对Data进行排序；

选取Data中点密度最大的点作为第一个初始聚类中心Center1，将与 Center1与距离最大的点密度作为第二个初始聚类中心Center1；

删除Center1，Center2；

while(Data中仍有未读取记录)：

读取当前记录

计算当前记录与S中每个初始聚类中心的距离

把其中的最小距离保存在d_min中

if(d_min>S中记录间的最小距离)：

if(S中记录个数<k)：

把当前记录加入到S中

else if(S中记录个数＝k)：

计算S中距离最小值点中心点为新的初始中心点，删除S中距离最 小值点，把当前记录加入到S中(对象Cl和C2不进行计算)。

异常值分析步骤S150中，可以基于所述初始聚类中心对所述新样 本集进行K-means聚类，得到第二聚类结果，若所述第二聚类结果优于 所述第一聚类结果，则判定所述孤立点为异常值。

在本示例的实施例中，经过以上k值的选择以及聚类中心的选择， 我们得到改进的K-means聚类算法，用其可避免孤立点的稀疏性带来的 将边界点剔除，也避免了避免了当某个变量较大时，该变量起主要作用， 其他变量对聚类的效果几乎不起作用的情况，也可以避免将密度较小的 点视为孤立点剔除的风险。然后，我们利用新的K-means算法，聚成K 类，分析去除孤立点后的聚类效果，以此来判断剔除的孤立点对聚类效 果是有提升的。

需要说明的是，尽管在附图中以特定顺序描述了本公开中方法的各 个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步 骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选 的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将 一个步骤分解为多个步骤执行等。

此外，在本示例实施例中，还提供了一种改进的K-means异常值检 测装置。参照图2所示，该改进的K-means异常值检测装置200可以包 括：初始聚类模块210、孤立点判定模块220、新样本集建立模块230、 初始聚类中心计算模块240以及异常值分析模块250。其中：

初始聚类模块210，用于获取待检测数据集并进行K-means聚类， 得到第一聚类结果；

孤立点判定模块220，用于获取待检测数据集的密度指数及距离均 和，分别计算所述数据集中每个数据点的点密度及标准化欧氏距离，若 数据点的点密度小于检测数据集的密度指数且标准化欧氏距离大于待 检测数据集的距离均和，则判定所述数据点为孤立点；

新样本集建立模块230，用于剔除所述待检测数据集中的孤立点， 建立新样本集；

初始聚类中心计算模块240，用于通过预设算法，获取所述新样本 集的初始聚类中心；

异常值分析模块250，用于基于所述初始聚类中心对所述新样本集 进行K-means聚类，得到第二聚类结果，若所述第二聚类结果优于所述 第一聚类结果，则判定所述孤立点为异常值。

上述中各改进的K-means异常值检测装置模块的具体细节已经在对 应的音频段落识别方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了改进的K-means异常值检 测装置200的若干模块或者单元，但是这种划分并非强制性的。实际上， 根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和 功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或 者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，在本公开的示例性实施例中，还提供了一种能够实现上述方 法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为 ***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下 形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码 等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模 块”或“***”。

下面参照图3来描述根据本发明的这种实施例的电子设备300。图 3显示的电子设备300仅仅是一个示例，不应对本发明实施例的功能和 使用范围带来任何限制。

如图3所示，电子设备300以通用计算设备的形式表现。电子设备 300的组件可以包括但不限于：上述至少一个处理单元310、上述至少 一个存储单元320、连接不同***组件(包括存储单元320和处理单元 310)的总线330、显示单元340。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处 理单元310执行，使得所述处理单元310执行本说明书上述“示例性方 法”部分中描述的根据本发明各种示例性实施例的步骤。例如，所述处 理单元310可以执行如图1中所示的步骤S110至步骤S150。

存储单元320可以包括易失性存储单元形式的可读介质，例如随机 存取存储单元(RAM)3201和/或高速缓存存储单元3202，还可以进一 步包括只读存储单元(ROM)3203。

存储单元320还可以包括具有一组(至少一个)程序模块3205的 程序/实用工具3204，这样的程序模块3205包括但不限于：操作***、 一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每 一个或某种组合中可能包括网络环境的实现。

总线330可以为表示几类总线结构中的一种或多种，包括存储单元 总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使 用多种总线结构中的任意总线结构的局域总线。

电子设备300也可以与一个或多个外部设备370(例如键盘、指向 设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设 备300交互的设备通信，和/或与使得该电子设备300能与一个或多个其 它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。 这种通信可以通过输入/输出(I/O)接口350进行。并且，电子设备300还可以通过网络适配器360与一个或者多个网络(例如局域网(LAN)， 广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络 适配器360通过总线330与电子设备300的其它模块通信。应当明白， 尽管图中未示出，可以结合电子设备300使用其它硬件和/或软件模块， 包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵 列、RAID***、磁带驱动器以及数据备份存储***等。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述 的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方 式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式 体现出来，该软件产品可以存储在一个非易失性存储介质(可以是 CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台 计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等) 执行根据本公开实施例的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质， 其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施 例中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程 序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所 述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明 各种示例性实施例的步骤。

参考图4所示，描述了根据本发明的实施例的用于实现上述方法的 程序产品400，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程 序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程 序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程 序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质 可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不 限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者 任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括： 具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光 纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、 或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播 的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用 多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。 可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质 可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者 与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不 限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发 明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言— 诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语 言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、 部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务 器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意 种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算 设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来 通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理 的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不 表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是 例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想 到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者 适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理 并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明 书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指 出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的 精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范 围仅由所附的权利要求来限。

Claims (9)

1.一种改进的K-means异常值检测方法，其特征在于，所述方法包括：

初始聚类步骤，获取待检测数据集并进行K-means聚类，得到第一聚类结果；

孤立点判定步骤，获取待检测数据集的密度指数及距离均和，分别计算所述数据集中每个数据点的点密度及标准化欧氏距离，若数据点的点密度小于检测数据集的密度指数且标准化欧氏距离大于待检测数据集的距离均和，则判定所述数据点为孤立点；

新样本集建立步骤，剔除所述待检测数据集中的孤立点，建立新样本集；

初始聚类中心计算步骤，通过预设算法，获取所述新样本集的初始聚类中心；

异常值分析步骤，基于所述初始聚类中心对所述新样本集进行K-means聚类，得到第二聚类结果，若所述第二聚类结果优于所述第一聚类结果，则判定所述孤立点为异常值。

2.如权利要求1所述的方法，其特征在于，所述孤立点判定步骤还包括：

所述数据集中每个数据点的标准化欧氏距离计算公式为：

其中，d为数据维数，n为样本数据，S_k为标准差。

3.如权利要求1所述的方法，其特征在于，所述孤立点判定步骤还包括：

所述待检测数据集的距离均和计算公式为：

4.如权利要求1所述的方法，其特征在于，所述新样本集建立步骤还包括：

剔除所述待检测数据集中的t个孤立点，建立新样本集，所述新样本集中样本树为m＝n-t。

5.如权利要求1所述的方法，其特征在于，所述初始聚类中心计算步骤还包括：

获取所述新样本集的初始聚类中心的预设算法为：

6.如权利要求1所述的方法，其特征在于，所述初始聚类中心计算步骤还包括：

对于所述新样本集，给定密度半径后，计算每一个数据样本关于距离阈值的密度并排序，选取密度较大的且相对距离较远的K个样本点作为初始聚类中心。

7.一种改进的K-means异常值检测装置，其特征在于，所述装置包括：

初始聚类模块，用于获取待检测数据集并进行K-means聚类，得到第一聚类结果；

孤立点判定模块，用于获取待检测数据集的密度指数及距离均和，分别计算所述数据集中每个数据点的点密度及标准化欧氏距离，若数据点的点密度小于检测数据集的密度指数且标准化欧氏距离大于待检测数据集的距离均和，则判定所述数据点为孤立点；

新样本集建立模块，用于剔除所述待检测数据集中的孤立点，建立新样本集；

初始聚类中心计算模块，用于通过预设算法，获取所述新样本集的初始聚类中心；

异常值分析模块，用于基于所述初始聚类中心对所述新样本集进行K-means聚类，得到第二聚类结果，若所述第二聚类结果优于所述第一聚类结果，则判定所述孤立点为异常值。

8.一种电子设备，其特征在于，包括

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据权利要求1至6中任一项所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至6中任一项所述方法。