CN110162975A - 一种基于近邻传播聚类算法的多步异常点检测方法 - Google Patents

Abstract

本发明公开一种基于近邻传播聚类算法的多步异常点检测方法，通过挖掘正常应用程序以获取到正常数据流模式，然后采用多步异常点检测方法来检测恶意软件，最终实现不依赖已知恶意软件模型可以在Android恶意软件出现初期做到有效预警的目的。本发明可有效解决异常点检测时所面临的“维数灾难”问题，从而避免冗余特征或过多的无关特征的数据噪音对异常点检测技术的干扰；同时克服传统的基于聚类或基于距离的异常点检测技术对初始值选择的过度依赖，通过Virusshare与Google Play获取的实际数据集结合十折交叉验证法验证本发明的有效性，综上，本发明在网络安全领域具有广阔的应用前景。

Description

一种基于近邻传播聚类算法的多步异常点检测方法

技术领域

本发明属于网络安全技术，具体涉及一种基于近邻传播聚类算法的多步异常点检测方法。

背景技术

伴随着互联网的飞速发展带来的多样化的传播途径和复杂的应用环境，给恶意软件的传播和攻击带来了巨大的方便，其攻击性和危害性比传统的计算机病毒更强。由于Android的开放性、应用商店审核不严格、用户能随意的从第三方应用市场发布和下载Android应用程序等特点，导致Android已成为恶意软件的主要攻击目标，据最新研究数据显示高达97％的移动恶意软件将Android设备列为攻击目标。恶意软件是指那些未经明确提示或未经许可的情况下私自安装，且怀有恶意目的或完成恶意功能导致用户合法权益受到侵犯的软件的通称。恶意软件常常有着一些显著的特征，比如频繁访问文件、使用网络、发送短信、获取用户通讯录等等。《网络隐私安全及网络欺诈行为研究分析报告(2018年上半年)》显示通过Android应用程序窃取用户通信录、用户地理位置、以及其它娱乐和支付等隐私信息，伪造银行短信等欺诈行为高居网络安全问题的榜首。因此基于Android平台的恶意软件分析与检测在网络安全的研究中扮演着至关重要的角色。

但是传统的恶意软件检测方法往往是“回顾性的”，即在恶意软件广泛传播之后，才能依赖其充足的已知样本挖掘出对应的恶意软件模式。针对Android恶意软件检测的这个现实情况，本发明引入异常检测技术。异常检测(Outlier Detection)旨在检测出不符合正常行为的数据。异常检测在数据库、数据挖掘、机器学习和统计学等领域有着广泛应用，包括***或保险业的欺诈检测、网络中的入侵检测及故障诊断、卫星图像分析中的新特征识别、健康医疗监控、公共安全中的突发事件的发生、药物研究中新型分子结构的识别等。基于距离和基于聚类的异常检测方法是两种比较典型的异常检测方法，但是在实际应用中会面临两大挑战：(1)高维数据的冗余特征或过多的无关特征带来的数据噪音导致异常点检测技术的准确率较低；(2)基于传统的聚类方法或基于距离的异常点检测技术(例如KNN，K-means,K-center)需要准确的先验知识，过度依赖初始值的选择，如簇的数量以及簇中心的初始化等，该类解决方案的效率很大程度取决于初始值的设置是否合理。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于近邻传播聚类算法的多步异常点检测方法，本发明能够自动化检测和评估Android***安全，充分考虑Android平台在移动用户信息方面的安全威胁，帮助Android用户来完成常用应用程序的自动、综合且高效的检测，并且保证对一个新的Android应用程序预测结果的客观性和准确性。

技术方案：本发明的一种基于近邻传播聚类算法的多步异常点检测方法，包括以下步骤：

步骤1、从Android官方网站Google Play获取正常Android应用程序，并从病毒数据样本库(例如http://virusshare.com/)中获取恶意App，构建应用程序App样本集(含正常样本和恶意样本)，并划分为训练集和测试集；

步骤2、使用FLOWDROID工具提取样本集中的数据流，从而构造数据流频率的特征集X＝(x₁,x₂,...,x_n)∈R^m×n，m是指统计出来的数据流个数，即数据集的原始特征维度，n表示样本集中样本的数量；例如{用户信息→日志}；

步骤3、以数据流为特征构建特征向量，将每个样本App中调用对应数据流特征的频率作为特征值，若该样本App没有调用某个数据流的对应特征值则标记为0；

步骤4、采用EsttSNE降维技术对步骤3的高维数据进行降维；

步骤5、划分App样本入13个涉及到用户敏感信息的子类(例如账户信息、联系方式以及数据库操作等子类，该子类的划分依据Rasthofer等人提出的SUSI标准)，具体地说，假如App通过应用程序接口调用了设备上存储的联系方式则该App归入“联系方式类”，这是一个可重叠的划分，即一个App可能同时存在于多个子类，因为考虑到在同一个App可能会同时调用位置信息、联系方式以及其它敏感信息等；

步骤6、对于每一个子类中取部分正常App采用近临传播算法AP进行聚类，即将App划分为不同的主题来挖掘该类主题的正常模式，并计算该主题的参考点；

步骤7、采用NPOD方法计算候样本集的异常得分，即依据步骤6计算到的13组参考点集合作为参照集计算候选App在这13个子类中的异常得分，如果App没有划分入对应的子类则其异常得分标记为0，并构建异常得分向量；

步骤8、采用预先划分好的训练集(均为正常样本)训练1SVM(one-class SupportVector Machine)分类器模型；

步骤9、采用预先划分好的测试集(包含正常样本和恶意样本)，然后通过步骤8训练出的1SVM分类器，进行Android恶意软件预测和评估。

进一步的，步骤4中对高维数据进行降维的详细过程为：

采用X＝[x₁,x₂,...,x_n]∈R^m×n表示高维数据集，通过EsttSNE降维方法构建高维对象之间的概率分布P以及在低维空间里构建这些点的概率分布Q，然后通过最小化目标KL散度获取其最优低维表示，即：

p_ij表示样本x_i和x_j在高维空间X中的相似度，计算公式如： δ_i表示高斯分布的方差；其中，p_i|j的计算方法与p_j|i相同；

q_ij表示样本y_i和y_j在低维空间(即是对X降维后的低维空间)Y＝[y₁,y₂,...,y_n]∈R^d×n中的相似度，d为降维后的数据，计算方式如：q_ij＝((1+||y_i-y_j||²)K)^-1，此处，p和q用于循环计数。

进一步的，步骤6中参考点计算方法为：

(6.1)采用负欧氏距离s(i,j)＝-||x_i-x_j||²计算正常样本集s中两两样本之间的相似度矩阵N，将参考度p设置为s的中值；

(6.2)分别初始化归属度值A_N×N和吸引度矩阵R_N×N为0；

(6.3)通过规则更新吸引度矩阵，通过规则更新归属度矩阵，其中吸引度r(i,j)表示数据点j适合作为数据点i的类代表的吸引程度，归属度a(i,j)表示数据点i选择点j作为它的类代表的归属程度；

如果迭代次数超过设定的最大值或者当聚类中心在若干次迭代中不发生改变时，则停止计算则确定类中心及各类的样本点，否则继续迭代更新吸引度r(i,j)和归属度a(i,j)；

(6.4)设每一个聚类中心为参考点其中k是自动确定的聚类个数，h为聚类中心的总数量。

进一步的，步骤7中采用NPOD计算异常得分的方法为：

(7.1)遍历需要计算异常得分的候选样本集X_c；

(7.2)通过式子计算获得参考集C_ref(x_c)；

(7.3)通过式子OutScr(x_c)＝(locDist(x_c)+gloDist(x_c))/2计算候选样本x_c的异常得分Outscr_g(x_c)，

其中locDist(x_c)＝[lo/(l-2)]×[o(x_c)/l]，l是参考集的元素数个数；

gloDist(x_c)＝gl/(k-2)，k为计算的参考点的个数；

为参考集中的元素；

(7.4)遍历13个涉及用户敏感信息的13个子类构造异常得分向量OutscrVector(x)←{Outscr₁(x),...,Outscr_catNum(x)}。

有益效果：本发明基于近邻传播聚类算法利用EsttSNE降维方法、异常得分计算方法NPOD和1SVM分类算法等构建的一个用于Android恶意软件的多步异常检测模型；与现有技术相比，本发明具有以下优点：

1)高效率：通过数据流特征的提取和计算频率，可以细粒度的综合表征一个恶意软件，结合机器学习方法中降维技术PCA和t-SNE、AP聚类算法以及1SVM算法实现了一种多步异常点检测技术，从而完成Android恶意软件的高效检测；

2)易扩展：在支持Android平台的环境下，对于新出现的恶意软件或恶意软件变种均可有效检测；

3)智能化：由于在检测恶意软件时不依赖已知的恶意软件模式，而是通过挖掘正常行为模式来做异常点的检测从而有效识别出恶意软件，因此能够克服传统的异常点检测技术对维数灾难和初始值设置过度依赖等问题，且弥补新型恶意软件或恶意软件变种出现初期时已知样本不足时检测的准确率较低的问题。

附图说明

图1是本发明的整体框架示意图；

图2是本发明中提取的数据流特征示意图；

图3是本发明中参考点与异常点样例示意图；

图4是本发明计算的异常得分向量示意图；

图5是本发明中1SVM分类模型示意图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

如图1所示，本发明包括以下三步：(1)采用结合PCA和t-SNE优势于一体的混合降维技术EsttSNE；(2)结合AP聚类算法提出一种无参数的异常值得分计算方法NPOD，本发明的异常值得分函数不仅考虑候选样本与参考簇之间的局部距离，还考虑其全局距离；(3)训练一个one-class SVM分类器用于预恶意软件。具体步骤如下：

步骤1、从Android官方网站Google Play获取正常Android应用程序，并从病毒数据样本库(例如http://virusshare.com/)中获取恶意App，构建应用程序App样本集；

步骤2、使用FLOWDROID工具提取样本集中的数据流，从而构造数据流频率的特征集X＝(x₁,x₂,...,x_n)∈R^m×n，m是指统计出来的数据流个数，即数据集的原始特征维度，例如{用户信息→日志}；

步骤3、以数据流为特征构建特征向量，将每个样本App中调用对应数据流特征的频率作为特征值，若该样本App没有调用某个数据流的对应特征值则标记为0；如图2所示为本实施例的原始特征-数据流的示例(这些数据流的调用频率将是EsttSNE的输入特征)；

步骤4、采用EsttSNE降维技术对步骤3的高维数据进行降维；

步骤5、划分App样本入13个涉及到用户敏感信息的子类(例如账户信息、联系方式以及数据库操作等子类)，如图4所示，假如App通过应用程序接口调用了设备上存储的联系方式则该App归入“联系方式类”，这是一个可重叠的划分，即一个App可能同时存在于多个子类，因为考虑到在同一个App可能会同时调用位置信息、联系方式以及其它敏感信息等；

步骤6、如图3所示，对于每一个子类中取部分正常App采用近临传播算法AP进行聚类，即将App划分为不同的主题来挖掘该类主题的正常模式，并计算该主题的参考点；

步骤7、采用NPOD方法计算候样本集的异常得分，即依据步骤6计算到的13组参考点集合计算候选App在这13个子类中的异常得分，如果App没有划分入对应的子类则其异常得分标记为0，并构建异常得分向量；

步骤8、采用预先划分好的训练集(均为正常样本)训练1SVM(one-class SupportVector Machine)分类器模型；

步骤9、采用预先划分好的测试集(包含正常样本和恶意样本)以及步骤8训练出的1SVM分类器，进行Android恶意软件预测和评估。

如图5所示，为评估本发明在Android恶意软件检测时的有效性，本实施例引入相关评估标准分别：精度(Precision)，准确率(Accuracy)，F-measure，分别定义如下：

其中，TP(true Positive)：真正例，是被分类器正确分类的正样本；TN(TrueNegative)：真负例，是指被分类器正确分类的负样本；FP(False Positive)：指被错误地标记为正样本的负样本；FN(False Negative)：被错误地标记为负样本的正样本。

在相同的实验环境下，例如1SVM中设置c＝256，g＝0.0658，nu＝0.06并采用多项式核函数，通过表1所述实验结果对比可得出，本发明优于传统的ORCA异常点检测方法，其中ORCA异常点检测方法是基于K最近邻(K-NearestNeighbor，KNN)算法，本发明的准确率(Accuracy)可达95.74％，而ORCA方法的准确率(Accuracy)为90.09％，即相同实验环境下本发明对准确率(Accuracy)提升了5.65％。

表1本发明与ORCA异常检测方法在Android恶意软件检测方面的实验对比

上述实施例通过从Virusshare与Google Play上获取的真实数据集结合十折交叉验证法来验证该发明的有效性，实验结果表明，本发明能够实现准确率高达95.74％。并且，在同等实验条件下将本发明与传统ORCA异常模型做比较，比较结果显示，本发明发明所创建多步异常点检测方法的性能明显优于ORCA方法。

综上，本发明能够同时解决“维数灾难”与“过度依赖初始参数设置”两大问题，并首次应用于Android恶意软件检测；通过提取每个应用程序的数据流调用频率作为原始特征，通过EsttSNE降维后进行分类和利用NPOD方法计算样本在各子类中的异常得分，最终通过训练1SVM分类器进行恶意软件预测。

Claims (4)

1.一种基于近邻传播聚类算法的多步异常点检测方法，其特征在于：包括以下步骤：

步骤1、从Android官方网站Google Play获取正常Android应用程序，并从病毒数据样本库中获取恶意App，构建应用程序App样本集，该样本集中包括正常样本和恶意样本分别为训练集和测试集；

步骤2、使用FLOWDROID工具提取样本集中的数据流，从而构造数据流频率的高维数据集X＝(x₁,x₂,...,x_n)∈R^m×n，m是指统计出来的数据流个数，即数据集的原始特征维度，n表示样本集中样本的数量；

步骤3、以数据流为特征构建特征向量，将每个样本App中调用对应数据流特征的频率作为特征值，若该样本App没有调用某个数据流的对应特征值则标记为0；

步骤4、采用EsttSNE降维技术对步骤3的高维数据进行降维；

步骤5、划分App样本入13个涉及到用户敏感信息的子类；

步骤6、对于每一个子类中取部分正常App采用近临传播算法AP进行聚类，即将App划分为不同的主题来挖掘该类主题的正常模式，并计算该主题的参考点；

步骤7、采用NPOD方法计算候样本集的异常得分，即依据步骤6计算到的13组参考点集合计算候选App在这13个子类中的异常得分，如果App没有划分入对应的子类则其异常得分标记为0，并构建异常得分向量；

步骤8、采用预先划分好的训练集训练1SVM分类器模型；

步骤9、采用预先划分好的测试集，然后通过步骤8训练出的1SVM分类器来对Android应用程序是否为恶意软件进行预测。

2.根据权利要求1所述的基于近邻传播聚类算法的多步异常点检测方法，其特征在于：步骤4中对高维数据进行降维的详细过程为：

采用X＝[x₁,x₂,...,x_n]∈R^m×n表示高维数据集，通过EsttSNE降维方法构建高维对象之间的概率分布P以及在低维空间里构建这些点的概率分布Q，然后通过最小化目标KL散度获取其最优低维表示，即：

p_ij表示样本x_i和x_j在高维空间X中的相似度， δ_i表示高斯分布的方差；

q_ij表示样本y_i和y_j在低维空间Y＝[y₁,y₂,...,y_n]∈R^d×n中的相似度，d为降维后的数据，q_ij＝((1+||y_i-y_j||²)K)^-1，

3.根据权利要求1所述的基于近邻传播聚类算法的多步异常点检测方法，其特征在于：步骤6中参考点计算方法为：

(6.1)采用负欧氏距离s(i,j)＝-||x_i-x_j||²计算正常样本集s中两两样本之间的相似度矩阵N，将参考度p设置为s的中值；

(6.2)分别初始化归属度值A_N×N和吸引度矩阵R_N×N为0；

(6.3)通过规则更新吸引度矩阵，通过规则更新归属度矩阵，

其中，吸引度r(i,j)表示数据点j适合作为数据点i的类代表的吸引程度，归属度a(i,j)表示数据点i选择点j作为它的类代表的归属程度；

如果迭代次数超过设定的最大值或者当聚类中心在若干次迭代中不发生改变时，则停止计算则确定类中心及各类的样本点，否则继续迭代更新吸引度r(i,j)和归属度a(i,j)；

(6.4)设每一个聚类中心为参考点其中k是自动确定的聚类个数，h为聚类中心的总数量。

4.根据权利要求1所述的基于近邻传播聚类算法的多步异常点检测方法，其特征在于：步骤7中采用NPOD计算异常得分的方法为：

(7.1)遍历需要计算异常得分的候选样本集X_c；

(7.2)通过式子计算获得参考集C_ref(x_c)，其中代表(6.4)中的参考点；

(7.3)通过式子OutScr(x_c)＝(locDist(x_c)+gloDist(x_c))/2计算候选样本x_c的异常得分Outscr_g(x_c)，

其中locDist(x_c)＝[lo/(l-2)]×[o(x_c)/l]，l是参考集的元素数个数，

gloDist(x_c)＝gl/(k-2)，k为(6.4)中计算的参考点的个数，

为参考集中的元素，

(7.4)遍历13个涉及用户敏感信息的13个子类构造异常得分向量OutscrVector(x)←{Outscr₁(x),...,Outscr_catNum(x)}。