CN103577755A

CN103577755A - 一种基于支持向量机的恶意脚本静态检测方法

Info

Publication number: CN103577755A
Application number: CN201310537462.2A
Authority: CN
Inventors: 王卫红; 秦绪佳; 吕银均
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2013-11-01
Filing date: 2013-11-01
Publication date: 2014-02-12

Abstract

基于支持向量机的恶意脚本检测方法，包括以下步骤：1）从互联网抓取网页，获得网页链接；2）获取链接对应的Javascript脚本内容；3）对基于脚本的web入侵如SQL注入等进行分析，得到入侵相关的特征，并根据入侵特征对获取的脚本内容进行特征提取，将每个脚本转化成基于特征的特征向量；4）利用分类算法SVM获得最佳分类模型，并利用该模型对获得的特征向量进行分类，判断该脚本是否恶意脚本以做相关后续处理。

Description

一种基于支持向量机的恶意脚本静态检测方法

技术领域

本发明涉及恶意脚本测量技术，尤其是恶意Javascript的静态检测方法。

背景技术

随着网络信息化的飞速发展，信息安全问题越来越受到重视。计算机病毒、木马、恶意脚本代码是计算机网络最主要的安全威胁。恶意脚本通过构造特殊的网页，其中包含木马，病毒，蠕虫或攻击性程序，在用户访问这些网页时传播到用户计算机中。

恶意脚本是隐藏在脚本语言中的特殊代码，如js文件等，由于具有规范的脚本语言的格式，语法等，我们容易得到文件静态特征的大量信息，从中分析恶意脚本与良性脚本间的区别。

JavaScript是一种轻量级的基于对象和事件驱动的脚本语言。在HTML基础上使用JavaScript可以开发交互式Web网页，使得网页与用户实现实时的，动态的交互。但是，JavaScript也容易被用于恶意攻击，如跨站脚本攻击，SQL注入攻击及被动下载攻击等。

JavaScript有两个特点：第一，JavaScript是一种像文件一样的描述语言，通过浏览器就可以直接执行；其二、JavaScript编写在HTML文件中，直接查看网页的原始码，就可以看到JavaScript程序，所以没有保护，任何人都可以通过HTML文件复制程序。这两个特点使JavaScript容易成为恶意程序的载体。

根据恶意脚本的执行状态可将目前的检测方法分为静态分析方法和动态分析方法：

1、动态检测则是在可控的环境中运行恶意脚本，通过观测执行状态，进程等来判别恶意脚本，如监视***端口，网络连接，注册表，***配置文件调动等，来检测异常程序进行。该方法得运行恶意代码，增加了***的风险，而且效率不高。

2、静态检测是在不运行恶意脚本的情况下，根据恶意脚本的特征，结构等来识别，如统计恶意特征码，利用判断矩阵法对不同的统计方法加权，然后加权几何平均法得出检测结果。该方法虽然检测效率高，但是对于特征要求明显，且并不善于检测未知恶意代码。

因此，由于静态方法具有检测效率高、资源消耗小等特点，将基于机器学习的特征选择和智能检测方法用于恶意脚本检测将具有较明显的优势。

发明内容

为了克服现有技术,尤其是静态检测技术，对于恶意脚本攻击无法识别未知恶意脚本的问题，本发明提出了一种检测效率高，未知恶意脚本检测准确性良好的基于SVM的恶意脚本静态检测方法。该方法结合分类技术以及静态检测技术，结合分析对恶意脚本进行特征提取后，运用机器学习技术SVM进行分类。

基于支持向量机的恶意脚本检测方法，包括以下步骤：

1）、从互联网抓取网页，获得网页链接；

2）、获取链接对应的Javascript脚本内容；

3）、对基于脚本的web入侵如SQL注入等进行分析，得到入侵相关的特征，并根据入侵特征对获取的脚本内容进行特征提取，将每个脚本转化成基于特征的特征向量；

4）、利用分类算法SVM获得最佳分类模型，并利用该模型对获得的特征向量进行分类，判断该脚本是否恶意脚本以做相关后续处理。

进一步，详述步骤3）中所述分析提取的特征，根据JavaScript的一些基本常规的特征,并从恶意脚本的角度,选择了如表1所示的27个特征。

其中，恶意JavaScript和良性JavaScript特殊关键字的使用频率不同，如JavaScript为了编码而经常使用escape函数。因此我们提出eval函数数量，setTimeout等函数数量，DOM修正函数数量等特征，提取特殊函数，关键字的特征。JavaScript经常使用混淆技术来规避这些特征的提取，为了减少混淆的影响，提取了如空白符占总字符长度比例，字符串最大熵，整体脚本的熵等特征。

表1测试样本的27个特征值

步骤4）中所述SVM分类方法，利用机器学习中公知的SVM技术，可以帮助归纳出已知恶意JavaScript的识别知识，帮助发现未知恶意JavaScript，同时又具有高检测率，低误报率。

由于SVM是一种公知技术，有关SVM的基本原理不再叙述。其中，主流的核函数有多项式核函数、高斯核函数、Sigmoid核函数等，这里选择高斯函数。高斯核函数是一个普适的核函数，通过选择合适的参数，它可以适用于任意分布的样本，能够达到比较稳定的正确率。高斯核函数为：

k (x, x_{c}) = \exp (- \frac{{| | x - xc | |}^{2}}{{(2 γ)}^{2}}), γ > 0

注：x_c表示核函数中心，γ表示函数的宽度参数。

基于支持向量机的恶意脚本检测方法，其特征在于：一般静态检测方法，大多是运用模式匹配等技术，匹配脚本中的恶意特征码，从而判断攻击。本发明结合分类技术，在充分分析恶意脚本的基础上，提取其中一些的统计信息特征，这些特征容易获取并且较难规避，因此能够提高检测的准确率，而由此训练得到的分类模型SVM，也对未知的攻击具有较好的检测能力。

本发明的优点是：

(1)该方法结合分类技术以及静态检测技术，对恶意脚本进行分析提取后，运用机器学习技术SVM进行分类。具有高检测率，低误报率，高检测速率并能检测未知攻击的特点。

(2)该方法针对恶意JavaScript，提出了27个相关特征，其中，既有对一些敏感字符，攻击关键字的统计信息特征，又有如对字符串长度，熵等强度信息的提取，大大的提高了该方法抗规避的能力，降低了误报率。

(3)该方法训练SVM时进行参数调优，提出最优化化模型，大大调高了模型的准确率。

(4)该方法可部署在任意windows，linux主机上，并经实验检验，检测及运行效果良好。

附图说明：

图1是本发明中所述的恶意脚本静态检测基本流程图。

图2是本发明中所述基于SVM的恶意脚本训练测试检测流程图。

图3是本发明中所述的基于SVM的恶意JavaScript检测***模块。

具体实施方式

下面结合附图对本发明做进一步描述。

恶意脚本攻击一直是威胁网络信息安全的主要问题。攻击者将恶意代码注入到网页脚本中，使用户访问该网页的同时，运行了恶意代码来实现攻击。针对恶意脚本攻击，本发明提出了一种基于SVM的恶意脚本静态检测技术，该方法结合分类技术以及静态检测技术，对恶意脚本进行分析提取后，运用机器学习技术SVM进行分类。具有高检测率，低误报率，高检测速率并能检测未知攻击的特点。将该方法应用到一个实施例数据集上进行实验，取得了优良的检测性能。

如图1，本发明主要工作有脚本数据集收集，特征选择，SVM分类器训练以及脚本测试组成。

如图2，本方法由两个阶段组成，由1、2、3、4组成的训练阶段，和由7、6、5、8、9组成的测试阶段。

其中训练阶段如下：

(1)准备训练数据集：从网站上收集足够的恶意JavaScript样本及良性JavaScript，组成实验数据；并且对样本进行预处理：数据清洗，如去除注释,去除多余回车，换行等，可以提高处理速度及准确率；

(2)特征提取：根据表1提取27个特征，对输出数据进行归一化处理，将其缩放到[0,1]。其目的是可以减少因数据特征值过大，或过小引起训练误差；其次可以提高数据计算的效率。

(3)训练SVM：我们在WEKA平台上训练模型，对二分类SVM采用十倍交叉验证，得到选取最佳SVM模型；

(4)参数调优：SVM分类器参数是影响分类器性能的重要因素，合适的参数选择将大大提高分类器的准确性及效率，我们使用网格遍历GridSearch算法来获得最优参数，训练最佳SVM模型；

其中测试阶段如下：

测试阶段的6、7过程与训练阶段一致；

(5)最佳SVM模型；利用由训练阶段得到的最佳SVM模型对测试集进行预测分类；

(8、9)分类结果处理：根据SVM的分类结果判断脚本是否恶意，恶意脚本将会做报警，删除文件等后续处理。

（一）检测***实现

基于支持向量机的恶意脚本检测方法，包括以下步骤：

1）、从互联网抓取网页，获得网页链接；

2）、获取链接对应的Javascript脚本内容；

该***可以直接检测一个JavaScript脚本是否是恶意的，也可以直接处理一个URL地址，检测所指向页面包含的JavaScript脚本。

该原型***采用C语言开发特征提取和SVM检测模块，使用PHP开发脚本提取模块。

1）脚本提取模块

脚本提取模块是提供给用户的接口，提供脚本综合检测服务。用户可以选择上传一个JavaScript脚本，或者提交一个URL地址，***会分析该网页，并将该网页中JavaScript打包给特征提取模块进行进一步分析。

2）特征提取模块

这一模块首先对脚本提取模块提取的JavaScript脚本进行数据清洗，去掉多余的空白行，注释等；然后提取前面提到的27个特征；最后再对数据进行缩放到[0,1]，提高计算效率，并将数据转换成下一检测模块的标准形式。

3）SVM检测模块

SVM检测模块由JavaScript数据集训练，并且参数调优后得到最优的SVM分类器模型。接受特征提取模块的标准数据，用SVM分类器对其检测分类，并将结果返还到脚本提取模块显示。

（二）***实验分析

从VX Heavens收集1000个的恶意JavaScript，并从信誉良好的网站收集1000个良性JavaScript组成实验数据，将其中1/3作为训练集，2/3作为测试集。

根据27个特征，对这2000个样本进行静态特征提取，对提取的特征进行缩放预处理，并将其转换成WEKA所需文件格式。attribute后面为特征名称，最后一个attribute为分类的类别，data后面每一行即是一个归一化后的特征向量，代表一个JavaScript。

对训练集进行SVM学习训练，可得到如表2所示的训练结果。

表2默认参数下实验结果

	TP Rate	FP Rate	Precision	Recall	F-Measure	Roc Area
							恶意	0.912	0.038	0.958	0.912	0.934	0.937
良性	0.962	0.088	0.919	0.962	0.94	0.937
							平均	0.937	0.064	0.938	0.937	0.937	0.937

从表2可以知道，SVM对恶意样本和良性样本都有90%以上的准确率及召回率，在训练集上的准确率达到了93.8%。SVM算法即使在训练样本较少的情况下，也能获得较好的精度。

为了得到最佳的分类模型，必须得对SVM进行参数调优。在本实验中我们使用的是RBF核的C_SVM，需要调整的参数有两个，即惩罚因子C和核函数参数γ。

其中，C用于权衡“寻找间隔最大的超平面”和“保证数据点偏差量最小”，C过大容易造成过学习，而使得泛化性能差；C过小则造成欠学习，样本划分为强类。γ是核半径，直接影响到SVM的分类性能，γ过大，其学习推广能力为零；γ过小，对训练样本错分率为零，但是对新样本判断力很低。

我们利用WEKA上的参数优化算法GridSearch，以准确率为判断标准，对训练集进行网格遍历优化。

C步进为1，γ步进为一个底数单位，以准确率为判断最优标准，得到实验结果如表3所示。

表3网格法寻最优参数

C	γ	最优参数	训练集准确率	测试集准确率
					1～128	2-10～26	C=27，γ=4	96.59%	94.38%
1～128	3-10～36	C=30，γ=1	95.48%	95.46%
					1～128	5-10～56	C=8，γ=5	96.48%	93.38%

通过对比，发现C=27，γ=4时候，训练集准确率最高达到96.59%。并以此参数训练得到最佳优化模型。

之后又使用ADTree及NaγveBayes分类方法进行机器学习训练，得到实验结果如表4所示。

表4ADTree、NaiveBayes、SVM实验结果比较

使用学习方法	训练集准确率	测试集准确率
			ADTree	94.94%	91.68%
NaγveBayes	86.36%	84.31%
			SVM	96.59%	94.38%

从表4可以看出，ADTree和NaγveBayes在训练集和测试集上的准确率都没有SVM高，NaγveBayes更是没有达到90%，而SVM的测试集准确率达到94.38%。也可以看出，SVM比ADTree和NaγveBayes更加善于处理二分类问题。

由以上实验结果可以知道，基于SVM的恶意脚本静态检测方法在样本数据上，无论是准确率还是检测效率上，都取得了良好的检测效果。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims

1.基于支持向量机的恶意脚本检测方法，包括以下步骤：

1）、从互联网抓取网页，获得网页链接；

2）、获取链接对应的Javascript脚本内容；

2.如权利要求1所述的方法，其特征在于：步骤3）中所述分析提取的特征，根据JavaScript的一些基本常规的特征,并从恶意脚本的角度,选择了如表1所示的27个特征，

表1测试样本的27个特征值

3.如权利要求1或2所述的方法，其特征在于：步骤4）中所述SVM分类方法，利用机器学习中公知的SVM技术，归纳出已知恶意JavaScript的识别知识，用以发现未知恶意JavaScript。