CN106878314A - 基于可信度的网络恶意行为检测方法 - Google Patents

基于可信度的网络恶意行为检测方法 Download PDF

Info

Publication number
CN106878314A
CN106878314A CN201710110103.7A CN201710110103A CN106878314A CN 106878314 A CN106878314 A CN 106878314A CN 201710110103 A CN201710110103 A CN 201710110103A CN 106878314 A CN106878314 A CN 106878314A
Authority
CN
China
Prior art keywords
network
malicious act
characteristic vector
inconsistency
eigenmatrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710110103.7A
Other languages
English (en)
Other versions
CN106878314B (zh
Inventor
王志
田美琦
秦枚林
贾春福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Yunan Technology Development Co Ltd
Nankai University
Original Assignee
Tianjin Yunan Technology Development Co Ltd
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Yunan Technology Development Co Ltd, Nankai University filed Critical Tianjin Yunan Technology Development Co Ltd
Priority to CN201710110103.7A priority Critical patent/CN106878314B/zh
Publication of CN106878314A publication Critical patent/CN106878314A/zh
Application granted granted Critical
Publication of CN106878314B publication Critical patent/CN106878314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

基于可信度的网络恶意行为检测方法。本发明以分析网络行为的可信度代替设定固定阈值,实现对网络恶意行为的检测。首先提取网络恶意数据的特征,例如,时间戳、发送的数据包数量、发送数据的频率等,将二进制的网络数据转换成特征向量。大量的恶意网络数据对应的特征向量组成特征矩阵。然后确定不一致性度量函数,计算一个特征矩阵中所有特征向量与该矩阵的不一致性,根据计算结果计算出每个特征向量的统计量p‑value。最后通过用户设定的可信度,计算出用户可接受的最大错误概率;当未知网络行为被发现后,计算该网络行为对于网络恶意行为矩阵的统计量p‑value,如果统计量p‑value大于用户可接受的最大错误概率,则报告该网络行为是恶意网络行为。

Description

基于可信度的网络恶意行为检测方法
技术领域
本发明属于计算机防病毒技术领域。
背景技术
网络中恶意代码数量在爆发式增长,2015年AV-Test的统计数据显示,平均每天新发现的恶意样本数量已经超过30万个。面对海量的恶意样本,机器学习已经成为恶意行为检测领域的主流技术。但是,攻击者为了躲避检测,在不断地升级恶意行为。目前机器学习模型存在退化问题,固定的阈值在初始阶段检测率高,随着攻击行为躲避技术的改进和变化,检测率不断的退化。所以需要一种不需要设定固定阈值的检测方法,能够根据用户可接受的错误概率,给出分析结果,应对恶意行为的不断变异。
发明内容
本发明目的是解决现有技术中存在的检测模型识别率随时间快速退化的问题,提供一种基于可信度的网络恶意行为检测方法。该方法在不需要设定固定阈值的情况下,根据用户可接受的错误概率,通过统计分析网络行为的可信度,实现对网络恶意行为的检测。
本发明的技术方案
基于可信度的网络恶意行为检测方法,包括如下步骤:
第1步、本发明涉及的一些基本概念:
(1)网络恶意行为:本发明中的网络恶意行为是指,以数据包为载体的,在未明确提示用户或未经用户许可的情况下,通过网络对用户计算机或其他终端进行的、侵犯用户合法权益的恶意行为;大量的网络恶意行为的集合为网络恶意行为集合。
(2)不一致性度量函数:描述一个测试样本与一组样本的不一致性,输入是一组样本和一个测试样本,输出是一个数值,也叫做不一致性得分。不同测试样本与同一组样本的不一致性得分之间可以进行比较。得分越高,说明样本与该组样本越不一致,得分越低,说明样本与该组样本越一致。
(3)统计量p-value:描述一个样本的不一致性得分在一组样本中的百分位,取值范围在0到1之间,从统计的角度刻画一个样本与一组样本的相似性。
第2步、网络行为特征的提取
第2.1、确定网络行为的表示粒度,其中包括:数据包级粒度,每个数据包表示一个网络行为;NetFlow级粒度,一个网络连接过程的所有网络数据表示一个网络行为;应用级粒度,一个应用过程的所有数据包表示一个网络行为。
第2.2、选择网络行为的特征点f;根据不同的数据集,可以选择不同的网络行为特征点f,例如,与时间相关的特征点包括:时间戳、持续时间、间隔时间、周期和频率等;与体积相关的特征点包括:发送数据包数、接收数据包数、发送字节数、接收字节数和数据熵等;与协议相关的特征点包括:TCP、UDP、HTTP、DNS和SSH等;与拓扑结构相关的特征点包括:源IP地址、目的IP地址、源端口号、目的端口号、端口号的分布和端口号集合的熵等。
第2.3、提取特征点,将网络行为抽象成特征向量V;在可选网络行为特征点中,选择n个特征点组成特征向量V(f1,f2,...fn),使用所选的n个特征点作为网络行为的抽象表示,将二进制的网络数据映射成特征点组成的特征向量V(f1,f2,...fn);
第2.4、网络恶意行为集合的特征矩阵表示;网络恶意行为集合中包含了N个网络恶意行为,每个网络恶意行为都使用第2.3步中相同结构的特征向量表示,结构相同的特征向量组合成网络恶意行为特征矩阵C;特征矩阵的每一列表示一个特征点、每一行表示一个网络恶意行为的特征向量;
第3步、网络行为与网络恶意行为一致性度量
第3.1、确定不一致性度量函数A(V,C);不一致性度量函数的输入是网络行为特征向量V和网络恶意行为特征矩阵C,返回值是V与C的不一致得分s。不一致性度量函数A可以是任何可以表示不一致性的函数,例如常见的距离函数,计算特征向量V与网络恶意行为特征矩阵C的距离作为不一致得分;
第3.2、计算网络行为特征向量V和网络恶意行为特征矩阵C中向量的不一致性得分;将被检测的网络行为特征向量V放入网络恶意行为特征矩阵C中作为最后一个向量,组成新的特征矩阵C';依次从C'中取出特征向量Vi,使用不一致性度量函数计算特征向量Vi与取出Vi后的特征矩阵的不一致性得分si(i=1,2,……,n+1);最后,所有的N+1个向量都计算出不一致性得分;
第3.3、计算网络行为特征向量V相对于网络恶意行为特征矩阵C的统计量p-value。在第3.2步的计算中,网络行为特征向量V与网络恶意行为特征矩阵C的不一致性得分为sn+1。统计所有不一致性得分大于等于sn+1的特征向量的个数,并除以总向量个数N+1,得到网络行为特征向量V相对于网络恶意行为特征矩阵C的统计量p-value;
第4步、基于可信度的网络恶意行为检测
第4.1、用户给出可接受的可信度Conf;用户只接受准确率在Conf之上的检测结果;
第4.2、计算可接受的最大错误率1-Conf;
第4.3、如果网络行为特征向量V的p-value大于等于1-Conf,则预测该网络行为是网络恶意行为,这一预测的可信度为Conf;否则,报告该网络行为不是恶意行为。
本发明的优点和积极效果:
本发明不需要设定固定的检测阈值,用户只需输入可接受的检测准确率或者最高检测错误率。该方法可以根据恶意行为特征向量矩阵和被检测网络行为特征向量的统计规律,给出满足用户可信度的预测结果,可以有效缓解检测模型的退化,更好的应对网络恶意行为的变异、演变。
【附图说明】
图1基于可信度的网络恶意行为检测方法流程图。
图2是Rbot僵尸网络的NetFlow级行为数据。
图3是“持续时间平均值”特征。
图4是“时间间隔平均值”特征。
图5是“发送字节数平均值”特征。
图6是“接收字节数平均值”特征。
图7是“fft值”特征。
【具体实施方式】
本发明以检测僵尸网络为例进行具体说明。
1、网络恶意行为
1.1公开数据集CTU-13
(http://mcfp.weebly.com/the-ctu-13-dataset-a-labeled-dataset-with-botnet-normal-and-backgro und-traffic.html)共包含13个真实环境下所采集的数据,每一个监控环境中执行不同的恶意软件。RBot家族的恶意软件是目前最活跃的Bot程序软件,可以造成IRC攻击、DDos等多种恶意行为。本实验采用执行Rbot僵尸网络家族的恶意软件、被感染主机数目为10的环境下所采集的20个网络恶意行为的数据。
2、网络行为特征的提取方法
2.1、从1.1中的网络恶意行为中随机选取一个作为网络行为样本S。S的具体数据如图2所示。网络行为的表示粒度为NetFlow级。
2.2、根据数据集,选择五个不同的网络行为特征点f,分别为持续时间平均值、时间间隔平均值、发送字节数平均值、接收字节数平均值和fft值。
2.3、提取选择特征点,使用所选的5个选择的网络行为特征点作为网络行为的抽象表示,将二进制的网络数据映射成特征点组成的特征向量V。经计算,V(f1,f2,...f5)=(580.5,409.293106,58070449.67,0,105.6363636)。
2.4、其余19个网络恶意行为构成网络恶意行为集合,个数N=19。每个网络恶意行为都使用第2.3步中相同结构的特征向量表示,结构相同的特征向量组合成特征矩阵C。经计算,得到C=
网络恶意行为在五个特征上的分布情况如图3~图7所示。
3、网络行为与网络恶意行为一致性度量
3.1、选择BotFinder(http://www.cs.ucsb.edu/~vigna//publications/2012_CoNEXT_BotFinder.pdf)的度量函数作为不一致性度量函数A(V,C),将2.3中的网络行为特征向量V和2.4中的网络恶意行为特征矩阵C作为输入。由于BotFinder计算的是向量与矩阵之间的相似程度,所以返回的不一致性得分s实际为相似性得分,得分越高,说明越一致,得分越低,说明越不一致。
3.2、计算网络行为特征向量V和网络恶意行为特征矩阵C中向量的不一致性得分;将被检测的网络行为特征向量V放入网络恶意行为特征矩阵C中作为最后一个向量,组成新的特征矩阵C',经计算,C'=
依次从C'中取出特征向量Vi,使用不一致性函数计算向量Vi与取出Vi后的特征矩阵的不一致性得分si(i=1,2,……,20)。经计算,(s1,s2,……s20)=(1.3151,2.1346,1.3221,2.1347,1.8376,2.1346,1.3462,2.1345,1.3589,2.1346,1.3585,2.1346,1.3342,2.1346,1.3307,2.1346,1.8228,2.1346,1.1014,2.0066)。
3.3、计算网络行为特征向量V相对于网络恶意行为特征矩阵C的统计量p-value。在第3.2步的计算中,特征向量V与特征矩阵C的不一致性得分为s20=2.0066。由于BotFinder返回的是相似性得分,所以统计的是小于等于s20的特征向量的个数,个数为10。除以总向量个数20,得到特征向量V相对于特征矩阵C的统计量p-value为0.5。
4、基于可信度的网络恶意行为检测
4.1、假设用户给出可接受的可信度Conf为80%。
4.2、计算可接受的最大错误率是=1-Conf=0.2.
4.3、因为网络行为特征向量V的p-value大于等于4.2中1-Conf的值,所以预测该网络行为是恶意网络行为,这一预测的可信度为80%。

Claims (3)

1.基于可信度的网络恶意行为检测方法,其特征在于该方法包括如下步骤:
第1步、基本概念:
(1)网络恶意行为:是指以数据包为载体的,在未明确提示用户或未经用户许可的情况下,通过网络对用户计算机或其他终端进行的、侵犯用户合法权益的恶意行为;大量的网络恶意行为的集合为网络恶意行为集合;
(2)不一致性度量函数:描述一个样本与一组样本的不一致性,输入是一组样本和一个测试样本,输出是一个数值,也叫做不一致性得分,得分越高,说明样本与该组样本越不一致,得分越低,说明样本与该组样本越一致;
(3)统计量p-value:描述一个样本的不一致性得分在一组样本中的百分位,取值范围在0到1之间,从统计的角度刻画一个样本与一组样本的相似性;
第2步、网络行为特征的提取
第2.1、确定网络行为的表示粒度,其中包括:数据包级粒度,NetFlow级粒度和应用级粒度;
数据包级粒度,每个数据包表示一个网络行为;NetFlow级粒度,一个网络连接过程的所有网络数据表示一个网络行为;应用级粒度,一个应用过程的所有数据包表示一个网络行为;
第2.2、选择网络行为的特征点f;根据不同的数据集,选择不同的网络行为特征点f;
第2.3、提取特征点,将网络行为抽象成特征向量V;在可选网络行为特征点中,选择n个特征点组成特征向量V(f1,f2,...fn),使用所选的n个特征点作为网络行为的抽象表示,将二进制的网络数据映射成特征点组成的特征向量V(f1,f2,...fn);
第2.4、网络恶意行为集合的特征矩阵表示;网络恶意行为集合中包含了N个网络恶意行为,每个网络恶意行为都使用第2.3步中相同结构的特征向量表示,结构相同的特征向量组合成网络恶意行为特征矩阵C;特征矩阵的每一列表示一个特征点、每一行表示一个网络恶意行为的特征向量;
第3步、网络行为与网络恶意行为一致性度量
第3.1、确定不一致性度量函数A(V,C);不一致性度量函数的输入是网络行为特征向量V,网络恶意行为特征矩阵C,返回值是V与C的不一致得分s;不一致性度量函数A为任何能够表示不一致性的函数;
第3.2、计算网络行为特征向量V和网络恶意行为特征矩阵C中向量的不一致性得分;将被检测的网络行为特征向量V放入网络恶意行为特征矩阵C中作为最后一个向量,组成新的特征矩阵C';依次从C'中取出特征向量Vi,使用不一致性度量函数计算特征向量Vi与取出Vi后的特征矩阵的不一致性得分si,,i=1,2,……,n+1;最后,所有的N+1个向量都计算出不一致性得分;
第3.3、计算网络行为特征向量V相对于网络恶意行为特征矩阵C的统计量p-value;在第3.2步的计算中,网络行为特征向量V与网络恶意行为特征矩阵C的不一致性得分为sn+1;统计所有不一致性得分大于等于sn+1的特征向量的个数,并除以总向量个数N+1,得到网络行为特征向量V相对于网络恶意行为特征矩阵C的统计量p-value;
第4步、基于可信度的网络恶意行为检测
第4.1、用户给出可接受的可信度Conf;用户只接受准确率在Conf之上的检测结果;
第4.2、计算可接受的最大错误率1-Conf;
第4.3、如果网络行为特征向量V的p-value大于等于1-Conf,则预测该网络行为是网络恶意行为,这一预测的可信度为Conf;否则,报告该网络行为不是恶意行为。
2.根据权利要求1所述的方法,其特征在于第2.2步所述根据不同的数据集选择不同的网络行为特征点f指:
与时间相关的特征点包括:时间戳、持续时间、间隔时间、周期和频率;与体积相关的特征点包括:发送数据包数、接收数据包数、发送字节数、接收字节数和数据熵;与协议相关的特征点包括:TCP、UDP、HTTP、DNS和SSH;与拓扑结构相关的特征点包括:源IP地址、目的IP地址、源端口号、目的端口号、端口号的分布和端口号集合的熵。
3.根据权利要求1所述的方法,其特征在于第3.1步所述不一致性度量函数A(V,C)为距离函数,计算网络行为特征向量V与网络恶意行为特征矩阵C的距离作为不一致得分。
CN201710110103.7A 2017-02-28 2017-02-28 基于可信度的网络恶意行为检测方法 Active CN106878314B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710110103.7A CN106878314B (zh) 2017-02-28 2017-02-28 基于可信度的网络恶意行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710110103.7A CN106878314B (zh) 2017-02-28 2017-02-28 基于可信度的网络恶意行为检测方法

Publications (2)

Publication Number Publication Date
CN106878314A true CN106878314A (zh) 2017-06-20
CN106878314B CN106878314B (zh) 2019-12-10

Family

ID=59168673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710110103.7A Active CN106878314B (zh) 2017-02-28 2017-02-28 基于可信度的网络恶意行为检测方法

Country Status (1)

Country Link
CN (1) CN106878314B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679626A (zh) * 2017-10-10 2018-02-09 上海优刻得信息科技有限公司 机器学习方法、装置、***、存储介质及设备
CN108629183A (zh) * 2018-05-14 2018-10-09 南开大学 基于可信度概率区间的多模型恶意代码检测方法
CN109033836A (zh) * 2018-07-24 2018-12-18 南开大学 基于统计学习的恶意代码多模型交叉检测方法
CN110011990A (zh) * 2019-03-22 2019-07-12 南开大学 内网安全威胁智能分析方法
CN111565192A (zh) * 2020-05-08 2020-08-21 南开大学 基于可信度的内网安全威胁多模型协同防御方法
CN113420777A (zh) * 2021-05-14 2021-09-21 中国民航大学 异常日志检测方法、装置存储介质及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080028468A1 (en) * 2006-07-28 2008-01-31 Sungwon Yi Method and apparatus for automatically generating signatures in network security systems
CN101350822A (zh) * 2008-09-08 2009-01-21 南开大学 一种Internet恶意代码的发现和追踪方法
CN101626322A (zh) * 2009-08-17 2010-01-13 中国科学院计算技术研究所 网络行为异常检测方法及***
CN102946606A (zh) * 2012-11-30 2013-02-27 清华大学 一种检测无线自组织网络攻击的方法
CN103500307A (zh) * 2013-09-26 2014-01-08 北京邮电大学 一种基于行为模型的移动互联网恶意应用软件检测方法
CN103793599A (zh) * 2014-01-17 2014-05-14 浙江远图智控***有限公司 一种基于隐马尔科夫模型的出行异常检测方法
CN105024877A (zh) * 2015-06-01 2015-11-04 北京理工大学 一种基于网络行为分析的Hadoop恶意节点检测***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080028468A1 (en) * 2006-07-28 2008-01-31 Sungwon Yi Method and apparatus for automatically generating signatures in network security systems
CN101350822A (zh) * 2008-09-08 2009-01-21 南开大学 一种Internet恶意代码的发现和追踪方法
CN101626322A (zh) * 2009-08-17 2010-01-13 中国科学院计算技术研究所 网络行为异常检测方法及***
CN102946606A (zh) * 2012-11-30 2013-02-27 清华大学 一种检测无线自组织网络攻击的方法
CN103500307A (zh) * 2013-09-26 2014-01-08 北京邮电大学 一种基于行为模型的移动互联网恶意应用软件检测方法
CN103793599A (zh) * 2014-01-17 2014-05-14 浙江远图智控***有限公司 一种基于隐马尔科夫模型的出行异常检测方法
CN105024877A (zh) * 2015-06-01 2015-11-04 北京理工大学 一种基于网络行为分析的Hadoop恶意节点检测***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIU CAO,ETC.: "Detecting Malicious Behavior and Collusion for Online Rating System", 《2016 IEEE TRUSTCOM/BIGDATASE/ISPA》 *
曹莹: "基于行为特征的恶意程序动态分析与检测方法研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679626A (zh) * 2017-10-10 2018-02-09 上海优刻得信息科技有限公司 机器学习方法、装置、***、存储介质及设备
CN108629183A (zh) * 2018-05-14 2018-10-09 南开大学 基于可信度概率区间的多模型恶意代码检测方法
CN109033836A (zh) * 2018-07-24 2018-12-18 南开大学 基于统计学习的恶意代码多模型交叉检测方法
CN109033836B (zh) * 2018-07-24 2021-07-20 南开大学 基于统计学习的恶意代码多模型交叉检测方法
CN110011990A (zh) * 2019-03-22 2019-07-12 南开大学 内网安全威胁智能分析方法
CN111565192A (zh) * 2020-05-08 2020-08-21 南开大学 基于可信度的内网安全威胁多模型协同防御方法
CN113420777A (zh) * 2021-05-14 2021-09-21 中国民航大学 异常日志检测方法、装置存储介质及设备

Also Published As

Publication number Publication date
CN106878314B (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
CN106878314A (zh) 基于可信度的网络恶意行为检测方法
US9781427B2 (en) Methods and systems for estimating entropy
CN108282497B (zh) 针对SDN控制平面的DDoS攻击检测方法
Loukas et al. Likelihood ratios and recurrent random neural networks in detection of denial of service attacks
CN105681250B (zh) 一种僵尸网络分布式实时检测方法和***
CN103428224B (zh) 一种智能防御DDoS攻击的方法和装置
CN107370752B (zh) 一种高效的远控木马检测方法
CN101635658B (zh) 网络失窃密行为的异常检测方法及***
CN108696543B (zh) 基于深度森林的分布式反射拒绝服务攻击检测、防御方法
US10440035B2 (en) Identifying malicious communication channels in network traffic by generating data based on adaptive sampling
CN113114694A (zh) 一种面向高速网络分组抽样数据采集场景的DDoS攻击检测方法
CN106850658B (zh) 实时在线学习的网络恶意行为检测方法
Lu et al. An HTTP flooding detection method based on browser behavior
Lei et al. Detecting malicious domains with behavioral modeling and graph embedding
Elekar Combination of data mining techniques for intrusion detection system
CN113872962B (zh) 一种面向高速网络抽样数据采集场景的慢速端口扫描检测方法
CN106790175A (zh) 一种蠕虫事件的检测方法及装置
Oudah et al. A novel features set for internet traffic classification using burstiness
CN101980477B (zh) 检测影子用户的数目的方法和装置及网络设备
JP2020022133A (ja) 感染拡大攻撃検知装置、攻撃元特定方法及びプログラム
Li et al. Detecting saturation attacks in software-defined networks
CN113726775B (zh) 一种攻击检测方法、装置、设备及存储介质
CN111447169A (zh) 一种在网关上的实时恶意网页识别方法及***
He et al. PeerSorter: classifying generic P2P traffic in real-time
Lv et al. Network encrypted traffic classification based on secondary voting enhanced random forest

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant