CN110995652B - 一种基于深度迁移学***台未知威胁检测方法 - Google Patents

一种基于深度迁移学***台未知威胁检测方法 Download PDF

Info

Publication number
CN110995652B
CN110995652B CN201911065689.5A CN201911065689A CN110995652B CN 110995652 B CN110995652 B CN 110995652B CN 201911065689 A CN201911065689 A CN 201911065689A CN 110995652 B CN110995652 B CN 110995652B
Authority
CN
China
Prior art keywords
threat detection
deep
data
network
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911065689.5A
Other languages
English (en)
Other versions
CN110995652A (zh
Inventor
孙治
周玉金
刘正军
李春林
陈剑锋
徐锐
饶志宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electronic Technology Cyber Security Co Ltd
Original Assignee
China Electronic Technology Cyber Security Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electronic Technology Cyber Security Co Ltd filed Critical China Electronic Technology Cyber Security Co Ltd
Priority to CN201911065689.5A priority Critical patent/CN110995652B/zh
Publication of CN110995652A publication Critical patent/CN110995652A/zh
Application granted granted Critical
Publication of CN110995652B publication Critical patent/CN110995652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Virology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于深度迁移学***台未知威胁检测方法，包括如下步骤：步骤一、构建源领域样本集；步骤二、采用与步骤一相同的方法采集目标领域的样本数据，然后采用数据增强的方法对样本数据进行扩充，构建目标领域样本集；步骤三、构建基于深度迁移学习的威胁检测模型。与现有技术相比，本发明的积极效果是：1、通过目标领域的数据增强，改善深度学习模型泛化能力不足的问题，进而提升了深度学习模型的预测效果。2、通过针对互联网海量威胁样本的迁移学习，实现了在不降低已知威胁检测率的前提下，有效检测没有出现过的未知威胁。3、通过融合特征的深度神经网络，融合了不同维度的行为特征，提升了模型的识别准确率。

Description

一种基于深度迁移学***台未知威胁检测方法
技术领域
本发明涉及一种基于深度迁移学***台未知威胁检测方法。
背景技术
伴随着互联网技术、移动通信技术的日益发展和普及，大数据平台也面临着网络威胁和数据安全问题。大数据平台与用户之间的信息交换量大大提高，大数据平台领域的数据安全和风险防范比传统网络更加复杂。特别是针对Hadoop等与移动业务***整合的大数据平台，当前往往缺乏安全保护手段，或者采用的安全防御不足，面临数据窃取、数据完整、身份伪造等安全威胁且存在威胁样本较少的问题。针对现有大数据平台威胁检测方法的不足，提出一种基于深度迁移学***台中仅有少量标注样本数据的学习问题。
现有发明中与迁移学***台面临的其它安全威胁；高级威胁检测方法及智能探针装置和高级威胁检测***(申请号：CN201810695099.X，申请日期：2018.06.29)，通过智能探针检测用户设备中的资源占用信息和操作日志进行威胁检测，但由于没有采集流量特征不能检测恶意流量威胁；迁移学习方法及装置(申请号：CN201510032970.4，申请日期：2015.01.22)，该发明仅是迁移学习的一种实现方法及装置，并未涉及应用领域特别是网络安全，该方案提出的迁移学习方法也不适合本发明。
发明内容
为了克服现有技术的上述缺点，本发明提供了一种基于深度迁移学***台未知威胁检测方法，主要针对大数据平台面临的未知威胁提出解决方案，具体针对以下几个方面的问题提出解决方案：
1)如何检测针对大数据平台的未知威胁，解决大数据平台的威胁小样本数据集的问题；
2)如何采集未知威胁的特征，解决威胁特征类别不足的问题；
3)如何提高未知威胁的识别率，解决多种威胁特征的融合问题以及融合特征的深度神经网络训练问题。
本发明解决其技术问题所采用的技术方案是：一种基于深度迁移学***台未知威胁检测方法，包括如下步骤：
步骤一、构建源领域样本集：
在大数据平台的各个节点上部署信息采集探针装置，将不同的恶意软件单独放在沙箱中执行一段时间后，采集不同维度的特征数据，并将特征数据进行归一化处理；
步骤二、采用与步骤一相同的方法采集目标领域的样本数据，然后采用数据增强的方法对样本数据进行扩充，构建目标领域样本集；
步骤三、构建基于深度迁移学习的威胁检测模型：
先使用源领域样本集训练深度学习，然后用目标领域样本集对模型进行再训练，得到基于融合特征的深度神经网络威胁检测模型。
与现有技术相比，本发明的积极效果是：
本发明基于迁移学***台的威胁检测能力，相比现有技术主要具备以下有益效果和优点：
1、通过目标领域的数据增强，扩充了针对大数据平台的威胁样本，改善深度学习模型泛化能力不足的问题，进而提升了深度学习模型的预测效果。
2、通过针对互联网海量威胁样本的迁移学习，实现了在不降低已知威胁检测率的前提下，有效检测没有出现过的未知威胁。
3、通过融合特征的深度神经网络，融合了不同维度的行为特征，充分表征了各个节点的工作状态，提升了模型的识别准确率。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1为本发明的基于深度迁移学习的威胁检测方案原理图；
图2为基于融合特征的深度神经网络威胁检测原理图。
具体实施方式
一、实现方案
本发明所提出的方案实现了基于深度迁移学***台威胁检测***。图1给出了基于深度迁移学习的威胁检测方案的示意图。以下基于图1说明工作原理。
如图1所示，本发明的核心内容是从其他恶意程序的执行过程中获取相应的数据，构建源领域的大型威胁样本集，利用该样本集中丰富的监督信息来帮助目标领域深度学习模型的训练。
在数据采集和处理方面，采取在大数据平台的各个节点上部署信息采集探针装置，然后将不同的恶意软件单独放在沙箱中执行一段时间，通常设定执行时间为30分钟，每次采样的间隔时间为3秒，采集相关的***信息或者日志信息，共4类不同维度的特征数据用以反应节点工作状态，包括：网络流量数据、处理器性能数据、内存性能数据、磁盘性能数据。因为采集的数据量纲不同，在数据处理过程，需要用归一化手段，将数据归一到[-1,1]区间，这样就完成了源领域的大规模样本集构建。而针对目标领域，也采用相同的方法构建小样本数据，然后使用数据增强的方法扩充小样本集，具体而言就是把样本向量的每一个维度添加一个随机扰动项，扰动项取值范围为[-0.001,0.001]之间，这样就可以按照需求扩充小样本数据集。在采样时间间隔内，各个节点采集到的特征数据上传到具有威胁检测能力的中心节点，以便后面进行未知威胁检测。
下面分别介绍在采样时间间隔内，每类特征具体需要采集的数据。
1)网络流量数据：最大流量包长度、最小流量包长度、后向方差数据字节、FIN包的个数、最大空闲时间、初始窗口阶段发送的字节数。共计6个特征。
2)处理器性能数据：用户空间的cpu最大使用率、内核空间的cpu最大使用率、cpu最大空闲率、cpu在等待I/O的最大时间、cpu处理软中断的数量、cpu处理硬中断的数量。共计6个特征。
3)内存性能数据：可使用的内存平均数、交换分区的平均大小、交换分区的平均大小、***换入的交换页面数量、***换出的交换页面数量、***产生的缺页数量。共计6个特征。
4)磁盘性能数据：可使用的磁盘平均数、数磁盘读出的块的总数、写入磁盘的块的总数、I/O请求的平均大小、I/O请求的平均等待时间、处理I/O请求所占用的时间。共计6个特征。
在迁移学***台的威胁，该细分领域威胁样本规模非常有限，属于典型的小样本数据集。源领域是互联网广泛的恶意代码威胁，拥有海量的威胁样本。因此，方案中先使用源领域海量威胁样本训练深度学***台未知威胁的模型。
在深度学习威胁检测方面，方案使用了一种基于融合特征的深度神经网络威胁检测模型，该模型分为了两部分组成，分别是特征融合网络和威胁检测网络。特征融合网络可以融合不同种类的威胁样本特征，而威胁检测网络可以将融合后的特征作二分类，识别其行为是否具有威胁。基于融合特征的深度神经网络威胁检测模型的工作原理参见下一小节。
二、威胁检测的原理
在上一节介绍的数据采集处理和迁移学习的基础上，本节进一步阐释基于融合特征的深度神经网络威胁检测模型的工作原理。
如图2所示，本方案的中使用的深度学习模型包含分为了两部分组成：特征融合网络和威胁检测网络。首先定义t∈{1,2,3,4}表示4种特征融合网络，lt＝{1,2,3}是特征融合网络的每一层，xt是特征融合网络的输入向量：流量特征向量，内存特征向量，处理器特征向量，磁盘特征向量；然后用
Figure BDA0002259265870000051
代表输入到lt层的向量，
Figure BDA0002259265870000052
是lt层的输出，
Figure BDA0002259265870000053
表示lt层的权重，
Figure BDA0002259265870000054
是lt层的偏移量，神经网络的激活函数f采用的是线性整流函数(ReLU)。那么特征融合网络向前传递公式为：
Figure BDA0002259265870000061
Figure BDA0002259265870000062
Figure BDA0002259265870000063
接下来定义l'＝{1,2,3,4}是威胁检测网络的每一层，z'(l')代表输入到l'层的向量，y'(l')是l'层的输出，W(l')表示l'层的权重，b(l')是l'层的偏移量，神经网络的激活函数f同样采用的是线性整流函数，o是威胁检测网络的输出函数，采用Sigmoid函数。那么威胁检测网络向前传递公式为：
Figure BDA0002259265870000064
z'(l′+1)＝W'(l′+1)y'(l′)+b'(l′+1)
y'(l′+1)＝f(z'(l′+1))＝max(0,z'(l′+1)),l'≠4
Figure BDA0002259265870000066
用L表示训练数据的标签，L'表示威胁检测模型的预测标签。那么当y'(4)≥0.5时，表示检测到有威胁，L'＝1；y'(4)<0.5时，表示没有检测到威胁，L'＝0。基于融合特征的深度神经网络在训练过程中，采用的是交叉熵损失函数：
Figure BDA0002259265870000065

Claims (7)

1.一种基于深度迁移学***台未知威胁检测方法，其特征在于：包括如下步骤：
步骤一、构建源领域样本集：
在大数据平台的各个节点上部署信息采集探针装置，将不同的恶意软件单独放在沙箱中执行一段时间后，采集不同维度的特征数据，并将特征数据进行归一化处理；
步骤二、采用与步骤一相同的方法采集目标领域的样本数据，然后采用数据增强的方法对样本数据进行扩充，构建目标领域样本集；
步骤三、构建基于深度迁移学习的威胁检测模型：
先使用源领域样本集训练深度学习，然后用目标领域样本集对模型进行再训练，得到基于融合特征的深度神经网络威胁检测模型：特征融合网络和威胁检测网络，其中：特征融合网络向前传递公式为：
Figure FDA0003238235520000011
Figure FDA0003238235520000012
Figure FDA0003238235520000013
式中，t∈{1,2,3,4}表示4种特征融合网络，lt＝{1,2,3}是特征融合网络的每一层，xt是特征融合网络的输入向量，
Figure FDA0003238235520000014
代表输入到lt层的向量，
Figure FDA0003238235520000015
是lt层的输出，
Figure FDA0003238235520000016
表示lt层的权重，
Figure FDA0003238235520000017
是lt层的偏移量，f是神经网络的激活函数，采用线性整流函数。
2.根据权利要求1所述的一种基于深度迁移学***台未知威胁检测方法，其特征在于：对样本数据进行扩充的方法为：将样本向量的每一个维度添加一个取值范围为[-0.001,0.001]之间的随机扰动项，然后再按照需求扩充小样本数据集。
3.根据权利要求1所述的一种基于深度迁移学***台未知威胁检测方法，其特征在于：所述不同维度的特征数据包括：
1)网络流量数据：最大流量包长度、最小流量包长度、后向方差数据字节、FIN包的个数、最大空闲时间、初始窗口阶段发送的字节数；
2)处理器性能数据：用户空间的cpu最大使用率、内核空间的cpu最大使用率、cpu最大空闲率、cpu在等待I/O的最大时间、cpu处理软中断的数量、cpu处理硬中断的数量；
3)内存性能数据：可使用的内存平均数、交换分区的平均大小、交换分区的平均大小、***换入的交换页面数量、***换出的交换页面数量、***产生的缺页数量；
4)磁盘性能数据：可使用的磁盘平均数、数磁盘读出的块的总数、写入磁盘的块的总数、I/O请求的平均大小、I/O请求的平均等待时间、处理I/O请求所占用的时间。
4.根据权利要求1所述的一种基于深度迁移学***台未知威胁检测方法，其特征在于：所述特征融合网络的输入向量为：流量特征向量、内存特征向量、处理器特征向量、磁盘特征向量。
5.根据权利要求1所述的一种基于深度迁移学***台未知威胁检测方法，其特征在于：所述威胁检测网络向前传递公式为：
Figure FDA0003238235520000021
z'(l′+1)＝W'(l′+1)y'(l′)+b'(l′+1)
y'(l′+1)＝f(z'(l′+1))＝max(0,z'(l′+1)),l'≠4
Figure FDA0003238235520000022
式中，l'＝{1,2,3,4}是威胁检测网络的每一层，z'(l')代表输入到l'层的向量，y'(l′)是l'层的输出，W(l')表示l'层的权重，b(l')是l'层的偏移量，神经网络的激活函数f同样采用的是线性整流函数，o是威胁检测网络的输出函数，采用Sigmoid函数。
6.根据权利要求5所述的一种基于深度迁移学***台未知威胁检测方法，其特征在于：当y'(4)≥0.5时，L'＝1；当y'(4)<0.5时，L'＝0，其中L'表示威胁检测模型的预测标签。
7.根据权利要求6所述的一种基于深度迁移学***台未知威胁检测方法，其特征在于：在所述基于融合特征的深度神经网络的训练过程中，采用如下交叉熵损失函数：
Figure FDA0003238235520000031
式中，L表示训练数据的标签。
CN201911065689.5A 2019-11-04 2019-11-04 一种基于深度迁移学***台未知威胁检测方法 Active CN110995652B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911065689.5A CN110995652B (zh) 2019-11-04 2019-11-04 一种基于深度迁移学***台未知威胁检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911065689.5A CN110995652B (zh) 2019-11-04 2019-11-04 一种基于深度迁移学***台未知威胁检测方法

Publications (2)

Publication Number Publication Date
CN110995652A CN110995652A (zh) 2020-04-10
CN110995652B true CN110995652B (zh) 2021-11-12

Family

ID=70083027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911065689.5A Active CN110995652B (zh) 2019-11-04 2019-11-04 一种基于深度迁移学***台未知威胁检测方法

Country Status (1)

Country Link
CN (1) CN110995652B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881446B (zh) * 2020-06-19 2023-10-27 中国科学院信息工程研究所 一种工业互联网恶意代码识别方法及装置
CN113919514B (zh) * 2021-12-09 2022-03-22 北京微步在线科技有限公司 一种基于威胁情报的样本数据获取方法及装置
CN115643086A (zh) * 2022-10-21 2023-01-24 国网四川省电力公司电力科学研究院 一种基于深度神经网络的未知威胁检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488297A (zh) * 2015-12-15 2016-04-13 东北大学 一种基于小样本建立复杂产品优化设计代理模型的方法
CN108322445A (zh) * 2018-01-02 2018-07-24 华东电力试验研究院有限公司 一种基于迁移学习和集成学习的网络入侵检测方法
CN109753566A (zh) * 2019-01-09 2019-05-14 大连民族大学 基于卷积神经网络的跨领域情感分析的模型训练方法
CN110008842A (zh) * 2019-03-09 2019-07-12 同济大学 一种基于深度多损失融合模型的行人重识别方法
CN110224987A (zh) * 2019-05-08 2019-09-10 西安电子科技大学 基于迁移学习的网络入侵检测模型的构建方法、检测***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10848508B2 (en) * 2016-09-07 2020-11-24 Patternex, Inc. Method and system for generating synthetic feature vectors from real, labelled feature vectors in artificial intelligence training of a big data machine to defend

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488297A (zh) * 2015-12-15 2016-04-13 东北大学 一种基于小样本建立复杂产品优化设计代理模型的方法
CN108322445A (zh) * 2018-01-02 2018-07-24 华东电力试验研究院有限公司 一种基于迁移学习和集成学习的网络入侵检测方法
CN109753566A (zh) * 2019-01-09 2019-05-14 大连民族大学 基于卷积神经网络的跨领域情感分析的模型训练方法
CN110008842A (zh) * 2019-03-09 2019-07-12 同济大学 一种基于深度多损失融合模型的行人重识别方法
CN110224987A (zh) * 2019-05-08 2019-09-10 西安电子科技大学 基于迁移学习的网络入侵检测模型的构建方法、检测***

Also Published As

Publication number Publication date
CN110995652A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
Aljawarneh et al. Anomaly-based intrusion detection system through feature selection analysis and building hybrid efficient model
CN110995652B (zh) 一种基于深度迁移学***台未知威胁检测方法
Hu et al. GANFuzz: A GAN-based industrial network protocol fuzzing framework
WO2021088372A1 (zh) SDN网络中基于神经网络的DDoS检测方法及***
Ortet Lopes et al. Towards effective detection of recent DDoS attacks: A deep learning approach
CN106209862A (zh) 一种盗号防御实现方法及装置
CN105743880A (zh) 一种数据分析***
CN107070897B (zh) 入侵检测***中基于多属性哈希去重的网络日志存储方法
CN107733886A (zh) 一种基于逻辑回归的应用层DDoS攻击检测方法
CN109525577B (zh) 基于http行为图的恶意软件检测方法
CN113761531A (zh) 一种基于分布式api特征分析的恶意软件检测***及方法
CN111224998B (zh) 一种基于极限学习机的僵尸网络识别方法
Thangasamy et al. A Novel Framework for DDoS Attacks Detection Using Hybrid LSTM Techniques.
Lee et al. ATMSim: An anomaly teletraffic detection measurement analysis simulator
CN110650157B (zh) 基于集成学习的Fast-flux域名检测方法
CN115604032A (zh) 一种电力***复杂多步攻击检测方法及***
CN113055890B (zh) 一种面向移动恶意网页的多设备组合优化的实时检测***
CN111447169A (zh) 一种在网关上的实时恶意网页识别方法及***
Li et al. Web application-layer DDOS attack detection based on generalized Jaccard similarity and information entropy
Zhang et al. An interpretable intrusion detection method based on few-shot learning in cloud-ground interconnection
CN111401067B (zh) 一种蜜罐仿真数据的生成方法及装置
Xie et al. Research and application of intrusion detection method based on hierarchical features
CN111683102A (zh) Ftp行为数据处理方法、识别异常ftp行为的方法及装置
CN112929369A (zh) 一种分布式实时DDoS攻击检测方法
CN111586052A (zh) 一种基于多层级的群智合约异常交易识别方法及识别***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant