CN112949821A - 基于双重注意力机制的网络安全态势感知方法 - Google Patents
基于双重注意力机制的网络安全态势感知方法 Download PDFInfo
- Publication number
- CN112949821A CN112949821A CN202110116477.6A CN202110116477A CN112949821A CN 112949821 A CN112949821 A CN 112949821A CN 202110116477 A CN202110116477 A CN 202110116477A CN 112949821 A CN112949821 A CN 112949821A
- Authority
- CN
- China
- Prior art keywords
- layer
- attention
- network security
- feature
- security situation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000008447 perception Effects 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 11
- 230000000694 effects Effects 0.000 claims abstract description 8
- 238000000926 separation method Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 36
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000009977 dual effect Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 8
- 208000013409 limited attention Diseases 0.000 abstract 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于双重注意力机制的网络安全态势感知方法。该方法利用入侵活动是一个时间序列事件,采用RNN或RNN的变体来堆叠模型;利用特征分离技术预处理样本数据,减少了模型训练的时间和成本;根据全局注意力机制技术,设计有限注意力模块,将有限注意力和全局注意力形成双重注意力机制来做态势预测,提高了预测准确度。
Description
技术领域
本发明涉及一种网络安全态势感知方法,尤其涉及一种基于双重注意力机制的网络安全态势感知方法,属于网络安全技术领域。
背景技术
随着Internet技术越来越普及,面临的安全问题也日渐显露。面对当前严重的网络安全威胁,传统的入侵检测等技术虽然从一定程度上提高了网络的安全性,但是技术不全面,对网络的整体评估是不足够的。当前,很多研究者使用深度学习相关的算法研究网络安全态势感知,特别是针对数据具有时间序列关系的特点,例如使用循环神经网络(Recurrent Neural Network,RNN)以及它的变体长短期记忆网络(Long Short-TermMemory Network,LSTM)和门控循环单元网络(Gated Recurrent Unit,GRU)来做网络安全态势预测。但是,单独使用RNN以及它的变体网络,预测准确度不够高。因此,提高网络安全态势预测的准确度成了急需解决的问题。
发明内容
本发明要解决的技术问题是提供一种基于双重注意力机制的网络安全态势感知方法。
为解决上述技术问题,本发明采用的技术方案是:一种基于双重注意力机制的网络安全态势感知方法,包括如下步骤:
步骤1:搭建网络安全态势感知模型:所述网络安全态势感知模型包括数据预处理模块、神经网络、切片操作层、注意力层1、注意力层2、预测模块和启动层;所述神经网络为以RNN、LSTM或GRU为基本单元m级以上按时间展开的堆叠模型,m≥1;所述注意力层1和注意力层2的结构相同,包括注意力分布形成层、注意力汇聚层和输出层,输出层的输入端分别连接注意力汇聚层和启动层的输出端;所述启动层的输入端分别连接启动控制特征future输入端和第m级堆叠模型输出层的控制端,其输出端分别向所述注意力层1和注意力层2输出第一隐藏特征h1和第二隐藏特征h2;所述注意力层1的注意力分布形成层的输入端分别与所述神经网络各级堆叠模型的输出端、启动层的相应输出端连接;所述注意力层1的注意力汇聚层的输入端分别与所述神经网络各级堆叠模型的输出端、注意力层1的注意力分布形成层的输出端连接;所述切片操作层的输入端分别连接第m级堆叠模型各隐含层的控制端,其输出端的数目k小于输入端的数目,其输入端的数目与所述神经网络的隐藏层层数相同;所述切片操作层通过切片操作得到k个特征向量
所述注意力层2的注意力分布形成层的输入端分别与切片操作层的各输出端、启动层的相应输出端连接;所述注意力层2的注意力汇聚层的输入端分别与所述切片操作层的各输出端、注意力层2的注意力分布形成层的输出端连接;预测模块包括融合特征信息层和全连接层;融合特征信息层的输入端分别连接注意力层1和注意力层2的输出端,全连接层的输出端输出态势预测结果;
步骤2:网络安全态势感知模型训练:将训练集中与各入侵活动对应的时间序列样本及网络安全态势输入网络安全态势感知模型,训练模型参数;
步骤3:预测网络安全态势感知:将预测集中入侵活动对应的时间序列样本输入所述步骤1训练完成的网络安全态势感知模型,预测网络安全态势。
进一步,所述基于双重注意力机制的网络安全态势感知方法还包括特征分离步骤,样本数据输入所述网络安全态势感知模型之前进行特征分离预处理,包括以下步骤:
步骤A:特征分类:将第i个样本xi里面的特征分为数值型特征、非数值型特征;
步骤C:非数值型特征处理:将非数值型特征转化为数值型特征;包括以下步骤:
步骤C-1:词向量形成的矩阵转换为特征矩阵:
步骤C-2:特征求取:
采用上述技术方案所取得的技术效果在于:
(1)本发明与单独使用基于RNN、LSTM或GRU(Gated recurrent unit)相比,双重注意力机制技术有更高的预测准确度;
(2)本发明与使用传统的one-hot技术做数据预处理相比,使用特征分离技术可以减少模型学习的参数,从而节约内存和训练时间。
附图说明
图1是本发明中的网络安全态势感知模型结构图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,一种基于双重注意力机制的网络安全态势感知方法,包括如下步骤:
步骤1:搭建网络安全态势感知模型:所述网络安全态势感知模型包括数据预处理模块、神经网络、切片操作层、注意力层1、注意力层2、预测模块和启动层;所述神经网络为以RNN、LSTM或GRU为基本单元m级以上按时间展开的堆叠模型,m≥1;所述注意力层1和注意力层2的结构相同,包括注意力分布形成层、注意力汇聚层和输出层,输出层的输入端分别连接注意力汇聚层和启动层的输出端;所述启动层的输入端分别连接启动控制特征future输入端和第m级堆叠模型输出层的控制端,其输出端分别向所述注意力层1和注意力层2输出第一隐藏特征h1和第二隐藏特征h2;所述注意力层1的注意力分布形成层的输入端分别与所述神经网络各级堆叠模型的输出端、启动层的相应输出端连接;所述注意力层1的注意力汇聚层的输入端分别与所述神经网络各级堆叠模型的输出端、注意力层1的注意力分布形成层的输出端连接;所述切片操作层的输入端分别连接第m级堆叠模型各隐含层的控制端,其输出端的数目k小于输入端的数目,其输入端的数目与所述神经网络的隐藏层层数相同;所述切片操作层通过切片操作得到k个特征向量
所述注意力层2的注意力分布形成层的输入端分别与切片操作层的各输出端、启动层的相应输出端连接;所述注意力层2的注意力汇聚层的输入端分别与所述切片操作层的各输出端、注意力层2的注意力分布形成层的输出端连接;预测模块包括融合特征信息层和全连接层;融合特征信息层的输入端分别连接注意力层1和注意力层2的输出端,全连接层的输出端输出态势预测结果;
步骤2:网络安全态势感知模型训练:将训练集中与各入侵活动对应的时间序列样本及网络安全态势输入网络安全态势感知模型,训练模型参数;
步骤3:预测网络安全态势感知:将预测集中入侵活动对应的时间序列样本输入所述步骤1训练完成的网络安全态势感知模型,预测网络安全态势。
所述基于双重注意力机制的网络安全态势感知方法还包括特征分离步骤,样本数据输入所述网络安全态势感知模型之前进行特征分离预处理,包括以下步骤:
步骤A:特征分类:将第i个样本xi里面的特征分为数值型特征、非数值型特征;
步骤C:非数值型特征处理:将非数值型特征的转化为数值型特征;包括以下步骤:
步骤C-1:词向量形成的矩阵转换为特征矩阵:
步骤C-2:特征求取:
如果使用n个非数值型特征,那么可以用矩阵拟合出n个特征。通过(2)式得到的hi仅仅是一个形状为(n,n)的矩阵。为了拟合出n个数值型特征,矩阵hi可以按行求和或者按行求和之后求均值,拟合出了n个特征,具体操作如(5)式所示。
样本输入后,可以分别得到第m级堆叠模型各隐藏层的隐藏特征hj、神经网络输出层的特征通过切片操作得到的特征向量注意力层1和注意力层2计算注意力分布α1和α2的方式相同,计算方式的本质就是常用的sotfmax函数。注意力层1的注意力分布α1的计算方法为:
神经网络输出层的特征是在不同时间下提取到的源隐藏特征,h1是用于计算得分的第一隐藏特征。根据计算得到的注意力分布,可以求得神经网络输出层的特征和通过切片操作得到的特征向的权重平均,分别为全局注意力特征向量c1和有限注意力特征向量c2。
Claims (3)
1.一种基于双重注意力机制的网络安全态势感知方法,其特征在于:包括如下步骤:
步骤1:搭建网络安全态势感知模型:所述网络安全态势感知模型包括数据预处理模块、神经网络、切片操作层、注意力层1、注意力层2、预测模块和启动层;所述神经网络为以RNN、LSTM或GRU为基本单元m级以上按时间展开的堆叠模型,m≥1;所述注意力层1和注意力层2的结构相同,包括注意力分布形成层、注意力汇聚层和输出层,输出层的输入端分别连接注意力汇聚层和启动层的输出端;所述启动层的输入端分别连接启动控制特征future输入端和第m级堆叠模型输出层的控制端,其输出端分别向所述注意力层1和注意力层2输出第一隐藏特征h1和第二隐藏特征h2;所述注意力层1的注意力分布形成层的输入端分别与所述神经网络各级堆叠模型的输出端、启动层的相应输出端连接;所述注意力层1的注意力汇聚层的输入端分别与所述神经网络各级堆叠模型的输出端、注意力层1的注意力分布形成层的输出端连接;所述切片操作层的输入端分别连接第m级堆叠模型各隐含层的控制端,其输出端的数目k小于输入端的数目,其输入端的数目与所述神经网络的隐藏层层数相同;所述切片操作层通过切片操作得到k个特征向量
所述注意力层2的注意力分布形成层的输入端分别与切片操作层的各输出端、启动层的相应输出端连接;所述注意力层2的注意力汇聚层的输入端分别与所述切片操作层的各输出端、注意力层2的注意力分布形成层的输出端连接;预测模块包括融合特征信息层和全连接层;融合特征信息层的输入端分别连接注意力层1和注意力层2的输出端,全连接层的输出端输出态势预测结果;
步骤2:网络安全态势感知模型训练:将训练集中与各入侵活动对应的时间序列样本及网络安全态势输入网络安全态势感知模型,训练模型参数;
步骤3:预测网络安全态势感知:将预测集中入侵活动对应的时间序列样本输入所述步骤1训练完成的网络安全态势感知模型,预测网络安全态势。
2.根据权利要求1所述的基于双重注意力机制的网络安全态势感知方法,其特点在于:所述基于双重注意力机制的网络安全态势感知方法还包括特征分离步骤,样本数据输入所述网络安全态势感知模型之前进行特征分离预处理,包括以下步骤:
步骤A:特征分类:将第i个样本xi里面的特征分为数值型特征、非数值型特征;
步骤C:非数值型特征处理:将非数值型特征转化为数值型特征;包括以下步骤:
步骤C-1:词向量形成的矩阵转换为特征矩阵:
步骤C-2:特征求取:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110116477.6A CN112949821B (zh) | 2021-01-28 | 2021-01-28 | 基于双重注意力机制的网络安全态势感知方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110116477.6A CN112949821B (zh) | 2021-01-28 | 2021-01-28 | 基于双重注意力机制的网络安全态势感知方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112949821A true CN112949821A (zh) | 2021-06-11 |
CN112949821B CN112949821B (zh) | 2024-02-02 |
Family
ID=76239440
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110116477.6A Active CN112949821B (zh) | 2021-01-28 | 2021-01-28 | 基于双重注意力机制的网络安全态势感知方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112949821B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115022194A (zh) * | 2022-05-24 | 2022-09-06 | 桂林电子科技大学 | 基于sa-gru的网络安全态势预测方法 |
CN115242544A (zh) * | 2022-08-05 | 2022-10-25 | 河北师范大学 | 基于改进Res2net的网络安全态势感知方法及*** |
CN116074844A (zh) * | 2023-04-06 | 2023-05-05 | 广东电力交易中心有限责任公司 | 一种基于全流量自适应检测的5g切片逃逸攻击检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106302522A (zh) * | 2016-09-20 | 2017-01-04 | 华侨大学 | 一种基于神经网络和大数据的网络安全态势分析方法和*** |
CN109145112A (zh) * | 2018-08-06 | 2019-01-04 | 北京航空航天大学 | 一种基于全局信息注意力机制的商品评论分类方法 |
CN110428082A (zh) * | 2019-05-31 | 2019-11-08 | 南京邮电大学 | 基于注意力神经网络的水质预测方法 |
-
2021
- 2021-01-28 CN CN202110116477.6A patent/CN112949821B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106302522A (zh) * | 2016-09-20 | 2017-01-04 | 华侨大学 | 一种基于神经网络和大数据的网络安全态势分析方法和*** |
CN109145112A (zh) * | 2018-08-06 | 2019-01-04 | 北京航空航天大学 | 一种基于全局信息注意力机制的商品评论分类方法 |
CN110428082A (zh) * | 2019-05-31 | 2019-11-08 | 南京邮电大学 | 基于注意力神经网络的水质预测方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115022194A (zh) * | 2022-05-24 | 2022-09-06 | 桂林电子科技大学 | 基于sa-gru的网络安全态势预测方法 |
CN115022194B (zh) * | 2022-05-24 | 2023-09-26 | 桂林电子科技大学 | 基于sa-gru的网络安全态势预测方法 |
CN115242544A (zh) * | 2022-08-05 | 2022-10-25 | 河北师范大学 | 基于改进Res2net的网络安全态势感知方法及*** |
CN116074844A (zh) * | 2023-04-06 | 2023-05-05 | 广东电力交易中心有限责任公司 | 一种基于全流量自适应检测的5g切片逃逸攻击检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112949821B (zh) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112949821A (zh) | 基于双重注意力机制的网络安全态势感知方法 | |
CN113393025A (zh) | 一种基于Informer模型编码结构的非侵入式负荷分解方法 | |
CN112087442B (zh) | 基于注意力机制的时序相关网络入侵检测方法 | |
CN109902740B (zh) | 一种基于多算法融合并行的再学习工业控制入侵检测方法 | |
CN109902714B (zh) | 一种基于多图正则化深度哈希的多模态医学图像检索方法 | |
CN112464996B (zh) | 基于LSTM-XGBoost的智能电网入侵检测方法 | |
Hu et al. | Intelligent anomaly detection of trajectories for IoT empowered maritime transportation systems | |
CN111861756A (zh) | 一种基于金融交易网络的团伙检测方法及其实现装置 | |
CN115695025B (zh) | 网络安全态势预测模型的训练方法及装置 | |
CN111709523A (zh) | 一种基于内部集成的宽度学习方法 | |
CN112148997A (zh) | 一种用于灾害事件检测的多模态对抗模型的训练方法和装置 | |
CN111460097B (zh) | 一种基于tpn的小样本文本分类方法 | |
CN113901448A (zh) | 基于卷积神经网络和轻量级梯度提升机的入侵检测方法 | |
CN113568068B (zh) | 一种基于mpi并行的三维神经网络的强对流天气预测方法 | |
CN114282647A (zh) | 基于脉冲神经网络的神经形态视觉传感器目标检测方法 | |
CN114661544A (zh) | 基于注意力机制层的大数据平台日志异常检测方法 | |
CN116545679A (zh) | 一种工业情境安全基础框架及网络攻击行为特征分析方法 | |
CN116720095A (zh) | 一种基于遗传算法优化模糊c均值的电特性信号聚类方法 | |
CN114580738B (zh) | 一种社交媒体危机事件预测方法及*** | |
CN115496153A (zh) | 多头自注意力的深度卷积嵌入聚类风光荷联合场景方法 | |
CN112927248B (zh) | 一种基于局部特征增强和条件随机场的点云分割方法 | |
CN112529637B (zh) | 基于情景感知的服务需求动态预测方法及*** | |
CN108427967B (zh) | 一种实时影像聚类方法 | |
CN112765148A (zh) | 一种基于改进svm多分类的网络入侵检测方法 | |
Sharifi et al. | Mobile user-activity prediction utilizing LSTM recurrent neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |