CN112949821B - 基于双重注意力机制的网络安全态势感知方法 - Google Patents

基于双重注意力机制的网络安全态势感知方法 Download PDF

Info

Publication number
CN112949821B
CN112949821B CN202110116477.6A CN202110116477A CN112949821B CN 112949821 B CN112949821 B CN 112949821B CN 202110116477 A CN202110116477 A CN 202110116477A CN 112949821 B CN112949821 B CN 112949821B
Authority
CN
China
Prior art keywords
layer
attention
feature
network security
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110116477.6A
Other languages
English (en)
Other versions
CN112949821A (zh
Inventor
赵冬梅
***
宋会倩
王方伟
王长广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Normal University
Original Assignee
Hebei Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Normal University filed Critical Hebei Normal University
Priority to CN202110116477.6A priority Critical patent/CN112949821B/zh
Publication of CN112949821A publication Critical patent/CN112949821A/zh
Application granted granted Critical
Publication of CN112949821B publication Critical patent/CN112949821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于双重注意力机制的网络安全态势感知方法。该方法利用入侵活动是一个时间序列事件，采用RNN或RNN的变体来堆叠模型；利用特征分离技术预处理样本数据，减少了模型训练的时间和成本；根据全局注意力机制技术，设计有限注意力模块，将有限注意力和全局注意力形成双重注意力机制来做态势预测，提高了预测准确度。

Description

基于双重注意力机制的网络安全态势感知方法
技术领域
本发明涉及一种网络安全态势感知方法，尤其涉及一种基于双重注意力机制的网络安全态势感知方法，属于网络安全技术领域。
背景技术
随着Internet技术越来越普及，面临的安全问题也日渐显露。面对当前严重的网络安全威胁，传统的入侵检测等技术虽然从一定程度上提高了网络的安全性，但是技术不全面，对网络的整体评估是不足够的。当前，很多研究者使用深度学习相关的算法研究网络安全态势感知，特别是针对数据具有时间序列关系的特点，例如使用循环神经网络(Recurrent Neural Network,RNN)以及它的变体长短期记忆网络(Long Short-TermMemory Network，LSTM)和门控循环单元网络(Gated Recurrent Unit，GRU)来做网络安全态势预测。但是，单独使用RNN以及它的变体网络，预测准确度不够高。因此，提高网络安全态势预测的准确度成了急需解决的问题。
发明内容
本发明要解决的技术问题是提供一种基于双重注意力机制的网络安全态势感知方法。
为解决上述技术问题，本发明采用的技术方案是：一种基于双重注意力机制的网络安全态势感知方法，包括如下步骤：
步骤1：搭建网络安全态势感知模型：所述网络安全态势感知模型包括数据预处理模块、神经网络、切片操作层、注意力层1、注意力层2、预测模块和启动层；所述神经网络为以RNN、LSTM或GRU为基本单元m级以上按时间展开的堆叠模型，m≥1；所述注意力层1和注意力层2的结构相同，包括注意力分布形成层、注意力汇聚层和输出层，输出层的输入端分别连接注意力汇聚层和启动层的输出端；所述启动层的输入端分别连接启动控制特征future输入端和第m级堆叠模型输出层的控制端，其输出端分别向所述注意力层1和注意力层2输出第一隐藏特征h1和第二隐藏特征h2；所述注意力层1的注意力分布形成层的输入端分别与所述神经网络各级堆叠模型的输出端、启动层的相应输出端连接；所述注意力层1的注意力汇聚层的输入端分别与所述神经网络各级堆叠模型的输出端、注意力层1的注意力分布形成层的输出端连接；所述切片操作层的输入端分别连接第m级堆叠模型各隐含层的控制端，其输出端的数目k小于输入端的数目，其输入端的数目与所述神经网络的隐藏层层数相同；所述切片操作层通过切片操作得到k个特征向量
其中，为模型第j层输出的隐藏层特征；
所述注意力层2的注意力分布形成层的输入端分别与切片操作层的各输出端、启动层的相应输出端连接；所述注意力层2的注意力汇聚层的输入端分别与所述切片操作层的各输出端、注意力层2的注意力分布形成层的输出端连接；预测模块包括融合特征信息层和全连接层；融合特征信息层的输入端分别连接注意力层1和注意力层2的输出端，全连接层的输出端输出态势预测结果；
步骤2：样本数据特征分离预处理：样本数据在输入网络安全态势感知模型之前需要进行特征分离预处理，包括以下步骤：
步骤A：特征分类：将第i个样本xi里面的特征分为数值型特征、非数值型特征；
步骤B：数值型特征处理：将数值型特征进行标准化处理；
步骤C：非数值型特征处理：将非数值型特征转化为数值型特征；包括以下步骤：
步骤C-1：词向量形成的矩阵转换为特征矩阵：
其中，是各个非数值型特征的词向量形成的矩阵，/>是一个第j个非数值型特征的词向量，n表示有n个非数值型特征；w为权值矩阵，b为偏置向量；
步骤C-2：特征求取：
其中，hij为公式(2)中特征向量hi中的每一个特征值；
步骤3：网络安全态势感知模型训练：将训练集中与各入侵活动对应的时间序列样本及网络安全态势输入网络安全态势感知模型，训练模型参数；
步骤4：预测网络安全态势感知：将预测集中入侵活动对应的时间序列样本输入所述步骤1训练完成的网络安全态势感知模型，预测网络安全态势。
进一步，所述注意力层1，通过全局注意力机制得到全局注意力特征向量c1，然后使用串联算子concat将全局注意力特征向量c1和第一隐藏特征h1进行特征融合，得到特征向量
在注意力层2，通过有限注意力机制得到有限注意力特征向量c2，然后使用串联算子concat将有限注意力特征向量c2和第二隐藏特征h2进行特征融合，得到特征向量
和/>执行求和操作再次融合特征信息，得到用于预测网络安全的特征向量/>
采用上述技术方案所取得的技术效果在于：
(1)本发明与单独使用基于RNN、LSTM或GRU(Gated recurrent unit)相比，双重注意力机制技术有更高的预测准确度；
(2)本发明与使用传统的one-hot技术做数据预处理相比，使用特征分离技术可以减少模型学习的参数，从而节约内存和训练时间。
附图说明
图1是本发明中的网络安全态势感知模型结构图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，一种基于双重注意力机制的网络安全态势感知方法，包括如下步骤：
步骤1：搭建网络安全态势感知模型：所述网络安全态势感知模型包括数据预处理模块、神经网络、切片操作层、注意力层1、注意力层2、预测模块和启动层；所述神经网络为以RNN、LSTM或GRU为基本单元m级以上按时间展开的堆叠模型，m≥1；所述注意力层1和注意力层2的结构相同，包括注意力分布形成层、注意力汇聚层和输出层，输出层的输入端分别连接注意力汇聚层和启动层的输出端；所述启动层的输入端分别连接启动控制特征future输入端和第m级堆叠模型输出层的控制端，其输出端分别向所述注意力层1和注意力层2输出第一隐藏特征h1和第二隐藏特征h2；所述注意力层1的注意力分布形成层的输入端分别与所述神经网络各级堆叠模型的输出端、启动层的相应输出端连接；所述注意力层1的注意力汇聚层的输入端分别与所述神经网络各级堆叠模型的输出端、注意力层1的注意力分布形成层的输出端连接；所述切片操作层的输入端分别连接第m级堆叠模型各隐含层的控制端，其输出端的数目k小于输入端的数目，其输入端的数目与所述神经网络的隐藏层层数相同；所述切片操作层通过切片操作得到k个特征向量
其中，为模型第j层输出的隐藏层特征；
所述注意力层2的注意力分布形成层的输入端分别与切片操作层的各输出端、启动层的相应输出端连接；所述注意力层2的注意力汇聚层的输入端分别与所述切片操作层的各输出端、注意力层2的注意力分布形成层的输出端连接；预测模块包括融合特征信息层和全连接层；融合特征信息层的输入端分别连接注意力层1和注意力层2的输出端，全连接层的输出端输出态势预测结果；
步骤2：样本数据特征分离预处理：样本数据在输入网络安全态势感知模型之前需要进行特征分离预处理，包括以下步骤：
步骤A：特征分类：将第i个样本xi里面的特征分为数值型特征、非数值型特征；
步骤B：数值型特征处理：将数值型特征进行标准化处理；
步骤C：非数值型特征处理：将非数值型特征转化为数值型特征；包括以下步骤：
步骤C-1：词向量形成的矩阵转换为特征矩阵：
其中，是各个非数值型特征的词向量形成的矩阵，/>是一个第j个非数值型特征的词向量，n表示有n个非数值型特征；w为权值矩阵，b为偏置向量；
步骤C-2：特征求取：
其中，hij为公式(2)中特征向量hi中的每一个特征值；
步骤3：网络安全态势感知模型训练：将训练集中与各入侵活动对应的时间序列样本及网络安全态势输入网络安全态势感知模型，训练模型参数；
步骤4：预测网络安全态势感知：将预测集中入侵活动对应的时间序列样本输入所述步骤1训练完成的网络安全态势感知模型，预测网络安全态势。
如果使用n个非数值型特征，那么可以用矩阵拟合出n个特征。通过(2)式得到的hi仅仅是一个形状为(n，n)的矩阵。为了拟合出n个数值型特征，矩阵hi可以按行求和或者按行求和之后求均值，拟合出了n个特征，具体操作如(5)式所示。
样本输入后，可以分别得到第m级堆叠模型各隐藏层的隐藏特征神经网络输出层的特征/>通过切片操作得到的特征向量/>注意力层1和注意力层2计算注意力分布α1和α2的方式相同，计算方式的本质就是常用的sotfmax函数。注意力层1的注意力分布α1的计算方法为：
神经网络输出层的特征是在不同时间下提取到的源隐藏特征，h1是用于计算得分的第一隐藏特征。根据计算得到的注意力分布，可以求得神经网络输出层的特征/>和通过切片操作得到的特征向/>的权重平均，分别为全局注意力特征向量c1和有限注意力特征向量c2。
通过全局注意力机制得到全局注意力特征向量c1，然后使用串联算子concat将全局注意力特征向量c1和第一隐藏特征h1进行特征融合，得到特征向量
在注意力层2，通过有限注意力机制得到有限注意力特征向量c2，然后使用串联算子concat将有限注意力特征向量c2和第二隐藏特征h2进行特征融合，得到特征向量
和/>执行求和操作再次融合特征信息，得到用于预测网络安全的特征向量/>

Claims (2)

1.一种基于双重注意力机制的网络安全态势感知方法，其特征在于：包括如下步骤：
步骤1：搭建网络安全态势感知模型：所述网络安全态势感知模型包括数据预处理模块、神经网络、切片操作层、注意力层1、注意力层2、预测模块和启动层；所述神经网络为以RNN、LSTM或GRU为基本单元m级以上按时间展开的堆叠模型，m≥1；所述注意力层1和注意力层2的结构相同，包括注意力分布形成层、注意力汇聚层和输出层，输出层的输入端分别连接注意力汇聚层和启动层的输出端；所述启动层的输入端分别连接启动控制特征future输入端和第m级堆叠模型输出层的控制端，其输出端分别向所述注意力层1和注意力层2输出第一隐藏特征h1和第二隐藏特征h2；所述注意力层1的注意力分布形成层的输入端分别与所述神经网络各级堆叠模型的输出端、启动层的相应输出端连接；所述注意力层1的注意力汇聚层的输入端分别与所述神经网络各级堆叠模型的输出端、注意力层1的注意力分布形成层的输出端连接；所述切片操作层的输入端分别连接第m级堆叠模型各隐含层的控制端，其输出端的数目k小于输入端的数目，其输入端的数目与所述神经网络的隐藏层层数相同；所述切片操作层通过切片操作得到k个特征向量
其中，为模型第j层输出的隐藏层特征；
所述注意力层2的注意力分布形成层的输入端分别与切片操作层的各输出端、启动层的相应输出端连接；所述注意力层2的注意力汇聚层的输入端分别与所述切片操作层的各输出端、注意力层2的注意力分布形成层的输出端连接；预测模块包括融合特征信息层和全连接层；融合特征信息层的输入端分别连接注意力层1和注意力层2的输出端，全连接层的输出端输出态势预测结果；
步骤2：样本数据特征分离预处理：样本数据在输入网络安全态势感知模型之前需要进行特征分离预处理，包括以下步骤：
步骤A：特征分类：将第i个样本xi里面的特征分为数值型特征、非数值型特征；
步骤B：数值型特征处理：将数值型特征进行标准化处理；
步骤C：非数值型特征处理：将非数值型特征转化为数值型特征；包括以下步骤：
步骤C-1：词向量形成的矩阵转换为特征矩阵：
其中，是各个非数值型特征的词向量形成的矩阵，/>是一个第j个非数值型特征的词向量，n表示有n个非数值型特征；w为权值矩阵，b为偏置向量；
步骤C-2：特征求取：
其中，hij为公式(2)中特征向量hi中的每一个特征值；
步骤3：网络安全态势感知模型训练：将训练集中与各入侵活动对应的时间序列样本及网络安全态势输入网络安全态势感知模型，训练模型参数；
步骤4：预测网络安全态势感知：将预测集中入侵活动对应的时间序列样本输入所述步骤1训练完成的网络安全态势感知模型，预测网络安全态势。
2.根据权利要求1所述的基于双重注意力机制的网络安全态势感知方法，其特征在于：所述注意力层1，通过全局注意力机制得到全局注意力特征向量c1，然后使用串联算子concat将全局注意力特征向量c1和第一隐藏特征h1进行特征融合，得到特征向量
在注意力层2，通过有限注意力机制得到有限注意力特征向量c2，然后使用串联算子concat将有限注意力特征向量c2和第二隐藏特征h2进行特征融合，得到特征向量
和/>执行求和操作再次融合特征信息，得到用于预测网络安全的特征向量/>
CN202110116477.6A 2021-01-28 2021-01-28 基于双重注意力机制的网络安全态势感知方法 Active CN112949821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110116477.6A CN112949821B (zh) 2021-01-28 2021-01-28 基于双重注意力机制的网络安全态势感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110116477.6A CN112949821B (zh) 2021-01-28 2021-01-28 基于双重注意力机制的网络安全态势感知方法

Publications (2)

Publication Number Publication Date
CN112949821A CN112949821A (zh) 2021-06-11
CN112949821B true CN112949821B (zh) 2024-02-02

Family

ID=76239440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110116477.6A Active CN112949821B (zh) 2021-01-28 2021-01-28 基于双重注意力机制的网络安全态势感知方法

Country Status (1)

Country Link
CN (1) CN112949821B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115022194B (zh) * 2022-05-24 2023-09-26 桂林电子科技大学 基于sa-gru的网络安全态势预测方法
CN115242544B (zh) * 2022-08-05 2023-05-30 河北师范大学 基于改进Res2net的网络安全态势感知方法及***
CN116074844B (zh) * 2023-04-06 2023-06-09 广东电力交易中心有限责任公司 一种基于全流量自适应检测的5g切片逃逸攻击检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106302522A (zh) * 2016-09-20 2017-01-04 华侨大学 一种基于神经网络和大数据的网络安全态势分析方法和***
CN109145112A (zh) * 2018-08-06 2019-01-04 北京航空航天大学 一种基于全局信息注意力机制的商品评论分类方法
CN110428082A (zh) * 2019-05-31 2019-11-08 南京邮电大学 基于注意力神经网络的水质预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106302522A (zh) * 2016-09-20 2017-01-04 华侨大学 一种基于神经网络和大数据的网络安全态势分析方法和***
CN109145112A (zh) * 2018-08-06 2019-01-04 北京航空航天大学 一种基于全局信息注意力机制的商品评论分类方法
CN110428082A (zh) * 2019-05-31 2019-11-08 南京邮电大学 基于注意力神经网络的水质预测方法

Also Published As

Publication number Publication date
CN112949821A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112949821B (zh) 基于双重注意力机制的网络安全态势感知方法
CN112365040B (zh) 一种基于多通道卷积神经网络和时间卷积网络的短期风电功率预测方法
Shen et al. Wind speed prediction of unmanned sailboat based on CNN and LSTM hybrid neural network
CN105224872B (zh) 一种基于神经网络聚类的用户异常行为检测方法
CN111428789A (zh) 一种基于深度学习的网络流量异常检测方法
CN110298663B (zh) 基于序列宽深学习的欺诈交易检测方法
CN108876044B (zh) 一种基于知识增强神经网络的线上内容流行度预测方法
CN112087442B (zh) 基于注意力机制的时序相关网络入侵检测方法
CN115688035A (zh) 一种基于自监督学习的时序电力数据异常检测方法
CN111695611B (zh) 一种蜂群优化核极限学习和稀疏表示机械故障识别方法
CN113269647B (zh) 基于图的交易异常关联用户检测方法
CN113723238B (zh) 一种人脸轻量网络模型构建方法和人脸识别方法
CN110868414B (zh) 一种基于多投票技术的工控网络入侵检测方法及***
CN114021811B (zh) 基于注意力改进的交通预测方法及计算机介质
CN112529638B (zh) 基于用户分类和深度学习的服务需求动态预测方法及***
CN115695025B (zh) 网络安全态势预测模型的训练方法及装置
CN113743675A (zh) 一种云服务QoS深度学习预测模型
CN116307103A (zh) 一种基于硬参数共享多任务学习的交通事故预测方法
CN112132321A (zh) 一种基于机器学习对森林火灾预测分析的方法
CN117117859A (zh) 基于神经网络的光伏发电功率预测方法及***
CN114676782A (zh) 一种基于高频时序数据的车辆故障预警方法及***
CN115062727A (zh) 一种基于多阶超图卷积网络的图节点分类方法及***
Zhao et al. An efficient and lightweight approach for intrusion detection based on knowledge distillation
CN112653684B (zh) 一种基于多路特征感知长短期记忆的异常流量检测方法
CN114462670A (zh) 一种基于lstm模型的用电量预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant