CN117040824A - 一种网络威胁检测方法及*** - Google Patents
一种网络威胁检测方法及*** Download PDFInfo
- Publication number
- CN117040824A CN117040824A CN202310970741.1A CN202310970741A CN117040824A CN 117040824 A CN117040824 A CN 117040824A CN 202310970741 A CN202310970741 A CN 202310970741A CN 117040824 A CN117040824 A CN 117040824A
- Authority
- CN
- China
- Prior art keywords
- data
- flow
- network
- standard
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 86
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000012360 testing method Methods 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000010606 normalization Methods 0.000 claims description 32
- 238000010586 diagram Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 13
- 238000001228 spectrum Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 10
- 238000005520 cutting process Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 description 27
- 238000012545 processing Methods 0.000 description 7
- 230000001934 delay Effects 0.000 description 5
- 239000000654 additive Substances 0.000 description 4
- 230000000996 additive effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Hardware Design (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种网络威胁方法及***,属于网络安全技术领域。首先收集网络流量数据和物理信号数据,并对它们进行预处理操作,得到标准网络流量数据和标准物理信号数据。然后将标准网络流量数据转换成流量图像,并将标准物理信号数据与流量图像进行融合,得到多通道流量图像。接着将多通道流量图像输入到流量网络中进行训练和测试,得到流量检测模型。最后将流量检测模型部署在平台上进行流量检测,得到检测结果。本发明通过综合利用网络流量数据和物理信号数据丰富特征表示,为网络安全领域带来了显著的益处,在提高网络威胁检测的准确性和实时性方面发挥重要作用,为网络用户和企业提供更加安全可靠的网络环境。
Description
技术领域
本发明属于网络安全技术领域,具体涉及一种网络威胁检测方法及***。
背景技术
随着互联网的迅速发展,网络威胁和攻击也日益增加,给网络安全带来了巨大的挑战。网络威胁包括但不限于恶意软件、黑客攻击、拒绝服务攻击等。为了有效应对这些网络威胁,网络威胁检测成为一项非常重要的技术。网络威胁检测旨在通过对网络流量数据进行监控和分析,及时发现潜在的威胁行为并采取相应的防御措施。
传统的网络威胁检测方法主要基于规则、签名或特征的匹配,这些方法能够检测已知的网络威胁,但对于未知的新型威胁往往无法有效识别。因此,为了提高网络威胁检测的准确性和及时性,采用卷积神经网络方法进行威胁检测。
现有技术中,中国专利公开号:CN115643086A,提供了一种基于深度神经网络的未知威胁检测方法。该专利包括:大数据平台的各个节点上部署信息采集器,采集不同维度的网络流量数据,并将网络流量数据进行归一化处理,得到样本集数据;构建卷积神经网络,并基于深度学习算法,用样本集数据集对卷积神经网络进行优化训练,得到未知威胁检测模型;通过未知威胁检测模型对所采集的网络流量数据进行测试处理,以获得相应的未知威胁检测结果。该专利通过应用深度学习技术,可以有效提升信息***对已知威胁和未知威胁的识别成功率,准确及时发现入侵,以最大程度地避免未知威胁对于信息***安全性的影响。
该专利仅依靠流量数据进行测试处理,未对其他数据进行分析,缺少更全面的网络数据。因此,需要提出一种更加全面的网络威胁检测方法,以提供更丰富的信息,增强对网络威胁的感知能力。
发明内容
基于上述技术问题,本发明提供一种网络威胁检测方法及***,通过将物理信号数据(如时延、频谱和功率)与网络流量数据相结合,能够提供更加全面和多维度的网络数据信息,使得网络威胁检测模型能够更好地感知网络流量中的异常行为和潜在威胁。
本发明提供一种网络威胁检测方法,所述方法包括:
步骤S1:收集网络流量数据和物理信号数据;所述物理信号数据包括时延、频谱和功率;
步骤S2:将所述网络流量数据和所述物理信号数据分别进行预处理操作,得到标准网络流量数据和标准物理信号数据;
步骤S3:将所述标准网络流量数据进行转换,得到流量图像;
步骤S4:将所述标准物理信号数据与所述流量图像进行融合,得到多通道流量图像;
步骤S5:将所述多通道流量图像输入到流量网络中进行训练和测试,得到流量检测模型;
步骤S6:将所述流量检测模型部署在平台并进行流量检测,得到检测结果。
可选地,所述将所述网络流量数据和所述物理信号数据分别进行预处理操作,得到标准网络流量数据和标准物理信号数据,具体包括:
将所述网络流量数据依次进行数据清洗、去冗余、数据格式标准化、特征提取和数据归一化操作,得到标准网络流量数据;
将所述物理信号数据依次进行数据归一化和像素值映射操作,得到标准物理信号数据。
可选地,所述将所述标准网络流量数据进行转换,得到流量图像,具体包括:
将所述标准网络流量数据进行数据切割,得到分段流量数据;所述分段流量数据包含固定时间窗口的流量数据;
对所述分段流量数据进行标准化,得到标准分段流量数据,将所述标准分段流量数据映射到图像上的像素点,每个所述像素点代表所述标准分段流量数据中的每个数据点,按照从左至右,从上到下填充到指定大小的图像中,得到流量图像。
可选地,所述将所述标准物理信号数据与所述流量图像进行融合,得到多通道流量图像,具体包括:
将所述标准物理信号数据作为通道特征与所述流量图像进行合并,得到多通道流量图像;所述标准物理信号数据包括固定时间窗口的物理信号数据。
可选地,所述将所述多通道流量图像输入到流量网络中进行训练和测试,得到流量检测模型,具体包括:
将所述多通道流量图像进行标记,得到标记样本;所述标记样本包括恶意流量和正常流量;
将所述标记样本按照一定比例划分为训练集和测试集,将所述训练集输入到所述流量网络进行训练,得到初始流量检测模型;将所述测试集输入到初始流量检测模型进行测试,得到流量检测模型。
可选地,所述将所述训练集输入到所述流量网络进行训练,得到初始流量检测模型,具体包括:
所述流量网络包括标准卷积模块、两个残差模块、一个全局平均池化模块、全连接层和Softmax分类器;两个残差模块分别为第一残差模块和第二残差模块;
将所述训练集的多通道流量图像输入到所述标准卷积模块进行卷积操作,得到特征图O4;
将所述特征图O4输入到所述第一残差模块进行残差连接操作,得到特征图O14;
将所述特征图O14输入到所述第二残差模块进行残差连接操作,得到特征图O25;
将所述特征图O25依次输入到所述全局平均池化层、所述全连接层和所述Softmax分类器进行分类,得到初始流量检测模型。
本发明还提供一种网络威胁检测***,所述***包括:
数据采集模块,用于收集网络流量数据和物理信号数据;所述物理信号数据包括时延、频谱和功率;
数据预处理模块,用于将所述网络流量数据和所述物理信号数据分别进行预处理操作,得到标准网络流量数据和标准物理信号数据;
流量数据转换模块,用于将所述标准网络流量数据进行转换,得到流量图像;
数据融合模块,用于将所述标准物理信号数据与所述流量图像进行融合,得到多通道流量图像;
模型生成模块,用于将所述多通道流量图像输入到流量网络中进行训练和测试,得到流量检测模型;
流量检测模块,用于将所述流量检测模型部署在平台并进行流量检测,得到检测结果。
可选地,所述数据预处理模块,具体包括:
流量数据预处理子模块,用于将所述网络流量数据依次进行数据清洗、去冗余、数据格式标准化、特征提取和数据归一化操作,得到标准网络流量数据;
物理信号数据预处理子模块,用于将所述物理信号数据依次进行数据归一化和像素值映射操作,得到标准物理信号数据。
可选地,所述流量数据转换模块,具体包括:
数据切割子模块,用于将所述标准网络流量数据进行数据切割,得到分段流量数据;
流量图像生成子模块,对所述分段流量数据进行标准化,得到标准分段流量数据,将所述标准分段流量数据映射到图像上的像素点,每个所述像素点代表所述标准分段流量数据中的每个数据点,按照从左至右,从上到下填充到指定大小的图像中,得到流量图像。
可选地,所述模型生成模块,具体包括:
标准卷积子模块,用于将所述训练集的多通道流量图像输入到所述标准卷积模块进行卷积操作,得到特征图O4;
第一残差子模块,用于将所述特征图O4输入到所述第一残差模块进行残差连接操作,得到特征图O14;
第二残差子模块,用于将所述特征图O14输入到所述第二残差模块进行残差连接操作,得到特征图O25;
分类子模块,用于将所述特征图O25依次输入到所述全局平均池化层、所述全连接层和所述Softmax分类器进行分类,得到初始流量检测模型。
本发明与现有技术相比,具有以下有益效果:
本发明使用一种网络威胁检测方法,该方法将网络流量数据和物理信号数据进行融合,得到多通道流量图像。通过这种多通道信息的融合,能够提供更加全面和多维度的网络数据信息,使得网络威胁检测模型能够更好地感知网络流量中的异常行为和潜在威胁;传统的网络威胁检测方法通常依赖于人工定义的特征或规则,而这些特征可能无法全面、准确地反映网络威胁的复杂性。而通过将网络流量数据转换成流量图像,并将物理信号数据作为通道特征与之融合,该方法可以自动学习到更加丰富和有效的特征表示,提高了网络威胁检测的准确性;利用了深度学习技术,网络威胁检测模型具有较强的自适应学习能力。它能够根据实际网络环境和威胁特征进行自动调整和优化,从而保持对新型网络威胁的识别能力,有效应对日益复杂多变的网络威胁形势;该方法所使用的多通道流量图像的构建方式和深度学习模型可以灵活适配不同网络环境和应用场景。因此,该方法具有较强的兼容性和可拓展性,可以在各种网络设备和***中广泛应用,并随着技术的发展不断优化和升级。
附图说明
图1为本发明的一种网络威胁检测方法流程图;
图2为本发明的一种网络威胁检测方法中流量网络结构图;
图3为本发明的一种网络威胁检测***结构图。
具体实施方式
下面结合具体实施案例和附图对本发明作进一步说明,但本发明并不局限于这些实施例。
实施例1
如图1所示,本发明公开一种网络威胁检测方法,方法包括:
步骤S1:收集网络流量数据和物理信号数据;物理信号数据包括时延、频谱和功率。
步骤S2:将网络流量数据和物理信号数据分别进行预处理操作,得到标准网络流量数据和标准物理信号数据。
步骤S3:将标准网络流量数据进行转换,得到流量图像。
步骤S4:将标准物理信号数据与流量图像进行融合,得到多通道流量图像。
步骤S5:将多通道流量图像输入到流量网络中进行训练和测试,得到流量检测模型。
步骤S6:将流量检测模型部署在平台并进行流量检测,得到检测结果。
下面对各个步骤进行详细论述:
步骤S1:收集网络流量数据和物理信号数据;物理信号数据包括时延、频谱和功率。
步骤S1具体包括:
步骤S11:收集网络流量数据主要采用被动收集或者主动收集,被动收集是通过监听网络上的数据包,通常使用网络监测工具或数据包捕获软件。
本实施例中,Wireshark是一个常用的网络数据包分析工具,它可以捕获网络上的数据包,并将其以数据文件的形式保存下来。被动收集不会主动生成流量,而是对网络中已有的流量进行分析;主动收集是通过向网络发送测试流量以测量网络性能,可以通过使用专门的网络性能测试工具来实现。本实施例中,使用ping命令来测试与目标主机之间的延迟(往返时延)和丢包率,还可以使用iperf或ttcp等工具来测试网络的带宽和吞吐量。
步骤S12:收集物理信号数据:物理信号数据包括时延、频谱和功率等信息,这些信息在数据包在传输媒介(如电缆、光纤、无线信道等)上传输时发挥着关键作用。
本实施例中,时延是指数据包从发送端到接收端所需的时间。在网络通信中,存在多种类型的时延,包括传播时延、传输时延、排队时延和处理时延等。收集时延数据可以通过在数据包上添加时间戳,并在接收端记录时间戳来实现。频谱是无线通信中的重要概念,表示不同频率上的信号分布情况。无线信号在一定频率范围内传输,了解频谱分布对于避免干扰和优化无线网络性能至关重要。收集频谱数据需要使用频谱分析仪或软件无线电(SDR)设备。功率数据指的是无线信号的强度或功率水平。在无线通信中,了解信号的功率情况对于覆盖范围、传输距离和干扰控制至关重要。收集功率数据可以通过使用功率计或功率传感器来实现。
步骤S2:将网络流量数据和物理信号数据分别进行预处理操作,得到标准网络流量数据和标准物理信号数据。
步骤S2具体包括:
步骤S21:将网络流量数据依次进行数据清洗、去冗余、数据格式标准化、特征提取和数据归一化操作,得到标准网络流量数据。
步骤S21具体包括:
①数据清洗是指从原始网络流量数据中去除不必要的信息和异常值。这包括处理重复数据、删除缺失值或异常值等。重复数据可能由于采样频率过高或其他原因而出现,需要将其去重。缺失值可能是由于网络故障或其他因素导致的,线性插值进行填充或删除。异常值可能是由于网络攻击、设备故障等原因引起的,使用箱线图进行检测和处理异常值。
②去冗余是指去除重复或冗余的信息,以减少数据集的大小并提高数据处理效率。例如,在流量数据中可能存在多次重复的请求或响应,可以去除其中的重复部分,只保留一份即可。
③在网络流量数据中,不同设备、协议和数据源可能使用不同的数据格式。数据格式标准化是将所有数据转换为统一的格式,以便后续的处理和分析,包括统一时间戳格式、IP地址格式、数据包头部格式等。
④特征提取是从原始数据中抽取有用的特征或属性。在网络流量数据中,特征可以是关于数据包大小、协议类型、流量分布、传输速率等方面的信息。通过特征提取,可以减少数据维度,并且更加聚焦于关键信息。
⑤数据归一化是将不同量纲的数据转换为相同的范围,以避免某些特征在计算过程中对结果产生过大或过小的影响。常用的归一化方法包括Min-Max归一化和标准化,Min-Max归一化将数据缩放到[0,1]范围内,而标准化将数据转换为均值为0、标准差为1的分布。
步骤S22:将物理信号数据依次进行数据归一化和像素值映射操作,得到标准物理信号数据。
步骤S22具体包括:
将物理信号数据进行归一化处理,将其映射到一定的范围。常用的归一化方法是将信号值缩放到到[0,1]或[-1,1]之间,使得所有的特征在相同的尺度范围内。根据具体归一化后的值映射到图像通道中的像素亮度,即灰度图像[0,255]范围内的灰度值。值0(黑色)表示特征A的最小值,而值255(白色)表示特征A的最大值。
步骤S3:将标准网络流量数据进行转换,得到流量图像。
步骤S3具体包括:
步骤S31:将标准网络流量数据进行数据切割,得到分段流量数据;分段流量数据包含固定时间窗口的流量数据。具体包括:
将标准网络流量数据进行数据切割成指定时间窗口的流量数据,得到分段流量数据,例如,1小时的流量数据,时间窗口设置为2分钟,则切割成30个窗口,每个时间窗口包括30个数据点,每4秒一个数据点。
步骤S32:对分段流量数据进行标准化,得到标准分段流量数据,将标准分段流量数据映射到图像上的像素点,每个像素点代表标准分段流量数据中的每个数据点,按照从左至右,从上到下填充到指定大小的图像中,得到流量图像。具体包括:
将分段流量数据进行标准化,即使用流量数据在所有时间窗口的最大值和最小值进行标准化,将标准化后的流量数据映射到图像像素的亮度,每个数据点的标准化值为[0,1]之间,可以将0映射成为黑色,1映射成为白色,中间的值根据线性映射到中间的灰度。例如,1小时的流量数据,时间窗口设置为2分钟,则切割成30个窗口,每个时间窗口包括30个数据点,每4秒一个数据点。每个数据点代表4秒内的流量值大小(数据包大小),可以取平均值,然后每个时间窗口的30个数据点映射成30个像素值,构成图像的一行,将30行按时间顺序依次从左至右,从上到下堆叠起来,形成30×30的流量图像。
步骤S4:将标准物理信号数据与流量图像进行融合,得到多通道流量图像。
步骤S4具体包括:
将标准物理信号数据作为通道特征与流量图像进行合并,得到多通道流量图像;标准物理信号数据包括固定时间窗口的物理信号数据,具体包括:
物理信号特征与流量数据每个时间窗口的数据点保持一致,物理信号视为每一个数据点的辅助特征,将物理信号特征作为通道是为了引入额外的信息,将物理信号的特征融合到流量数据的图像表示中。本实施例中,有3个物理信号特征,可以将每个特征作为图像的一个通道。多通道图像将有4个通道:其中3个通道代表物理信号的特征,另一个通道代表网络流量数据。在构建多通道图像时,流量数据图像和3个物理信号特征的图像通道将进行合并,形成一个多通道的图像。
步骤S5:将多通道流量图像输入到流量网络中进行训练和测试,得到流量检测模型。
步骤S5具体包括:
步骤S51:将多通道流量图像进行标记,得到标记样本;标记样本包括恶意流量和正常流量。
步骤S52:将标记样本按照一定比例划分为训练集和测试集,将训练集输入到流量网络进行训练,得到初始流量检测模型;将测试集输入到初始流量检测模型进行测试,得到流量检测模型。
图2中,Conv2D表示标准卷积层,卷积核尺寸为3×3和1×1;Strides表示步长,取值1或2;规范化激活层包含批量归一化层(Batch Normalization)和激活函数层(Activation(Relu)),规范化激活函数层选择Relu激活函数;SepConv2D表示深度可分离卷积层,卷积核尺寸为3×3和1×1;Dense代表全连接层;GlobalAveragePooling2D表示全局平均池化层;Add(,/>)表示/>,/>进行逐元素相加;O/>表示流量网络中得到的各特征图,/>取值范围为[1,25],/>为整数。
如图2所示,步骤S52具体包括:
A.将标记样本按照一定比例划分为训练集和测试集,将训练集输入到流量网络进行训练,得到初始流量检测模型,具体包括:
Ⅰ.将标记样本按照一定比例划分为训练集和测试集,将训练集的多通道流量图像输入到标准卷积模块进行卷积操作,得到特征图O4,具体包括:
本发明训练集和测试据集按8:2的比例进行划分,将训练集的多通道流量图像输入到第一标准卷积层进行卷积操作,得到特征图O1,第一标准卷积层卷积核数量为64,卷积核尺寸为3×3,步长为2;特征图O1为64通道的15×15;将特征图O1输入到第一规范化激活层进行批归一化和激活操作,得到特征图O2;特征图O2为64通道的15×15;将特征图O2输入到第二标准卷积层进行卷积操作,得到特征图O3,第二标准卷积层卷积核数量为128,卷积核尺寸为3×3,步长为2;特征图O3为128通道的8×8;将特征图O3输入到第二规范化激活层进行批归一化和激活操作,得到特征图O4;特征图O4为128通道的8×8。
本实施例中,第一标准卷积模块包括第一标准卷积层、第一规范化激活层、第二标准卷积层和第二规范化激活层。
Ⅱ.将特征图O4输入到第一残差模块进行残差连接操作,得到特征图O14,具体包括:
(1).将特征图O4输入到第三标准卷积层进行卷积操作,得到特征图O5,第三标准卷积层卷积核数量为128,卷积核尺寸为1×1,步长为1;特征图O5为128通道的8×8;将特征图O5输入到第三规范化激活层进行批归一化和激活操作,得到特征图O6;特征图O6为128通道的8×8;将特征图O6输入到第四标准卷积层进行卷积操作,得到特征图O7,第四标准卷积层卷积核数量为128,卷积核尺寸为3×3,步长为1;特征图O7为128通道的8×8;将特征图O7输入到第四规范化激活层进行批归一化和激活操作,得到特征图O8;特征图O8为128通道的8×8。
(2).将特征图O4输入到第一深度可分离卷积层进行深度可分离卷积操作,得到特征图O9,第一深度可分离卷积层卷积核数量为128,卷积核尺寸为3×3,步长为1;特征图O9为128通道的8×8;将特征图O9输入到第五规范化激活层进行批归一化和激活操作,得到特征图O10;特征图O10为128通道的8×8;将特征图O10输入到第二深度可分离卷积层进行深度可分离卷积操作,得到特征图O11,第二深度可分离卷积层卷积核数量为128,卷积核尺寸为3×3,步长为1;特征图O11为128通道的8×8;将特征图O11输入到第四规范化激活层进行批归一化和激活操作,得到特征图O12;特征图O12为128通道的8×8。
(3).将特征图O8和特征图O12输入到第一逐元素相加层进行逐元素相加操作,得到特征图O13;特征图O13为128通道的8×8;将特征图O13和特征图O4输入到第二逐元素相加层进行逐元素相加操作,得到特征图O14;特征图O14为128通道的8×8。
本实施例中,第一残差模块包括第三标准卷积层、第三规范化激活层、第四标准卷积层、第四规范化激活层、第一深度可分离卷积层、第五规范化激活层、第二深度可分离卷积层、第六规范化激活层、第一逐元素相加层和第二逐元素相加层。
Ⅲ.将特征图O14输入到第二残差模块进行残差连接操作,得到特征图O25,具体包括:
1).将特征图O14输入到第五标准卷积层进行卷积操作,得到特征图O15,第五标准卷积层卷积核数量为256,卷积核尺寸为1×1,步长为1;特征图O15为256通道的8×8;将特征图O15输入到第七规范化激活层进行批归一化和激活操作,得到特征图O16;特征图O16为256通道的8×8;将特征图O16输入到第六标准卷积层进行卷积操作,得到特征图O17,第六标准卷积层卷积核数量为256,卷积核尺寸为3×3,步长为2;特征图O17为256通道的4×4;将特征图O17输入到第八规范化激活层进行批归一化和激活操作,得到特征图O18;特征图O18为256通道的4×4。
2).将特征图O14输入到第三深度可分离卷积层进行深度可分离卷积操作,得到特征图O19,第三深度可分离卷积层卷积核数量为256,卷积核尺寸为3×3,步长为1;特征图O19为256通道的8×8;将特征图O19输入到第九规范化激活层进行批归一化和激活操作,得到特征图O20;特征图O20为256通道的8×8;将特征图O20输入到第四深度可分离卷积层进行深度可分离卷积操作,得到特征图O21,第四深度可分离卷积层卷积核数量为256,卷积核尺寸为3×3,步长为2;特征图O21为256通道的4×4;将特征图O21输入到第十规范化激活层进行批归一化和激活操作,得到特征图O22;特征图O22为256通道的4×4。
3).将特征图O18和特征图O22输入到第三逐元素相加层进行逐元素相加操作,得到特征图O23;特征图O23为256通道的4×4;将特征图O14输入到第七标准卷积层进行卷积操作,得到特征图O24;第七标准卷积层卷积核数量为256,卷积核尺寸为3×3,步长为2;特征图O24为256通道的4×4;将特征图O23和特征图O24输入到第四逐元素相加层进行逐元素相加操作,得到特征图O25;特征图O25为256通道的4×4。
本实施例中,第二残差模块包括第五标准卷积层、第七规范化激活层、第六标准卷积层、第八规范化激活层、第三深度可分离卷积层、第九规范化激活层、第四深度可分离卷积层、第十规范化激活层、第七标准卷积层、第三逐元素相加层和第四逐元素相加层。
Ⅳ.将特征图O25依次输入到全局平均池化层、全连接层和Softmax分类器进行分类,得到初始流量检测模型。
本实施例中,流量网络包括标准卷积模块、两个残差模块、一个全局平均池化模块、全连接层和Softmax分类器;两个残差模块分别为第一残差模块和第二残差模块。
B.将测试集输入到初始流量检测模型进行测试,得到流量检测模型。
步骤S6:将流量检测模型部署在平台并进行流量检测,得到检测结果。
步骤S6具体包括:
将训练好的流量检测模型导出为可供部署的格式。通常,将模型保存为具有特定模型结构和参数的文件,如TensorFlow SavedModel或ONNX格式;选择适合的部署平台,可以是云平台(如AWS、Azure、Google Cloud等)、本地服务器、边缘设备或其他硬件平台;部署模型之前,确保在目标平台上设置适当的生产环境,包括操作***、软件库和依赖项;确保平台上有足够的计算资源和存储空间来运行模型;在部署平台上加载导出的模型,并准备接收流量数据进行推理。根据模型的输入要求,将流量数据转换为合适的输入格式,例如将时间窗口切割的数据转换为图像格式;将预处理后的流量数据输入到模型中进行推理。模型将返回分类结果,表示该时间窗口内的流量是否异常。根据模型输出,将检测结果保存到数据库、发送警报或进行其他后续处理。
本发明还可以进行性能监控和优化,在生产环境中,定期监控模型的性能,包括检测准确率、推理时间和资源利用率。根据监控结果,进行模型优化和调整,以确保模型在生产环境中的高效运行。
流量检测模型需要不断更新和维护,以适应新的流量模式和威胁。定期更新模型,并及时处理潜在的问题和漏洞,以保持流量检测的高效性和准确性。
实施例2
如图3所示,本发明还提供了一种网络威胁检测***,包括:
数据采集模块10,用于收集网络流量数据和物理信号数据;物理信号数据包括时延、频谱和功率。
数据预处理模块20,用于将网络流量数据和物理信号数据分别进行预处理操作,得到标准网络流量数据和标准物理信号数据。
流量数据转换模块30,用于将标准网络流量数据进行转换,得到流量图像。
数据融合模块40,用于将标准物理信号数据与流量图像进行融合,得到多通道流量图像。
模型生成模块50,用于将多通道流量图像输入到流量网络中进行训练和测试,得到流量检测模型。
流量检测模块60,用于将流量检测模型部署在平台并进行流量检测,得到检测结果。
作为一种可选地实施方式,本发明数据预处理模块20,具体包括:
流量数据预处理子模块,用于将网络流量数据依次进行数据清洗、去冗余、数据格式标准化、特征提取和数据归一化操作,得到标准网络流量数据。
物理信号数据预处理子模块,用于将物理信号数据依次进行数据归一化和像素值映射操作,得到标准物理信号数据。
作为一种可选地实施方式,本发明流量数据转换模块30,具体包括:
数据切割子模块,用于将标准网络流量数据进行数据切割,得到分段流量数据。
流量图像生成子模块,对分段流量数据进行标准化,得到标准分段流量数据,将标准分段流量数据映射到图像上的像素点,每个像素点代表标准分段流量数据中的每个数据点,按照从左至右,从上到下填充到指定大小的图像中,得到流量图像。
作为一种可选地实施方式,本发明模型生成模块50,具体包括:
标准卷积子模块,用于将训练集的多通道流量图像输入到标准卷积模块进行卷积操作,得到特征图O4。
第一残差子模块,用于将特征图O4输入到第一残差模块进行残差连接操作,得到特征图O14。
第二残差子模块,用于将特征图O14输入到第二残差模块进行残差连接操作,得到特征图O25。
分类子模块,用于将特征图O25依次输入到全局平均池化层、全连接层和Softmax分类器进行分类,得到初始流量检测模型。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种网络威胁检测方法,其特征在于,所述方法包括:
步骤S1:收集网络流量数据和物理信号数据;所述物理信号数据包括时延、频谱和功率;
步骤S2:将所述网络流量数据和所述物理信号数据分别进行预处理操作,得到标准网络流量数据和标准物理信号数据;
步骤S3:将所述标准网络流量数据进行转换,得到流量图像;
步骤S4:将所述标准物理信号数据与所述流量图像进行融合,得到多通道流量图像;
步骤S5:将所述多通道流量图像输入到流量网络中进行训练和测试,得到流量检测模型;
步骤S6:将所述流量检测模型部署在平台并进行流量检测,得到检测结果。
2.根据权利要求1所述的一种网络威胁检测方法,其特征在于,所述将所述网络流量数据和所述物理信号数据分别进行预处理操作,得到标准网络流量数据和标准物理信号数据,具体包括:
将所述网络流量数据依次进行数据清洗、去冗余、数据格式标准化、特征提取和数据归一化操作,得到标准网络流量数据;
将所述物理信号数据依次进行数据归一化和像素值映射操作,得到标准物理信号数据。
3.根据权利要求1所述的一种网络威胁检测方法,其特征在于,所述将所述标准网络流量数据进行转换,得到流量图像,具体包括:
将所述标准网络流量数据进行数据切割,得到分段流量数据;所述分段流量数据包含固定时间窗口的流量数据;
对所述分段流量数据进行标准化,得到标准分段流量数据,将所述标准分段流量数据映射到图像上的像素点,每个所述像素点代表所述标准分段流量数据中的每个数据点,按照从左至右,从上到下填充到指定大小的图像中,得到流量图像。
4.根据权利要求1所述的一种网络威胁检测方法,其特征在于,所述将所述标准物理信号数据与所述流量图像进行融合,得到多通道流量图像,具体包括:
将所述标准物理信号数据作为通道特征与所述流量图像进行合并,得到多通道流量图像;所述标准物理信号数据包括固定时间窗口的物理信号数据。
5.根据权利要求1所述的一种网络威胁检测方法,其特征在于,所述将所述多通道流量图像输入到流量网络中进行训练和测试,得到流量检测模型,具体包括:
将所述多通道流量图像进行标记,得到标记样本;所述标记样本包括恶意流量和正常流量;
将所述标记样本按照一定比例划分为训练集和测试集,将所述训练集输入到所述流量网络进行训练,得到初始流量检测模型;将所述测试集输入到初始流量检测模型进行测试,得到流量检测模型。
6.根据权利要求5所述的一种网络威胁检测方法,其特征在于,所述将所述训练集输入到所述流量网络进行训练,得到初始流量检测模型,具体包括:
所述流量网络包括标准卷积模块、两个残差模块、一个全局平均池化模块、全连接层和Softmax分类器;两个残差模块分别为第一残差模块和第二残差模块;
将所述训练集的多通道流量图像输入到所述标准卷积模块进行卷积操作,得到特征图O4;
将所述特征图O4输入到所述第一残差模块进行残差连接操作,得到特征图O14;
将所述特征图O14输入到所述第二残差模块进行残差连接操作,得到特征图O25;
将所述特征图O25依次输入到所述全局平均池化层、所述全连接层和所述Softmax分类器进行分类,得到初始流量检测模型。
7.一种网络威胁检测***,其特征在于,所述***包括:
数据采集模块,用于收集网络流量数据和物理信号数据;所述物理信号数据包括时延、频谱和功率;
数据预处理模块,用于将所述网络流量数据和所述物理信号数据分别进行预处理操作,得到标准网络流量数据和标准物理信号数据;
流量数据转换模块,用于将所述标准网络流量数据进行转换,得到流量图像;
数据融合模块,用于将所述标准物理信号数据与所述流量图像进行融合,得到多通道流量图像;
模型生成模块,用于将所述多通道流量图像输入到流量网络中进行训练和测试,得到流量检测模型;
流量检测模块,用于将所述流量检测模型部署在平台并进行流量检测,得到检测结果。
8.根据权利要求7所述的一种网络威胁检测***,其特征在于,所述数据预处理模块,具体包括:
流量数据预处理子模块,用于将所述网络流量数据依次进行数据清洗、去冗余、数据格式标准化、特征提取和数据归一化操作,得到标准网络流量数据;
物理信号数据预处理子模块,用于将所述物理信号数据依次进行数据归一化和像素值映射操作,得到标准物理信号数据。
9.根据权利要求7所述的一种网络威胁检测***,其特征在于,所述流量数据转换模块,具体包括:
数据切割子模块,用于将所述标准网络流量数据进行数据切割,得到分段流量数据;
流量图像生成子模块,对所述分段流量数据进行标准化,得到标准分段流量数据,将所述标准分段流量数据映射到图像上的像素点,每个所述像素点代表所述标准分段流量数据中的每个数据点,按照从左至右,从上到下填充到指定大小的图像中,得到流量图像。
10.根据权利要求7所述的一种网络威胁检测***,其特征在于,所述模型生成模块,具体包括:
标准卷积子模块,用于将所述训练集的多通道流量图像输入到所述标准卷积模块进行卷积操作,得到特征图O4;
第一残差子模块,用于将所述特征图O4输入到所述第一残差模块进行残差连接操作,得到特征图O14;
第二残差子模块,用于将所述特征图O14输入到所述第二残差模块进行残差连接操作,得到特征图O25;
分类子模块,用于将所述特征图O25依次输入到所述全局平均池化层、所述全连接层和所述Softmax分类器进行分类,得到初始流量检测模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310970741.1A CN117040824A (zh) | 2023-08-03 | 2023-08-03 | 一种网络威胁检测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310970741.1A CN117040824A (zh) | 2023-08-03 | 2023-08-03 | 一种网络威胁检测方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117040824A true CN117040824A (zh) | 2023-11-10 |
Family
ID=88632933
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310970741.1A Pending CN117040824A (zh) | 2023-08-03 | 2023-08-03 | 一种网络威胁检测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117040824A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117252488A (zh) * | 2023-11-16 | 2023-12-19 | 国网吉林省电力有限公司经济技术研究院 | 基于大数据的产业集群能效优化方法及*** |
-
2023
- 2023-08-03 CN CN202310970741.1A patent/CN117040824A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117252488A (zh) * | 2023-11-16 | 2023-12-19 | 国网吉林省电力有限公司经济技术研究院 | 基于大数据的产业集群能效优化方法及*** |
CN117252488B (zh) * | 2023-11-16 | 2024-02-09 | 国网吉林省电力有限公司经济技术研究院 | 基于大数据的产业集群能效优化方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cordero et al. | Analyzing flow-based anomaly intrusion detection using replicator neural networks | |
CN113612763B (zh) | 基于网络安全恶意行为知识库的网络攻击检测装置和方法 | |
CN113206860B (zh) | 一种基于机器学习和特征选择的DRDoS攻击检测方法 | |
CN114050979B (zh) | 一种工业控制协议安全测试***及装置 | |
CN110868409A (zh) | 一种基于tcp/ip协议栈指纹的操作***被动识别方法及*** | |
CN117040824A (zh) | 一种网络威胁检测方法及*** | |
CN112165484B (zh) | 基于深度学习与侧信道分析的网络加密流量识别方法装置 | |
CN111786951B (zh) | 流量数据特征提取方法、恶意流量识别方法及网络*** | |
CN114448830B (zh) | 一种设备检测***及方法 | |
CN111935185B (zh) | 基于云计算构建大规模诱捕场景的方法及*** | |
CN116662184B (zh) | 一种基于Bert的工控协议模糊测试用例筛选方法及*** | |
CN116723058B (zh) | 网络攻击检测和防护方法和装置 | |
Yang et al. | Fingerprinting Industrial IoT devices based on multi-branch neural network | |
CN110574348B (zh) | 数据处理装置和方法 | |
CN114205855A (zh) | 一种面向5g切片的馈线自动化业务网络异常检测方法 | |
CN112929364A (zh) | 一种基于icmp隧道分析的数据泄漏检测方法及*** | |
US20140331321A1 (en) | Building filter through utilization of automated generation of regular expression | |
WO2018142704A1 (ja) | 特徴量生成装置、特徴量生成方法及びプログラム | |
Huabing et al. | Real-time detection method for mobile network traffic anomalies considering user behavior security monitoring | |
CN117014192A (zh) | 数据处理方法及相关设备 | |
CN113810372B (zh) | 一种低吞吐量dns隐蔽信道检测方法及装置 | |
Filasiak et al. | On the testing of network cyber threat detection methods on spam example | |
CN111917715B (zh) | 一种基于802.11ac MAC层指纹的设备识别方法 | |
CN116366291A (zh) | 信流元数据生成方法及装置 | |
JP6571131B2 (ja) | パケット監視装置、パケット監視システム、パケット監視方法、及びパケット監視プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |