CN113989583A - 一种互联网恶意流量检测方法及*** - Google Patents

一种互联网恶意流量检测方法及*** Download PDF

Info

Publication number
CN113989583A
CN113989583A CN202111031263.5A CN202111031263A CN113989583A CN 113989583 A CN113989583 A CN 113989583A CN 202111031263 A CN202111031263 A CN 202111031263A CN 113989583 A CN113989583 A CN 113989583A
Authority
CN
China
Prior art keywords
flow
data
network
encrypted
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111031263.5A
Other languages
English (en)
Inventor
黄园园
苏俊
张微
陈劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongdian Jizhi Hainan Information Technology Co ltd
Original Assignee
Zhongdian Jizhi Hainan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongdian Jizhi Hainan Information Technology Co ltd filed Critical Zhongdian Jizhi Hainan Information Technology Co ltd
Priority to CN202111031263.5A priority Critical patent/CN113989583A/zh
Publication of CN113989583A publication Critical patent/CN113989583A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种互联网恶意流量检测方法及***，根据当前网络安全的通用办法进行网络流量数据采集，所述网络流量数据采集包括正常加密的流量以及加密的恶意流量，将采集的网络流量数据进行预处理，形成二维灰度图像集；基于Efficientnet‑B0卷积神经网络学***面对数据平面的访问连接进行控制，从而实现了加密网络安全的目的。

Description

一种互联网恶意流量检测方法及***
技术领域
本发明涉及互联网技术领域，更具体地说，本发明涉及一种互联网恶意流量检测方法及***。
背景技术
随着互联网技术的发展，网络流量正在迅速增加，用户访问互联网所产生的流量部分来源于传统的网络服务，例如网页浏览、电子邮件，另一部分则来源于种类繁多的多媒体服务，例如视频、游戏、社交平台等等。互联网的总体流量正在迅速增加，伴随着商业或其他的目的，随之而来的是恶意流量也在迅猛增加，严重影响着互联网服务商为用户提供服务的质量。
同时，为了提升网络的安全服务质量，相应的加密技术也在不断发展，加密流量在互联网流量中的数量和比例也不断上升。根据最近的互联网研究趋势报告，如今87％的web流量是加密的，到2021年底，加密流量中将有超过 70％的部分是由恶意软件产生的。这就意味着网络流量加密技术虽然能够用于用户隐私与安全保护，但同时也为恶意网络服务提供了可乘之机。越来越多的恶意网络服务通过加密和隧道技术绕过防火墙和入侵检测***，加密技术正在成为恶意服务的温床。
加密流量检测与非加密流量检测最大的不同之处在于其实际内容不可见，而基于解密技术的检测方法耗时长、成本高，同时也涉嫌对用户隐私的侵犯。如何在不解密的条件下对加密流量迚行有效检测是当前网络安全特别是流量安全领域的热点和难点之一。
本发明提供的加密恶意流量的检测方法提供了一种互联网恶意流量检测方法及***，基于Efficientnet-B0卷积神经网络学***面对数据平面的访问连接进行控制，从而实现了加密网络安全的目的。
发明内容
为了克服现有技术的上述缺陷，本发明的实施例提供一种互联网恶意流量检测方法及***，通过SDN的控制平面对数据平面的访问连接进行控制，从而实现了加密网络安全的目的，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：本发明提供了一种互联网恶意流量检测方法及***，根据当前网络安全的通用办法进行网络流量数据采集，所述网络流量数据采集包括正常加密的流量以及加密的恶意流量，将采集的网络流量数据进行预处理，形成二维灰度图像集；同时对 Efficientnet-B0卷积神经网络模型架构进行优化，将所述二维灰度图像集输入优化后的Efficientnet-B0网络模型进行训练，获得训练好的网络模型参数；然后利用训练后的Efficientnet-B0优化网络模型对输入的网络流量进行概率计算，获得各种加密流量的概率，然后根据最大相似概率进行判断是否为恶意流量。
在一个优选地实施方式中，步骤一，根据当前网络安全通用的方法进行网络流量的数据采集，比如，正常的加密流量数据集可采用ISCX VPN-nonVPN 的方法，加密恶意流量数据集可采用CTU-13描述的方法，网络流量数据集中样本的数量以满足卷积神经网络训练所需样本数为基础，尽可能采集多种具有一定样本数量的主流的正常加密网络流量类型和恶意加密流量类型。
在一个优选地实施方式中，步骤二，对采集的网络流量数据集进行预处理，将网络流量数据样本转换成二维灰度图像，具体转换流程如下：
a.对数据集合中所有样本进行流量切分：将原始流量文件按网络流量属性中的五元组，源IP，源端口，目的IP，目的端口，传输层协议，将原始流量划分为会话，所述会话为双向流量组成的一组数据包，其中源IP和目的IP 可以互换；
b.对会话进行数据清洗：删除与加密流量类型检测无关的信息，对于每条会话，依次迭代其中的每个数据包，删除数据链路层中一些与网络类型相关的数据，比如MAC地址；同时，删除重复的数据包和空数据包等；
c.统一会话的数据长度：基于Efficientnet-B0神经网络卷积模型需要固定的会话长度，将每条会话的长度固定为N个字节，比如1024个字节，如果会话长度大于N个字节则截断，小于N个字节则在会话末尾补零，根据传输层的协议，为了使传输层的数据段均匀，在UDP段的标头部分末尾填充0，以使其与TCP标头的长度相等；
d.转换成二维灰度图像：将长度统一后的会话文件数据根据模型的要求，将输入数据的分辨率大小进行复制扩充，比如：分别将每条会话，1024个字节，复制扩充至长度为4096，64*64。然后将扩充后的会话文件转换为的二维灰度图像，会话文件中的一个字节对应灰度图像中的一个像素值。
在一个优选地实施方式中，步骤三，将上述二维灰度图像数据集S按比例进行划分成两部分S1和S2，其中S1为训练数据集，所述训练数据集S1的样本从S中随机挑选；S2为验证数据集，其样本为数据集S中除去S1的部分，其中，训练数据集S1的样本数量大于两倍验证数据集的样本数量。
在一个优选地实施方式中，步骤四，基于优化的Efficientnet-B0神 经网络卷积模型，利用上述样本数据集对所述模型的参数进行优化，将基础 网络模型EfficientNet-B0的最后一个全连接层去除，采用该网络的核心结 构移动翻转瓶颈卷积模块进行构造，移动翻转瓶颈卷积可通过神经网络架构 搜索得到；移动翻转瓶颈卷积模块中的压缩与激发操作，以下简称SE模块， 是一种基于注意力的特征图操作操作，SE模块首先对特征图进行压缩操作， 在通道维度方向上进行全局平均池化操作，得到特征图通道维度方向的全局特征。然后对全局特征进行激发操作，使用激活比例，R，该比例为浮点数， 乘全局特征维数C个1x1的卷积对其进行卷积(原方法使用全连接层)，学 ***均池化：为了降低计算量以及 防止全网络层面的过拟合，采用全局平均池化技术替代EfficientNet-B0的 全连接层，用来改变卷积层输出特征图的维度，将模型学到的“分布式特征 表示”映射到样本标记空间，即实现特征图的向量化，从而实现分类的目的； ReLU函数激活层：EfficientNet-B0卷积层输出的特征图在经过全局平均池 化层之后，可以得到一个固定长度的一维特征向量，比如：长度为1280。为 了进一步整合所述特征值，增强优化后的模型的非线性表达能力，增加一个 ReLU函数激活层，采用线性整流函数作为激活函数，可以得到另一个固定长 度的高阶特征向量，比如：长度为256，其中，ReLU函数如下：f(x)＝max(0，x)， 其中x为神经元输入的特征值，ReLU函数保留全部正值，并将所有负值置为0，通过这种方式赋予神经元稀疏激活性，仍而使其能够更好地挖掘输入信 息中与目标相关的特征，拟合训练数据。与线性函数相比，ReLU函数具有更 强的表达能力；而与其他非线性函数相比，其非负区间的梯度为常数，因此 能够避免神经网络训练过程中经常出现的梯度消失问题；Softmax分类计算 层：根据***预定义所能处理的加密流量的类型，类型由标签和流量的样本 数确定，根据类型确认Softmax分类计算层的输出向量的长度，激活函数采 用归一化指数函数Softmax()，表达式如下：
Figure RE-GDA0003410301170000041
其中，K为加密 流量类型的总数，i为加密流量的类型索引，zi为softmax计算层中间 神经元的映射结果，yi为加密流量类型的概率值。
在一个优选地实施方式中，步骤五，根据Softmax分类计算层的输出的加密流量类型的概率值对加密流量的类型进行判定，判定以最大概率值对应的类型为该加密流最相似的类型，如果存在多个加密流量类型的概率值相等的情况，则判定该加密流量类型为未知流量，***记录异常情况，根据***记录的异常情况，可进行人工干预，并进行标记。
在一个优选地实施方式中，步骤六，根据判定结果在数据平面进行流量控制，如果判定为恶意流量，则在控制层对相关的源IP进行限制，禁止其IP 地址在一定的时间内访问***的资源。
在一个优选地实施方式中，本发明还提供了一种恶意流量检测的***装置，所述装置位于SDN网络的控制平面层，主要由数据采集模块，数据处理模块，卷积神经网络模型，流量类型判定模块，数据中心和控制中心，其中数据采集模块与数据处理模块相连，数据处理模块与卷积神经网络模型相连，神经网络模型与流量类型判定模块相连，流量类型判定模块与控制中心相连，数据中心分别与数据采集模块、数据处理模块、卷积神经网络模型以及流量类型判定模块相连；
其中，数据采集模块根据当前网络安全通用的方法进行网络流量的数据采集，比如，正常的加密流量数据集可采用ISCX VPN-nonVPN的方法，加密恶意流量数据集可采用CTU-13描述的方法，网络流量数据集中样本的数量以满足卷积神经网络训练所需样本数为基础，尽可能采集多种具有一定样本数量的主流的正常加密网络流量类型和恶意加密流量类型，采集的数据统一以文件形式存储与数据中心中；
数据处理模块从数据中心读取采集的网络流量数据集进行预处理，将网络流量数据样本经过流量切分、数据清洗、统一数据长度后，转换成二维灰度图像，并将转换后的二维灰度图像分成训练数据集与验证数据集分别用于训练和验证卷积神经网络模型的参数；
卷积神经网络模型优选基于EfficientNet-B0的优化卷积神经网络模型，所述优化卷积神经网络模型在去除了EfficientNet-B0的尾部全连接层后，辅之以全局平均池化层、ReLU函数激活层以及Softmax分类计算层；优化的 Efficientnet-B0神经网络卷积模型结构如图2所示；然后利用上述样本数据集对所述优化后的模型参数进行优化以及验证，获得可用于线上检测的卷积神经网络模型；
流量类型判定模块根据Softmax分类计算层的输出的加密流量类型的概率值对加密流量的类型进行判定，判定以最大概率值对应的类型为该加密流最相似的类型，如果存在多个加密流量类型的概率值相等的情况，则判定该加密流量类型为未知流量，***记录异常情况，根据***记录的异常情况，可进行人工干预，并进行标记；
数据中心用于存储采集的加密网络流量源数据、经过数据处理模块处理之后的二维灰度图像数据、神经卷积网络模型的优化参数，每一个加密数据流量类型的概率计算结果等；
控制中心根据流量类型判定模块的判定结果在数据平面进行流量控制，如果判定为恶意流量，则在控制层对相关的源IP进行限制，禁止其IP地址在一定的时间内访问***的资源。
本发明的有益效果：本发明提供了一种互联网恶意流量检测方法及***，基于Efficientnet-B0卷积神经网络学***面对数据平面的访问连接进行控制，从而实现了加密网络安全的目的。
附图说明
图1为加密恶意流量检测处理流程；
图2为优化的EfficientNet-B0网络结构图；
图3为加密恶意流量检测***框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如附图1所示的本发明提供如下技术方案：本发明提供了一种互联网恶意流量检测方法及***，根据当前网络安全的通用办法进行网络流量数据采集，所述网络流量数据采集包括正常加密的流量以及加密的恶意流量，将采集的网络流量数据进行预处理，形成二维灰度图像集；同时对 Efficientnet-B0卷积神经网络模型架构进行优化，将所述二维灰度图像集输入优化后的Efficientnet-B0网络模型进行训练，获得训练好的网络模型参数；然后利用训练后的Efficientnet-B0优化网络模型对输入的网络流量进行概率计算，获得各种加密流量的概率，然后根据最大相似概率进行判断是否为恶意流量。
优选的，步骤一，根据当前网络安全通用的方法进行网络流量的数据采集，比如，正常的加密流量数据集可采用ISCX VPN-nonVPN的方法，加密恶意流量数据集可采用CTU-13描述的方法，网络流量数据集中样本的数量以满足卷积神经网络训练所需样本数为基础，尽可能采集多种具有一定样本数量的主流的正常加密网络流量类型和恶意加密流量类型。
优选的，步骤二，对采集的网络流量数据集进行预处理，将网络流量数据样本转换成二维灰度图像，具体转换流程如下：
a.对数据集合中所有样本进行流量切分：将原始流量文件按网络流量属性中的五元组，源IP，源端口，目的IP，目的端口，传输层协议，将原始流量划分为会话，所述会话为双向流量组成的一组数据包，其中源IP和目的IP 可以互换；
b.对会话进行数据清洗：删除与加密流量类型检测无关的信息，对于每条会话，依次迭代其中的每个数据包，删除数据链路层中一些与网络类型相关的数据，比如MAC地址；同时，删除重复的数据包和空数据包等；
c.统一会话的数据长度：基于Efficientnet-B0神经网络卷积模型需要固定的会话长度，将每条会话的长度固定为N个字节，比如1024个字节，如果会话长度大于N个字节则截断，小于N个字节则在会话末尾补零，根据传输层的协议，为了使传输层的数据段均匀，在UDP段的标头部分末尾填充0，以使其与TCP标头的长度相等；
d.转换成二维灰度图像：将长度统一后的会话文件数据根据模型的要求，将输入数据的分辨率大小进行复制扩充，比如：分别将每条会话(1024个字节) 复制扩充至长度为4096(64*64)。然后将扩充后的会话文件转换为的二维灰度图像，会话文件中的一个字节对应灰度图像中的一个像素值。
优选的，步骤三，将上述二维灰度图像数据集S按比例进行划分成两部分S1和S2，其中S1为训练数据集，所述训练数据集S1的样本从S 中随机挑选；S2为验证数据集，其样本为数据集S中除去S1的部分，其中，训练数据集S1的样本数量大于两倍验证数据集的样本数量。
优选的，步骤四，基于优化的Efficientnet-B0神经网络卷积模型，利 用上述样本数据集对所述模型的参数进行优化，将基础网络模型EfficientNet-B0的最后一个全连接层去除，采用该网络的核心结构移动翻转 瓶颈卷积模块进行构造，移动翻转瓶颈卷积可通过神经网络架构搜索得到；移 动翻转瓶颈卷积模块中的压缩与激发操作，以下简称SE模块，是一种基于注 意力的特征图操作操作，SE模块首先对特征图进行压缩操作，在通道维度方 向上进行全局平均池化操作，得到特征图通道维度方向的全局特征。然后对 全局特征进行激发操作，使用激活比例，R，该比例为浮点数，乘全局特征维 数C个1x1的卷积对其进行卷积，原方法使用全连接层，学***均池化：为了降低计算量以及防止全网络层面 的过拟合，采用全局平均池化技术替代EfficientNet-B0的全连接层，用来 改变卷积层输出特征图的维度，将模型学到的“分布式特征表示”映射到样 本标记空间，即实现特征图的向量化，从而实现分类的目的；ReLU函数激活 层：EfficientNet-B0卷积层输出的特征图在经过全局平均池化层之后，可以 得到一个固定长度的一维特征向量，比如：长度为1280。为了进一步整合所 述特征值，增强优化后的模型的非线性表达能力，增加一个ReLU函数激活层， 采用线性整流函数作为激活函数，可以得到另一个固定长度的高阶特征向量， 比如：长度为256，其中，ReLU函数如下：f(x)＝max(0，x)，其中x为神经元输入的特征值，ReLU函数保留全部正值，并将所有负值置为0，通过这 种方式赋予神经元稀疏激活性，仍而使其能够更好地挖掘输入信息中与目标 相关的特征，拟合训练数据。与线性函数相比，ReLU函数具有更强的表达能 力；而与其他非线性函数相比，其非负区间的梯度为常数，因此能够避免神 经网络训练过程中经常出现的梯度消失问题；Softmax分类计算层：根据*** 预定义所能处理的加密流量的类型，类型由标签和流量的样本数确定，根据 类型确认Softmax分类计算层的输出向量的长度，激活函数采用归一化指数 函数Softmax()，表达式如下：
Figure RE-GDA0003410301170000101
其中，K为加密流量类型的总 数，i为加密流量的类型索引，zi为softmax计算层中间神经元的映射 结果，yi为加密流量类型的概率值。
优选的，步骤五，根据Softmax分类计算层的输出的加密流量类型的概率值对加密流量的类型进行判定，判定以最大概率值对应的类型为该加密流最相似的类型，如果存在多个加密流量类型的概率值相等的情况，则判定该加密流量类型为未知流量，***记录异常情况，根据***记录的异常情况，可进行人工干预，并进行标记。
优选的，如果判定为恶意流量，则在控制层对相关的源IP进行限制，禁止其IP地址在一定的时间内访问***的资源。
优选的，本发明还提供了一种恶意流量检测的***装置，所述装置位于 SDN网络的控制平面层，主要由数据采集模块，数据处理模块，卷积神经网络模型，流量类型判定模块，数据中心和控制中心，其中数据采集模块与数据处理模块相连，数据处理模块与卷积神经网络模型相连，神经网络模型与流量类型判定模块相连，流量类型判定模块与控制中心相连，数据中心分别与数据采集模块、数据处理模块、卷积神经网络模型以及流量类型判定模块相连；
其中，数据采集模块根据当前网络安全通用的方法进行网络流量的数据采集，比如，正常的加密流量数据集可采用ISCX VPN-nonVPN的方法，加密恶意流量数据集可采用CTU-13描述的方法，网络流量数据集中样本的数量以满足卷积神经网络训练所需样本数为基础，尽可能采集多种具有一定样本数量的主流的正常加密网络流量类型和恶意加密流量类型，采集的数据统一以文件形式存储与数据中心中；
数据处理模块从数据中心读取采集的网络流量数据集进行预处理，将网络流量数据样本经过流量切分、数据清洗、统一数据长度后，转换成二维灰度图像，并将转换后的二维灰度图像分成训练数据集与验证数据集分别用于训练和验证卷积神经网络模型的参数；
卷积神经网络模型优选基于EfficientNet-B0的优化卷积神经网络模型，所述优化卷积神经网络模型在去除了EfficientNet-B0的尾部全连接层后，辅之以全局平均池化层、ReLU函数激活层以及Softmax分类计算层；优化的 Efficientnet-B0神经网络卷积模型结构如图2所示；然后利用上述样本数据集对所述优化后的模型参数进行优化以及验证，获得可用于线上检测的卷积神经网络模型；
流量类型判定模块根据Softmax分类计算层的输出的加密流量类型的概率值对加密流量的类型进行判定，判定以最大概率值对应的类型为该加密流最相似的类型，如果存在多个加密流量类型的概率值相等的情况，则判定该加密流量类型为未知流量，***记录异常情况，根据***记录的异常情况，可进行人工干预，并进行标记；
数据中心用于存储采集的加密网络流量源数据、经过数据处理模块处理之后的二维灰度图像数据、神经卷积网络模型的优化参数，每一个加密数据流量类型的概率计算结果等；
控制中心根据流量类型判定模块的判定结果在数据平面进行流量控制，如果判定为恶意流量，则在控制层对相关的源IP进行限制，禁止其IP地址在一定的时间内访问***的资源。
本发明工作原理：本发明提供了一种互联网恶意流量检测方法及***，基于Efficientnet-B0卷积神经网络学***面对数据平面的访问连接进行控制，从而实现了加密网络安全的目的。
最后应说明的几点是：首先，在本申请的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变，则相对位置关系可能发生改变；
其次：本发明公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计，在不冲突情况下，本发明同一实施例及不同实施例可以相互组合；
最后：以上仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.本发明提供了一种互联网恶意流量检测方法及***，其特征在于：根据当前网络安全的通用办法进行网络流量数据采集，所述网络流量数据采集包括正常加密的流量以及加密的恶意流量，将采集的网络流量数据进行预处理，形成二维灰度图像集；同时对Efficientnet-B0卷积神经网络模型架构进行优化，将所述二维灰度图像集输入优化后的Efficientnet-B0网络模型进行训练，获得训练好的网络模型参数；然后利用训练后的Efficientnet-B0优化网络模型对输入的网络流量进行概率计算，获得各种加密流量的概率，然后根据最大相似概率进行判断是否为恶意流量。
2.根据权利要求1所述的一种互联网恶意流量检测方法及***，其特征在于：步骤一，根据当前网络安全通用的方法进行网络流量的数据采集，比如，正常的加密流量数据集可采用ISCX VPN-nonVPN的方法，加密恶意流量数据集可采用CTU-13描述的方法，网络流量数据集中样本的数量以满足卷积神经网络训练所需样本数为基础，尽可能采集多种具有一定样本数量的主流的正常加密网络流量类型和恶意加密流量类型。
3.根据权利要求2所述的一种互联网恶意流量检测方法及***，其特征在于：步骤二，对采集的网络流量数据集进行预处理，将网络流量数据样本转换成二维灰度图像，具体转换流程如下：
a.对数据集合中所有样本进行流量切分：将原始流量文件按网络流量属性中的五元组，源IP，源端口，目的IP，目的端口，传输层协议，将原始流量划分为会话，所述会话为双向流量组成的一组数据包，其中源IP和目的IP可以互换；
b.对会话进行数据清洗：删除与加密流量类型检测无关的信息，对于每条会话，依次迭代其中的每个数据包，删除数据链路层中一些与网络类型相关的数据，比如MAC地址；同时，删除重复的数据包和空数据包等；
c.统一会话的数据长度：基于Efficientnet-B0神经网络卷积模型需要固定的会话长度，将每条会话的长度固定为N个字节，比如1024个字节，如果会话长度大于N个字节则截断，小于N个字节则在会话末尾补零，根据传输层的协议，为了使传输层的数据段均匀，在UDP段的标头部分末尾填充0，以使其与TCP标头的长度相等；
d.转换成二维灰度图像：将长度统一后的会话文件数据根据模型的要求，将输入数据的分辨率大小进行复制扩充，比如：分别将每条会话，1024个字节，复制扩充至长度为4096，64*64，然后将扩充后的会话文件转换为的二维灰度图像，会话文件中的一个字节对应灰度图像中的一个像素值。
4.根据权利要求3所述的一种互联网恶意流量检测方法及***，其特征在于：步骤三，将上述二维灰度图像数据集S按比例进行划分成两部分S1和S2，其中S1为训练数据集，所述训练数据集S1的样本从S中随机挑选；S2为验证数据集，其样本为数据集S中除去S1的部分，其中，训练数据集S1的样本数量大于两倍验证数据集的样本数量。
5.根据权利要求4所述的一种互联网恶意流量检测方法及***，其特征在于：步骤四，基于优化的Efficientnet-B0神经网络卷积模型，利用上述样本数据集对所述模型的参数进行优化，将基础网络模型EfficientNet-B0的最后一个全连接层去除，采用该网络的核心结构移动翻转瓶颈卷积模块进行构造，移动翻转瓶颈卷积可通过神经网络架构搜索得到；移动翻转瓶颈卷积模块中的压缩与激发操作，以下简称SE模块，是一种基于注意力的特征图操作操作，SE模块首先对特征图进行压缩操作，在通道维度方向上进行全局平均池化操作，得到特征图通道维度方向的全局特征。然后对全局特征进行激发操作，使用激活比例，R，该比例为浮点数，乘全局特征维数C个1x1的卷积对其进行卷积，原方法使用全连接层，学***均池化：为了降低计算量以及防止全网络层面的过拟合，采用全局平均池化技术替代EfficientNet-B0的全连接层，用来改变卷积层输出特征图的维度，将模型学到的“分布式特征表示”映射到样本标记空间，即实现特征图的向量化，从而实现分类的目的；ReLU函数激活层：EfficientNet-B0卷积层输出的特征图在经过全局平均池化层之后，可以得到一个固定长度的一维特征向量，比如：长度为1280。为了进一步整合所述特征值，增强优化后的模型的非线性表达能力，增加一个ReLU函数激活层，采用线性整流函数作为激活函数，可以得到另一个固定长度的高阶特征向量，比如：长度为256，其中，ReLU函数如下：f(x)＝max(0，x)，其中x为神经元输入的特征值，ReLU函数保留全部正值，并将所有负值置为0，通过这种方式赋予神经元稀疏激活性，仍而使其能够更好地挖掘输入信息中与目标相关的特征，拟合训练数据。与线性函数相比，ReLU函数具有更强的表达能力；而与其他非线性函数相比，其非负区间的梯度为常数，因此能够避免神经网络训练过程中经常出现的梯度消失问题；Softmax分类计算层：根据***预定义所能处理的加密流量的类型，类型由标签和流量的样本数确定，根据类型确认Softmax分类计算层的输出向量的长度，激活函数采用归一化指数函数Softmax(),表达式如下：
Figure RE-FDA0003410301160000031
其中，K为加密流量类型的总数，i为加密流量的类型索引，zi为softmax计算层中间神经元的映射结果，yi为加密流量类型的概率值。
6.根据权利要求5所述的一种互联网恶意流量检测方法及***，其特征在于：步骤五，根据Softmax分类计算层的输出的加密流量类型的概率值对加密流量的类型进行判定，判定以最大概率值对应的类型为该加密流最相似的类型，如果存在多个加密流量类型的概率值相等的情况，则判定该加密流量类型为未知流量，***记录异常情况，根据***记录的异常情况，可进行人工干预，并进行标记。
7.根据权利要求6所述的一种互联网恶意流量检测方法及***，其特征在于：步骤六，根据判定结果在数据平面进行流量控制，如果判定为恶意流量，则在控制层对相关的源IP进行限制，禁止其IP地址在一定的时间内访问***的资源。
8.根据权利要求1所述的一种互联网恶意流量检测方法及***，其特征在于：本发明还提供了一种恶意流量检测的***装置，所述装置位于SDN网络的控制平面层，主要由数据采集模块，数据处理模块，卷积神经网络模型，流量类型判定模块，数据中心和控制中心，其中数据采集模块与数据处理模块相连，数据处理模块与卷积神经网络模型相连，神经网络模型与流量类型判定模块相连，流量类型判定模块与控制中心相连，数据中心分别与数据采集模块、数据处理模块、卷积神经网络模型以及流量类型判定模块相连；
其中，数据采集模块根据当前网络安全通用的方法进行网络流量的数据采集，比如，正常的加密流量数据集可采用ISCX VPN-nonVPN的方法，加密恶意流量数据集可采用CTU-13描述的方法，网络流量数据集中样本的数量以满足卷积神经网络训练所需样本数为基础，尽可能采集多种具有一定样本数量的主流的正常加密网络流量类型和恶意加密流量类型，采集的数据统一以文件形式存储与数据中心中；
数据处理模块从数据中心读取采集的网络流量数据集进行预处理，将网络流量数据样本经过流量切分、数据清洗、统一数据长度后，转换成二维灰度图像，并将转换后的二维灰度图像分成训练数据集与验证数据集分别用于训练和验证卷积神经网络模型的参数；
卷积神经网络模型优选基于EfficientNet-B0的优化卷积神经网络模型，所述优化卷积神经网络模型在去除了EfficientNet-B0的尾部全连接层后，辅之以全局平均池化层、ReLU函数激活层以及Softmax分类计算层；优化的Efficientnet-B0神经网络卷积模型结构如图2所示；然后利用上述样本数据集对所述优化后的模型参数进行优化以及验证，获得可用于线上检测的卷积神经网络模型；
流量类型判定模块根据Softmax分类计算层的输出的加密流量类型的概率值对加密流量的类型进行判定，判定以最大概率值对应的类型为该加密流最相似的类型，如果存在多个加密流量类型的概率值相等的情况，则判定该加密流量类型为未知流量，***记录异常情况，根据***记录的异常情况，可进行人工干预，并进行标记；
数据中心用于存储采集的加密网络流量源数据、经过数据处理模块处理之后的二维灰度图像数据、神经卷积网络模型的优化参数，每一个加密数据流量类型的概率计算结果等；
控制中心根据流量类型判定模块的判定结果在数据平面进行流量控制，如果判定为恶意流量，则在控制层对相关的源IP进行限制，禁止其IP地址在一定的时间内访问***的资源。
CN202111031263.5A 2021-09-03 2021-09-03 一种互联网恶意流量检测方法及*** Pending CN113989583A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111031263.5A CN113989583A (zh) 2021-09-03 2021-09-03 一种互联网恶意流量检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111031263.5A CN113989583A (zh) 2021-09-03 2021-09-03 一种互联网恶意流量检测方法及***

Publications (1)

Publication Number Publication Date
CN113989583A true CN113989583A (zh) 2022-01-28

Family

ID=79735330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111031263.5A Pending CN113989583A (zh) 2021-09-03 2021-09-03 一种互联网恶意流量检测方法及***

Country Status (1)

Country Link
CN (1) CN113989583A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114553579A (zh) * 2022-02-28 2022-05-27 四川轻化工大学 基于图像的新型恶意流量检测方法
CN114710325A (zh) * 2022-03-17 2022-07-05 广州杰赛科技股份有限公司 网络入侵检测模型的构建方法、装置、设备及存储介质
CN114866310A (zh) * 2022-04-29 2022-08-05 厦门服云信息科技有限公司 一种恶意加密流量检测方法、终端设备及存储介质
CN115037535A (zh) * 2022-06-01 2022-09-09 上海磐御网络科技有限公司 一种针对网络攻击行为的智能识别方法
CN115314239A (zh) * 2022-06-21 2022-11-08 中化学交通建设集团有限公司 基于多模型融合的隐匿恶意行为的分析方法和相关设备
CN115802355A (zh) * 2023-01-20 2023-03-14 苏州派尔网络科技有限公司 一种移动物联网卡管理方法、装置及云平台
CN116471057A (zh) * 2023-03-29 2023-07-21 华能信息技术有限公司 一种恶意流量解析分析方法
CN117155595A (zh) * 2023-05-12 2023-12-01 中国刑事警察学院 一种基于视觉注意力网络的恶意加密流量检测方法及模型
CN117496246A (zh) * 2023-11-09 2024-02-02 暨南大学 一种基于卷积神经网络的恶意软件分类方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114553579A (zh) * 2022-02-28 2022-05-27 四川轻化工大学 基于图像的新型恶意流量检测方法
CN114710325A (zh) * 2022-03-17 2022-07-05 广州杰赛科技股份有限公司 网络入侵检测模型的构建方法、装置、设备及存储介质
CN114710325B (zh) * 2022-03-17 2023-09-15 广州杰赛科技股份有限公司 网络入侵检测模型的构建方法、装置、设备及存储介质
CN114866310A (zh) * 2022-04-29 2022-08-05 厦门服云信息科技有限公司 一种恶意加密流量检测方法、终端设备及存储介质
CN115037535A (zh) * 2022-06-01 2022-09-09 上海磐御网络科技有限公司 一种针对网络攻击行为的智能识别方法
CN115314239A (zh) * 2022-06-21 2022-11-08 中化学交通建设集团有限公司 基于多模型融合的隐匿恶意行为的分析方法和相关设备
CN115802355A (zh) * 2023-01-20 2023-03-14 苏州派尔网络科技有限公司 一种移动物联网卡管理方法、装置及云平台
CN116471057A (zh) * 2023-03-29 2023-07-21 华能信息技术有限公司 一种恶意流量解析分析方法
CN117155595A (zh) * 2023-05-12 2023-12-01 中国刑事警察学院 一种基于视觉注意力网络的恶意加密流量检测方法及模型
CN117496246A (zh) * 2023-11-09 2024-02-02 暨南大学 一种基于卷积神经网络的恶意软件分类方法

Similar Documents

Publication Publication Date Title
CN113989583A (zh) 一种互联网恶意流量检测方法及***
CN112163594B (zh) 一种网络加密流量识别方法及装置
CN111340191B (zh) 基于集成学习的僵尸网络恶意流量分类方法及***
Zeng et al. DeepVCM: A deep learning based intrusion detection method in VANET
CN110808971B (zh) 一种基于深度嵌入的未知恶意流量主动检测***及方法
CN111860628A (zh) 一种基于深度学习的流量识别与特征提取方法
CN110796196B (zh) 一种基于深度判别特征的网络流量分类***及方法
Wang et al. App-net: A hybrid neural network for encrypted mobile traffic classification
CN112564974B (zh) 一种基于深度学习的物联网设备指纹识别方法
CN112511555A (zh) 基于稀疏表示和卷积神经网络的私有加密协议报文分类法
CN113329023A (zh) 一种加密流量恶意性检测模型建立、检测方法及***
CN114422211B (zh) 基于图注意力网络的http恶意流量检测方法及装置
CN112491894A (zh) 一种基于时空特征学习的物联网网络攻击流量监测***
CN112887291A (zh) 基于深度学习的i2p流量识别方法及***
CN114500396A (zh) 区分匿名Tor应用流量的MFD色谱特征提取方法及***
CN110222795A (zh) 基于卷积神经网络的p2p流量的识别方法及相关装置
CN112884121A (zh) 基于生成对抗深度卷积网络的流量识别方法
CN113408707A (zh) 一种基于深度学习的网络加密流量识别方法
CN110365659B (zh) 一种小样本场景下的网络入侵检测数据集的构造方法
Ren et al. A novel deep learning method for application identification in wireless network
CN117633657A (zh) 基于多图表征增强实现加密应用流量识别处理的方法、装置、处理器及计算机可读存储介质
CN117633627A (zh) 一种基于证据不确定性评估的深度学习未知网络流量分类方法及***
CN113382039A (zh) 一种基于5g移动网络流量分析的应用识别方法和***
CN115622810B (zh) 一种基于机器学习算法的业务应用识别***及方法
CN116781341A (zh) 一种基于大语言模型的去中心化网络DDoS攻击识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination