CN116405419A - 一种基于小样本学习的未知网络协议分类方法 - Google Patents
一种基于小样本学习的未知网络协议分类方法 Download PDFInfo
- Publication number
- CN116405419A CN116405419A CN202310395191.5A CN202310395191A CN116405419A CN 116405419 A CN116405419 A CN 116405419A CN 202310395191 A CN202310395191 A CN 202310395191A CN 116405419 A CN116405419 A CN 116405419A
- Authority
- CN
- China
- Prior art keywords
- protocol
- unknown
- meta
- classification
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012360 testing method Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000013145 classification model Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 13
- 238000012800 visualization Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 102100026278 Cysteine sulfinic acid decarboxylase Human genes 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 108010064775 protein C activator peptide Proteins 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 230000002950 deficient Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/18—Protocol analysers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种基于小样本学习的未知网络协议分类方法，具体步骤包括：第一部分采集纯净的单协议原始网络流量，分流处理后将每个流在通信最初阶段的部分数据包报头和少部分的载荷可视化处理成RGB图像，构建纯净的可视化协议流量数据集。第二部分构建小样本协议模型在元训练和元测试阶段的“N‑way K‑shot”的分类问题所需的任务集。第三部分将任务集输入神经网络，通过元训练获得具有协议流量分类先验知识的元学习模型，在元测试阶段通过少量未知协议构成的新任务微调模型，得到适用于未知协议的分类模型。第四部分为未知协议识别，将待测流量预处理生成图像后输入到小样本未知协议识别模型并输出最终的预测结果。
Description
技术领域
本发明属于网络空间安全技术领域，涉及一种基于小样本学习的未知网络协议分类方法。
背景技术
网络协议是互联网通信的重要纽带，是计算机网络进行数据交换的规则、标准或约定的合集。随着当前互联网技术的高速发展，网络流量数据***性增长，网络协议也越来越复杂。网络协议的识别和分析是网络安全的基础，是网络流量分析的前提，直接影响网络入侵检测、流量监控和用户行为分析等，对于网络监管、异常检测具有重要意义。除了已经广泛应用的协议如FTP、HTTP等，越来越多的专用和私有协议流量给互联网安全带来极大的挑战。已知协议的研究已经十分成熟，协议识别的研究重点逐渐转向了未知协议识别。但是未知协议识别研究仍处于起步阶段，关键在于未知协议分析的可行性和准确率和识别效率。但是，新兴出现的协议可供分析的数据样本量往往是十分稀缺的。因此，为了维护网络安全，如何在样本量极少的情况下对未知网络协议进行高效准确的识别成为热点问题。
协议识别的方法主要包括基于端口的流量识别、基于深度包检测(DPI)的流量识别和基于机器学习、深度学习方法的流量识别。这些方法都是基于大量先验知识进行协议识别的。目前，端口伪装技术或动态端口技术使得基于传统的端口检测技术进行协议识别的方法近乎被淘汰。深度包检测技术只对特定的协议识别准确率高但是运行效率较低。基于机器学习方法的协议识别的准确率很大程度上依赖训练样本量和特征工程，同时模型的通用性低。
目前面向未知协议分析的分析主要分为网络流量和行为轨迹两种。基于行为的协议分析依赖于逆向分析通信种源程序执行指令的轨迹。而基于网络流量的分析方法关注的重点在数据包，具有更强的通用性，且不依赖具体的平台实现，具有更高的分析效率。因此本发明采用基于网络流量的方法。
未知协议研究和传统已知协议的研究相比存的主要难点在于(1)专有或私有等未知协议可获取的协议流量样本数量级较小，传统方法的过拟合问题难以解决；(2)当前算法的准确率和效率难以权衡；(3)目前的模型通用性差，泛化能力低。
因此，为了实现在小样本场景下准确高效的识别未知协议，本发明将原始网络流量可视化为RGB图像，通过输入CNN神经网络自动提取协议的整体特征，并通过小样本多任务模型学习协议分类的能力。
发明内容
为了维护网络空间的安全，实现少样本场景下的未知协议的识别，本发明提出了一种小样本未知协议分类模型。第一部分采集纯净的单协议原始网络流量，可视化处理成RGB图像，构建纯净的可视化流量数据集。第二部分构建小样本协议模型在元训练和元测试阶段的“N-way K-shot”的分类问题所需任务集。第三部分将任务集输入神经网络，通过元训练获得具有先验知识的元模型，在元测试阶段通过少量包含未知协议类别的新任务对模型微调，得到适用于新任务的小样本协议分类模型。第四部分为未知协议识别，将待测流量输入预处理生成图像后构建任务集，输入到小样本未知协议识别模型并输出最终的测试结果。
为了达到上述目的，本发明提供如下技术方案：
(1)采集纯净的单协议原始网络流量；
(2)可视化处理成RGB图像，构建纯净的可视化流量数据集；
(3)构建元训练和元测试阶段的“N-way K-shot”的分类问题所需任务集；
(4)将任务集输入神经网络，通过元训练获得具有协议流量分类先验知识的元学习模型，在元测试阶段通过少量未知协议构成的新任务微调模型，得到适用于未知协议的分类模型；
(5)将待测流量预处理生成图像后输入到小样本未知协议识别模型并输出最终的预测结果。
进一步，所述步骤(1)具体包括如下子步骤：
(1.1)采集PCAP格式原始网络流量数据，通过wireshark工具根据端口号对常见已知网络协议打上对应的协议标签；对于工具能力外的协议流量通过严格限制单协议环境自采流量和手动的方式添加对应标签。
(1.2)对网络流量按照五元组(源IP地址，源端口，目的IP地址，目的端口，协议类型)进行分流；
(1.3)将数据集中的MAC、端口号、IP随机化，实现数据流匿名化处理；
进一步，所述步骤(2)具体包括如下子步骤：
(2.1)选择步骤(1)处理后的每个数据流的前M(M为3的倍数)的数据包。数据流内的数据包按照时间顺序排列，一般最初传输的数据包包含绝大多数的协议特征，后续丢弃的数据包是连续的内容传输。M取合适值时可以包含连接建立过程和少量的内容传输。
(2.2)将步骤(2.1)中的每个数据包取前N(N为平方数)个字节来表示整体的信息。当N取合适值时，可以完全包含数据包的报头和一部分有效负载信息。
(2.3)针对步骤(2.1)和步骤(2.3)所述不足的部分用0x00填充。
(2.4)将步骤(2.3)规范化的数据包每前N个字节排列为√N×√N的矩阵，每个元素可能的值对应灰度，从而得到大小为√N×√N的灰度图像。
(2.5)将步骤(2.4)的相邻的三个灰度图像分别作为彩色图像R、G、B通道的输入，最终每个数据流可以得到M/3个彩色图像。完成网络流量的图像可视化。
进一步，所述步骤(3)具体包括如下子步骤：
(3.1)中生成的可视化协议数据集中已经熟知工作原理和协议格式的9类协议划分为已知协议集Dknown，另外将4类采集到样本量较少的协议定义为未知协议，划归为未知协议集Dunknown。
(3.2)在数据集中随机抽取N个类型(N-way)，每一类型随机抽取(K+m)个实例(m≥1)，由这N*(K+m)个实例组成当前任务Ti的数据集。其中N*K个实例作为样本集
S＝{(x1,y1)，(x2,y2),···，(xn,yn)}
其中xi∈Rd，yi∈{0，1，……，N}，剩余N*m个实例作为查询集Qi。从而构成一个小样本任务Ti＝{Si,Qi,K}。
(3.3)从数据集Dknown重复操作步骤(3.2)构建包含多个子任务的元训练任务集Ttrain＝{T1，T2，……，Tn}。
(3.4)同理在未知协议数据集Dunknown重复步骤(3.2)操作构建包含B个子任务的元测试任务集Ttest＝{T1，T2，……，TB}，其中B是一个较小的值。
进一步，所述步骤(4)具体包括如下子步骤：
(4.1)从元训练任务集随机抽取n个任务作为一个批次，以随机参数
初始化基础学习器fθ，设置基础学习器和元学习器的学习率分别为α,β，并选择交叉熵函数MSE为损失函数。
(4.2)该批次的每个任务Ti的支持集Si上的损失函数为
用梯度下降进行更新基础学习器。目标参数/>
经过经过K个样本的训练迭代，参数更新为：
在此基础上使用测试集Qi进行测试，计算当前任务该参数下的损失函数
(4.3)重复上述操作步骤(4.2)直到这一批次的任务训练结束，整合不同子任务的损失函数并更新元学习器，
(4.4)循环步骤(4.1)～(4.3)直到目标函数收敛，
从而得到具备协议流量分类任务先验知识的的全局最优超参数
(4.5)在元测试阶段，通过
初始化网络参数避免冷启动，使用Ttest训练并使用梯度下降微调模型，得到适用于未知协议的分类模型f(θ*)，测试集检验当前模型的性能。
进一步，所述步骤(5)具体包括如下子步骤：
(5.1)在步骤5中设置不同的“N-way K-shot”任务，获得对应的适合未知协议小样本的分类器f(θ*)。根据纠错输出码原理改造模型，使用多分类器分别对测试样本进行预测，这些预测标记组成一个编码。将这个预测编码与每个类别各自的编码进行比较，返回其中距离最小的类别作为最终预测的结果。
(5.2)将待测流量经过步骤(3)生成图像后输入改造后的分类器，并输出最终的预测协议类别。
与现有技术相比，本发明具有如下优点和有益效果：
(1)本发明能够快速精确地识别出未知协议类别，无需专家经验提取特征，使用深度神经网络的表示能力和元学习算法来进行协议的准确识别。
(2)本发明基于元学习算法，解决了传统机器学习过拟合的问题，对于小样本场景下的未知协议分类拥有更快的模型收敛速度。
(3)本发明在无需使用大量目标协议样本的情况下也能达到较高的识别准确度，进而可以在未知协议出现的早期即可进行识别。
附图说明
图1为本发明提供的基于小样本学习的未知网络协议分类框架。
图2为协议流量可视化的流程图。
图3为基于小样本学习的未知协议分类的神经网络。
图4为使用2way-10shot任务的元测试阶段的准确率。
图5为协议流量可视化结果。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
实施例1：本发明提供了一种基于小样本学习的未知网络协议分类方法，具体步骤包括：第一部分采集纯净的单协议原始网络流量，可视化处理成RGB图像，构建纯净的可视化协议流量数据集。第二部分构建小样本协议模型在元训练和元测试阶段的“N-way K-shot”的分类问题所需的任务集。第三部分将任务集输入神经网络，通过元训练获得具有协议流量分类先验知识的元学习模型，在元测试阶段通过少量未知协议构成的新任务微调模型，得到适用于未知协议的分类模型。第四部分为未知协议识别，将待测流量预处理生成图像后输入到小样本未知协议识别模型并输出最终的预测结果。
具体地说，本发明方法有以下步骤：
(1)采集纯净的单协议原始网络流量。本步骤的具体过程为通过wireshark工具采集PCAP格式原始网络流量数据并根据端口号对常见已知网络协议打上对应的协议标签；对于工具能力外的协议流量通过严格限制单协议环境自采流量和手动的方式添加对应标签。并分流和匿名化处理。
(2)可视化处理成RGB图像，构建纯净的可视化流量数据集。本步骤的具体过程为：
(2.1)选择每个数据流的前15个数据包后续丢弃的数据包是连续的内容传输。不足时以0x00填充。
(2.2)选择每个数据包取前256个字节，不足部分用0x00填充。将字节排列为16×16的矩阵，每个元素可能的值对应灰度，从而得到大小为16×16的灰度图像。
(2.3)将步骤(2.2)生成的三个相邻灰度图像分别作为彩色图像R、G、B通道的输入，最终每个数据流可以得到5个彩色图像，并打上与数据流相同的标签。完成网络流量的图像可视化。可视化结果如图5所示。
(3)构建元训练和元测试阶段的“N-way K-shot”的分类问题所需任务集。本步骤的具体过程为：将协议数据集划分为已知协议集Dknown和未知协议集Dunknown。具体如表1所示。
表1协议数据集
在数据集中分别随机N个类型，每一类型随机抽取(K+m)个实例(m≥1)，由这N*(K+m)个实例组成当前任务Ti的数据集。其中N*K个实例作为样本集剩余(N*m)个实例作为查询集Qi。从而构成一个小样本任务Ti＝{Si,Qi,K}。从数据集Dknown重复操作构建包含多个子任务的元训练任务集Ttrain＝{T1，T2，……，Tn}。同理由Dunknown构建包含B个子任务的元测试任务集Ttest＝{T1，T2，……，TB}。将N设为2和4，K设为5、10、15分别构建，m固定为5。
(4)将任务集输入神经网络，通过元训练获得具有协议流量分类先验知识的元学习模型，在元测试阶段通过少量未知协议构成的新任务微调模型，得到适用于未知协议的分类模型。本步骤的具体过程为：在元训练阶段将Ttrain分为多批次代入网络训练出具有协议分类先验知识的全局最优超参数
在元测试阶段通过少量测试任务集Ttest训练出适合分类未知协议新任务的模型，并保存该模型。以N＝2，K＝10为例,收敛过程如图2所示。
该步骤使用的神经网络结构为为Block 1由4层组成：“conv2d，3×3，3，64”表示二维卷积层，卷积核的大小为3×3，3个输入通道，64个输出通道；“relu”表示使用Relu为激活函数的激活层；“bn,64”表示具有64个通道的批归一化层；“max_pool2d，2，2”表示窗口大小为2，滑动步长为2的最大池化层。Block 2同样由4层组成：“conv2d，3×3，64，64”表示二维卷积层，卷积核的大小为3×3，64个输入通道，64个输出通道，其余组成部分含义同Block1。Block 3同样由4层组成：“max_pool2d，2，1”表示窗口大小为2，滑动步长为2的最大池化层，其余组成部分含义同Block 2。Block 4由2层组成：“Flatten”用于将多维输入一维化；“Linear”表示将图片抽象特征映射为图片分类结果的全连接层。
(5)将待测流量预处理生成图像后输入到小样本未知协议识别模型并输出最终的预测结果。本步骤的具体过程为：
(5.1)在N＝2时，获得多个适合未知协议小样本的分类器f(θ*)，例如
可以分出未知协议A和未知协议B，/>
可以很好的区分未知协议C和未知协议D。使用多分类器分别对测试样本进行预测，这些预测标记组成一个编码。将这个预测编码与每个类别各自的编码进行比较，返回其中距离最小的类别作为结果。同理N＝4时进行类似的改造。
(5.2)将待测流量生成图像后输入改造后的分类器，并输出最终的预测协议类别。对4类未知协议的分类效果如表2所示。
表2小样本未知协议分类准确率
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (6)
1.一种基于小样本学习的未知网络协议分类方法，其特征在于，包括如下步骤：
(1)采集纯净的单协议原始网络流量；
(2)可视化处理成RGB图像，构建纯净的可视化流量数据集；
(3)构建元训练和元测试阶段的“N-way K-shot”的分类问题所需任务集；
(4)将任务集输入神经网络，通过元训练获得具有协议流量分类先验知识的元学习模型，在元测试阶段通过少量未知协议构成的新任务微调模型，得到适用于未知协议的分类模型；
(5)将待测流量预处理生成图像后输入到小样本未知协议识别模型并输出最终的预测结果。
2.根据权利要求1所述的一种基于小样本学习的未知网络协议分类方法，其特征在于，步骤(1)收集以采集纯净的单协议原始网络流量；具体包括如下子步骤：
(1.1)采集PCAP格式原始网络流量数据，通过wireshark工具根据端口号对常见已知网络协议打上对应的协议标签；对于工具能力外的协议流量通过严格限制单协议环境自采流量和手动的方式添加对应标签；
(1.2)对网络流量按照五元组进行分流，其中五元组包括源IP地址、源端口、目的IP地址、目的端口和协议类型；
(1.3)将数据集中的MAC、端口号、IP随机化，实现数据流匿名化处理。
3.根据权利要求1所述的一种基于小样本学习的未知网络协议分类方法，其特征在于，步骤(2)可视化协议流量数据集生成；具体包括如下子步骤：
(2.1)选择步骤(1)处理后的每个数据流的前M个数据包，其中M为3的倍数；数据流内的数据包按照时间顺序排列，最初传输的数据包包含绝大多数的协议特征，后续丢弃的数据包是连续的内容传输；M取合适值时能包含连接建立过程和少量的内容传输；
(2.2)将步骤(2.1)中的每个数据包取前N个字节来表示整体的信息，其中N为平方数；当N取合适值时，能完全包含数据包的报头和一部分有效负载信息；
(2.3)针对步骤(2.1)和步骤(2.3)不足的部分用0x00填充；
(2.4)将步骤(2.3)规范化的数据包每前N个字节排列为√N×√N的矩阵，每个元素可能的值对应灰度，从而得到大小为√N×√N的灰度图像；
(2.5)将步骤(2.4)的相邻的三个灰度图像分别作为彩色图像R、G、B通道的输入，最终每个数据流能得到M/3个彩色图像，完成网络流量的图像可视化。
4.根据权利要求2所述的一种基于小样本学习的未知网络协议分类方法，其特征在于，步骤(3)构建元训练和元测试阶段的“N-way K-shot”的分类问题所需任务集；具体包括如下子步骤：
(3.1)将步骤(2)中生成的可视化协议数据集中已经熟知工作原理和协议格式的9类协议划分为已知协议集Dknown，另外将4类采集到样本量较少的协议定义为未知协议，划归为未知协议集Dunknown；
(3.2)在已知数据集Dknown中随机抽取N个类型(N-way)，每一类型随机抽取(K+m)个实例(m≥1)，由这N*(K+m)个实例组成当前任务Ti的数据集；其中
N*K个实例作为样本集
S＝{(x1,y1)，(x2,y2),···，(xn,yn)}
其中xi∈Rd，yi∈{0，1，……，N}，剩余N*m个实例作为查询集Qi；从而构成一个小样本任务Ti＝{Si,Qi,K}；
(3.3)从数据集Dknown重复操作步骤(3.2)构建包含多个子任务的元训练任务集Ttrain＝{T1，T2，……，Tn}；
(3.4)同理在未知协议数据集Dunknown重复步骤(3.2)操作构建包含B个子任务的元测试任务集Ttest＝{t1，t2，……，tB}，其中B是一个较小的值。
5.根据权利要求1所述的一种基于小样本学习的未知网络协议分类方法，其特征在于，步骤(4)将任务集输入神经网络，通过元训练获得具有协议流量分类先验知识的元学习模型，在元测试阶段通过少量未知协议构成的新任务微调模型，得到适用于未知协议的分类模型；具体包括如下子步骤：
(4.1)从元训练任务集Ttrain随机抽取n个任务作为一个批次，以随机参数
初始化基础学习器fθ，设置基础学习器和元学习器的学习率分别为α,β，并选择交叉熵函数MSE为损失函数；
(4.2)该批次的每个任务Ti的支持集Si上的损失函数为
用梯度下降进行更新基础学习器；目标参数/>
经过经过K个样本的训练迭代，参数更新为：
在此基础上使用测试集Qi进行测试，计算当前任务该参数下的损失函数
(4.3)重复上述操作步骤(4.2)直到这一批次的任务训练结束，整合不同子任务的损失函数并更新元学习器，
(4.4)循环步骤(4.1)～(4.3)直到目标函数收敛，
从而得到具备协议流量分类任务先验知识的的全局最优超参数
(4.5)在元测试阶段，通过
初始化网络参数避免冷启动，使用Ttest训练并使用梯度下降微调模型，得到适用于未知协议的分类模型f(θ*)，测试集检验当前模型的性能。
6.根据权利要求1所述的一种基于小样本学习的未知网络协议分类方法，其特征在于，步骤(5)将待测流量预处理生成图像后输入到小样本未知协议识别模型并输出最终的预测结果；具体包括如下子步骤：
(5.1)在步骤5中设置不同的“N-way K-shot”任务，获得对应的适合未知协议小样本的分类器f(θ*)；根据纠错输出码原理改造模型，并分别对测试样本进行预测，这些预测标记组成一个编码；将这个预测编码与每个类别各自的编码进行比较，返回其中距离最小的类别作为最终预测的结果；
(5.2)将待测流量经过步骤(3)生成图像后输入改造后的分类器，并输出最终的预测协议类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310395191.5A CN116405419A (zh) | 2023-04-13 | 2023-04-13 | 一种基于小样本学习的未知网络协议分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310395191.5A CN116405419A (zh) | 2023-04-13 | 2023-04-13 | 一种基于小样本学习的未知网络协议分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116405419A true CN116405419A (zh) | 2023-07-07 |
Family
ID=87007211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310395191.5A Pending CN116405419A (zh) | 2023-04-13 | 2023-04-13 | 一种基于小样本学习的未知网络协议分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116405419A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117034124A (zh) * | 2023-10-07 | 2023-11-10 | 中孚信息股份有限公司 | 基于小样本学习的恶意流量分类方法、***、设备及介质 |
| CN117077030A (zh) * | 2023-10-16 | 2023-11-17 | 易停车物联网科技(成都)有限公司 | 一种面向生成模型的少样本视频流分类方法及*** |
| CN117640476A (zh) * | 2024-01-23 | 2024-03-01 | 中国人民解放军61660部队 | 一种基于关系网络的小样本应用层协议识别方法 |
-
2023
- 2023-04-13 CN CN202310395191.5A patent/CN116405419A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117034124A (zh) * | 2023-10-07 | 2023-11-10 | 中孚信息股份有限公司 | 基于小样本学习的恶意流量分类方法、***、设备及介质 |
| CN117034124B (zh) * | 2023-10-07 | 2024-02-23 | 中孚信息股份有限公司 | 基于小样本学习的恶意流量分类方法、***、设备及介质 |
| CN117077030A (zh) * | 2023-10-16 | 2023-11-17 | 易停车物联网科技(成都)有限公司 | 一种面向生成模型的少样本视频流分类方法及*** |
| CN117077030B (zh) * | 2023-10-16 | 2024-01-26 | 易停车物联网科技(成都)有限公司 | 一种面向生成模型的少样本视频流分类方法及*** |
| CN117640476A (zh) * | 2024-01-23 | 2024-03-01 | 中国人民解放军61660部队 | 一种基于关系网络的小样本应用层协议识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112163594B (zh) | 一种网络加密流量识别方法及装置 | |
| CN116405419A (zh) | 一种基于小样本学习的未知网络协议分类方法 | |
| CN113179223B (zh) | 一种基于深度学习和序列化特征的网络应用识别方法及*** | |
| JP6994588B2 (ja) | 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体 | |
| CN110730140A (zh) | 基于时空特性相结合的深度学习流量分类方法 | |
| CN111526099B (zh) | 基于深度学习的物联网应用流量检测方法 | |
| CN110460502B (zh) | 基于分布特征随机森林的vpn下应用程序流量识别方法 | |
| CN109214374A (zh) | 视频分类方法、装置、服务器及计算机可读存储介质 | |
| CN115118653A (zh) | 一种基于多任务学习的实时业务流量分类方法及*** | |
| CN111711545A (zh) | 一种软件定义网络中基于深度包检测技术的加密流量智能识别方法 | |
| CN114826776B (zh) | 一种用于加密恶意流量的弱监督检测方法及*** | |
| CN114386514A (zh) | 基于动态网络环境下的未知流量数据识别方法及装置 | |
| Zhao et al. | A few-shot learning based approach to IoT traffic classification | |
| CN116827873A (zh) | 一种基于局部-全局特征注意力的加密应用流量分类方法及*** | |
| CN116232696A (zh) | 基于深度神经网络的加密流量分类方法 | |
| CN114726802A (zh) | 一种基于不同数据维度的网络流量识别方法及装置 | |
| Zhou et al. | Encrypted network traffic identification based on 2d-cnn model | |
| CN114401229A (zh) | 一种基于Transformer深度学习模型的加密流量识别方法 | |
| CN114650229A (zh) | 基于三层模型sftf-l的网络加密流量分类方法与*** | |
| CN116545944A (zh) | 一种网络流量分类方法及*** | |
| CN116883751A (zh) | 基于原型网络对比学习的无监督领域自适应图像识别方法 | |
| CN116346436A (zh) | 一种基于ViT改进的轻量化恶意流量识别方法 | |
| CN115688000A (zh) | Sdn环境下基于改进的残差卷积网络的细粒度流量分类方法 | |
| CN113033716B (zh) | 一种基于对抗融合众包标签的图像标记估计方法 | |
| CN116051883A (zh) | 一种基于CNN-Transformer混合架构的网络流量分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |