CN110011932A - 一种可识别未知流量的网络流量分类方法和终端设备 - Google Patents
一种可识别未知流量的网络流量分类方法和终端设备 Download PDFInfo
- Publication number
- CN110011932A CN110011932A CN201910314329.8A CN201910314329A CN110011932A CN 110011932 A CN110011932 A CN 110011932A CN 201910314329 A CN201910314329 A CN 201910314329A CN 110011932 A CN110011932 A CN 110011932A
- Authority
- CN
- China
- Prior art keywords
- network
- flow
- known class
- loss
- unknown
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种可识别未知流量的网络流量分类方法和终端设备,方法包括:网络流量数据通过初始网络流量分类模型时,基于信息熵的阈值判断法判断网络流量数据是否为未知流量;未知流量属于新的类别;若网络流量数据为已知类别的流量则基于平衡损失的动态自适应算法为初始网络流量分类模型加入增量学***衡损失来作为实时网络分类模型的损失函数。网络流量分类模型在准确识别已知类别流量的同时,也能很好地识别未知类别流量,同时能够动态自适应当前网络环境中最新的流量,及时地自我更新,始终保持较高的分类准确率,非常适用于实时在线网络流量分类任务。
Description
技术领域
本发明涉及网络流量分类方法和终端设备,尤其涉及一种可识别未知流量的 网络流量分类方法和终端设备。
背景技术
互联网和信息技术是当今世界科学技术研究中发展最为快速的技术之一。 我国自接入国际互联网以来,在短短二十多年内,凭借国内各种互联网企业的 不懈努力,中国的互联网行业经历了从国际跟跑到国际并跑,再到未来可期的 国际领跑三大跨越,取得的巨大成就有目共睹。截至到2018年6月,我国的网 民人数已经达到8.02亿,互联网普及率达57.7%,发展速度可谓惊人。互联网 技术因其方便快捷,移动性好,价格低廉等特点,正在改变着人们的生活方式。 小到聊天、购物、娱乐,大到航天航空、武器导弹都离不开互联网。互联网的 飞速发展推动了全球化的生产和生活方式的深刻变革。随着网络理论技术的发展、网络硬件性能的不断增强,整个互联网的流量规模也在不断的增加。人民 生活水平的提高推动着网络应用技术的进一步发展,促使网络供应商不断地提 升网络服务的水平。如今,现代互联网的流量的多样性和复杂性远远超出了当 初底层互联网架构者的想象。
网络流量是记录和反映网络活动及运营情况的重要载体。随着互联网的高速 发展,为了满足互联网用户的多样化需求,各种新的网络服务层出不穷,导致网 络流量无论是在数量还是种类上都不断增加。这些新型应用扩大了互联网的应用 规模,提供了更丰富的网络服务。但是其采用的应用协议特征也有别于传统的应 用类型,变得更加复杂和多样化,给网络流量的管理和规划造成了极大的冲击。
网络流量分类是指按照网络的应用类型(比如FTP、HTTP、SMTP、360、qq 等),将基于TCP/IP协议的网络通信产生的TCP或UDP流量进行分类。网络流量 分类技术是保障网络安全的关键技术,也是现代网络管理与安全***中最基本的 功能。同时,网络流量分类技术在QOS服务质量控制、网络应用趋势分析等方面 也具有重大的作用,包含极大应用价值,具体体现在:
1、通过网络流量识别技术,能够掌控网络内部资源的分配情况,网络运营 商和网络服务提供商(ISP)可以将其应用到网络服务质量(QoS)控制机制中, 保障网络带宽等网络资源的合理分配,从而促进网络向更加合理的方向发展。如 果在各网络关口对网络流量进行分类,自适应匹配不同的应用协议,将可以帮助 网络管理者对网络流量实施有效的差异化、精细化管理。这样,也有利于解决网 络监管中存在的种种问题,为网络用户营造更加健康高效的网络环境。
2、实现网络流量的识别分类,可以对企业或用户的业务流量进行管理,从 而能够宏观上动态调配网络资源,为用户定制合理的网络运营方案,实现更加高 效的网络应用。通过识别不同应用的网络流量,公司内部可以在工作时间禁止使 用娱乐相关的应用流量,政府部门可以设定禁止非法使用P2P等加密传输业务 等。最近兴起的针对特殊应用的专有流量优惠(如腾讯大王卡),更是以网络流 量分类技术为核心。
3、网络流量识别分类对保障网络空间安全具有重要作用。例如,入侵检测 ***(IDS)可以利用网络流量分类技术,将恶意网络流量识别出来并采取隔离 处理等措施,通过对木马、Web注入等恶意攻击流量的准确识别,提前告警或阻 断可能的攻击,实现对网络设备的保护,保障网络***安全可靠地运行。在政府 企业等敏感网络中,还可以利用网络流量分类技术对出入口网络流量进行准确的 识别与监管,有效地监控和管理网络流量,防止机密、敏感信息泄露以造成重大 的网络信息安全事故。此外,在基于云计算的环境中,网络流量分类技术在确保 云计算服务质量方面也发挥着极其重要的作用。
当前的网络流量分类方法普遍缺乏对未知类别的新流量的识别能力以及根 据最新流量动态地自我更新的能力。
发明内容
本发明为了解决现有技术中网络流量分类方法普遍缺乏对未知类别的新流 量的识别能力以及根据最新流量动态地自我更新的能力的问题,提供一种可识别 未知流量的网络流量分类方法和终端设备。
为了解决上述问题,本发明采用的技术方案如下所述:
一种可识别未知流量的网络流量分类方法,包括构建实时网络分类模型;所 述构建实时网络分类模型包括如下步骤:S1:网络流量数据通过初始网络流量分 类模型时,基于信息熵的阈值判断法判断所述网络流量数据是否为未知流量;所 述未知流量属于新的类别;S2:若所述网络流量数据为已知类别的流量则基于平 衡损失的动态自适应算法为所述初始网络流量分类模型加入增量学***衡损失来作为所述实时网络分类模型的损失函数。
在本发明的一种实施例中,步骤S1包括如下步骤:S11:定义网络流量数据 样本的熵为其通过所述初始网络流量分类模型的softmax层后输出向量的熵,即 所述网络流量数据样本x在softmax层的输出向量p=[p1,...,pn],其中n为应用 类别数,熵为:
S12:对于每所述已知类别,定义在当前时间段的阈值σ为当前时间段的所有属 于所述已知类别的样本的熵的最小值,即:
σ=argminx∈XEntropy(x)
其中X为当前时间段属于所述已知类别的所有样本集合;S13:网络流量数据通 过初始网络流量分类模型时,从softmax层的输出确定其最可能划分到的已知类 别t,然后计算所述网络流量数据的熵;S14:若所述熵小于所述已知类别t的阈 值,则判断所述网络流量数据为未知类别流量;反之,所述网络流量数据划入所 述已知类别t中。所述已知类别的样本实时更新,则阈值会随之更新。所述未知 流量通过进一步鉴定确定所属的所述新的类别。
在本发明的又一种实施例中,步骤S2包括如下步骤:选取所述已知类别的 样本作为所述已知类别的范例并基于最近范例均值法为所述初始网络流量分类 模型加入增量学习能力。包括:所述已知类别包含m个样本的范例,所述初始 网络流量分类模型的特征提取函数为所述已知类别的所有范例加上新流量数 据共同记为X={x1,x2...xn},当前的所述已知类别的中心为:构建所述已知类别的新的范例集合:P={p1,p2...pm},构建规则为: for k=1,...,mdo;则遍历所述初 始网络流量分类模型的所有所述已知类别使所述初始网络流量分类模型加入增 量学习能力。
在本发明的再一种实施例中,步骤S3包括:定义所述初始网络流量分类模 型和所述实时网络分类模型的最后一层为softmax层;所述网络流量数据的样本 为xi,其真实标签为yi,所述初始网络流量分类模型的softmax层的输出为 s为所述初始网络流量分类模型的所有所述已知类别的总类别数;所 述网络流量数据的样本为xi通过所述实时网络分类模型后第y维的输出值为 gy(xi)(y=1,2,…,t),t为所述实时网络分类模型下的所有所述已知类别的总 类别数;则对所述网络流量数据的样本,所述实时网络分类模型的所述新的类别 的损失函数就为:
所述已知类别的总的蒸馏损失为:
定义平衡损失为:
Lossbalanced=α*Lossnew+(2-α)*Lossprevious
其中,α是平衡参数;0<α<2。
本发明还提供一种识别未知流量的网络流量分类的终端设备,包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征 在于,所述处理器执行所述计算机程序时实现如上任一所述方法的步骤。
本发明再提供一种计算机可读存储介质,所述计算机可读存储介质存储有计 算机程序,所述计算机程序被处理器执行时实现如上任一所述方法的步骤。
本发明的有益效果为:提供一种可识别未知流量的网络流量分类方法和终端 设备,通过基于信息熵的阈值判断法和基于平衡损失的动态自适应算法,使得网 络流量分类模型在准确识别已知类别流量的同时,也能很好地识别未知类别流 量,同时能够动态自适应当前网络环境中最新的流量,及时地自我更新,始终保 持较高的分类准确率,非常适用于实时在线网络流量分类任务。
附图说明
图1是本发明实施例中可识别未知流量的网络流量分类方法的流程示意图。
图2是本发明实施例中可识别未知流量的网络流量分类方法的示意图。
图3是本发明实施例中基于信息熵的未知类别流量识别流程示意图。
图4是本发明实施例中基于信息熵的阈值判断方法的示意图。
图5是本发明实施例中识别未知流量的网络流量分类的终端设备的示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明 白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所 描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
需要说明的是,当元件被称为“固定于”或“设置于”另一个元件,它可以直 接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于” 另一个元件,它可以是直接连接到另一个元件或间接连接至该另一个元件上。另 外,连接即可以是用于固定作用也可以是用于电路连通作用。
需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、 “竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所 示的方位或位置关系,仅是为了便于描述本发明实施例和简化描述,而不是指示 或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此 不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相 对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二” 的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述 中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
实施例1
如图1所示,本发明的方法主要包括两个方面,第一个是设计基于信息熵的 阈值判断法来解决未知类别流量识别的问题。该算法的思想是:每个流量通过网 络流量分类模型后,将计算其softmax层输出向量的熵,熵小于阈值则认定为未 知类别流量,同时阈值也会随着时间不断自我更新;第二个是设计基于平衡损失 的动态自适应算法,为网络流量分类模型加入动态自适应最新网络流量的能力。 在每个已知类别的数据中选择若干个原始流量样本作为该类的范例,基于最近范 例均值法和深度学***衡损失来作为新的损失函数,一定程度保存了模型之前学到的知识,有效保障了网络流量分类模型在学习分类新流量的同时也能对之前学习过的流量进 行很好地分类。
如图2所示,可识别未知流量的网络流量分类方法,包括构建实时网络分类 模型;所述构建实时网络分类模型包括如下步骤:
S1:网络流量数据通过初始网络流量分类模型时,基于信息熵的阈值判断法 判断所述网络流量数据是否为未知流量;所述未知流量属于新的类别;
S2:若所述网络流量数据为已知类别的流量则基于平衡损失的动态自适应算 法为所述初始网络流量分类模型加入增量学习所述新的类别的能力,得到实时网 络分类模型;
S3:把所述新的类别的损失和所述已知类别的蒸馏损失结合为平衡损失来作 为所述实时网络分类模型的损失函数。
如图3所示,在现实网络中,由于网络中应用的复杂多变,而且不断有新的 应用产生,再加上0day攻击的存在,我们的模型将会遇到初始化训练数据中不 存在的数据类别。如何解决这一问题是流量分类领域的一个比较重要的问题。针 对这个问题,计划设计基于信息熵的阈值判断法来解决,
如图4所示,步骤S1包括如下步骤:
S11:定义网络流量数据样本的熵为其通过所述初始网络流量分类模型的softmax层后输出向量的熵,即所述网络流量数据样本x在softmax层的输出向量 p=[p1,...,pn],其中n为应用类别数,熵为:
显然,网络流量数据样本的熵越小,意味着softmax层的各维输出越均匀, 反之亦然。所以,假设某网络流量数据样本在softmax层输出向量中第t维的值 最大,此时该网络流量数据样本的熵越大,判断其属于类t的置信度也就越大。 因此可以利用某网络流量数据样本的熵来作为该网络流量数据的阈值。
S12:对于每所述已知类别,定义在当前时间段的阈值σ为当前时间段的所 有属于所述已知类别的样本的熵的最小值。即:
σ=argminx∈XEntropy(x)
其中X为当前时间段属于所述已知类别的所有样本集合;
S13:网络流量数据通过初始网络流量分类模型时,从softmax层的输出确 定其最可能划分到的已知类别t,然后计算所述网络流量数据的熵;
S14:若所述熵小于所述已知类别t的阈值,则判断所述网络流量数据为未知 类别流量;反之,所述网络流量数据划入所述已知类别t中。
随时间的变化,当前时间段的所有属于该已知类别的样本会更新,从而当前 时间段的阈值σ不断变化,这样可以适应最新的网络情况。即已知类别的样本实 时更新,则阈值会随之更新。
未知流量通过进一步鉴定确定所属的新的类别,这种鉴定可以是人工鉴定也 可以是其他方式的鉴定。
增量式学习新的类别数据和已知类别数据。考虑到互联网流量数据的海量规 模,为了节约存储开销和计算开销,我们从每类流量数据中挑选出若干个流量样 本作为该类的范例,利用基于最近范例均值法为分类模型加入增量学习能力。即 选取所述已知类别的样本作为所述已知类别的范例并基于最近范例均值法为所 述初始网络流量分类模型加入增量学习能力。
具体来说,对于每一个已知类别,都构建其范例集合。所述已知类别包含m 个样本的范例,初始网络流量分类模型的特征提取函数为已知类别的所有范 例加上新流量数据共同记为X={x1,x2...xn},
当前的所述类别的中心为:
构建已知类别的新的范例集合:P={p1,p2...pm},构建规则为:
fork=1,...,mdo;
则
遍历所述初始网络流量分类模型的所有所述已知类别使所述初始网络流量 分类模型加入增量学习能力。
在为模型引入增量学习的过程中,为了克服“灾难性遗忘”问题,我们拟把 新类别损失和已有类别的蒸馏损失结合使用作为训练模型的损失函数。定义初始 网络流量分类模型和实时网络分类模型的最后一层为softmax层;网络流量数据 的样本为xi,其真实标签为yi,初始网络流量分类模型的softmax层的输出为 s为初始网络流量分类模型的所有已知类别的总类别数;网络流量数 据的样本为xi通过实时网络分类模型后第y维的输出值为gy(xi)(y=1,2,…,t),t 为实时网络分类模型下的所有所述已知类别的总类别数;则对网络流量数据的样 本,实时网络分类模型的所述新的类别的损失函数就为:
已知类别的总的蒸馏损失为:
定义平衡损失为:
Lossbalanced=α*Lossnew+(2-α)*Lossprevious
其中,α(0<α<2)是平衡参数,用于平衡模型的已知类别保留能力和新 的类别学***衡损失综合考虑了新的类别损失和已知 类别的蒸馏损失,能为模型提供更好的学习能力,适应最新的变化。
针对当前的网络流量分类方法普遍缺乏对未知类别的新流量的识别能力以 及根据最新流量动态地自我更新的能力的问题,本发明提出了一种新的基于平衡 损失的识别未知类别流量的增量式学***衡损失来作为新的损失函数,有效保障了模型在学习分类新流量的同时也能对 之前学习过的流量进行很好地分类。
本发明使得网络流量分类模型在准确识别已知类别流量的同时,也能很好地 识别未知类别流量,同时能够动态自适应当前网络环境中最新的流量,及时地自 我更新,始终保持较高的分类准确率,非常适用于实时在线网络流量分类任务。
实施例2
如图5所示,本发明一实施例提供的识别未知流量的网络流量分类的终端设 备的示意图。该实施例的识别未知流量的网络流量分类的终端设备包括:处理器、 存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,例如基 于信息熵的阈值判断程序。所述处理器执行所述计算机程序时实现上述各个识别 未知流量的网络流量分类方法实施例中的步骤,例如图2所示的步骤S1-S3。或 者,所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的 功能,例如基于信息熵的阈值判断功能。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个 或者多个模块/单元被存储在所述存储器中,并由所述处理器执行,以完成本发 明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指 令段,该指令段用于描述所述计算机程序在所述识别未知流量的网络流量分类的终端 设备中的执行过程。例如,所述计算机程序可以被分割成:基于信息熵的阈值判 断模块;网络流量分类模型的增量式学***衡损失的动态自适应模块,各模块 具体功能如下:网络流量数据通过初始网络流量分类模型时,基于信息熵的阈值 判断法判断所述网络流量数据是否为未知流量;所述未知流量属于新的类别;若 所述网络流量数据为已知类别的流量则基于平衡损失的动态自适应算法为所述 初始网络流量分类模型加入增量学***衡损失来作为所 述实时网络分类模型的损失函数。
所述识别未知流量的网络流量分类的终端设备可以是桌上型计算机、笔记 本、掌上电脑及云端服务器等计算设备。所述识别未知流量的网络流量分类的终 端设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,所述 示意图仅仅是识别未知流量的网络流量分类的终端设备的示例,并不构成对识别 未知流量的网络流量分类的终端设备的限定,可以包括比图示更多或更少的部 件,或者组合某些部件,或者不同的部件,例如所述识别未知流量的网络流量分 类的终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以 是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用 集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门 阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分 立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该 处理器也可以是任何常规的处理器等,所述处理器是所述识别未知流量的网络流 量分类的终端设备的控制中心,利用各种接口和线路连接整个识别未知流量的网 络流量分类的终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或 执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的 数据,实现所述识别未知流量的网络流量分类的终端设备的各种功能。所述存储 器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至 少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数 据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外, 存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、 内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述识别未知流量的网络流量分类的终端设备集成的模块/单元如果以软件 功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可 读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分 流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存 储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各 个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机 程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所 述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、 记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM, Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波 信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含 的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某 些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信 信号。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能 认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员 来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而 且性能或用途相同,都应当视为属于本发明的保护范围。
Claims (10)
1.一种可识别未知流量的网络流量分类方法,其特征在于,包括构建实时网络分类模型;所述构建实时网络分类模型包括如下步骤:
S1:网络流量数据通过初始网络流量分类模型时,基于信息熵的阈值判断法判断所述网络流量数据是否为未知流量;所述未知流量属于新的类别;
S2:若所述网络流量数据为已知类别的流量则基于平衡损失的动态自适应算法为所述初始网络流量分类模型加入增量学习所述新的类别的能力,得到实时网络分类模型;
S3:把所述新的类别的损失和所述已知类别的蒸馏损失结合为平衡损失来作为所述实时网络分类模型的损失函数。
2.如权利要求1所述的识别未知流量的网络流量分类方法,其特征在于,步骤S1包括如下步骤:
S11:定义网络流量数据样本的熵为其通过所述初始网络流量分类模型的softmax层后输出向量的熵,即所述网络流量数据样本x在softmax层的输出向量p=[p1,...,pn],其中n为应用类别数,熵为:
S12:对于每所述已知类别,定义在当前时间段的阈值σ为当前时间段的所有属于所述已知类别的样本的熵的最小值,即:
σ=argminx∈XEntropy(x)
其中X为当前时间段属于所述已知类别的所有样本集合;
S13:网络流量数据通过初始网络流量分类模型时,从softmax层的输出确定其最可能划分到的已知类别t,然后计算所述网络流量数据的熵;
S14:若所述熵小于所述已知类别t的阈值,则判断所述网络流量数据为未知类别流量;反之,所述网络流量数据划入所述已知类别t中。
3.如权利要求2所述的识别未知流量的网络流量分类方法,其特征在于,所述已知类别的样本实时更新,则阈值会随之更新。
4.如权利要求2所述的识别未知流量的网络流量分类方法,其特征在于,还包括:所述未知流量通过进一步鉴定确定所属的所述新的类别。
5.如权利要求1所述的识别未知流量的网络流量分类方法,其特征在于,步骤S2包括如下步骤:选取所述已知类的样本作为所述已知类别的范例并基于最近范例均值法为所述初始网络流量分类模型加入增量学习能力。
6.如权利要求5所述的识别未知流量的网络流量分类方法,其特征在于,包括:所述已知类别包含m个样本的范例,所述初始网络流量分类模型的特征提取函数为所述已知类别的所有范例加上新流量数据共同记为X={x1,x2…xn},
当前的所述已知类别的中心为:
构建所述已知类别的新的范例集合:P={p1,p2...pm},构建规则为:fork=1,...,mdo;
则
遍历所述初始网络流量分类模型的所有所述已知类别使所述初始网络流量分类模型加入增量学习能力。
7.如权利要求1所述的识别未知流量的网络流量分类方法,其特征在于,步骤S3包括:
定义所述初始网络流量分类模型和所述实时网络分类模型的最后一层为softmax层;所述网络流量数据的样本为xi,其真实标签为yi,所述初始网络流量分类模型的softmax层的输出为s为所述初始网络流量分类模型的所有所述已知类别的总类别数;所述网络流量数据的样本为xi通过所述实时网络分类模型后第y维的输出值为gy(xi)(y=1,2,…,t),t为所述实时网络分类模型下的所有所述已知类别的总类别数;则对所述网络流量数据的样本,所述实时网络分类模型的所述新的类别的损失函数就为:
所述已知类别的总的蒸馏损失为:
定义平衡损失为:
Lossbalanced=α*Lossnew+(2-α)*Lossprevious
其中,α是平衡参数。
8.如权利要求7所述的识别未知流量的网络流量分类方法,其特征在于,0<α<2。
9.一种识别未知流量的网络流量分类的终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-8任一所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-8任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910314329.8A CN110011932B (zh) | 2019-04-18 | 2019-04-18 | 一种可识别未知流量的网络流量分类方法和终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910314329.8A CN110011932B (zh) | 2019-04-18 | 2019-04-18 | 一种可识别未知流量的网络流量分类方法和终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110011932A true CN110011932A (zh) | 2019-07-12 |
CN110011932B CN110011932B (zh) | 2022-04-05 |
Family
ID=67172919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910314329.8A Active CN110011932B (zh) | 2019-04-18 | 2019-04-18 | 一种可识别未知流量的网络流量分类方法和终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110011932B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110647951A (zh) * | 2019-11-27 | 2020-01-03 | 南京邮电大学 | 基于机器学习算法的无线射频设备身份识别方法及*** |
CN112118268A (zh) * | 2020-09-28 | 2020-12-22 | 北京嘀嘀无限科技发展有限公司 | 一种网络流量判定方法和*** |
CN112437022A (zh) * | 2020-11-11 | 2021-03-02 | 中国科学技术大学先进技术研究院 | 网络流量识别方法、设备及计算机存储介质 |
CN112990280A (zh) * | 2021-03-01 | 2021-06-18 | 华南理工大学 | 面向图像大数据的类增量分类方法、***、装置及介质 |
CN114024726A (zh) * | 2021-10-26 | 2022-02-08 | 清华大学 | 在线检测网络流量的方法及*** |
CN115022049A (zh) * | 2022-06-06 | 2022-09-06 | 哈尔滨工业大学 | 一种基于计算马氏距离的分布外网络流量数据检测方法、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7664048B1 (en) * | 2003-11-24 | 2010-02-16 | Packeteer, Inc. | Heuristic behavior pattern matching of data flows in enhanced network traffic classification |
CN106778795A (zh) * | 2015-11-24 | 2017-05-31 | 华为技术有限公司 | 一种基于增量学习的分类方法及装置 |
CN107682216A (zh) * | 2017-09-01 | 2018-02-09 | 南京南瑞集团公司 | 一种基于深度学习的网络流量协议识别方法 |
CN108900432A (zh) * | 2018-07-05 | 2018-11-27 | 中山大学 | 一种基于网络流行为的内容感知方法 |
CN109218223A (zh) * | 2018-08-08 | 2019-01-15 | 西安交通大学 | 一种基于主动学习的鲁棒性网络流量分类方法及*** |
CN109302378A (zh) * | 2018-07-13 | 2019-02-01 | 哈尔滨工程大学 | 一种SDN网络DDoS攻击检测方法 |
-
2019
- 2019-04-18 CN CN201910314329.8A patent/CN110011932B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7664048B1 (en) * | 2003-11-24 | 2010-02-16 | Packeteer, Inc. | Heuristic behavior pattern matching of data flows in enhanced network traffic classification |
CN106778795A (zh) * | 2015-11-24 | 2017-05-31 | 华为技术有限公司 | 一种基于增量学习的分类方法及装置 |
CN107682216A (zh) * | 2017-09-01 | 2018-02-09 | 南京南瑞集团公司 | 一种基于深度学习的网络流量协议识别方法 |
CN108900432A (zh) * | 2018-07-05 | 2018-11-27 | 中山大学 | 一种基于网络流行为的内容感知方法 |
CN109302378A (zh) * | 2018-07-13 | 2019-02-01 | 哈尔滨工程大学 | 一种SDN网络DDoS攻击检测方法 |
CN109218223A (zh) * | 2018-08-08 | 2019-01-15 | 西安交通大学 | 一种基于主动学习的鲁棒性网络流量分类方法及*** |
Non-Patent Citations (3)
Title |
---|
A. SHRIVASTAV AND A. TIWARI: "Network Traffic Classification Using Semi-Supervised Approach", 《2010 SECOND INTERNATIONAL CONFERENCE ON MACHINE LEARNING AND COMPUTING》 * |
R. LI, X. XIAO, S. NI, H. ZHENG AND S. XIA: "Byte Segment Neural Network for Network Traffic Classification", 《2018 IEEE/ACM 26TH INTERNATIONAL SYMPOSIUM ON QUALITY OF SERVICE (IWQOS)》 * |
韩春昊: "网络流量分类研究与应用", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑(月刊)》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110647951A (zh) * | 2019-11-27 | 2020-01-03 | 南京邮电大学 | 基于机器学习算法的无线射频设备身份识别方法及*** |
WO2021103206A1 (zh) * | 2019-11-27 | 2021-06-03 | 南京邮电大学 | 基于机器学习算法的无线射频设备身份识别方法及*** |
CN112118268A (zh) * | 2020-09-28 | 2020-12-22 | 北京嘀嘀无限科技发展有限公司 | 一种网络流量判定方法和*** |
CN112437022A (zh) * | 2020-11-11 | 2021-03-02 | 中国科学技术大学先进技术研究院 | 网络流量识别方法、设备及计算机存储介质 |
CN112437022B (zh) * | 2020-11-11 | 2023-05-19 | 中国科学技术大学先进技术研究院 | 网络流量识别方法、设备及计算机存储介质 |
CN112990280A (zh) * | 2021-03-01 | 2021-06-18 | 华南理工大学 | 面向图像大数据的类增量分类方法、***、装置及介质 |
CN112990280B (zh) * | 2021-03-01 | 2023-08-25 | 华南理工大学 | 面向图像大数据的类增量分类方法、***、装置及介质 |
CN114024726A (zh) * | 2021-10-26 | 2022-02-08 | 清华大学 | 在线检测网络流量的方法及*** |
CN114024726B (zh) * | 2021-10-26 | 2022-09-02 | 清华大学 | 在线检测网络流量的方法及*** |
CN115022049A (zh) * | 2022-06-06 | 2022-09-06 | 哈尔滨工业大学 | 一种基于计算马氏距离的分布外网络流量数据检测方法、电子设备及存储介质 |
CN115022049B (zh) * | 2022-06-06 | 2024-05-14 | 哈尔滨工业大学 | 一种基于计算马氏距离的分布外网络流量数据检测方法、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110011932B (zh) | 2022-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110011932A (zh) | 一种可识别未知流量的网络流量分类方法和终端设备 | |
US10999317B2 (en) | Blockchain tracking of virtual universe traversal results | |
Bega et al. | A machine learning approach to 5G infrastructure market optimization | |
CN110059747A (zh) | 一种网络流量分类方法 | |
Li et al. | An intelligence-driven security-aware defense mechanism for advanced persistent threats | |
CN107333292B (zh) | 一种sim卡状态判断方法及装置 | |
CN110166344B (zh) | 一种身份标识识别方法、装置以及相关设备 | |
Chu et al. | Metaslicing: A novel resource allocation framework for metaverse | |
US10965680B2 (en) | Authority management method and device in distributed environment, and server | |
Moustafa et al. | Trustworthy stigmergic service compositionand adaptation in decentralized environments | |
CN108449606B (zh) | 一种弹幕限制方法、装置、服务器及介质 | |
CN105022939B (zh) | 信息验证方法及装置 | |
CN104750745A (zh) | 一种智能体处理信息的方法及智能体 | |
CN108985048B (zh) | 模拟器识别方法及相关装置 | |
US20220247790A1 (en) | Method and systems for analyzing security coverage of a set of enterprise access management policies | |
US20190197011A1 (en) | Network-based machine learning model discovery and benchmarking | |
CN108551585B (zh) | 一种弹幕校验方法、装置、服务器及介质 | |
CN115170390B (zh) | 一种文件风格化方法、装置、设备及存储介质 | |
Zhang et al. | Self organizing feature map for fake task attack modelling in mobile crowdsensing | |
WO2020190656A8 (en) | Server load prediction and advanced performance measures | |
Shao et al. | Misinformation detection and adversarial attack cost analysis in directional social networks | |
Bahulkar et al. | Influence of personal preferences on link dynamics in social networks | |
Zhao et al. | Analysis of adaptive incentive protocols for P2P networks | |
Zhang | Cloud Trust‐Driven Hierarchical Sharing Method of Internet of Things Information Resources | |
CN112052399B (zh) | 一种数据处理方法、装置和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |