CN104468252A - 一种基于正迁移学习的智能网络业务识别方法 - Google Patents

Abstract

在网络数据传输领域中，针对DPI和DFI对网络业务识别和管理方法中存在的网络业务识别速率慢，特征库更新不及时，整体识别率低及无法做到非实时离线检测和分析等问题，本发明提出了一种基于迁移学习的智能网络业务识别方法，提高网络业务的分析效率和准确性。首先采用DPI和DFI并行检测的方法对网络业务进行检测、识别，而不是现有技术方案中常用的串行方式实现两种方法的结合，从而提高对网络业务的识别效率。由于DPI采用特征字的识别技术判定业务类型，对于特征库的更新需要及时、快速，所以本发明采用了正迁移学习法建立、更新DPI的特征库。DFI无法识别的网络业务，采用关联流检测模块进行检测，进一步提高整体***的业务识别效率。

Description

一种基于正迁移学习的智能网络业务识别方法

技术领域

本发明设计了一种网络业务识别和网络流量控制方法，特别介绍了一种基于正迁移学习的智能网络业务识别方法，属于网络数据传输领域。

背景技术

由于互联网具有开放性、交互性和平等性的特点，满足了人们对于信息的共享、快速和开放的需求，所以推动了网络技术的不断发展，进而也促进了网络业务不断激增。比如现在应用较广的新兴业务有P2P、网络游戏、网络视频等，这些业务占用了互联网将近2/3的带宽，造成汇聚链路到核心网络接口链路的带宽资源的紧张。当大量的下载软件和在线视频同时运行时，将可能会因占用太多网络带宽而造成网络拥塞，进而导致网络性能的下降和网络服务质量的降低，也不能满足QoS要求。因此网络运营商和网络管理者迫切需要一种能够对网络业务进行监控、识别和管理的***。

而目前，针对网络业务识别方法主要有传统检测法（即端口检测法）、深度包检测法（Deep Packet Inspection, DPI）和基于流特征的检测法（又称为深度/动态流检测Deep/Dynamic Flow Inspection, DFI）等。本发明主要针对DPI和DFI进行的网络识别方法改进而产生的。DPI不仅检测网络层和传输层数据包头部，而且深入到应用层数据包的有效载荷所封装的内容中，搜寻合法或非法的内容以决定是否允许数据包通过。如此，DPI无法识别特征未知的协议和加密流量，则DFI应运而生。DFI是一种较新的协议识别法，通过对会话流的网络层和传输层信息，如业务流持续时间、平均流量、出入连接数等参数的统计分析来识别协议类型。DFI无需解析数据包的应用层，可以说DFI是DPI的补充识别法。由于仅对流量行为分析，所以DFI只能对应用类型进行笼统分类。但DPI对于网络业务控制精度依赖于对数据包的识别率，需要不断更新协议库来提高识别率，并且是对每个数据包进行处理，增加硬件处理负担，造成吞吐率高的网络不稳定。

迁移学习法是利用对已知知识的应用，获得和掌握新知识的学习方法。主要分为正迁移学习法和负迁移学习法。正迁移学习法是一种已知学习对另一未知学习起促进作用，而负迁移学习法则是起阻碍作用。现网络业务识别中没有采用正迁移学习法建立、维护特征库，因此本发明采用此方法建立、更新DPI特征库。即根据新问题的要求，从已建立的特征库中选择通过学习获得的特征，来适用于新问题的一种过程，并能在解决新问题时监控其应用，进而改善特征库根据已有策略进行学习的能力，提高特征库的更新速率。

发明内容

为了解决现有方法和技术中网络业务识别速率慢，特征库更新不及时，整体识别率低及无法做到非实时离线检测和分析等问题，提高网络业务的分析效率和准确性，本发明提出了一种基于迁移学习的智能网络业务识别方法。本发明基于迁移学习的智能网络业务识别方法，包括以下步骤：

（1）利用抓包软件从网络中捕获需要识别的数据包，导入粗粒度归类协议模块进行初步分类；

（2）粗粒度归类协议模块根据数据包是否加密或协议特征是否已知，将数据包进行粗粒度分类：受限数据包和开放数据包。开放数据包是通过特征检测可以识别的数据包；受限数据包则是加密或特征未知的数据包；

（3）将开放数据包直接发送至DPI模块进行检测识别，受限数据包传递给DFI模块。DPI模块和DFI模块中的数据包并行且独立地进行操作、识别；

（4）DPI模块将收到的数据包进行拆包处理，提取特征字符串（是在应用层载荷中位置出现的字节组合），与后台特征库（通过正迁移学习法建立、更新）匹配，根据匹配结果判定业务类别，将识别的数据包发送至输出模块进行转发操作；未识别的数据包生成检测失败报告，交给用户管理界面决定是否丢弃；

（5）DFI模块收到受限数据包后，DFI不进行拆包处理，直接统计网络流量中的流标签与DFI模块中的流量检测模型（由流量持续时间、连接平均包的大小等统计特征形成的检测模型）比对。比对相同，将识别的数据包发送至检测输出模块；不匹配，将未识别数据包发送给关联流检测模块；

（6）关联流检测模块不需要拆包操作，通过对网络流量特征识别实现非实时离线检测。首先将一些时间、空间属性相似性的网络流量进行关联，获取相关图，与已识别的网络流量相比较。即若网络流量A为已识别的应用类型，则在A的生存期间内，有未被识别的网络流量B，并且B与A流关联程度在门限值内，则可判定B也为该应用类型。进而识别出未知网络流量类型。如果超过门限值，说明不能识别此业务类型，将数据包上交给用户管理界面决定是否丢弃；

（7）根据各检测模块输出的检测结果，将已识别的数据包归类放到各种应用类型专属的缓冲区中暂时缓存，再按一定的带宽控制策略将数据包发送出去；对未识别的数据包生成检测失败报告，发送给用户管理界面，根据用户需求判定是否需要继续发送。

采用DPI和DFI并行检测的方法对网络业务进行检测、识别，而不是现有技术方案中常用的串行方式实现两种方法的结合，从而提高对网络业务的识别效率。采用了正迁移学习法建立、更新DPI的特征库，提高特征库建立、更新的速率。再者对于DFI无法识别的网络业务，采用关联流检测模块进行检测。该模块的网络流组是以离线方式将已知业务类型作为参考样本建立的，进一步提高整体***的业务识别能力。

附图说明

附图1为基于迁移学习的智能网络业务识别方法操作步骤流程图。

附图2为DPI特征库的建立和更新方框图。

附图3为基于迁移学习的智能网络业务识别方法操作过程流程图。

下面附图和具体实施方式对本发明基于迁移学习的智能网络业务识别方法做进一步的说明。

具体实施方式

附图1为本发明基于迁移学习的智能网络业务识别方法操作步骤流程图。由图可知，本发明基于迁移学习的智能网络业务识别方法，包括以下步骤：

（1）用抓包软件从网络中捕获需要识别的数据包，导入粗粒度归类协议模块进行初步分类；

（2）粗粒度归类协议模块根据数据包是否加密或协议特征是否已知，将数据包进行粗粒度分类：受限数据包和开放数据包。开放数据包是通过特征检测可以识别的数据包；受限数据包则是加密和特征未知的数据包；

（3）将开放数据包直接发送至DPI模块进行检测识别，受限数据包传递给DFI模块。DPI模块和DFI模块中的数据包并行且独立地进行操作、识别；

（4）DPI模块将收到的数据包进行拆包处理，提取特征字符串，与后台特征库匹配，根据匹配结果判定业务类别，将识别的数据包发送至输出模块进行转发操作，未识别的数据包生成检测失败报告，交给用户管理界面决定是否丢弃；

（5）DFI模块收到受限数据包后，DFI不进行拆包处理，直接统计网络流量中的流标签与DFI模块中的流量检测模型比对。比对相同，将识别的数据包发送至检测输出模块；不匹配，将未识别数据包发送给关联流检测模块；

（6）关联流检测模块不需要拆包操作，通过对网络流量特征识别实现非实时离线检测。首先将一些时间、空间属性相似性的网络流量进行关联，获取相关图，与已识别的网络流量相比较。即若网络流量A为已识别的应用类型，则在A的生存期间内，有未被识别的网络流量B，并且B与A流关联程度在门限值内，则可判定B也为该应用类型。进而识别出未知网络流量类型；

（7）根据各检测模块输出的检测结果，将已识别的数据包归类放到各种应用类型专属的缓冲区中暂时缓存，再按一定的带宽控制策略将数据包发送出去；对未识别的数据包生成检测失败报告，发送给用户管理界面，根据用户需求判定是否需要继续发送。

附图2为DPI特征库建立和更新方框图。由图可知，从训练数据（即离线数据或利用抓包软件获得的数据）中提取特征字符串送入学习模块，学习模块将已有特征库（如协议类型、端口地址、传输时间，各层数据包大小等标识业务类型关键字形成的特征库）中的数据与正迁移学习算法中的参数经过数学运算，根据得到运算结果判断特征字符串是否能被识别，并作为新的标准特征库中的特征字符串样本。实现通过正迁移学习法更新DPI特征库的功能。即利用现有特征样本对未知样本进行分析、建模，例如对比两者参数相似程度，或几种已知业务类型特征样本经过整合、演变形成的特征样本，可知该业务类型是介于这几种已知业务类型之中，从而得到判定该业务类型的特征样本，建立相应的特征库，即可完成特征库的建立、更新。

附图3为基于迁移学习的智能网络业务识别方法操作过程流程图。由图可知，首先，从传输网络中截取数据包，根据数据包是否加密或特征是否已知进行粗粒度分类处理，分为开放数据包和受限数据包。开放数据包是可以通过特征检测识别的数据包；受限数据包则是加密和特征未知的数据包。判断数据包是否为开放数据包，如果结果为是，则将数据包发送至DFI模块。由于要检测应用层数据包的有效载荷所封装的内容，则进行拆包处理，提取特征字符串，采用快速查找法从通过正迁移学习法建立的特征库中调出类似的特征字段与提取的特征字符串比对。再判定是否匹配完成。没完成，则继续匹配；否则，再次判断匹配结果是否相同。如果不相同，生成检测失败报告，提供给用户做出决策的依据；否则，说明DPI检测模块识别出业务类型，生成具体的业务类型报告。将识别的数据包从相应端口发送出去，完成DPI模块的检测工作。

如果数据包不是开放数据包，则进行DFI检测，此过程与DPI检测是同时进行。从受限数据包中查找流量标签并进行统计，与流量检测模型匹配。如果不匹配，发送给关联流检测模块进行离线检测；反之，DFI识别出网络业务类型，即可从相应的端口发送出去，完成DFI模块的检测操作。

当DFI模块不能正确检测网络业务时，将数据包发送给离线状态下的关联流模块进行检测。首先提取一些时间、空间属性相似性的网络流量进行关联，形成网络流相关图，并与已识别的网络流量组对比。如果网络流相关图与已知网络流组关联度在门限值内，得出业务类型，从相应端口发送出去；否则，生成检测失败报告，为用户提供决策的依据。 

Claims (4)

1.权利要求1:一种基于正迁移学习的智能网络业务识别方法，其特征在于：该方法包括以下步骤：

（1）利用抓包软件从网络中捕获需要识别的数据包，导入粗粒度归类协议模块，进行初步分类；

（2）粗粒度归类协议模块根据数据包是否加密或协议特征是否已知，将数据包进行粗粒度分类：受限数据包和开放数据包，开放数据包是通过特征检测可以识别的数据包；受限数据包则是加密和特征未知的数据包；

（3）将开放数据包直接发送至DPI模块进行检测识别，受限数据包传递给DFI模块，DPI模块和DFI模块中的数据包并行且独立地进行操作、识别；

（4）DPI模块将收到的数据包进行拆包处理，提取特征字符串，与后台特征库（通过正迁移学习法建立、更新）匹配，根据匹配结果判定业务类别，将识别的数据包发送至输出模块进行转发操作；未识别的数据包生成检测失败报告，交给用户管理界面决定是否丢弃；

（5）DFI模块收到受限数据包后，DFI不进行拆包处理，直接统计网络流量中的流标签与DFI模块中的流量检测模型（由流量持续时间、连接平均包的大小等统计特征形成的检测模型）比对，比对相同，说明识别出网络业务类型，则将识别的数据包发送至检测输出模块；否则将未识别数据包发送给关联流检测模块；

（6）关联流检测模块不需要拆包操作，通过对网络流量特征识别实现非实时离线检测，首先将一些时间、空间属性相似性的网络流量进行关联，获取相关图，与已识别的网络流量组相比较，即若网络流量A为已识别的业务类型，则在A的生存期间内，有未被识别的网络流量B，并且B与A流关联程度在门限值内，则可判定B也为该业务类型，进而识别出DFI未识别的业务类型；

（7）根据各检测模块输出的检测结果，将已识别的数据包归类放到各种应用类型专属的缓冲区中暂时缓存，再按一定的带宽控制策略将数据包发送出去；对未识别的数据包生成检测失败报告，发送给用户管理界面，根据用户需求判定是否需要继续发送，采用DPI和DFI并行检测的方法对网络业务进行检测、识别，而不是现有技术方案中常用的串行方式实现两种方法的结合，从而提高对网络业务的识别效率，采用正迁移学习法建立、更新DPI的特征库，提高特征库建立、更新的速度，对DFI无法识别的网络业务，采用关联流检测模块进行检测，进一步提高整体***的业务识别能力。

2.权利要求2：根据权利要求1所述基于正迁移学习的智能网络业务识别方法，其特征在于：DPI模块是基于特征字符串识别技术来识别网络业务类型，特征库的建立、及时更新不能有太久的滞后性，所以本发明提出了基于迁移学习法建立、更新DPI模块中的特征库的方法；具体步骤如下：首先获得训练数据（即离线数据或利用抓包软件获得的数据），从训练数据中提取特征字符串送入学习模块，学习模块利用已有特征库中的数据，通过正迁移学习法更新DPI特征库；即利用现有特征样本对未知样本进行分析、建模，例如对比两者参数相似程度，或几种已知业务类型特征样本经过整合、演变形成的特征样本，可知该业务类型是介于这几种已知业务类型之中，从而得到判定该业务类型的特征样本，建立相应的特征库，即可完成特征库的建立、更新。

3.权利要求3：根据权利要求1所述基于正迁移学习的智能网络业务识别方法，其特征在于：先将网络业务按照数据包是否加密及特征是否已知进行粗粒度分类，发送开放数据包和受限数据包分别至DPI模块和DFI模块，两模块并行检测业务类型，DPI模块需要经过层层拆包处理深入到应用层的载荷中准确检测特征字符串，才能识别网络业务，所以此方法检测速率较慢，但是识别精准，而DFI模块不需要拆包处理直接提出特征流标签与流量检测模型比对即可，使得DFI模块检测速率更快，但只能对应用类型进行笼统的识别，所以本发明将两者结合实现并行处理既提高网络业务识别的准确性又可提高网络业务的识别效率。

4.权利要求4：根据权利要求1所述基于正迁移学习的智能网络业务识别方法，其特征在于：对于 DFI模块未识别的网络业务发送给关联流检测模块进行离线方式检测识别，采用离线识别一方面是现存网络业务识别方法中大多采用在线方式实现，若检测错误可能造成网络拥塞、恶意业务肆意转发等问题，给理论研究和检测***的建立带来不便；另一方面是为了进一步识别DFI模块不能识别的网络业务类型，提高网络业务识别能力。