CN104767692A - 一种网络流量分类方法 - Google Patents
一种网络流量分类方法 Download PDFInfo
- Publication number
- CN104767692A CN104767692A CN201510176138.1A CN201510176138A CN104767692A CN 104767692 A CN104767692 A CN 104767692A CN 201510176138 A CN201510176138 A CN 201510176138A CN 104767692 A CN104767692 A CN 104767692A
- Authority
- CN
- China
- Prior art keywords
- algorithm
- net flow
- training
- classification
- assorted method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种网络流量分类方法,所述方法包括(1)提取网络流量行为特征集;(2)获取分类器模型,将所述行为特征集输入分类器,进行分类训练,得到相应参数;分类器性能评估,并优化分类器性能。本发明结合机器学习方法中无监督和有监督两种算法进行分类。二者结合可以在保证较高分类准确率的前提下降低***时间和内存开销,提升分类效率。对聚类算法加以改进,提升聚类准确率,从而提高整体性能。
Description
技术领域
本发明涉及一种网络流量分类方法,具体涉及一种网络流量分类方法。
背景技术
随着互联网规模的扩大和各种高带宽、多种类网络服务的广泛应用,网络业务数据量急剧上升,网络数据流智能化管理日益重要。前提就是对数据流类型进行分类识别。
流量分类不仅要保证准确率,降低时间和内存开销也成为研究热点。现有分类技术中机器学习方法是研究热点,分为无监督算法和有监督算法,其中无监督算法根据样本相似性进行类簇划分,聚类是应用比较广泛的无监督算法,主要有基于划分聚类、基于层次聚类、基于密度聚类和基于网格聚类的算法,其中k-means算法是应用最为广泛的聚类算法;有监督算法通过训练已知类别的样本集调整分类器参数,得到分类器模型。主要有神经网络、分类决策树、贝叶斯理论、支持向量机(SVM)等方法。聚类算法准确率较低,有监督算法消耗的***时间和内存较高。
发明内容
为了克服上述现有技术的不足,本发明提供一种网络流量分类方法,该方法通过聚类和有监督算法的结合,可以使时间复杂度降低,分类准确率升高,提升了分类效率。
为了实现上述发明目的,本发明采取如下技术方案:
一种网络流量分类方法,所述方法包括如下步骤:
(1)提取网络流量行为特征集;
(2)获取分类器模型,将所述行为特征集输入分类器,进行分类训练,得到相应参数;分类器性能评估,并优化分类器性能。
本发明提供的优选技术方案中,所述步骤(1)包括如下步骤:
A.网络流量抓取并筛选未知流量数据的关键信息;
B.处理所述关键信息,得到更直观有效的数据信息,以表示未知流量的行为特征;
C.确定特征集维数,整合所述行为特征,避免信息冗余,并保留有效识别数据流的信息。
本发明提供的第二优选技术方案中,所述关键信息包括数据业务类型、数据包协议、时间和类型。
本发明提供的第三优选技术方案中,所述步骤(2)包括如下步骤:
A.选取部分已提取的网络流量行为特征集进行类别标注,作为新加入的一项行为特征,得到分类器训练的训练集和测试集;
B.将训练集进行聚类算法,得到新的训练集;
C.将新的训练集进行监督算法,确定分类准则;
D.测试集输入分类器进行分类准则测试,并进行准确率评估;
E.判断准确率是否符合要求,是则结束;否则返回步骤B,至准确率符合要求。
本发明提供的第四优选技术方案中,所述步骤B包括如下步骤:
(a)聚类算法参数初始化,训练集输入进行训练;
(b)判断聚类中心是否收敛,是则执行步骤(c),否则执行步骤(a);
(c)聚类训练结束后,保存聚类中心和收敛半径,调整训练集并去除已聚类的样本,形成新的训练集。
本发明提供的第五优选技术方案中,所涉步骤(C)包括如下步骤:
(a)监督算法参数初始化,输入新的训练集进行训练;
(b)判断算法是否收敛,是则执行步骤(c),否则执行步骤(a);
(c)监督算法参数确定,分类准则确定。
本发明提供的第六优选技术方案中,所述训练集包括部分已标注的特征集和部分未标注的特征集。
本发明提供的第七优选技术方案中,所述测试集包括部分已标注的特征集和部分未标注的特征集。
本发明提供的第八优选技术方案中,所述类别标注采用深度包检测技术。
本发明提供的第九优选技术方案中,所述分类器性能评估包括对分类器准确率、***时间和内存开销的评估。
与现有技术相比,本发明的有益效果在于:
本发明结合机器学习方法中无监督和有监督两种算法进行分类。二者结合可以在保证较高分类准确率的前提下降低***时间和内存开销,提升分类效率。
本发明对聚类算法加以改进,在聚类过程中加入了标注过的样本点,可以检测聚类中心是否选取得当,修正误差和错误,降低不符合实际情况的样本中心点,提升聚类准确率,从而提高整体性能。
附图说明
图1是一种网络流量分类方法流程图
图2是网络流量行为特征集提取的流程示意图
图3是分类器模型获取和优化流程图
具体实施方式
下面结合附图对本发明作进一步详细说明。
如图1所示,一种基于聚类和有监督算法的网络流量分类方法,步骤如下:
步骤S101:网络数据流提取行为特征;
步骤S102:获取分类器模型,将上述行为特征集输入分类器,进行分类器训练,得到相应参数;
步骤S103:分类器性能评估,包括准确率、***时间和内存开销等,测试集输入分类器进行分类,根据准确率调整分类器算法和参数,优化分类器性能。
如图2所示,网络流量行为特性集提取方法,步骤如下:
步骤S201:网络流量抓取并筛选未知流量数据的关键信息,关键信息包括数据业务类型、数据包协议、时间和大小;
步骤S202:对上述关键信息处理,得到更直观有效的数据信息,以表示未知流量的行为特征;
步骤S203:确定特征集维数,整合上述行为特征集,避免信息冗余,并保留有效识别数据流的信息。
如图3所示,分类器模型获取和优化方法,步骤如下:
步骤S301:选取部分已提取的网络流量行为特征集进行类别标注,作为新加入的一项行为特征,得到分类器训练的训练集和测试集;其中标注方法可采用人工或DPI(深度包检测技术,基于应用层的流量检测和控制)方法;
步骤S302:聚类算法参数初始化,训练集输入进行训练;
步骤S303:判断聚类中心是否收敛,是则执行S304,否则执行步骤S302;
具体算法为:随机选取部分标注过的样本与大量未标注过的样本共同训练聚类算法,选取聚类中心,标注过的样本点可以检测样本中心点是否选取得当,修正误差和错误,降低因无监督,仅凭聚类准则得到结果得到不符合实际情况的样本中心点。根据聚类准则迭代训练样本集,终止条件为算法收敛。此时聚类中心和适宜的聚类范围确定,聚类范围采用收敛半径表示;
步骤S304:保存聚类中心,收敛半径,调整训练集,去除已聚类的样本点并保存;
聚类训练结束后,保存聚类中心和收敛半径,作为未知流量数据分类的聚类判定依据,去除聚类过的样本点,有监督算法训练的数据量有所降低,如SVM算法的复杂度在O(n2)~O(n3)之间,n为样本数目,这样有监督算法复杂度大为降低,可以提升训练效率;
步骤S305:有监督算法参数初始化,输入新的训练集进行训练;
步骤S306:判断算法是否收敛,是则执行S307,否则执行S305;
步骤S307:有监督算法参数确定,分类准则确定;
步骤S308:测试集输入分类器进行分类测试,并进行准确率评估;
步骤S309:判断准确率是否符合要求,不满足则返回S302,至分类效果符合要求,主要为分类准确率较高;满足则确定该分类器模型可行,结束算法。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种网络流量分类方法,其特征在于,所述方法包括如下步骤:
(1)提取网络流量行为特征集;
(2)获取分类器模型,将所述行为特征集输入分类器,进行分类训练,得到相应参数;分类器性能评估,并优化分类器性能。
2.根据权利要求1所述网络流量分类方法,其特征在于,所述步骤(1)包括如下步骤:
A.网络流量抓取并筛选未知流量数据的关键信息;
B.处理所述关键信息,得到更直观有效的数据信息,以表示未知流量的行为特征;
C.确定特征集维数,整合所述行为特征,避免信息冗余,并保留有效识别数据流的信息。
3.根据权利要求2所述网络流量分类方法,其特征在于,所述关键信息包括数据业务类型、数据包协议、时间和类型。
4.根据权利要求1所述网络流量分类方法,其特征在于,所述步骤(2)包括如下步骤:
A.选取部分已提取的网络流量行为特征集进行类别标注,作为新加入的一项行为特征,得到分类器训练的训练集和测试集;
B.将训练集进行聚类算法,得到新的训练集;
C.将新的训练集进行监督算法,确定分类准则;
D.测试集输入分类器进行分类准则测试,并进行准确率评估;
E.判断准确率是否符合要求,是则结束;否则返回步骤B,至准确率符合要求。
5.根据权利要求4所述网络流量分类方法,其特征在于,所述步骤B包括如下步骤:
(a)聚类算法参数初始化,训练集输入进行训练;
(b)判断聚类中心是否收敛,是则执行步骤(c),否则执行步骤(a);
(c)聚类训练结束后,保存聚类中心和收敛半径,调整训练集并去除已聚类的样本,形成新的训练集。
6.根据权利要求4所述网络流量分类方法,其特征在于,所涉步骤(C)包括如下步骤:
(a)监督算法参数初始化,输入新的训练集进行训练;
(b)判断算法是否收敛,是则执行步骤(c),否则执行步骤(a);
(c)监督算法参数确定,分类准则确定。
7.根据权利要求4所述网络流量分类方法,其特征在于,所述训练集包括部分已标注的特征集和部分未标注的特征集。
8.根据权利要求4所述网络流量分类方法,其特征在于,所述测试集包括部分已标注的特征集和部分未标注的特征集。
9.根据权利要求4所述网络流量分类方法,其特征在于,所述类别标注采用深度包检测技术。
10.根据权利要求1所述网络流量分类方法,其特征在于,所述分类器性能评估包括对分类器准确率、***时间和内存开销的评估。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510176138.1A CN104767692B (zh) | 2015-04-15 | 2015-04-15 | 一种网络流量分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510176138.1A CN104767692B (zh) | 2015-04-15 | 2015-04-15 | 一种网络流量分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104767692A true CN104767692A (zh) | 2015-07-08 |
CN104767692B CN104767692B (zh) | 2018-05-29 |
Family
ID=53649314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510176138.1A Active CN104767692B (zh) | 2015-04-15 | 2015-04-15 | 一种网络流量分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104767692B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105022960A (zh) * | 2015-08-10 | 2015-11-04 | 济南大学 | 基于网络流量的多特征移动终端恶意软件检测方法及*** |
CN106411775A (zh) * | 2016-08-31 | 2017-02-15 | 国家计算机网络与信息安全管理中心 | 一种互联网流量分类样本标注方法 |
CN106713324A (zh) * | 2016-12-28 | 2017-05-24 | 北京奇艺世纪科技有限公司 | 一种流量检测方法及装置 |
CN106959967A (zh) * | 2016-01-12 | 2017-07-18 | 中国科学院声学研究所 | 一种链路预测模型的训练及链路预测方法 |
CN108197666A (zh) * | 2018-01-30 | 2018-06-22 | 咪咕文化科技有限公司 | 一种图像分类模型的处理方法、装置及存储介质 |
CN109376797A (zh) * | 2018-11-20 | 2019-02-22 | 大连理工大学 | 一种基于二进制编码器和多哈希表的网络流量分类方法 |
CN109450740A (zh) * | 2018-12-21 | 2019-03-08 | 青岛理工大学 | 一种基于dpi和机器学习算法进行流量分类的sdn控制器 |
CN109922083A (zh) * | 2019-04-10 | 2019-06-21 | 武汉金盛方圆网络科技发展有限公司 | 一种网络协议流量控制*** |
CN110149280A (zh) * | 2019-05-27 | 2019-08-20 | 中国科学技术大学 | 网络流量分类方法和装置 |
CN110445800A (zh) * | 2019-08-15 | 2019-11-12 | 上海寰创通信科技股份有限公司 | 一种基于自学习的深度报文解析*** |
CN110753049A (zh) * | 2019-10-21 | 2020-02-04 | 清华大学 | 一种基于工控网络流量的安全态势感知*** |
WO2020062390A1 (zh) * | 2018-09-25 | 2020-04-02 | 深圳先进技术研究院 | 一种网络流量分类方法、***及电子设备 |
CN111126419A (zh) * | 2018-10-30 | 2020-05-08 | 顺丰科技有限公司 | 网点聚类方法及装置 |
CN111983429A (zh) * | 2020-08-19 | 2020-11-24 | Oppo广东移动通信有限公司 | 芯片验证***、芯片验证方法、终端及存储介质 |
CN112637084A (zh) * | 2020-12-10 | 2021-04-09 | 中山职业技术学院 | 分布式网络流量新奇检测方法及分类器 |
US11586971B2 (en) | 2018-07-19 | 2023-02-21 | Hewlett Packard Enterprise Development Lp | Device identifier classification |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101060443A (zh) * | 2006-04-17 | 2007-10-24 | 中国科学院自动化研究所 | 基于改进的自适应提升算法的互联网入侵检测方法 |
CN103150454A (zh) * | 2013-03-27 | 2013-06-12 | 山东大学 | 基于样本推荐标注的动态机器学习建模方法 |
CN103793510A (zh) * | 2014-01-29 | 2014-05-14 | 苏州融希信息科技有限公司 | 一种基于主动学习的分类器构建方法 |
-
2015
- 2015-04-15 CN CN201510176138.1A patent/CN104767692B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101060443A (zh) * | 2006-04-17 | 2007-10-24 | 中国科学院自动化研究所 | 基于改进的自适应提升算法的互联网入侵检测方法 |
CN103150454A (zh) * | 2013-03-27 | 2013-06-12 | 山东大学 | 基于样本推荐标注的动态机器学习建模方法 |
CN103793510A (zh) * | 2014-01-29 | 2014-05-14 | 苏州融希信息科技有限公司 | 一种基于主动学习的分类器构建方法 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105022960B (zh) * | 2015-08-10 | 2017-11-21 | 济南大学 | 基于网络流量的多特征移动终端恶意软件检测方法及*** |
CN105022960A (zh) * | 2015-08-10 | 2015-11-04 | 济南大学 | 基于网络流量的多特征移动终端恶意软件检测方法及*** |
CN106959967A (zh) * | 2016-01-12 | 2017-07-18 | 中国科学院声学研究所 | 一种链路预测模型的训练及链路预测方法 |
CN106411775A (zh) * | 2016-08-31 | 2017-02-15 | 国家计算机网络与信息安全管理中心 | 一种互联网流量分类样本标注方法 |
CN106411775B (zh) * | 2016-08-31 | 2019-06-14 | 国家计算机网络与信息安全管理中心 | 一种互联网流量分类样本标注方法 |
CN106713324A (zh) * | 2016-12-28 | 2017-05-24 | 北京奇艺世纪科技有限公司 | 一种流量检测方法及装置 |
CN108197666A (zh) * | 2018-01-30 | 2018-06-22 | 咪咕文化科技有限公司 | 一种图像分类模型的处理方法、装置及存储介质 |
US11586971B2 (en) | 2018-07-19 | 2023-02-21 | Hewlett Packard Enterprise Development Lp | Device identifier classification |
US12026597B2 (en) | 2018-07-19 | 2024-07-02 | Hewlett Packard Enterprise Development Lp | Device identifier classification |
WO2020062390A1 (zh) * | 2018-09-25 | 2020-04-02 | 深圳先进技术研究院 | 一种网络流量分类方法、***及电子设备 |
CN111126419B (zh) * | 2018-10-30 | 2023-12-01 | 顺丰科技有限公司 | 网点聚类方法及装置 |
CN111126419A (zh) * | 2018-10-30 | 2020-05-08 | 顺丰科技有限公司 | 网点聚类方法及装置 |
CN109376797A (zh) * | 2018-11-20 | 2019-02-22 | 大连理工大学 | 一种基于二进制编码器和多哈希表的网络流量分类方法 |
CN109450740A (zh) * | 2018-12-21 | 2019-03-08 | 青岛理工大学 | 一种基于dpi和机器学习算法进行流量分类的sdn控制器 |
CN109922083A (zh) * | 2019-04-10 | 2019-06-21 | 武汉金盛方圆网络科技发展有限公司 | 一种网络协议流量控制*** |
CN110149280A (zh) * | 2019-05-27 | 2019-08-20 | 中国科学技术大学 | 网络流量分类方法和装置 |
CN110149280B (zh) * | 2019-05-27 | 2020-08-28 | 中国科学技术大学 | 网络流量分类方法和装置 |
CN110445800B (zh) * | 2019-08-15 | 2022-06-14 | 上海寰创通信科技股份有限公司 | 一种基于自学习的深度报文解析*** |
CN110445800A (zh) * | 2019-08-15 | 2019-11-12 | 上海寰创通信科技股份有限公司 | 一种基于自学习的深度报文解析*** |
CN110753049A (zh) * | 2019-10-21 | 2020-02-04 | 清华大学 | 一种基于工控网络流量的安全态势感知*** |
CN111983429A (zh) * | 2020-08-19 | 2020-11-24 | Oppo广东移动通信有限公司 | 芯片验证***、芯片验证方法、终端及存储介质 |
CN112637084A (zh) * | 2020-12-10 | 2021-04-09 | 中山职业技术学院 | 分布式网络流量新奇检测方法及分类器 |
CN112637084B (zh) * | 2020-12-10 | 2022-09-23 | 中山职业技术学院 | 分布式网络流量新奇检测方法及分类器 |
Also Published As
Publication number | Publication date |
---|---|
CN104767692B (zh) | 2018-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104767692A (zh) | 一种网络流量分类方法 | |
Kayacik et al. | A hierarchical SOM-based intrusion detection system | |
CN102315974B (zh) | 基于层次化特征分析的tcp、udp流量在线识别方法和装置 | |
CN102176698A (zh) | 一种基于迁移学习的用户异常行为检测方法 | |
CN101841440B (zh) | 基于支持向量机与深层包检测的对等网络流量识别方法 | |
CN104102700A (zh) | 一种面向因特网不平衡应用流的分类方法 | |
CN101996241A (zh) | 一种基于贝叶斯算法的内容过滤方法 | |
CN107846326A (zh) | 一种自适应的半监督网络流量分类方法、***及设备 | |
CN105141455B (zh) | 一种基于统计特征的有噪网络流量分类建模方法 | |
CN110266528B (zh) | 基于机器学习的车联网通信的流量预测方法 | |
CN109981474A (zh) | 一种面向应用软件的网络流量细粒度分类***及方法 | |
CN109167680A (zh) | 一种基于深度学习的流量分类方法 | |
CN109462853B (zh) | 一种基于神经网络模型的网络容量预测方法 | |
CN108199863A (zh) | 一种基于两阶段序列特征学习的网络流量分类方法及*** | |
CN103116766A (zh) | 一种基于增量神经网络和子图编码的图像分类方法 | |
CN107656152B (zh) | 一种基于ga-svm-bp变压器故障诊断方法 | |
CN109547251B (zh) | 一种基于监控数据的业务***故障与性能预测方法 | |
CN110225001A (zh) | 一种基于主题模型的动态自更新网络流量分类方法 | |
CN109995611B (zh) | 流量分类模型建立及流量分类方法、装置、设备和服务器 | |
CN111478904A (zh) | 一种基于概念漂移的物联网设备通信异常检测方法及装置 | |
Binglei et al. | Fuzzy-logic-based traffic incident detection algorithm for freeway | |
CN105791151A (zh) | 一种动态流量控制方法,及装置 | |
CN110009005A (zh) | 一种基于特征强相关的网络流量分类方法 | |
CN103634829B (zh) | 一种基于路测信息的路段筛选方法和设备 | |
CN105553574A (zh) | 一种认知无线电中基于支持向量机的mac协议识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |