CN105516020A - 一种基于本体知识推理的并行网络流量分类方法 - Google Patents
一种基于本体知识推理的并行网络流量分类方法 Download PDFInfo
- Publication number
- CN105516020A CN105516020A CN201510974162.XA CN201510974162A CN105516020A CN 105516020 A CN105516020 A CN 105516020A CN 201510974162 A CN201510974162 A CN 201510974162A CN 105516020 A CN105516020 A CN 105516020A
- Authority
- CN
- China
- Prior art keywords
- network
- network traffics
- inference
- traffics
- decision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003066 decision tree Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000013507 mapping Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000013145 classification model Methods 0.000 abstract 2
- 238000005065 mining Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 9
- 238000012546 transfer Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 239000012141 concentrate Substances 0.000 description 4
- TVZRAEYQIKYCPH-UHFFFAOYSA-N 3-(trimethylsilyl)propane-1-sulfonic acid Chemical compound C[Si](C)(C)CCCS(O)(=O)=O TVZRAEYQIKYCPH-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009452 underexpressoin Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明为一种基于本体知识推理的并行网络流量分类方法，步骤为：Ⅰ、利用决策树算法训练已标记应用类型的网络流量训练样本集，建立网络流量的决策树分类模型，并将其转化成推理规则集；Ⅱ、采用Jena工具包将推理规则集构造成推理机，借助MapReduce并行计算框架，调用推理机进行并行知识推理，挖掘出网络流量本体中网络流量实例和网络应用类型的对应关系，对网络流量实例标记网络应用类型，完成网络流量分类。本发明引入并行处理技术MapReduce，以云计算为网络流量本体知识推理的存储和计算资源，对网络流量实例进行并行化分类，有效提高分类效率；结合机器学习和本体知识推理，构建推理规则集，直接针对网络流量本体中的流量实例进行有效分类。
Description
技术领域
本发明涉及网络管理技术领域，具体为一种基于本体知识推理的并行网络流量分类方法。
背景技术
随着Web技术的迅猛发展和企业信息化需求的不断提高，许多新型网络应用模式和应用需求应运而生，随之而来的网络流量数据也呈现出***性增长，给网络监管带来前所未有的挑战，也使得用户对网络流量进行精细化管理的需求越来越强烈。作为管理和优化各类网络资源的关键技术，网络流量分类广泛应用于网络监控、QoS(QualityofService，服务质量)管理、网络安全、态势分析等领域，是高效实现网络管理、流量控制以及安全检测的重要环节。
网络流量分类是指在基于TCP/IP协议的互联网中，按照网络的应用类型(例如WWW、FTP、MAIL、P2P等)，将网络通信产生的双向TCP流量或UDP流量进行分类。
近年来许多研究人员将注意力转向了基于网络流量统计特征的机器学***均包长、平均包间隔时间等)的统计信息，采用机器学习方法对流量进行分类，该方法不受动态端口、载荷加密及网络地址转换的影响。目前网络流量分类较为广泛使用的机器学习方法主要有：贝叶斯、神经网络、支持向量机和决策树等。
剑桥大学Moore的网络流量分类方法研究主要是Bayes及其改进方法的研究。CharalamposRotsos和Moore等引入半监督流量分类方法训练分类器，采用NB和核估计NB两种算法对分类器进行建模，实验结果表明该方法能比传统方法取得更高分类性能。但是此类算法是基于概率统计的学习方法，过于依赖样本空间的分布，具有潜在的不稳定性。
使用前馈神经网络的网络流量分类方法有效地消除了基于端口或者基于负载的分类方法的弊端，测试验证该方法较NB具有更好的稳定性和健壮性，在网络流量分类中的应用具有良好的性能和前景。但是，即使是神经网络应用广泛的BP算法，在应用中也暴露了不少的缺陷，如易形成局部极小而得不到全局最优，训练次数多使得学习效率低，收敛速度慢等。
从网络数据包头部获得网络流参数，再进行有规律的偏差训练和无偏差训练对比SVM分类算法，在处理大样本数据集时，计算复杂度高，训练速度慢。用SVM决策树进行网络流量分类，解决SVM流量分类存在无法识别区域和训练时间较长的问题。然而研究还是不能彻底解决计算性能瓶颈问题，而且该方法是一种有监督的学习方法，不能很好地发现网络流量中的新应用。
WeiLi和Moore为了避免检测包的载荷，从网络流量开始的网络数据包中提取12个统计特征，同时考虑了延迟和吞吐量，在C4.5决策树流量分类方法下分类准确性达99.8％。TomaszBujlow等人提出了一种C5.0机器学***均分类准确率达到99.3-99.9％。但是决策树缺乏伸缩性，并在处理大数据集时容易增加分类算法的额外开销，降低了分类的准确性。
在高速大规模复杂网络环境下，各个网络节点传感器使用不同的网络流量采集***收集网络数据包，网络流量数据格式不一，语义、语法异构。故目前网络流量数据的特点是多源、异构、海量，现有的网络流量分类技术大多只能对网络流量数据进行简单的格式化，缺少对数据异构(格式异构、语法异构、语义异构)的有效解决方法，也缺乏对流量信息(如获取环境等)的描述及知识推理，获得的流量数据存在不一致性、不能共享和缺乏网络流量分类知识等问题，因而现有的流量分类方法难以提供网络管理决策分析所需的资源信息。
在人工智能领域，本体逐渐被应用于知识工程、智能信息集成、数据挖掘、海量信息的组织和处理等领域中。本体为解决资源规范、无二义性和可扩展性描述问题提供了有效的途径，在描述资源方面具有通用性、开放性、智能性、准确性和综合性等诸多优点。本体也被用于决策支持***作为一种知识表达的工具，知识推理是本体在决策支持***中的重要功能，其也被应用于分类(诸如图像分类等)问题。
近年来研究者尝试引入本体到网络流量分类领域。Pietrzyk，Marcin首次尝试形式化定义流的类别，使用经典的开发本体准则，迭代构建一个基于本体范例的类别分类树，旨在消除流类别定义的模糊性。ChengjieGu等人提出一种基于流轮廓和本体的在线自学习网络流量分类框架，通过流轮廓与流量类别之间的映射关系实现流量分类。但是目前基于本体的网络流量分类方法还不能应用于大规模复杂网络，本体在网络流量分类领域的应用尚属起步阶段。
云计算是以数据为中心的密集型超级计算技术，对大数据集进行处理、分析，并向用户提供高效服务，具有并行化、虚拟化、按需服务等特点。其并行处理技术MapReduce能够为可划分的大规模数据并行计算处理问题提供充分的并行计算语义，已经被广泛接受。云计算技术为解决网络流量分类中海量数据处理问题提供了新方法。因此，本体与云计算相结合应用于网络流量分类，将发挥它们各自在海量异构数据描述与处理方面的优势，本体用于网络流量信息资源一致性描述和知识管理，而云计算为本体的构建及知识管理提供了存储和计算资源。
发明内容
本发明的目的是公开一种基于本体知识推理的并行网络流量分类方法，针对大规模网络流量本体中的网络流量实例，借助机器学习方法和本体的知识推理实现网络流量分类。
本发明设计的一种基于本体知识推理的并行网络流量分类方法，根据互联网网络流量采集环境和流量的信息资源构建多层的网络流量本体，将互联网中的每条网络流量对应网络流量本体中的一个网络流量实例，按如下步骤对网络流量进行分类：
Ⅰ、建立决策树分类模型并生成推理规则集
在互联网中选取网络流量作为样本，已标记应用类型的网络流量样本作为网络流量训练样本集，利用决策树算法训练网络流量训练样本集，建立网络流量的决策树分类模型，并将决策树分类模型转化成推理规则集；
Ⅱ、通过知识推理对网络流量实例进行并行化分类
采用Jena工具包将步骤Ⅰ生成的推理规则集构造成相应的推理机，对已构建的网络流量本体，借助MapReduce并行计算框架，调用推理机进行并行知识推理，即挖掘出网络流量本体中网络流量实例和网络应用类型的对应关系，对网络流量实例进行网络应用类型标记，完成网络流量分类。所述Jena工具包为用于本体构建及其推理的工具包，其为2004年HP公司开发的基于Java的开放源代码语义网工具包。
以下对各步骤详细说明。
所述步骤Ⅰ具体包括如下子步骤：
Ⅰ-1、借助决策树算法对已标记应用类型的网络流量训练样本集进行训练，建立网络流量的决策树分类模型，所述集合A＝{a1,a2,……,ai}表示由网络流量训练样本集中i个网络流量的统计特征值组成的集合；集合T＝{t1,t2,……,tj}表示由网络流量训练样本集中j种网络流量所属的应用类型组成的集合；集合V＝{v1,v2,……,vk}表示由k个决策判定基准值组成的集合，它由集合A中的各个元素经过决策树算法统计计算得出，作为决策树中选取决策路径的判定依据；
Ⅰ-2、网络流量的决策树分类模型中从根节点到每个子叶的路径均视为分类路径，以决策判定基准值为依据，将网络流量的决策树分类模型中的每条分类路径均转化成“如果-则”，即“IF-THEN”结构，建立IF-THEN结构的网络流量分类模型；
Ⅰ-3、采用Jena工具包的推理规则语法描述步骤Ⅰ-2建立的IF-THEN结构的网络流量分类模型，并生成推理规则集。
所述步骤Ⅱ具体包括如下子步骤：
Ⅱ-1、采用Jena工具包将步骤Ⅰ生成的推理规则集构造成相应的推理机；
Ⅱ-2、根据每个计算节点的性能以及网络流量本体中所描述的网络流量实例的数据规模，对已构建好的网络流量本体进行分割，得到多个网络流量本体分片，将网络流量本体分片上传至Hadoop分布式文件***，并对每一个网络流量本体分片进行标识；
Ⅱ-3、启动多个MapReduce的映射(Map)函数，以<网络流量本体分片标识符，网络流量本体分片>为键值对、输入到映射函数；
Ⅱ-4、映射函数利用步骤Ⅱ-1构造的推理机对网络流量本体分片进行知识推理，得到网络流量本体分片中每条网络流量实例对应的网络应用类型标签；
Ⅱ-5、以<网络应用类型标签，网络流量实例>为键值对、输出到规约函数；
Ⅱ-6、规约函数根据网络应用类型标签合并网络流量实例，形成已分类网络流量实例集；
Ⅱ-7、输出已分类网络流量实例集，完成网络流量分类。
与现有技术相比，本发明一种基于本体知识推理的并行网络流量分类方法的优点为：1、引入大规模数据集的并行处理技术MapReduce，故可采用云计算作为网络流量本体知识推理的存储和计算资源，为用户提供具有并行化、虚拟化、按需服务等特点的高效服务；2、通过知识推理对网络流量实例进行并行化分类，有效提高分类效率；适当增加计算节点可加速完成分类；3、结合机器学习方法与本体的知识推理，通过构建推理规则集直接针对网络流量本体中的网络流量实例进行有效分类。
附图说明
图1为本基于本体知识推理的并行网络流量分类方法实施例的总体框图；
图2为本基于本体知识推理的并行网络流量分类方法实施例步骤Ⅱ的架构图；
图3为本基于本体知识推理的并行网络流量分类方法实施例单机环境和集群环境下知识推理分类时间对比曲线图；
图4为本基于本体知识推理的并行网络流量分类方法实施例不同数据规模、不同节点的集群环境下的加速比曲线图。
具体实施方式
本基于本体知识推理的并行网络流量分类方法实施例采用剑桥大学摩尔(Moore)教授团队采集并公开的数据集作为网络流量信息资源，本例称之为摩尔数据集，本例所用摩尔数据集包含377526个网络流量样本，其中的每个网络流量样本都是完备的传输控制协议(TCP)双向流量，有248个网络流量统计特征，由网络流量的源端口号、目的端口号等基本属性和包的平均间隔时间等统计属性组成，最后一项标记为网络流量所属的应用类型。
本例选取摩尔数据集中的12种网络应用类型作为分类目标，12种网络应用类型为：万维网(www)、游戏(Games)、服务(Service)、邮件(Mail)、攻击(Attack)、数据库(Database)、交互(Interactive)、文件传输协议控制(FTP-Control)、文件传输协议被动连接(FTP-Pasv)、文件传输协议数据(FTP-Data)、多媒体(Multimedia)和点对点(P2P)。共选取10个网络流量统计特征作为知识推理的依据，所选10个统计特征为服务器端口号、客户端端口号、被转发的同向包中所含数据的总字节数、被转发的反向包中所含数据的总字节数、所有同向包中传输控制协议包头所含推送(PUSH)标志位的总个数、所有反向包中传输控制协议包头所含推送(PUSH)标志位的总个数、所有同向包中传输控制协议包头所含结束(FIN)标志位的总个数、所有反向包中传输控制协议包头所含结束(FIN)标志位的总个数、所有同向包初始化窗口的总字节数、所有反向包初始化窗口的总字节数。
为了更具客观性，本例将摩尔数据集拆分成两部分，分别作为本例的训练样本集和测试样本集，从训练样本集中随机抽取3000条作为训练样本，从测试样本集中随机抽取30万条作为测试样本。
本基于本体知识推理的并行网络流量分类方法实施例的总体框图如图1所示，本例根据摩尔数据集构建多层的网络流量本体，将摩尔数据集的测试样本中的每条网络流量对应网络流量本体中的一个网络流量实例，利用决策树算法对已标记应用类型的网络流量训练样本进行训练，建立网络流量的决策树分类模型，并将决策树分类模型转化成推理规则集，采用Jena工具包将推理规则集构造成相应的推理机；对已构建的网络流量本体借助MapReduce并行计算框架，调用推理机进行并行知识推理，即挖掘出网络流量本体中网络流量实例和网络应用类型的对应关系，对网络流量实例进行网络应用类型标记，完成网络流量分类。
Ⅰ、建立决策树分类模型并生成推理规则集
Ⅰ-1、借助机器学习以及数据挖掘软件weka3.7.10自带的决策树算法对本例的训练样本集进行训练，建立网络流量的决策树分类模型，本例集合A表示本例的训练样本集中网络流量的统计特征值集合，集合A＝{服务器端口号、客户端端口号、被转发的同向包中所含数据的总字节数、被转发的反向包中所含数据的总字节数、所有同向包中传输控制协议包头所含推送(PUSH)标志位的总个数、所有反向包中传输控制协议包头所含推送(PUSH)标志位的总个数、所有同向包中传输控制协议包头所含结束(FIN)标志位的总个数、所有反向包中传输控制协议包头所含结束(FIN)标志位的总个数、所有同向包初始化窗口的总字节数、所有反向包初始化窗口的总字节数}；集合T表示本例的训练样本集中网络流量所属的应用类型集合，集合T＝{万维网，游戏，服务，邮件，攻击，数据库，交互，文件传输协议控制，文件传输协议被动连接，文件传输协议数据，多媒体，点对点}；集合V＝{v1,v2,……,vk}表示由k个决策判定基准值组成的集合，它由集合A中的各个元素经过决策树算法统计计算得出，作为决策树中选取决策路径的判定依据。
Ⅰ-2、网络流量的决策树分类模型中从根节点到每个子叶的路径均视为分类路径，以决策判定基准值为依据，将网络流量的决策树分类模型中的每条分类路径均转化成“如果-则”，即“IF-THEN”结构，建立IF-THEN结构的网络流量分类模型；
Ⅰ-3、采用Jena工具包的推理规则语法描述步骤Ⅰ-2建立的IF-THEN结构的网络流量分类模型，并生成推理规则集。
Ⅱ、通过知识推理对网络流量实例进行并行化分类
本步骤采用Jena工具包将步骤Ⅰ生成的推理规则集构造成相应的推理机，对已构建好的网络流量本体、借助MapReduce并行计算框架，调用Jena推理机进行并行知识推理，即挖掘出网络流量本体中网络流量实例和网络应用类型的对应关系，对网络流量实例进行网络应用类型标记，完成网络流量分类。具体包括如下述子步骤，如图2所示：
Ⅱ-1、采用Jena工具包将步骤Ⅰ生成的推理规则集构造成相应的推理机；
Ⅱ-2、根据每个计算节点的性能以及网络流量本体中所描述的网络流量实例的数据规模，对已构建好的网络流量本体进行分割，得到多个网络流量本体分片(图2中的本体分片O1到On)，将网络流量本体分片上传至Hadoop分布式文件***，并对每一个网络流量本体分片进行标识；
Ⅱ-3、启动多个MapReduce的映射(Map)函数(图2中的Map1到Mapn)，以<网络流量本体分片标识符，网络流量本体分片>为键值对、输入到映射函数；
Ⅱ-4、映射函数利用步骤Ⅱ-1构造的推理机对网络流量本体分片进行知识推理，得到网络流量本体分片中每条网络流量实例对应的网络应用类型标签(图2中的类型L1到Lm)；
Ⅱ-5、以<网络应用类型标签，网络流量实例>为键值对、输出到规约函数；
Ⅱ-6、规约函数(图2中的Reduce1到Reducem)根据网络应用类型标签合并网络流量实例，形成已分类网络流量实例集(图2中的流量集合C1到流量集合Cm)；
Ⅱ-7、输出已分类网络流量实例集，完成网络流量分类。
为验证本发明方法的有效性，对不同网络流量数据规模，单机环境和集群环境下知识推理分类时间进行对比，对比结果如图3所示。图3中横坐标为网络流量实例数，单位为万条；纵坐标为分类时间，单位为秒。图3中▽连线表示单机，□连线表示2台机，◇连线表示3台机，△连线表示4台机。从图3可以看出，当网络流量实例数较少时，不同个数的计算节点网络流量分类所需的时间差距不大。在流量样本数只有6万条的小规模分类任务中，单机环境所需分类时间甚至低于只开启了2个节点的集群环境，逼近于开启了3个节点的集群环境。因为当网络流量实例数据量较少时，MapReduce的调度任务以及分割和重组数据等步骤仍需要耗费一定的时间。由此可知对于小规模数据的处理，并不能体现本发明方法的优势。但随着网络流量实例数据规模的增大，单机与集群环境的分类所耗时间的差距就越来越大，此时MapReduce的额外开销逐步趋于稳定，本发明方法中并行处理的优势逐渐显现出来，体现本发明方法并行处理的高效性。
为了能更精确地衡量本发明方法采用并行化技术所得到的性能方面的提升，使用加速比R作为评价指标:
R＝Ts/Tp
式中变量Ts表示单机环境下本方法的运行时间，变量Tp表示并行环境下本方法的运行时间。图4给出了当集群环境为采用2、3、4台机，即计算节点分别为2、3、4时，本方法的加速比曲线图。图4中横坐标为网络流量实例数，单位为万条；纵坐标为网络流量分类时间的加速比。图4中▽连线表示2台机，□连线表示3台机，◇表示4台机。如图4所示，当网络流量实例数一定时，随着计算节点的增加，其加速比呈现阶跃式变化；随着网络流量实例数的增加，加速比在增大到一个最大值之后逐渐减小，之后趋于稳定。经过对各个节点运行状态的观测与分析可知，当网络流量实例数较小时，集群的资源利用率不高，各计算节点的资源没有被有效利用；随着网络流量实例的增加，加速比呈现上扬趋势，增加到最大值，此时集群的资源利用率达到最高，集群中各个节点的资源均能被很好地调度；随着网络流量实例数继续增加，加速比逐渐减小，然后趋于平稳。这是因为加速比到达最大值时集群资源的利用已达到瓶颈，集群的调度器开始调整调度策略，最终达到一个稳态。
以上实验结果表明，本方法可以有效地提高执行效率，MapReduce并行技术能够有效地提高大规模网络流量本体中网络流量实例的分类效率。
上述实施例，仅为对本发明的目的、技术方案和有益效果进一步详细说明的具体个例，本发明并非限定于此。凡在本发明的公开的范围之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围之内。
Claims (3)
1.一种基于本体知识推理的并行网络流量分类方法，根据互联网网络流量采集环境和流量的信息资源构建多层的网络流量本体，将互联网中的每条网络流量对应网络流量本体中的一个网络流量实例，按如下步骤进行分类：
Ⅰ、建立决策树分类模型并生成推理规则集
在互联网中选取网络流量作为样本，已标记应用类型的网络流量样本作为网络流量训练样本集，利用决策树算法训练已标记应用类型的网络流量训练样本集，建立网络流量的决策树分类模型，并将决策树分类模型转化成推理规则集；
Ⅱ、通过知识推理对网络流量实例进行并行化分类
采用Jena工具包将步骤Ⅰ生成的推理规则集构造成相应的推理机；对已构建的网络流量本体，借助MapReduce并行计算框架，调用推理机进行并行知识推理，即挖掘出网络流量本体中网络流量实例和网络应用类型的对应关系，对网络流量实例进行网络应用类型标记，完成网络流量分类。
2.根据权利要求1所述的基于本体知识推理的并行网络流量分类方法，其特征在于：
所述步骤Ⅰ具体包括如下子步骤：
Ⅰ-1、借助决策树算法对已标记应用类型的网络流量训练样本集进行训练，建立网络流量的决策树分类模型，所述集合A＝{a1,a2,……,ai}表示由网络流量训练样本集中i个网络流量的统计特征值组成的集合；集合T＝{t1,t2,……,tj}表示由网络流量训练样本集中j种网络流量所属的应用类型组成的集合；集合V＝{v1,v2,……,vk}表示由k个决策判定基准值组成的集合，它由集合A中的各个元素经过决策树算法统计计算得出，作为决策树中选取决策路径的判定依据；
Ⅰ-2、网络流量的决策树分类模型中从根节点到每个子叶的路径均视为分类路径，以决策判定基准值为依据，将网络流量的决策树分类模型中的每条分类路径均转化成“如果-则”，即“IF-THEN”结构，建立IF-THEN结构的网络流量分类模型；
Ⅰ-3、采用Jena工具包的推理规则语法描述步骤Ⅰ-2建立的IF-THEN结构的网络流量分类模型，并生成推理规则集。
3.根据权利要求1所述的基于本体知识推理的并行网络流量分类方法，其特征在于：
所述步骤Ⅱ具体包括如下子步骤：
Ⅱ-1、采用Jena工具包将步骤Ⅰ生成的推理规则集构造成相应的推理机；
Ⅱ-2、根据每个计算节点的性能以及网络流量本体中所描述的网络流量实例的数据规模，对已构建好的网络流量本体进行分割，得到多个网络流量本体分片，将网络流量本体分片上传至Hadoop分布式文件***，并对每一个网络流量本体分片进行标识；
Ⅱ-3、启动多个MapReduce的映射函数，以<网络流量本体分片标识符，网络流量本体分片>为键值对、输入到映射函数；
Ⅱ-4、映射函数利用步骤Ⅱ-1构建的推理机对网络流量本体分片进行知识推理，得到网络流量本体分片中每条网络流量实例对应的网络应用类型标签；
Ⅱ-5、以<网络应用类型标签，网络流量实例>为键值对、输出到规约函数；
Ⅱ-6、规约函数根据网络应用类型标签合并网络流量实例，形成已分类网络流量实例集；
Ⅱ-7、输出已分类网络流量实例集，完成网络流量分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510974162.XA CN105516020B (zh) | 2015-12-22 | 2015-12-22 | 一种基于本体知识推理的并行网络流量分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510974162.XA CN105516020B (zh) | 2015-12-22 | 2015-12-22 | 一种基于本体知识推理的并行网络流量分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105516020A true CN105516020A (zh) | 2016-04-20 |
| CN105516020B CN105516020B (zh) | 2018-09-11 |
Family
ID=55723670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510974162.XA Active CN105516020B (zh) | 2015-12-22 | 2015-12-22 | 一种基于本体知识推理的并行网络流量分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105516020B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106878307A (zh) * | 2017-02-21 | 2017-06-20 | 电子科技大学 | 一种基于误码率模型的未知通信协议识别方法 |
| CN107800787A (zh) * | 2017-10-23 | 2018-03-13 | 广州百兴网络科技有限公司 | 一种分布式大数据实时交换共享的计算机网络*** |
| CN109784370A (zh) * | 2018-12-14 | 2019-05-21 | 中国平安财产保险股份有限公司 | 基于决策树的数据地图生成方法、装置和计算机设备 |
| CN110245874A (zh) * | 2019-03-27 | 2019-09-17 | 中国海洋大学 | 一种基于机器学习和知识推理的决策融合方法 |
| CN110322037A (zh) * | 2018-03-28 | 2019-10-11 | 普天信息技术有限公司 | 基于推理模型的流量预测方法及装置 |
| US10673765B2 (en) | 2018-09-11 | 2020-06-02 | Cisco Technology, Inc. | Packet flow classification in spine-leaf networks using machine learning based overlay distributed decision trees |
| CN111914100A (zh) * | 2020-08-11 | 2020-11-10 | 中科院合肥技术创新工程院 | 一种基于本体的突发事件应急决策知识表示方法 |
| CN112784990A (zh) * | 2021-01-22 | 2021-05-11 | 支付宝(杭州)信息技术有限公司 | 一种成员推断模型的训练方法 |
| CN117313004A (zh) * | 2023-11-29 | 2023-12-29 | 南京邮电大学 | 一种在物联网中基于深度学习的QoS流分类方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104102700A (zh) * | 2014-07-04 | 2014-10-15 | 华南理工大学 | 一种面向因特网不平衡应用流的分类方法 |
| CN104702465A (zh) * | 2015-02-09 | 2015-06-10 | 桂林电子科技大学 | 一种并行网络流量分类方法 |
-
2015
- 2015-12-22 CN CN201510974162.XA patent/CN105516020B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104102700A (zh) * | 2014-07-04 | 2014-10-15 | 华南理工大学 | 一种面向因特网不平衡应用流的分类方法 |
| CN104702465A (zh) * | 2015-02-09 | 2015-06-10 | 桂林电子科技大学 | 一种并行网络流量分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| CHENGJIE GU,ET AL.: "Online Self-learning Internet Traffic Classification based on Profile and Ontology", 《JOURNAL OF CONVERGENCE TECHNOLOGY》 * |
| M.PIETRZYK,ET AL.: "Toward systematic methods comparison in traffic classification", 《WIRELESS COMMUNICATION AND MOBILE COMPUTING CONFERENCE》 * |
| 胡婷 等: "网络流量分类方法的比较研究", 《桂林电子科技大学学报》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106878307A (zh) * | 2017-02-21 | 2017-06-20 | 电子科技大学 | 一种基于误码率模型的未知通信协议识别方法 |
| CN106878307B (zh) * | 2017-02-21 | 2019-10-29 | 电子科技大学 | 一种基于误码率模型的未知通信协议识别方法 |
| CN107800787A (zh) * | 2017-10-23 | 2018-03-13 | 广州百兴网络科技有限公司 | 一种分布式大数据实时交换共享的计算机网络*** |
| CN107800787B (zh) * | 2017-10-23 | 2020-10-16 | 图斯崆南京科技有限公司 | 一种分布式大数据实时交换共享的计算机网络*** |
| CN110322037A (zh) * | 2018-03-28 | 2019-10-11 | 普天信息技术有限公司 | 基于推理模型的流量预测方法及装置 |
| US11206218B2 (en) | 2018-09-11 | 2021-12-21 | Cisco Technology, Inc. | Packet flow classification in spine-leaf networks using machine learning based overlay distributed decision trees |
| US10673765B2 (en) | 2018-09-11 | 2020-06-02 | Cisco Technology, Inc. | Packet flow classification in spine-leaf networks using machine learning based overlay distributed decision trees |
| CN109784370A (zh) * | 2018-12-14 | 2019-05-21 | 中国平安财产保险股份有限公司 | 基于决策树的数据地图生成方法、装置和计算机设备 |
| CN109784370B (zh) * | 2018-12-14 | 2024-05-10 | 中国平安财产保险股份有限公司 | 基于决策树的数据地图生成方法、装置和计算机设备 |
| CN110245874A (zh) * | 2019-03-27 | 2019-09-17 | 中国海洋大学 | 一种基于机器学习和知识推理的决策融合方法 |
| CN110245874B (zh) * | 2019-03-27 | 2024-05-10 | 中国海洋大学 | 一种基于机器学习和知识推理的决策融合方法 |
| CN111914100A (zh) * | 2020-08-11 | 2020-11-10 | 中科院合肥技术创新工程院 | 一种基于本体的突发事件应急决策知识表示方法 |
| CN112784990A (zh) * | 2021-01-22 | 2021-05-11 | 支付宝(杭州)信息技术有限公司 | 一种成员推断模型的训练方法 |
| CN117313004A (zh) * | 2023-11-29 | 2023-12-29 | 南京邮电大学 | 一种在物联网中基于深度学习的QoS流分类方法 |
| CN117313004B (zh) * | 2023-11-29 | 2024-03-12 | 南京邮电大学 | 一种在物联网中基于深度学习的QoS流分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105516020B (zh) | 2018-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105516020A (zh) | 一种基于本体知识推理的并行网络流量分类方法 | |
| CN108900432B (zh) | 一种基于网络流行为的内容感知方法 | |
| Yuan et al. | An SVM-based machine learning method for accurate internet traffic classification | |
| Perera et al. | A comparison of supervised machine learning algorithms for classification of communications network traffic | |
| Liu et al. | A class-oriented feature selection approach for multi-class imbalanced network traffic datasets based on local and global metrics fusion | |
| CN105591972B (zh) | 一种基于本体的网络流量分类方法 | |
| Cheng et al. | MATEC: A lightweight neural network for online encrypted traffic classification | |
| CN107786388A (zh) | 一种基于大规模网络流数据的异常检测*** | |
| CN104052639A (zh) | 基于支持向量机的实时多应用网络流量识别方法 | |
| Xu et al. | A traffic classification method based on packet transport layer payload by ensemble learning | |
| Soleymanpour et al. | An efficient deep learning method for encrypted traffic classification on the web | |
| Saber et al. | Online data center traffic classification based on inter-flow correlations | |
| Hu et al. | A novel SDN-based application-awareness mechanism by using deep learning | |
| Tan et al. | An Internet Traffic Identification Approach Based on GA and PSO-SVM. | |
| Zhang et al. | Towards unknown traffic identification using deep auto-encoder and constrained clustering | |
| CN105577438A (zh) | 一种基于MapReduce的网络流量本体构建方法 | |
| Liu et al. | Machine learning in software defined network | |
| Liu et al. | P2P traffic identification and optimization using fuzzy c-means clustering | |
| Liu et al. | Dynamic traffic classification algorithm and simulation of energy Internet of things based on machine learning | |
| Dong et al. | Flow cluster algorithm based on improved K-means method | |
| Min et al. | Online Internet traffic identification algorithm based on multistage classifier | |
| Wu et al. | Detection of improved collusive interest flooding attacks using BO-GBM fusion algorithm in NDN | |
| Singhal et al. | State of the art review of network traffic classification based on machine learning approach | |
| Soylu et al. | Bit vector-coded simple CART structure for low latency traffic classification on FPGAs | |
| Xie et al. | Empowering in-network classification in programmable switches by binary decision tree and knowledge distillation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20160420 Assignee: Guangxi Jun'an Network Security Technology Co.,Ltd. Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY Contract record no.: X2022450000459 Denomination of invention: A parallel network traffic classification method based on ontology knowledge reasoning Granted publication date: 20180911 License type: Common License Record date: 20221228 |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240409 Address after: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui. Patentee after: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd. Country or region after: China Address before: 541004 1 Jinji Road, Qixing District, Guilin, the Guangxi Zhuang Autonomous Region Patentee before: GUILIN University OF ELECTRONIC TECHNOLOGY Country or region before: China |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240415 Address after: Room 301, 3rd Floor, Building 3, No. 18 Ziyue Road, Laiguangying Township, Chaoyang District, Beijing, 100020 Patentee after: Beijing Yunche Technology Co.,Ltd. Country or region after: China Address before: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui. Patentee before: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd. Country or region before: China |