CN106161277A - 一种基于本体的并行网络流量分类方法 - Google Patents

一种基于本体的并行网络流量分类方法 Download PDF

Info

Publication number
CN106161277A
CN106161277A CN201610484602.8A CN201610484602A CN106161277A CN 106161277 A CN106161277 A CN 106161277A CN 201610484602 A CN201610484602 A CN 201610484602A CN 106161277 A CN106161277 A CN 106161277A
Authority
CN
China
Prior art keywords
network
network traffics
parallel
traffics
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201610484602.8A
Other languages
English (en)
Inventor
董雄飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Minzhongyixing Software Development Co Ltd
Original Assignee
Hefei Minzhongyixing Software Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Minzhongyixing Software Development Co Ltd filed Critical Hefei Minzhongyixing Software Development Co Ltd
Priority to CN201610484602.8A priority Critical patent/CN106161277A/zh
Publication of CN106161277A publication Critical patent/CN106161277A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/028—Capturing of monitoring data by filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于本体的并行网络流量分类方法，该方法建立在Map Reduce并行计算架构之上，结合网络流量本体结构，设计基于Map Reduce的网络流量本体构建方法，及并行知识推理的网络流量分类方法，基于Map Reduce的网络流量本体构建效率明显高于单机环境，而且适当增加计算节点使得加速比线性提升，Map Reduce并行处理技术可以有效地提高网络流量本体构建的效率及网络流量的分类效率，可以适应大规模复杂网络流量的实时、准确分类。

Description

一种基于本体的并行网络流量分类方法
技术领域
本发明属于网络方法领域，更具体地说，本发明涉及一种基于本体的并行网络流量分类方法。
背景技术
作为管理和优化各类网络资源的关键技术，网络流量分类广泛应用于网络监控、服务质量管理、网络安全、态势分析等领域，是高效实现网络管理、流量控制以及安全检测的重要环节。随着Web技术的发展和企业信息化需求的不断提高，许多新型网络应用模式和需求
应运而生，网络环境也升级为高速、大规模、复杂网络，随之而来的网络流量数据呈现出新的特点：海量(数量惊人、信息丰富)、多源(数据源分布在离散的，彼此可以通信的多个网络节点上)、异构(格式异构、语法异构、语义异构)，致使网络流量分类面临严峻的挑战。
发明内容
本发明所要解决的问题是提供一种基于本体的并行网络流量分类方法。
为了实现上述目的，本发明采取的技术方案为：
一种基于本体的并行网络流量分类方法，包括如下步骤：
（1）参数的设定
令Ni(1≤i≤n)表示第i个网络节点ID，IPi表示第i个网络节点的IP，Ii表示第i个网络节点的相关信息，Fj(1≤j≤m)表示第j条网络流量标识，Oj表示第j条网络流量的本体，MNF表示从网络节点流量数据到网络流量的映射，RFO表示从网络流量到网络流量本体的映射；
（2）启动对应函数
根据每个网络节点启动对应的Map函数，其中，每个Map函数以键值对<Ni， IPi>作为输入；
（3）传入结果
Map函数根据IPi操作网络节点，收集网络节点相关信息Ii，并调用网络流量采集工具捕获网络数据包，然后将采集到的所有资源传入Combiner中间结果；
（4）信息整合成网络流量
Combiner根据过滤规则提取所需网络流量信息，并将数据包整合成网络流量Fj，以键值对<Ii，Fj>的形式传给Reduce函数，此时，传向Reduce函数的每个键值对就对应着一条完整的网络流量信息；
（5）自定位
Reduce函数根据接收到的键值对计算流量统计特征，并用本体语言OWL做统一资源描述，借助本体建模工具Protégé的API，完成网络流量本体的构建；
（6）流量分类
接着分析网络流量本体的内部结构，将其转换成知识推理的规则集形式，然后将本体流量实例和规则集一并输入并行知识推理引擎，得出分类结果。
优选的，所述步骤（6）中并行知识推理引擎是采用Map Reduce作为并行处理技术。
优选的，所述Map Reduce作为并行处理技术构建了基于Map Reduce的网络流量本体构建模型。
优选的，所述步骤（6）中并行知识推理的实现步骤为：
①根据每个计算节点的性能以及网络流量本体中所描述的网络流量实例的数据规模，对已构建好的网络流量本体进行分割，得到多个网络流量本体分片Oj，将网络流量本体分片上传至Hadoop分布式文件***，并对每一个网络流量本体分片中描述的网络流量实例标记为FIl，以键值对<FIl，Oj>作为Map函数的输入；
②启动多个Map函数并行地调用Jena推理机，利用规则集S
中的各条规则对网络流量本体分片Oj中描述的与网络流量实例FIl有关的各种信息进行知识推理，得出FIl的类标签Lk，将<Lk，FIl>作为键值对输出到Reduce函数；
③Reduce函数根据Lk按类型合并Fj，形成已分类流量集Ck，至此完成流量本体集到已分类流量集的映射MROC。
优选的，所述并行知识推理的实现步骤的前提是参数的设定。
优选的，所述参数的设定为令Oj(1≤j≤n)表示第j个网络流量本体分片，FIl(1≤l≤p)表示第l个网络流量实例标识(对应于第l条网络流量Fl)，S表示推理引擎中的规则集，Lk(1≤k≤m)表示第k类(指应用类别)流量标签，Ck表示第k类已分类流量集。
有益效果：本发明提供了一种基于本体的并行网络流量分类方法，该方法建立在Map Reduce并行计算架构之上，结合网络流量本体结构，设计基于Map Reduce的网络流量本体构建方法，及并行知识推理的网络流量分类方法，基于Map Reduce的网络流量本体构建效率明显高于单机环境，而且适当增加计算节点使得加速比线性提升，Map Reduce并行处理技术可以有效地提高网络流量本体构建的效率及网络流量的分类效率，可以适应大规模复杂网络流量的实时、准确分类。
具体实施方式
一种基于本体的并行网络流量分类方法，包括如下步骤：
（1）参数的设定
令Ni(1≤i≤n)表示第i个网络节点ID，IPi表示第i个网络节点的IP，Ii表示第i个网络节点的相关信息，Fj(1≤j≤m)表示第j条网络流量标识，Oj表示第j条网络流量的本体，MNF表示从网络节点流量数据到网络流量的映射，RFO表示从网络流量到网络流量本体的映射；
（2）启动对应函数
根据每个网络节点启动对应的Map函数，其中，每个Map函数以键值对<Ni， IPi>作为输入；
（3）传入结果
Map函数根据IPi操作网络节点，收集网络节点相关信息Ii，并调用网络流量采集工具捕获网络数据包，然后将采集到的所有资源传入Combiner中间结果；
（4）信息整合成网络流量
Combiner根据过滤规则提取所需网络流量信息，并将数据包整合成网络流量Fj，以键值对<Ii，Fj>的形式传给Reduce函数，此时，传向Reduce函数的每个键值对就对应着一条完整的网络流量信息；
（5）自定位
Reduce函数根据接收到的键值对计算流量统计特征，并用本体语言OWL做统一资源描述，借助本体建模工具Protégé的API，完成网络流量本体的构建；
（6）流量分类
接着分析网络流量本体的内部结构，将其转换成知识推理的规则集形式，然后将本体流量实例和规则集一并输入并行知识推理引擎，得出分类结果，并行知识推理引擎是采用Map Reduce作为并行处理技术，所述Map Reduce作为并行处理技术构建了基于Map Reduce的网络流量本体构建模型，所述并行知识推理的实现步骤为：
①所述参数的设定为令Oj(1≤j≤n)表示第j个网络流量本体分片，FIl(1≤l≤p)表示第l个网络流量实例标识(对应于第l条网络流量Fl)，S表示推理引擎中的规则集，Lk(1≤k≤m)表示第k类(指应用类别)流量标签，Ck表示第k类已分类流量集；
②根据每个计算节点的性能以及网络流量本体中所描述的网络流量实例的数据规模，对已构建好的网络流量本体进行分割，得到多个网络流量本体分片Oj，将网络流量本体分片上传至Hadoop分布式文件***，并对每一个网络流量本体分片中描述的网络流量实例标记为FIl，以键值对<FIl，Oj>作为Map函数的输入；
③启动多个Map函数并行地调用Jena推理机，利用规则集S
中的各条规则对网络流量本体分片Oj中描述的与网络流量实例FIl有关的各种信息进行知识推理，得出FIl的类标签Lk，将<Lk，FIl>作为键值对输出到Reduce函数；
④Reduce函数根据Lk按类型合并Fj，形成已分类流量集Ck，至此完成流量本体集到已分类流量集的映射MROC。
本发明提供了一种基于本体的并行网络流量分类方法，该方法建立在Map Reduce并行计算架构之上，结合网络流量本体结构，设计基于Map Reduce的网络流量本体构建方法，及并行知识推理的网络流量分类方法，基于Map Reduce的网络流量本体构建效率明显高于单机环境，而且适当增加计算节点使得加速比线性提升，Map Reduce并行处理技术可以有效地提高网络流量本体构建的效率及网络流量的分类效率，可以适应大规模复杂网络流量的实时、准确分类。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于本体的并行网络流量分类方法，其特征在于，包括如下步骤：
（1）参数的设定
令Ni(1≤i≤n)表示第i个网络节点ID，IPi表示第i个网络节点的IP，Ii表示第i个网络节点的相关信息，Fj(1≤j≤m)表示第j条网络流量标识，Oj表示第j条网络流量的本体，MNF表示从网络节点流量数据到网络流量的映射，RFO表示从网络流量到网络流量本体的映射；
（2）启动对应函数
根据每个网络节点启动对应的Map函数，其中，每个Map函数以键值对<Ni， IPi>作为输入；
（3）传入结果
Map函数根据IPi操作网络节点，收集网络节点相关信息Ii，并调用网络流量采集工具捕获网络数据包，然后将采集到的所有资源传入Combiner中间结果；
（4）信息整合成网络流量
Combiner根据过滤规则提取所需网络流量信息，并将数据包整合成网络流量Fj，以键值对<Ii，Fj>的形式传给Reduce函数，此时，传向Reduce函数的每个键值对就对应着一条完整的网络流量信息；
（5）自定位
Reduce函数根据接收到的键值对计算流量统计特征，并用本体语言OWL做统一资源描述，借助本体建模工具Protégé的API，完成网络流量本体的构建；
（6）流量分类
接着分析网络流量本体的内部结构，将其转换成知识推理的规则集形式，然后将本体流量实例和规则集一并输入并行知识推理引擎，得出分类结果。
2.按照权利要求1所述的一种基于本体的并行网络流量分类方法，其特征在于：所述步骤（6）中并行知识推理引擎是采用Map Reduce作为并行处理技术。
3.按照权利要求2所述的一种基于本体的并行网络流量分类方法，其特征在于：所述Map Reduce作为并行处理技术构建了基于Map Reduce的网络流量本体构建模型。
4.按照权利要求1所述的一种基于本体的并行网络流量分类方法，其特征在于：所述步骤（6）中并行知识推理的实现步骤为：
①根据每个计算节点的性能以及网络流量本体中所描述的网络流量实例的数据规模，对已构建好的网络流量本体进行分割，得到多个网络流量本体分片Oj，将网络流量本体分片上传至Hadoop分布式文件***，并对每一个网络流量本体分片中描述的网络流量实例标记为FIl，以键值对<FIl，Oj>作为Map函数的输入；
②启动多个Map函数并行地调用Jena推理机，利用规则集S
中的各条规则对网络流量本体分片Oj中描述的与网络流量实例FIl有关的各种信息进行知识推理，得出FIl的类标签Lk，将<Lk，FIl>作为键值对输出到Reduce函数；
③Reduce函数根据Lk按类型合并Fj，形成已分类流量集Ck，至此完成流量本体集到已分类流量集的映射MROC。
5.按照权利要求4所述的一种基于本体的并行网络流量分类方法，其特征在于：所述并行知识推理的实现步骤的前提是参数的设定。
6.按照权利要求5所述的一种基于本体的并行网络流量分类方法，其特征在于：所述参数的设定为令Oj(1≤j≤n)表示第j个网络流量本体分片，FIl(1≤l≤p)表示第l个网络流量实例标识(对应于第l条网络流量Fl)，S表示推理引擎中的规则集，Lk(1≤k≤m)表示第k类
(指应用类别)流量标签，Ck表示第k类已分类流量集。
CN201610484602.8A 2016-06-29 2016-06-29 一种基于本体的并行网络流量分类方法 Withdrawn CN106161277A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610484602.8A CN106161277A (zh) 2016-06-29 2016-06-29 一种基于本体的并行网络流量分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610484602.8A CN106161277A (zh) 2016-06-29 2016-06-29 一种基于本体的并行网络流量分类方法

Publications (1)

Publication Number Publication Date
CN106161277A true CN106161277A (zh) 2016-11-23

Family

ID=57349419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610484602.8A Withdrawn CN106161277A (zh) 2016-06-29 2016-06-29 一种基于本体的并行网络流量分类方法

Country Status (1)

Country Link
CN (1) CN106161277A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110061921A (zh) * 2019-04-17 2019-07-26 北京云杉世纪网络科技有限公司 一种云平台数据包分发方法及***
CN110751222A (zh) * 2019-10-25 2020-02-04 中国科学技术大学 基于cnn和lstm的在线加密流量分类方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110061921A (zh) * 2019-04-17 2019-07-26 北京云杉世纪网络科技有限公司 一种云平台数据包分发方法及***
CN110061921B (zh) * 2019-04-17 2021-07-06 北京云杉世纪网络科技有限公司 一种云平台数据包分发方法及***
CN110751222A (zh) * 2019-10-25 2020-02-04 中国科学技术大学 基于cnn和lstm的在线加密流量分类方法

Similar Documents

Publication Publication Date Title
CN107147639B (zh) 一种基于复杂事件处理的实时安全预警方法
CN111787090B (zh) 一种基于区块链技术的智慧法治平台
AU2020103407A4 (en) Intention recognition method based on normal cloud generator-bayesian network
Jiang et al. An incremental decision tree algorithm based on rough sets and its application in intrusion detection
CN103699696B (zh) 一种云计算环境下的数据在线聚集方法
CN104394149B (zh) 一种基于并行分布式架构的复杂事件处理的方法
Li et al. Improved Bayesian network-based risk model and its application in disaster risk assessment
CN106570080A (zh) 一种云制造资源服务多层次语义匹配方法
CN106296425A (zh) 基于带权重联合非负矩阵分解的属性图聚类方法及***
CN104778528A (zh) 利用大数据获取智慧城市评估指标的方法及***
Yun et al. Research on intelligent fault diagnosis of power acquisition based on knowledge graph
CN106161277A (zh) 一种基于本体的并行网络流量分类方法
CN105354234B (zh) 基于深度包检测的网络实时大数据***及大数据分析方法
CN104662842A (zh) 基于网格的流量测量
CN104361261A (zh) 一种基于率模可靠性理论的齿轮泵健康状态评估方法
Ab Kadir et al. Optimal algorithm for shared network communication bandwidth in IoT applications
CN104767744A (zh) 基于协议知识的协议状态机主动推断方法
Chen et al. Integrated evaluation approach for node importance of complex networks based on relative entropy
CN113821538A (zh) 一种基于元数据的流式数据处理***
CN106209783A (zh) 一种基于本体的并行网络流量分类方法
CN106650800A (zh) 基于Storm的马尔可夫等价类模型分布式学习方法
Zhu Survey on ontology mapping
Xu The influence of Alliance innovation network structure upon Enterprise innovation: A case study of China’s energy-saving and environment-protection industry
CN108052587A (zh) 基于决策树的大数据分析方法
Fei et al. Research on Intelligent Construction Technology of Information-driven Power Grid Security Situation Knowledge Graph

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20161123