CN113037628B - 一种服务路径自动发现方法、***及介质 - Google Patents

一种服务路径自动发现方法、***及介质 Download PDF

Info

Publication number
CN113037628B
CN113037628B CN202110236560.7A CN202110236560A CN113037628B CN 113037628 B CN113037628 B CN 113037628B CN 202110236560 A CN202110236560 A CN 202110236560A CN 113037628 B CN113037628 B CN 113037628B
Authority
CN
China
Prior art keywords
service
communication
data packet
network
services
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110236560.7A
Other languages
English (en)
Other versions
CN113037628A (zh
Inventor
陶飞
蔡晓华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Netis Technologies Co ltd
Original Assignee
Shanghai Netis Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Netis Technologies Co ltd filed Critical Shanghai Netis Technologies Co ltd
Priority to CN202110236560.7A priority Critical patent/CN113037628B/zh
Publication of CN113037628A publication Critical patent/CN113037628A/zh
Application granted granted Critical
Publication of CN113037628B publication Critical patent/CN113037628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/30—Routing of multiclass traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/26—Route discovery packet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种服务路径自动发现方法、***及介质，涉及网络流量分析技术领域，该方法包括：步骤A：获取网络数据包，在网络数据包中寻找服务端点；步骤B：寻找所述服务端点后，对所述服务端点进行聚类，找到服务；步骤C：根据所述服务，分析各服务之间的关联关系，并找出相应的服务路径。本发明能够在对流量进行分类的同时，发现服务之间的关系和整体服务路径。

Description

一种服务路径自动发现方法、***及介质
技术领域
本发明涉及网络流量分析技术领域，具体地，涉及一种服务路径自动发现方法、***及介质。
背景技术
网络流量分析是实时监测用户网络七层结构中各层的流量分布，进行协议、流量的综合分析，从而有效的发现、预防网络流量和应用上的瓶颈，为网络性能的优化提供依据。
在网络流量分析领域中，分析大量混杂的流量，从大量混杂的流量中找出服务和服务之间的关系图(服务路径图)是一个常见的任务，而这个任务又是开展下游任务，比如网络性能管理、业务性能管理等等的基础。
针对上述现有技术，本发明存在以下技术问题，在相关技术中存在一些自动化的方法能够对流量进行分类或者聚类，但是这些方法都只仅仅只停留在流量分类上，没有考虑服务之间关系的发现，单独的服务发现无法发现服务之间的关系和整体服务路径图。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种服务路径自动发现方法、***及介质，能够在对流量进行分类的同时，发现服务之间的关系和整体服务路径。
根据本发明提供的一种服务路径自动发现方法及***，所述方案如下：
第一方面，提供了一种服务路径自动发现方法，所述方法包括：
获取网络数据包，在网络数据包中寻找服务端点；
寻找所述服务端点后，对所述服务端点进行聚类，找到服务；
根据所述服务，分析各服务之间的关联关系，并找出相应的服务路径。
优选的，寻找服务端点包括：
解析所述网络数据包，找出所有通讯端点，所述通讯端点包括IP和通讯对端；
统计每个所述通讯端点的通信对端的数目；
针对每个网络通讯对的两个所述通讯端点，将所述通讯对端多的端口标记为所述服务端口；
若所述通讯对端的数目相同时，则将端口号小的通讯端点标记为所述服务端点。
优选的，对服务端点进行聚类，并找寻服务包括：
对于每个所述服务端点，收集与所述服务端点相关的网络流量特征，所述网络流量特征包含端口号、通讯对端集合、接收到的数据包以及发出的数据包；
对网络流量特征进行提取和转换，对所述网络特征的提取包括端口号、流量最多的若干个客户端的IP地址、以及流入数据包和流出数据包的字符统计特征；
合并以上所述特征，并生成一个特征向量；
对所述服务端点的特征向量应用聚类算法，聚类算法输出的每个聚类作为一个服务。
优选的，分析各服务之间的关联关系，找出相应的服务路径包括：
对于每个所述服务，按照时间窗口W计算收到的包数，进而形成流量时间序列；
对于任意两个所述服务，计算出对应的两个所述流量时间序列的相关性，相关性超过阈值T的服务队加入路径候选集合；
将所述服务作为节点，将所述路径候选集合的每一个元素作为边，进而构成服务路径图，最后作出***的输出。
第二方面，提供了一种服务路径自动发现***，所述***包括：
寻找模块，获取网络数据包，在网络数据包中寻找服务端点；
聚类模块，寻找所述服务端点后，对所述服务端点进行聚类，找到服务；
分析模块，根据所述服务，分析各服务之间的关联关系，并找出相应的服务路径。
优选的，所述寻找模块具体包括：
解析所述网络数据包，找出所有通讯端点，所述通讯端点包括IP和通讯对端；
统计每个所述通讯端点的通信对端的数目；
针对每个网络通讯对的两个所述通讯端点，将所述通讯对端多的端口标记为所述服务端口，若所述通讯对端的数目相同时，则将端口号小的通讯端点标记为所述服务端点。
优选的，所述聚类模块具体包括：
对于每个所述服务端点，收集与所述服务端点相关的网络流量特征，所述网络流量特征包含端口号、通讯对端集合、接收到的数据包以及发出的数据包；
对网络流量特征进行提取和转换，对所述网络特征的提取包括端口号、流量最多的若干个客户端的IP地址、以及流入数据包和流出数据包的字符统计特征；
合并以上所述特征，并生成一个特征向量；
对所述服务端点的特征向量应用聚类算法，聚类算法输出的每个聚类作为一个服务。
优选的，所述分析模块具体包括：
对于每个所述服务，按照时间窗口W计算收到的包数，进而形成流量时间序列；
对于任意两个所述服务，计算出对应的两个所述流量时间序列的相关性，相关性超过阈值T的服务队加入路径候选集合；
将所述服务作为节点，将所述路径候选集合的每一个元素作为边，进而构成服务路径图，最后作出***的输出。
与现有技术相比，本发明具有如下的有益效果：
1.根据以上步骤，能够自动化从大量的流量中发现服务，进而进少了人共梳理的成本投入；
2.发现了服务之间的的关系，实现了服务路径，进而有助于对实际的网络拓扑有更好的理解。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一种服务路径自动发现方法的结构示意图；
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明实施例提供了一种服务路径自动发现方法，参照图1所示，首先获取网络数据包，并对获取的网络数据包进行解析，在解析的过程中寻找出所有的通讯端点，所要找出的通讯端点包括有IP以及通讯对端，找出相应的IP和通讯对端之后，需要对通讯对端的数目进行统计。对于每个网络通讯对上的两个通讯端点，将通讯对端多的端口就作为服务端口，并相应标记；如果出现通讯对端数目相同的情况，则可以将端口号进行比较，进而将端口号小的通讯端点作为服务端点，并做好相应的标记。
在网络数据包中寻找服务端点后，需要对服务端点进行聚类，先收集与寻找到的服务端点所相关的网络流量特征，而网络流量特征中包含了端口号、通讯对端集合、接收到的数据包和发出去的数据包。收集到的网络流量特征需要进行提取和转换，而对于网络特征的提取则包括了端口号、流量最多的若干个客户端的IP地址、流入数据包和流出数据包的字符统计特征，比如字符级的TF-IDF值。提取到以上相关信息后，将提取到的以上特征进行合并，并以此生成一个特征向量。最后可对这些服务端点的特征向量应用聚类算法，通过聚类算法的计算，将聚类算法输出的每个聚类作为一个服务，如此便可以实现寻找服务。
找到服务之后，根据服务间的特性，对于每个服务，都按照时间窗口W计算出收到的包数，使得时间窗口W内收到的包数形成流量时间序列，本实施中的W设定为时间窗口的参数，具体来说该参数W可以选择1秒、10秒或者1分钟等。
其次，需要分析出各服务之间的关联关系，对于其中任意的两个服务，得到该任意两个服务所对应的流量时间序列，并计算出两流量时间序列的相关性，其相关性如果超过阈值T的服务队，则可以加入路径候选集合，其中T为设定的阈值参数，为基准数值，进而对服务进行筛选，若相关性未超过阈值T，则不能加入路径候选集合。
最后将各服务作为节点，再将已经确定的路径候选集合的每个元素作为边，进而构成服务路径图，作出***的最终输出，由此已得到所需要的的服务路径。
本发明实施例提供了一种服务路径自动发现方法，通过先寻找服务端点，再对各服务端点进行聚类，进而找出相应的服务，最后再对各服务之间的关联关系进行分析，寻找服务路径。在传统梳理流量成生成流量路径图的过程，需要花费较多的人力和时间，而本发明中提供的自动化方式从大量流量中发现服务，从而减少了人工梳理的成本，同时，能够发现服务之间的关系寻找服务路径，进而有助于理解实际的网络拓扑。
本发明实施例还提供了一种服务路径自动发现***，该***包含寻找模块、聚类模块以及分析模块三大类，其中寻找模块主要用于获取网络数据包，从而能够在网络数据包中去寻找服务端点。在寻找服务端点的过程中，解析所获得的网络数据包，在解析网络数据包的同时，从中找出所有通讯端点，其中通讯端点包括IP和通讯对端，找出通讯端点之后，再对通讯对端的数目进行统计。
每个网络通讯对有两个相应的通讯端点，针对每个网络通讯对中的两个通讯端点，在刚统计完成的通讯对端中，将通讯对端多的端口作为服务端口，并做出相应的标记；当遇到通讯对端的数目出现相同的情形时，则可以将端口号小的通讯端点作为服务端点，并作出相应的标记。
在聚类模块当中，聚类模块主要用于将寻找的服务端点进行聚类，从中找出服务。针对于每个寻找到的服务端点，开始收集与服务端点相关的网络流量特征，本实施例中的网络流量特征包含了端口号、通讯对端集合、接收到的数据包及发出的数据包。收集完成网络流量特征之后，需要对相应的网络流量特征进行提取和转换，其中对网络流量特征的提取包括了端口号、流量最多的若干个客户端的IP地址、以及流入数据包和流出数据包的字符统计特征。将以上提取的网络流量特征进行合并，由此生成一个特征向量，再对生成的特征向量应用聚类算法进行计算，由聚类算法计算得到的聚类，最终会作为服务进行输出。
找到相应的服务之后，需要进行分析，而分析模块就是依据找到的服务，进而对各服务之间的关系进行分析，得到彼此之间的关联关系，进而再寻找相应的服务路径。在分析模块当中，对每个服务我们都需要在设定的时间内计算出收到的包数，我们将W作为时间窗口的参数，而时间窗口W可以任意选择为1秒、10秒或1分钟等，对该选择的时间窗口W内所收到的所有包数进行计算，进而形成流量时间序列。
选择出众多服务当中的任意两个，并计算出与之相对应的两个流量时间序列的相关性，再设定一个基准值作为阈值T，将计算得到的相关性与阈值T做对比，由此可将相关性超过阈值T的服务队加入路径候选集合。最后经各服务作为节点，再将得到的路径候选集合内的每个元素作为边，进而能够构成一幅图，即索要得到的服务路径图，并将其作为***的输出。
本发明实施例提供了一种服务路径自动发现***，通过寻找模块、聚类模块以及分析模块三者，依次实现寻找服务端点、寻找服务、以及分析服务之间的关系并得到服务路径。由此在服务发现的同时能够发现服务的关系及整体路径图，使发现服务变得更加简单，减少了人工投入的成本。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的***及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种服务路径自动发现方法，其特征在于，所述方法包括：
步骤A：获取网络数据包，在网络数据包中寻找服务端点；
步骤B：寻找所述服务端点后，对所述服务端点进行聚类，找到服务；
步骤C：根据所述服务，分析各服务之间的关联关系，并找出相应的服务路径；
步骤B包括：
步骤B-a：对于每个所述服务端点，收集与所述服务端点相关的网络流量特征，所述网络流量特征包含端口号、通讯对端集合、接收到的数据包以及发出的数据包；
步骤B-b：对网络流量特征进行提取和转换，对所述网络流量特征的提取包括端口号、流量最多的若干个客户端的IP地址、以及流入数据包和流出数据包的字符统计特征；
步骤B-c：合并以上所述特征，并生成一个特征向量；
步骤B-d：对所述服务端点的特征向量应用聚类算法，聚类算法输出的每个聚类作为一个服务。
2.根据权利要求1所述的方法，其特征在于，所述步骤A包括：
步骤A-a：解析所述网络数据包，找出所有通讯端点，所述通讯端点包括IP和通讯对端；
步骤A-b：统计每个所述通讯端点的通信对端的数目；
步骤A-c：针对每个网络通讯对的两个所述通讯端点，将所述通讯对端多的端口标记为服务端口；
若所述通讯对端的数目相同时，则将端口号小的通讯端点标记为所述服务端点。
3.根据权利要求1所述的方法，其特征在于，所述步骤C包括：
步骤C-a：对于每个所述服务，按照时间窗口W计算收到的包数，进而形成流量时间序列；
步骤C-b：对于任意两个所述服务，计算出对应的两个所述流量时间序列的相关性，相关性超过阈值T的服务队加入路径候选集合；
步骤C-d：将所述服务作为节点，将所述路径候选集合的每一个元素作为边，进而构成服务路径图，最后作出***的输出。
4.一种服务路径自动发现***，其特征在于，所述***包括：
寻找模块，获取网络数据包，在网络数据包中寻找服务端点；
聚类模块，寻找所述服务端点后，对所述服务端点进行聚类，找到服务；
分析模块，根据所述服务，分析各服务之间的关联关系，并找出相应的服务路径；
所述聚类模块包括：对于每个所述服务端点，收集与所述服务端点相关的网络流量特征，所述网络流量特征包含端口号、通讯对端集合、接收到的数据包以及发出的数据包；
对网络流量特征进行提取和转换，对所述网络流量特征的提取包括端口号、流量最多的若干个客户端的IP地址、以及流入数据包和流出数据包的字符统计特征；
合并以上所述特征，并生成一个特征向量；
对所述服务端点的特征向量应用聚类算法，聚类算法输出的每个聚类作为一个服务。
5.根据权利要求4所述的***，其特征在于，所述寻找模块包括：
解析所述网络数据包，找出所有通讯端点，所述通讯端点包括IP和通讯对端；
统计每个所述通讯端点的通信对端的数目；
针对每个网络通讯对的两个所述通讯端点，将所述通讯对端多的端口标记为所述服务端口；
若所述通讯对端的数目相同时，则将端口号小的通讯端点标记为服务端点。
6.根据权利要求4所述的***，其特征在于，所述分析模块包括：
对于每个所述服务，按照时间窗口W计算收到的包数，进而形成流量时间序列；
对于任意两个所述服务，计算出对应的两个所述流量时间序列的相关性，相关性超过阈值T的服务队加入路径候选集合；
将所述服务作为节点，将所述路径候选集合的每一个元素作为边，进而构成服务路径图，最后作出***的输出。
7.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。
CN202110236560.7A 2021-03-03 2021-03-03 一种服务路径自动发现方法、***及介质 Active CN113037628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110236560.7A CN113037628B (zh) 2021-03-03 2021-03-03 一种服务路径自动发现方法、***及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110236560.7A CN113037628B (zh) 2021-03-03 2021-03-03 一种服务路径自动发现方法、***及介质

Publications (2)

Publication Number Publication Date
CN113037628A CN113037628A (zh) 2021-06-25
CN113037628B true CN113037628B (zh) 2022-11-22

Family

ID=76466498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110236560.7A Active CN113037628B (zh) 2021-03-03 2021-03-03 一种服务路径自动发现方法、***及介质

Country Status (1)

Country Link
CN (1) CN113037628B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833279A (zh) * 2018-05-08 2018-11-16 西安交通大学 软件定义网络中基于业务分类的多约束QoS路由的方法
CN108880857A (zh) * 2015-08-24 2018-11-23 上海天旦网络科技发展有限公司 发现与呈现网络应用访问信息的方法和***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103338150B (zh) * 2013-07-19 2016-06-15 中国人民解放军信息工程大学 信息通信网络体系结构建立方法、装置、服务器和路由器
US9413634B2 (en) * 2014-01-10 2016-08-09 Juniper Networks, Inc. Dynamic end-to-end network path setup across multiple network layers with network service chaining
US9344337B2 (en) * 2014-03-13 2016-05-17 Cisco Technology, Inc. Service node originated service chains in a network environment
CN105207804B (zh) * 2015-08-18 2018-08-10 昆明理工大学 一种针对服务路径稳定性的实时评价方法
CN106130899B (zh) * 2016-07-14 2019-09-13 华为技术有限公司 一种生成业务路径的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108880857A (zh) * 2015-08-24 2018-11-23 上海天旦网络科技发展有限公司 发现与呈现网络应用访问信息的方法和***
CN108833279A (zh) * 2018-05-08 2018-11-16 西安交通大学 软件定义网络中基于业务分类的多约束QoS路由的方法

Also Published As

Publication number Publication date
CN113037628A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
Dong et al. Novel feature selection and classification of Internet video traffic based on a hierarchical scheme
CN110445653B (zh) 网络状态预测方法、装置、设备及介质
US9729571B1 (en) System, method, and computer program for detecting and measuring changes in network behavior of communication networks utilizing real-time clustering algorithms
Da Silva et al. Identification and selection of flow features for accurate traffic classification in SDN
CA2623315C (en) Communication link interception using link fingerprint analysis
CN111953669B (zh) 适用于SDN的Tor流量溯源与应用类型识别方法和***
US11863439B2 (en) Method, apparatus and storage medium for application identification
US20150188879A1 (en) Apparatus for grouping servers, a method for grouping servers and a recording medium
CN113328985B (zh) 一种被动物联网设备识别方法、***、介质及设备
CN108028807B (zh) 用于在线自动识别网络流量模型的方法和***
CN114401516B (zh) 一种基于虚拟网络流量分析的5g切片网络异常检测方法
Liu et al. Dynamic traffic classification algorithm and simulation of energy Internet of things based on machine learning
CN113037628B (zh) 一种服务路径自动发现方法、***及介质
Fernandes et al. A stratified traffic sampling methodology for seeing the big picture
Kardes et al. Graph based induction of unresponsive routers in internet topologies
CN112383488A (zh) 一种适用于加密与非加密数据流的内容识别方法
Cheng et al. Development of deep packet inspection system for network traffic analysis and intrusion detection
CN113726809B (zh) 基于流量数据的物联网设备识别方法
CN111953552A (zh) 数据流的分类方法和报文转发设备
CN110912906B (zh) 一种边缘计算恶意节点识别方法
CN114666282A (zh) 一种基于机器学习的5g流量识别方法及装置
Koksal et al. Markov model based traffic classification with multiple features
Boussaoud et al. Performance evaluation of supervised ml algorithms for elephant flow detection in sdn
Kim et al. A Machine Learning Approach to Peer Connectivity Estimation for Reliable Blockchain Networking
Polverini et al. From raw data packets to ingress egress traffic matrix: The distributed MapReduce-based solution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant