CN116346653A - 一种基于vpp的云间互联可观测性***及其方法 - Google Patents
一种基于vpp的云间互联可观测性***及其方法 Download PDFInfo
- Publication number
- CN116346653A CN116346653A CN202211682221.2A CN202211682221A CN116346653A CN 116346653 A CN116346653 A CN 116346653A CN 202211682221 A CN202211682221 A CN 202211682221A CN 116346653 A CN116346653 A CN 116346653A
- Authority
- CN
- China
- Prior art keywords
- network
- vpp
- module
- data
- observability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000004891 communication Methods 0.000 claims abstract description 24
- 238000012544 monitoring process Methods 0.000 claims abstract description 14
- 238000005070 sampling Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
- H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0823—Errors, e.g. transmission errors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
- H04L43/0894—Packet rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Mining & Analysis (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及网络通信领域，具体涉及云计算VPP的优化设计。本发明通过以下技术方案得以实现的：一种基于VPP的云间互联可观测性***，包含网络***，所述网络***包含VPP和多个网口，所述VPP的网络统计数据从每个所述网口处获取；该种可观测性***还包含监控操作***，所述监控操作***包含控制模块和在所述控制模块的控制下与所述VPP通信的通信模块。本发明的目的是提供一种基于VPP的云间互联可观测性***及其方法，能在对云计算***网络流量数据观测的过程中能查看到实时数据，即时性好，且流量数据精准，误差小。
Description
技术领域
本发明涉及网络通信领域，具体涉及云计算VPP的优化设计。
背景技术
随着网络的发展，社交网络、电子商务、数字城市和在线视频等跃然兴起。这些新兴的技术需要有大存储和高性能服务器的支持，但是对这种服务器的维护需要大量的人力和昂贵的物力。为了解决这一问题，云计算得到了创立和发展。云计算作为信息产业的一个重大创新，已经越来越多的收到社会和学术各界的认同和广泛关注。
云计算领域通过多年的技术沉淀以及IT、通信基础设施建设的稳步推进，业务需求迎来了爆发式的增长。业务量的增加也给原来的云间互联网络通信设备带来了新的挑战，其面临性能问题的同时，也面临着如何进行网络性能分析、网络问题定位及故障排查、网络拓扑扩展等。
为了对云计算***在运行过程中的状态进行观察，较多厂商使用了VPP方案。VPP是一个开源、高性能网络通信软件。如公开号为CN202010010410.X的中国专利文件公开了一种基于深度强化学习的能源互联网中虚拟电厂经济调度方法，该技术方案所依赖的***为三层计算结构，前两层均为边缘计算层，第三层为云计算层，还包含VPP，对该***运行过程的数据进行统计。再如公开号为CN202011573194.6 的中国专利文件公开了一种基于云场景的网关***及网关通信方法，其包含SDN控制器、FRR协议栈和矢量数据包处理框架VPP。其中，VPP作为管理与监控模块，运行在各节点中。
然而，虽然VPP作为一个适用于云计算***的高性能网络通信软件，其实用高效，性能能满足大部分业务场景，但在运维管理上依然存在着不足。具体来说，一方面，在现有技术中，其对数据的统计过程中，尤其是网络流量统计过程，数据误差度高，精准度欠佳。另一方面，VPP统计的数据为时间点的累计值，缺乏实时性。
发明内容
本发明的目的是提供一种基于VPP的云间互联可观测性***及其方法，能在对云计算***网络流量数据观测的过程中能查看到实时数据，即时性好，且流量数据精准，误差小。
本发明的上述技术目的是通过以下技术方案得以实现的：一种基于VPP的云间互联可观测性***，包含网络***，所述网络***包含VPP和多个网口，
所述VPP的网络统计数据从每个所述网口处获取；
该种可观测性***还包含监控操作***，所述监控操作***包含控制模块和在所述控制模块的控制下与所述VPP通信的通信模块；
所述控制模块包含:
数据获取模块，所述数据获取模块用于在采样时段起点t1和采样时间段末点t2向所述VPP索取网络统计数据；
计时模块，用于记录t1和t2的时间；
计算模块，根据t1时刻采样到的网络统计数据、t2时刻采样到的网络统计数据，计算得到采样时间段的网络实时数据。
作为本发明的优选，所述通信模块为vppctl插件。
作为本发明的优选，所述控制模块还包含计时判断模块，所述计时判断模块用于判断自t1开始后，经过的时间是否大于预设的最小间隔值，若大于，则允许所述数据获取模块项所述VPP索取采样时间段末点t2的网络统计数据。
作为本发明的优选，所述网络统计数据包含网口收包数、收包字节数、发包数、发包字节数。
作为本发明的优选，所述网络统计数据还包含收包错误统计和发包错误统计。
作为本发明的优选，还包含中心WEB显示器，所述操作***还包含上传模块，所述上传模块用于将所述计算模块计算得到采样时间段的所述网络实时数据上传给所述中心WEB显示器。
作为本发明的优选，所述网络***有多个，每个所述网络***均独自配置有一个所述操作***，两个网络***之间的通信依靠数据链路完成，每个所述操作***包含一个用于检测数据链路网络连接状态的链路检测模块。
作为本发明的优选，所述上传模块用于将所述链路检测模块得到的数据链路网络连接状态的数据发送给所述中心WEB显示器。
一种基于VPP的云间互联可观测性***的使用方法，包含如下步骤：
S01、初次取数步骤；
所述数据获取模块通过通信模块，获得VPP的所述网络统计数据D1，所述计时模块记录下此时的时间t1；
S02、再次取数步骤；
所述数据获取模块再次通过通信模块，获得VPP的所述网络统计数据D2，所述计时模块记录下此时的时间t2；
S03、计算步骤；
所述计算模块基于D2和D1的差值，得到在t1到t2这段时间间隔内的网络实时数据。
作为本发明的优选，还包含S04、实时显示步骤；
所述操作***包含上传模块，在本步骤中，所述网络实时数据被所述上传模块上传给中心WEB显示器，并在所述中心WEB显示器上实时显示。
作为本发明的优选，在所述S02中，所述控制模块对当前时间进行判断，当前时间是否大于t1+预设的时间间隔，若大于，则允许去获得VPP的所述网络统计数据D2，若不大于，则继续等待。
作为本发明的优选，所述网络统计数据包含网口收包数、收包字节数、发包数、发包字节数。
综上所述，本发明具有如下有益效果：
1、所有的数据取自于网口，而非协议栈软件层面，使得网络统计数据的统计基础可信度高，误差小。
2、由于二次取数和计算的设计构思存在，使得网络实时数据是一个采样时间段内的即时数据的反映，而非是现有技术中的累计值。
3、通信模块选用了VPPCTL插件，该插件使用便利，对资源部署的要求少，容易实现。
4、链路检测模块获取链路的实时连接状态和链路的实时收发包速率，使得用户可以非常便捷地察看各个数据链路的健康度。
附图说明：
图1是实施例1的***架构的示意图；
图2是图1中的控制模块的架构示意图；
图3是实施例1的流程示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。
实施例1，一种基于VPP的云间互联可观测性***及其方法，该种***的架构如图1所示，其可以被视为三大组成部分，分别是监控操作***、网络***和中心WEB显示器。需要说明的是，网络***为多个，（图中为画出多个，图1中只绘制了一个网络***，每个网络***的架构相同。）监控操作***同样也为多个，每一个网络***对应一个单独的监控操作***。而多个监控操作***和多个网络***和多个监控操作***对应一个中心WEB显示器。
网络***与现有技术中的网络***一样，没有任何改变，网络***是一个硬件软件结合的逻辑概念。其在硬件上，往往包含服务器，在软件上，其安装了诸多网络服务和网络协议。网络***中包含多个网口，如图1中显示了网口1、网口2、网口3，网口的具体数量依据网络***的规模而定。VPP也安装在网络***中，其工作方式与现有技术中的VPP相同，唯一的区别是，VPP对网络统计数据的获取位置不同。
在现有技术中VPP对网络统计数据的获取方式往往是通过统计在协议栈软件上的收发包。然而，这存在着误差大，精度低的问题。这是由于在协议栈软件层面可能由于网络环境产生的收发包丢失，也有可能代码变动从而引起统计错误。而在本案中，VPP对网络统计数据的获取是直接从每个网口处获得。这就避免了上文描述的情况引起的错误，使得网络统计数据的统计基础可信度高，误差小。
具体的，网络***可使用VPP+DPDK架构，网口被DPDK接管，DPDK也提供了相关的API接口（如rte_eth_stats_get）获取网口的网络统计数据。网络统计数据可包含以下类型的数据：网口收包数、收包字节数、发包数、发包字节数、收包错误统计和发包错误统计。
而监控操作***可以是安装在某个服务器上的一个监控APP，其包含通信模块、控制模块和上传模块。通信模块可以采用VPPCTL插件，可便捷地与VPP通讯连接。上传模块则用于将部分需要展示的数据上传到中心WEB显示器。
控制模块是本发明的重点模块，技术方案的实现主要依赖控制模块。其如图2所示，包含数据获取模块、计时模块、计算模块和计时判断模块。其工作流程与方法如图3所示：
S01、初次取数步骤。
此时数据获取模块调用vppctl与VPP通信，第一次从物理网口处获得网络统计数据D1。计时模块记录下此时的时间，为t1。
S02、再次取数步骤。
在正式再次取数之前，计时判断模块对当前的时间进行判断。判断当前的时间是否大于t1+预设的时间间隔，例如20秒钟。例如已经大于，则进行再次取数。若不然，则继续等待。
再次取数与S01一样，数据获取模块调用vppctl与VPP通信，第二次从物理网口处获得网络统计数据D2。计时模块记录下此时的时间，为t2。
S03、计算步骤。
计算模块基于D2和D1的差值，得到在t1到t2这段时间间隔内的网络实时数据。
S04、实时显示步骤；
在上一步骤中被计算得到的网络实时数据，被上传模块上传给中心WEB显示器，并在所述中心WEB显示器上实时显示。
综上所述，基于该技术方案，一方面，所有的数据取自于网口，而非协议栈软件层面，使得网络统计数据的统计基础可信度高，误差小。另一方面，由于二次取数和计算的设计构思存在，使得网络实时数据是一个采样时间段内的即时数据的反映，而非是现有技术中的累计值。
此外，由于通信模块选用了VPPCTL插件，该插件使用便利，对资源部署的要求少，容易实现。
实施例2，与实施例1的区别是在其基础上多了云间互联的观测功能。具体的，如上文所述，存在多个网络***，每个网络***都单独配置有一个监控操作***。不同的网络***之间依靠数据链路来实现通信。每个操作***包含一个用于检测数据链路网络连接状态的链路检测模块。
在本实施例中，通信模块同样采用VPPCTL插件，链路检测模块调用VPPCTL插件的PING命令，根据ping的返回结果获取链路的实时连接状态；链路检测模块调用VPPCTL插件的show ip fib命令，根据该命令的返回结果获取链路的实时收发包速率。上传模块将链路的实时连接状态和链路的实时收发包速率发送给中心WEB显示器，使得用户可以非常便捷地察看各个数据链路的健康度。
Claims (12)
1.一种基于VPP的云间互联可观测性***，包含网络***，所述网络***包含VPP和多个网口，其特征在于： 所述VPP的网络统计数据从每个所述网口处获取； 该种可观测性***还包含监控操作***，所述监控操作***包含控制模块和在所述控制模块的控制下与所述VPP通信的通信模块； 所述控制模块包含: 数据获取模块，所述数据获取模块用于在采样时段起点t1和采样时间段末点t2向所述VPP索取网络统计数据； 计时模块，用于记录t1和t2的时间； 计算模块，根据t1时刻采样到的网络统计数据、t2时刻采样到的网络统计数据，计算得到采样时间段的网络实时数据。
2.根据权利要求1所述的一种基于VPP的云间互联可观测性***，其特征在于： 所述通信模块为vppctl插件。
3.根据权利要求1所述的一种基于VPP的云间互联可观测性***，其特征在于：所述控制模块还包含计时判断模块，所述计时判断模块用于判断自t1开始后，经过的时间是否大于预设的最小间隔值，若大于，则允许所述数据获取模块项所述VPP索取采样时间段末点t2的网络统计数据。
4.根据权利要求1所述的一种基于VPP的云间互联可观测性***，其特征在于：所述网络统计数据包含网口收包数、收包字节数、发包数和发包字节数。
5.根据权利要求4所述的一种基于VPP的云间互联可观测性***，其特征在于：所述网络统计数据还包含收包错误统计和发包错误统计。
6.根据权利要求1所述的一种基于VPP的云间互联可观测性***，其特征在于：还包含中心WEB显示器，所述操作***还包含上传模块，所述上传模块用于将所述计算模块计算得到采样时间段的所述网络实时数据上传给所述中心WEB显示器。
7.根据权利要求6所述的一种基于VPP的云间互联可观测性***，其特征在于：所述网络***有多个，每个所述网络***均独自配置有一个所述操作***，两个网络***之间的通信依靠数据链路完成，每个所述操作***包含一个用于检测数据链路网络连接状态的链路检测模块。
8.根据权利要求7所述的一种基于VPP的云间互联可观测性***，其特征在于：所述上传模块用于将所述链路检测模块得到的数据链路网络连接状态的数据发送给所述中心WEB显示器。
9. 一种根据权利要求1所述的基于VPP的云间互联可观测性***的使用方法，其特征在于，包含如下步骤： S01、初次取数步骤； 所述数据获取模块通过通信模块，获得VPP的所述网络统计数据D1，所述计时模块记录下此时的时间t1； S02、再次取数步骤； 所述数据获取模块再次通过通信模块，获得VPP的所述网络统计数据D2，所述计时模块记录下此时的时间t2； S03、计算步骤； 所述计算模块基于D2和D1的差值，得到在t1到t2这段时间间隔内的网络实时数据。
10. 根据权利要求9所述的一种基于VPP的云间互联可观测性***的使用方法，其特征在于：还包含S04、实时显示步骤； 所述操作***包含上传模块，在本步骤中，所述网络实时数据被所述上传模块上传给中心WEB显示器，并在所述中心WEB显示器上实时显示。
11.根据权利要求9所述的一种基于VPP的云间互联可观测性***的使用方法，其特征在于：在所述S02中，所述控制模块对当前时间进行判断，当前时间是否大于t1+预设的时间间隔，若大于，则允许去获得VPP的所述网络统计数据D2，若不大于，则继续等待。
12.根据权利要求9所述的一种基于VPP的云间互联可观测性***的使用方法，其特征在于：所述网络统计数据包含网口收包数、收包字节数、发包数、发包字节数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211682221.2A CN116346653A (zh) | 2022-12-27 | 2022-12-27 | 一种基于vpp的云间互联可观测性***及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211682221.2A CN116346653A (zh) | 2022-12-27 | 2022-12-27 | 一种基于vpp的云间互联可观测性***及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116346653A true CN116346653A (zh) | 2023-06-27 |
Family
ID=86881052
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211682221.2A Pending CN116346653A (zh) | 2022-12-27 | 2022-12-27 | 一种基于vpp的云间互联可观测性***及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116346653A (zh) |
-
2022
- 2022-12-27 CN CN202211682221.2A patent/CN116346653A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7561559B2 (en) | Hardware time stamping and processor synchronization | |
| US5600632A (en) | Methods and apparatus for performance monitoring using synchronized network analyzers | |
| CN101917304B (zh) | 基于端对端测量对网络上数据流准入的控制 | |
| EP2903213B1 (en) | Throughput test method and apparatus | |
| US20080168177A1 (en) | Estimation of web client response time | |
| US20060045019A1 (en) | Network testing agent with integrated microkernel operating system | |
| CN103299583A (zh) | 测量源于单个端点的ip路径的可用容量和紧链路容量的***和方法 | |
| CN107579869B (zh) | 网络性能检测方法和网络设备 | |
| JP2009303089A (ja) | 遅延時間計測装置、遅延時間計測プログラム、および遅延時間計測方法 | |
| EP3295612B1 (en) | Uplink performance management | |
| US20100128770A1 (en) | Measuring Delay in a Network Segment and/or through a Network Communications Device | |
| CN105827476A (zh) | 高速PING实现方法和Ping测试方法 | |
| US6970429B2 (en) | Method and apparatus for measuring internet router traffic | |
| WO2020135429A1 (zh) | 流量的分析、检测方法及装置 | |
| CN111934936A (zh) | 网络状态检测方法、装置、电子设备及存储介质 | |
| CN108199913B (zh) | 一种实现时延测试的方法及设备 | |
| CN112134750B (zh) | 网络时间协议压力测试方法和装置 | |
| CN110838949A (zh) | 一种网络流量日志记录方法及装置 | |
| US11611612B2 (en) | Link quality measurements and link status detection | |
| CN116346653A (zh) | 一种基于vpp的云间互联可观测性***及其方法 | |
| US8289868B2 (en) | Network device and method of measuring upstream bandwidth employed thereby | |
| CN109120479B (zh) | 一种基于网络报文格式的网络吞吐量测试方法 | |
| US20050102391A1 (en) | Method and apparatus providing an asymmetric ping procedure | |
| CN116016282A (zh) | 时延测量方法及装置、计算机设备、存储介质 | |
| CN115514682A (zh) | 一种数据传输方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |