CN112799906A - 一种云主机宽带统计方法 - Google Patents

一种云主机宽带统计方法 Download PDF

Info

Publication number
CN112799906A
CN112799906A CN202110078589.7A CN202110078589A CN112799906A CN 112799906 A CN112799906 A CN 112799906A CN 202110078589 A CN202110078589 A CN 202110078589A CN 112799906 A CN112799906 A CN 112799906A
Authority
CN
China
Prior art keywords
plug
data
cloud
statistical method
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110078589.7A
Other languages
English (en)
Inventor
张微
程文宏
王俊杰
赵明阳
刘和平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Longyuntianxia Technology Co ltd
Original Assignee
Beijing Longyuntianxia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Longyuntianxia Technology Co ltd filed Critical Beijing Longyuntianxia Technology Co ltd
Priority to CN202110078589.7A priority Critical patent/CN112799906A/zh
Publication of CN112799906A publication Critical patent/CN112799906A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
    • G06F9/44526—Plug-ins; Add-ons

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了云主机宽带统计方法，数据监控可以通过自行研发或寻找第三方开源的服务监控***来实现，本发明通过插件抽象指标概念，设置监听发现方法，计算分析数据，上传和存储数据，从而实现数据统一监控，提供维护效率，降低维护成本。

Description

一种云主机宽带统计方法
技术领域
本发明涉及计算机技术领域，具体涉及一种云主机宽带统计方法。
背景技术
随着云技术的飞速发展，平台资源的多样化，为保证平台项目的稳定性，各资源必须跟踪监控自己关心的资源指标，此时可能自行研发或者寻找第三方开源针对各自资源指标的服务监控***。但不管是自行研发还是开源***，都很难保证所有功能指标的需求，同时也带来了资源和人力方面的浪费，提高了维护成本。本发明引进插件，对性能数据进行监控，最主要的是可自行配置发现规则，实现资源指标的统一管理和监控，从而大大降低人力、物力的投入，降低维护成本，提高维护效率。
互联网在全球快速发展和普及，互联网成为人们日常生活中不可获取的通信工具，以前使用的SNMP，RMON等监控技术只提供了统计流量的方法，难以满足更高层的流量统计功能。本发明将使用SPAN或者netflow的方式对采集的流量进行分析数据，分析和统计数据传输中的5元组，进行汇总传输的各个终端和IP的流量和协议，并动态的结合ASN号进行汇总各ASN号的流量情况，更详细和细致的分析汇总通过的流量和构成。
发明内容
针对现有技术中的不足，本发明的主要目的在于满足资源的性能监控需求，旨在提高平台稳定性和维护效率。为实现上述目的，本发明提供一种云主机宽带统计方法本发明引入插件，对性能数据进行监控和收集管理。
一种云主机宽带统计方法，所述方法步骤如下：
步骤S1，建立抽象指标；
步骤S2，编写插件收集关心的指标；
步骤S3，上传插件云监控插件商城；所述插件商城即为插件云存储器，用于存放历史各个插件版本以及配置的一些规则，如图1所示：守护进程会在插件商城下载插件和规则，这些插件就会按规则去搜集我们要的指标。
步骤S4，基于插件性能的数据监控。
所述步骤S1中所述抽象指标包括指标集、指标器、指标项、维度和命名空间；其中，所述指标集为多个指标器集合；所述指标器是由多种指标项组合而成；所述指标项是指标最小单位，为相同类型的集合；所述维度是通过不同维度快速查询指标项；所述命名空间是由指标集和指标器组合而成。
所述步骤S2中编写插件收集关心的指标，具体是指在插件上编写各资源数据收集所关心的指标，通过云监控平台提供的接口(http/udp)传输数据，收集的数据和时间频率可自定义。
所述步骤S3中上传插件至云监控插件商城，所述插件版本由各资源自行设置，并设置发现规则，由守护进程(rd-agent)进行监控。
本申请中所述资源，是指产品资源，例如云主机、弹性IP、全球加速IP、云硬盘、共享带宽包、高速通道等，这些都统称为资源。每个资源产品关心的资源指标不一样。比如，云主机资源更关心的是cpu、内存等使用率；弹性IP资源更关心出入带宽、出入流量；云硬盘资源关心的则是IO吞吐的指标。
所述步骤S4基于插件性能的数据监控步骤如下：
步骤S4-1，守护进程；
步骤S4-2，建立插件存储模块；
步骤S4-3，缓存队列；
步骤S4-4，计算分析；
步骤S4-5，时序分析。
所述步骤S4-1守护进程，插件所监控的主机均会部署rd-agent守护进程，该进程在指定的时间间隔内默认自动收集资源的基础信息，如果该资源配置了对应的插件发现规则，则触发自动从插件商城下载并运行，并把插件计算分析后的指标数据通过本地udp通道或者http通道传输至云监控平台存储，同时将基础数据存入本地缓存。
所述步骤S4-2建立插件存储模块，所述插件存储模块用于存放各资源所需插件的历史版本和配置的发现规则，每个资源所需的插件版本和配置存在差异。
所述步骤S4-3缓存队列，主机安装rd-agent后，启动udp/http传输通道，任何插件都可通过该通道传输数据；设置本地缓存，用于防止与服务端通讯失败，导致服务端数据丢失，则本地缓存可待通讯恢复，将缓存数据再次传输至服务端，保证数据的完整性。
所述步骤S4-4计算分析，守护进程间隔5秒钟对基础信息的收集，本地缓存数据，同时触发下载插件并运行，通过udp/http通道将数据上传至云监控平台；插件对本地缓存的数据，每间隔1分钟对数据进行处理，具体数据处理方式如下：
守护进程每5秒钟监控数据并缓存，则1分钟有12个数据点，插件在指定时间间隔内对这12个数据点进行排序，去除前2个数据点后取平均值为这一分钟的网络带宽，这样的目的是为了避免由于突发原因导致瞬间带宽过大，导致单位时间内的平均带宽异常而采取削峰的方式。
所述步骤S4-5时序分析，数据通过接口分析，上传至云监控平台上进行缓存并持久化到时序数据库，最终展示到数据大盘，可支持包括influxdb、opentsdb在内的多种时序数据库。
同时，本申请还提出一种可在根据SPAN或则netflow采集的数据进行分析，分析统计传输经过的终端IP的流量通信情况，并结合ASN号等信息汇总出各ASN号的流量情况。
一种可使用SPAN或者netflow进行分析并汇总的方法，配置和分析汇总的方法步骤如下：
配置路由器或者交换机
配置路由器或者交换机SPAN或者netflow引流到采集服务器上。设置好SPAN，或者netflow采样比等配置。
配置采集分析服务器
通过配置采集分析服务器，实现对应的分析汇总操作，比如：数据分析，流量汇总，ASN流量关联等。
动态ASN库
根据互联网ASN号动态关联更新库上，实现IP和ASN号动态关联。应当理解，此处所述的具体实施方案仅仅用以解释本发明，并不用于限定本发明。
1.数据库设计
(1)设计采集设备源表
主要用于添加采集设备源的记录表。采集设备源表关键字段为：设备Id，采集源设备名称，采集源设备所在区域，采集源设备型号，采集源设备IP，采集源设备采集方式，采集源设备端口号等。
(2)设计ASN表
主要用于动态同步互联网上使用的ASN号表。关键字段为：ASN号id、ASN号、所属公司，所在区域，IP地址段。
(3)设计采集流量表
主要用于流量采集数据的入库。关键字段为：采集时间，采集源设备名称，源ip，目标ip，ASN号，源端口，目标端口，协议，进流量，出流量等。
2.采集、分析、汇总、展示过程。
(1)使用路由器或者交换机，设置流量输出方式：
a、SPAN：指定设置到对应的端口，
b、netflow：对应的目标IP上，并设定号对的端口号。
(2)设置好采集服务器或采集服务器群，部署好采集方式为SPAN或者netflow，进行采集从路由器或交换机发送过来的流量，进行分析，采集入库；
(3)和互联网上动态asn及IP库进行关联，进行汇总采集到的数据进行入库；
使用图形界面的方式展现出采集的IP的流量情况，并也可以根据asn号进行汇总展现出实时、历史流量情况。
在转发平面，为得到目标ip所对应的隧道外层ip，需经NHRP HUB请求与回复后，可得知目标物理ip
拓扑图如下：
Figure BDA0002907641120000051
Figure BDA0002907641120000061
Figure BDA0002907641120000071
Figure BDA0002907641120000081
Figure BDA0002907641120000091
Figure BDA0002907641120000101
Figure BDA0002907641120000111
Figure BDA0002907641120000121
Figure BDA0002907641120000131
Figure BDA0002907641120000141
Figure BDA0002907641120000151
Figure BDA0002907641120000161
Figure BDA0002907641120000171
Figure BDA0002907641120000181
Figure BDA0002907641120000191
Figure BDA0002907641120000201
Figure BDA0002907641120000211
Figure BDA0002907641120000221
重点说明，hub上的以下三条命令，是spoke1直接与spoke2建立隧道的关键，否则流量会经过HUB
当然hub的所有接口send_redirects默认都是1的(sysctl-a|grep send_redirects)nhrp nflog-group 1
ip nhrp redirect
iptables-A FORWARD-i gre1-o gre1\-m hashlimit--hashlimit-upto 4/minute--hashlimit-burst 1\--hashlimit-mode srcip，dstip--hashlimit-srcmask16--hashlimit-dstmask 16\--hashlimit-name loglimit-0-j NFLOG--nflog-group 1--nflog-range 128
有益效果
该解决方案基于插件，对多个资源的性能数据监控实行差异化配置，最终实现性能数据监控的统一和标准化管理；同时，利用本地缓存机制，防止因通讯失败导致的数据丢失，保证了数据的完整性。解决了不同资源的不同需求，减少了重复开发和人力资源的浪费，降低维护成本，提高维护效率。
基于插件的方式对主机的性能数据进行监控，不止用于主机网络带宽的监控，也适用于其他资源，如硬盘、IP等。利用插件的可配置性，对不同资源的差异化处理，满足了不同资源的需求，对数据进行统一监控，标准化；减少重复开发，降低人力资源的浪费和维护成本，提高维护效率。
该方案在不干扰正常网络结构的情况下面，旁路或者远程netflow的方式进行发送数据，并通过采集服务器群进行分析汇总。通过该方案，我们可以进行采集、分析、和ASN进行动态汇总，可以更好、更直观的展现各ASN号对应的IP的流量情况，更好为我们提供数据分析和业务调整提供数据支撑。产出效益主要体现在用户在需要跟进ASN汇总流量时，可以更加方便的展示网络内的IP、IP段、IP段关联的ASN号的流量情况，更好的让用户可以跟进这些流量情况进行网络优化、增加和调整网络情况，更好的提供更高质量的网络，也可以节省时间专注于业务，让流量有数据可查和追溯。
附图说明
图1方法流程图；
图2基于插件性能数据监控的流程图；
图3网络结构图；
图4拓扑图。
具体实施方式
实施例一：基于本方案的云主机带宽统计方法具体实施说明
1、建立抽象指标
A、指标集
指标集名称：基础监控采集
B、指标器
指标器名称：DescribeEipMonitorData
指标器描述：弹性公网IP的监控采集
C、指标项
Figure BDA0002907641120000231
Figure BDA0002907641120000241
D、维度
暂不设置
E、命名空间
eipMonitor，插件收集的数据文件将会默认保存在“/data/eipMonitor/”路径下。
2、编写插件收集关心的指标
编写插件，采集以上指标，并设置采集的数据格式以及采集频率，例如每60s采集一次还是300s采集一次，当然也可以是其他采集频率，视具体的业务而定。
3、将编写好的插件，设置唯一的版本以及发现规则(关心的指标)的信息后，上传至插件商城。
4、基于插件性能的数据监控
守护进程下载该插件后，会根据所配置的发现规则采集所在云主机的数据。
至此，带宽的基础数据统计完成，之后便是对采集的基础数据分析与处理，这就是后话了，这里不一一具体列举。
最后应说明的是：显然，上述实施例仅仅是为清楚地说明本申请所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本申请型的保护范围之中。

Claims (10)

1.一种云主机宽带统计方法，其特征在于，所述方法步骤如下：
步骤S1，建立抽象指标；
步骤S2，编写插件收集关心的指标；
步骤S3，上传插件至云监控插件商城；
步骤S4，基于插件性能的数据监控。
2.根据权利要求1所述的一种云主机宽带统计方法，其特征在于，步骤S1中所述抽象指标包括指标集、指标器、指标项、维度和命名空间；其中，所述指标集为多个指标器集合；所述指标器是由多种指标项组合而成；
所述指标项是指标最小单位，为相同类型的集合；所述维度是通过不同维度快速查询指标项；所述命名空间是由指标集和指标器组合而成。
3.根据权利要求1所述的一种云主机宽带统计方法，其特征在于：步骤S2中编写插件收集关心的指标，具体是指在插件上编写各资源数据收集所关心的指标，通过云监控平台提供的接口即http/udp传输数据，收集的数据和时间频率可自定义。
4.根据权利要求1所述的一种云主机宽带统计方法，其特征在于，步骤S3中上传插件至云监控插件商城，所述插件版本由各资源自行设置，并设置插件发现规则，由守护进程(rd-agent)进行监控。
5.根据权利要求1所述的一种云主机宽带统计方法，其特征在于，步骤S4基于插件性能的数据监控步骤如下：
步骤S4-1，守护进程：
步骤S4-2，建立插件存储模块；
步骤S4-3，缓存队列；
步骤S4-4，计算分析；
步骤S4-5，时序分析。
6.根据权利要求5所述的一种云主机宽带统计方法，其特征在于：所述步骤S4-1守护进程，插件所监控的主机均会部署rd-agent守护进程，该进程在指定的时间间隔内默认自动收集资源的基础信息，如果该资源配置了对应的插件发现规则，则触发自动从插件商城下载并运行，并把插件计算分析后的指标数据通过本地udp通道或者http通道传输至云监控平台存储，同时将基础数据存入本地缓存。
7.根据权利要求5所述的一种云主机宽带统计方法，其特征在于：步骤S4-2建立插件存储模块，所述插件存储模块用于存放各资源所需插件的历史版本和配置的插件发现规则，每个资源所需的插件版本和配置存在差异。
8.根据权利要求5所述的一种云主机宽带统计方法，其特征在于：所述步骤S4-3缓存队列，主机安装rd-agent后，启动udp和/或http传输通道，任何插件都可通过该通道传输数据；设置本地缓存，用于防止与服务端通讯失败，导致服务端数据丢失；本地缓存可待通讯恢复，将缓存数据再次传输至服务端，保证数据的完整性。
9.根据权利要求5所述的一种云主机宽带统计方法，其特征在于：所述步骤S4-4计算分析，守护进程间隔5秒钟对基础信息的收集，本地缓存数据，同时触发下载插件并运行，通过udp和/或http通道将数据上传至云监控平台；插件对本地缓存的数据，每间隔1分钟对数据进行处理，具体数据处理方式如下：
守护进程每5秒钟监控数据并缓存，则1分钟有12个数据点，插件在指定时间间隔内对这12个数据点进行排序，去除前2个数据点后取平均值为这一分钟的网络带宽，这样的目的是为了避免由于突发原因导致瞬间带宽过大，导致单位时间内的平均带宽异常而采取削峰的方式。
10.根据权利要求5所述的一种云主机宽带统计方法，其特征在于：所述步骤S4-5时序分析，数据通过接口分析，上传至云监控平台上进行缓存并持久化到时序数据库，最终展示到数据大盘，可支持包括influxdb、opentsdb在内的多种时序数据库。
CN202110078589.7A 2021-01-20 2021-01-20 一种云主机宽带统计方法 Pending CN112799906A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110078589.7A CN112799906A (zh) 2021-01-20 2021-01-20 一种云主机宽带统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110078589.7A CN112799906A (zh) 2021-01-20 2021-01-20 一种云主机宽带统计方法

Publications (1)

Publication Number Publication Date
CN112799906A true CN112799906A (zh) 2021-05-14

Family

ID=75810855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110078589.7A Pending CN112799906A (zh) 2021-01-20 2021-01-20 一种云主机宽带统计方法

Country Status (1)

Country Link
CN (1) CN112799906A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298542A (zh) * 2011-08-24 2011-12-28 百度在线网络技术（北京）有限公司 一种应用程序的质量确定方法和***
CN104461856A (zh) * 2013-09-22 2015-03-25 阿里巴巴集团控股有限公司 基于云计算平台的性能测试方法、装置及***
CN104657250A (zh) * 2014-12-16 2015-05-27 无锡华云数据技术服务有限公司 一种对云主机进行性能监控的监控方法
CN110275810A (zh) * 2018-03-16 2019-09-24 厦门靠谱云股份有限公司 一种基于插件形式云服务器性能收集管理***
CN111124834A (zh) * 2019-12-25 2020-05-08 曙光信息产业(北京)有限公司 云计算环境下监控数据的接入方法、装置和计算机设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298542A (zh) * 2011-08-24 2011-12-28 百度在线网络技术（北京）有限公司 一种应用程序的质量确定方法和***
CN104461856A (zh) * 2013-09-22 2015-03-25 阿里巴巴集团控股有限公司 基于云计算平台的性能测试方法、装置及***
CN104657250A (zh) * 2014-12-16 2015-05-27 无锡华云数据技术服务有限公司 一种对云主机进行性能监控的监控方法
CN110275810A (zh) * 2018-03-16 2019-09-24 厦门靠谱云股份有限公司 一种基于插件形式云服务器性能收集管理***
CN111124834A (zh) * 2019-12-25 2020-05-08 曙光信息产业(北京)有限公司 云计算环境下监控数据的接入方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
CN111258979B (zh) 一种云防护日志***及其工作方法
US9565076B2 (en) Distributed network traffic data collection and storage
CN107634848B (zh) 一种采集分析网络设备信息的***和方法
EP2852097B1 (en) Efficient data center monitoring
CN106101015B (zh) 一种移动互联网流量类别标记方法和***
EP1742416B1 (en) Method, computer readable medium and system for analyzing and management of application traffic on networks
US8179799B2 (en) Method for partitioning network flows based on their time information
EP3282643B1 (en) Method and apparatus of estimating conversation in a distributed netflow environment
Karimi et al. Distributed network traffic feature extraction for a real-time IDS
CN111930886A (zh) 日志处理方法、***、存储介质及计算机设备
CN107635003A (zh) ***日志的管理方法、装置及***
CN112333020A (zh) 一种基于五元组的网络安全监测及数据报文解析***
CN115776449B (zh) 列车以太网通信状态监测方法及***
CN111726410B (zh) 用于分散计算网络的可编程实时计算和网络负载感知方法
CN110691007A (zh) 一种精确测量quic连接丢包率的方法
Iannaccone Fast prototyping of network data mining applications
Qian et al. Characterization of 3g data-plane traffic and application towards centralized control and management for software defined networking
CN110677327A (zh) 一种基于芯片的rtp流量故障实时检测方法
CN112799906A (zh) 一种云主机宽带统计方法
CN115766471B (zh) 一种基于组播流量的网络业务质量分析方法
CN114095383B (zh) 网络流量采样方法、***和电子设备
CN110708209A (zh) 虚拟机流量采集方法、装置、电子设备及存储介质
CN113037551B (zh) 一种基于流量切片的涉敏业务快速识别定位方法
WO2022001480A1 (zh) 热门应用识别方法、网络***、网络设备及存储介质
Peng et al. Design and implementation of network instruction detection system based on snort and NTOP

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210514

RJ01 Rejection of invention patent application after publication