CN107623611A - 一种云平台虚拟机的流量监控*** - Google Patents
一种云平台虚拟机的流量监控*** Download PDFInfo
- Publication number
- CN107623611A CN107623611A CN201710869029.7A CN201710869029A CN107623611A CN 107623611 A CN107623611 A CN 107623611A CN 201710869029 A CN201710869029 A CN 201710869029A CN 107623611 A CN107623611 A CN 107623611A
- Authority
- CN
- China
- Prior art keywords
- sflow
- cloud platform
- flow
- virtual machine
- party
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及云计算技术领域,特别是一种云平台虚拟机的流量监控***。所述***包括云平台流量监控服务模块第三方sFlow控制器模块和sFlow流量收集代理模块。云平台流量监控服务模块负责实时与所述第三方sFlow控制器模块交互、统计生成云平台虚拟机的流量信息,接收和响应云平台前端用户的API请求;第三方sFlow控制器模块负责接收与分析由sFlow流量收集代理模块发送过来的sFlow流量数据包;最后sFlow流量收集代理模块部署在云平台的计算节点,负责采样虚拟交换机的数据包并发送给指定的第三方sFlow控制器。本发明满足了云平台实时监控虚拟网络通信的安全需求。
Description
技术领域
本发明涉及云计算技术领域,特别是一种云平台虚拟机的流量监控***。
背景技术
sFlow
sFlow技术是一种以设备端口为基本单元的数据流采样的流量监控技术。sFlow监控工具由sFlow Agent和sFlow Collector两部分组成,Agent作为客户端,一般内嵌于网络转发设备如交换机、路由器中,通过获取本设备上的接口统计信息和数据信息,将信息封装成sflow报文,然后通过UDP协议发送到指定的Collector。Collector作为远端服务器,负责对sFlow报文分析、汇总、生成流量报告。
目前主流云平台如openstack、cloudstack等都支持使用openvswitch(简称OVS)作为计算节点上的虚拟交换机,云平台虚拟机通过将虚拟端口接入OVS实现网络通信。
发明内容
本发明解决的技术问题在于提供一种云平台虚拟机的流量监控***,实现对整个云平台上虚拟机的流量监控,满足云平台实时监控虚拟网络通信的安全需求。
本发明解决上述技术问题的技术方案是,
所述的***包括云平台流量监控服务模块,第三方sFlow控制器模块和sFlow流量收集代理模块;
所述的云平台流量监控服务模块负责实时与所述第三方sFlow控制器模块交互、统计生成云平台虚拟机的流量信息,接收和响应云平台前端用户的API请求;
所述的第三方sFlow控制器模块负责接受sFlow流量收集代理模块上报的采样流量信息并进行分析,包括但不限于sFlow-RT,sFlowTrend;
所述的sFlow流量收集代理模块部署在云平台各个计算节点的虚拟交换机上,负责对虚拟交换机上面的虚拟机端口进行流量采样,并将采样后的信息以sFlow报文的形式上报到所述的第三方sFlow控制器模块。
所述的云平台流量监控服务模块进一步包括sFlow控制器注册子模块、平台虚拟机识别子模块、流量监控服务插件子模块和定时器流量收集子模块四个子模块;
所述的sFlow控制器注册子模块用于记录所述第三方sFlow控制器的相关信息;相关信息包括sFlow控制器访问IP、API访问端口、sFlow监听端口,所负责的各sFlow流量收集代理标识;所述sFlow流量收集代理标识用于唯一标识sFlow流量收集代理,一般为代理所在计算节点的sFlow通信网卡IP;
所述的平台虚拟机识别子模块读取云平台配置文件获取云平台虚拟机的标识信息;所述标识信息可以是云平台虚拟机所使用的专用MAC地址通用段标识,可以是云平台虚拟机所在虚拟网络子网段;
所述的流量监控服务插件子模块用于实现云平台监控流量的API接口服务,规定接口的入参和相应结果参数;所述的API接口服务读取本地流量信息缓存表数据及时反馈给前端用户;
所述的定时器流量收集子模块实现:调用各第三方sFlow控制器API获取其所管理的所有sFlow流量收集代理上的端口流量信息,根据定时获取的sFlow流量信息更新本地流量信息缓存表。
所述的本地流量信息缓存表结构为字典结构数组,每一个元素agent关键字的值为“sFlow控制器标识符_sFlow流量收集代理标识符”,每一个元素flows关键字对应的值为“sFlow流量收集代理定时采样得到的流量信息”;所述的本地流量信息缓存表只保存最近一次汇总的流量信息。
所述的云平台流量监控服务模块可以是一个单独运行在云平台控制节点上面的服务组件,也可以是以插件的形式集成到云平台控制节点虚拟网络控制服务组件里面运行。
本发明方案的有益效果如下:
1、提供一种云平台虚拟机的流量监控***,实现对整个云平台上虚拟机的流量监控,满足了云平台实时监控虚拟网络通信的安全需求。
2、本发明的子***基于sFlow通用协议实现,适用于大部分现有云平台,只需要进行简单的扩展即可在现有云平台中实现集成。
附图说明
下面结合附图对本发明进一步说明:
图1为本发明实施例中***模块架构图;
图2为本发明实施例中基于OVS的虚拟机流量监控示意图。
具体实施方式
以下结合附图及实施例对本发明作进一步详细说明。
参见图1所示,为本发明所提供的一种云平台虚拟机的流量监控***的模块图,图2为本发明基于OVS实现的一个具体实施例。下面分别对其各个模块的具体实现进行描述。
第三方sFlow控制器模块中,这里以开源控制器sFlow-RT为例进行描述,在任一个云平台计算节点上启动sFlow-RT控制器,具体步骤如下:
wget http://www.inmon.com/products/sFlow-RT/sflow-rt.tar.gz
tar-xvzf sflow-rt.tar.gz
cd sflow-rt
java -Xincgc -Xmx200m -Dsflow.port=6343 -Dhttp.port=8008-Dscript.file=init.js-jar./lib/sflowrt.jar
如上启动第三方sFlow-RT控制器,监听端口为6343,对外提供API端口为8008。
sFlow流量收集代理模块中,这里以在OVS启动sFlow代理为例进行描述,启动的具体指令如下:
ovs-vsctl----id=@sflow create sflow agent=em1 target=\″20.251.51.107:6343\″header=128 sampling=5 polling=5--set bridge br-intsflow=@sflow
ovs-vsctl----id=@sflow create sflow agent=em1 target=\″20.251.51.107:6343\″header=128 sampling=5 polling=5--set bridge br-vlansflow=@sflow
如上我们在计算节点的OVS虚拟交换机br-int和br-vlan上启动sFlow流量收集代理,指定其sFlow控制器为20.251.51.107,控制器上监听sFlow报文的端口为6343。
云平台流量监控服务模块中,sFlow控制器注册子模块记录所述第三方sFlow控制器的相关信息,相关信息包括sFlow控制器访问IP、API访问端口、sFlow监听端口,所负责的各sFlow流量收集代理标识;
所述sFlow流量收集代理标识用于唯一标识sFlow流量收集代理,一般为代理所在计算节点的sFlow通信网卡IP;
如上第三方sFlow控制器中记录的相关信息为:
sFlow控制器访问IP:20.251.51.107
API访问端口:8080
sFlow监听端口:6343
所负责的各sFlow流量收集代理标识:[20.251.51.107,20.251.51.108]。
所述的平台虚拟机识别子模块读取云平台配置文件获取云平台虚拟机的标识信息;
所述标识信息可以是云平台虚拟机所使用的专用MAC地址通用段标识,可以是云平台虚拟机所在虚拟网络子网段。这里以云平台虚拟机MAC地址通用段FA163E为标识,在监控流量分析过程中,MAC地址以FA163E为开始的代表着是虚拟机的通信流量。
所述的定时器流量收集子模块主要功能包括:
定时调用各第三方sFlow控制器API获取其所管理的所有sFlow流量收集代理上的端口流量信息;
根据定时获取的sFlow流量信息更新本地流量信息缓存表。
所述的本地流量信息缓存表结构可以为字典结构数组,每一个元素agent关键字的值为“sFlow控制器标识符_sFlow流量收集代理标识符”,每一个元素flows关键字对应的值为“sFlow流量收集代理定时采样得到的流量信息”。
本地流量信息缓存表示例:
所述的流量监控服务插件子模块用于实现云平台监控流量的API接口服务,规定接口的入参和相应结果参数,如下所示:
前端用户或云平台管理员通过调用云平台监控流量的API接口,***根据收到的参数,在本地流量信息缓存表中查询指定sFlow agent关键字,并响应对应的流量信息值。
以上所揭露的仅为本发明其中一个实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (4)
1.一种云平台虚拟机的流量监控***,其特征在于,所述的***包括云平台流量监控服务模块,第三方sFlow控制器模块和sFlow流量收集代理模块;
所述的云平台流量监控服务模块负责实时与所述第三方sFlow控制器模块交互、统计生成云平台虚拟机的流量信息,接收和响应云平台前端用户的API请求;
所述的第三方sFlow控制器模块负责接受sFlow流量收集代理模块上报的采样流量信息并进行分析,包括但不限于sFlow-RT,sFlowTrend;
所述的sFlow流量收集代理模块部署在云平台各个计算节点的虚拟交换机上,负责对虚拟交换机上面的虚拟机端口进行流量采样,并将采样后的信息以sFlow报文的形式上报到所述的第三方sFlow控制器模块。
2.根据权利要求1所述的***,其特征在于,所述的云平台流量监控服务模块进一步包括sFlow控制器注册子模块、平台虚拟机识别子模块、流量监控服务插件子模块和定时器流量收集子模块四个子模块;
所述的sFlow控制器注册子模块用于记录所述第三方sFlow控制器的相关信息;相关信息包括sFlow控制器访问IP、API访问端口、sFlow监听端口,所负责的各sFlow流量收集代理标识;所述sFlow流量收集代理标识用于唯一标识sFlow流量收集代理,一般为代理所在计算节点的sFlow通信网卡IP;
所述的平台虚拟机识别子模块读取云平台配置文件获取云平台虚拟机的标识信息;所述标识信息可以是云平台虚拟机所使用的专用MAC地址通用段标识,可以是云平台虚拟机所在虚拟网络子网段;
所述的流量监控服务插件子模块用于实现云平台监控流量的API接口服务,规定接口的入参和相应结果参数;所述的API接口服务读取本地流量信息缓存表数据及时反馈给前端用户;
所述的定时器流量收集子模块实现:调用各第三方sFlow控制器API获取其所管理的所有sFlow流量收集代理上的端口流量信息,根据定时获取的sFlow流量信息更新本地流量信息缓存表。
3.根据权利要求2所述的***,其特征在于,所述的本地流量信息缓存表结构为字典结构数组,每一个元素agent关键字的值为“sFlow控制器标识符_sFlow流量收集代理标识符”,每一个元素flows关键字对应的值为“sFlow流量收集代理定时采样得到的流量信息”;所述的本地流量信息缓存表只保存最近一次汇总的流量信息。
4.根据权利要求1、2或3所述的***,其特征在于,所述的云平台流量监控服务模块可以是一个单独运行在云平台控制节点上面的服务组件,也可以是以插件的形式集成到云平台控制节点虚拟网络控制服务组件里面运行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710869029.7A CN107623611B (zh) | 2017-09-22 | 2017-09-22 | 一种云平台虚拟机的流量监控*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710869029.7A CN107623611B (zh) | 2017-09-22 | 2017-09-22 | 一种云平台虚拟机的流量监控*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107623611A true CN107623611A (zh) | 2018-01-23 |
CN107623611B CN107623611B (zh) | 2021-03-02 |
Family
ID=61090379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710869029.7A Active CN107623611B (zh) | 2017-09-22 | 2017-09-22 | 一种云平台虚拟机的流量监控*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107623611B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108632378A (zh) * | 2018-05-11 | 2018-10-09 | 国云科技股份有限公司 | 一种面向云平台业务的监控方法 |
CN109150589A (zh) * | 2018-07-25 | 2019-01-04 | 赛尔网络有限公司 | 基于Open Stack虚拟网络阻塞异常的处理方法及*** |
CN109462283A (zh) * | 2018-11-12 | 2019-03-12 | 山东鲁能智能技术有限公司 | 智能变电站单个设备流量监控方法及*** |
WO2019174386A1 (zh) * | 2018-03-16 | 2019-09-19 | 中兴通讯股份有限公司 | 无线接入网流量报告方法以及装置和***、存储介质 |
CN110855566A (zh) * | 2019-11-26 | 2020-02-28 | 杭州迪普科技股份有限公司 | 上行流量的牵引方法和装置 |
CN112564994A (zh) * | 2019-09-25 | 2021-03-26 | 北大方正集团有限公司 | 流量监测方法、装置、云服务器及存储介质 |
CN112910726A (zh) * | 2021-01-20 | 2021-06-04 | 浪潮云信息技术股份公司 | 云环境流量监控方法、装置及*** |
CN113300917A (zh) * | 2021-07-27 | 2021-08-24 | 苏州浪潮智能科技有限公司 | Open Stack租户网络的流量监控方法、装置 |
CN113765826A (zh) * | 2020-06-01 | 2021-12-07 | 中移(苏州)软件技术有限公司 | 一种网络监控方法、平台、装置和计算机可读存储介质 |
CN114070757A (zh) * | 2021-11-15 | 2022-02-18 | 南方电网数字电网研究院有限公司 | 一种云计算管理控制平台用的数据流量变化监控方法 |
CN116383018A (zh) * | 2023-06-05 | 2023-07-04 | 江苏博云科技股份有限公司 | 自定义流量追踪插件的方法及*** |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102215136A (zh) * | 2010-04-01 | 2011-10-12 | 中国科学院计算技术研究所 | 流量拓扑生成方法和装置 |
US20130088969A1 (en) * | 2011-10-06 | 2013-04-11 | International Business Machines Corporation | Network traffic distribution |
CN104104548A (zh) * | 2014-08-01 | 2014-10-15 | 哈尔滨工程大学 | 一种基于sflow和owamp的网络安全态势信息获取***及方法 |
CN104378264A (zh) * | 2014-12-12 | 2015-02-25 | 武汉噢易云计算有限公司 | 一种基于sFlow的虚拟机进程流量监控方法 |
CN104753946A (zh) * | 2015-04-01 | 2015-07-01 | 浪潮电子信息产业股份有限公司 | 一种基于网络流量元数据的安全分析框架 |
CN105681313A (zh) * | 2016-01-29 | 2016-06-15 | 博雅网信(北京)科技有限公司 | 一种针对虚拟化环境的流量检测***及方法 |
CN106101163A (zh) * | 2016-08-29 | 2016-11-09 | 北京工业大学 | 基于OpenFlow的网络架构安全监控*** |
CN106230660A (zh) * | 2016-07-29 | 2016-12-14 | 锐捷网络股份有限公司 | sFlow采样的方法及装置 |
CN106254181A (zh) * | 2016-08-16 | 2016-12-21 | 浪潮(北京)电子信息产业有限公司 | 虚拟交换机流量监控的方法、***及虚拟交换机 |
CN106330602A (zh) * | 2016-08-22 | 2017-01-11 | 中国科学院信息工程研究所 | 一种云计算虚拟租户网络监控方法及*** |
CN106961367A (zh) * | 2017-05-19 | 2017-07-18 | 济南浪潮高新科技投资发展有限公司 | 基于openstack的云资源监控***和方法 |
US20170230449A1 (en) * | 2016-02-05 | 2017-08-10 | Vmware, Inc. | Method for monitoring elements of a distributed computing system |
-
2017
- 2017-09-22 CN CN201710869029.7A patent/CN107623611B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102215136A (zh) * | 2010-04-01 | 2011-10-12 | 中国科学院计算技术研究所 | 流量拓扑生成方法和装置 |
US20130088969A1 (en) * | 2011-10-06 | 2013-04-11 | International Business Machines Corporation | Network traffic distribution |
CN104104548A (zh) * | 2014-08-01 | 2014-10-15 | 哈尔滨工程大学 | 一种基于sflow和owamp的网络安全态势信息获取***及方法 |
CN104378264A (zh) * | 2014-12-12 | 2015-02-25 | 武汉噢易云计算有限公司 | 一种基于sFlow的虚拟机进程流量监控方法 |
CN104753946A (zh) * | 2015-04-01 | 2015-07-01 | 浪潮电子信息产业股份有限公司 | 一种基于网络流量元数据的安全分析框架 |
CN105681313A (zh) * | 2016-01-29 | 2016-06-15 | 博雅网信(北京)科技有限公司 | 一种针对虚拟化环境的流量检测***及方法 |
US20170230449A1 (en) * | 2016-02-05 | 2017-08-10 | Vmware, Inc. | Method for monitoring elements of a distributed computing system |
CN106230660A (zh) * | 2016-07-29 | 2016-12-14 | 锐捷网络股份有限公司 | sFlow采样的方法及装置 |
CN106254181A (zh) * | 2016-08-16 | 2016-12-21 | 浪潮(北京)电子信息产业有限公司 | 虚拟交换机流量监控的方法、***及虚拟交换机 |
CN106330602A (zh) * | 2016-08-22 | 2017-01-11 | 中国科学院信息工程研究所 | 一种云计算虚拟租户网络监控方法及*** |
CN106101163A (zh) * | 2016-08-29 | 2016-11-09 | 北京工业大学 | 基于OpenFlow的网络架构安全监控*** |
CN106961367A (zh) * | 2017-05-19 | 2017-07-18 | 济南浪潮高新科技投资发展有限公司 | 基于openstack的云资源监控***和方法 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019174386A1 (zh) * | 2018-03-16 | 2019-09-19 | 中兴通讯股份有限公司 | 无线接入网流量报告方法以及装置和***、存储介质 |
US11223968B2 (en) | 2018-03-16 | 2022-01-11 | Xi'an Zhongxing New Software Co., Ltd. | Method, apparatus and system for reporting radio access network traffic |
CN108632378B (zh) * | 2018-05-11 | 2021-04-27 | 国云科技股份有限公司 | 一种面向云平台业务的监控方法 |
CN108632378A (zh) * | 2018-05-11 | 2018-10-09 | 国云科技股份有限公司 | 一种面向云平台业务的监控方法 |
CN109150589A (zh) * | 2018-07-25 | 2019-01-04 | 赛尔网络有限公司 | 基于Open Stack虚拟网络阻塞异常的处理方法及*** |
CN109462283A (zh) * | 2018-11-12 | 2019-03-12 | 山东鲁能智能技术有限公司 | 智能变电站单个设备流量监控方法及*** |
CN112564994A (zh) * | 2019-09-25 | 2021-03-26 | 北大方正集团有限公司 | 流量监测方法、装置、云服务器及存储介质 |
CN110855566A (zh) * | 2019-11-26 | 2020-02-28 | 杭州迪普科技股份有限公司 | 上行流量的牵引方法和装置 |
CN113765826B (zh) * | 2020-06-01 | 2024-05-28 | 中移(苏州)软件技术有限公司 | 一种网络监控方法、平台、装置和计算机可读存储介质 |
CN113765826A (zh) * | 2020-06-01 | 2021-12-07 | 中移(苏州)软件技术有限公司 | 一种网络监控方法、平台、装置和计算机可读存储介质 |
CN112910726A (zh) * | 2021-01-20 | 2021-06-04 | 浪潮云信息技术股份公司 | 云环境流量监控方法、装置及*** |
CN113300917A (zh) * | 2021-07-27 | 2021-08-24 | 苏州浪潮智能科技有限公司 | Open Stack租户网络的流量监控方法、装置 |
CN114070757B (zh) * | 2021-11-15 | 2023-08-08 | 南方电网数字电网研究院有限公司 | 一种云计算管理控制平台用的数据流量变化监控方法 |
CN114070757A (zh) * | 2021-11-15 | 2022-02-18 | 南方电网数字电网研究院有限公司 | 一种云计算管理控制平台用的数据流量变化监控方法 |
CN116383018A (zh) * | 2023-06-05 | 2023-07-04 | 江苏博云科技股份有限公司 | 自定义流量追踪插件的方法及*** |
CN116383018B (zh) * | 2023-06-05 | 2023-09-15 | 江苏博云科技股份有限公司 | 自定义流量追踪插件的方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN107623611B (zh) | 2021-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107623611A (zh) | 一种云平台虚拟机的流量监控*** | |
CN112866075B (zh) | 面向Overlay网络的带内网络遥测方法、***及相关装置 | |
Moore et al. | Architecture of a network monitor | |
Wang et al. | A smart home gateway platform for data collection and awareness | |
JP4341413B2 (ja) | 統計収集装置を備えたパケット転送装置および統計収集方法 | |
CN109067938B (zh) | 一种测试dns服务器的方法及装置 | |
CN111371640B (zh) | 一种基于sdn控制器的流量采集分析方法及*** | |
GB2427490A (en) | Network usage monitoring with standard message format | |
CN110659109B (zh) | 一种openstack集群虚拟机监控***及方法 | |
DE102008015576A1 (de) | Datensammel-System und -Verfahren für IP-Netzwerke | |
CN103546343B (zh) | 网络流量分析***的网络流量展示方法和*** | |
CN107800565A (zh) | 巡检方法、装置、***、计算机设备和存储介质 | |
CN113794605A (zh) | 一种基于eBPF的内核丢包检测方法、***和装置 | |
JPWO2012127894A1 (ja) | ネットワークシステム、及びスイッチ方法 | |
CN108900374A (zh) | 一种应用于dpi设备的数据处理方法和装置 | |
GB2411542A (en) | Method of data gathering of a user network | |
CN111224894A (zh) | 一种针对iOS设备的流量采集标记方法及*** | |
CN113347258A (zh) | 云流量下的数据采集监控分析的方法及*** | |
RU2668394C2 (ru) | Способ и система для сбора пакетов, сетевое устройство и центр управления сетью | |
CN109547257A (zh) | 网络流量控制方法、装置、设备、***及存储介质 | |
CN110708209B (zh) | 虚拟机流量采集方法、装置、电子设备及存储介质 | |
CN112671949B (zh) | 一种根据syslog日志关联NAT前后会话的方法及*** | |
CN115665259A (zh) | 一种加密http请求采集装置、***及方法 | |
JP4917620B2 (ja) | バックボーン網におけるトラヒック情報収集方法、トラヒック情報収集装置、及びプログラム | |
CN109462283A (zh) | 智能变电站单个设备流量监控方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 19 / F, Cloud Computing Center, Chinese Academy of Sciences, No.1 Kehui Road, Songshanhu, Dongguan, Guangdong, 523808 Applicant after: G-CLOUD TECHNOLOGY Co.,Ltd. Address before: 523808 No. 14 Building, Songke Garden, Songshan Lake Science and Technology Industrial Park, Dongguan City, Guangdong Province Applicant before: G-CLOUD TECHNOLOGY Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |