CN108449227A - 一种基于ovs的流量数据采集方法 - Google Patents

一种基于ovs的流量数据采集方法 Download PDF

Info

Publication number
CN108449227A
CN108449227A CN201810171902.XA CN201810171902A CN108449227A CN 108449227 A CN108449227 A CN 108449227A CN 201810171902 A CN201810171902 A CN 201810171902A CN 108449227 A CN108449227 A CN 108449227A
Authority
CN
China
Prior art keywords
data
flows
flow
ovs
convergence server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810171902.XA
Other languages
English (en)
Other versions
CN108449227B (zh
Inventor
霍润彬
史伟
叶梅霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Ruijiang Cloud Computing Co Ltd
Guangdong Eflycloud Computing Co Ltd
Original Assignee
Guangdong Ruijiang Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Ruijiang Cloud Computing Co Ltd filed Critical Guangdong Ruijiang Cloud Computing Co Ltd
Priority to CN201810171902.XA priority Critical patent/CN108449227B/zh
Publication of CN108449227A publication Critical patent/CN108449227A/zh
Application granted granted Critical
Publication of CN108449227B publication Critical patent/CN108449227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/70—Virtual switches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/03—Protocol definition or specification 

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种基于OVS的流量数据采集方法，其特征在于：包括OVS多层虚拟交换机、主机、装设在XenServer虚拟化服务器上的流量采集程序、数据汇聚服务器和数据分析平台，在运行有所述OVS多层虚拟交换机的所述主机上部署所述流量采集程序，所述流量数据采集程序采集流量数据并上传到所述数据汇聚服务器，所述数据汇聚服务器将流量数据转发到所述数据分析平台，本发明提出一种基于OVS的流量数据采集方法，通过OVS取代现有XenAPI获取流量数据的方式，保证数据流量的准确性和完整性。

Description

一种基于OVS的流量数据采集方法
技术领域
本发明涉及流量采集技术领域，尤其涉及一种基于OVS的流量数据采集方法。
背景技术
云主机的出现使得企业通过互联网扩展业务变得非常方便，作为云主机的提供商，对云主机的流量数据的监控是非常重要的。通过监控流量数据能够及时的发现异常，也可以通过统计流量信息作为一种计费的依据等等。
现有技术中的流量数据采集，主要是由数据采集服务器通过XenAPI主动从XenServer获取虚拟机的流量信息，然后上传到数据分析平台上。但是在实际的运行过程中，发现XenAPI提供的数据会出现错误或者缺失的情况，从而导致数据分析平台对流量的分析出现错误。
发明内容
本发明的目的在于提出一种基于OVS的流量数据采集方法，通过OVS取代现有XenAPI获取流量数据的方式，保证数据流量的准确性和完整性。
为达此目的，本发明采用以下技术方案：
一种基于OVS的流量数据采集方法，包括OVS多层虚拟交换机、主机、装设在XenServer虚拟化服务器上的流量采集程序、数据汇聚服务器和数据分析平台，在运行有所述OVS多层虚拟交换机的所述主机上部署所述流量采集程序，所述流量数据采集程序采集流量数据并上传到所述数据汇聚服务器，所述数据汇聚服务器将流量数据转发到所述数据分析平台；
包括流量数据采集的过程：
步骤A：所述流量数据采集程序从所述OVS多层虚拟交换机上获取原始流量数据并将原始流量数据转换为符合自定义协议的格式；
步骤B：所述流量数据采集程序将采集并转换好的符合自定义协议格式的流量数据上传到所述数据汇聚服务器；
步骤C：所述数据汇聚服务器将所述符合自定义协议格式的流量数据转换为syslog格式并将转换好的syslog格式的流量数据上传到所述数据分析平台。
优选的，包括所述流量采集程序采集流量数据的过程：
步骤A1：所述主机在XenServer虚拟化服务器上获取全部VM虚拟机的信息；
步骤A2：若所述主机获取全部VM虚拟机的信息失败，则结束流量数据采集过程；若所述主机获取全部VM虚拟机的信息成功，则接着通过OVS多层虚拟交换机接口，第一次进行采样并获取各个VM虚拟机的流量数据；
步骤A3：若各个VM虚拟机的流量数据获取失败，则结束流量数据采集过程；若各个VM虚拟机的流量数据获取成功，则设定两次流量数据采样之间的睡眠时间，睡眠时间一到，则进行第二次采样；
步骤A4：第二次采样并获取各个VM虚拟机的流量数据，并将第二次采样获取到的流量数据与第一次采样获取到的流量数据相减，得出流量差值，若第二次采样失败，则结束流量数据采集过程；若第二次采样成功，得出流量差值后，则将所述流量差值转换为符合自定义协议格式的流量数据并上传到所述数据汇聚服务器，若上传失败，则结束流量数据采集过程，若成功，则回到步骤A3。
优选的，所述数据汇聚服务器接收到所述流量采集程序上传的所述符合自定义协议格式的流量数据后，通过Syslog协议将所述符合自定义协议格式的流量数据进行封装，转换为syslog格式的流量数据。
优选的，所述数据汇聚服务器将syslog格式的流量数据通过TCP协议上传到所述数据分析平台。
优选的，所述流量采集程序将符合自定义协议格式的流量数据通过Http协议上传到所述数据汇聚服务器。
附图说明
图1是本发明流量数据采集整体流程图；
图2是本发明的流量采集程序采集流量的流程图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
本实施例的零部件安装方位均以说明书附图为准。
本实施例的一种基于OVS的流量数据采集方法，包括OVS多层虚拟交换机、主机、装设在XenServer虚拟化服务器上的流量采集程序、数据汇聚服务器和数据分析平台，在运行有所述OVS多层虚拟交换机的所述主机上部署所述流量采集程序，所述流量数据采集程序采集流量数据并上传到所述数据汇聚服务器，所述数据汇聚服务器将流量数据转发到所述数据分析平台；
如图1所示，包括流量数据采集的过程：
步骤A：所述流量数据采集程序从所述OVS多层虚拟交换机上获取原始流量数据并将原始流量数据转换为符合自定义协议的格式；
步骤B：所述流量数据采集程序将采集并转换好的符合自定义协议格式的流量数据上传到所述数据汇聚服务器；
步骤C：所述数据汇聚服务器将所述符合自定义协议格式的流量数据转换为syslog格式并将转换好的syslog格式的流量数据上传到所述数据分析平台。
优选的，如图2所示，包括所述流量采集程序采集流量数据的过程：
步骤A1：所述主机在XenServer虚拟化服务器上获取全部VM虚拟机的信息；
步骤A2：若所述主机获取全部VM虚拟机的信息失败，则结束流量数据采集过程；若所述主机获取全部VM虚拟机的信息成功，则接着通过OVS多层虚拟交换机接口，第一次进行采样并获取各个VM虚拟机的流量数据；
步骤A3：若各个VM虚拟机的流量数据获取失败，则结束流量数据采集过程；若各个VM虚拟机的流量数据获取成功，则设定两次流量数据采样之间的睡眠时间，睡眠时间一到，则进行第二次采样；
步骤A4：第二次采样并获取各个VM虚拟机的流量数据，并将第二次采样获取到的流量数据与第一次采样获取到的流量数据相减，得出流量差值，若第二次采样失败，则结束流量数据采集过程；若第二次采样成功，得出流量差值后，则将所述流量差值转换为符合自定义协议格式的流量数据并上传到所述数据汇聚服务器，若上传失败，则结束流量数据采集过程，若成功，则回到步骤A3。
优选的，所述数据汇聚服务器接收到所述流量采集程序上传的所述符合自定义协议格式的流量数据后，通过Syslog协议将所述符合自定义协议格式的流量数据进行封装，转换为syslog格式的流量数据。
优选的，所述数据汇聚服务器将syslog格式的流量数据通过TCP协议上传到所述数据分析平台。
优选的，所述流量采集程序将符合自定义协议格式的流量数据通过Http协议上传到所述数据汇聚服务器。
本发明的有益效果：通过OVS多层虚拟交换机获取数据流量，绕过XenAPI而获取流量数据。通过OVS多层虚拟交换机取代XenAPI获取流量数据的方式，保证了流量数据的准确性、完整性。同时，通过OVS的获取的流量数据时，可以自行设定采集的时间间隔，比XenAPI更为灵活。
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (5)

1.一种基于OVS的流量数据采集方法，其特征在于：包括OVS多层虚拟交换机、主机、装设在XenServer虚拟化服务器上的流量采集程序、数据汇聚服务器和数据分析平台，在运行有所述OVS多层虚拟交换机的所述主机上部署所述流量采集程序，所述流量数据采集程序采集流量数据并上传到所述数据汇聚服务器，所述数据汇聚服务器将流量数据转发到所述数据分析平台；
包括流量数据采集的过程：
步骤A：所述流量数据采集程序从所述OVS多层虚拟交换机上获取原始流量数据并将原始流量数据转换为符合自定义协议的格式；
步骤B：所述流量数据采集程序将采集并转换好的符合自定义协议格式的流量数据上传到所述数据汇聚服务器；
步骤C：所述数据汇聚服务器将所述符合自定义协议格式的流量数据转换为syslog格式并将转换好的syslog格式的流量数据上传到所述数据分析平台。
2.根据权利要求1所述一种基于OVS的流量数据采集方法，其特征在于：包括所述流量采集程序采集流量数据的过程：
步骤A1：所述主机在XenServer虚拟化服务器上获取全部VM虚拟机的信息；
步骤A2：若所述主机获取全部VM虚拟机的信息失败，则结束流量数据采集过程；若所述主机获取全部VM虚拟机的信息成功，则接着通过OVS多层虚拟交换机接口，第一次进行采样并获取各个VM虚拟机的流量数据；
步骤A3：若各个VM虚拟机的流量数据获取失败，则结束流量数据采集过程；若各个VM虚拟机的流量数据获取成功，则设定两次流量数据采样之间的睡眠时间，睡眠时间一到，则进行第二次采样；
步骤A4：第二次采样并获取各个VM虚拟机的流量数据，并将第二次采样获取到的流量数据与第一次采样获取到的流量数据相减，得出流量差值，若第二次采样失败，则结束流量数据采集过程；若第二次采样成功，得出流量差值后，则将所述流量差值转换为符合自定义协议格式的流量数据并上传到所述数据汇聚服务器，若上传失败，则结束流量数据采集过程，若成功，则回到步骤A3。
3.根据权利要求1所述一种基于OVS的流量数据采集方法，其特征在于：所述数据汇聚服务器接收到所述流量采集程序上传的所述符合自定义协议格式的流量数据后，通过Syslog协议将所述符合自定义协议格式的流量数据进行封装，转换为syslog格式的流量数据。
4.根据权利要求1所述一种基于OVS的流量数据采集方法，其特征在于：所述数据汇聚服务器将syslog格式的流量数据通过TCP协议上传到所述数据分析平台。
5.根据权利要求1所述一种基于OVS的流量数据采集方法，其特征在于：所述流量采集程序将符合自定义协议格式的流量数据通过Http协议上传到所述数据汇聚服务器。
CN201810171902.XA 2018-03-01 2018-03-01 一种基于ovs的流量数据采集方法 Active CN108449227B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810171902.XA CN108449227B (zh) 2018-03-01 2018-03-01 一种基于ovs的流量数据采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810171902.XA CN108449227B (zh) 2018-03-01 2018-03-01 一种基于ovs的流量数据采集方法

Publications (2)

Publication Number Publication Date
CN108449227A true CN108449227A (zh) 2018-08-24
CN108449227B CN108449227B (zh) 2020-12-01

Family

ID=63193372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810171902.XA Active CN108449227B (zh) 2018-03-01 2018-03-01 一种基于ovs的流量数据采集方法

Country Status (1)

Country Link
CN (1) CN108449227B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112437072A (zh) * 2020-11-17 2021-03-02 广州西麦科技股份有限公司 一种云平台中虚拟机流量牵引***、方法、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103037019A (zh) * 2013-01-07 2013-04-10 北京华胜天成科技股份有限公司 一种基于云计算的分布式数据采集***及方法
US20140226661A1 (en) * 2013-02-11 2014-08-14 Cisco Technology, Inc. Binary compatible extension architecture in an openflow compliant network environment
CN106254181A (zh) * 2016-08-16 2016-12-21 浪潮(北京)电子信息产业有限公司 虚拟交换机流量监控的方法、***及虚拟交换机
CN106254176A (zh) * 2016-07-29 2016-12-21 浪潮(北京)电子信息产业有限公司 一种基于openvswitch的流量镜像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103037019A (zh) * 2013-01-07 2013-04-10 北京华胜天成科技股份有限公司 一种基于云计算的分布式数据采集***及方法
US20140226661A1 (en) * 2013-02-11 2014-08-14 Cisco Technology, Inc. Binary compatible extension architecture in an openflow compliant network environment
CN106254176A (zh) * 2016-07-29 2016-12-21 浪潮(北京)电子信息产业有限公司 一种基于openvswitch的流量镜像方法
CN106254181A (zh) * 2016-08-16 2016-12-21 浪潮(北京)电子信息产业有限公司 虚拟交换机流量监控的方法、***及虚拟交换机

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112437072A (zh) * 2020-11-17 2021-03-02 广州西麦科技股份有限公司 一种云平台中虚拟机流量牵引***、方法、设备及介质

Also Published As

Publication number Publication date
CN108449227B (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN103401725B (zh) 基于云存储的跨平台设备监测***及其监测方法
CN104037937B (zh) 一种模拟仿真智能变电站测控装置
CN107066370A (zh) 一种自动监控并收集故障硬盘日志的工具及方法
CN107765610A (zh) 一种基于gprs铁路道岔服役状态远程监测***及其监测方法
CN109900366A (zh) 一种检测避雷器温度异常点的方法及装置
CN105867352A (zh) Odx诊断***
US11699561B2 (en) System for monitoring a circuit breaker
CN102490764A (zh) 铁轨道岔缺口自动检测方法
WO2017060894A1 (en) Method and system for classifying objects from a stream of images
CN108449227A (zh) 一种基于ovs的流量数据采集方法
CN104282054A (zh) 基于sopc技术的mvb总线解码与随车记录***
CN102880882B (zh) 基于二维码的设备巡视管理装置
CN109922303A (zh) 一种网络视频监控***
CN103634135B (zh) 一种基于元数据的数据采集方法
CN104459461B (zh) 一种基于工频正弦拟合相关系数的故障数据自动筛选方法
CN106918363A (zh) 基于Azure的奶牛场环境数据采集***及方法
WO2018176203A1 (zh) 用于评估组件的生命周期的方法和设备
CN103488158B (zh) 一种基于机器视觉的虚拟人机操作界面***及构建方法
CN207457783U (zh) 一种基于gprs铁路道岔服役状态远程监测***
CN109462283A (zh) 智能变电站单个设备流量监控方法及***
CN105551107B (zh) 基于卫星定位采集设备的巡检状态显示方法及装置
CN107741984A (zh) 用于在线监测数据采集一致性的采集服务器、***及方法
CN107908691A (zh) 一种大数据运营分析***
CN113746905A (zh) 一种分布式智能传感***及其控制方法
CN107992005A (zh) 一种工业控制计算处理和数据信息采集设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant