CN110572439A - 一种基于元数据服务和虚拟转发网桥的云监控方法 - Google Patents

Abstract

本发明提供了一种基于元数据服务和虚拟转发网桥的云监控方法，其主要针对云环境下管理网和业务网隔离场景下的虚拟机监控问题，首先基于OpenStack元数据服务将监控流量从业务网引入定制化虚拟网DHCP名称空间，然后基于转发规则将流量引入管理网转发网桥，最后通过反向代理实现虚拟机内部监控代理单向接入Zabbix后台监控服务器。本发明的单通监控方法，可以在不改动OpenStack云平台主体架构的前提下，实现云上私有网络虚拟机的监控，同时具有依赖先验信息少、兼容不同私有网络虚拟机IP相同等优点。

Description

一种基于元数据服务和虚拟转发网桥的云监控方法

技术领域

本发明涉及一种基于元数据服务和虚拟转发网桥的云监控方法。

背景技术

云计算技术改变了企业IT服务的运行方式，很多机构已经迫切的感受到，不论使用哪种云解决方案，都需要在基础架构中引入编排引擎，以便更好的拥抱弹性和扩展性，以及获取极佳的用户体验。当下OpenStack这个私有云领域热门的编排解决方案，已让成千上万个企业进入下一个数据中心时代。由于多数IT巨头的支持以及遍布全球的庞大开发者社区的共同努力，OpenStack的运用正越来越广泛，且OpenStack每个更新版本都会带来很多出色的新功能。对很多企业而言，拥抱OpenStack无疑是最佳选择，因为OpenStack不仅可以更好地承载业务负载，还为企业带来了灵活的基础架构设施。但是针对云基础设施的监控方面目前OpenStack社区尚未形成成熟的监控方案，因此业界普遍采用了其他第三方的监控解决方案。

Zabbix监控解决方案因为其成熟度和可扩展性高得到广泛运用。Zabbix***是一种企业级开源分布式监控解决方案。它所具有的丰富的数据采集方法使它几乎可以采集和处理所有类型的监控数据，而它所具有的灵活的报警机制，使它可以实现智能、灵活的报警策略，其web组件不但方便日常管理和维护，而且可以输出近乎完美的数据图、拓扑图和各种报告，而它所特有的网络自动发现和低级自动发现功能，不仅大大提高工作效率，减少人为出错可能。Zabbix除web前端组件外，其他皆由C/C++语言编写，这使得Zabbix***具有非常高的运行效率，其分布式架构设计，不仅可以使它非常庞大的网络监控，而且由此可以轻易实现跨地区、跨平台的分布式监控解决方案。Zabbix***数据的集中存储不仅方便日常配置和管理，而且使对监控数据的进一步监控和分析成为可能。因此，现有的云厂商很多都是用了基于Zabbix的开源云监控方案。

但是现有的基于Zabbix的云监控方案存在一定的问题，其中最主要也最为核心的问题是其要求虚拟机的网络和Zabbix服务器的网络互通，且需要提供所有虚拟机的用户名和密码，这在部分安全性要求较高的场景中无法使用。

发明内容

针对现有技术的问题，为了解决网络隔离场景下虚拟机的监控问题，同时尽可能减少对OpenStack原有流程的影响，本发明巧妙利用了OpenStack元数据服务，同时基于Zabbix监控方案，设计虚拟转发网桥、配置DHCP命名空间转发规则和反向代理，将监控流量从虚拟机内部引入后端监控服务，从而实现了网络隔离场景下云虚拟机监控。

本发明所解决的技术问题在于提供满足虚拟机私有网络和Zabbix服务器网络隔离场景下虚拟机监控的设计方法，并且无需提供虚拟机用户名密码以及改动原有的云架构。

实现本发明目的的技术解决方案为：一种基于OpenStack元数据服务和虚拟转发网桥的云监控设计方法，包括如下步骤：

步骤1：构建OpenStack云环境，选择云服务器并配置物理网络，分别部署控制节点、计算节点；

步骤2：在控制节点创建用于转发监控流量的虚拟转发网桥，配置虚拟转发网桥相关信息；

步骤3：创建虚拟网络，并定制化DHCP(动态主机设置协议，英语：Dynamic HostConfiguration Protocol，DHCP)虚拟名称空间；

步骤4：构建监控服务，用于接收虚拟机监控流量数据；

步骤5：设置反向代理，用于将监控流量从虚拟监控网桥引入监控服务；

步骤6：配置虚拟机监控代理，用于获取虚拟机内部监控数据并发送至监控服务。

步骤1包括如下步骤：

步骤1-1，云服务器进行管理网络和业务网络的初始化配置：本发明中，每台云服务器有两张网卡，一个用于管理网络，一个用于业务网络，其中管理网络是控制节点服务和计算节点服务进行信息交互的网络平面，云管理员通过管理网络对云平台进行访问和控制，业务网络是云上虚拟机进行通信的网络，对业务用户提供网络通信支撑，管理网络配置时设置云服务器控制节点处于一个局域网，计算节点和控制节点间既可以处于一个局域网，也可以配置跨网段，业务网络配置时，云服务器对应业务网卡所连接的交换机端口配置trunk(中继)，允许业务网络网段能够通过物理交换机进行通信；

步骤1-2，在控制节点部署认证、镜像、计算、网络和存储服务，该步骤与现有开源OpenStack部署步骤一致；

步骤1-3，在计算节点部署计算服务和网络agent服务，该步骤与现有开源OpenStack部署步骤一致；

步骤1-4，控制节点和计算节点服务部署完成后，上传内置Zabbix监控代理的云虚机镜像。

步骤2包括如下步骤：

步骤2-1，在控制节点创建虚拟转发网桥；

步骤2-2，设置虚拟转发网桥的IP地址为Zabbix_br_ip，配置方法和普通网卡IP配置方法一致。

步骤3包括如下步骤：

步骤3-1，基于OpenStack云环境创建vxlan隔离网络(VXLAN，Virtual ExtensibleLAN，是一种网络虚拟化技术)；

作为进一步改进的，在步骤3-1之后，所述定制化DHCP名称空间通过定制化创建，将虚拟机监控流量从虚拟机内部引入所述虚拟转发网桥，进一步包括：

步骤3-2，创建一对虚拟设备接口veth pair，并根据vxlan隔离网络的DHCP命名空间UUID(UUID是通用唯一识别码Universally Unique Identifier的缩写)算出veth pair的映射IP为veth_ip；

步骤3-3，将UUID和IP地址的映射信息写入用于记录映射关系的配置文件；

步骤3-4，将虚拟设备接口veth pair的一端加入vxlan DHCP名称空间，将另一端加入Zabbix_br虚拟监控网桥，同时配置DHCP名称空间内部的veth虚拟端口IP地址为veth_ip；

步骤3-5，基于源地址转换SNAT和目的地址转换DNAT建立DHCP名称空间流量转发规则。

作为进一步改进的，步骤3-5中，所述转发规则用于将虚拟机监控流量从虚拟机网络转发至虚拟监控转发网桥，包括如下规则：

规则1：截获虚拟机内部发往目的地址169.254.169.254、目的端口为10051的监控流量，并修改传输报文的目的地址为监控网桥的地址Zabbix_br_ip，从而将流量引入监控网络；

规则2：进一步将目的地发往Zabbix_br_ip的监控报文源地址改为veth_ip，从而保证通过规则1流入监控服务的返回报文能够原路返回到虚拟机监控代理，形成通信闭环；

其中，Zabbix_br_ip是所述步骤2设置的虚拟监控网桥的IP地址，veth_ip是所述步骤3设置的veth虚拟端口IP地址。

步骤4包括如下步骤：

步骤4-1，选择一台服务器，安装监控服务；

步骤4-2，进入上述搭建的zabbix监控服务管理界面创建虚拟操作***监控模板；

步骤4-3，编辑监控模板，配置虚拟机监控项，勾选包括CPU、内存、磁盘、网络等主要选项。

作为进一步改进的，在步骤5中所述的TCP反向代理，接收所述虚拟转发网桥的虚拟机监控流量并转发至监控服务，具体步骤包括设置反向代理监听端口，模式为TCP，设置后端服务IP为根据监控服务的IP地址，监听端口为监控服务的端口。

步骤6包括如下步骤：

步骤6-1，基于Zabbix agent云虚机镜像创建虚拟机，选择vxlan隔离网络使得所述虚拟机与云服务器网络和zabbix监控服务器网络隔离；

作为进一步改进的，所述虚拟机监控代理，获取虚拟机监控信息，并主动推送至虚拟机网络所属DHCP名称空间，进一步包括：

步骤6-2，配置监控代理配置文件，设置主动模式下的监控服务端IP地址ServerActive配置项为169.254.169.254地址；

步骤6-3，设置被监控端到服务器获取监控项的周期RefreshActiveChecks配置项指定读取频率，此处一般可设置为120s；

步骤6-4，启动监控代理服务。

本发明的步骤2主要用于在控制节点的操作***内部虚拟出linux网桥，并设定IP地址。Linux bridge的作用是实现链路层中继，对帧进行转发的技术，根据MAC分区块，可隔离碰撞，它是LINUX上用来做TCP/IP二层协议交换的设备，与现实世界中的交换机功能相似。

步骤3是本发明方法的关键，因为虚拟机的监控信息必然通过虚拟网络进行流转，怎么解决监控流量从虚拟网络到监控网络的转换是难点。每一个虚拟网络都会创建相应的虚拟DHCP名称空间，虚拟机的网络流量可以到达DHCP名称空间，因此问题变为如何将虚拟机流量从DHCP名称空间转入步骤二中在宿主机操作***中创建的转发网桥，本发明方案通过巧妙的构建SNAT和DNAT规则来实现上述转接。但是考虑到云内部会创建很多的虚拟网络，如何管理好这些网络和转发网桥的转接关系是关键，为此本方案提出了通过虚拟网络DHCP名称空间的UUID，通过映射规则来实现UUID到IP的分配，并将此分配信息写入文件，防止分配信息的冲突。

本发明步骤4中，Zabbix的监控服务安装部署主要分为服务器组件和代理组件的安装，可以基于云服务器虚拟机创建Zabbix后台服务。

本发明步骤5是实现流量转接的第二关键，是实现将虚拟机内网监控流量从控制节点转入Zabbix监控后台的关键节点，通过实现TCP三层反向代理，监听流入步骤2中Zabbix_br转发桥的监控信息，并转发到Zabbix监控后台。

本发明步骤6中，云虚拟机要实现监控需要部署Zabbix Agent客户端代理，这一步的关键在于第一使用代理的主动工作模式，虚拟机内部监控代理通过配置文件获取要连接的监控后台服务器地址，但是传统方法会因为监控后台服务器IP的变化而需要额外透过主机修改，需要主机用户名和密码等先验信息。本发明的巧妙之处在于通过利用OpenStack元数据服务的169.254.169.254该特殊IP地址，将监控代理的后台服务器地址改为此地址，而该地址处于DHCP名称空间内，通过步骤2和步骤3将监控流量转入监控后台，因此监控代理内置的配置无需改动，可以预先配好形成云基础镜像，从而一劳永逸。

本发明与现有技术相比，其显著优点为：

(1)突破虚拟网络和监控后台的网络隔离问题，可以实现网络隔离场景下虚拟机的监控；

(2)解决了不同私有网络内部虚拟IP相同导致监控服务无法区分的问题，通过合理的管理DHCP名称空间和Zabbix_br桥的连接关系，即便不同私有网络的内部虚拟IP相同也可以进行监控；

(3)不影响原有云的架构，基于OpenStack元数据服务机制，通过外挂转接桥，实现流量转发；

(4)先验信息依赖少，不需要知道虚拟机的用户名和密码，无需额外修改代理配置文件。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明的方案设计原理图。

图2为本发明的设计步骤流程图。

图3为本发明中的DHCP虚拟名称空间映射关系管理图。

图4为本发明中的监控流量转发流程图。

图5为本发明中的实例场景图。

具体实施方式

结合图1、图2，本发明的一种基于OpenStack元数据服务和虚拟转发网桥的云监控设计方法，包括以下步骤：

步骤1：构建OpenStack云环境，选择云服务器并配置物理网络，分别部署控制节点、计算节点；

(1)云服务器进行管理网络和业务网络的初始化配置；

(2)在控制节点部署认证、镜像、计算、网络和存储服务；

(3)在计算节点部署计算服务和网络Agent服务；

(4)云服务部署完成后，上传内置Zabbix Agent的云虚机镜像。

步骤2：如图3所示，在控制节点创建用于监控流量的转发网桥，配置相关信息；

(1)在控制节点创建Zabbix监控网桥Zabbix_br；

(2)设置Zabbix的IP地址；

步骤3：创建虚拟网络，并建立定制化DHCP虚拟名称空间

(1)基于云管理平台创建vxlan隔离网络；

(2)创建veth pair，并根据vxlan网络的DHCP命名空间UUID算出veth pair的映射IP，同时配置veth虚拟端口的IP地址；

(3)将UUID和IP的映射信息写入分配文件；

(4)将veth pair的一端加入vxlan DHCP名称空间，将另一端加入Zabbix_br监控网桥；

(5)基于SNAT和DNAT建立DHCP名称空间流量转发规则；

步骤4：构建基于Zabbix的监控服务，确保监控环境和云环境连通；

(1)选择一台服务器，安装Zabbix后台服务；

(2)创建虚拟操作***监控模板；

(3)设置监控模式为主动监控；

(4)配置虚拟机监控项，包括CPU、内存、磁盘、网络等；

步骤5：设置反向代理，将监控流量从虚拟监控网桥引入监控后台；

部署TCP反向代理，设置反向代理监听端口，模式为TCP，设置后端服务IP为根据Zabbix后台服务的IP地址，监听端口为Zabbix后台服务的端口；

步骤6：部署云虚拟机，配置监控代理。

(1)基于Zabbix agent镜像创建虚拟机，选择vxlan网络使得该虚拟机与云服务器网络和监控服务器隔离；

(2)进入虚拟机配置监控代理，设置ServerActive配置项为169.254.169.254地址。

(3)设置RefreshActiveChecks配置项指定读取频率；

(4)启动监控代理服务。

如图4所示，监控信息的流转过程从虚拟机内部开始，通过监控代理发往169.254.169.254特殊IP地址，从而进入虚拟机所在虚拟网络的DHCP名称空间，进入该空间后，通过SNAT和DNAT规则转发，通过DHCP名称空间一侧的veth虚拟网卡进入Zabbix_br网桥，由于TCP反向代理通过Zabbix_br网桥监听该地址和端口，一旦收到监控信息后，通过反向代理发送给后台监控服务，至此一次监控信息流转任务完成。

下面结合实施例对本发明做进一步详细的描述：

实施例：

下面结合一个真实云环境对本发明作进一步详细描述。该云环境主要由三台服务器和一台客户端组成，包含软件包括云管理平台、虚拟化平台、监控平台。部署如图5，服务器参数设置如下表1和表2：

表1

表2

通过构建上述真实云环境，并根据本发明设计方案构建监控平台，可以在虚拟机网络和Zabbix监控服务器网络不通的情况下，实现虚拟机内部监控代理将监控数据上报监控后台。具体验证方法如下：

首先，在测试虚拟机内部检测虚拟机是否和监控服务网络连通，可采用ping的方法测试，检测结果为二者网络不通；其次，登录监控服务，根据测试虚拟机IP检索该虚拟机的监控数据，检索结果为可以查看该虚拟机的监控数据，且根据配置更新速率实时更新监控数据。

测试结论表明本发明可以解决网络隔离场景下的虚拟机监控问题。

本发明提供了一种基于元数据服务和虚拟转发网桥的云监控方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (8)

1.一种基于元数据服务和虚拟转发网桥的云监控方法，其特征在于，包括如下步骤：

步骤1：构建OpenStack云环境，选择云服务器并配置物理网络，分别部署控制节点、计算节点；

步骤2：在控制节点创建用于转发监控流量的虚拟转发网桥，配置虚拟转发网桥相关信息；

步骤3：创建虚拟网络，并定制化DHCP虚拟名称空间；

步骤4：构建监控服务，用于接收虚拟机监控流量数据；

步骤5：设置反向代理，用于将监控流量从虚拟监控网桥引入监控服务；

步骤6：配置虚拟机监控代理，用于获取虚拟机内部监控数据并发送至监控服务。

2.根据权利要求1所述的方法，其特征在于，步骤1包括如下步骤：

步骤1-1，云服务器进行管理网络和业务网络的初始化配置；

步骤1-2，在控制节点部署认证、镜像、计算、网络和存储服务；

步骤1-3，在计算节点部署计算服务和网络agent服务；

步骤1-4，OpenStack云环境部署完成后，上传内置监控代理的云虚机镜像。

3.根据权利要求2所述的方法，其特征在于，步骤2包括如下步骤：

步骤2-1，在控制节点创建虚拟监控网桥Zabbix_br；

步骤2-2，设置虚拟转发网桥的IP地址为Zabbix_br_ip。

4.根据权利要求3所述的方法，其特征在于，步骤3包括如下步骤：

步骤3-1，基于OpenStack云环境创建vxlan隔离网络；

步骤3-2，创建一对虚拟设备接口veth pair，并根据vxlan隔离网络的DHCP命名空间UUID算出veth pair的映射IP为veth_ip；

步骤3-3，将UUID和IP地址的映射信息写入用于记录映射关系的配置文件；

步骤3-4，将虚拟设备接口veth pair的一端加入vxlan DHCP名称空间，将另一端加入Zabbix_br虚拟监控网桥，同时配置DHCP名称空间内部的veth虚拟端口IP地址为veth_ip；

步骤3-5，基于源地址转换SNAT和目的地址转换DNAT建立DHCP名称空间流量转发规则。

5.根据权利要求4所述的方法，其特征在于，步骤3-5中，所述转发规则为：

规则1：截获虚拟机内部发往目的地址169.254.169.254、目的端口为10051的监控流量，并修改传输报文的目的地址为监控网桥的地址Zabbix_br_ip，从而将流量引入监控网络；

规则2：进一步将目的地发往Zabbix_br_ip的监控报文源地址改为veth_ip，从而保证通过规则1流入监控的返回报文能够原路返回到虚拟机监控代理，形成通信闭环；

其中，Zabbix_br_ip是所述步骤2设置的监控网桥的IP地址，veth_ip是所述步骤3设置的veth虚拟端口IP地址。

6.根据权利要求5所述的方法，其特征在于，步骤4包括如下步骤：

步骤4-1，选择一台服务器，安装监控服务；

步骤4-2，创建虚拟操作***监控模板；

步骤4-3，配置虚拟机监控项，包括CPU、内存、磁盘、网络。

7.根据权利要求6所述的方法，其特征在于，步骤5包括：部署TCP反向代理，设置反向代理监听端口，模式为TCP，设置后端服务IP为根据监控服务的IP地址，监听端口为监控服务的端口。

8.根据权利要求7所述的方法，其特征在于，步骤6包括如下步骤：

步骤6-1，基于Zabbix agent云虚机镜像创建虚拟机，选择vxlan隔离网络使得所述虚拟机与Zabbix监控服务所在网络隔离；

步骤6-2，配置监控代理配置文件，设置主动模式下的监控服务端IP地址ServerActive配置项为169.254.169.254地址；

步骤6-3，设置被监控端到服务器获取监控项的周期RefreshActiveChecks配置项指定读取频率；

步骤6-4，启动监控代理服务。