CN102801587A - 面向大规模网络的虚拟化监测***与动态监测方法 - Google Patents

面向大规模网络的虚拟化监测***与动态监测方法 Download PDF

Info

Publication number
CN102801587A
CN102801587A CN201210312807XA CN201210312807A CN102801587A CN 102801587 A CN102801587 A CN 102801587A CN 201210312807X A CN201210312807X A CN 201210312807XA CN 201210312807 A CN201210312807 A CN 201210312807A CN 102801587 A CN102801587 A CN 102801587A
Authority
CN
China
Prior art keywords
monitoring point
monitoring
module
measuring
measuring probe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210312807XA
Other languages
English (en)
Other versions
CN102801587B (zh
Inventor
金跃辉
杨谈
孙宏君
崔毅东
常晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201210312807.XA priority Critical patent/CN102801587B/zh
Publication of CN102801587A publication Critical patent/CN102801587A/zh
Application granted granted Critical
Publication of CN102801587B publication Critical patent/CN102801587B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种面向大规模网络的虚拟化监测***与方法,***设有一个中心平台和通过网络连接中心平台的多个测量探针。中心平台负责统一规划和管理整个网络中测量探针的拓扑结构,自动部署测量探针,并结合业务和用户需求选择监测点与下发测量任务;监测过程中,根据测量探针的实时资源利用信息灵活、及时调整监测点位置。测量探针在测量过程中实时上报资源利用状态信息,根据中心平台命令采取相应操作。本发明解决了大规模网络的监测、监测点资源信息的采集、监测点位置的实时调整和用户如何选择监测点的策略等问题,能用较少的监测点覆盖网络的全部链路,有效提高了测量探针的采集速度、效率和采集数据的准确性。因此,本发明有很好的推广应用前景。

Description

面向大规模网络的虚拟化监测***与动态监测方法
技术领域
本发明涉及一种用于大规模IP网络监测的虚拟化监测***与其动态监测方法,属于大规模计算机网络和分布式数据采集***与采集方法的技术领域。
背景技术
随着各种网络技术的快速发展与产品的普及,以及用户和业务种类的不断增加,网络变得越来越复杂。而且,与日俱增的用户和应用,导致网络负担沉重,从而引起网络性能下降,这就提出必须要对网络的性能指标进行提取和分析的问题。因为网络性能的各项数据对于分析网络行为、了解网络现状及其故障、规划新业务等都有很重要的参考价值。
由于现今的计算机网络复杂且庞大,对其进行实时监测具有相当难度,所以尽快研制一种面向大规模网络的监测***和方法具有非常重要和紧迫的意义。如何根据具体监测环境,准确、灵活地部署监测任务,并尽量减少人工干预,对于计算机网络的性能监测是非常关键的。由于网络***庞大,只有在该网络中设置或部署多个测量探针,才能够使得收集到的网络中的性能参数比较贴近实际状况。此外,还要由中心平台对这些数量众多的测量探针进行宏观调控。由服务器或者集群***组成的中心平台还要能够按照相关业务与用户的需求,在网络中选择合适的监测点来采集各种不同的网络性能指标;且在采集过程中,中心平台还必须具备这样的功能:随着探针资源利用状态的变化而灵活调整监测点位置。
但是,现有技术是:网络性能监测点一旦部署结束,以后在执行任务的过程中,其位置都是不再移动的,即在用户初始选择和设置监测点后,被选择的探针从开始执行测量任务直到监测任务结束,其位置是固定不变的。然而,在现实世界中,网络的工作或生存环境是复杂和多变的,业务的变化或网络拓扑的改变都可能引起测量探针性能的改变。当测量探针的可用资源不足时,采集的网络性能参数很可能出现相应偏差。因此,现有技术的监测方式很难满足大规模网络监测的需求。因此,如何对上述课题进行改进和提高,就成为业内科技人员关注的焦点课题,并为此进行了大量的研究和探索。
下面先介绍本发明使用的相关技术术语的涵义或定义:
虚拟化监测***:一种面向大规模网络、并以监测拓扑部署及其管理为主要功能的分布式***,用于完成监测大规模计算机网络、自动部署测量探针和动态调整监测点位置等功能,以便为用户提供所需的网络监测环境。
动态监测:一种监测大规模网络的方式,其特点是在监测过程中可随着探针资源利用状态的变化而灵活地调整各个监测点的部署位置。
中心平台:由单个服务器或服务器集群所组成,用于执行网络监测***的部署、调度与控制的功能。
测量探针:运行在PC实体机或虚拟机上的装置,用于执行测量任务,收集业务和网络性能指标并上传给中心平台。
XEN:由剑桥大学研发的一种开放源代码虚拟机监视器,它能在单个计算机上运行多个具有完全功能的操作***,且无需特殊硬件支持,就能达到高性能的虚拟化。
JSON(JavaScript Object Notation):一种轻量级的数据交换格式,基于JavaScript(Standard ECMA-2623rd Edition-December 1999)的一个子集。JSON采用完全独立于语言的文本格式,但其也使用了类似于C语言家族(包括C,C++,C#,Java,JavaScript,Perl,Python等)的习惯;这些特性使得JSON成为理想的数据交换语言,既便于程序员的阅读和编写,同时也易于机器解析和生成。
蚁群算法ACO(ant colony optimization):又称为蚂蚁算法,是一种用于在图中寻找优化路径的机率型算法。由Marco Dorigo于1992年在其博士论文中提出,其灵感来源于蚂蚁在寻找食物过程中发现路径的行为。蚁群算法是一种模拟进化算法,初步的研究表明:该算法具有许多优良性质。针对PID控制器参数优化设计问题,将蚁群算法与遗传算法的两种设计结果进行比较,其数值仿真表明:蚁群算法作为一种模拟进化的新优化方法,其功效明显并有应用价值。
发明内容
有鉴于此,本发明的目的是提供一种面向大规模网络的虚拟化监测***与其动态监测方法,用于解决现有的网络监测技术不能因监测环境的变化而实时改变监测点位置的不足,本发明***可以实时获取每个测量探针的资源状态信息,并在测量探针出现资源不足的情况下,灵活地调整监测点的位置,以获取精准的网络性能及其运行的业务状态信息。
为了达到上述发明目的,本发明提供了一种面向大规模网络的虚拟化监测***,所述监测***支持多种业务和网络性能数据的采集与分析,且该网络中能够部署和控制多个用于监测该网络和业务性能的测量探针;其特征在于:所述监测***在监测网络时,能根据测量探针的状态,实时、灵活地调整各个监测点位置,以获取精准的网络性能及其运行的业务状态信息;该***由一个中心平台和多个测量探针所组成;其中,
中心平台,设置在服务器的动态监测平台上,用作该监测***的控制中心,负责收集和呈现整个网络的拓扑架构,并根据业务和用户的需求,自动选择监测点的位置和对各个节点自动部署测量探针,并实时获取测量探针的资源利用状态信息,再结合测量探针的资源变化,自动调整监测点的位置;设有下述部件:指定监测点模块、自动选择监测点模块、修改监测点模块、自动部署模块、任务调度模块、探针状态监测模块和通信模块;
测量探针,设置于该网络中的包括小型嵌入式***、PC机或虚拟机的电脑装置,负责接收和执行来自中心平台的命令:自动安装测量软件和/或执行测量任务,获取相应的业务状态与网络性能的指标;并采集本身资源利用状态信息,再上传给中心平台;设有下述部件:测量模块,资源信息上报模块和通信模块。
所述中心平台的各个模块功能如下:
指定监测点模块,用于在***自动选择监测点以前,接受用户设定的一个或多个监测点作为必选的监测点,并将设定结果发送到自动选择监测点模块;所述必选的监测点位于易出故障或重要性较高的网络链路中,以避免***选择监测点时,遗漏这些节点而造成监测结果欠准确的差错;
自动选择监测点模块,作为中心平台选择监测点的控制核心,采用改进的蚁群算法,根据网络拓扑和用户业务需求,再结合用户在指定监测点模块中已经设定的监测点数量与分布范围,以及用户设定的监测点数量范围,智能地自动选择数量适宜和分布均匀、合理的监测点来覆盖整个网络,并将其选择的监测点加入到从指定监测点模块接收的监测点集合中,然后将监测点集合发送到修改监测点模块;
修改监测点模块,负责根据用户意见修改监测点集合:或增添监测点,填补网络覆盖的遗漏或缺陷,或删减监测点,以使监测点的分布更合理;并在接受用户对监测点集合进行增删操作时,实时提供相应提示、告警或禁止该操作,防止发生意外或对该监测***造成破坏;
自动部署模块,当所选择的监测点集合中的节点未部署测量软件时,由该自动部署模块接受中心平台的指令而执行测量探针及其软件的自动部署:先对准备用作测量探针的电脑装置进行依赖检测,当确定该电脑装置的环境能够安装测量探针软件时,则在无需人工干预的条件下,将测量探针软件自动部署到该电脑装置中,并在完成部署后,将最终监测点集合发送到任务调度模块;
探针状态监测模块,负责实时收集测量探针的包括负载、CPU利用率和内存利用率的资源利用状态信息,并将这些信息存储于数据库中;在执行测量任务过程中,该模块每次接收到测量探针的状态信息时,都要计算在该时间段内的负载数值,当负载超出设定阈值,就立即告警和修改数据库中节点的状态信息,并以WEB方式显示,同时进入监测点的自动调整流程;
任务调度模块,负责下发初始监测时的测量任务,并在测量任务执行过程中对资源不足的监测点进行调度:接收到最终监测点集合后,该模块对监测点进行合理选择和分配,并下发相应的测量任务;当***发现有节点资源不足时,就停止该测量探针的测量任务,同时给新选的监测点下发相同配置的测量任务;
通信模块,负责连接多个测量探针并与其通信:包括自动部署测量探针时发送测量软件,接收测量探针资源利用状态信息和网络性能数据,以及中心平台与测量探针之间各种交互控制信息的收发。
所述修改监测点模块在用户增删监测点时,实时提示该监测点和/或相应节点对于网络的重要性的用户权重值;且在用户删除监测点时,该修改监测点模块根据该节点或监测点的对应权重值进行判断,若删除的节点或监测点属于网络中的骨干节点、即权重高的节点时,该修改监测点模块就发出告警或禁止执行该操作。
所述测量探针的各个模块功能如下:
资源信息上报模块,负责实时采集测量探针的资源利用情况,即每隔设定时间段,该模块采用LINUX***下的算法计算该测量探针的包括负载、CPU利用率和内存利用率的探针资源利用状态信息,并将该信息封装为JSON的形式通过通信模块上报给中心平台;
测量模块,作为测量探针的控制核心,负责解析该测量探针接收到的网络数据包,以获取包括时延、丢包和抖动的网络性能参数,同时,针对不同的业务需求,获取包括视频业务中的MDI和PCR参数的相应业务指标;该模块对网络的负载影响很小:其产生的测量数据流量不超过物理带宽的5%;
通信模块,负责连接中心平台并与其通信:包括自动部署测量探针时接收测量软件,发送测量探针资源利用状态信息和网络性能数据,以及中心平台与测量探针之间各种交互控制信息的收发。
为了达到上述发明目的,本发明还提供了一种采用本发明虚拟化监测***的动态监测方法,其特征在于:所述方法包括下列操作步骤:
(1)中心平台采用树形结构呈现整个网络的拓扑架构,且在该拓扑图中,每个节点根据其在该拓扑图中的重要程度而被赋予相应的权重标注值;
(2)中心平台的指定监测点模块接收用户指定的多个监测点作为本次监测任务中的必选监测点;
(3)自动选择监测点模块自动执行选择监测点的操作,且所选择的监测点数量在用户设定的范围内;再将这些监测点与用户指定的多个监测点一起组成监测点集合,然后,将该监测点集合传送给修改监测点模块;
(4)修改监测点模块得到该监测点集合后,根据用户判断或实际需要对监测点进行增删修改,使其分布更合理、均匀而得到最终的监测点集合;
(5)自动部署模块对该最终的监测点集合中尚未部署测量软件的节点执行自动部署测量软件的操作,若部署失败,则返回执行步骤(4);若部署成功,则执行后续步骤(6);
(6)中心平台根据其接收的用户测量任务,由任务调度模块给各个监测点下发其测量任务;
(7)在执行测量任务时,探针状态监测模块实时接收和分析每个测量探针上传的资源利用状态信息,当检测到有探针出现资源不足的信息时,中心平台自动启动各个模块重新选取用于替换的监测点,并由任务调度模块停止资源不足的测量探针的任务,再给所选择的替换监测点下发测量任务;且在整个监测过程中,***循环执行该步骤的各项操作,直到完成测量任务,流程结束。
所述步骤(7)包括下列操作内容:
(71)测量探针按照设定周期实时采集自身的资源利用状态信息,并封装成JSON的格式的数据包发送到中心平台;
(72)中心平台解析该数据包,将获取的每个测量探针资源利用状态信息存入数据库,并对设定时间内的数据进行分析,当检测到有测量探针出现资源不足的信息时,执行后续步骤(73);否则,返回执行步骤(71);
(73)中心平台自动启动相应模块,根据下述两个原则:一是替换后的监测链路与原先的监测链路相比较,其改动应尽可能小;二是替换后对整个监测任务的影响尽可能小;优先选择资源不足的监测点的邻居节点、或直接与该资源不足的监测点相连接的节点用作替换的监测点;
(74)中心平台的任务调度模块命令资源不足的测量探针停止执行测量任务,并在获取该测量任务的配置信息后,根据该配置信息给新的监测点下发测量任务;返回执行步骤(71)。
本发明具有下述有益效果:本发明***能够面向大规模的网络对业务与业务网进行智能化的监测,且在监测过程中,支持测量探针的自动部署,能够大幅提高了测量探针的部署效率;也支持监测点位置的自动选择和实时调整,即及时发现资源不足的测量探针,并对监测点位置自动进行相应调整,从而避免了因测量探针资源不足而影响网络性能数据采集的问题。本发明***采用改进后的蚁群算法,能够用较少的监测点覆盖网络的全部链路,有效地提高了测量探针的采集速度、效率和采集数据的准确性。因此,本发明具有很好的推广应用前景。
附图说明
图1是本发明面向大规模网络的虚拟化监测***的结构组成和数据流示意图。
图2是本发明面向大规模网络的虚拟化监测***的动态监测方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合附图和实施例对本发明作进一步的详细描述。
本发明是一种面向大规模网络测量的虚拟化监测***,由中心平台和测量探针两种装置组成的该监测***,支持多种业务和网络性能参数的采集与分析,且该网络中能够部署和控制多个用于监测该网络和业务性能的测量探针。在监测网络时,本发明监测***能够根据测量探针的状态,实时、灵活地调整各个监测点位置,以获取精准的网络性能及其运行的业务状态信息。
参见图1,介绍本发明监测***的结构组成部件:一个作为该监测***的控制中心的中心平台和通过网络与其通信的多个测量探针。其中,
中心平台,设置在服务器的动态监测平台上,负责收集和呈现整个网络的拓扑结构,并根据业务和用户的需求,自动选择监测点的位置和对各个节点自动部署测量探针,实时获取测量探针的资源状态信息,再结合测量探针的资源变化,自动调整监测点的位置;该中心平台设有:指定监测点模块、自动选择监测点模块、修改监测点模块、自动部署模块、任务调度模块、探针状态监测模块和通信模块。各模块功能介绍如下:
指定监测点模块:用于在***自动选择监测点以前,接受用户设定的一个或多个监测点作为必选的监测点,并将设定结果发送到自动选择监测点模块。且用户设定的必选监测点应该位于易出故障或重要性较高的网络链路中,以避免***选择监测点时,遗漏这些节点而造成监测结果欠准确的差错。
自动选择监测点模块:作为中心平台选择监测点的控制核心,采用改进的蚁群算法,根据网络拓扑和用户业务需求,再结合用户在指定监测点模块中已经设定的监测点数量与分布范围,以及用户设定的监测点数量范围,自动智能选择数量适宜和分布均匀、合理的监测点来覆盖整个网络,并将其选择的监测点加入到从指定监测点模块接收的监测点集合中,然后将监测点集合发送到修改监测点模块;
修改监测点模块:负责根据用户意见相应增添监测点,即修改监测点集合,填补网络覆盖的遗漏或缺陷,使得监测点的分布更合理;且在接受用户对监测点集合进行增删操作时,实时提供相应提示该监测点和/或相应节点对于网络的重要性的用户权重值(数据库中存储有每个节点对于网络的重要性的权重值),且在用户删除监测点时,该修改监测点模块根据该节点或监测点的对应权重值进行判断,若删除的节点或监测点属于网络中的骨干节点、即权重高的节点时,该修改监测点模块就发出告警、或禁止执行该操作,防止发生意外或对该监测***造成破坏。
自动部署模块:当所选择的监测点集合中的节点未部署测量软件时,由该自动部署模块接受中心平台的指令,执行测量探针及其软件的自动部署:先对准备用作测量探针的电脑装置进行依赖检测,当确定该电脑装置的环境能够安装测量探针软件时,则在无需人工干预的条件下,将测量探针软件自动部署到该电脑装置中,并在完成部署后,将最终监测点集合发送到任务调度模块。
探针状态监测模块:负责实时收集测量探针的包括负载、CPU利用率和内存利用率的资源利用状态信息,并将这些信息存储于数据库中;在执行测量任务过程中,该探针状态监测模块每次接收到测量探针的资源利用状态信息时,都要计算在该时间段内的负载,当负载超出设定阈值,就立即告警和修改数据库中节点的状态信息,并以WEB方式显示,同时进入监测点的自动调整流程。
任务调度模块:负责下发初始监测时的测量任务,并在测量任务执行过程中对资源不足的监测点进行调度:接收到最终监测点集合后,该任务调度模块合理选择和分配监测点,并下发相应的测量任务;当***发现有节点资源不足时,就停止该测量探针的测量任务,同时给新选择的监测点下发相同配置的测量任务。
通信模块:负责连接每个测量探针并与其通信:包括自动部署测量探针时发送测量软件,接收测量探针资源利用状态信息和网络性能数据,以及中心平台与每个测量探针之间各种交互控制信息的收发。
测量探针,设置于该网络中的包括小型嵌入式***、PC机或虚拟机的电脑装置,负责接收和执行来自中心平台的命令:自动安装测量软件和/或执行测量任务,获取相应的业务状态与网络性能的指标;并采集本身资源利用状态信息,再上传给中心平台;测量探针设有下述组成部件:测量模块,资源信息上报模块和通信模块。各模块功能介绍如下:
资源信息上报模块:负责采集测量探针实时的资源利用情况,即每隔设定时间段,该资源信息上报模块采用LINUX***下的算法计算该测量探针的包括负载、CPU利用率和内存利用率的探针资源利用状态信息,并将该信息封装为JSON的形式通过通信模块上报给中心平台。
测量模块:作为测量探针的控制核心,负责解析该测量探针接收到的网络数据包,以获取包括时延、丢包和抖动的网络性能参数;同时,针对不同的业务需求,获取包括视频业务中的MDI和PCR参数的相应业务指标;该测量模块对网络的负载影响很小:其产生的测量数据流量不超过物理带宽的5%。
通信模块:负责连接中心平台并与其通信:包括自动部署测量探针时接收测量软件,发送测量探针资源利用状态信息和网络性能参数,以及中心平台与测量探针之间各种交互控制信息的收发。
本发明***不仅支持采集和分析多种网络性能参数,还在信息传输过程中执行负载均衡策略,支持监测过程中测量探针的动态加入与退出,以使多个测量探针能够动态生成最优的监测拓扑,降低因测量数据增加的网络负载和流量。
本发明还提供了一种面向大规模网络的虚拟化监测***的动态监测方法:先由中心平台呈现整个网络的拓扑架构,该拓扑架构中的每个节点根据其在网络中的重要程度被赋予一个权值,该权值对用户指定监测点具有指导意义;接着,***先进入指定监测点阶段:***接收用户选取的多个监测点作为本次监测过程中的必选监测点,然后,***进入自动选择监测点阶段:由自动选择监测点模块提供设定数量的监测点,并加入监测点集合后,被传送给修改监测点模块;修改监测点模块根据用户判断或实际需要,对监测点集合进行相应修改,使监测点分布更趋合理、均匀;再由任务调度模块根据分布的不同监测点,选取测量任务的发起方和接收方;且在任务执行时,探针状态监测模块实时获取并分析测量探针上报的资源利用状态信息,当检测到有测量探针出现资源不足的信息时,中心平台及时地自动重新选取监测点,同时调用任务调度模块,停止资源不足的节点的测量任务,并给新监测点下发测量任务。
参见图2,介绍本发明方法的具体操作步骤:
步骤1,中心平台采用树形结构呈现整个网络的拓扑架构,且在该拓扑图中,每个节点根据其在该拓扑图中的重要程度而被赋予相应的权重标注值。
步骤2,中心平台的指定监测点模块通过接收用户的输入结果,指定一个或多个监测点作为本次监测任务中必选的监测点。***还接收用户输入的一个设定数值范围作为本次测量任务中的监测点数量。若用户的设定不合理,***将提示用户进行修改。
步骤3,***接受指定监测点模块选定的监测点集合,并通过自动选择监测点模块自动执行选择监测点的操作,所选择的监测点数量应在用户的设定范围内,并能覆盖网络中绝大部分链路。然后,***将选择出的这些监测点与用户指定的监测点一起组成监测点集合,再将该监测点集合传送给修改监测点模块。
步骤4,修改监测点模块得到***提供的监测点集合后,根据用户判断或实际需要,接收用户的输入对监测点进行增删修改,使其分布更合理、均匀而得到最终的监测点集合,再将该集合发送往自动部署模块。***在删减时,会设定一个阈值,一旦用户修改过多(例如选择了几乎所有的监测点或删除了几乎所有的监测点)时,能够及时防止用户的错误操作。
步骤5,中心平台的自动部署模块对该最终的监测点集合进行判断:是否全部部署有测量软件,若部署失败(存在有未部署测量软件的节点),则返回执行步骤4、即调用自动部署模块对未部署测量软件的节点进行自动部署;若部署成功,则将监测点集合发送到任务调度模块,执行后续步骤6。
步骤6,中心平台根据其接收的用户测量任务(例如执行测量的时间,任务的发起方与接收方等),由任务调度模块给各个监测点下发其测量任务。
步骤7,在测量任务执行过程中,探针状态监测模块实时接收和分析每个测量探针上传的资源利用状态信息,当检测到有测量探针出现资源不足的情况时,中心平台自动启动各个模块重新选取用于替换的监测点,并由任务调度模块停止资源不足的测量探针的测量任务,再给所选择的替换监测点下发测量任务;且在整个监测过程中,***循环执行该步骤的各项操作,直到完成测量任务,流程结束。该步骤包括下列操作内容:
(71)测量探针按照设定周期实时采集自身的资源利用状态信息,并封装成JSON的格式的数据包发送到中心平台;
(72)中心平台解析该JSON数据包,将获取的每个测量探针资源利用状态信息存入数据库,并对设定时间内的数据进行分析,当检测到有测量探针出现资源不足的信息时,执行后续步骤(73);否则,返回执行步骤(71);
(73)中心平台自动启动相应模块选取替换监测点,根据下述两个选择原则:一是替换后的监测链路与原先的监测链路相比较,其改动应尽可能小;二是替换后对整个监测任务的影响尽可能小;***优先选择资源不足的监测点的邻居节点、或直接与该资源不足的监测点相连接的节点用作替换的监测点;
(74)中心平台的任务调度模块命令资源不足的测量探针停止执行测量任务,并在获取该测量任务的配置信息后,根据该配置信息给新选择的监测点下发测量任务;返回执行步骤(71)。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (7)

1.一种面向大规模网络的虚拟化监测***,所述监测***支持多种业务和网络性能数据的采集与分析,且该网络中能够部署和控制多个用于监测该网络和业务性能的测量探针;其特征在于:所述监测***在监测网络时,能根据测量探针的状态,实时、灵活地调整各个监测点位置,以获取精准的网络性能及其运行的业务状态信息;该***由一个中心平台和多个测量探针所组成;其中,
中心平台,设置在服务器的动态监测平台上,用作该监测***的控制中心,负责收集和呈现整个网络的拓扑架构,并根据业务和用户的需求,自动选择监测点的位置和对各个节点自动部署测量探针,并实时获取测量探针的资源利用状态信息,再结合测量探针的资源变化,自动调整监测点的位置;设有下述部件:指定监测点模块、自动选择监测点模块、修改监测点模块、自动部署模块、任务调度模块、探针状态监测模块和通信模块;
测量探针,设置于该网络中的包括小型嵌入式***、PC机或虚拟机的电脑装置,负责接收和执行来自中心平台的命令:自动安装测量软件和/或执行测量任务,获取相应的业务状态与网络性能的指标;并采集本身资源利用状态信息,再上传给中心平台;设有下述部件:测量模块,资源信息上报模块和通信模块。
2.根据权利要求1所述的监测***,其特征在于:所述中心平台的各个模块功能如下:
指定监测点模块,用于在***自动选择监测点以前,接受用户设定的一个或多个监测点作为必选的监测点,并将设定结果发送到自动选择监测点模块;所述必选的监测点位于易出故障或重要性较高的网络链路中,以避免***选择监测点时,遗漏这些节点而造成监测结果欠准确的差错;
自动选择监测点模块,作为中心平台选择监测点的控制核心,采用改进的蚁群算法,根据网络拓扑和用户业务需求,再结合用户在指定监测点模块中已经设定的监测点数量与分布范围,以及用户设定的监测点数量范围,智能地自动选择数量适宜和分布均匀、合理的监测点来覆盖整个网络,并将其选择的监测点加入到从指定监测点模块接收的监测点集合中,然后将监测点集合发送到修改监测点模块;
修改监测点模块,负责根据用户意见修改监测点集合:或增添监测点,填补网络覆盖的遗漏或缺陷,或删减监测点,以使监测点的分布更合理;并在接受用户对监测点集合进行增删操作时,实时提供相应提示、告警或禁止该操作,防止发生意外或对该监测***造成破坏;
自动部署模块,当所选择的监测点集合中的节点未部署测量软件时,由该自动部署模块接受中心平台的指令而执行测量探针及其软件的自动部署:先对准备用作测量探针的电脑装置进行依赖检测,当确定该电脑装置的环境能够安装测量探针软件时,则在无需人工干预的条件下,将测量探针软件自动部署到该电脑装置中,并在完成部署后,将最终监测点集合发送到任务调度模块;
探针状态监测模块,负责实时收集测量探针的包括负载、CPU利用率和内存利用率的资源利用状态信息,并将这些信息存储于数据库中;在执行测量任务过程中,该模块每次接收到测量探针的状态信息时,都要计算在该时间段内的负载数值,当负载超出设定阈值,就立即告警和修改数据库中节点的状态信息,并以WEB方式显示,同时进入监测点的自动调整流程;
任务调度模块,负责下发初始监测时的测量任务,并在测量任务执行过程中对资源不足的监测点进行调度:接收到最终监测点集合后,该模块对监测点进行合理选择和分配,并下发相应的测量任务;当***发现有节点资源不足时,就停止该测量探针的测量任务,同时给新选的监测点下发相同配置的测量任务;
通信模块,负责连接多个测量探针并与其通信:包括自动部署测量探针时发送测量软件,接收测量探针资源利用状态信息和网络性能数据,以及中心平台与测量探针之间各种交互控制信息的收发。
3.根据权利要求2所述的监测***,其特征在于:所述修改监测点模块在用户增删监测点时,实时提示该监测点和/或相应节点对于网络的重要性的用户权重值;且在用户删除监测点时,该修改监测点模块根据该节点或监测点的对应权重值进行判断,若删除的节点或监测点属于网络中的骨干节点、即权重高的节点时,该修改监测点模块就发出告警或禁止执行该操作。
4.根据权利要求1所述的监测***,其特征在于:所述测量探针的各个模块功能如下:
资源信息上报模块,负责实时采集测量探针的资源利用情况,即每隔设定时间段,该模块采用LINUX***下的算法计算该测量探针的包括负载、CPU利用率和内存利用率的探针资源利用状态信息,并将该信息封装为JSON的形式通过通信模块上报给中心平台;
测量模块,作为测量探针的控制核心,负责解析该测量探针接收到的网络数据包,以获取包括时延、丢包和抖动的网络性能参数,同时,针对不同的业务需求,获取包括视频业务中的MDI和PCR参数的相应业务指标;该模块对网络的负载影响很小:其产生的测量数据流量不超过物理带宽的5%;
通信模块,负责连接中心平台并与其通信:包括自动部署测量探针时接收测量软件,发送测量探针资源利用状态信息和网络性能数据,以及中心平台与测量探针之间各种交互控制信息的收发。
5.根据权利要求1所述的监测***,其特征在于:所述***不仅支持采集和分析多种网络性能参数,还在信息传输过程中执行负载均衡策略,支持监测过程中测量探针的动态加入与退出,以使多个测量探针能够动态生成最优的监测拓扑,降低因测量数据增加的网络负载和流量。
6.一种采用权利要求1所述的虚拟化监测***的动态监测方法,其特征在于:所述方法包括下列操作步骤:
(1)中心平台采用树形结构呈现整个网络的拓扑架构,且在该拓扑图中,每个节点根据其在该拓扑图中的重要程度而被赋予相应的权重标注值;
(2)中心平台的指定监测点模块接收用户指定的多个监测点作为本次监测任务中的必选监测点;
(3)自动选择监测点模块自动执行选择监测点的操作,且所选择的监测点数量在用户设定的范围内;再将这些监测点与用户指定的多个监测点一起组成监测点集合,然后,将该监测点集合传送给修改监测点模块;
(4)修改监测点模块得到该监测点集合后,根据用户判断或实际需要对监测点进行增删修改,使其分布更合理、均匀而得到最终的监测点集合;
(5)自动部署模块对该最终的监测点集合中尚未部署测量软件的节点执行自动部署测量软件的操作,若部署失败,则返回执行步骤(4);若部署成功,则执行后续步骤(6);
(6)中心平台根据其接收的用户测量任务,由任务调度模块给各个监测点下发其测量任务;
(7)在执行测量任务时,探针状态监测模块实时接收和分析每个测量探针上传的资源利用状态信息,当检测到有探针出现资源不足的信息时,中心平台自动启动各个模块重新选取用于替换的监测点,并由任务调度模块停止资源不足的测量探针的任务,再给所选择的替换监测点下发测量任务;且在整个监测过程中,***循环执行该步骤的各项操作,直到完成测量任务,流程结束。
7.根据权利要求6所述的动态监测方法,其特征在于:所述步骤(7)包括下列操作内容:
(71)测量探针按照设定周期实时采集自身的资源利用状态信息,并封装成JSON的格式的数据包发送到中心平台;
(72)中心平台解析该数据包,将获取的每个测量探针资源利用状态信息存入数据库,并对设定时间内的数据进行分析,当检测到有测量探针出现资源不足的信息时,执行后续步骤(73);否则,返回执行步骤(71);
(73)中心平台自动启动相应模块,根据下述两个原则:一是替换后的监测链路与原先的监测链路相比较,其改动应尽可能小;二是替换后对整个监测任务的影响尽可能小;优先选择资源不足的监测点的邻居节点、或直接与该资源不足的监测点相连接的节点用作替换的监测点;
(74)中心平台的任务调度模块命令资源不足的测量探针停止执行测量任务,并在获取该测量任务的配置信息后,根据该配置信息给新的监测点下发测量任务;返回执行步骤(71)。
CN201210312807.XA 2012-08-29 2012-08-29 面向大规模网络的虚拟化监测***与动态监测方法 Expired - Fee Related CN102801587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210312807.XA CN102801587B (zh) 2012-08-29 2012-08-29 面向大规模网络的虚拟化监测***与动态监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210312807.XA CN102801587B (zh) 2012-08-29 2012-08-29 面向大规模网络的虚拟化监测***与动态监测方法

Publications (2)

Publication Number Publication Date
CN102801587A true CN102801587A (zh) 2012-11-28
CN102801587B CN102801587B (zh) 2014-09-17

Family

ID=47200559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210312807.XA Expired - Fee Related CN102801587B (zh) 2012-08-29 2012-08-29 面向大规模网络的虚拟化监测***与动态监测方法

Country Status (1)

Country Link
CN (1) CN102801587B (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103078759A (zh) * 2013-01-25 2013-05-01 北京润通丰华科技有限公司 计算节点的管理方法及装置、***
CN103559108A (zh) * 2013-11-11 2014-02-05 中国科学院信息工程研究所 一种基于虚拟化实现主备故障自动恢复的方法及***
CN104462387A (zh) * 2014-12-10 2015-03-25 成都思邦力克科技有限公司 用户数据监测网络服务器
CN104836819A (zh) * 2014-02-10 2015-08-12 阿里巴巴集团控股有限公司 动态负载均衡的方法、***及监控调度设备
CN104936216A (zh) * 2015-06-19 2015-09-23 饶品魁 一种基于LTE-A网络的CoMP监测***
CN104980968A (zh) * 2015-06-19 2015-10-14 饶品魁 一种基于LTE-A网络的CoMP监测方法
CN105281967A (zh) * 2014-06-20 2016-01-27 北京神州泰岳软件股份有限公司 一种数据采集方法和***
CN105306305A (zh) * 2015-11-12 2016-02-03 中国电子科技集团公司第三十研究所 一种移动无线网络流量数据采集方法及装置
CN105490851A (zh) * 2014-12-26 2016-04-13 成都科来软件有限公司 一种网络流量的监测方法及装置
CN106921533A (zh) * 2015-12-25 2017-07-04 清华大学 一种测量网络性能的方法、装置及***
CN107306190A (zh) * 2016-04-18 2017-10-31 北京万合鸿瑞科技有限公司 一种基于vmware虚拟化的计算资源拓扑***
CN107305471A (zh) * 2016-04-18 2017-10-31 北京万合鸿瑞科技有限公司 一种基于vmware虚拟化的存储资源拓扑***
CN107306191A (zh) * 2016-04-18 2017-10-31 北京万合鸿瑞科技有限公司 一种基于vmware虚拟化的网络资源拓扑***
CN107370612A (zh) * 2016-05-12 2017-11-21 中兴通讯股份有限公司 一种网络质量管理***检测任务调度方法、装置
WO2017206678A1 (zh) * 2016-06-02 2017-12-07 中兴通讯股份有限公司 信息的获取方法及装置
CN107483297A (zh) * 2017-10-11 2017-12-15 飞思达技术(北京)有限公司 对嵌入式设备上所承载业务质量的主动监测***及方法
CN108900386A (zh) * 2018-08-10 2018-11-27 北京金山云网络技术有限公司 告警信息的产生方法、装置及电子设备
CN110958227A (zh) * 2015-02-04 2020-04-03 英特尔公司 用于虚拟化网络的可扩缩安全架构的技术
CN111078537A (zh) * 2019-11-29 2020-04-28 珠海金山网络游戏科技有限公司 Unity游戏bundle包资源划分的评估方法
CN111740857A (zh) * 2020-05-29 2020-10-02 新华三信息安全技术有限公司 网络质量分析nqa配置的下发方法及装置
CN111970151A (zh) * 2020-08-21 2020-11-20 中国建设银行股份有限公司 虚拟及容器网络的流量故障定位方法及***
US11132109B2 (en) 2019-05-08 2021-09-28 EXFO Solutions SAS Timeline visualization and investigation systems and methods for time lasting events
US11138163B2 (en) 2019-07-11 2021-10-05 EXFO Solutions SAS Automatic root cause diagnosis in networks based on hypothesis testing
CN113973127A (zh) * 2020-07-24 2022-01-25 中移(苏州)软件技术有限公司 一种网络部署方法、装置及存储介质
CN114095393A (zh) * 2022-01-20 2022-02-25 北京天维信通科技有限公司 自动挂载检测探针的sd-wan新建隧道节点监测方法
CN114257486A (zh) * 2020-11-29 2022-03-29 赣南师范大学 面向物联网的网络性能管理测量探针的实现方法
CN112994972B (zh) * 2021-02-02 2022-05-20 成都卓源网络科技有限公司 一种分布式探针监测平台
CN115174448A (zh) * 2022-05-20 2022-10-11 复旦大学 一种基于容器的网络探针管控方法
US11522766B2 (en) 2020-02-12 2022-12-06 EXFO Solutions SAS Method and system for determining root-cause diagnosis of events occurring during the operation of a communication network
CN115550211A (zh) * 2021-06-29 2022-12-30 青岛海尔科技有限公司 网络连接质量的探测方法、装置、存储介质和电子装置
US11645293B2 (en) 2018-12-11 2023-05-09 EXFO Solutions SAS Anomaly detection in big data time series analysis
US11736339B2 (en) 2018-10-31 2023-08-22 EXFO Solutions SAS Automatic root cause diagnosis in networks

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020177448A1 (en) * 2001-03-20 2002-11-28 Brian Moran System and method for wireless data performance monitoring
CN1588881A (zh) * 2004-07-01 2005-03-02 北京邮电大学 Ip网络服务质量管理***中闭环反馈的控制方法和装置
CN101594260B (zh) * 2008-05-27 2011-10-05 上海阿尔卡特网络支援***有限公司 Iptv视频质量监测***
CN102437938A (zh) * 2012-01-09 2012-05-02 北京邮电大学 面向大规模网络监测的虚拟化部署***和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020177448A1 (en) * 2001-03-20 2002-11-28 Brian Moran System and method for wireless data performance monitoring
CN1588881A (zh) * 2004-07-01 2005-03-02 北京邮电大学 Ip网络服务质量管理***中闭环反馈的控制方法和装置
CN101594260B (zh) * 2008-05-27 2011-10-05 上海阿尔卡特网络支援***有限公司 Iptv视频质量监测***
CN102437938A (zh) * 2012-01-09 2012-05-02 北京邮电大学 面向大规模网络监测的虚拟化部署***和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PAUL BARFORD ET.AL: "Nerwork Performance Anomaly Detection and Localization", 《INFOCOM 2009, IEEE 》 *
温少君等: "一种云平台中优化的虚拟机部署机制", 《计算机工程》 *

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103078759A (zh) * 2013-01-25 2013-05-01 北京润通丰华科技有限公司 计算节点的管理方法及装置、***
CN103078759B (zh) * 2013-01-25 2017-06-06 北京润通丰华科技有限公司 计算节点的管理方法及装置、***
CN103559108A (zh) * 2013-11-11 2014-02-05 中国科学院信息工程研究所 一种基于虚拟化实现主备故障自动恢复的方法及***
CN104836819A (zh) * 2014-02-10 2015-08-12 阿里巴巴集团控股有限公司 动态负载均衡的方法、***及监控调度设备
CN105281967B (zh) * 2014-06-20 2019-06-28 北京神州泰岳软件股份有限公司 一种数据采集方法和***
CN105281967A (zh) * 2014-06-20 2016-01-27 北京神州泰岳软件股份有限公司 一种数据采集方法和***
CN104462387A (zh) * 2014-12-10 2015-03-25 成都思邦力克科技有限公司 用户数据监测网络服务器
CN105490851A (zh) * 2014-12-26 2016-04-13 成都科来软件有限公司 一种网络流量的监测方法及装置
US11533341B2 (en) 2015-02-04 2022-12-20 Intel Corporation Technologies for scalable security architecture of virtualized networks
CN110958227A (zh) * 2015-02-04 2020-04-03 英特尔公司 用于虚拟化网络的可扩缩安全架构的技术
CN104980968A (zh) * 2015-06-19 2015-10-14 饶品魁 一种基于LTE-A网络的CoMP监测方法
CN104936216A (zh) * 2015-06-19 2015-09-23 饶品魁 一种基于LTE-A网络的CoMP监测***
CN105306305A (zh) * 2015-11-12 2016-02-03 中国电子科技集团公司第三十研究所 一种移动无线网络流量数据采集方法及装置
CN105306305B (zh) * 2015-11-12 2019-04-05 中国电子科技集团公司第三十研究所 一种移动无线网络流量数据采集方法及装置
CN106921533A (zh) * 2015-12-25 2017-07-04 清华大学 一种测量网络性能的方法、装置及***
CN106921533B (zh) * 2015-12-25 2020-02-14 清华大学 一种测量网络性能的方法、装置及***
CN107306190A (zh) * 2016-04-18 2017-10-31 北京万合鸿瑞科技有限公司 一种基于vmware虚拟化的计算资源拓扑***
CN107306191A (zh) * 2016-04-18 2017-10-31 北京万合鸿瑞科技有限公司 一种基于vmware虚拟化的网络资源拓扑***
CN107305471A (zh) * 2016-04-18 2017-10-31 北京万合鸿瑞科技有限公司 一种基于vmware虚拟化的存储资源拓扑***
CN107370612B (zh) * 2016-05-12 2022-04-19 中兴通讯股份有限公司 一种网络质量管理***检测任务调度方法、装置
CN107370612A (zh) * 2016-05-12 2017-11-21 中兴通讯股份有限公司 一种网络质量管理***检测任务调度方法、装置
CN107463476A (zh) * 2016-06-02 2017-12-12 中兴通讯股份有限公司 信息的获取方法及装置
WO2017206678A1 (zh) * 2016-06-02 2017-12-07 中兴通讯股份有限公司 信息的获取方法及装置
CN107483297A (zh) * 2017-10-11 2017-12-15 飞思达技术(北京)有限公司 对嵌入式设备上所承载业务质量的主动监测***及方法
CN108900386A (zh) * 2018-08-10 2018-11-27 北京金山云网络技术有限公司 告警信息的产生方法、装置及电子设备
US11736339B2 (en) 2018-10-31 2023-08-22 EXFO Solutions SAS Automatic root cause diagnosis in networks
US11645293B2 (en) 2018-12-11 2023-05-09 EXFO Solutions SAS Anomaly detection in big data time series analysis
US11132109B2 (en) 2019-05-08 2021-09-28 EXFO Solutions SAS Timeline visualization and investigation systems and methods for time lasting events
US11138163B2 (en) 2019-07-11 2021-10-05 EXFO Solutions SAS Automatic root cause diagnosis in networks based on hypothesis testing
CN111078537A (zh) * 2019-11-29 2020-04-28 珠海金山网络游戏科技有限公司 Unity游戏bundle包资源划分的评估方法
CN111078537B (zh) * 2019-11-29 2023-09-22 珠海金山数字网络科技有限公司 Unity游戏bundle包资源划分的评估方法
US11522766B2 (en) 2020-02-12 2022-12-06 EXFO Solutions SAS Method and system for determining root-cause diagnosis of events occurring during the operation of a communication network
CN111740857A (zh) * 2020-05-29 2020-10-02 新华三信息安全技术有限公司 网络质量分析nqa配置的下发方法及装置
CN111740857B (zh) * 2020-05-29 2023-12-26 新华三信息安全技术有限公司 网络质量分析nqa配置的下发方法及装置
CN113973127B (zh) * 2020-07-24 2024-03-19 中移(苏州)软件技术有限公司 一种网络部署方法、装置及存储介质
CN113973127A (zh) * 2020-07-24 2022-01-25 中移(苏州)软件技术有限公司 一种网络部署方法、装置及存储介质
CN111970151A (zh) * 2020-08-21 2020-11-20 中国建设银行股份有限公司 虚拟及容器网络的流量故障定位方法及***
CN114257486A (zh) * 2020-11-29 2022-03-29 赣南师范大学 面向物联网的网络性能管理测量探针的实现方法
CN114257486B (zh) * 2020-11-29 2024-06-04 赣南师范大学 面向物联网的网络性能管理测量探针的实现方法
CN112994972B (zh) * 2021-02-02 2022-05-20 成都卓源网络科技有限公司 一种分布式探针监测平台
CN115550211A (zh) * 2021-06-29 2022-12-30 青岛海尔科技有限公司 网络连接质量的探测方法、装置、存储介质和电子装置
CN114095393B (zh) * 2022-01-20 2022-08-23 北京天维信通科技有限公司 自动挂载检测探针的sd-wan新建隧道节点监测方法
CN114095393A (zh) * 2022-01-20 2022-02-25 北京天维信通科技有限公司 自动挂载检测探针的sd-wan新建隧道节点监测方法
CN115174448A (zh) * 2022-05-20 2022-10-11 复旦大学 一种基于容器的网络探针管控方法
CN115174448B (zh) * 2022-05-20 2023-11-24 复旦大学 一种基于容器的网络探针管控方法

Also Published As

Publication number Publication date
CN102801587B (zh) 2014-09-17

Similar Documents

Publication Publication Date Title
CN102801587B (zh) 面向大规模网络的虚拟化监测***与动态监测方法
US9501555B2 (en) Real-time data management for a power grid
RU2518178C2 (ru) Система и способ для управления электроэнергетической системой
CN101873008B (zh) 变电站scd模型到调度中心cim模型的转换方法
CN102955977B (zh) 一种基于云技术的能效服务方法及其能效服务平台
CN102122431B (zh) 用电信息采集终端的故障智能诊断方法及***
CN106993059A (zh) 一种基于NB‑IoT的农情监控***
CN206058263U (zh) 基于智能化数据采集的实验室管理***
CN102832703B (zh) 基于模型转换机的变电站与调度主站模型快速转换方法
CN102969796B (zh) 一种农网近实时电量监测与调度管理***
CN107402332A (zh) 一种智能配电终端多表位自动检测***及其检测方法
CN109829125A (zh) 展示电网调度运行数据的用户管理平台
CN104123134A (zh) 基于ami与j2ee的智能用电数据管理方法及***
CN110689223B (zh) 一种基于rpa控制的机器人批量管理***
CN101854652A (zh) 一种电信网络业务性能监控***
CN103366256A (zh) 能耗监测与评估***
CN208401886U (zh) 物联网设备数据管理***
CN106251034A (zh) 基于云计算技术的智慧节能电表监控***
CN107944005A (zh) 一种数据展示方法及装置
CN101072130A (zh) 网络性能测量方法和***
CN110533536A (zh) 交易风险评估方法、装置和计算机***
CN107862392A (zh) 一种基于配电网智能运维管控平台的设备台帐管控方法
CN101895154A (zh) 配网自动化***中的主配网模型拼接方法及其***
CN117374978B (zh) 结合知识图谱构建的并网调度管理方法及***
CN109934730A (zh) 一种可视化实时管控分析***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140917

Termination date: 20160829