CN110351163B - 一种OpenStack云主机流量尖峰检测方法 - Google Patents

一种OpenStack云主机流量尖峰检测方法 Download PDF

Info

Publication number
CN110351163B
CN110351163B CN201910487938.3A CN201910487938A CN110351163B CN 110351163 B CN110351163 B CN 110351163B CN 201910487938 A CN201910487938 A CN 201910487938A CN 110351163 B CN110351163 B CN 110351163B
Authority
CN
China
Prior art keywords
flow
value
sequence
correction
correction sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910487938.3A
Other languages
English (en)
Other versions
CN110351163A (zh
Inventor
李东
郑泽丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910487938.3A priority Critical patent/CN110351163B/zh
Publication of CN110351163A publication Critical patent/CN110351163A/zh
Application granted granted Critical
Publication of CN110351163B publication Critical patent/CN110351163B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level

Landscapes

  • Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Measuring Volume Flow (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种OpenStack云主机流量尖峰检测方法,该流量尖峰检测方法包括以下步骤:1、设置流量修正序列滞后的阶数、标准分数的阈值及影响系数;2、监控获得流量历史序列;3、初始化流量修正序列,计算流量修正序列的平均值及标准差4、判断网络流量值是否处于尖峰状态并修正流量值,将其加入流量修正序列;5、从流量修正序列重新取值计算平均值及标准差;6、判断否中断检测,若不中断返回步骤4。本发明可以判断流量处于尖峰或非尖峰的状态,该方法针对标准分数进行改进,加入一个影响系数对数据进行修正,使其适应连续几个尖峰的检测。

Description

一种OpenStack云主机流量尖峰检测方法
技术领域
本发明涉及云计算技术领域,具体涉及一种OpenStack云主机流量尖峰检测方法。
背景技术
美国国家标准与计算研究院(NIST)提出了云计算是一种网络访问模式,也是按使用量付费的模式,可以快速提供存储、网络等资源,并可以自定义配置,这样就不用与服务供应商有太多的交互,管理比较方便。对于这样一种基于互联网的计算方式,其通过硬件资源的虚拟化可以让用户共享物理机的CPU、内存、IO资源。其中虚拟化主要包括CPU虚拟化、内存虚拟化、存储虚拟化和网络虚拟化等。云计算的实现模式给我们生活方式和商业模式带来了巨大的变化,它可以节约成本,是传统计算机和网络技术发展融合的产物。按需服务的方式让用户可以根据自身需求进行付费使用,大规模的服务器资源拥有强大的计算能力,虚拟化的特点让用户可以随时随地获取应用服务而无需关心后端管理及维护。正是这样的优势,越来越多的企业开始往云计算方向发展,对云计算技术的研究越来越多,使得云计算的市场规模越来越大。
云计算分为基础设施即服务(IaaS,Infrastructure as a Service)、平台即服务(PaaS,Platform as a Service)和软件即服务(SaaS,Software as a Service)。基于这三种类型产生了很多开源项目及解决方案,OpenStack是其中使用最广泛,项目最成熟的IaaS解决方案。美国国家航空航天局(NASA)经过潜心研发,并在云计算中心及云计算提供商Rackspace的帮助下,提供了一个开放源代码项目——OpenStack,可以作为私有云提供服务给内部人员使用,也可以作为公有云提供外部应用服务。
OpenStack作为一个开源的云计算管理平台,由各种组件组合起来协调完成工作。OpenStack提供镜像、存储、网络服务,其中网络服务是OpenStack中最复杂的服务,主要为云主机提供网络。对于运行多应用的云主机,其流量会在某个时间点出现异常流量,即流量突发高峰,或者在某个时间点又处于一个相对稳定的状态,如果没有处理好异常流量,在该状态出现时,就无法保证云主机的QoS。因此,需要一个检测算法应对突发的异常流量。
发明内容
本发明的目的是针对现有技术的不足,提供了一种OpenStack云主机流量尖峰检测方法。
本发明至少通过如下技术方案之一实现。
一种OpenStack云主机流量尖峰检测方法,包括以下步骤:
步骤1、设置流量修正序列滞后的阶数、当前流量标准分数的阈值及当前流量和前一个修正流量的影响系数,初始化峰值信号序列;
步骤2、监控获得流量历史序列;
步骤3、初始化流量修正序列,计算流量修正序列的平均值及标准差;
步骤4、判断当前的网络流量值是否处于尖峰状态,并修正流量值,将流量修正值加入流量修正序列;
步骤5、从流量修正序列重新取值计算平均值及标准差;
步骤6、判断是否中断检测,若不中断返回步骤4,否则中断检测流程。
优选地,步骤1所述的峰值信号序列为P1,P2,P3,……,Pm,Pm表示峰值信号序列中第m个流量数据所处的信号值,当前流量标准分数的阈值为λ;用当前流量和流量修正序列的最后一个值进行权重相加得到新的流量修正值,用
Figure BDA0002086022190000023
表示当前流量的影响系数;在流量的修正序列中,在最后一个值前面取ρ个值,加上最后一个值,则有ρ+1个流量数据,初始化临时变量i,将i置为ρ+1。
优选地,步骤2中,使用Zabbix监控云主机流量变化,采集到流量序列{Y1,Y2,Y3,……Ym},其中Ym表示流量序列中采集到的第m个流量数据即流量值,如果检测到Ym处流量处于尖峰,对应的Pm=1,否则Pm=0。
优选地,步骤3中,初始化流量修正序列的值为{F1,F2,F3,……Fρ+1},初始化流量修正序列Fk=Ym-ρ+k-1,k=1,2,…,ρ+1,从当前Fρ+1开始取前ρ+1个数据计算平均值为
Figure BDA0002086022190000021
Fn∈Fk,标准差为
Figure BDA0002086022190000022
并将i置为ρ+2。
优选地,步骤4中,流量值的修正是采用流量修正序列的最后一个值和当前流量值根据影响系数进行权重相加,并将其放入流量修正序列,具体的,Zabbix采集到当前流量值为Yi,当前流量值的标准分数
Figure BDA0002086022190000031
若当前流量值的标准分数大于λ,则该网络流量值判断为尖峰;将当前流量的峰值信号值置为Pi=1,并修正当前流量,得到流量修正值
Figure BDA0002086022190000032
Figure BDA0002086022190000033
将流量修正值Fi加入流量修正序列。
修正流量序列是为了适应多个波峰的检测,例如第二个波峰所在的流量数据比第一个波峰所在的流量数据小,第一个波峰的流量数据通过修正,和前一个非波峰的流量数据相差幅度变低,第二个波峰出现时,该数据大于前一个波峰的修正数据,于是将其判断为波峰。如当前流量值得标准分数
Figure BDA0002086022190000034
小于等于λ,则判定为不出现尖峰状态,Pi=0,不修正流量,将流量修正值Fi=Yi,并将其放入流量修正序列。
优选地,步骤5中,从流量修正序列取出{Fi-ρ,Fi-ρ+1,Fi-ρ+2,……Fi}更新平均值
Figure BDA0002086022190000035
更新标准差
Figure BDA0002086022190000036
并将i自增,即i=i+1。
优选地,步骤6中如果Zabbix监控失败,即无法采集到流量,或者管理员外部中断检测,则中断检测。
本发明与现有技术相比,具有如下优点和有益效果:
一方面,提高了OpenStack的网络服务的鲁棒性,降低了网络节点的负载,同时提高可扩展性,另一方面,云主机流量尖峰检测方法可以判断流量处于尖峰或非尖峰的状态,该方法针对标准分数进行改进,加入一个影响系数对数据进行修正,使其适应连续几个尖峰的检测。
附图说明
图1为本发明实施例一种OpenStack云主机流量尖峰检测方法算法的变量对应关系图;
图2为本发明实施例一种OpenStack云主机流量尖峰检测方法流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,可以理解的是,所述的具体实施例仅用于解释本发明,但本发明的实施方式不限于此。
本发明实施例在OpenStack平台上,提供了一种OpenStack云主机流量尖峰检测方法,该方法包括如下处理步骤:步骤1:设置流量修正序列滞后的阶数、当前流量标准分数的阈值及当前流量和前一个修正流量的影响系数,初始化峰值信号序列;步骤2:监控获得流量历史序列;步骤3:初始化流量修正序列,计算流量修正序列的平均值及标准差;步骤4:判断当前的网络流量值是否处于尖峰状态,初始化流量修正序列,计算流量修正序列的平均值及标准差;步骤5:初始化流量修正序列,计算流量修正序列的平均值及标准差;步骤6:判断是否中断检测,若不中断返回步骤4,否则中断检测流程。
本发明实施例提供的云主机流量尖峰检测方法可以判断流量处于尖峰或非尖峰的状态,该方法针对标准分数进行改进,加入一个影响系数对数据进行修正,使其适应连续几个尖峰的检测。
下面对本发明实施例提供的OpenStack云主机流量尖峰检测方法做详细说明。
首先,对本发明实施例提供的方法及***中所涉及到的相关术语,给出如下定义,并结合定义说明该发明的基本原理:
所述标准分数,也叫z-分数,是一个数与平均数的差再除以标准差的过程,用来判断当前值对于以往数据值的偏离程度。
本发明实施例的OpenStack云主机流量尖峰检测方法如图1和图2所示,具体包括以下步骤:
步骤1、设置流量修正序列滞后的阶数、流量标准分数的阈值及修正流量的影响系数,初始化峰值信号序列。峰值信号序列为P1,P2,P3,……,Pm,Pm表示峰值信号序列中第m个流量数据所处的信号值,当前流量标准分数的阈值为λ;用当前流量和流量修正序列的最后一个值进行权重相加得到新的流量修正值,用
Figure BDA0002086022190000043
表示当前流量的影响系数;在流量的修正序列中,在最后一个值前面取ρ个值,加上最后一个值,则有ρ+1个流量数据,初始化临时变量i,将i置为ρ+1。
步骤2、监控获得流量历史序列。使用Zabbix监控云主机流量变化,采集到流量序列{Y1,Y2,Y3,……Ym}。其中Ym表示流量序列中采集到的第m个流量数据,如果检测到Ym处流量处于尖峰,对应的Pm=1,否则Pm=0。
步骤3、初始化流量修正序列,计算平均值及标准差。初始化流量修正序列{F1,F2,F3,……Fρ+1}的值,该序列初始化为Fk=Ym-ρ+k-1,k=1,2,…,ρ+1,从当前Fρ+1开始取前ρ+1个数据计算平均值为
Figure BDA0002086022190000041
标准差为
Figure BDA0002086022190000042
并将i置为ρ+2。
步骤4、判断当前的网络流量值是否处于尖峰状态,并修正流量值,将其加入流量修正序列。Zabbix采集到当前网络流量为Yi,当前流量值的标准分数
Figure BDA0002086022190000051
若当前流量值的标准分数大于λ,则该网络流量值判断为尖峰;将当前流量的峰值信号值置为Pi=1,并修正当前流量,得到流量修正值
Figure BDA0002086022190000052
将其加入流量修正序列。修正值采用流量序列的最后一个值和当前流量值根据影响系数进行权重相加,并将其放入流量修正序列,修正流量序列是为了适应多个波峰的检测,例如第二个波峰所在的流量数据比第一个波峰所在的流量数据小,第一个波峰的流量数据通过修正,和前一个非波峰的流量数据相差幅度变低,第二个波峰出现时,该数据大于前一个波峰的修正数据,于是将其判断为波峰。否则不出现尖峰状态,Pi=0,不修正流量,将流量修正值Fi=Yi,并将其放入流量修正序列。
步骤5、从流量修正序列重新取值计算平均值及标准差。从流量修正序列取出{Fi-ρ,Fi-ρ+1,Fi-ρ+2,……Fi}更新平均值
Figure BDA0002086022190000053
更新标准差
Figure BDA0002086022190000054
并将i自增,即i=i+1。
步骤6、判断是否中断检测,若不中断返回步骤4,否则中断检测流程。如果Zabbix监控失败,即无法采集到流量,或者管理员外部中断检测,运行结束,否则返回步骤4。
以上仅是本发明的优选实施方式,应当指出对于本领域的技术人员来说,在不脱离本发明结构的前提下,还可以做出若干变形和改进,这些都不会影响本发明实施的效果和实用性,根据本发明的技术方案及其发明构思加以等同替换或改变,都属于本发明的保护范围。

Claims (1)

1.一种OpenStack云主机流量尖峰检测方法,其特征在于,包括以下步骤:
步骤1、设置流量修正序列滞后的阶数、当前流量标准分数的阈值、当前流量和前一个修正流量的影响系数,初始化峰值信号序列;所述的峰值信号序列为P1,P2,P3,......,Pm,Pm表示峰值信号序列中第m个流量数据所处的信号值,当前流量标准分数的阈值为λ;用当前流量和流量修正序列的最后一个值进行权重相加得到新的流量修正值,用
Figure FDA0003811816830000011
表示当前流量的影响系数;在流量的修正序列中,在最后一个值前面取ρ个值,加上最后一个值,则有ρ+1个流量数据;初始化临时变量i,将i置为ρ+1;
步骤2、监控获得流量序列:使用Zabbix监控云主机流量变化,采集到流量序列{Y1,Y2,Y3,......Ym},Ym表示流量序列中采集到的第m个流量数据即流量值;如果检测到Ym处流量处于尖峰,对应的Pm=1,否则Pm=0;
步骤3、初始化流量修正序列,计算流量修正序列的平均值及标准差;初始化流量修正序列的值为{F1,F2,F3,......Fρ+1},初始化流量修正序列Fk=Ym-ρ+k-1,k=1,2,...,ρ+1,从当前Fρ+1开始取前ρ+1个数据计算平均值为
Figure FDA0003811816830000012
Fn∈Fk,标准差为
Figure FDA0003811816830000013
并将i置为ρ+2;
步骤4、判断当前流量值是否处于尖峰状态,并修正流量值,将流量修正值加入流量修正序列;流量值的修正是采用流量修正序列的最后一个值和当前流量值根据影响系数进行权重相加,并将其放入流量修正序列;具体的,Zabbix采集到当前流量值为Yi,当前流量值的标准分数
Figure FDA0003811816830000014
若当前流量值的标准分数大于λ,则该网络流量值判断为尖峰;将当前流量的峰值信号值置为Pi=1,并修正当前流量,得到流量修正值
Figure FDA0003811816830000015
Figure FDA0003811816830000016
将流量修正值Fi加入流量修正序列;
步骤5、从流量修正序列重新取值计算平均值及标准差;具体的从流量修正序列取出{Fi-ρ,Fi-ρ+1,Fi-ρ+2,......Fi}更新平均值
Figure FDA0003811816830000017
更新标准差
Figure FDA0003811816830000018
并将i自增,即i=i+1;
步骤6、判断是否中断检测,若不中断返回步骤4,如果监控失败,即无法采集到流量,或者管理员外部中断检测,则中断检测。
CN201910487938.3A 2019-06-05 2019-06-05 一种OpenStack云主机流量尖峰检测方法 Active CN110351163B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910487938.3A CN110351163B (zh) 2019-06-05 2019-06-05 一种OpenStack云主机流量尖峰检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910487938.3A CN110351163B (zh) 2019-06-05 2019-06-05 一种OpenStack云主机流量尖峰检测方法

Publications (2)

Publication Number Publication Date
CN110351163A CN110351163A (zh) 2019-10-18
CN110351163B true CN110351163B (zh) 2022-11-18

Family

ID=68181557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910487938.3A Active CN110351163B (zh) 2019-06-05 2019-06-05 一种OpenStack云主机流量尖峰检测方法

Country Status (1)

Country Link
CN (1) CN110351163B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801792A (zh) * 2012-07-26 2012-11-28 华南理工大学 基于统计预测的云cdn资源自动部署方法
CN103780445A (zh) * 2012-10-22 2014-05-07 北京临近空间飞行器***工程研究所 一种阈值自适应修正的网络流量监控***及方法
CN104734916A (zh) * 2015-03-10 2015-06-24 重庆邮电大学 一种基于tcp协议的高效多级异常流量检测方法
EP3107169A1 (en) * 2015-06-19 2016-12-21 Schneider Electric Industries SAS Method of operating a protection device, associated computer program product, protection device and electrical installation
CN108134687A (zh) * 2017-12-07 2018-06-08 浙江工业大学 一种基于马尔可夫链的灰色模型局域网峰值流量预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801792A (zh) * 2012-07-26 2012-11-28 华南理工大学 基于统计预测的云cdn资源自动部署方法
CN103780445A (zh) * 2012-10-22 2014-05-07 北京临近空间飞行器***工程研究所 一种阈值自适应修正的网络流量监控***及方法
CN104734916A (zh) * 2015-03-10 2015-06-24 重庆邮电大学 一种基于tcp协议的高效多级异常流量检测方法
EP3107169A1 (en) * 2015-06-19 2016-12-21 Schneider Electric Industries SAS Method of operating a protection device, associated computer program product, protection device and electrical installation
CN108134687A (zh) * 2017-12-07 2018-06-08 浙江工业大学 一种基于马尔可夫链的灰色模型局域网峰值流量预测方法

Also Published As

Publication number Publication date
CN110351163A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
WO2017118133A1 (zh) 一种云***内部虚拟机的异常检测方法
US8538938B2 (en) Interactive proof to validate outsourced data stream processing
US10334032B2 (en) Energy-saving deployment method of virtual CDN
US7581052B1 (en) Approach for distributing multiple interrupts among multiple processors
WO2011124084A1 (zh) 一种基于云计算的多用户协同安全防护***和方法
WO2018159337A1 (ja) プロファイル生成装置、攻撃検知装置、プロファイル生成方法、および、プロファイル生成プログラム
US20230132116A1 (en) Prediction of impact to data center based on individual device issue
US20160105529A1 (en) Distributed control over client-side requests for server resources
WO2016018680A1 (en) Patch process ensuring high availability of cloud application
CN110392046B (zh) 网络访问的异常检测方法和装置
US20220294470A1 (en) Probabilistic model for file-specific compression selection under sla-constraints
WO2014192054A1 (ja) 監視項目選定方法及び装置並びに記憶媒体
JP6024448B2 (ja) 情報処理プログラム、情報処理方法及び装置
CN110351163B (zh) 一种OpenStack云主机流量尖峰检测方法
CN105760227A (zh) 云环境下资源调度方法及***
US20140164059A1 (en) Heuristics to Quantify Data Quality
CN112019386B (zh) 一种基于云平台的分布式集群告警方法、装置及设备
US20170262911A1 (en) Cloud service rating
US9560027B1 (en) User authentication
Xu et al. Optimizing speculative execution of deadline-sensitive jobs in cloud
CN112559287A (zh) 一种数据中台任务流的优化方法和装置
US10572486B2 (en) Data communication in a distributed data grid
US8798982B2 (en) Information processing device, information processing method, and program
US10374915B1 (en) Metrics processing service
US11327969B2 (en) Term vector modeling of database workloads

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant