CN110351163B - 一种OpenStack云主机流量尖峰检测方法 - Google Patents
一种OpenStack云主机流量尖峰检测方法 Download PDFInfo
- Publication number
- CN110351163B CN110351163B CN201910487938.3A CN201910487938A CN110351163B CN 110351163 B CN110351163 B CN 110351163B CN 201910487938 A CN201910487938 A CN 201910487938A CN 110351163 B CN110351163 B CN 110351163B
- Authority
- CN
- China
- Prior art keywords
- flow
- value
- sequence
- correction
- correction sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 238000012937 correction Methods 0.000 claims abstract description 67
- 238000012544 monitoring process Methods 0.000 claims abstract description 11
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 11
- 230000008569 process Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
Landscapes
- Engineering & Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Measuring Volume Flow (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种OpenStack云主机流量尖峰检测方法,该流量尖峰检测方法包括以下步骤:1、设置流量修正序列滞后的阶数、标准分数的阈值及影响系数;2、监控获得流量历史序列;3、初始化流量修正序列,计算流量修正序列的平均值及标准差4、判断网络流量值是否处于尖峰状态并修正流量值,将其加入流量修正序列;5、从流量修正序列重新取值计算平均值及标准差;6、判断否中断检测,若不中断返回步骤4。本发明可以判断流量处于尖峰或非尖峰的状态,该方法针对标准分数进行改进,加入一个影响系数对数据进行修正,使其适应连续几个尖峰的检测。
Description
技术领域
本发明涉及云计算技术领域,具体涉及一种OpenStack云主机流量尖峰检测方法。
背景技术
美国国家标准与计算研究院(NIST)提出了云计算是一种网络访问模式,也是按使用量付费的模式,可以快速提供存储、网络等资源,并可以自定义配置,这样就不用与服务供应商有太多的交互,管理比较方便。对于这样一种基于互联网的计算方式,其通过硬件资源的虚拟化可以让用户共享物理机的CPU、内存、IO资源。其中虚拟化主要包括CPU虚拟化、内存虚拟化、存储虚拟化和网络虚拟化等。云计算的实现模式给我们生活方式和商业模式带来了巨大的变化,它可以节约成本,是传统计算机和网络技术发展融合的产物。按需服务的方式让用户可以根据自身需求进行付费使用,大规模的服务器资源拥有强大的计算能力,虚拟化的特点让用户可以随时随地获取应用服务而无需关心后端管理及维护。正是这样的优势,越来越多的企业开始往云计算方向发展,对云计算技术的研究越来越多,使得云计算的市场规模越来越大。
云计算分为基础设施即服务(IaaS,Infrastructure as a Service)、平台即服务(PaaS,Platform as a Service)和软件即服务(SaaS,Software as a Service)。基于这三种类型产生了很多开源项目及解决方案,OpenStack是其中使用最广泛,项目最成熟的IaaS解决方案。美国国家航空航天局(NASA)经过潜心研发,并在云计算中心及云计算提供商Rackspace的帮助下,提供了一个开放源代码项目——OpenStack,可以作为私有云提供服务给内部人员使用,也可以作为公有云提供外部应用服务。
OpenStack作为一个开源的云计算管理平台,由各种组件组合起来协调完成工作。OpenStack提供镜像、存储、网络服务,其中网络服务是OpenStack中最复杂的服务,主要为云主机提供网络。对于运行多应用的云主机,其流量会在某个时间点出现异常流量,即流量突发高峰,或者在某个时间点又处于一个相对稳定的状态,如果没有处理好异常流量,在该状态出现时,就无法保证云主机的QoS。因此,需要一个检测算法应对突发的异常流量。
发明内容
本发明的目的是针对现有技术的不足,提供了一种OpenStack云主机流量尖峰检测方法。
本发明至少通过如下技术方案之一实现。
一种OpenStack云主机流量尖峰检测方法,包括以下步骤:
步骤1、设置流量修正序列滞后的阶数、当前流量标准分数的阈值及当前流量和前一个修正流量的影响系数,初始化峰值信号序列;
步骤2、监控获得流量历史序列;
步骤3、初始化流量修正序列,计算流量修正序列的平均值及标准差;
步骤4、判断当前的网络流量值是否处于尖峰状态,并修正流量值,将流量修正值加入流量修正序列;
步骤5、从流量修正序列重新取值计算平均值及标准差;
步骤6、判断是否中断检测,若不中断返回步骤4,否则中断检测流程。
优选地,步骤1所述的峰值信号序列为P1,P2,P3,……,Pm,Pm表示峰值信号序列中第m个流量数据所处的信号值,当前流量标准分数的阈值为λ;用当前流量和流量修正序列的最后一个值进行权重相加得到新的流量修正值,用表示当前流量的影响系数;在流量的修正序列中,在最后一个值前面取ρ个值,加上最后一个值,则有ρ+1个流量数据,初始化临时变量i,将i置为ρ+1。
优选地,步骤2中,使用Zabbix监控云主机流量变化,采集到流量序列{Y1,Y2,Y3,……Ym},其中Ym表示流量序列中采集到的第m个流量数据即流量值,如果检测到Ym处流量处于尖峰,对应的Pm=1,否则Pm=0。
优选地,步骤3中,初始化流量修正序列的值为{F1,F2,F3,……Fρ+1},初始化流量修正序列Fk=Ym-ρ+k-1,k=1,2,…,ρ+1,从当前Fρ+1开始取前ρ+1个数据计算平均值为Fn∈Fk,标准差为并将i置为ρ+2。
优选地,步骤4中,流量值的修正是采用流量修正序列的最后一个值和当前流量值根据影响系数进行权重相加,并将其放入流量修正序列,具体的,Zabbix采集到当前流量值为Yi,当前流量值的标准分数若当前流量值的标准分数大于λ,则该网络流量值判断为尖峰;将当前流量的峰值信号值置为Pi=1,并修正当前流量,得到流量修正值 将流量修正值Fi加入流量修正序列。
修正流量序列是为了适应多个波峰的检测,例如第二个波峰所在的流量数据比第一个波峰所在的流量数据小,第一个波峰的流量数据通过修正,和前一个非波峰的流量数据相差幅度变低,第二个波峰出现时,该数据大于前一个波峰的修正数据,于是将其判断为波峰。如当前流量值得标准分数小于等于λ,则判定为不出现尖峰状态,Pi=0,不修正流量,将流量修正值Fi=Yi,并将其放入流量修正序列。
优选地,步骤6中如果Zabbix监控失败,即无法采集到流量,或者管理员外部中断检测,则中断检测。
本发明与现有技术相比,具有如下优点和有益效果:
一方面,提高了OpenStack的网络服务的鲁棒性,降低了网络节点的负载,同时提高可扩展性,另一方面,云主机流量尖峰检测方法可以判断流量处于尖峰或非尖峰的状态,该方法针对标准分数进行改进,加入一个影响系数对数据进行修正,使其适应连续几个尖峰的检测。
附图说明
图1为本发明实施例一种OpenStack云主机流量尖峰检测方法算法的变量对应关系图;
图2为本发明实施例一种OpenStack云主机流量尖峰检测方法流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,可以理解的是,所述的具体实施例仅用于解释本发明,但本发明的实施方式不限于此。
本发明实施例在OpenStack平台上,提供了一种OpenStack云主机流量尖峰检测方法,该方法包括如下处理步骤:步骤1:设置流量修正序列滞后的阶数、当前流量标准分数的阈值及当前流量和前一个修正流量的影响系数,初始化峰值信号序列;步骤2:监控获得流量历史序列;步骤3:初始化流量修正序列,计算流量修正序列的平均值及标准差;步骤4:判断当前的网络流量值是否处于尖峰状态,初始化流量修正序列,计算流量修正序列的平均值及标准差;步骤5:初始化流量修正序列,计算流量修正序列的平均值及标准差;步骤6:判断是否中断检测,若不中断返回步骤4,否则中断检测流程。
本发明实施例提供的云主机流量尖峰检测方法可以判断流量处于尖峰或非尖峰的状态,该方法针对标准分数进行改进,加入一个影响系数对数据进行修正,使其适应连续几个尖峰的检测。
下面对本发明实施例提供的OpenStack云主机流量尖峰检测方法做详细说明。
首先,对本发明实施例提供的方法及***中所涉及到的相关术语,给出如下定义,并结合定义说明该发明的基本原理:
所述标准分数,也叫z-分数,是一个数与平均数的差再除以标准差的过程,用来判断当前值对于以往数据值的偏离程度。
本发明实施例的OpenStack云主机流量尖峰检测方法如图1和图2所示,具体包括以下步骤:
步骤1、设置流量修正序列滞后的阶数、流量标准分数的阈值及修正流量的影响系数,初始化峰值信号序列。峰值信号序列为P1,P2,P3,……,Pm,Pm表示峰值信号序列中第m个流量数据所处的信号值,当前流量标准分数的阈值为λ;用当前流量和流量修正序列的最后一个值进行权重相加得到新的流量修正值,用表示当前流量的影响系数;在流量的修正序列中,在最后一个值前面取ρ个值,加上最后一个值,则有ρ+1个流量数据,初始化临时变量i,将i置为ρ+1。
步骤2、监控获得流量历史序列。使用Zabbix监控云主机流量变化,采集到流量序列{Y1,Y2,Y3,……Ym}。其中Ym表示流量序列中采集到的第m个流量数据,如果检测到Ym处流量处于尖峰,对应的Pm=1,否则Pm=0。
步骤3、初始化流量修正序列,计算平均值及标准差。初始化流量修正序列{F1,F2,F3,……Fρ+1}的值,该序列初始化为Fk=Ym-ρ+k-1,k=1,2,…,ρ+1,从当前Fρ+1开始取前ρ+1个数据计算平均值为标准差为并将i置为ρ+2。
步骤4、判断当前的网络流量值是否处于尖峰状态,并修正流量值,将其加入流量修正序列。Zabbix采集到当前网络流量为Yi,当前流量值的标准分数若当前流量值的标准分数大于λ,则该网络流量值判断为尖峰;将当前流量的峰值信号值置为Pi=1,并修正当前流量,得到流量修正值将其加入流量修正序列。修正值采用流量序列的最后一个值和当前流量值根据影响系数进行权重相加,并将其放入流量修正序列,修正流量序列是为了适应多个波峰的检测,例如第二个波峰所在的流量数据比第一个波峰所在的流量数据小,第一个波峰的流量数据通过修正,和前一个非波峰的流量数据相差幅度变低,第二个波峰出现时,该数据大于前一个波峰的修正数据,于是将其判断为波峰。否则不出现尖峰状态,Pi=0,不修正流量,将流量修正值Fi=Yi,并将其放入流量修正序列。
步骤6、判断是否中断检测,若不中断返回步骤4,否则中断检测流程。如果Zabbix监控失败,即无法采集到流量,或者管理员外部中断检测,运行结束,否则返回步骤4。
以上仅是本发明的优选实施方式,应当指出对于本领域的技术人员来说,在不脱离本发明结构的前提下,还可以做出若干变形和改进,这些都不会影响本发明实施的效果和实用性,根据本发明的技术方案及其发明构思加以等同替换或改变,都属于本发明的保护范围。
Claims (1)
1.一种OpenStack云主机流量尖峰检测方法,其特征在于,包括以下步骤:
步骤1、设置流量修正序列滞后的阶数、当前流量标准分数的阈值、当前流量和前一个修正流量的影响系数,初始化峰值信号序列;所述的峰值信号序列为P1,P2,P3,......,Pm,Pm表示峰值信号序列中第m个流量数据所处的信号值,当前流量标准分数的阈值为λ;用当前流量和流量修正序列的最后一个值进行权重相加得到新的流量修正值,用表示当前流量的影响系数;在流量的修正序列中,在最后一个值前面取ρ个值,加上最后一个值,则有ρ+1个流量数据;初始化临时变量i,将i置为ρ+1;
步骤2、监控获得流量序列:使用Zabbix监控云主机流量变化,采集到流量序列{Y1,Y2,Y3,......Ym},Ym表示流量序列中采集到的第m个流量数据即流量值;如果检测到Ym处流量处于尖峰,对应的Pm=1,否则Pm=0;
步骤3、初始化流量修正序列,计算流量修正序列的平均值及标准差;初始化流量修正序列的值为{F1,F2,F3,......Fρ+1},初始化流量修正序列Fk=Ym-ρ+k-1,k=1,2,...,ρ+1,从当前Fρ+1开始取前ρ+1个数据计算平均值为Fn∈Fk,标准差为并将i置为ρ+2;
步骤4、判断当前流量值是否处于尖峰状态,并修正流量值,将流量修正值加入流量修正序列;流量值的修正是采用流量修正序列的最后一个值和当前流量值根据影响系数进行权重相加,并将其放入流量修正序列;具体的,Zabbix采集到当前流量值为Yi,当前流量值的标准分数若当前流量值的标准分数大于λ,则该网络流量值判断为尖峰;将当前流量的峰值信号值置为Pi=1,并修正当前流量,得到流量修正值 将流量修正值Fi加入流量修正序列;
步骤6、判断是否中断检测,若不中断返回步骤4,如果监控失败,即无法采集到流量,或者管理员外部中断检测,则中断检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910487938.3A CN110351163B (zh) | 2019-06-05 | 2019-06-05 | 一种OpenStack云主机流量尖峰检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910487938.3A CN110351163B (zh) | 2019-06-05 | 2019-06-05 | 一种OpenStack云主机流量尖峰检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110351163A CN110351163A (zh) | 2019-10-18 |
CN110351163B true CN110351163B (zh) | 2022-11-18 |
Family
ID=68181557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910487938.3A Active CN110351163B (zh) | 2019-06-05 | 2019-06-05 | 一种OpenStack云主机流量尖峰检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110351163B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102801792A (zh) * | 2012-07-26 | 2012-11-28 | 华南理工大学 | 基于统计预测的云cdn资源自动部署方法 |
CN103780445A (zh) * | 2012-10-22 | 2014-05-07 | 北京临近空间飞行器***工程研究所 | 一种阈值自适应修正的网络流量监控***及方法 |
CN104734916A (zh) * | 2015-03-10 | 2015-06-24 | 重庆邮电大学 | 一种基于tcp协议的高效多级异常流量检测方法 |
EP3107169A1 (en) * | 2015-06-19 | 2016-12-21 | Schneider Electric Industries SAS | Method of operating a protection device, associated computer program product, protection device and electrical installation |
CN108134687A (zh) * | 2017-12-07 | 2018-06-08 | 浙江工业大学 | 一种基于马尔可夫链的灰色模型局域网峰值流量预测方法 |
-
2019
- 2019-06-05 CN CN201910487938.3A patent/CN110351163B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102801792A (zh) * | 2012-07-26 | 2012-11-28 | 华南理工大学 | 基于统计预测的云cdn资源自动部署方法 |
CN103780445A (zh) * | 2012-10-22 | 2014-05-07 | 北京临近空间飞行器***工程研究所 | 一种阈值自适应修正的网络流量监控***及方法 |
CN104734916A (zh) * | 2015-03-10 | 2015-06-24 | 重庆邮电大学 | 一种基于tcp协议的高效多级异常流量检测方法 |
EP3107169A1 (en) * | 2015-06-19 | 2016-12-21 | Schneider Electric Industries SAS | Method of operating a protection device, associated computer program product, protection device and electrical installation |
CN108134687A (zh) * | 2017-12-07 | 2018-06-08 | 浙江工业大学 | 一种基于马尔可夫链的灰色模型局域网峰值流量预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110351163A (zh) | 2019-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017118133A1 (zh) | 一种云***内部虚拟机的异常检测方法 | |
US8538938B2 (en) | Interactive proof to validate outsourced data stream processing | |
US10334032B2 (en) | Energy-saving deployment method of virtual CDN | |
US7581052B1 (en) | Approach for distributing multiple interrupts among multiple processors | |
WO2011124084A1 (zh) | 一种基于云计算的多用户协同安全防护***和方法 | |
WO2018159337A1 (ja) | プロファイル生成装置、攻撃検知装置、プロファイル生成方法、および、プロファイル生成プログラム | |
US20230132116A1 (en) | Prediction of impact to data center based on individual device issue | |
US20160105529A1 (en) | Distributed control over client-side requests for server resources | |
WO2016018680A1 (en) | Patch process ensuring high availability of cloud application | |
CN110392046B (zh) | 网络访问的异常检测方法和装置 | |
US20220294470A1 (en) | Probabilistic model for file-specific compression selection under sla-constraints | |
WO2014192054A1 (ja) | 監視項目選定方法及び装置並びに記憶媒体 | |
JP6024448B2 (ja) | 情報処理プログラム、情報処理方法及び装置 | |
CN110351163B (zh) | 一种OpenStack云主机流量尖峰检测方法 | |
CN105760227A (zh) | 云环境下资源调度方法及*** | |
US20140164059A1 (en) | Heuristics to Quantify Data Quality | |
CN112019386B (zh) | 一种基于云平台的分布式集群告警方法、装置及设备 | |
US20170262911A1 (en) | Cloud service rating | |
US9560027B1 (en) | User authentication | |
Xu et al. | Optimizing speculative execution of deadline-sensitive jobs in cloud | |
CN112559287A (zh) | 一种数据中台任务流的优化方法和装置 | |
US10572486B2 (en) | Data communication in a distributed data grid | |
US8798982B2 (en) | Information processing device, information processing method, and program | |
US10374915B1 (en) | Metrics processing service | |
US11327969B2 (en) | Term vector modeling of database workloads |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |