CN105721199A - 一种基于核密度估计与模糊推理***的实时云服务瓶颈检测方法 - Google Patents
一种基于核密度估计与模糊推理***的实时云服务瓶颈检测方法 Download PDFInfo
- Publication number
- CN105721199A CN105721199A CN201610040259.8A CN201610040259A CN105721199A CN 105721199 A CN105721199 A CN 105721199A CN 201610040259 A CN201610040259 A CN 201610040259A CN 105721199 A CN105721199 A CN 105721199A
- Authority
- CN
- China
- Prior art keywords
- cloud service
- real
- bottleneck
- time
- fuzzy inference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 23
- 238000012790 confirmation Methods 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
- H04L43/55—Testing of service level quality, e.g. simulating service usage
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Feedback Control In General (AREA)
Abstract
本发明提出了一种基于核密度估计与模糊推理***的实时云服务瓶颈检测方法，包括以下步骤：步骤1、启动实时云环境，运行云服务；步骤2、启动实时云服务状态参数获取组件；步骤3、获取某一段时间内集群正常运行环境下的云服务状态参数，采用核密度估计模型对其进行建模，同时开启模糊推理***；步骤4、新获得的状态参数输入到该模糊推理***中，计算出瓶颈指数；步骤5、设置阈值，观察每一个云服务瓶颈指数的历史规律，如果在某一时间段内一直超过阈值，则启动预警机制。本发明的方法能够实时获取云集群中每一个服务的运行状态，存入数据仓库；实现对每一个实时云服务的瓶颈检测；当实时云服务的瓶颈指数长时间超过某一阈值，启动预警机制。
Description
技术领域
本发明涉及云计算大数据计算、实时服务计算和异常检测领域，具体涉及到一种基于核密度估计与模糊推理***的实时云服务瓶颈检测方法。
背景技术
对云计算环境下实时服务的异常检测是极为困难的。
首先是云服务状态参数获取与选择上的困难，实时云环境中的云服务分布在各个集群节点中，有的云服务还运行在同一节点不同虚拟机上面，这就造成了对云服务运行的状态难以获取。
其次是实时云服务的运行模式不可预测，一个云服务的空闲、繁忙等状态没有一个规定的标准加以定义，这就造成了一个云服务的瓶颈也难以定义。加之，集群规模不可控，当一个云计算集群中的节点个数的规模很大时，这对集群内部的网络产生障碍，而获取云服务状态本身就会消耗资源，这也造成了针对云服务的瓶颈检测算法必须要求资源消耗少等特点；同时数量庞大的云服务也要求检测算法必须为非监督，不然会消耗大量的人工操作，后者显然是不可行的。
发明内容
为解决现有技术的不足，本发明提出一种基于核密度估计与模糊推理***的实时云服务瓶颈检测方法。
本发明的技术方案是这样实现的：
一种基于核密度估计与模糊推理***的实时云服务瓶颈检测方法，包括以下步骤：
步骤1、启动实时云环境，运行云服务；
步骤2、启动实时云服务状态参数获取组件；
步骤3、获取某一段时间内集群正常运行环境下的云服务状态参数，采用核密度估计模型对其进行建模，同时开启模糊推理***；
步骤4、新获得的状态参数输入到该模糊推理***中，计算出瓶颈指数；
步骤5、设置阈值，观察每一个云服务瓶颈指数的历史规律，如果在某一时间段内一直超过阈值，则启动预警机制。
可选地，所述核密度估计模型首先根据每一个服务的属性日志建立关于“确认数”与“吞吐量”之间的二维概率密度模型，以及“延迟”与“CPU使用率”之间的二维概率密度模型；当模型建立完成，新的日志接收到以后，将云服务的日志输入到建立好的两个概率密度模型，输出相对应的概率；最后将两个概率密度模型的两个输出作为模糊推理***的输入。
可选地，所述模糊推理***的算法具体如下：
算法开始：
输入变量：
延迟-CPU：实数；
确认数-吞吐量：实数；
输出变量：
瓶颈：实数；
模糊化：延迟-CPU
术语低：＝(0，1)(0.2，0)；
术语中：＝高斯0.50.12；
术语高：＝(0.75，0)(1，1)；
模糊化：确认数-吞吐量
术语低：＝(0，1)(0.2，0)；
术语中：＝高斯0.50.12；
术语高：＝(0.75，0)(1，1)；
去模糊化：瓶颈
术语低：＝(0，1)(0.2，0)；
术语中：＝高斯0.50.12；
术语高：＝(0.75，0)(1，1)；
默认：＝0；
规则定制：
规则1：如果延迟-CPU是低，并且确认数-吞吐量是低，那么瓶颈是高；
规则2：如果延迟-CPU是高，或者确认数-吞吐量是高，那么瓶颈是低；
规则3：如果延迟-CPU是中，并且确认数-吞吐量是中，那么瓶颈是中；
算法结束。
本发明的有益效果是：
(1)具有很高的鲁棒性，并且所消耗的计算资源也相对较少，而且具有非监督的算法特点；
(2)同时该方法的输入也具有动态性，一个实时云服务状态的描述具有多维性，可以有多个状态参数组成一个对云服务的描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于核密度估计与模糊推理***的实时云服务瓶颈检测方法的流程图；
图2为本发明一种基于核密度估计与模糊推理***的实时云服务瓶颈检测方法的概率密度模型示意图；
图3为本发明一种基于核密度估计与模糊推理***的实时云服务瓶颈检测方法的模糊推理***示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出了一种基于核密度估计与模糊推理***的实时云服务瓶颈检测方法，如图1所示，包括以下步骤：
步骤1、启动实时云环境，运行云服务；
步骤2、启动实时云服务状态参数获取组件；
步骤3、获取某一段时间内集群正常运行环境下的云服务状态参数，采用核密度估计模型对其进行建模，同时开启模糊推理***；
步骤4、新获得的状态参数输入到该模糊推理***中，计算出瓶颈指数；
步骤5、设置阈值，观察每一个云服务瓶颈指数的历史规律，如果在某一时间段内一直超过阈值，则启动预警机制。
本发明的基于核密度估计与模糊推理***的实时云服务瓶颈检测方法，能够实时地、自动地监控实时云服务的运行状态，并给与每一个云服务对应的瓶颈指数。本发明的方法具有资源消耗小、非监督以及误差小等优点。
本发明的核密度估计模型首先根据每一个服务的属性日志(包括CPU使用情况、内存使用情况、吞吐量、延迟等)建立如图2所示的关于“确认数”与“吞吐量”之间的二维概率密度模型，以及“延迟”与“CPU使用率”之间的二维概率密度模型；当模型建立完成，新的日志接收到以后，将云服务的日志输入到建立好的两个概率密度模型，输出相对应的概率；最后将两个概率密度模型的两个输出作为模糊推理***的输入，如图3所示。
上述模糊推理***的算法具体如下：
算法开始：
输入变量：
延迟-CPU：实数；
确认数-吞吐量：实数；
输出变量：
瓶颈：实数；
模糊化：延迟-CPU
术语低：＝(0，1)(0.2，0)；
术语中：＝高斯0.50.12；
术语高：＝(0.75，0)(1，1)；
模糊化：确认数-吞吐量
术语低：＝(0，1)(0.2，0)；
术语中：＝高斯0.50.12；
术语高：＝(0.75，0)(1，1)；
去模糊化：瓶颈
术语低：＝(0，1)(0.2，0)；
术语中：＝高斯0.50.12；
术语高：＝(0.75，0)(1，1)；
默认：＝0；
规则定制：
规则1：如果延迟-CPU是低，并且确认数-吞吐量是低，那么瓶颈是高；
规则2：如果延迟-CPU是高，或者确认数-吞吐量是高，那么瓶颈是低；
规则3：如果延迟-CPU是中，并且确认数-吞吐量是中，那么瓶颈是中；
算法结束。
本发明的基于核密度估计与模糊推理***的实时云服务瓶颈检测方法，能够实时获取云集群中每一个服务的运行状态，存入数据仓库；实现对每一个实时云服务的瓶颈检测；当实时云服务的瓶颈指数长时间超过某一阈值，启动预警机制。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于核密度估计与模糊推理***的实时云服务瓶颈检测方法，其特征在于，包括以下步骤：
步骤1、启动实时云环境，运行云服务；
步骤2、启动实时云服务状态参数获取组件；
步骤3、获取某一段时间内集群正常运行环境下的云服务状态参数，采用核密度估计模型对其进行建模，同时开启模糊推理***；
步骤4、新获得的状态参数输入到该模糊推理***中，计算出瓶颈指数；
步骤5、设置阈值，观察每一个云服务瓶颈指数的历史规律，如果在某一时间段内一直超过阈值，则启动预警机制。
2.如权利要求1所述的基于核密度估计与模糊推理***的实时云服务瓶颈检测方法，其特征在于，所述核密度估计模型首先根据每一个服务的属性日志建立关于“确认数”与“吞吐量”之间的二维概率密度模型，以及“延迟”与“CPU使用率”之间的二维概率密度模型；当模型建立完成，新的日志接收到以后，将云服务的日志输入到建立好的两个概率密度模型，输出相对应的概率；最后将两个概率密度模型的两个输出作为模糊推理***的输入。
3.如权利要求2所述的基于核密度估计与模糊推理***的实时云服务瓶颈检测方法，其特征在于，所述模糊推理***的算法具体如下：
算法开始：
输入变量：
延迟-CPU：实数；
确认数-吞吐量：实数；
输出变量：
瓶颈：实数；
模糊化：延迟-CPU
术语低：＝(0，1)(0.2，0)；
术语中：＝高斯0.50.12；
术语高：＝(0.75，0)(1，1)；
模糊化：确认数-吞吐量
术语低：＝(0，1)(0.2，0)；
术语中：＝高斯0.50.12；
术语高：＝(0.75，0)(1，1)；
去模糊化：瓶颈
术语低：＝(0，1)(0.2，0)；
术语中：＝高斯0.50.12；
术语高：＝(0.75，0)(1，1)；
默认：＝0；
规则定制：
规则1：如果延迟-CPU是低，并且确认数-吞吐量是低，那么瓶颈是高；
规则2：如果延迟-CPU是高，或者确认数-吞吐量是高，那么瓶颈是低；
规则3：如果延迟-CPU是中，并且确认数-吞吐量是中，那么瓶颈是中；
算法结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610040259.8A CN105721199B (zh) | 2016-01-18 | 2016-01-18 | 一种基于核密度估计与模糊推理***的实时云服务瓶颈检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610040259.8A CN105721199B (zh) | 2016-01-18 | 2016-01-18 | 一种基于核密度估计与模糊推理***的实时云服务瓶颈检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105721199A true CN105721199A (zh) | 2016-06-29 |
| CN105721199B CN105721199B (zh) | 2019-06-07 |
Family
ID=56153779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610040259.8A Expired - Fee Related CN105721199B (zh) | 2016-01-18 | 2016-01-18 | 一种基于核密度估计与模糊推理***的实时云服务瓶颈检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105721199B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106506254A (zh) * | 2016-09-20 | 2017-03-15 | 北京理工大学 | 一种大规模流式数据处理***的瓶颈节点检测方法 |
| CN109359138A (zh) * | 2018-10-19 | 2019-02-19 | 济南浪潮高新科技投资发展有限公司 | 一种基于核密度估计的异常检测方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070033005A1 (en) * | 2005-08-05 | 2007-02-08 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
| CN103580934A (zh) * | 2012-07-18 | 2014-02-12 | 深圳市腾讯计算机***有限公司 | 一种云业务监测方法和装置 |
| CN103716180A (zh) * | 2013-12-04 | 2014-04-09 | 国网上海市电力公司 | 基于网络流量实际预测的网络异常预警方法 |
| CN103839225A (zh) * | 2012-11-20 | 2014-06-04 | 广东工业大学 | 基于模糊密度权的支持向量场景图像去噪算法 |
| CN104536435A (zh) * | 2014-12-18 | 2015-04-22 | 中国科学院电工研究所 | 一种线控***网络在线诊断方法 |
| CN104700374A (zh) * | 2015-03-26 | 2015-06-10 | 东莞职业技术学院 | 基于Type-2模糊逻辑***的场景图像去噪方法 |
-
2016
- 2016-01-18 CN CN201610040259.8A patent/CN105721199B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070033005A1 (en) * | 2005-08-05 | 2007-02-08 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
| CN103580934A (zh) * | 2012-07-18 | 2014-02-12 | 深圳市腾讯计算机***有限公司 | 一种云业务监测方法和装置 |
| CN103839225A (zh) * | 2012-11-20 | 2014-06-04 | 广东工业大学 | 基于模糊密度权的支持向量场景图像去噪算法 |
| CN103716180A (zh) * | 2013-12-04 | 2014-04-09 | 国网上海市电力公司 | 基于网络流量实际预测的网络异常预警方法 |
| CN104536435A (zh) * | 2014-12-18 | 2015-04-22 | 中国科学院电工研究所 | 一种线控***网络在线诊断方法 |
| CN104700374A (zh) * | 2015-03-26 | 2015-06-10 | 东莞职业技术学院 | 基于Type-2模糊逻辑***的场景图像去噪方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106506254A (zh) * | 2016-09-20 | 2017-03-15 | 北京理工大学 | 一种大规模流式数据处理***的瓶颈节点检测方法 |
| CN106506254B (zh) * | 2016-09-20 | 2019-04-16 | 北京理工大学 | 一种大规模流式数据处理***的瓶颈节点检测方法 |
| CN109359138A (zh) * | 2018-10-19 | 2019-02-19 | 济南浪潮高新科技投资发展有限公司 | 一种基于核密度估计的异常检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105721199B (zh) | 2019-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103970851A (zh) | 海量凭证数据直接出具大型企业集团总部财务报表的方法 | |
| CN109389518A (zh) | 关联分析方法及装置 | |
| CN112365070B (zh) | 一种电力负荷预测方法、装置、设备及可读存储介质 | |
| CN102521265A (zh) | 一种海量数据管理中动态一致性控制方法 | |
| WO2023016380A1 (zh) | 小区网络异常检测方法、装置及计算机可读存储介质 | |
| CN104184601B (zh) | 用户在线时长的获取方法及装置 | |
| CN109634802A (zh) | 进程监控方法及终端设备 | |
| CN105721199A (zh) | 一种基于核密度估计与模糊推理***的实时云服务瓶颈检测方法 | |
| CN117333143B (zh) | 一种成本科目字典设置方法及*** | |
| CN102902614B (zh) | 一种动态监测及智能引导方法 | |
| CN117764290A (zh) | 一种水利工程施工用bim模型数据管理方法 | |
| CN113487086A (zh) | 设备剩余使用寿命预测方法、装置、计算机设备和介质 | |
| CN112541595A (zh) | 模型构建方法及装置、存储介质及电子设备 | |
| CN107277143A (zh) | 一种资源匹配管理方法及装置 | |
| CN107276833A (zh) | 一种节点信息管理方法及装置 | |
| CN104376200B (zh) | 一种输变电设备检修模式效能评估方法 | |
| CN112860523B (zh) | 批量作业处理的故障预测方法、装置和服务器 | |
| CN107908555A (zh) | 一种sql脚本的异常检测方法及其终端 | |
| CN108255704A (zh) | 一种脚本调用事件的异常响应方法及其终端 | |
| CN111130098B (zh) | 一种含分布式电源配电网***风险评估方法 | |
| CN117009042A (zh) | 物联网模式下的信息计算负载调度方法、装置、设备及介质 | |
| CN114138743A (zh) | 基于机器学习的etl任务自动配置方法及装置 | |
| CN106528849A (zh) | 面向完整历史记录的图查询开销方法 | |
| GB2605524A (en) | Transmission frequency management for edge devices of an interconnected distributed network | |
| CN108108472B (zh) | 数据处理方法以及服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190607 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |