CN111934903A - 一种基于时序演化基因的Docker容器故障智能预测方法 - Google Patents
一种基于时序演化基因的Docker容器故障智能预测方法 Download PDFInfo
- Publication number
- CN111934903A CN111934903A CN202010599003.7A CN202010599003A CN111934903A CN 111934903 A CN111934903 A CN 111934903A CN 202010599003 A CN202010599003 A CN 202010599003A CN 111934903 A CN111934903 A CN 111934903A
- Authority
- CN
- China
- Prior art keywords
- docker container
- time
- docker
- time sequence
- hour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 108090000623 proteins and genes Proteins 0.000 title claims abstract description 23
- 238000012423 maintenance Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000005065 mining Methods 0.000 claims description 5
- 230000000306 recurrent effect Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Algebra (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Debugging And Monitoring (AREA)
Abstract
一种基于时序演化基因的Docker容器故障智能预测方法,包括:对多维的时序进行切分,划分为很多片段;对片段进行聚类,发现典型的模式;对不同的模式,采用条件对抗网络(CVAE‑GAN)捕捉其分布特征;组合分布特征随时间的变化,预测即将发生的异常。有效提升云平台Docker的维护水平。
Description
技术领域
本发明涉及一种基于时序演化基因的Docker容器故障智能预测方法,具体涉及一种面向PaaS平台运维提出一种基于时序演化基因的Docker容器故障智能预测方法,本发明属于通信领域。
背景技术
PaaS平台的传统运维模式是网管***发现设备告警后,通知维护人员进行维修,属于事后的人工修复,故障响应时间长,不能满足实时性高的业务需求。***运维人员处于大部分时间和精力都是处理一些简单重复的问题,体力劳动偏大,工作效率低,需要投入大量的维护资源。
PaaS平台通常有以下缺点:
(1)PaaS平台的网管***不具备智能故障分析功能,业务异常时需要维护人员耗费大量的人力来进行故障查证,寻找故障原因,***维护效率低。
(2)PaaS平台的网管***不具备智能故障预警功能,一旦出现严重故障还会影响***的正常运行,***维护较为被动。
发明内容
本发明的目的在于,提供一种基于时序演化基因的Docker容器故障智能预测方法,以克服现有技术所存在的上述缺点和不足。本发明利用时序演化基因深度学习方法构建Docker容器故障智能预测模型,通过离线训练和在线训练相结合,准确预测Docker容器可能发生的未来故障。
本发明的目的是提升PaaS平台的智能化运维能力,实现PaaS平台运维从“事后”向“事前”发展,真正实现PaaS平台运维的“防患于未然”。
本发明所需要解决的技术问题,可以通过以下技术方案来实现:
作为本发明的第一方面,一种基于时序演化基因的Docker容器故障智能预测方法,其特征在于,包括:
对多维的时序进行切分,划分为很多片段;
对片段进行聚类,发现典型的模式;
对不同的模式,采用条件对抗网络(CVAE-GAN)捕捉其分布特征;
组合分布特征随时间的变化,预测即将发生的异常。
进一步,包括以下步骤:
步骤1:采集K8S组件日志和K8S组件状态,K8S是一个Docker容器管理工具;
步骤2:分析K8S组件日志和K8S组件状态,提取Docker容器特征指标;
步骤3:构建时序演化基因深度学习训练模型,进行历史数据的离线训练和实时数据的在线训练;
步骤四:输出Docker容器故障智能预警信息,并评估模型预测效果。
其中,步骤3还包括:
步骤3.3:通过KL散度来减少编码与采样之间的误差;
步骤3.5:判别器网络D目标将真实样本和生成样本进行区分,其目标函数为:
进一步,Docker容器特征指标如下:
前24小时日志数;
每个小时的日志数;
每个小时component Name均值方差最大值最小值;
每个小时host均值方差最大值最小值;
每个小时severity中info、error、warning的占比及数量。
作为本发明的第二方面,一种基于时序演化基因的Docker容器故障智能预测模型图谱。
其中,Docker容器特征指标如下:
前24小时日志数;
每个小时的日志数;
每个小时component Name均值方差最大值最小值;
每个小时host均值方差最大值最小值;
每个小时severity中info、error、warning的占比及数量。
本发明的有益效果:
1、本发明通过Docker容器的历史时序数据训练,获得了Docker容器的故障预测模型,通过基因演化模型可以准确预测Docker容器的运行故障,有效提升云平台Docker的维护水平。
2、本发明同时通过在线时序数据的输入,可以不断更新Docker容器的算法,为Docker容器的运行基因演化模型提供更多的最新特征序列,从而保证Docker容器故障算法的时效性和精确度。
附图说明
图1为深度学习数据处理流程图。
图2为本发明的原理示意图。
图3为故障特征1的折线图。
图4为故障特征2的折线图。
图5为故障特征3的折线图。
图6为故障特征4的折线图。
具体实施方式
以下结合具体实施例,对本发明作进一步说明。应理解,以下实施例仅用于说明本发明而非用于限定本发明的范围。
实施例1
图1为深度学习数据处理流程图,图2为本发明的原理示意图,如图1-图2所示。一种基于时序演化基因的Docker容器故障智能预测方法,包括:
本发明的深度学习数据处理流程如下:
本发明的一种基于时序演化基因的Docker容器故障智能预测方法,如下:
(1)、对多维的时序进行切分,划分为很多片段;
(2)、对片段进行聚类,发现典型的模式;
(3)、对不同的模式,采用条件对抗网络(CVAE-GAN)捕捉其分布特征;
(4)、组合分布特征随时间的变化,预测即将发生的异常。
进一步,包括以下步骤:
步骤1:采集K8S组件日志和K8S组件状态,K8S是一个Docker容器管理工具;
步骤2:分析K8S组件日志和K8S组件状态,提取Docker容器特征指标;
步骤3:构建时序演化基因深度学习训练模型,进行历史数据的离线训练和实时数据的在线训练;
步骤四:输出Docker容器故障智能预警信息,并评估模型预测效果。
其中,步骤3还包括:
步骤3.3:通过KL散度来减少编码与采样之间的误差;
步骤3.5:判别器网络D目标将真实样本和生成样本进行区分,其目标函数为:
实验结果:
1、故障特征1:某些之前一直访问量很低的host访问突然变多。
图3为故障特征1的折线图,如图3所示,上面的图是8月每分钟出现日志条数的折线图,下面的图是8月每分钟故障特征1的某个值出现的条数的折线图。黑线代表发生异常的时间。
2、故障特征2:某个host访问变多,出现上升沿。
图4为故障特征2的折线图,如图4所示,上面的图是8月每分钟出现日志条数的折线图,下面的图是8月每分钟故障特征2的某个值出现的条数的折线图。黑线代表发生异常的时间。
3、故障特征3:日志数量变多、Warning和Error个数变多。
图5为故障特征3的折线图,如图5所示,上面的图是8月每分钟出现日志条数的折线图,下面的图是8月每分钟故障特征3的某个值出现的条数的折线图。黑线代表发生异常的时间。
4、故障特征4:某个服务的调用量突增。
图6为故障特征4的折线图,如图6所示,上面的图是8月每分钟出现日志条数的折线图,下面的图是8月每分钟故障特征4的某个值出现的条数的折线图。黑线代表发生异常的时间。
以上对本发明的具体实施方式进行了说明,但本发明并不以此为限,只要不脱离本发明的宗旨,本发明还可以有各种变化。
Claims (7)
1.一种基于时序演化基因的Docker容器故障智能预测方法,其特征在于,包括:
对多维的时序进行切分,划分为很多片段;
对片段进行聚类,发现典型的模式;
对不同的模式,采用条件对抗网络(CVAE-GAN)捕捉其分布特征;
组合分布特征随时间的变化,预测即将发生的异常。
2.根据权利要求1所述的一种基于时序演化基因的Docker容器故障智能预测方法,其特征在于,包括以下步骤:
步骤1:采集K8S组件日志和K8S组件状态,K8S是一个Docker容器管理工具;
步骤2:分析K8S组件日志和K8S组件状态,提取Docker容器特征指标;
步骤3:构建时序演化基因深度学习训练模型,进行历史数据的离线训练和实时数据的在线训练;
步骤四:输出Docker容器故障智能预警信息,并评估模型预测效果。
3.根据权利要求2所述的一种基于时序演化基因的Docker容器故障智能预测方法,其特征在于,步骤3还包括:
步骤3.3:通过KL散度来减少编码与采样之间的误差;
步骤3.5:判别器网络D目标将真实样本和生成样本进行区分,其目标函数为:
4.根据权利要求3所述的一种基于时序演化基因的Docker容器故障智能预测方法,其特征在于,Docker容器特征指标如下:
前24小时日志数;
每个小时的日志数;
每个小时component Name均值方差最大值最小值;
每个小时host均值方差最大值最小值;
每个小时severity中info、error、warning的占比及数量。
5.一种如权利要求1-4任一项所述的方法建立的基于时序演化基因的Docker容器故障智能预测模型图谱。
7.根据权利要求6所述的基于时序演化基因的Docker容器故障智能预测模型图谱,其特征在于,所述Docker容器特征指标如下:
前24小时日志数;
每个小时的日志数;
每个小时component Name均值方差最大值最小值;
每个小时host均值方差最大值最小值;
每个小时severity中info、error、warning的占比及数量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010599003.7A CN111934903B (zh) | 2020-06-28 | 2020-06-28 | 一种基于时序演化基因的Docker容器故障智能预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010599003.7A CN111934903B (zh) | 2020-06-28 | 2020-06-28 | 一种基于时序演化基因的Docker容器故障智能预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111934903A true CN111934903A (zh) | 2020-11-13 |
CN111934903B CN111934903B (zh) | 2023-12-12 |
Family
ID=73317242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010599003.7A Active CN111934903B (zh) | 2020-06-28 | 2020-06-28 | 一种基于时序演化基因的Docker容器故障智能预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111934903B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113205856A (zh) * | 2021-06-22 | 2021-08-03 | 南开大学 | 一种微生物宏基因组分箱方法及*** |
CN117034020A (zh) * | 2023-10-09 | 2023-11-10 | 贵州大学 | 一种基于cvae-gan模型的无人机传感器零样本故障检测方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080154808A1 (en) * | 2006-10-20 | 2008-06-26 | Genalytics, Inc. | Use and construction of time series interactions in a predictive model |
CN101425066A (zh) * | 2007-11-02 | 2009-05-06 | 日电(中国)有限公司 | 基于时序关系图的实体分类设备和方法 |
JP2016007169A (ja) * | 2014-06-25 | 2016-01-18 | 大日本印刷株式会社 | 異常判定装置及びプログラム |
CN110059845A (zh) * | 2019-02-01 | 2019-07-26 | 国网浙江省电力有限公司温州供电公司 | 基于时序演化基因模型的计量装置时钟误差趋势预测方法 |
CN110572288A (zh) * | 2019-11-04 | 2019-12-13 | 河南戎磐网络科技有限公司 | 一种基于可信容器的数据交换方法 |
CN110825589A (zh) * | 2019-11-07 | 2020-02-21 | 字节跳动有限公司 | 用于微服务***的异常检测方法及其装置和电子设备 |
CN111198808A (zh) * | 2019-12-25 | 2020-05-26 | 东软集团股份有限公司 | 预测性能指标的方法、装置、存储介质及电子设备 |
-
2020
- 2020-06-28 CN CN202010599003.7A patent/CN111934903B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080154808A1 (en) * | 2006-10-20 | 2008-06-26 | Genalytics, Inc. | Use and construction of time series interactions in a predictive model |
CN101425066A (zh) * | 2007-11-02 | 2009-05-06 | 日电(中国)有限公司 | 基于时序关系图的实体分类设备和方法 |
JP2016007169A (ja) * | 2014-06-25 | 2016-01-18 | 大日本印刷株式会社 | 異常判定装置及びプログラム |
CN110059845A (zh) * | 2019-02-01 | 2019-07-26 | 国网浙江省电力有限公司温州供电公司 | 基于时序演化基因模型的计量装置时钟误差趋势预测方法 |
CN110572288A (zh) * | 2019-11-04 | 2019-12-13 | 河南戎磐网络科技有限公司 | 一种基于可信容器的数据交换方法 |
CN110825589A (zh) * | 2019-11-07 | 2020-02-21 | 字节跳动有限公司 | 用于微服务***的异常检测方法及其装置和电子设备 |
CN111198808A (zh) * | 2019-12-25 | 2020-05-26 | 东软集团股份有限公司 | 预测性能指标的方法、装置、存储介质及电子设备 |
Non-Patent Citations (3)
Title |
---|
SHAIFU GUPTA.ETC: ""A Supervised Deep Learning Framework for Proactive Anomaly Detection in Cloud Workloads"", 《2017 14TH IEEE INDIA COUNCIL INTERNATIONAL CONFERENCE (INDICON)》 * |
张硕: ""面向Docker容错的性能监控和自适应预复制检查点技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
王帅: ""基于日志的微服务化***监测与故障预测的研究与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113205856A (zh) * | 2021-06-22 | 2021-08-03 | 南开大学 | 一种微生物宏基因组分箱方法及*** |
CN113205856B (zh) * | 2021-06-22 | 2022-07-12 | 南开大学 | 一种微生物宏基因组分箱方法及*** |
CN117034020A (zh) * | 2023-10-09 | 2023-11-10 | 贵州大学 | 一种基于cvae-gan模型的无人机传感器零样本故障检测方法 |
CN117034020B (zh) * | 2023-10-09 | 2024-01-09 | 贵州大学 | 一种基于cvae-gan模型的无人机传感器零样本故障检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111934903B (zh) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109492193B (zh) | 基于深度机器学习模型的异常网络数据生成与预测方法 | |
CN106888205B (zh) | 一种非侵入式基于功耗分析的plc异常检测方法 | |
CN115578015B (zh) | 基于物联网的污水处理全过程监管方法、***及存储介质 | |
CN109489977B (zh) | 基于KNN-AdaBoost的轴承故障诊断方法 | |
CN111506478A (zh) | 基于人工智能实现告警管理控制的方法 | |
CN111614491B (zh) | 一种面向电力监控***安全态势评估指标选取方法及*** | |
CN111563524A (zh) | 一种多站融合***运行态势异常监测和告警合并方法 | |
CN109544399B (zh) | 基于多源异构数据的输电设备状态评价方法及装置 | |
CN114723285B (zh) | 一种电网设备安全性评估预测方法 | |
CN109784668B (zh) | 一种用于电力监控***异常行为检测的样本特征降维处理方法 | |
CN116227745B (zh) | 一种基于大数据的涉渔船舶调查分析方法及*** | |
CN111934903B (zh) | 一种基于时序演化基因的Docker容器故障智能预测方法 | |
CN111881594B (zh) | 一种核动力设备的非平稳信号状态监测方法及*** | |
CN114201374A (zh) | 基于混合机器学习的运维时序数据异常检测方法及*** | |
CN112241606A (zh) | 基于cps决策模块的船舶智能设备运维的协同决策方法 | |
CN116739829B (zh) | 一种基于大数据的电力数据分析方法、***及介质 | |
CN111275136B (zh) | 基于小样本下的故障预测***及其预警方法 | |
CN111666978B (zh) | 一种it***运维大数据的智能故障预警*** | |
CN112816898B (zh) | 电瓶故障预测方法、装置、电子设备和存储介质 | |
CN113673600A (zh) | 一种工业信号异常预警方法、***、存储介质及计算设备 | |
CN111273635B (zh) | 一种工控设备未知异常检测方法 | |
CN116720983A (zh) | 一种基于大数据分析的供电设备异常检测方法及*** | |
CN111209955A (zh) | 基于深度神经网络和随机森林的飞机电源***故障识别方法 | |
CN115169650B (zh) | 一种大数据分析的装备健康预测方法 | |
CN116467592A (zh) | 一种基于深度学习的生产设备故障智能监测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |