CN117421145B - 一种异构硬盘***故障预警方法及装置 - Google Patents

一种异构硬盘***故障预警方法及装置 Download PDF

Info

Publication number
CN117421145B
CN117421145B CN202311736825.5A CN202311736825A CN117421145B CN 117421145 B CN117421145 B CN 117421145B CN 202311736825 A CN202311736825 A CN 202311736825A CN 117421145 B CN117421145 B CN 117421145B
Authority
CN
China
Prior art keywords
hard disk
attribute data
state attribute
heterogeneous
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311736825.5A
Other languages
English (en)
Other versions
CN117421145A (zh
Inventor
王东清
李道童
张炳会
李婷婷
陈衍东
孙秀强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Metabrain Intelligent Technology Co Ltd
Original Assignee
Suzhou Metabrain Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Metabrain Intelligent Technology Co Ltd filed Critical Suzhou Metabrain Intelligent Technology Co Ltd
Priority to CN202311736825.5A priority Critical patent/CN117421145B/zh
Publication of CN117421145A publication Critical patent/CN117421145A/zh
Application granted granted Critical
Publication of CN117421145B publication Critical patent/CN117421145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/008Reliability or availability analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2433Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供一种异构硬盘***故障预警方法及装置,涉及设备检测技术领域,该方法包括:获得异构硬盘***中不同型号硬盘的硬盘状态属性数据,根据硬盘型号和硬盘状态属性数据的分布差异性,对硬盘状态属性数据进行聚类分组,确定硬盘状态属性数据所属的硬盘类簇;将每个硬盘类簇对应的数据分别输入到多塔结构的硬盘故障预测模型进行异常检测处理,获得硬盘健康指标信息;硬盘故障预测模型是基于样本硬盘状态属性数据及样本硬盘状态属性数据对应的硬盘健康标签信息训练得到;基于硬盘健康指标信息对异构硬盘***进行故障预警。本申请提供的方法,能够有效提高异构硬盘***故障预警的精确度和效率,从而提升了异构硬盘***运行的稳定性和安全性。

Description

一种异构硬盘***故障预警方法及装置
技术领域
本申请涉及智能检测技术领域,具体涉及一种异构硬盘***故障预警方法及装置。另外,还涉及一种电子设备及处理器可读存储介质。
背景技术
近年来,随着大数据、云计算等技术的快速发展,数据量呈现***性增长。云服务厂商建立庞大的数据中心,为用户提供高品质的服务,而数据中心的稳定运行成为影响用户体验的关键。在数据中心中,硬盘故障最为常见,约占数据中心硬件故障的78%,其物理特性决定了使用时间越长故障的几率会增加。硬盘发生故障会发生不可预料的后果,一方面会造成在硬盘上运行的任务或***崩溃,导致服务中断;另一方面可能会导致用户保存的大量数据丢失。为了提高数据中心的可靠性和安全性,一些容错机制被采用,常用的分为被动容错和主动容错。被动容错是在硬盘故障发生之后进行补救的措施,比如:冗余磁盘阵列(Redundant Arrays of Inexpensive Disks,RAID)技术,该方法采用虚拟化存储技术将多个硬盘组合起来,成为一个或多个硬盘组,来实现数据冗余和性能提升;以及数据中心会采用多副本策略来提升存储***的可靠性,以HDFS(Hadoop Distributed File System)为例,通过对数据进行多次备份来解决存储的容错问题。这些被动容错技术虽然能保证数据安全可靠,存在代价昂贵、存储空间利用率等问题。不同于被动容错机制,主动容错是一种能***故障硬盘的机制,从而及时采取相应措施,降低运维成本,提升数据中心的可靠性和用户体验。因其优势显著,成为硬盘故障诊断的热点方向。
S.M.A.R.T (Self-Monitoring, Analysis and Report Technology)是一种典型的主动容错技术,全称为自我监测、分析和报告技术,可检测并记录与驱动可靠性相关的属性。近年来,许多研究基于S.M.A.R.T信息构建机器学习和深度学习的硬盘故障预测模型,但是这些方法通常假设训练数据和测试数据来自同一分布。然而,在真实的数据中心,存储***由数千甚至数百万个硬盘构成,这些硬盘通常来自不同的供应商或者来自同一个供应商的不同型号的硬盘,这些不同型号的硬盘,称之为异构硬盘***。此外,异构硬盘系的硬盘数量会伴随硬盘故障的发生逐渐增多。异构硬盘之间通常具有不同的SMART数据分布,采用单个型号硬盘数据训练的故障预测模型,不适用于其他型号的硬盘,现有技术中采用的迁移学习方法局限性较高,需要依赖异构硬盘种类数量,同时未考虑不同型号硬盘数量对模型参数的影响等,导致实际故障预警效率和精确度较差。因此,如何设计一种更为高效、易用的异构硬盘***故障预警方案成为当前亟待解决的问题。
发明内容
为此,本申请提供一种异构硬盘***故障预警方法及装置,以解决现有技术中存在的异构硬盘***故障预警方案局限性较高,从而导致实际应用中的故障预警精确性和效率较差的缺陷。
第一方面,本申请提供一种异构硬盘***故障预警方法,包括:
获得异构硬盘***中不同型号硬盘的硬盘状态属性数据,并根据硬盘型号和所述硬盘状态属性数据的分布差异性,对所述硬盘状态属性数据进行聚类分组,确定所述硬盘状态属性数据所属的硬盘类簇;
将每个所述硬盘类簇对应的硬盘状态属性数据分别输入到预设的多塔结构的硬盘故障预测模型进行异常检测处理,获得所述多塔结构的硬盘故障预测模型输出的硬盘健康指标信息;其中,所述硬盘故障预测模型是基于样本硬盘状态属性数据以及所述样本硬盘状态属性数据对应的硬盘健康标签信息进行训练得到的;
基于所述硬盘健康指标信息对所述异构硬盘***进行故障预警。
进一步的,所述将每个所述硬盘类簇对应的硬盘状态属性数据分别输入到预设的多塔结构的硬盘故障预测模型进行异常检测处理,获得所述多塔结构的硬盘故障预测模型输出的硬盘健康指标信息,具体包括:
根据当前所述硬盘状态属性数据所属的硬盘类簇,将所述硬盘状态属性数据选择输入至所述多塔结构的硬盘故障预测模型中对应的硬盘个性特征提取模块,获得每个硬盘类簇对应的个性特征参数;
将所述硬盘状态属性数据输入至所述多塔结构的硬盘故障预测模型中的硬盘共性特征提取模块,获得不同硬盘类簇的共性特征参数;
基于所述个性特征参数和所述共性特征参数,确定所述异构硬盘***中不同型号硬盘对应的目标属性表征;
将所述目标属性表征输入至所述多塔结构的硬盘故障预测模型中的硬盘故障预警功能模块进行故障推理分析,获得所述硬盘故障预警功能模块输出的硬盘健康指标信息。
进一步的,所述根据硬盘型号和所述硬盘状态属性数据的分布差异性,对所述硬盘状态属性数据进行聚类分组,确定所述硬盘状态属性数据所属的硬盘类簇,具体包括:
根据所述异构硬盘***中的硬盘型号,将属于同一硬盘型号的硬盘状态属性数据分配到同一硬盘类簇中;若存在一个或多个硬盘型号的硬盘状态属性数据的数据量大于或等于预设的数据量阈值,则将对应的一个或多个第一硬盘类簇分别拆分为多个第二硬盘类簇;其中,所述第一硬盘类簇的数据量大于所述第二硬盘类簇的数据量;或者,若存在一个或多个硬盘型号的硬盘状态属性数据的数据量小于所述数据量阈值,则将对应的一个或多个第三硬盘类簇合并为一个第四硬盘类簇;所述第四硬盘类簇的数据量大于所述第三硬盘类簇的数据量;
基于所述硬盘状态属性数据的分布差异性对所述硬盘状态属性数据进行聚类,以将所述硬盘状态属性数据分配到所述第二硬盘类簇或所述第四硬盘类簇,确定所述硬盘状态属性数据所属的硬盘类簇。
进一步的,所述硬盘健康指标信息为所述多塔结构的硬盘故障预测模型对所述硬盘状态属性数据进行异常检测处理得到的硬盘健康分数值;所述硬盘健康分数值与硬盘健康程度成正比关系;
所述基于所述硬盘健康指标信息对所述异构硬盘***进行故障预警,具体包括:将所述硬盘健康分数值与当前选择的打分阈值进行比对分析,在所述硬盘健康分数值小于所述打分阈值的情况下,判定异构硬盘***发生故障,并生成相应的故障预警提示信息。
进一步的,在将所述硬盘健康分数值与当前选择的打分阈值进行比对分析之后,还包括:在所述硬盘健康分数值大于或等于所述打分阈值的情况下,判定所述异构硬盘***为健康状态。
进一步的,所述的异构硬盘***故障预警方法,还包括:在所述异构硬盘***为健康状态的情况下,将所述硬盘健康分数值大于或等于所述打分阈值的硬盘状态属性数据作为新的训练样本对所述多塔结构的硬盘故障预测模型进行自适应梯度训练,以实时更新所述多塔结构的硬盘故障预测模型中各个模块的参数,获得新的多塔结构的硬盘故障预测模型,以利用所述新的多塔结构的硬盘故障预测模型对后续输入的硬盘状态属性数据进行异常检测处理。
进一步的,在获得异构硬盘***中不同型号硬盘的硬盘状态属性数据之前,还包括:在离线状态下进行模型训练,获得所述多塔结构的硬盘故障预测模型;
所述在离线状态下进行模型训练,获得所述多塔结构的硬盘故障预测模型,具体包括:
获取样本硬盘的样本硬盘状态属性数据;其中,所述样本硬盘状态属性数据包括健康硬盘对应的状态属性数据和异常硬盘对应的状态属性数据;
根据样本硬盘的硬盘型号和所述样本硬盘状态属性数据的分布差异性,对所述样本硬盘状态属性数据进行聚类分组,确定所述样本硬盘状态属性数据所属的样本硬盘类簇;
基于所述样本硬盘类簇对应的所述样本硬盘状态属性数据训练初始的多塔结构的硬盘故障预测模型,并通过比较多个硬盘异常检测阈值对最终异常检测结果的影响情况,对多个硬盘异常检测阈值进行筛选,确定满足预设的概率置信度条件的硬盘异常检测阈值,并基于所述满足预设的概率置信度条件的硬盘异常检测阈值更新模型参数的打分阈值,获得最终训练完成的所述多塔结构的硬盘故障预测模型;其中,所述打分阈值为概率置信度大于或等于预设的概率置信度的硬盘异常检测阈值。
进一步的,所述获得异构硬盘***中不同型号硬盘的硬盘状态属性数据,具体包括:获取异构硬盘***中不同型号硬盘的原始硬盘状态属性数据,对所述原始硬盘状态属性数据进行缺失值填充,获得第一硬盘状态属性数据;对所述第一硬盘状态属性数据进行特征筛选,获得第二硬盘状态属性数据;对所述第二硬盘状态属性数据进行归一化处理,获得所述硬盘状态属性数据。
进一步的,所述基于所述个性特征参数和所述共性特征参数,确定所述异构硬盘***中不同型号硬盘对应的目标属性表征,具体包括:
将所述个性特征参数和所述共性特征参数进行相乘,获得所述异构硬盘***中不同型号硬盘对应的目标属性表征。
进一步的,所述基于所述硬盘状态属性数据的分布差异性对所述硬盘状态属性数据进行聚类,以将所述硬盘状态属性数据分配到所述第二硬盘类簇或所述第四硬盘类簇,确定所述硬盘状态属性数据所属的硬盘类簇,具体包括:
确定用于聚类的度量准则;
基于所述硬盘状态属性数据的分布差异性以及所述度量准则对所述硬盘状态属性数据进行聚类处理,以将所述硬盘状态属性数据分配到所述第二硬盘类簇或所述第四硬盘类簇,获得所述硬盘状态属性数据所属的硬盘类簇。
进一步的,所述根据当前所述硬盘状态属性数据所属的硬盘类簇,将所述硬盘状态属性数据选择输入至所述多塔结构的硬盘故障预测模型中对应的硬盘个性特征提取模块,获得每个硬盘类簇对应的个性特征参数,具体包括:
根据当前所述硬盘状态属性数据所属的硬盘类簇,确定对应的硬盘个性特征提取模块的标识信息;
基于所述标识信息,将所述硬盘状态属性数据选择输入至所述多塔结构的硬盘故障预测模型中对应的硬盘个性特征提取模块,获得每个硬盘类簇对应的个性特征参数。
进一步的,所述多塔结构的硬盘故障预测模型中包括多个硬盘个性特征提取模块,每个硬盘个性特征提取模块对应处理一个硬盘类簇的硬盘状态属性数据,且每个硬盘个性特征提取模块对应的一个目标权重参数。
第二方面,本申请还提供一种异构硬盘***故障预警装置,包括:
聚类分组单元,用于获得异构硬盘***中不同型号硬盘的硬盘状态属性数据,并根据硬盘型号和所述硬盘状态属性数据的分布差异性,对所述硬盘状态属性数据进行聚类分组,确定所述硬盘状态属性数据所属的硬盘类簇;
故障分析单元,用于将每个所述硬盘类簇对应的硬盘状态属性数据分别输入到预设的多塔结构的硬盘故障预测模型进行异常检测处理,获得所述多塔结构的硬盘故障预测模型输出的硬盘健康指标信息;其中,所述硬盘故障预测模型是基于样本硬盘状态属性数据以及所述样本硬盘状态属性数据对应的硬盘健康标签信息进行训练得到的;
故障预警单元,用于基于所述硬盘健康指标信息对所述异构硬盘***进行故障预警。
进一步的,所述故障分析单元,具体用于:
根据当前所述硬盘状态属性数据所属的硬盘类簇,将所述硬盘状态属性数据选择输入至所述多塔结构的硬盘故障预测模型中对应的硬盘个性特征提取模块,获得每个硬盘类簇对应的个性特征参数;
将所述硬盘状态属性数据输入至所述多塔结构的硬盘故障预测模型中的硬盘共性特征提取模块,获得不同硬盘类簇的共性特征参数;
基于所述个性特征参数和所述共性特征参数,确定所述异构硬盘***中不同型号硬盘对应的目标属性表征;
将所述目标属性表征输入至所述多塔结构的硬盘故障预测模型中的硬盘故障预警功能模块进行故障推理分析,获得所述硬盘故障预警功能模块输出的硬盘健康指标信息。
进一步的,所述根据硬盘型号和所述硬盘状态属性数据的分布差异性,对所述硬盘状态属性数据进行聚类分组,确定所述硬盘状态属性数据所属的硬盘类簇,具体包括:
根据所述异构硬盘***中的硬盘型号,将属于同一硬盘型号的硬盘状态属性数据分配到同一硬盘类簇中;若存在一个或多个硬盘型号的硬盘状态属性数据的数据量大于或等于预设的数据量阈值,则将对应的一个或多个第一硬盘类簇分别拆分为多个第二硬盘类簇;其中,所述第一硬盘类簇的数据量大于所述第二硬盘类簇的数据量;或者,若存在一个或多个硬盘型号的硬盘状态属性数据的数据量小于所述数据量阈值,则将对应的一个或多个第三硬盘类簇合并为一个第四硬盘类簇;所述第四硬盘类簇的数据量大于所述第三硬盘类簇的数据量;
基于所述硬盘状态属性数据的分布差异性对所述硬盘状态属性数据进行聚类,以将所述硬盘状态属性数据分配到所述第二硬盘类簇或所述第四硬盘类簇,确定所述硬盘状态属性数据所属的硬盘类簇。
进一步的,所述硬盘健康指标信息为所述多塔结构的硬盘故障预测模型对所述硬盘状态属性数据进行异常检测处理得到的硬盘健康分数值;所述硬盘健康分数值与硬盘健康程度成正比关系;
所述故障预警单元,具体用于:将所述硬盘健康分数值与当前选择的打分阈值进行比对分析,在所述硬盘健康分数值小于所述打分阈值的情况下,判定异构硬盘***发生故障,并生成相应的故障预警提示信息。
进一步的,在将所述硬盘健康分数值与当前选择的打分阈值进行比对分析之后,所述故障预警单元还用于:在所述硬盘健康分数值大于或等于所述打分阈值的情况下,判定所述异构硬盘***为健康状态。
进一步的,所述的异构硬盘***故障预警装置,还包括:模型参数更新单元,用于在所述异构硬盘***为健康状态的情况下,将所述硬盘健康分数值大于或等于所述打分阈值的硬盘状态属性数据作为新的训练样本对所述多塔结构的硬盘故障预测模型进行自适应梯度训练,以实时更新所述多塔结构的硬盘故障预测模型中各个模块的参数,获得新的多塔结构的硬盘故障预测模型,以利用所述新的多塔结构的硬盘故障预测模型对后续输入的硬盘状态属性数据进行异常检测处理。
进一步的,在获得异构硬盘***中不同型号硬盘的硬盘状态属性数据之前,还包括:模型离线训练单元,用于在离线状态下进行模型训练,获得所述多塔结构的硬盘故障预测模型;
所述模型离线训练单元,具体用于:
获取样本硬盘的样本硬盘状态属性数据;其中,所述样本硬盘状态属性数据包括健康硬盘对应的状态属性数据和异常硬盘对应的状态属性数据;
根据样本硬盘的硬盘型号和所述样本硬盘状态属性数据的分布差异性,对所述样本硬盘状态属性数据进行聚类分组,确定所述样本硬盘状态属性数据所属的样本硬盘类簇;
基于所述样本硬盘类簇对应的所述样本硬盘状态属性数据训练初始的多塔结构的硬盘故障预测模型,并通过比较多个硬盘异常检测阈值对最终异常检测结果的影响情况,对多个硬盘异常检测阈值进行筛选,确定满足预设的概率置信度条件的硬盘异常检测阈值,并基于所述满足预设的概率置信度条件的硬盘异常检测阈值更新模型参数的打分阈值,获得最终训练完成的所述多塔结构的硬盘故障预测模型;其中,所述打分阈值为概率置信度大于或等于预设的概率置信度的硬盘异常检测阈值。
进一步的,所述聚类分组单元,具体用于:获取异构硬盘***中不同型号硬盘的原始硬盘状态属性数据,对所述原始硬盘状态属性数据进行缺失值填充,获得第一硬盘状态属性数据;对所述第一硬盘状态属性数据进行特征筛选,获得第二硬盘状态属性数据;对所述第二硬盘状态属性数据进行归一化处理,获得所述硬盘状态属性数据。
进一步的,所述基于所述个性特征参数和所述共性特征参数,确定所述异构硬盘***中不同型号硬盘对应的目标属性表征,具体包括:
将所述个性特征参数和所述共性特征参数进行相乘,获得所述异构硬盘***中不同型号硬盘对应的目标属性表征。
进一步的,所述基于所述硬盘状态属性数据的分布差异性对所述硬盘状态属性数据进行聚类,以将所述硬盘状态属性数据分配到所述第二硬盘类簇或所述第四硬盘类簇,确定所述硬盘状态属性数据所属的硬盘类簇,具体包括:
确定用于聚类的度量准则;
基于所述硬盘状态属性数据的分布差异性以及所述度量准则对所述硬盘状态属性数据进行聚类处理,以将所述硬盘状态属性数据分配到所述第二硬盘类簇或所述第四硬盘类簇,获得所述硬盘状态属性数据所属的硬盘类簇。
进一步的,所述根据当前所述硬盘状态属性数据所属的硬盘类簇,将所述硬盘状态属性数据选择输入至所述多塔结构的硬盘故障预测模型中对应的硬盘个性特征提取模块,获得每个硬盘类簇对应的个性特征参数,具体包括:
根据当前所述硬盘状态属性数据所属的硬盘类簇,确定对应的硬盘个性特征提取模块的标识信息;
基于所述标识信息,将所述硬盘状态属性数据选择输入至所述多塔结构的硬盘故障预测模型中对应的硬盘个性特征提取模块,获得每个硬盘类簇对应的个性特征参数。
进一步的,所述多塔结构的硬盘故障预测模型中包括多个硬盘个性特征提取模块,每个硬盘个性特征提取模块对应处理一个硬盘类簇的硬盘状态属性数据,且每个硬盘个性特征提取模块对应的一个目标权重参数。
第三方面,本申请还提供一种电子设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上任意一项所述的异构硬盘***故障预警方法的步骤。
第四方面,本申请还提供一种处理器可读存储介质,所述处理器可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上任意一项所述的异构硬盘***故障预警方法的步骤。
本申请提供的异构硬盘***故障预警方法,通过获得异构硬盘***中不同型号硬盘的硬盘状态属性数据,并根据硬盘型号和所述硬盘状态属性数据的分布差异性,对所述硬盘状态属性数据进行聚类分组,确定所述硬盘状态属性数据所属的硬盘类簇,将每个所述硬盘类簇对应的硬盘状态属性数据分别输入到预设的多塔结构的硬盘故障预测模型进行异常检测处理,获得所述多塔结构的硬盘故障预测模型输出的硬盘健康指标信息,并基于所述硬盘健康指标信息对所述异构硬盘***进行故障预警,能够有效提高了异构硬盘***故障预警的精确度和效率,从而提升了异构硬盘***运行的稳定性和安全性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获取其他的附图。
图1是本申请实施例提供的异构硬盘***故障预警方法的流程示意图;
图2是本申请实施例提供的异构硬盘***故障预警方法的完整流程示意图;
图3是本申请实施例提供的异构硬盘***故障预警方法中多塔结构的硬盘故障预测模型的示意图;
图4是本申请实施例提供的异构硬盘***故障预警装置的结构示意图;
图5是本申请实施例提供的异构硬盘***故障预警方法的硬件环境示意图;
图6是本申请实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例,都属于本申请保护的范围。
下面首先基于本申请所述异构硬盘***故障预警方法,对其实施例进行详细描述。如图1所示,为本申请实施例提供的异构硬盘***故障预警方法的流程示意图,具体实现过程包括以下步骤:
步骤101:获得异构硬盘***中不同型号硬盘的硬盘状态属性数据,并根据硬盘型号和所述硬盘状态属性数据的分布差异性,对所述硬盘状态属性数据进行聚类分组,确定所述硬盘状态属性数据所属的硬盘类簇。
在本发明实施例中,获得异构硬盘***中不同型号硬盘的硬盘状态属性数据之后,可根据所述异构硬盘***中的硬盘型号,将属于同一硬盘型号的硬盘状态属性数据分配到同一硬盘类簇中;若存在一个或多个硬盘型号的硬盘状态属性数据的数据量大于或等于预设的数据量阈值,则将对应的一个或多个第一硬盘类簇分别拆分为多个第二硬盘类簇;其中,所述第一硬盘类簇的数据量大于所述第二硬盘类簇的数据量;或者,若存在一个或多个硬盘型号的硬盘状态属性数据的数据量小于所述数据量阈值,则将对应的一个或多个第三硬盘类簇合并为一个第四硬盘类簇;所述第四硬盘类簇的数据量大于所述第三硬盘类簇的数据量。基于所述硬盘状态属性数据的分布差异性对所述硬盘状态属性数据进行聚类,以将所述硬盘状态属性数据分配到所述第二硬盘类簇或所述第四硬盘类簇,确定所述硬盘状态属性数据所属的硬盘类簇。其中,所述获得异构硬盘***中不同型号硬盘的硬盘状态属性数据,对应的具体实现过程包括:获取异构硬盘***中不同型号硬盘的原始硬盘状态属性数据,对所述原始硬盘状态属性数据进行缺失值填充,获得第一硬盘状态属性数据;对所述第一硬盘状态属性数据进行特征筛选,获得第二硬盘状态属性数据;对所述第二硬盘状态属性数据进行归一化处理,获得所述硬盘状态属性数据。在基于所述硬盘状态属性数据的分布差异性对所述硬盘状态属性数据进行聚类,以将所述硬盘状态属性数据分配到所述第二硬盘类簇或所述第四硬盘类簇,确定所述硬盘状态属性数据所属的硬盘类簇过程中,需要首先确定用于聚类的度量准则,进而基于所述度量准则以及所述硬盘状态属性数据的分布差异性对所述硬盘状态属性数据进行聚类处理,以将所述硬盘状态属性数据分配到所述第二硬盘类簇或所述第四硬盘类簇,获得所述硬盘状态属性数据所属的硬盘类簇。其中,所述硬盘状态属性数据包括但不限于数据读取错误率、盘片启动时间、电机启停次计数、重映射扇区数、寻道错误率、寻道时间,硬盘通电时间等。所述数据读取错误率为从磁盘表面读取数据时发生的硬件读取错误率,值越小越好。所述盘片启动时间为盘片由静止启动然后加速到额定的转速在这个过程所经历的平均时间,值越小越好。在此不再一一赘述。所述硬盘类簇为属于同一型号硬盘或者硬盘属性状态相近的硬盘状态属性数据的集合。
需要说明的是,如图2所示,本发明实施例包括离线训练阶段和在线预测阶段以及在线更新模型参数阶段构成。其中,离线训练阶段包括图2中的实线连接部分,在线预测阶段和在线更新模型参数阶段包括图2中的虚线连接部分,即实线表示离线训练阶段,虚线表示在线预测阶段和在线更新模型参数阶段。也就是,在执行本步骤之前,需要预先在离线状态下进行模型训练,以获得所述多塔结构的硬盘故障预测模型。所述在离线状态下进行模型训练,获得所述多塔结构的硬盘故障预测模型,对应的具体实现过程包括:获取样本硬盘的样本硬盘状态属性数据;其中,所述样本硬盘状态属性数据包括健康硬盘对应的状态属性数据和异常硬盘对应的状态属性数据。根据样本硬盘的硬盘型号和所述样本硬盘状态属性数据的分布差异性,对所述样本硬盘状态属性数据进行聚类分组,确定所述样本硬盘状态属性数据所属的样本硬盘类簇。基于所述样本硬盘类簇对应的所述样本硬盘状态属性数据训练初始的多塔结构的硬盘故障预测模型,并通过比较多个硬盘异常检测阈值对最终异常检测结果的影响情况,对多个硬盘异常检测阈值进行筛选,确定满足预设的概率置信度条件的硬盘异常检测阈值,并基于所述满足预设的概率置信度条件的硬盘异常检测阈值更新模型参数的打分阈值,获得最终训练完成的所述多塔结构的硬盘故障预测模型;其中,所述打分阈值为概率置信度大于或等于预设的概率置信度的硬盘异常检测阈值。也就是,在对硬盘异常检测阈值进行筛选,可根据已有的正常硬盘数据(即硬盘健康状态数据)和故障硬盘数据(即硬盘异常状态数据),比较不同阈值对最终预测结果影响的好坏,决定异常检测阈值(即打分阈值)的筛选结果,用以更新模型参数的高置信度打分阈值。
具体的,离线训练阶段中,首先根据硬盘型号、硬盘状态属性数据(即S.M.A.R.T数据)等,采用聚类算法将不同型号硬盘的硬盘相关数据分为多个硬盘类簇,并利用这些硬盘类簇的数据训练多塔异常检测模型(即初始的多塔结构的硬盘故障预测模型)。在线预测阶段包括通过预处理得到新数据,采用离线训练阶段完成的多塔异常检测模型(即训练完成的多塔结构的硬盘故障预测模型),预测此刻是否会有故障风险,据此发出预警信息。此外,判断硬盘健康打分是否满足高置信度条件,若满足将当前测试样本用以更新模型参数。算法具体执行过程如下:首先进行数据预处理: 对不同型号硬盘的S.M.A.R.T数据进行预处理,包括缺失值填充、归一化处理、特征筛选等预处理内容。然后根据硬盘型号、硬盘状态属性数据的差异进行聚类分许:对预处理的硬盘的S.M.A.R.T数据进行聚类,为考虑不同型号的硬盘数据量比例不同,在对硬盘数据聚类时遵循以下准则,即粗分阶段和细分阶段:在粗分阶段,可将同一型号的硬盘数据放置同一硬盘类簇中,若其中一个或某几个型号硬盘的数据量过大,对同一型号的硬盘数据做硬盘类簇的拆分,即将一个大硬盘类簇(即第一硬盘类簇)拆分为多个小类簇(即第二硬盘类簇);对某个或某几个数据量比较小的硬盘类簇(即第三硬盘类簇),可进行合并,得到一个大的硬盘类簇(即硬盘类簇)。在细分阶段中,上述类簇的拆分或合并是根据硬盘型号划分的,为进一步保证相似数据分布的硬盘数据聚合分组,可采用聚类算法(如K-means、Dbscan、层次聚类)对硬盘状态属性数据采用预设的度量准则进行聚类。
在训练多塔异常检测模型中,根据上述得到的多个硬盘类簇的硬盘状态属性数据作为样本数据,可有效训练多塔异常检测模型,得到多塔结构的硬盘故障预测模型,所述多塔结构的硬盘故障预测模型结构的如图3所示,具体过程如下:用于训练的样本数据通常包括S.M.A.R.T特征信息、此刻硬盘是否异常的标签信息、该样本数据所属的类簇指示器(图3中的Input)。
将上述多个硬盘类簇的硬盘状态属性数据输入值多塔异常检测模型,多塔异常检测模型中的Gate Net网络结构(图3中的Gate Net)会根据当前样本数据所属的硬盘类簇,选择将样本数据输入至对应硬盘特有权重训练模块(即如图3中的Disk-1 Weight, Disk-2Weight… ,Disk-N Weight,N为大于1的正整数),所述硬盘特有权重训练模块也称硬盘个性特征提取模块或硬盘特有参数模块,输出硬盘所属硬盘类簇的特有参数(即个性特征参数);另外,样本数据会输入硬盘共有权重训练模块(即图3中的Disk Shared Weight,也称硬盘共性特征提取模块或者硬盘共享参数模块),得到不同硬盘类簇的共有特性参数(即共性特征参数),将硬盘共性特征提取模块和硬盘个性特征提取模块输出结果相乘,获取硬盘的最终的目标属性表征。将硬盘的最终的目标属性表征输入硬盘故障预警功能模块(对应图3中的Output)进行故障推理分析,得到硬盘打分(即硬盘健康分数值),将所述硬盘健康分数值作为硬盘健康指标信息。
多塔异常检测模型的训练目标算法如下,即训练目标为计算输出的预测值与输入的实际值/>之间相似度的最大值:
其中,表示硬盘类簇c第i的样本数据的预测值(即输出的硬盘健康分数值);/>为对应样本数据的实际值(即输入的硬盘健康分数值);N为本发明实施例中划分的硬盘类簇的个数;/>为硬盘类簇c中的样本数据的总数,即不同型号硬盘的硬盘状态属性数据的总量。
步骤102:将每个所述硬盘类簇对应的硬盘状态属性数据分别输入到预设的多塔结构的硬盘故障预测模型进行异常检测处理,获得所述多塔结构的硬盘故障预测模型输出的硬盘健康指标信息;其中,所述硬盘故障预测模型是基于样本硬盘状态属性数据以及所述样本硬盘状态属性数据对应的硬盘健康标签信息进行训练得到的。
在本发明实施例中,可根据当前所述硬盘状态属性数据所属的硬盘类簇,将所述硬盘状态属性数据选择输入至所述多塔结构的硬盘故障预测模型中对应的硬盘个性特征提取模块,获得每个硬盘类簇对应的个性特征参数。将所述硬盘状态属性数据输入至所述多塔结构的硬盘故障预测模型中的硬盘共性特征提取模块,获得不同硬盘类簇的共性特征参数。基于所述个性特征参数和所述共性特征参数,确定所述异构硬盘***中不同型号硬盘对应的目标属性表征。将所述目标属性表征输入至所述多塔结构的硬盘故障预测模型中的硬盘故障预警功能模块进行故障推理分析,获得所述硬盘故障预警功能模块输出的硬盘健康指标信息。其中,所述基于所述个性特征参数和所述共性特征参数,确定所述异构硬盘***中不同型号硬盘对应的目标属性表征,对应的具体实现过程可包括:将所述个性特征参数和所述共性特征参数进行相乘,获得异构硬盘***中不同型号硬盘对应的目标属性表征。
其中,在所述根据当前所述硬盘状态属性数据所属的硬盘类簇,将所述硬盘状态属性数据选择输入至所述多塔结构的硬盘故障预测模型中对应的硬盘个性特征提取模块,获得每个硬盘类簇对应的个性特征参数过程中,需要首先根据当前所述硬盘状态属性数据所属的硬盘类簇,确定对应的硬盘个性特征提取模块的标识信息,进而基于所述标识信息,将所述硬盘状态属性数据选择输入至所述多塔结构的硬盘故障预测模型中对应的硬盘个性特征提取模块,获得每个硬盘类簇对应的个性特征参数。所述多塔结构的硬盘故障预测模型中包括多个硬盘个性特征提取模块,每个硬盘个性特征提取模块对应处理一个硬盘类簇的硬盘状态属性数据,且每个硬盘个性特征提取模块对应的一个目标权重参数。
如图3所示,多塔结构的硬盘故障预测模型的网络结构包括多个硬盘个性特征提取模块1、硬盘个性特征提取模块2,…,硬盘个性特征提取模块n(即分别对应Disk-1Weight,Disk-2 Weight,……,Disk-N Weight)、硬盘共性特征提取模块(即Disk SharedWeight)、硬盘故障预警功能模块(即Output)以及权重因子预测模块(即Gate Net网络结构)等子网络。所述Gate Net网络结构用于提取异构硬盘***中不同型号硬盘的硬盘状态属性数据对应的权重因子(即数据对应输入各个硬盘个性特征提取模块的概率值),例如,若N为3,对应Disk-1 Weight子网络的权重因子可为0.1,对应Disk-2 Weight子网络可为0.8,对应Disk-3 Weight子网络的权重因子可为0.1。基于上述各个权重因子分别与三个硬盘个性特征提取模块提取的个性特征相乘后进行拼接,得到每个硬盘类簇对应的个性特征参数。将所述硬盘状态属性数据输入至所述多塔结构的硬盘故障预测模型中的硬盘共性特征提取模块,获得不同硬盘类簇的共性特征参数。基于所述个性特征参数和所述共性特征参数相乘,确定所述异构硬盘***中不同型号硬盘对应的目标属性表征。将所述目标属性表征输入至所述多塔结构的硬盘故障预测模型中的硬盘故障预警功能模块进行故障推理分析,获得所述硬盘故障预警功能模块输出的硬盘健康指标信息。
其中,在本发明实施例中,所述多个硬盘个性特征提取模块分别对应的算法公式可为:
FFN(x)=relu(relu(xW1+b1)W2+b2)
该公式中,x为不同型号硬盘的硬盘状态属性数据;w1和b1分别为该模块中第一层网络结构的第一权重系数和第一偏差系数;括号内部的 relu为第一层的激活函数;w2和b2分别为模块中第二层网络的第二权重系数和第二偏差系数;括号外部的relu为第二层网络的激活函数。
在本发明实施例中,所述硬盘共性特征提取模块对应的算法公式可为:FFN(x)=relu(relu(xW1+b1)W2+b2)
该公式中,x也为不同型号硬盘的硬盘状态属性数据;w1和 b1 分别为该模块中第一层网络结构的第一权重系数和第一偏差系数;括号内部的relu第一层的激活函数;w2和b2 分别为模块中第二层网络的第二权重系数和第二偏差系数;括号外部的relu第二层网络的激活函数。
在本发明实施例中,所述硬盘故障预警功能模块对应的算法公式可为:FFN(x)=sigmoid(xW1+b1)
该公式中,x为硬盘共有表征和特有表征相乘后的目标属性表征; w1和b1分别为该模块中网络结构的第一权重系数和第一偏差系数;sigmoid为网络结构的激活函数,输出0~1,表示硬盘是否发生故障,分数值越大,表示故障概率越大。
在本发明实施例中,所述权重系数预测模块对应的算法公式可为:
FFN(x)= softmax(relu(xW1+b1)W2+b2)
该公式中,x为不同型号硬盘的相关数据,比如硬盘型号、厂家标识等;w1和b1分别为该模块中第一层网络结构的第一权重系数和第一偏差系数;括号内部的relu第一层的激活函数,w2和b2 分别为权重系数和偏差系数;softmax为归一化处理网络的函数,把对应输出置换为0~1之间权重因子,且所有权重因子的和等于1。
步骤103:基于所述硬盘健康指标信息对所述异构硬盘***进行故障预警。
在本发明实施例中,所述硬盘健康指标信息为所述多塔结构的硬盘故障预测模型对所述硬盘状态属性数据进行异常检测处理得到的硬盘健康分数值;所述硬盘健康分数值与硬盘健康程度成正比关系。
具体的,将所述硬盘健康分数值与当前选择的打分阈值进行比对分析,在所述硬盘健康分数值小于所述打分阈值的情况下,判定异构硬盘***发生故障,并生成相应的故障预警提示信息。也就是,在线预测阶段,可对新数据进行预处理后,输入至中多塔结构的硬盘故障预测模型对硬盘此时健康水平打分,进而根据检测阈值判断是否发出预警。
除此之外,在将所述硬盘健康分数值与当前选择的打分阈值进行比对分析之后,还可在所述硬盘健康分数值大于或等于所述打分阈值的情况下,判定所述异构硬盘***为健康状态。在所述异构硬盘***为健康状态的情况下,可将所述硬盘健康分数值大于或等于所述打分阈值的硬盘状态属性数据作为新的训练样本对所述多塔结构的硬盘故障预测模型进行自适应梯度训练,以实时更新所述多塔结构的硬盘故障预测模型中各个模块的参数,获得新的多塔结构的硬盘故障预测模型,以利用所述新的多塔结构的硬盘故障预测模型对后续输入的硬盘状态属性数据进行异常检测处理。也就是,在线更新模型参数过程中,可根据得到的高置信度打分阈值,判断当前硬盘分数值是否满足预设的置信度条件,若满足条件,则当前样本被用以更新模型参数,否则不更新模型参数。
在本发明实施例中,可针对不同型号硬盘数据不平衡对将模型参数更新的影响、模型参数自适应更新等问题给出解决方案,具体如下:1)根据硬盘型号、S.M.A.R.T数据的分布差异性等信息,采用聚类算法对不同硬盘型号硬盘的S.M.A.R.T数据进行聚类分组,以保证硬盘类簇间的数据量一致性和数据分布差异性、硬盘类簇内的数据分布一致性;2)基于不同硬盘类簇的S.M.A.R.T数据,可建立可适配不同型号硬盘的多塔故障预警模型(即多塔结构的硬盘故障预测模型),多塔故障预警模型主要分为硬盘共享参数模块、硬盘特有参数模块和硬盘故障预警功能模块,硬盘共享参数用以捕获不同型号硬盘的共性,即共性特征参数;硬盘特有参数用以表征硬盘类簇特有的数据分布属性(即个性特征参数),将两者相乘用以表征当前硬盘的最终目标属性表征,所述目标属性表征为特征向量,并将目标属性表征输入至硬盘故障预警功能模块,获取当前时刻的硬盘是否会发生故障的信息;3)根据预测硬盘故障的概率置信度,对多塔故障预警模型的各个模块参数进行自适应梯度更新,实现多塔故障预警模型中各个模块参数的实时更新,保证多塔故障预警模型的预测精度。
需要说明的是,通过不同型号硬盘聚类可解决硬盘型号数据不平衡问题的影响。不平衡问题是机器学***衡;故障硬盘和正常硬盘数据量差异较大,对故障硬盘数据可采用上采样或对抗学***衡问题。本申请可筛选高置信度样本更新多塔故障预警模型中各个模块的参数。硬盘故障预警中鲁棒性在指标上体现为提高故障硬盘预警率,降低正常硬盘误报率。本申请可通过多方面实现实时更新模型参数,保证模型能够实时捕获异构硬盘***数据分布特性。在更新样本时选择高置信度的样本,进一步保证模型参数不受误判样本的影响。另外,由于磁盘的时变属性,在构建多塔故障预警模型时,对图3中的Input模块输入的是一个时间窗内的序列数据,并融入LSTM模型用以更好的捕获这种时变特性。具体地,每一个时间序列中的样本,除样本数据本身的SMART数据作为输入外,还会以前一个样本的LSTM结构隐藏遍历输入。
本申请实施例所述的异构硬盘***故障预警方法,通过获得异构硬盘***中不同型号硬盘的硬盘状态属性数据,并根据硬盘型号和所述硬盘状态属性数据的分布差异性,对所述硬盘状态属性数据进行聚类分组,确定所述硬盘状态属性数据所属的硬盘类簇,将每个所述硬盘类簇对应的硬盘状态属性数据分别输入到预设的多塔结构的硬盘故障预测模型进行异常检测处理,获得所述多塔结构的硬盘故障预测模型输出的硬盘健康指标信息,并基于所述硬盘健康指标信息对所述异构硬盘***进行故障预警,能够有效提高了异构硬盘***故障预警的精确度和效率,从而提升了异构硬盘***运行的稳定性和安全性。
与上述提供的一种异构硬盘***故障预警方法相对应,本申请还提供一种异构硬盘***故障预警装置。由于该装置的实施例相似于上述方法实施例,所以描述得比较简单,相关之处请参见上述方法实施例部分的说明即可,下面描述的异构硬盘***故障预警装置的实施例仅是示意性的。请参考图4所示,其为本申请实施例提供的一种异构硬盘***故障预警装置的结构示意图。本申请所述的异构硬盘***故障预警装置,包括如下部分:
聚类分组单元401,用于获得异构硬盘***中不同型号硬盘的硬盘状态属性数据,并根据硬盘型号和所述硬盘状态属性数据的分布差异性,对所述硬盘状态属性数据进行聚类分组,确定所述硬盘状态属性数据所属的硬盘类簇;
故障分析单元402,用于将每个所述硬盘类簇对应的硬盘状态属性数据分别输入到预设的多塔结构的硬盘故障预测模型进行异常检测处理,获得所述多塔结构的硬盘故障预测模型输出的硬盘健康指标信息;其中,所述硬盘故障预测模型是基于样本硬盘状态属性数据以及所述样本硬盘状态属性数据对应的硬盘健康标签信息进行训练得到的;
故障预警单元403,用于基于所述硬盘健康指标信息对所述异构硬盘***进行故障预警。
进一步的,所述故障分析单元,具体用于:
根据当前所述硬盘状态属性数据所属的硬盘类簇,将所述硬盘状态属性数据选择输入至所述多塔结构的硬盘故障预测模型中对应的硬盘个性特征提取模块,获得每个硬盘类簇对应的个性特征参数;
将所述硬盘状态属性数据输入至所述多塔结构的硬盘故障预测模型中的硬盘共性特征提取模块,获得不同硬盘类簇的共性特征参数;
基于所述个性特征参数和所述共性特征参数,确定所述异构硬盘***中不同型号硬盘对应的目标属性表征;
将所述目标属性表征输入至所述多塔结构的硬盘故障预测模型中的硬盘故障预警功能模块进行故障推理分析,获得所述硬盘故障预警功能模块输出的硬盘健康指标信息。
进一步的,所述根据硬盘型号和所述硬盘状态属性数据的分布差异性,对所述硬盘状态属性数据进行聚类分组,确定所述硬盘状态属性数据所属的硬盘类簇,具体包括:
根据所述异构硬盘***中的硬盘型号,将属于同一硬盘型号的硬盘状态属性数据分配到同一硬盘类簇中;若存在一个或多个硬盘型号的硬盘状态属性数据的数据量大于或等于预设的数据量阈值,则将对应的一个或多个第一硬盘类簇分别拆分为多个第二硬盘类簇;其中,所述第一硬盘类簇的数据量大于所述第二硬盘类簇的数据量;或者,若存在一个或多个硬盘型号的硬盘状态属性数据的数据量小于所述数据量阈值,则将对应的一个或多个第三硬盘类簇合并为一个第四硬盘类簇;所述第四硬盘类簇的数据量大于所述第三硬盘类簇的数据量;
基于所述硬盘状态属性数据的分布差异性对所述硬盘状态属性数据进行聚类,以将所述硬盘状态属性数据分配到所述第二硬盘类簇或所述第四硬盘类簇,确定所述硬盘状态属性数据所属的硬盘类簇。
进一步的,所述硬盘健康指标信息为所述多塔结构的硬盘故障预测模型对所述硬盘状态属性数据进行异常检测处理得到的硬盘健康分数值;所述硬盘健康分数值与硬盘健康程度成正比关系;
所述故障预警单元,具体用于:将所述硬盘健康分数值与当前选择的打分阈值进行比对分析,在所述硬盘健康分数值小于所述打分阈值的情况下,判定异构硬盘***发生故障,并生成相应的故障预警提示信息。
进一步的,在将所述硬盘健康分数值与当前选择的打分阈值进行比对分析之后,所述故障预警单元还用于:在所述硬盘健康分数值大于或等于所述打分阈值的情况下,判定所述异构硬盘***为健康状态。
进一步的,所述的异构硬盘***故障预警装置,还包括:模型参数更新单元,用于在所述异构硬盘***为健康状态的情况下,将所述硬盘健康分数值大于或等于所述打分阈值的硬盘状态属性数据作为新的训练样本对所述多塔结构的硬盘故障预测模型进行自适应梯度训练,以实时更新所述多塔结构的硬盘故障预测模型中各个模块的参数,获得新的多塔结构的硬盘故障预测模型,以利用所述新的多塔结构的硬盘故障预测模型对后续输入的硬盘状态属性数据进行异常检测处理。
进一步的,在获得异构硬盘***中不同型号硬盘的硬盘状态属性数据之前,还包括:模型离线训练单元,用于在离线状态下进行模型训练,获得所述多塔结构的硬盘故障预测模型;
所述模型离线训练单元,具体用于:
获取样本硬盘的样本硬盘状态属性数据;其中,所述样本硬盘状态属性数据包括健康硬盘对应的状态属性数据和异常硬盘对应的状态属性数据;
根据样本硬盘的硬盘型号和所述样本硬盘状态属性数据的分布差异性,对所述样本硬盘状态属性数据进行聚类分组,确定所述样本硬盘状态属性数据所属的样本硬盘类簇;
基于所述样本硬盘类簇对应的所述样本硬盘状态属性数据训练初始的多塔结构的硬盘故障预测模型,并通过比较多个硬盘异常检测阈值对最终异常检测结果的影响情况,对多个硬盘异常检测阈值进行筛选,确定满足预设的概率置信度条件的硬盘异常检测阈值,并基于所述满足预设的概率置信度条件的硬盘异常检测阈值更新模型参数的打分阈值,获得最终训练完成的所述多塔结构的硬盘故障预测模型;其中,所述打分阈值为概率置信度大于或等于预设的概率置信度的硬盘异常检测阈值。
进一步的,所述聚类分组单元,具体用于:获取异构硬盘***中不同型号硬盘的原始硬盘状态属性数据,对所述原始硬盘状态属性数据进行缺失值填充,获得第一硬盘状态属性数据;对所述第一硬盘状态属性数据进行特征筛选,获得第二硬盘状态属性数据;对所述第二硬盘状态属性数据进行归一化处理,获得所述硬盘状态属性数据。
进一步的,所述基于所述个性特征参数和所述共性特征参数,确定所述异构硬盘***中不同型号硬盘对应的目标属性表征,具体包括:
将所述个性特征参数和所述共性特征参数进行相乘,获得所述异构硬盘***中不同型号硬盘对应的目标属性表征。
进一步的,所述基于所述硬盘状态属性数据的分布差异性对所述硬盘状态属性数据进行聚类,以将所述硬盘状态属性数据分配到所述第二硬盘类簇或所述第四硬盘类簇,确定所述硬盘状态属性数据所属的硬盘类簇,具体包括:
确定用于聚类的度量准则;
基于所述硬盘状态属性数据的分布差异性以及所述度量准则对所述硬盘状态属性数据进行聚类处理,以将所述硬盘状态属性数据分配到所述第二硬盘类簇或所述第四硬盘类簇,获得所述硬盘状态属性数据所属的硬盘类簇。
进一步的,所述根据当前所述硬盘状态属性数据所属的硬盘类簇,将所述硬盘状态属性数据选择输入至所述多塔结构的硬盘故障预测模型中对应的硬盘个性特征提取模块,获得每个硬盘类簇对应的个性特征参数,具体包括:
根据当前所述硬盘状态属性数据所属的硬盘类簇,确定对应的硬盘个性特征提取模块的标识信息;
基于所述标识信息,将所述硬盘状态属性数据选择输入至所述多塔结构的硬盘故障预测模型中对应的硬盘个性特征提取模块,获得每个硬盘类簇对应的个性特征参数。
进一步的,所述多塔结构的硬盘故障预测模型中包括多个硬盘个性特征提取模块,每个硬盘个性特征提取模块对应处理一个硬盘类簇的硬盘状态属性数据,且每个硬盘个性特征提取模块对应的一个目标权重参数。
本申请实施例所述的异构硬盘***故障预警装置,通过获得异构硬盘***中不同型号硬盘的硬盘状态属性数据,并根据硬盘型号和所述硬盘状态属性数据的分布差异性,对所述硬盘状态属性数据进行聚类分组,确定所述硬盘状态属性数据所属的硬盘类簇,将每个所述硬盘类簇对应的硬盘状态属性数据分别输入到预设的多塔结构的硬盘故障预测模型进行异常检测处理,获得所述多塔结构的硬盘故障预测模型输出的硬盘健康指标信息,并基于所述硬盘健康指标信息对所述异构硬盘***进行故障预警,能够有效提高了异构硬盘***故障预警的精确度和效率,从而提升了异构硬盘***运行的稳定性和安全性。
本申请实施例所提供的方法实施例可以在计算机终端、设备终端或者类似的运算装置中执行。以运行在计算机终端上为例,图5是根据本申请实施例的一种异构硬盘***故障预警方法的硬件环境示意图。如图5所示,计算机终端可以包括一个或多个(图5中仅示出一个)第一处理器502(第一处理器502可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的第一存储器504,在一个示例性实施例中,上述计算机终端还可以包括用于通信功能的传输设备506以及输入输出设备508。本领域普通技术人员可以理解,图5所示的结构仅为示意,其并不对上述计算机终端的结构造成限定。例如,计算机终端还可包括比图5中所示更多或者更少的组件,或者具有与图5所示等同功能或比图5所示功能更多的不同的配置。第一存储器504可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本申请实施例中的异构硬盘***故障预警方法对应的计算机程序,第一处理器502通过运行存储在存储器504内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。第一存储器504可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,第一存储器504可进一步包括相对于第一处理器502远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。传输设备506用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中,传输设备506包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备506可以为射频(RadioFrequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。在本实施例中提供了一种异构硬盘***故障预警方法,应用于上述计算机终端。
或者,与上述提供的异构硬盘***故障预警方法相对应,本申请还提供一种电子设备。由于该电子设备的实施例相似于上述方法实施例,所以描述得比较简单,相关之处请参见上述方法实施例部分的说明即可,下面描述的电子设备仅是示意性的。如图6所示,其为本申请实施例公开的一种电子设备的实体结构示意图。该电子设备可以包括:处理器(processor)601、存储器(memory)602和通信总线603,其中,处理器601,存储器602通过通信总线603完成相互间的通信,通过通信接口604与外部进行通信。处理器601可以调用存储器602中的逻辑指令,以执行异构硬盘***故障预警方法,该方法包括:获得异构硬盘***中不同型号硬盘的硬盘状态属性数据,并根据硬盘型号和所述硬盘状态属性数据的分布差异性,对所述硬盘状态属性数据进行聚类分组,确定所述硬盘状态属性数据所属的硬盘类簇;将每个所述硬盘类簇对应的硬盘状态属性数据分别输入到预设的多塔结构的硬盘故障预测模型进行异常检测处理,获得所述多塔结构的硬盘故障预测模型输出的硬盘健康指标信息;其中,所述硬盘故障预测模型是基于样本硬盘状态属性数据以及所述样本硬盘状态属性数据对应的硬盘健康标签信息进行训练得到的;基于所述硬盘健康指标信息对所述异构硬盘***进行故障预警。
此外,上述的存储器602中的逻辑指令可以通过软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:存储芯片、U盘、移动硬盘、只读存储器 (ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储在处理器可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的异构硬盘***故障预警方法。该方法包括:获得异构硬盘***中不同型号硬盘的硬盘状态属性数据,并根据硬盘型号和所述硬盘状态属性数据的分布差异性,对所述硬盘状态属性数据进行聚类分组,确定所述硬盘状态属性数据所属的硬盘类簇;将每个所述硬盘类簇对应的硬盘状态属性数据分别输入到预设的多塔结构的硬盘故障预测模型进行异常检测处理,获得所述多塔结构的硬盘故障预测模型输出的硬盘健康指标信息;其中,所述硬盘故障预测模型是基于样本硬盘状态属性数据以及所述样本硬盘状态属性数据对应的硬盘健康标签信息进行训练得到的;基于所述硬盘健康指标信息对所述异构硬盘***进行故障预警。
又一方面,本申请实施例还提供一种处理器可读存储介质,所述处理器可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的异构硬盘***故障预警方法。该方法包括:获得异构硬盘***中不同型号硬盘的硬盘状态属性数据,并根据硬盘型号和所述硬盘状态属性数据的分布差异性,对所述硬盘状态属性数据进行聚类分组,确定所述硬盘状态属性数据所属的硬盘类簇;将每个所述硬盘类簇对应的硬盘状态属性数据分别输入到预设的多塔结构的硬盘故障预测模型进行异常检测处理,获得所述多塔结构的硬盘故障预测模型输出的硬盘健康指标信息;其中,所述硬盘故障预测模型是基于样本硬盘状态属性数据以及所述样本硬盘状态属性数据对应的硬盘健康标签信息进行训练得到的;基于所述硬盘健康指标信息对所述异构硬盘***进行故障预警。
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种异构硬盘***故障预警方法,其特征在于,包括:
获得异构硬盘***中不同型号硬盘的硬盘状态属性数据,并根据硬盘型号和所述硬盘状态属性数据的分布差异性,对所述硬盘状态属性数据进行聚类分组,确定所述硬盘状态属性数据所属的硬盘类簇;
将每个所述硬盘类簇对应的硬盘状态属性数据分别输入到预设的多塔结构的硬盘故障预测模型进行异常检测处理,获得所述多塔结构的硬盘故障预测模型输出的硬盘健康指标信息;其中,所述硬盘故障预测模型是基于样本硬盘状态属性数据以及所述样本硬盘状态属性数据对应的硬盘健康标签信息进行训练得到的;所述将每个所述硬盘类簇对应的硬盘状态属性数据分别输入到预设的多塔结构的硬盘故障预测模型进行异常检测处理,获得所述多塔结构的硬盘故障预测模型输出的硬盘健康指标信息,具体包括:根据当前所述硬盘状态属性数据所属的硬盘类簇,将所述硬盘状态属性数据选择输入至所述多塔结构的硬盘故障预测模型中对应的硬盘个性特征提取模块,获得每个硬盘类簇对应的个性特征参数;将所述硬盘状态属性数据输入至所述多塔结构的硬盘故障预测模型中的硬盘共性特征提取模块,获得不同硬盘类簇的共性特征参数;基于所述个性特征参数和所述共性特征参数,确定所述异构硬盘***中不同型号硬盘对应的目标属性表征;将所述目标属性表征输入至所述多塔结构的硬盘故障预测模型中的硬盘故障预警功能模块进行故障推理分析,获得所述硬盘故障预警功能模块输出的硬盘健康指标信息;
基于所述硬盘健康指标信息对所述异构硬盘***进行故障预警。
2.根据权利要求1所述的异构硬盘***故障预警方法,其特征在于,所述根据硬盘型号和所述硬盘状态属性数据的分布差异性,对所述硬盘状态属性数据进行聚类分组,确定所述硬盘状态属性数据所属的硬盘类簇,具体包括:
根据所述异构硬盘***中的硬盘型号,将属于同一硬盘型号的硬盘状态属性数据分配到同一硬盘类簇中;若存在一个或多个硬盘型号的硬盘状态属性数据的数据量大于或等于预设的数据量阈值,则将对应的一个或多个第一硬盘类簇分别拆分为多个第二硬盘类簇;其中,所述第一硬盘类簇的数据量大于所述第二硬盘类簇的数据量;或者,若存在一个或多个硬盘型号的硬盘状态属性数据的数据量小于所述数据量阈值,则将对应的一个或多个第三硬盘类簇合并为一个第四硬盘类簇;所述第四硬盘类簇的数据量大于所述第三硬盘类簇的数据量;
基于所述硬盘状态属性数据的分布差异性对所述硬盘状态属性数据进行聚类,以将所述硬盘状态属性数据分配到所述第二硬盘类簇或所述第四硬盘类簇,确定所述硬盘状态属性数据所属的硬盘类簇。
3.根据权利要求1所述的异构硬盘***故障预警方法,其特征在于,所述硬盘健康指标信息为所述多塔结构的硬盘故障预测模型对所述硬盘状态属性数据进行异常检测处理得到的硬盘健康分数值;所述硬盘健康分数值与硬盘健康程度成正比关系;
所述基于所述硬盘健康指标信息对所述异构硬盘***进行故障预警,具体包括:将所述硬盘健康分数值与当前选择的打分阈值进行比对分析,在所述硬盘健康分数值小于所述打分阈值的情况下,判定异构硬盘***发生故障,并生成相应的故障预警提示信息。
4.根据权利要求3所述的异构硬盘***故障预警方法,其特征在于,在将所述硬盘健康分数值与当前选择的打分阈值进行比对分析之后,还包括:在所述硬盘健康分数值大于或等于所述打分阈值的情况下,判定所述异构硬盘***为健康状态。
5.根据权利要求4所述的异构硬盘***故障预警方法,其特征在于,还包括:在所述异构硬盘***为健康状态的情况下,将所述硬盘健康分数值大于或等于所述打分阈值的硬盘状态属性数据作为新的训练样本对所述多塔结构的硬盘故障预测模型进行自适应梯度训练,以实时更新所述多塔结构的硬盘故障预测模型中各个模块的参数,获得新的多塔结构的硬盘故障预测模型,以利用所述新的多塔结构的硬盘故障预测模型对后续输入的硬盘状态属性数据进行异常检测处理。
6.根据权利要求1所述的异构硬盘***故障预警方法,其特征在于,在获得异构硬盘***中不同型号硬盘的硬盘状态属性数据之前,还包括:在离线状态下进行模型训练,获得所述多塔结构的硬盘故障预测模型;
所述在离线状态下进行模型训练,获得所述多塔结构的硬盘故障预测模型,具体包括:
获取样本硬盘的样本硬盘状态属性数据;其中,所述样本硬盘状态属性数据包括健康硬盘对应的状态属性数据和异常硬盘对应的状态属性数据;
根据样本硬盘的硬盘型号和所述样本硬盘状态属性数据的分布差异性,对所述样本硬盘状态属性数据进行聚类分组,确定所述样本硬盘状态属性数据所属的样本硬盘类簇;
基于所述样本硬盘类簇对应的所述样本硬盘状态属性数据训练初始的多塔结构的硬盘故障预测模型,并通过比较多个硬盘异常检测阈值对最终异常检测结果的影响情况,对多个硬盘异常检测阈值进行筛选,确定满足预设的概率置信度条件的硬盘异常检测阈值,并基于所述满足预设的概率置信度条件的硬盘异常检测阈值更新模型参数的打分阈值,获得最终训练完成的所述多塔结构的硬盘故障预测模型;其中,所述打分阈值为概率置信度大于或等于预设的概率置信度的硬盘异常检测阈值。
7.根据权利要求1所述的异构硬盘***故障预警方法,其特征在于,所述获得异构硬盘***中不同型号硬盘的硬盘状态属性数据,具体包括:获取异构硬盘***中不同型号硬盘的原始硬盘状态属性数据,对所述原始硬盘状态属性数据进行缺失值填充,获得第一硬盘状态属性数据;对所述第一硬盘状态属性数据进行特征筛选,获得第二硬盘状态属性数据;对所述第二硬盘状态属性数据进行归一化处理,获得所述硬盘状态属性数据。
8.根据权利要求1所述的异构硬盘***故障预警方法,其特征在于,所述基于所述个性特征参数和所述共性特征参数,确定所述异构硬盘***中不同型号硬盘对应的目标属性表征,具体包括:
将所述个性特征参数和所述共性特征参数进行相乘,获得所述异构硬盘***中不同型号硬盘对应的目标属性表征。
9.根据权利要求2所述的异构硬盘***故障预警方法,其特征在于,所述基于所述硬盘状态属性数据的分布差异性对所述硬盘状态属性数据进行聚类,以将所述硬盘状态属性数据分配到所述第二硬盘类簇或所述第四硬盘类簇,确定所述硬盘状态属性数据所属的硬盘类簇,具体包括:
确定用于聚类的度量准则;
基于所述硬盘状态属性数据的分布差异性以及所述度量准则对所述硬盘状态属性数据进行聚类处理,以将所述硬盘状态属性数据分配到所述第二硬盘类簇或所述第四硬盘类簇,获得所述硬盘状态属性数据所属的硬盘类簇。
10.根据权利要求1所述的异构硬盘***故障预警方法,其特征在于,所述根据当前所述硬盘状态属性数据所属的硬盘类簇,将所述硬盘状态属性数据选择输入至所述多塔结构的硬盘故障预测模型中对应的硬盘个性特征提取模块,获得每个硬盘类簇对应的个性特征参数,具体包括:
根据当前所述硬盘状态属性数据所属的硬盘类簇,确定对应的硬盘个性特征提取模块的标识信息;
基于所述标识信息,将所述硬盘状态属性数据选择输入至所述多塔结构的硬盘故障预测模型中对应的硬盘个性特征提取模块,获得每个硬盘类簇对应的个性特征参数。
11.根据权利要求1所述的异构硬盘***故障预警方法,其特征在于,所述多塔结构的硬盘故障预测模型中包括多个硬盘个性特征提取模块,每个硬盘个性特征提取模块对应处理一个硬盘类簇的硬盘状态属性数据,且每个硬盘个性特征提取模块对应一个目标权重参数。
12.一种异构硬盘***故障预警装置,其特征在于,包括:
聚类分组单元,用于获得异构硬盘***中不同型号硬盘的硬盘状态属性数据,并根据硬盘型号和所述硬盘状态属性数据的分布差异性,对所述硬盘状态属性数据进行聚类分组,确定所述硬盘状态属性数据所属的硬盘类簇;
故障分析单元,用于将每个所述硬盘类簇对应的硬盘状态属性数据分别输入到预设的多塔结构的硬盘故障预测模型进行异常检测处理,获得所述多塔结构的硬盘故障预测模型输出的硬盘健康指标信息;其中,所述硬盘故障预测模型是基于样本硬盘状态属性数据以及所述样本硬盘状态属性数据对应的硬盘健康标签信息进行训练得到的;所述故障分析单元,具体用于:根据当前所述硬盘状态属性数据所属的硬盘类簇,将所述硬盘状态属性数据选择输入至所述多塔结构的硬盘故障预测模型中对应的硬盘个性特征提取模块,获得每个硬盘类簇对应的个性特征参数;将所述硬盘状态属性数据输入至所述多塔结构的硬盘故障预测模型中的硬盘共性特征提取模块,获得不同硬盘类簇的共性特征参数;基于所述个性特征参数和所述共性特征参数,确定所述异构硬盘***中不同型号硬盘对应的目标属性表征;将所述目标属性表征输入至所述多塔结构的硬盘故障预测模型中的硬盘故障预警功能模块进行故障推理分析,获得所述硬盘故障预警功能模块输出的硬盘健康指标信息;
故障预警单元,用于基于所述硬盘健康指标信息对所述异构硬盘***进行故障预警。
13.一种电子设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至11任意一项所述的异构硬盘***故障预警方法的步骤。
14.一种处理器可读存储介质,所述处理器可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至11任意一项所述的异构硬盘***故障预警方法的步骤。
CN202311736825.5A 2023-12-18 2023-12-18 一种异构硬盘***故障预警方法及装置 Active CN117421145B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311736825.5A CN117421145B (zh) 2023-12-18 2023-12-18 一种异构硬盘***故障预警方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311736825.5A CN117421145B (zh) 2023-12-18 2023-12-18 一种异构硬盘***故障预警方法及装置

Publications (2)

Publication Number Publication Date
CN117421145A CN117421145A (zh) 2024-01-19
CN117421145B true CN117421145B (zh) 2024-03-01

Family

ID=89525098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311736825.5A Active CN117421145B (zh) 2023-12-18 2023-12-18 一种异构硬盘***故障预警方法及装置

Country Status (1)

Country Link
CN (1) CN117421145B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9612896B1 (en) * 2015-08-24 2017-04-04 EMC IP Holding Company LLC Prediction of disk failure
CN113778766A (zh) * 2021-08-17 2021-12-10 华中科技大学 基于多维特征的硬盘故障预测模型建立方法及其应用
CN114116292A (zh) * 2022-01-27 2022-03-01 华南理工大学 一种融合ap聚类与宽度学习***的硬盘故障预测方法
CN115480948A (zh) * 2022-10-21 2022-12-16 济南浪潮数据技术有限公司 硬盘故障预测方法及相关设备
CN115729761A (zh) * 2022-11-23 2023-03-03 中国人民解放军陆军装甲兵学院 一种硬盘故障预测方法、***、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9612896B1 (en) * 2015-08-24 2017-04-04 EMC IP Holding Company LLC Prediction of disk failure
CN113778766A (zh) * 2021-08-17 2021-12-10 华中科技大学 基于多维特征的硬盘故障预测模型建立方法及其应用
CN114116292A (zh) * 2022-01-27 2022-03-01 华南理工大学 一种融合ap聚类与宽度学习***的硬盘故障预测方法
CN115480948A (zh) * 2022-10-21 2022-12-16 济南浪潮数据技术有限公司 硬盘故障预测方法及相关设备
CN115729761A (zh) * 2022-11-23 2023-03-03 中国人民解放军陆军装甲兵学院 一种硬盘故障预测方法、***、设备及介质

Also Published As

Publication number Publication date
CN117421145A (zh) 2024-01-19

Similar Documents

Publication Publication Date Title
WO2017129032A1 (zh) 磁盘的故障预测方法和装置
CN110164501B (zh) 一种硬盘检测方法、装置、存储介质及设备
CN108052528A (zh) 一种存储设备时序分类预警方法
CN112214369A (zh) 基于模型融合的硬盘故障预测模型建立方法及其应用
US20140372347A1 (en) Methods and systems for identifying action for responding to anomaly in cloud computing system
WO2022166481A1 (zh) 一种针对硬盘的故障预测方法、装置及设备
CN107168995B (zh) 一种数据处理方法及服务器
US11416321B2 (en) Component failure prediction
CN110178121A (zh) 一种数据库的检测方法及其终端
CN112532455B (zh) 一种异常根因定位方法及装置
US20240168835A1 (en) Hard disk failure prediction method, system, device and medium
CN112951311A (zh) 一种基于变权重随机森林的硬盘故障预测方法及***
CN117421145B (zh) 一种异构硬盘***故障预警方法及装置
CN117591351A (zh) 磁盘故障检测模型的训练方法以及磁盘故障检测方法
US20170302506A1 (en) Methods and apparatus for fault detection
JP7082285B2 (ja) 監視システム、監視方法および監視プログラム
CN116991615A (zh) 一种基于在线学习的云原生***故障自愈方法及装置
CN116302795A (zh) 一种基于人工智能的终端运维***及方法
CN115705274A (zh) 硬盘故障预测方法、装置、计算机可读介质及电子设备
CN114116122A (zh) 一种应用容器高可用负载平台
CN117951529B (zh) 用于硬盘数据故障预测的样本获取方法、装置、设备
CN117093433B (zh) 故障检测方法、装置、电子设备及存储介质
CN113553222B (zh) 一种存储硬盘检测预警方法及***
CN109474445B (zh) 一种分布式***根源故障定位方法及装置
CN116781495A (zh) Pulsar Proxy节点选择方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant