CN112924177A - 一种改进深度q网络的滚动轴承故障诊断方法 - Google Patents

一种改进深度q网络的滚动轴承故障诊断方法 Download PDF

Info

Publication number
CN112924177A
CN112924177A CN202110360639.0A CN202110360639A CN112924177A CN 112924177 A CN112924177 A CN 112924177A CN 202110360639 A CN202110360639 A CN 202110360639A CN 112924177 A CN112924177 A CN 112924177A
Authority
CN
China
Prior art keywords
rolling bearing
network
fault
deep
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110360639.0A
Other languages
English (en)
Other versions
CN112924177B (zh
Inventor
康守强
刘哲
王玉静
王庆岩
梁欣涛
谢金宝
兰朝凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202110360639.0A priority Critical patent/CN112924177B/zh
Publication of CN112924177A publication Critical patent/CN112924177A/zh
Application granted granted Critical
Publication of CN112924177B publication Critical patent/CN112924177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/04—Bearings
    • G01M13/045—Acoustic or vibration analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

一种改进深度Q网络的滚动轴承故障诊断方法，涉及滚动轴承故障诊断技术领域，用以解决现有技术中在应用深度强化学***衡或变负载导致的诊断准确率过低的问题。本发明的技术要点包括：把k‑means算法中样本到中心点的距离作为回报值的偏置，以不平衡比为基准，为训练集构建具有个性化的回报函数，同时通过改进的残差网络(Resnet‑18)实现特征的深层提取；智能体将新的回报函数和时频图作为输入，在每个时间步长执行诊断动作，判断并返回回报值；最终智能体学会不平衡数据下的故障诊断策略。本发明方法在滚动轴承数据不平衡和变负载下故障诊断结果表现优异，可用于对滚动轴承不同故障诊断的实际操作中。

Description

一种改进深度Q网络的滚动轴承故障诊断方法
技术领域
本发明涉及滚动轴承故障诊断技术领域，具体涉及一种改进深度Q网络的滚动轴承故障诊断方法。
背景技术
滚动轴承作为旋转机械设备的重要部件之一，被广泛应用于工业领域[1,2]，对其进行故障诊断有利于预防设备事故发生[3]。滚动轴承在实际工作中，大部分时间处在正常运行状态，采集到的正常状态的振动信号样本远比故障状态的要多，训练得到的模型也对多数类样本敏感，使少数类样本难以被识别。近年来，滚动轴承振动数据不平衡的故障诊断研究受到学者的广泛关注，对处理实际的工业数据具有很强的应用价值和现实意义。
在数据分布不平衡情况下，主要有两类解决方法[4]：从数据角度，通过对训练样本进行重采样，使训练样本的分布达到平衡；从算法角度，不改变训练数据集分布，通过调整分类算法使少数类样本得到更多的关注。
数据角度的方法包括过采样、欠采样和混合采样。过采样方法通过增加少数类样本使训练集达到平衡，文献[5]提出K*-信息量近邻域过采样方法，有效地解决了轴承故障样本失衡问题，取得了不错的效果；欠采样方法通过舍弃部分多数类数据实现平衡训练集，文献[6]为了解决大数据获取和诊断效率之间的平衡问题，提出在数据采集阶段用欠采样方法减少大数据，且在滚动轴承故障诊断中验证了其有效性；混合采样是二者的结合，文献[7]引入主曲线和造粒分布模拟数据的总体分布特征，以进行可靠的过采样和欠采样，提出了基于极限学***衡故障诊断任务中的准确率高达95％～97％。这些方法通过改变数据的不平衡分布，从而达到提升分类性能的目的。
算法角度的方法主要有分类阈值调整法、基于Boosting的集成学***衡分类问题，并且在三个具有不同不平衡度的轴承数据集进行验证，可以有效地处理分类不平衡问题。基于集成学***衡数据分布的同时，也结合随机欠采样平衡训练样本，在PHM2015工厂故障事件数据集中进行了验证，准确率比其他基准方法高出2％～3％。
数据不平衡现象广泛存在于工程实际中，但针对滚动轴承振动数据不平衡的故障诊断文献较少，是当下研究的一个热点。同时，上述两类解决办法都具有一定的局限性，数据角度的改进方法虽然平衡了数据集，但会改变原始数据分布，不能准确把握数据的真实情况；算法角度的改进方法是让模型等价地学***衡样本，也属于对特征样本的学***衡问题是客观的，当少数类样本的总体特征空间无法估计时，数据和算法角度的改进方法都有一定的不足。针对上述问题，文献[11]另辟蹊径，将分类问题模拟为智能体(agent)连续决策的过程，运用深度强化学***衡分类模型。深度强化学习作为一种成熟框架，由于其独有的反馈机制，在分类问题上也有着较为广泛的应用。文献[12]提出基于深度强化学习的特征选择方法，将特征选择和分类定义为连续决策问题，在智能体每次决策时，通过已选取的特征决定是否再次请求一个特征，在mnist等多个公开数据集中验证了该方法的有效性。文献[13]针对数据中含有噪声的问题，提出利用深度强化学习筛选高质量的句子样例，实现了噪声文本的样本筛选与关系分类。文献[14]首次将分类任务模拟成强化学习中的顺序决策过程，提出了一种基于强化学习的分类任务解决方案，并在UCI八种医学疾病数据集中的准确率达到了87.4％。文献[15]针对原有深度神经网络需要人工调参和专家经验的问题，提出利用深度强化学习算法DQN建立端到端的诊断模型，并在滚动轴承和液压泵的数据集上进行了验证，准确率在90％～94％之间。
上述部分文献利用强化学***衡数据集时略显乏力；而文献[11]直接将分类任务模拟为深度强化学***衡数据集。但仅根据不平衡比来设定回报值，只考虑了类间的不平衡，对于类内的数据无法区分重要度。同时，上述文献将深度强化学***衡问题且在特征提取和回报函数上仍需深入研究。
发明内容
鉴于以上问题，本发明提出一种改进深度Q网络的滚动轴承故障诊断方法，用以解决现有技术中在应用深度强化学***衡或变负载导致的诊断准确率过低的问题。
一种改进深度Q网络的滚动轴承故障诊断方法，包括下述步骤：
步骤一、获取滚动轴承振动训练数据和测试数据；所述训练数据包括滚动轴承不同状态的样本；
步骤二、对所述训练数据和所述测试数据进行预处理；
步骤三、利用K均值聚类对深度Q网络中的奖励函数进行量化，使得所述训练数据中每个样本都有其各自的奖励值，从而获得新的回报函数；
步骤四、将所述训练数据和所述回报函数作为深度Q网络模型输入，进行深度强化学习训练，获得改进的深度Q网络模型；
步骤五、将所述测试数据输入所述深度Q网络模型中，获得滚动轴承故障诊断结果。
进一步地，步骤一中所述训练数据在4种负载条件下采集，负载类型包括0hp、1hp、2hp和3hp；所述不同状态包括正常状态、外环故障状态、内环故障状态及滚动体故障状态。
进一步地，步骤二中所述预处理包括数据增强，并对所述训练数据进行短时傅里叶变换，获得二维时频域图像。
进一步地，步骤三中在通过K均值聚类过程中，将聚类错误的样本剔除，并重新获取新样本，直到聚类正确为止。
进一步地，步骤三的具体过程包括：
步骤三一、首先，将K均值聚类的中心点作为不同类别回报值的基本点，所述中心点的回报值计算公式为：
Figure BDA0003005406640000031
其中，t表示时刻；st表示t时刻样本；at表示t时刻动作；yt表示t时刻样本标签；1/ρ∈[0,1]，ρ＝DN/(DF/9)表示不平衡比例，DN是多数类正常样本，DF是少数类故障样本；
步骤三二、然后，类别之内利用每个样本与所属簇中心点之间的欧氏距离来对回报函数进行量化，具体步骤包括：
步骤三二一、将所述训练数据聚类成10个簇C＝C1,C2,…,C10，随机选取k个簇中心，即{μ1,μ2,…,μk}；
步骤三二二、更新所述训练数据中样本所对应的簇，其最小化损失函数为：
Figure BDA0003005406640000032
其中，x表示初始样本；μi表示簇Ci的中心点；k表示簇的类别数；
步骤三二三、更新各个簇中心μ1,μ2,…,μk：
Figure BDA0003005406640000041
步骤三二四、遍历所有的簇分类找到最小化损失函数的最优解，直到簇标签达到收敛精度为止，否则循环迭代步骤三二二至步骤三二四；
步骤三二五、最终确定k个簇中心点，即k个分类所对应的奖励函数值中心点，将每个样本与中心点的距离进行归一化处理；
步骤三二六、通过比较不同类别所对应的奖励函数值与同类别中每个样本与中心的距离，对奖励函数值进行量化；其中，量化公式为：
Figure BDA0003005406640000042
其中，Dis(st)表示归一化处理后每个样本与中心点的距离。
进一步地，步骤三二一中在聚类之前首先采用主成分分析法(PCA)对训练数据进行降维。
进一步地，步骤四中通过改进的Resnet-18网络提取深层特征，对所述Resnet-18网络的改进在于：不通过全连接层输出全部Q值，而是输出对应状态和动作的Q值，以加快网络训练速度。
进一步地，步骤四中所述深度强化学习训练的过程包括：预先将每个时间步骤的经历即当前轴承故障状态st、采取的故障诊断动作at、得到的立即回报rt以及下一个状态s'，当成记忆存储到内存中，在训练时从内存中随机采样，并利用梯度下降法对深度Q网络的损失函数进行更新；其中，所述记忆是一个固定长度的序列。
进一步地，步骤五中通过Softmax分类器进行最终的滚动轴承故障诊断。
本发明的有益技术效果是：
本发明提出一种结合k-means和空间距离构建强化学***衡问题，不平衡且变负载情况下的G-meantotal得分达到了0.982左右，表现优异；当数据极度不平衡时准确率达到97％～99％，部分达到100％，与传统的不平衡分类方法对比提高了5％～8％。
本发明所提模型在不平衡和变负载下表现稳定，整体性能优于改进前的DQN网络和传统的CNN网络，且优于原有的基于数据的不平衡解决办法，呈现了深度强化学习的另一种思维方式，以及深度强化学习作为一种成熟学习框架的潜力。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。
图1是DQN模型的训练流程示意图；
图2是本发明修改后Resnet-18网络的基本流程框图；
图3是本发明的流程示意图；
图4是本发明实施例中不同状态数据的预处理结果示意图；
图5是本发明实施例一中本发明方法与其他三种方法(DQN模型、传统过采样方法SMOTE、CNN方法)在准确率指标进行对比的结果示意图；
图6是本发明实施例一中本发明方法与其他三种方法(DQN模型、传统过采样方法SMOTE、CNN方法)在G-meantotal指标进行对比的结果示意图；
图7是本发明实施例一中不平衡比例为1且负载为0的训练回报值曲线图；
图8是本发明实施例一中DQN网络特征可视化图；其中，(a)表示改进前DQN网络特征可视化图，(b)表示本发明改进后DQN网络特征可视化图；
图9是本发明实施例二中本发明方法与其他三种方法(DQN模型、传统过采样方法SMOTE、CNN方法)在准确率指标进行对比的结果示意图；
图10是本发明实施例二中本发明方法与其他三种方法(DQN模型、传统过采样方法SMOTE、CNN方法)在G-meantotal指标进行对比的结果示意图；
图11是本发明实施例二中改进后DQN网络特征可视化图。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
本发明提出一种改进DQN的滚动轴承故障诊断方法，该方法把故障诊断过程模拟成DQN模型中的顺序决策过程，模型将振动信号构建的二维图像数据集和根据k-means算法设计的回报函数作为输入，通过Resnet-18提取深层特征，在每个时间步长执行诊断动作，判断并返回回报值，实现滚动轴承振动数据不平衡的多状态智能故障识别。
首先，对深度Q网络(DQN)理论进行说明。
深度Q网络的核心理论就是：通过一个智能体(agent)来感知环境状态，并且在与环境交互的过程中得到最大收益的目标。
在智能体的判断过程中，策略函数π收到一个状态样本st，并依据一定的概率P返回该状态的动作at(故障类型)。
π(a|s)＝P(at＝a|st＝s) (1)
智能体的目标就是尽可能正确地识别训练集样本，智能体在正确识别样本时获得正奖励R，通过最大化累积奖励来实现其目标Gt：
Figure BDA0003005406640000061
其中，γ为加权值。
在t时刻所做的决定在t+1时刻才有回报，其中，γ决定了未来回报的重要程度，当γ＝0时，agent总是着眼立即回报；当γ＝1时，agent总是着眼于长远回报。那么状态s下的期望回报V为：
Figure BDA0003005406640000062
公式(3)又称Bellman方程，展现了当前回报和未来回报之间的递归关系。同时，引入Q函数，返回该动作在该状态下的预期未来奖励：
Qπ(st,at)＝E[rt+1+γQπ(st+1,at+1)|st,at] (4)
Figure BDA0003005406640000063
其中，策略记号π是策略函数，动作a属于动作集合A。
在策略π下，V(s)是所有可能的动作的长期回报的期望，最优的策略对应最优的V和Q值，即：
Figure BDA0003005406640000071
Figure BDA0003005406640000072
Q函数利用一个表格来存储(s,a,r,s')队列。当空间状态维度较大时，将Q学习算法和深度学习结合起来，形成了深度Q学习(Deep Q-Learning,DQN)算法[16]。DQN模型为Q-Learning添加“深度”，在准确率方面有了质的提高，广泛应用在许多领域。DQN的训练流程图如图1所示。
在DQN模型中用深度神经网络来逼近动作值函数Q*，然后对网络进行训练，更新网络参数θ以最小化损失函数，损失函数如式(8)所示：
L(θi)＝Es,a,r,s′[(yi-Q(s,a|θi))2] (8)
其中，yi定义为：
Figure BDA0003005406640000073
其中，s'是s的下一个状态；a'是智能体在状态s'下执行的动作。
损失函数L对参数θ求导为：
Figure BDA0003005406640000074
通过公式(10)最小化损失函数求得最优Q*函数的同时，公式(8)获得最大累积奖励，得到最优的分类策略π:S→A
为了增加网络的深度，减少模型的过拟合问题，提出引入Resnet-18网络[17]搭建DQN网络模型，用残差网络(Resnet-18)拟合Q函数，且对网络部分进行改进，具体的改动设置如下表1中所示。同时为了使结构在计算上更简便，不通过全连接层输出全部Q值，而是输出对应状态和动作的Q值，加快了网络训练速度。修改后网络的基本流程框图如图2所示。
表1残差网络的参数设置
Figure BDA0003005406640000075
Figure BDA0003005406640000081
然后，权衡样本的距离量化奖励函数，包括：根据训练集的不平衡比设计奖励函数和通过权衡样本的欧式距离量化奖励函数。
1)根据训练集的不平衡比设计奖励函数：少数类样本难以在不平衡数据集中正确识别，为了更好识别少数类的样本，模型应给予其更多的关注，当智能体遇到少数类样本时，获得较大的奖励或惩罚。奖励函数定义如式(11)所示：
Figure BDA0003005406640000082
其中，1/ρ∈[0,1]，ρ＝DN/(DF/9)表示不平衡比例，DN是多数类正常样本，DF是少数类故障样本，yt是状态st下的样本标签。当智能体正确/错误的对多数类样本进行分类时，奖励值为1/-1；当智能体正确/错误的对少数类样本进行分类时，奖励值为ρ/-ρ。
2)通过权衡样本的欧式距离量化奖励函数：为了更好的识别少数类样本，本发明利用K均值聚类对奖励函数进行量化，使得每个样本都有其各自的奖励值。K均值聚类算法是一种无监督的聚类算法，以距离作为数据对象间相似性度量的标准，相似度与间距大小成反比，最终将数据分为k类簇。
将K均值聚类的中心点作为不同类别回报值的基本点，其中心点的回报值如公式(11)所示；类别之内利用每个样本与所属簇中心点之间的欧氏距离来对回报函数进行量化，具体步骤：
训练集每张图片的维度较大，首先采用主成分分析法(principal componentsanalysis,PCA)[18]来对数据进行降维，然后将数据集聚类成10个簇C＝C1,C2,…,C10，随机选取k个簇中心，即{μ1,μ2,…,μk}。更新样本所对应的簇，最小化损失函数为：
Figure BDA0003005406640000083
其中，st为训练集样本，μi为簇Ci的中心点，k为簇的类别数。
更新各个簇中心μ1,μ2,…,μk：
Figure BDA0003005406640000091
遍历所有的簇分类找到以上问题的最优解，直到簇标签达到收敛精度为止，否则继续重复最小化损失函数和更新各个簇中心两个步骤。最终确定k个簇中心点，即k个分类所对应的奖励函数值中心点，将每个样本与中心点的距离进行归一化处理。
Figure BDA0003005406640000092
通过比较不同类别所对应的奖励函数值与同类别中每个样本与中心的距离，对奖励函数值进行量化。
Figure BDA0003005406640000093
本发明所设计的奖励函数对故障诊断准确率影响的分析如下。
假设多样本和少样本分别表示为s+和s-，他们的目标Q值分别表示为y+和y-，通过式(9)和(15)，目标Q值可以表示为：
y+＝(-1)1-B(a＝y)z(s,a)+γmaxa'Q(s′,a′) (16)
y-＝ρ(-1)1-B(a＝y)z(s,a)+γmaxa'Q(s′,a′) (17)
其中，B(x)是判定函数，返回动作和标签的判定结果。
深度Q网络的损失函数重写为多样本损失函数L+(θi)和少样本损失函数L-(θi)，其导数分别为：
Figure BDA0003005406640000094
Figure BDA0003005406640000095
将式(16)、(17)带入L+(θi)和L-(θi)得：
Figure BDA0003005406640000101
式(20)中，第三项与少数类有关，第二项与多数类有关。对于不平衡数据集(N>F)，如果ρ＝1，则两个类别中样本的直接奖励值相同，但多数类中的样本较多，所以第二项中的数值要大于第三项，训练出来的模型会偏向于多数类；如果ρ＝DN/DF，则ρ增加了少数类的立即回报，加强了对网络损失函数的影响；且本发明充分考虑多数类和少数类的类间距和类内距，使每个样本在保证不平衡比的前提下都有各自的奖励值。
综上所述，本发明滚动轴承振动数据不平衡的故障诊断方法的流程如图3所示，包括下述步骤：
1)对经数据增强的训练集中滚动轴承多状态(正常、内环不同故障程度、外环不同故障程度、滚动体不同故障程度共10类)振动信号进行短时傅里叶变换(Short TimeFourier Transform,STFT)变换，获得二维时频域图像，通过k-means方法确定各类样本的中心点，利用欧式距离对每个样本赋予不同的回报值；
2)为了对步骤1)中产生的数据进行一个甄别和筛选，在通过k-means方法进行聚类的同时，将聚类错误的样本剔除，并再向模型申请一个新样本，直到聚类正确为止；
3)针对DQN网络中常见的稀疏奖励问题，把每个时间步骤的经历(st,at,rt,s')即当前轴承故障状态st，采取的故障诊断动作at，得到的立即回报rt以及下一个状态，当成记忆存储到经验池中，这个记忆是一个固定长度的序列。在训练的时候，从记忆池中随机采样，计算更新模型；
4)将滚动轴承的故障诊断过程模拟为DQN网络中的顺序决策过程，当模型接收到振动信号的STFT图像，智能体通过改进的残差网络提取深层特征，然后依据改进的回报函数返回特定的奖励值。在迭代一定数目之后智能体将会如何诊断每张频谱图，由于残差网络可以提取图片的深层特征，所以对于测试集来说，尽管像素分布有差别，也会做出正确的识别动作；
5)强化学***衡比例下，具有很好泛化性。在模型训练结束时，为减少模型的探索随机性、使模型更加稳定，借鉴迁移学习的思想，将已训练的模型参数固定，通过Softmax分类器进行最终的滚动轴承故障诊断。
深度强化学习中各个参数解释：
状态(State)Si：环境的状态取决于训练样本。在训练开始阶段，智能体将第一个样本x1作为初始状态s1。在每个时间步长下，状态st对应样本xt；
动作(Action)A：智能体的动作与训练集的标签相对应。在训练开始阶段，智能体采取的行动是猜测类别标签。对于10分类问题，A＝{0,1,2,3,4,5,6,7,8,9}，其中，0-8代表故障类即少数类，9代表正常类即多数类；
回报(Reward)R：奖励是指来自环境的反馈，通过该反馈可衡量智能体行为的优劣。为更好的指导智能体在不平衡数据集中学习最优的诊断策略，整体上少数类样本的绝对奖励要高于多数类。当智能体正确或错误的识别少数类样本时，环境反馈给智能体更大的奖励或惩罚；
转移概率(Transition probability)P：该模型中，转移概率P(st+1|st,at)是确定的。智能体根据训练集中的样本顺序从当前状态st转移到下一状态st+1；
探索率(Discount factor)γ：γ∈[0,1]平衡当前和未来的回报值；
情节(Episode)：强化学习中的情节指的是智能体根据某个策略从初始状态到最终状态这一过程。在该模型中，设定从训练集样本中随机抽取一定数量，智能体从第一个样本开始诊断到最后一个样本结束作为一个情节；
策略(Policy)πθ：策略πθ指的是映射函数π：S→A，其中，πθ(St)表示智能体在状态st下执行的动作at。在该模型中，策略πθ看作参数是θ的分类器。
环境模拟算法的伪代码如下所示：
Figure BDA0003005406640000111
Figure BDA0003005406640000121
具体实施例一
本发明使用的滚动轴承振动数据由凯斯西储大学的轴承数据中心提供，这些数据由加速度传感器在4种负载条件下采集，采样频率为12kHz和48kHz，负载类型包括0hp、1hp、2hp和3hp，根据负载的不同电机转速在1730rpm和1797rpm之间变化。振动信号包括4种不同的健康状态：正常条件(N)、外环故障(OR)、内环故障(IR)及滚动体故障(B)，3种缺陷故障直径分别为0.007inch、0.014inch和0.021inch。因此，该数据集包含10种轴承运行状态，以0hp为例，每种状态下STFT结果如图4所示。
为了模拟真实情况中采集的振动数据分布不平衡，可能出现某一类样本数据多，另一类样本数据少。按照不同的不平衡比(Imbalance Ratio,IMR)来设置数据集进行多状态数据分布不平衡的实验。不平衡比指的是故障数据的数量与正常数据的数量之比。进行10种状态的不平衡和变负载实验，不平衡数据集设置如表2所示。
表2不平衡实验数据集组成
Figure BDA0003005406640000131
表2中不平衡比分别为1、2/3、1/2、1/10，所有训练集样本数为4950个。IMR＝1时，滚动轴承正常状态与故障状态的样本数量均为总样本数量的50％，此时数据集正常和故障的比例为1:1，同时故障状态又分为9种；IMR＝2/3时，滚动轴承故障状态的样本数量下降，正常状态的样本数量逐渐增多，此时训练集为轻度不平衡数据集；IMR＝1/2时，正常状态的样本数量是故障状态的样本数量的2倍，此时训练集为中度不平衡数据集；IMR＝1/10时，正常状态的样本数量是故障状态的样本数量的10倍，此时训练集为极度不平衡数据集。为了便于比较，每种不平衡比下的测试集样本数目保持一致，为每种状态50，共计500个测试样本。
深度强化学习超参数设置为：智能体在与环境交互的过程中，探索概率ε从1.0据式(21)衰减至εmin＝0.01。
Figure BDA0003005406640000132
其中，step为当前迭代次数，total为总迭代次数。探索率γ＝0.99，情节K＝512，迭代次数为2000，回报值采用式(15)中的方法。
为较全面的验证所提故障诊断模型在数据不平衡下的有效性及泛化能力，方便与其他文献的诊断结果进行对比，基于Tensorflow和Keras深度学习框架设置两种实验方案，GPU用于加速计算。
在不平衡场景中，滚动轴承故障状态所占比例较少(假设为1％)，如果模型将所有样本预测为正常状态，其准确率为99％，但G-mean值为0。可见准确率不能全面评价模型在不平衡数据下的表现；而G-mean值同时考虑样本的真阴率和真阳率，因此能衡量不平衡数据下模型的好坏，数值越大，模型的不平衡诊断性能越好。G-mean的计算公式如式(22)所示。
Figure BDA0003005406640000141
其中，TP为真正例，FN为假反例，TN为真反例，FP为假正例。
针对G-mean指标仅能评价不平衡二分类的问题，文献[19]提出一种不平衡的多分类指标G-meantotal，即从众多类别中任取两个类别Ci和Cj，计算两类样本分类结果的G-mean(Ci,Cj)指标，再对所有的G-mean值加权求和，如式(23)所示。
Figure BDA0003005406640000142
由于涉及平衡和非平衡数据集，所以采用准确率和G-meantotal作为评价指标。
为验证所提模型在数据不平衡下的诊断能力，在滚动轴承工作在相同负载的情况下，对4种不同不平衡比例(见表2)的训练集进行训练。测试集如上所述，总计500个测试样本；与其他三种方法(DQN模型、传统过采样方法SMOTE、CNN方法)进行对比的结果如图5所示，其中，横坐标的0负载指的是训练和测试都是采用的同种负载(0负载)，其它123负载类同；SMOTE方法为传统过采样方法。
根据图5的准确率对比可看出本发明经过改进的DQN模型在数据集不平衡下表现出了较大的优势。IMR＝1时，改进后的DQN模型较改进前的准确率提高了1％，较传统的SMOTE方法提高了5％～8％；当IMR＝2/3不平衡比增加时，改进后的模型诊断结果整体高于99％，甚至达到100％，较改进前提高了1％左右，较传统方法提高了6％～8％；即使当IMR＝1/10的极度不平衡时，故障诊断准确率也集中在99％～100％之间，优于SMOTE和CNN方法。而CNN方法在不平衡测试中，只能诊断出训练集中的多数类数据，在数据集不平衡下表现不佳。
因为数据是不平衡的，单独使用分类准确率来评价模型的分类性能不够全面，现对比实验结果的G-meantotal指标。同时为了对比更加明显，现仅对那些改进后模型准确率低于99％的数据类别进行G-meantotal指标的对比。如图6所示，0负载、IMR＝1时，G-meanstotal指标高于改进前的模型和SMOTE、CNN方法，进一步说明本发明模型具有优秀的不平衡数据的诊断能力。
图5准确率和图6G-meanstotal从实验结果的角度共同验证了模型在不平衡数据下的有效性。对不平衡比例为1，0负载的训练回报值曲线进行分析，当训练结束时，本发明改进的DQN模型如果处于最佳状态，回报值应该集中在512/2*9+512/2≈2560左右，如图7所示。
为更直观地证明所提方法的有效性，以0负载、IMR＝1为例，采用t-分布邻域嵌入(t-distribution stochastic neighbor embedding,t-SNE)算法[20]，将改进前后的DQN网络最后一层全连接层的特征降维至二维并以散点图形式表示出来，如图8所示，图8(a)为改进前DQN网络特征可视化图，图8(b)为改进后DQN网络特征可视化图。
通过对图8观察可得，改进前的模型存在错分及某些类别决策边界不明显的问题(矩形标注)，具有一定的提升空间；经过改进后的模型，决策边界明显，错分现象较少，提高了故障诊断的准确率。
具体实施例二
具体实施例一的实验结果展现了本发明模型可以很好的解决振动数据分布不平衡问题，为验证本发明所提模型的泛化能力，对变负载且不平衡下的数据对模型进行测试，实验结果如图9所示。
图9显示了四种不平衡比的滚动轴承变负载实验分类准确率，可以看出，无论训练集和测试集是单一负载还是多种负载，本发明方法均具有良好的分类准确率。以01_23数据进行实验，当IMR＝1时，分类准确率为99.4％，当IMR＝1/2时，分类准确率也能有99％的准确率，远高于SMOTE方法；以023_1数据进行实验，当IMR＝1时，分类准确率高达99.2％。即使在IMR＝1/10的极度不平衡情况下，分类准确率能达到100％，比SMOTE方法更加优秀。
图10表示不平衡指标G-meanstotal下，以01_23数据为例，当IMR＝1和IMR＝2/3时，G-meanstotal值达到0.988和0.989优于传统方法和改进前的方法。
为直观地证明所提方法的有效性，现以023负载训练1负载测试、IMR＝1/10为例，用t-SNE方法展示本发明模型在不平衡且变负载下的故障诊断可视化，如图11所示。从图11中可以看出，在不平衡且变负载下仅有极个别的样本未能正确检测，具有优秀的泛化能力。
可见，即使在数据极度不平衡的情况下，本发明所提方法能很好的适应多变的环境，即使数据不平衡、负载发生变化，也较未改进前具有更高的准确率。因此，本发明所提出的方法可以很好地解决振动数据正常状态与故障状态的数据分布不平衡且变负载问题。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。
本发明为国家自然科学基金(51805120)、黑龙江省自然科学基金(LH2019E058)和黑龙江省普通高校基本科研业务专项资金(LGYC2018JC022)资助项目。
本发明援引的文献如下：
[1]张淑清,苑世钰,姚玉永,等.基于ICEEMD及AWOA优化ELM的机械故障诊断方法[J].仪器仪表学报,2019,40(11):172-180.
[2]包萍,刘运节.不均衡数据集下基于生成对抗网络的改进深度模型故障识别研究[J].电子测量与仪器学报,2019,33(03):176-183.
[3]宫文峰,陈辉,张美玲,等.基于深度学习的电机轴承微小故障智能诊断方法[J].仪器仪表学报,2020,41(01):195-205.
[4]董勋,郭亮,高宏力,等.代价敏感卷积神经网络:一种机械故障数据不平衡分类方法[J].仪器仪表学报,2019,40(12):205-213.
[5]黄海松,魏建安,任竹鹏,等.基于失衡样本特性过采样算法与SVM的滚动轴承故障诊断[J].振动与冲击,2020,39(10):65-74+132.
[6]WANG H,KE Y,Luo G,et al.Compressed sensing of roller bearing faultbased on multiple down-sampling strategy[J].Measurement Science andTechnology,2015,27(2):025009.
[7]MAO W,HE L,YAN Y,et al.Online sequential prediction of bearingsimbalanced fault diagnosis by extreme learning machine[J].Mechanical Systemsand Signal Processing,2017(83):450-473.
[8]JIA F,LEI Y,LU N,et al.Deep normalized convolutional neuralnetwork for imbalanced fault classification of machinery and itsunderstanding via visualization[J].Mechanical Systems and Signal Processing,2018,110:349-367.
[9]陈仁祥,吴昊年,杨黎霞,等.多分类器集成加权均衡分布适配的滚动轴承寿命阶段识别[J].仪器仪表学报,2019,40(10):66-73.
[10]WU Z,GUO Y,LIN W,et al.A weighted deep representation learningmodel for imbalanced fault diagnosis in cyber-physical systems[J].Sensors,2018,18(4):1096.
[11]LIN E,CHEN Q,QI X.Deep reinforcement learning for imbalancedclassification[J].Applied Intelligence,2020:1-15.
[12]JANISCH J,PENVNY T,LISY V.Classification with costly featuresusing deep reinforcement learning[C].Proceedings of the AAAI Conference onArtificial Intelligence.2019,33(1):3959-3966.
[13]FENG J,HUANG M,ZHAO L,et al.Reinforcement learning for relationclassification from noisy data[C].Proceedings of the AAAI Conference onArtificial Intelligence.2018,32(1).
[14]WIERING M A,VAN HASSELT H,PIETERSMA A D,et al.Reinforcementlearning algorithms for solving classification problems[C].2011IEEE Symposiumon Adaptive Dynamic Programming and Reinforcement Learning(ADPRL).IEEE,2011:91-96.
[15]DING Y,MA L,MA J,et al.Intelligent fault diagnosis for rotatingmachinery using deep Q-network based health state classification:A deepreinforcement learning approach[J].Advanced Engineering Informatics,2019(42):100977.
[16]FAN J,WANG Z,XIE Y,et al.A theoretical analysis of deep Q-learning.Learning for Dynamics and Control[C].PMLR,2020:486-489.
[17]WU S,ZHONG S,LIU Y.Deep residual learning for image steganalysis[J].Multimedia tools and applications 2018,77(9):10437-10453.
[18]张龙,宋成洋,邹友军,等.基于VMD多特征融合与PSO-SVM的滚动轴承故障诊断[J].机械设计与研究,2019,35(06):96-104.
[19]ESPINDOLA R P,EBECKEN N F F.On extending f-measure and g-meanmetrics to multi-class problems[J].WIT Transactions on Information andCommunication Technologies,2005(35).
[20]ZHENG J,JIANG Z,PAN H.Sigmoid-based refined composite multiscalefuzzy entropy and t-SNE based fault diagnosis approach for rolling bearing[J].Measurement,2018(129):332-342.

Claims (9)

1.一种改进深度Q网络的滚动轴承故障诊断方法，其特征在于，包括下述步骤：
步骤一、获取滚动轴承振动训练数据和测试数据；所述训练数据包括滚动轴承不同状态的样本；
步骤二、对所述训练数据和所述测试数据进行预处理；
步骤三、利用K均值聚类对深度Q网络中的奖励函数进行量化，使得所述训练数据中每个样本都有其各自的奖励值，从而获得新的回报函数；
步骤四、将所述训练数据和所述回报函数作为深度Q网络模型输入，进行深度强化学习训练，获得改进的深度Q网络模型；
步骤五、将所述测试数据输入所述深度Q网络模型中，获得滚动轴承故障诊断结果。
2.根据权利要求1所述的一种改进深度Q网络的滚动轴承故障诊断方法，其特征在于，步骤一中所述训练数据在4种负载条件下采集，负载类型包括0hp、1hp、2hp和3hp；所述不同状态包括正常状态、外环故障状态、内环故障状态及滚动体故障状态。
3.根据权利要求2所述的一种改进深度Q网络的滚动轴承故障诊断方法，其特征在于，步骤二中所述预处理包括数据增强，并对所述训练数据进行短时傅里叶变换，获得二维时频域图像。
4.根据权利要求3所述的一种改进深度Q网络的滚动轴承故障诊断方法，其特征在于，步骤三中在通过K均值聚类过程中，将聚类错误的样本剔除，并重新获取新样本，直到聚类正确为止。
5.根据权利要求1所述的一种改进深度Q网络的滚动轴承故障诊断方法，其特征在于，步骤三的具体过程包括：
步骤三一、首先，将K均值聚类的中心点作为不同类别回报值的基本点，所述中心点的回报值计算公式为：
Figure FDA0003005406630000011
其中，t表示时刻；st表示t时刻样本；at表示t时刻动作；yt表示t时刻样本标签；1/ρ∈[0,1]，ρ＝DN/(DF/9)表示不平衡比例，DN是多数类正常样本，DF是少数类故障样本；
步骤三二、然后，类别之内利用每个样本与所属簇中心点之间的欧氏距离来对回报函数进行量化，具体步骤包括：
步骤三二一、将所述训练数据聚类成10个簇C＝C1,C2,…,C10，随机选取k个簇中心，即{μ1,μ2,…,μk}；
步骤三二二、更新所述训练数据中样本所对应的簇，其最小化损失函数为：
Figure FDA0003005406630000021
其中，x表示初始样本；μi表示簇Ci的中心点；k表示簇的类别数；
步骤三二三、更新各个簇中心μ1,μ2,…,μk：
Figure FDA0003005406630000022
步骤三二四、遍历所有的簇分类找到最小化损失函数的最优解，直到簇标签达到收敛精度为止，否则循环迭代步骤三二二至步骤三二四；
步骤三二五、最终确定k个簇中心点，即k个分类所对应的奖励函数值中心点，将每个样本与中心点的距离进行归一化处理；
步骤三二六、通过比较不同类别所对应的奖励函数值与同类别中每个样本与中心的距离，对奖励函数值进行量化；其中，量化公式为：
Figure FDA0003005406630000023
其中，Dis(st)表示归一化处理后每个样本与中心点的距离。
6.根据权利要求5所述的一种改进深度Q网络的滚动轴承故障诊断方法，其特征在于，步骤三二一中在聚类之前首先采用主成分分析法(PCA)对训练数据进行降维。
7.根据权利要求1所述的一种改进深度Q网络的滚动轴承故障诊断方法，其特征在于，步骤四中通过改进的Resnet-18网络提取深层特征，对所述Resnet-18网络的改进在于：不通过全连接层输出全部Q值，而是输出对应状态和动作的Q值，以加快网络训练速度。
8.根据权利要求7所述的一种改进深度Q网络的滚动轴承故障诊断方法，其特征在于，步骤四中所述深度强化学习训练的过程包括：预先将每个时间步骤的经历即当前轴承故障状态st、采取的故障诊断动作at、得到的立即回报rt以及下一个状态s'，当成记忆存储到内存中，在训练时从内存中随机采样，并利用梯度下降法对深度Q网络的损失函数进行更新；其中，所述记忆是一个固定长度的序列。
9.根据权利要求1所述的一种改进深度Q网络的滚动轴承故障诊断方法，其特征在于，步骤五中通过Softmax分类器进行最终的滚动轴承故障诊断。
CN202110360639.0A 2021-04-02 2021-04-02 一种改进深度q网络的滚动轴承故障诊断方法 Active CN112924177B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110360639.0A CN112924177B (zh) 2021-04-02 2021-04-02 一种改进深度q网络的滚动轴承故障诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110360639.0A CN112924177B (zh) 2021-04-02 2021-04-02 一种改进深度q网络的滚动轴承故障诊断方法

Publications (2)

Publication Number Publication Date
CN112924177A true CN112924177A (zh) 2021-06-08
CN112924177B CN112924177B (zh) 2022-07-19

Family

ID=76173924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110360639.0A Active CN112924177B (zh) 2021-04-02 2021-04-02 一种改进深度q网络的滚动轴承故障诊断方法

Country Status (1)

Country Link
CN (1) CN112924177B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113406939A (zh) * 2021-07-12 2021-09-17 哈尔滨理工大学 一种基于深度q网络的无关并行机动态混合流水车间调度方法
CN113449613A (zh) * 2021-06-15 2021-09-28 北京华创智芯科技有限公司 多任务长尾分布图像识别方法、***、电子设备及介质
CN113591962A (zh) * 2021-07-22 2021-11-02 国网山西省电力公司营销服务中心 一种网络攻击样本生成方法及装置
CN114593917A (zh) * 2022-03-08 2022-06-07 安徽理工大学 一种基于三元组模型的小样本轴承故障诊断方法
CN114755002A (zh) * 2022-04-06 2022-07-15 燕山大学 一种基于全连接神经网络的缓冲平衡阀故障诊断方法
CN114970735A (zh) * 2022-06-09 2022-08-30 哈尔滨工业大学 基于正弦修正焦点损失的燃机类不平衡诊断方法及***
CN116499748A (zh) * 2023-06-27 2023-07-28 昆明理工大学 基于改进smote和分类器的轴承故障诊断方法、***
CN117078236A (zh) * 2023-10-18 2023-11-17 广东工业大学 复杂装备智能维护方法、装置、电子设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0396716A (ja) * 1989-06-30 1991-04-22 Ntn-Rulon Corp 転がり軸受用保持器
CN107169567A (zh) * 2017-03-30 2017-09-15 深圳先进技术研究院 一种用于车辆自动驾驶的决策网络模型的生成方法及装置
WO2017199658A1 (ja) * 2016-05-19 2017-11-23 株式会社ニコン 基板支持装置、露光装置、および、パターニング装置
CN108647789A (zh) * 2018-05-15 2018-10-12 浙江大学 一种基于状态分布感知采样的智能体深度价值函数学习方法
CN110702411A (zh) * 2019-09-23 2020-01-17 武汉理工大学 一种基于时频分析的残差网络滚动轴承故障诊断方法
CN110849627A (zh) * 2019-11-27 2020-02-28 哈尔滨理工大学 一种宽度迁移学习网络及基于宽度迁移学习网络的滚动轴承故障诊断方法
CN110929624A (zh) * 2019-11-18 2020-03-27 西北工业大学 一种基于正交损失函数的多任务分类网络的构建方法
US20200193226A1 (en) * 2018-12-17 2020-06-18 King Fahd University Of Petroleum And Minerals Enhanced deep reinforcement learning deep q-network models
CN111442926A (zh) * 2020-01-11 2020-07-24 哈尔滨理工大学 一种基于深层特征迁移的变负载下不同型号滚动轴承故障诊断方法
CN111562108A (zh) * 2020-05-09 2020-08-21 浙江工业大学 一种基于cnn和fcmc的滚动轴承智能故障诊断方法
CN111625992A (zh) * 2020-05-21 2020-09-04 中国地质大学（武汉） 一种基于自调优深度学习的机械故障预测方法
CN111934335A (zh) * 2020-08-18 2020-11-13 华北电力大学 一种基于深度强化学习的集群电动汽车充电行为优化方法
CN112465664A (zh) * 2020-11-12 2021-03-09 贵州电网有限责任公司 一种基于人工神经网络及深度强化学习的avc智能控制方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0396716A (ja) * 1989-06-30 1991-04-22 Ntn-Rulon Corp 転がり軸受用保持器
WO2017199658A1 (ja) * 2016-05-19 2017-11-23 株式会社ニコン 基板支持装置、露光装置、および、パターニング装置
CN107169567A (zh) * 2017-03-30 2017-09-15 深圳先进技术研究院 一种用于车辆自动驾驶的决策网络模型的生成方法及装置
CN108647789A (zh) * 2018-05-15 2018-10-12 浙江大学 一种基于状态分布感知采样的智能体深度价值函数学习方法
US20200193226A1 (en) * 2018-12-17 2020-06-18 King Fahd University Of Petroleum And Minerals Enhanced deep reinforcement learning deep q-network models
CN110702411A (zh) * 2019-09-23 2020-01-17 武汉理工大学 一种基于时频分析的残差网络滚动轴承故障诊断方法
CN110929624A (zh) * 2019-11-18 2020-03-27 西北工业大学 一种基于正交损失函数的多任务分类网络的构建方法
CN110849627A (zh) * 2019-11-27 2020-02-28 哈尔滨理工大学 一种宽度迁移学习网络及基于宽度迁移学习网络的滚动轴承故障诊断方法
CN111442926A (zh) * 2020-01-11 2020-07-24 哈尔滨理工大学 一种基于深层特征迁移的变负载下不同型号滚动轴承故障诊断方法
CN111562108A (zh) * 2020-05-09 2020-08-21 浙江工业大学 一种基于cnn和fcmc的滚动轴承智能故障诊断方法
CN111625992A (zh) * 2020-05-21 2020-09-04 中国地质大学（武汉） 一种基于自调优深度学习的机械故障预测方法
CN111934335A (zh) * 2020-08-18 2020-11-13 华北电力大学 一种基于深度强化学习的集群电动汽车充电行为优化方法
CN112465664A (zh) * 2020-11-12 2021-03-09 贵州电网有限责任公司 一种基于人工神经网络及深度强化学习的avc智能控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Y. DING, ET AL.: "Intelligent fault diagnosis for rotating machinery using deep Q-network based health state classification: A deep reinforcement learning approach", 《ADVANCED ENGINEERING INFORMATICS》 *
康守强 等: "小波包-局部线性嵌入算法在滚动轴承故障程度识别中的应用", 《仪器仪表学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449613A (zh) * 2021-06-15 2021-09-28 北京华创智芯科技有限公司 多任务长尾分布图像识别方法、***、电子设备及介质
CN113449613B (zh) * 2021-06-15 2024-02-27 北京华创智芯科技有限公司 多任务长尾分布图像识别方法、***、电子设备及介质
CN113406939A (zh) * 2021-07-12 2021-09-17 哈尔滨理工大学 一种基于深度q网络的无关并行机动态混合流水车间调度方法
CN113591962A (zh) * 2021-07-22 2021-11-02 国网山西省电力公司营销服务中心 一种网络攻击样本生成方法及装置
CN113591962B (zh) * 2021-07-22 2023-12-15 国网山西省电力公司营销服务中心 一种网络攻击样本生成方法及装置
CN114593917A (zh) * 2022-03-08 2022-06-07 安徽理工大学 一种基于三元组模型的小样本轴承故障诊断方法
CN114755002A (zh) * 2022-04-06 2022-07-15 燕山大学 一种基于全连接神经网络的缓冲平衡阀故障诊断方法
CN114970735A (zh) * 2022-06-09 2022-08-30 哈尔滨工业大学 基于正弦修正焦点损失的燃机类不平衡诊断方法及***
CN116499748A (zh) * 2023-06-27 2023-07-28 昆明理工大学 基于改进smote和分类器的轴承故障诊断方法、***
CN116499748B (zh) * 2023-06-27 2023-08-29 昆明理工大学 基于改进smote和分类器的轴承故障诊断方法、***
CN117078236A (zh) * 2023-10-18 2023-11-17 广东工业大学 复杂装备智能维护方法、装置、电子设备及存储介质
CN117078236B (zh) * 2023-10-18 2024-02-02 广东工业大学 复杂装备智能维护方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112924177B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN112924177B (zh) 一种改进深度q网络的滚动轴承故障诊断方法
CN111626336B (zh) 一种基于不平衡数据集的地铁故障数据分类方法
CN114970605B (zh) 一种多模态特征融合神经网络的制冷设备故障诊断方法
Fan et al. A novel machine learning method based approach for Li-ion battery prognostic and health management
CN110849627A (zh) 一种宽度迁移学习网络及基于宽度迁移学习网络的滚动轴承故障诊断方法
CN113988126B (zh) 一种基于少标签数据特征迁移的滚动轴承故障诊断方法
CN112964469B (zh) 一种迁移学习的变负载下滚动轴承在线故障诊断方法
CN101907681A (zh) 基于gsd_svdd的模拟电路动态在线故障诊断方法
CN112633339A (zh) 轴承故障智能诊断方法、诊断***、计算机设备及介质
CN109543720B (zh) 一种基于对抗生成网络的晶圆图缺陷模式识别方法
Zhang et al. A novel data-driven method based on sample reliability assessment and improved CNN for machinery fault diagnosis with non-ideal data
CN112633337A (zh) 一种基于聚类和边界点的不平衡数据处理方法
CN116894187A (zh) 一种基于深度迁移学习的齿轮箱故障诊断方法
CN114155397B (zh) 一种小样本图像分类方法及***
CN114297918A (zh) 基于全注意力深度网络和动态集成学习的航空发动机剩余寿命预测方法
CN113240527A (zh) 基于可解释机器学习的债券市场违约风险预警方法
Cui et al. Intelligent fault quantitative identification via the improved deep deterministic policy gradient (DDPG) algorithm accompanied with imbalanced sample
CN115290326A (zh) 一种滚动轴承故障智能诊断方法
Liu et al. A rotor fault diagnosis method based on BP-Adaboost weighted by non-fuzzy solution coefficients
CN112418987B (zh) 交通运输单位信用评级方法、***、电子设备及存储介质
CN115935187B (zh) 基于核敏感度对齐网络的变工况下机械故障诊断方法
Wang et al. A fuzzy KNN algorithm based on weighted chi-square distance
Zhang et al. A novel transfer dictionary learning strategy for rolling bearing fault identification with a mixed noise model
Lu et al. A modified active learning intelligent fault diagnosis method for rolling bearings with unbalanced samples
CN114021275A (zh) 一种基于深度卷积模糊***的滚动轴承故障诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant