CN111721535A - 一种基于卷积多头自注意力机制的轴承故障检测方法 - Google Patents

一种基于卷积多头自注意力机制的轴承故障检测方法 Download PDF

Info

Publication number
CN111721535A
CN111721535A CN202010583027.3A CN202010583027A CN111721535A CN 111721535 A CN111721535 A CN 111721535A CN 202010583027 A CN202010583027 A CN 202010583027A CN 111721535 A CN111721535 A CN 111721535A
Authority
CN
China
Prior art keywords
bearing
convolution
attention
head self
attention mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010583027.3A
Other languages
English (en)
Other versions
CN111721535B (zh
Inventor
王卫杰
叶瑞达
任元
何亮
樊亚洪
张克明
傅百恒
耿梦梦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Original Assignee
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peoples Liberation Army Strategic Support Force Aerospace Engineering University filed Critical Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority to CN202010583027.3A priority Critical patent/CN111721535B/zh
Publication of CN111721535A publication Critical patent/CN111721535A/zh
Application granted granted Critical
Publication of CN111721535B publication Critical patent/CN111721535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/04—Bearings
    • G01M13/045—Acoustic or vibration analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Acoustics & Sound (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

一种基于卷积多头自注意力机制的轴承故障检测方法。所述检测方法流程包括：故障轴承振动信号的采集及预处理，生成轴承故障数据集，构建卷积多头自注意力机制网络并训练，得到轴承故障检测结果。所述卷积多头自注意力机制网络包括：卷积层、位置编码器、多头自注意力模块、全局平均池化层、全连接层；所述卷积层提取轴承信号初始特征；所述位置编码器对轴承初始特征进行位置编码；所述多头自注意力模块对初始特征进行学***均池化层对网络做正则化，防止过拟合；所述全连接层输出轴承的不同故障类型。本发明为轴承故障检测提供了高效准确的方法，从而有效维护了机械设备正常运转。

Description

一种基于卷积多头自注意力机制的轴承故障检测方法
技术领域
本发明涉及设备健康管理领域，特别涉及一种轴承故障诊断方法。
背景技术
轴承作为旋转机械部件的核心，关系着整个机械设备的正常运转。在设备运行过程中，由于过载、摩擦、腐蚀和胶合等原因容易造成轴承的定子、转子等部位损坏。这些故障可能会导致整个机械设备故障，影响生产设备的性能，并可能导致人员伤害。为了保持机器的高性能，同时避免由于轴承故障造成人员伤亡和经济损失，最好的解决方案是对轴承进行故障检测和健康状态监控。
随着传感器技术、计算机技术、信息处理技术的快速发展，基于数据驱动和深度学习的设备健康管理方法正在成为新的研究热点和发展趋势。该方法综合运用传感器数据和机器学习理论，通过建立深度学习模型训练数据来学习机器的失效特性，可以有效解决诊断专家相对于机械设备数量稀少的问题，同时可以对海量数据进行有效监控，快速预测事故的发生。利用深度学习模型可以有效检测轴承故障。
申请号为201910728620.X的公开发明专利公开了“一种基于自注意力神经网络的滚动轴承障碍诊断”，通过自注意力机制对振动信号学习；该方法试图使用单个自注意力方式学习轴承故障特征，未能学习到丰富的轴承故障特征。同时，直接使用自注意力机制，未能有效学习到轴承局部特征。本发明所述方法在有效解决以上问题的同时，使用了位置编码器，在多头自注意力模块学习轴承特征时提供了位置信息，有效解决了全局特征学习中的位置信息问题。
发明内容
(一)发明目的
本发明的目的是提供通过一种基于卷积多头注意力的轴承故障检测方法。本发明轴承故障检测精度高，适用于实际工程项目。
(二)技术方案
本发明的技术解决方案，通过一种基于卷积多头注意力的轴承故障检测方法，所述的方法包括：采集故障轴承振动信号并进行预处理，生成轴承故障数据集，构建卷积多头自注意力机制网络，进而训练得到轴承故障检测结果，该方法的由如下步骤构成。
采集轴承的故障信号，通过传感器采集不同种类的故障轴承振动信号参数信息，并记录轴承故障标签。
轴承信号预处理操作，对轴承信号进行标准归一化处理，再将轴承信号等长度切割，标准归一化函数为：
Figure BDA0002553145630000021
其中，x代表样本信号，μ代表样本信号平均值，σ代表样本信号标准差。
生成轴承故障数据集，对不同类型的故障轴承信号进行等数量随机选取，并按照7:2:1的比例随机分为训练集，验证集和测试集。
构建卷积多头自注意力机制网络，其结构依次是：卷积层→位置编码器→多头自注意力模块→全局平均池化层→全连接层输出层。卷积层为一维卷积神经网络，卷积核的个数设置为32，卷积核大小设置为8×8，步长设为8；位置编码器使用positionalencoding：
Figure BDA0002553145630000031
PE为二维矩阵，偶数位置添加sin变量，奇数位置添加cos变量，以此来填满整个PE矩阵，加入到使用卷积神经网络提取轴承信号初始特征，完成位置编码，在使用多头自注意力时，对特征位置编码，有利于学习关联特征。
多头自注意机制允许模型在不同的位置共同关注来自不同表示子空间的信息，单独使用一个自注意力机制，不能得到丰富的特征信息，轴承特征学习过程：
Figure BDA0002553145630000032
其中a为轴承特征矩阵，Wq由查询向量q(query)组成的权重矩阵，Wk由键向量k(key)组成的权重矩阵，Wv由值向量v(value)组成的权重矩阵；使用缩放点积作为注意力机制：
Figure BDA0002553145630000033
dk是键向量维度的平方根，在自注意力机制中，自注意力的输出是值向量v的加权求和，分配给每个值向量的权重通过查询向量q和当前键向量k的相关程度计算得出，多头自注意力机制：
Figure BDA0002553145630000034
其中Wi Q，Wi K，Wi V和Wo为可学习参数。
全局平均池化层，可以减少网络参数量，防止过拟合现象。
全连接层中神经元的个数等于轴承故障类别总数。
训练卷积多头自注意力机制网络：将轴承训练集和验证集输入到卷积多头自注意力机制网络中，使用交叉熵损失函数，网络学习率learning_rate设置为0.0055，利用梯度下降法训练网络，更新训练集和验证集的权重值和学习率，直至网络损失函数收敛，得到训练好的卷积多头自注意力机制网络；对故障轴承信号分类：将轴承测试集输入到训练好的卷积多头自注意力机制网络中，得到轴承故障检测结果，并通过与正确标签对比，计算卷积多头自注意力机制网络模型对轴承故障检测的精确度。
本发明实现了轴承多种故障特征自动提取的智能检测。本发明识别了轴承多种故障特征的准确识别。
(三)有益效果
本发明的上述技术方案具有如下有益的技术效果：本发明被用来识别多种故障轴承的振动信号，实验结果如图4所示，其识别结果达到98.8％，结果证明了一种基于卷积多头自注意力机制的轴承故障检测方法是有效的。
附图说明
图1是本发明的流程图；
图2是本发明实施例训练时的损失函数图；
图3是本发明实施例训练时的准确度函数图；
图4是本发明实施例识别结果混淆图；
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
本发明实施例1，一种基于卷积多头注意力的轴承故障检测方法，参见图1，按下述步骤进行：
采集轴承的故障信号，通过传感器采集10种不同种类的故障轴承振动信号参数信息，并记录轴承故障标签。
轴承信号预处理操作，对轴承信号进行标准归一化处理，再将轴承信号按照2048个采样点等长度切割，标准归一化函数为：
Figure BDA0002553145630000051
其中，x代表样本信号，μ代表样本信号平均值，σ代表样本信号标准差。
生成轴承故障数据集，对10种不同类别的故障轴承信号各随机选取1000份，并按照7:2:1的比例随机分为训练集，验证集和测试集。
构建卷积多头自注意力机制网络，其结构依次是：卷积层→位置编码器→多头自注意力模块→全局平均池化层→全连接层输出层。卷积层为一维卷积神经网络，卷积核的个数设置为32，卷积核大小设置为8×8，步长设为8；位置编码器使用positionalencoding：
Figure BDA0002553145630000052
PE为二维矩阵，偶数位置添加sin变量，奇数位置添加cos变量，以此来填满整个PE矩阵，加入到使用卷积神经网络提取轴承信号初始特征，完成位置编码，在使用多头自注意力时，对特征位置编码，有利于学习关联特征。
多头自注意机制允许模型在不同的位置共同关注来自不同表示子空间的信息，单独使用一个自注意力机制，不能得到丰富的特征信息，轴承特征学习过程：
Figure BDA0002553145630000061
其中a为轴承特征矩阵，Wq由查询向量q(query)组成的权重矩阵，Wk由键向量k(key)组成的权重矩阵，Wv由值向量v(value)组成的权重矩阵；使用缩放点积作为注意力机制：
Figure BDA0002553145630000062
dk是键向量维度的平方根，在自注意力机制中，自注意力的输出是值向量v的加权求和，分配给每个值向量的权重通过查询向量q和当前键向量k的相关程度计算得出，多头自注意力机制：
Figure BDA0002553145630000063
其中Wi Q，Wi K，Wi V和Wo为可学习参数。
全局平均池化层，可以减少网络参数量，防止过拟合现象。
全连接层在模型训练阶段分别输出不同类型的故障，全连接层中神经元的个数等于轴承故障类型数目，即神经元个数设置为10。
训练卷积多头自注意力机制网络：将轴承训练集和验证集输入到卷积多头自注意力机制网络中，使用交叉熵损失函数，网络学习率learning_rate设置为0.0055，利用梯度下降法训练网络，更新训练集和验证集的权重值和学习率，直至网络损失函数收敛，得到训练好的卷积多头自注意力机制网络。训练过程中，训练集和验证集的损失函数如图2。训练过程中，训练集和验证集的准确率如图3。将轴承测试集输入到训练好的卷积多头自注意力机制网络中，得到轴承故障检测结果，并通过与正确标签对比,计算卷积多头自注意力机制网络模型对轴承故障检测的精确度,其轴承故障检测精确度达到98.8％，识别结果混淆图如图4。
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (1)

1.一种基于卷积多头自注意力机制的轴承故障检测方法，其特征在于，包括：采集故障轴承振动信号并进行预处理，生成轴承故障数据集，构建卷积多头自注意力机制网络，进而训练得到轴承故障检测结果，该方法的步骤包括如下；
(1)采集故障轴承振动信号并进行预处理：
通过传感器采集不同种类的故障轴承振动信号参数信息，并记录轴承故障标签；对轴承信号进行标准归一化处理，再将轴承信号等长度切割，标准归一化函数为：
Figure FDA0002553145620000011
其中，x代表样本信号，μ代表样本信号平均值，σ代表样本信号标准差；
(2)生成轴承故障数据集：
对不同类型的故障轴承信号进行等数量随机选取，并按照7:2:1的比例随机分为训练集，验证集和测试集；
(3)构建卷积多头自注意力机制网络，其结构依次是：卷积层→位置编码器→多头自注意力模块→全局平均池化层→全连接层输出层；
(3a)卷积层为一维卷积神经网络，卷积核的个数设置为32，卷积核大小设置为8×8，步长设为8；
(3b)位置编码器使用positional encoding：
Figure FDA0002553145620000021
PE为二维矩阵，偶数位置添加sin变量，奇数位置添加cos变量，以此来填满整个PE矩阵，加入到使用卷积神经网络提取轴承信号初始特征，完成位置编码，在使用多头自注意力时，对特征位置编码，有利于学习关联特征；
(3c)多头自注意机制允许模型在不同的位置共同关注来自不同表示子空间的信息，单独使用一个自注意力机制，不能得到丰富的特征信息，轴承特征学习过程：
Figure FDA0002553145620000022
其中a为轴承特征矩阵，Wq由查询向量q(query)组成的权重矩阵，Wk由键向量k(key)组成的权重矩阵，Wv由值向量v(value)组成的权重矩阵；
使用缩放点积的自注意力机制：
Figure FDA0002553145620000023
dk是键向量维度的平方根，自注意力的输出是值向量v的加权求和，分配给每个值向量的权重通过查询向量q和当前键向量k的相关程度计算得出，Q,K,V是多头自注意力机制：
Figure FDA0002553145620000024
多头自注意机制的输入由Q,K,V变成了QWi Q,KWi K,VWi V，选用8头自注意力机制，在维度上，将Q,K,V的维度由原来的8n维变成n维，每一次计算一个头，然后将8次的缩放点积自注意力结果进行拼接，通过Wo进行线性变换，得到最终的多头自注意力值。
(3d)全局平均池化层，可以减少网络参数量，防止过拟合现象；
(3e)全连接层中神经元的个数等于轴承故障类别总数；
(4)训练卷积多头自注意力机制网络：
将轴承训练集和验证集输入到卷积多头自注意力机制网络中，使用交叉熵损失函数，网络学习率learning_rate设置为0.0055，利用梯度下降法训练网络，更新训练集和验证集的权重值和学习率，直至网络损失函数收敛，得到训练好的卷积多头自注意力机制网络；
(5)对故障轴承信号分类：
将轴承测试集输入到训练好的卷积多头自注意力机制网络中，得到轴承故障检测结果，并通过与正确标签对比，计算卷积多头自注意力机制网络模型对轴承故障检测的精确度。
CN202010583027.3A 2020-06-23 2020-06-23 一种基于卷积多头自注意力机制的轴承故障检测方法 Active CN111721535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010583027.3A CN111721535B (zh) 2020-06-23 2020-06-23 一种基于卷积多头自注意力机制的轴承故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010583027.3A CN111721535B (zh) 2020-06-23 2020-06-23 一种基于卷积多头自注意力机制的轴承故障检测方法

Publications (2)

Publication Number Publication Date
CN111721535A true CN111721535A (zh) 2020-09-29
CN111721535B CN111721535B (zh) 2021-11-30

Family

ID=72568428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010583027.3A Active CN111721535B (zh) 2020-06-23 2020-06-23 一种基于卷积多头自注意力机制的轴承故障检测方法

Country Status (1)

Country Link
CN (1) CN111721535B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183453A (zh) * 2020-10-15 2021-01-05 哈尔滨市科佳通用机电股份有限公司 基于深度学习的注水口盖板未锁闭到位故障检测方法及***
CN112528548A (zh) * 2020-11-27 2021-03-19 东莞市汇林包装有限公司 一种自适应深度耦合卷积自编码多模态数据融合方法
CN112629854A (zh) * 2020-11-25 2021-04-09 西安交通大学 一种基于神经网络注意力机制的轴承故障分类方法
CN112801069A (zh) * 2021-04-14 2021-05-14 四川翼飞视科技有限公司 一种人脸关键特征点检测装置、方法和存储介质
CN112819037A (zh) * 2021-01-12 2021-05-18 广东石油化工学院 基于交叉注意力和自注意力的分类参数分布的故障诊断方法
CN112906739A (zh) * 2021-01-18 2021-06-04 河南工业大学 基于多头注意力及轴系设备周期性的故障诊断方法
CN113158445A (zh) * 2021-04-06 2021-07-23 中国人民解放军战略支援部队航天工程大学 一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法
CN113205177A (zh) * 2021-04-25 2021-08-03 广西大学 一种基于增量协同注意力移动卷积的电力终端识别方法
CN113255780A (zh) * 2021-05-28 2021-08-13 润联软件***(深圳)有限公司 一种减速箱故障预测方法、装置、计算机设备及存储介质
CN113344070A (zh) * 2021-06-01 2021-09-03 南京林业大学 一种基于多头自注意力模块的遥感图像分类***及方法
CN113343591A (zh) * 2021-07-16 2021-09-03 浙江大学 基于自注意力网络的产品关键零件寿命端到端预测方法
CN113392214A (zh) * 2021-06-03 2021-09-14 齐鲁工业大学 基于k选择策略稀疏自注意力的文本分类方法及***
CN113469263A (zh) * 2021-07-13 2021-10-01 润联软件***(深圳)有限公司 适于小样本的预测模型训练方法、装置及相关设备
CN113674225A (zh) * 2021-07-30 2021-11-19 南京信息工程大学 一种基于卷积神经网络的电力设备故障检测方法
CN113865868A (zh) * 2021-08-24 2021-12-31 东南大学 基于时频域表达的滚动轴承故障诊断方法
CN114332825A (zh) * 2022-03-10 2022-04-12 中汽信息科技(天津)有限公司 基于深度学习的道路地形分布识别方法、设备和存储介质
WO2022077901A1 (zh) * 2020-10-13 2022-04-21 同济大学 一种面向小样本数据集的轴承故障模式诊断方法及***
WO2022083335A1 (zh) * 2020-10-20 2022-04-28 神思电子技术股份有限公司 一种基于自我注意力机制的行为识别方法
CN114638256A (zh) * 2022-02-22 2022-06-17 合肥华威自动化有限公司 基于声波信号及注意力网络的变压器故障检测方法及其***
CN114913396A (zh) * 2022-07-15 2022-08-16 西北工业大学 一种电机轴承故障诊断方法
CN114937021A (zh) * 2022-05-31 2022-08-23 哈尔滨工业大学 一种基于Swin-Transformer的农作物病害细粒度分类方法
CN114993677A (zh) * 2022-05-11 2022-09-02 山东大学 不平衡小样本数据的滚动轴承故障诊断方法及***
CN115659283A (zh) * 2022-12-12 2023-01-31 陕西金元新能源有限公司 基于多任务学习的注意力机制的风电设备损伤预测方法
CN116243683A (zh) * 2023-03-15 2023-06-09 青岛澎湃海洋探索技术有限公司 基于转矩和多头自编码器的推进***故障诊断方法
CN116428129A (zh) * 2023-06-13 2023-07-14 山东大学 基于注意力混合神经网络的风机叶片冲击定位方法及***
CN117153144A (zh) * 2023-10-31 2023-12-01 杭州宇谷科技股份有限公司 基于端计算的电池信息语音播报方法和装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107421741A (zh) * 2017-08-25 2017-12-01 南京信息工程大学 一种基于卷积神经网络的滚动轴承故障诊断方法
CN108681539A (zh) * 2018-05-07 2018-10-19 内蒙古工业大学 一种基于卷积神经网络的蒙汉神经翻译方法
CN108734290A (zh) * 2018-05-16 2018-11-02 湖北工业大学 一种基于注意力机制的卷积神经网络构建方法及应用
CN109165667A (zh) * 2018-07-06 2019-01-08 中国科学院自动化研究所 基于自注意力机制的脑疾病分类***
CN109726524A (zh) * 2019-03-01 2019-05-07 哈尔滨理工大学 一种基于cnn和lstm的滚动轴承剩余使用寿命预测方法
CN109902399A (zh) * 2019-03-01 2019-06-18 哈尔滨理工大学 一种基于att-cnn的变工况下滚动轴承故障识别方法
CN109919205A (zh) * 2019-02-25 2019-06-21 华南理工大学 基于多头自注意力机制的卷积回声状态网络时序分类方法
CN110196946A (zh) * 2019-05-29 2019-09-03 华南理工大学 一种基于深度学习的个性化推荐方法
CN110355608A (zh) * 2019-07-18 2019-10-22 浙江大学 基于自注意力机制与深度学习的刀具磨损量预测方法
CN110608884A (zh) * 2019-08-08 2019-12-24 桂林电子科技大学 一种基于自注意力神经网络的滚动轴承状态诊断方法
CN110619045A (zh) * 2019-08-27 2019-12-27 四川大学 一种基于卷积神经网络和自注意力的文本分类模型
CN110672343A (zh) * 2019-09-29 2020-01-10 电子科技大学 基于多注意力卷积神经网络的旋转机械故障诊断方法
WO2020068831A1 (en) * 2018-09-26 2020-04-02 Visa International Service Association Dynamic graph representation learning via attention networks
CN111046907A (zh) * 2019-11-02 2020-04-21 国网天津市电力公司 一种基于多头注意力机制的半监督卷积网络嵌入方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107421741A (zh) * 2017-08-25 2017-12-01 南京信息工程大学 一种基于卷积神经网络的滚动轴承故障诊断方法
CN108681539A (zh) * 2018-05-07 2018-10-19 内蒙古工业大学 一种基于卷积神经网络的蒙汉神经翻译方法
CN108734290A (zh) * 2018-05-16 2018-11-02 湖北工业大学 一种基于注意力机制的卷积神经网络构建方法及应用
CN109165667A (zh) * 2018-07-06 2019-01-08 中国科学院自动化研究所 基于自注意力机制的脑疾病分类***
WO2020068831A1 (en) * 2018-09-26 2020-04-02 Visa International Service Association Dynamic graph representation learning via attention networks
CN109919205A (zh) * 2019-02-25 2019-06-21 华南理工大学 基于多头自注意力机制的卷积回声状态网络时序分类方法
CN109902399A (zh) * 2019-03-01 2019-06-18 哈尔滨理工大学 一种基于att-cnn的变工况下滚动轴承故障识别方法
CN109726524A (zh) * 2019-03-01 2019-05-07 哈尔滨理工大学 一种基于cnn和lstm的滚动轴承剩余使用寿命预测方法
CN110196946A (zh) * 2019-05-29 2019-09-03 华南理工大学 一种基于深度学习的个性化推荐方法
CN110355608A (zh) * 2019-07-18 2019-10-22 浙江大学 基于自注意力机制与深度学习的刀具磨损量预测方法
CN110608884A (zh) * 2019-08-08 2019-12-24 桂林电子科技大学 一种基于自注意力神经网络的滚动轴承状态诊断方法
CN110619045A (zh) * 2019-08-27 2019-12-27 四川大学 一种基于卷积神经网络和自注意力的文本分类模型
CN110672343A (zh) * 2019-09-29 2020-01-10 电子科技大学 基于多注意力卷积神经网络的旋转机械故障诊断方法
CN111046907A (zh) * 2019-11-02 2020-04-21 国网天津市电力公司 一种基于多头注意力机制的半监督卷积网络嵌入方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
I. BELLO等: "Attention Augmented Convolutional Networks", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
J. LI等: "Global-Local Temporal Representations for Video Person Re-Identification", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
R. LI等: "Dilated Residual Network with Multi-head Self-attention for Speech Emotion Recognition", 《ICASSP 2019 - 2019 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS》 *
S. CHEN等: "Self-Attention based Network For Medical Query Expansion", 《2019 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN)》 *
Y. LIU等: "Exploring a Unified Attention-Based Pooling Framework for Speaker Verification", 《018 11TH INTERNATIONAL SYMPOSIUM ON CHINESE SPOKEN LANGUAGE PROCESSING (ISCSLP)》 *
孟恒宇: "基于Transformer重建的时序数据异常检测与关系提取", 《计算机工程》 *
熊漩等: "融合多头自注意力机制的中文分类方法", 《电子测量技术》 *
王翔等: "基于多注意力机制的深度神经网络故障诊断算法", 《浙江理工大学学报(自然科学版)》 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022077901A1 (zh) * 2020-10-13 2022-04-21 同济大学 一种面向小样本数据集的轴承故障模式诊断方法及***
CN112183453A (zh) * 2020-10-15 2021-01-05 哈尔滨市科佳通用机电股份有限公司 基于深度学习的注水口盖板未锁闭到位故障检测方法及***
WO2022083335A1 (zh) * 2020-10-20 2022-04-28 神思电子技术股份有限公司 一种基于自我注意力机制的行为识别方法
CN112629854A (zh) * 2020-11-25 2021-04-09 西安交通大学 一种基于神经网络注意力机制的轴承故障分类方法
CN112528548A (zh) * 2020-11-27 2021-03-19 东莞市汇林包装有限公司 一种自适应深度耦合卷积自编码多模态数据融合方法
CN112819037A (zh) * 2021-01-12 2021-05-18 广东石油化工学院 基于交叉注意力和自注意力的分类参数分布的故障诊断方法
CN112819037B (zh) * 2021-01-12 2024-01-30 广东石油化工学院 基于交叉注意力和自注意力的分类参数分布的故障诊断方法
CN112906739A (zh) * 2021-01-18 2021-06-04 河南工业大学 基于多头注意力及轴系设备周期性的故障诊断方法
CN113158445A (zh) * 2021-04-06 2021-07-23 中国人民解放军战略支援部队航天工程大学 一种卷积记忆残差自注意力机制的航空发动机剩余使用寿命预测算法
CN112801069A (zh) * 2021-04-14 2021-05-14 四川翼飞视科技有限公司 一种人脸关键特征点检测装置、方法和存储介质
CN113205177A (zh) * 2021-04-25 2021-08-03 广西大学 一种基于增量协同注意力移动卷积的电力终端识别方法
CN113205177B (zh) * 2021-04-25 2022-03-25 广西大学 一种基于增量协同注意力移动卷积的电力终端识别方法
CN113255780A (zh) * 2021-05-28 2021-08-13 润联软件***(深圳)有限公司 一种减速箱故障预测方法、装置、计算机设备及存储介质
CN113255780B (zh) * 2021-05-28 2024-05-03 润联智能科技股份有限公司 一种减速箱故障预测方法、装置、计算机设备及存储介质
CN113344070A (zh) * 2021-06-01 2021-09-03 南京林业大学 一种基于多头自注意力模块的遥感图像分类***及方法
CN113392214B (zh) * 2021-06-03 2022-09-06 齐鲁工业大学 基于k选择策略稀疏自注意力的文本分类方法及***
CN113392214A (zh) * 2021-06-03 2021-09-14 齐鲁工业大学 基于k选择策略稀疏自注意力的文本分类方法及***
CN113469263A (zh) * 2021-07-13 2021-10-01 润联软件***(深圳)有限公司 适于小样本的预测模型训练方法、装置及相关设备
CN113343591A (zh) * 2021-07-16 2021-09-03 浙江大学 基于自注意力网络的产品关键零件寿命端到端预测方法
CN113343591B (zh) * 2021-07-16 2022-05-03 浙江大学 基于自注意力网络的产品关键零件寿命端到端预测方法
CN113674225A (zh) * 2021-07-30 2021-11-19 南京信息工程大学 一种基于卷积神经网络的电力设备故障检测方法
CN113865868A (zh) * 2021-08-24 2021-12-31 东南大学 基于时频域表达的滚动轴承故障诊断方法
CN113865868B (zh) * 2021-08-24 2023-12-22 东南大学 基于时频域表达的滚动轴承故障诊断方法
CN114638256A (zh) * 2022-02-22 2022-06-17 合肥华威自动化有限公司 基于声波信号及注意力网络的变压器故障检测方法及其***
CN114638256B (zh) * 2022-02-22 2024-05-31 合肥华威自动化有限公司 基于声波信号及注意力网络的变压器故障检测方法及其***
CN114332825A (zh) * 2022-03-10 2022-04-12 中汽信息科技(天津)有限公司 基于深度学习的道路地形分布识别方法、设备和存储介质
CN114993677A (zh) * 2022-05-11 2022-09-02 山东大学 不平衡小样本数据的滚动轴承故障诊断方法及***
CN114937021A (zh) * 2022-05-31 2022-08-23 哈尔滨工业大学 一种基于Swin-Transformer的农作物病害细粒度分类方法
CN114913396A (zh) * 2022-07-15 2022-08-16 西北工业大学 一种电机轴承故障诊断方法
CN115659283A (zh) * 2022-12-12 2023-01-31 陕西金元新能源有限公司 基于多任务学习的注意力机制的风电设备损伤预测方法
CN116243683A (zh) * 2023-03-15 2023-06-09 青岛澎湃海洋探索技术有限公司 基于转矩和多头自编码器的推进***故障诊断方法
CN116243683B (zh) * 2023-03-15 2024-02-13 青岛澎湃海洋探索技术有限公司 基于转矩和多头自编码器的推进***故障诊断方法
CN116428129A (zh) * 2023-06-13 2023-07-14 山东大学 基于注意力混合神经网络的风机叶片冲击定位方法及***
CN116428129B (zh) * 2023-06-13 2023-09-01 山东大学 基于注意力混合神经网络的风机叶片冲击定位方法及***
CN117153144A (zh) * 2023-10-31 2023-12-01 杭州宇谷科技股份有限公司 基于端计算的电池信息语音播报方法和装置
CN117153144B (zh) * 2023-10-31 2024-02-06 杭州宇谷科技股份有限公司 基于端计算的电池信息语音播报方法和装置

Also Published As

Publication number Publication date
CN111721535B (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN111721535B (zh) 一种基于卷积多头自注意力机制的轴承故障检测方法
Li et al. A deep learning approach for anomaly detection based on SAE and LSTM in mechanical equipment
Sun et al. Convolutional discriminative feature learning for induction motor fault diagnosis
CN111914873A (zh) 一种两阶段云服务器无监督异常预测方法
Ko et al. Fault classification in high-dimensional complex processes using semi-supervised deep convolutional generative models
CN113865868B (zh) 基于时频域表达的滚动轴承故障诊断方法
CN110991471B (zh) 一种高速列车牵引***故障诊断方法
CN110263767A (zh) 结合压缩数据采集和深度学习的智能转轴故障诊断方法
CN112305388B (zh) 一种发电机定子绕组绝缘局部放电故障在线监测诊断方法
CN116593157A (zh) 少样本下基于匹配元学习的复杂工况齿轮故障诊断方法
CN115859077A (zh) 一种变工况下多特征融合的电机小样本故障诊断方法
Tao et al. Fault diagnosis of rolling bearing using deep belief networks
Shajihan et al. CNN based data anomaly detection using multi-channel imagery for structural health monitoring
CN116150901A (zh) 一种基于注意力增强时频Transformer的滚动轴承剩余寿命预测方法
CN116735170A (zh) 一种基于自注意力多尺度特征提取的智能故障诊断方法
CN111428788A (zh) 基于深度学习的汽轮机发电机组转子多故障诊断方法及***
CN111539381B (zh) 风力发电机轴承故障分类诊断模型的构建方法
Techane et al. Rotating machinery prognostics and application of machine learning algorithms: Use of deep learning with similarity index measure for health status prediction
CN112861275A (zh) 一种基于最小信息熵特征学习模型的旋转机械故障诊断方法
CN114926702B (zh) 一种基于深度注意力度量的小样本图像分类方法
CN116167008A (zh) 基于数据增强的物联感知云数据中心异常定位方法
Ahmed et al. Three-stage method for rotating machine health condition monitoring using vibration signals
CN114417704A (zh) 一种基于改进栈式自编码的风电机组发电机健康评估方法
Li et al. Health indicator by CAE feature extractor
CN110750876A (zh) 一种轴承数据模型训练及使用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant