CN112183453A - 基于深度学习的注水口盖板未锁闭到位故障检测方法及*** - Google Patents

基于深度学习的注水口盖板未锁闭到位故障检测方法及*** Download PDF

Info

Publication number
CN112183453A
CN112183453A CN202011105125.2A CN202011105125A CN112183453A CN 112183453 A CN112183453 A CN 112183453A CN 202011105125 A CN202011105125 A CN 202011105125A CN 112183453 A CN112183453 A CN 112183453A
Authority
CN
China
Prior art keywords
attention
self
cover plate
layer
water injection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011105125.2A
Other languages
English (en)
Other versions
CN112183453B (zh
Inventor
战岭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202011105125.2A priority Critical patent/CN112183453B/zh
Publication of CN112183453A publication Critical patent/CN112183453A/zh
Application granted granted Critical
Publication of CN112183453B publication Critical patent/CN112183453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

基于深度学习的注水口盖板未锁闭到位故障检测方法及***，属于图像检测技术领域。为了解决现有的人工检查图像的方式存在检测准确率低、检测效率低的问题。本发明利用训练好的目标检测模型获取“注水口”文本位置和注水口位置，进而确定注水口盖板精确位置，并对图像进行二值化，获取注水口盖板二值图像；然后根据不同车型注水口盖板的开合方向，在二值图像上截取注水口盖板与车身间的缝隙阴影图像，并获取注水口盖板与车身间的缝隙阴影面积；最后根据不同车型所对应的缝隙阴影面积阈值，判断缝隙阴影面积是否超出阈值，从而确定注水口盖板精确位置是否为故障区域。主要用于注水口盖板未锁闭到位的故障检测。

Description

基于深度学习的注水口盖板未锁闭到位故障检测方法及***
技术领域
本发明属于图像检测技术领域，具体涉及一种注水口盖板未锁闭到位故障检测方法及***。
背景技术
注水口盖板能够保证动车组车体在高速运行中的气密性，保护注水口及附近部件不受内外气压差的影响而发生漏水、部件丢失等故障，所以注水口盖板未锁闭检测非常重要。
现有的检测方法中，通常采用人工检查图像的方式进行故障检测。由于检车人员在工作过程中极易出现疲劳导致漏检、错检等情况的出现。因此，对动车组注水口盖板未锁闭到位故障进行及时的自动报警具有重要意义。
而利用现有的检测算子的检测方法并不能很好的对注水口盖板未锁闭到位故障检测，检测准确率往往不能满足实际需要。随着深度学习技术的发展，现有的神经网络虽然能够应用于注水口盖板未锁闭到位故障检测，但是仍然存在以下问题：
利用现有的结构相对简单的神经网络模型对注水口盖板锁闭检测时，存在检测准确率较低、误检率和漏检率较高的问题；而利用结构复杂的神经网络模型对注水口盖板锁闭检测时，不仅需要很长的训练时间，而且模型参数数量非常多，严重的降低了模型的运行效率，延长了检测时间。
发明内容
本发明是为了解决现有的人工检查图像的方式存在检测准确率低、检测效率低的问题。
基于深度学习的注水口盖板未锁闭到位故障检测方法，包括以下步骤：
S1、获取包括注水口部位的感兴趣区域图像；
S2、利用训练好的目标检测模型获取“注水口”文本位置和注水口位置；所述的目标检测模型为基于多头区域自注意力神经网络的目标检测神经网络模型；
S3、根据“注水口”文本位置和注水口位置确定注水口盖板精确位置；
S4、采用OTSU算法确定S3获得的注水口盖板精确位置对应图像的自适应二值化阈值，并进行二值化，小于自适应二值化阈值的像素值被置为0，大于等于该自适应二值化阈值的像素值被置为255，获取注水口盖板二值图像；
S5、根据不同车型注水口盖板的开合方向，在所述注水口盖板二值图像上截取注水口盖板与车身间的缝隙阴影图像；
S6、计算所述缝隙阴影图像中像素值为0的像素个数，获取注水口盖板与车身间的缝隙阴影面积；
S7、根据不同车型所对应的缝隙阴影面积阈值，判断S6所得缝隙阴影面积是否超出阈值；若是，则将S3所得注水口盖板精确位置记录为故障信息。
进一步地，所述多头区域自注意力神经网络的处理过程如下：
(1)、在输入图像中选取一个窗口大小为m x m像素的子区域像素矩阵；
(2)、将(1)所得矩阵复制3份，分别命名为“查询”矩阵Q、“键”矩阵K和“值”矩阵V；
(3)、对(2)所得Q、K、V三个矩阵分别进行线性变换，得到经过线性变换后的矩阵
Figure BDA0002726702760000021
(4)、计算(3)所得
Figure BDA0002726702760000022
矩阵之间的相关矩阵
Figure BDA0002726702760000023
Figure BDA0002726702760000024
通过softmax函数计算自注意力矩阵A：
Figure BDA0002726702760000025
其中：
Figure BDA0002726702760000026
和
Figure BDA0002726702760000027
分别为图像垂直方向和水平方向的自注意力图；concat为矩阵水平拼接；WC为相关线性变换权重参数，尺寸为2m x m；BC为相关线性变换偏置参数，尺寸为m x m；自注意力矩阵A的尺寸为m x m；
(5)、利用(4)所得自注意力矩阵A对(3)所得子区域矩阵
Figure BDA0002726702760000028
进行加权，得到子区域特征矩阵F；
(6)、重复步骤(4)、(5)的过程H次，每重复一次称为一个自注意力“头”；
(7)、将H个自注意力“头”所对应的H个子区域特征矩阵F进行拼接，得到
Figure BDA0002726702760000029
尺寸为m x mH；
(8)、对(7)所得的
Figure BDA00027267027600000210
进行线性变换，得到最终的子区域特征
Figure BDA00027267027600000211
(9)、以步长S逐行向右移动步骤(1)中的子区域，重复(1)～(8)过程，直到提取完输入图像的所有特征，得到尺寸与输入图像相同的特征图。
进一步地，步骤(3)所述对(2)所得Q、K、V三个矩阵分别进行线性变换的过程如下：
Figure BDA00027267027600000212
Figure BDA00027267027600000213
Figure BDA00027267027600000214
其中：WQ、WK、WV分别为矩阵Q、K、V对应的线性变换权重参数，尺寸均为m x m；BQ、BK、BV分别为矩阵Q、K、V对应的线性变换偏置参数，尺寸均为m x m；
Figure BDA0002726702760000031
Figure BDA0002726702760000032
分别为经过线性变换后的Q、K、V矩阵，尺寸均为m x m。
进一步地，所述基于多头区域自注意力神经网络的目标检测神经网络模型的模型结构包括第1区域自注意力层至第7区域候选层和一个输出层；
第1区域自注意力层：2个相同的多头区域自注意力神经网络串联，然后连接一个最大池化层；
第2区域自注意力层：2个相同的多头区域自注意力神经网络串联，然后连接一个最大池化层；
第3区域自注意力层：3个相同的多头区域自注意力神经网络串联，然后连接一个最大池化层；
第4区域自注意力层：3个相同的多头区域自注意力神经网络串联，然后连接一个最大池化层；
第5区域自注意力层：3个相同的多头区域自注意力神经网络串联，然后连接一个最大池化层；
第6区域自注意力层：3个相同的多头区域自注意力神经网络串联，然后连接一个最大池化层；
第7区域候选层：2个多头区域自注意力神经网络并联，分别为位置预测层和概率预测层；
输出层：输出图像中目标的预测位置信息及对应预测类别、预测置信度。
进一步地，第1区域自注意力层至第6区域候选层中的多头区域自注意力神经网络串联结构中的多头区域自注意力头数H分别为2、4、8、16、32、64；
第7区域候选层中的多头区域自注意力神经网络并联结构中，位置预测层中的多头区域自注意力头数H为4；概率预测层中的多头区域自注意力头数H为2。
进一步地，第1区域自注意力层至第6区域候选层中的多头区域自注意力神经网络中的子区域大小为3x3像素，步长S为3像素；
第7区域候选层中的多头区域自注意力神经网络中，位置预测层子区域大小为1x1像素，步长S为1像素；概率预测层子区域大小为1x1像素，步长S为1像素。
进一步地，第1区域自注意力层至第6区域候选层中的最大池层的窗口大小为2x2，步长为2。
进一步地，用于训练的目标检测模型的数据集的标记过程包括以下步骤：
根据注水口所属动车组不同车型，利用labelImg数据标注工具，对图像进行标注：
“注水口”文本的标签名称为text，标签类别为1；
不同车型的注水口标签名称为cover+车型，对应标签类别为2、3、4，以此类推。
进一步地，在进行数据集的标记之前，先要对采集到的图像数据集进行数据扩增操作，从而得到用于标记的数据集。
基于深度学习的注水口盖板未锁闭到位故障检测***，用于执行基于深度学习的注水口盖板未锁闭到位故障检测方法。
有益效果：
1、使用深度学习方法代替人工对动车组进行自动故障检测，不再受检测人员主观因素的影响与工作时长的限制，能够有效提高对动车组注水口故障的检测质量(检测的准确率高、误检率和漏检率低)与检测效率。
2、本发明提出一种多头区域自注意力(Multi-head Region Self-attention)神经网络代替传统卷积神经网络构建目标检测模型。所提出的多头区域自注意力神经网络具有以下优点：(1)通过将图像划分为多个子区域单独运算，能够降低自注意力参数数量，提高模型训练和推理速度；(2)结合垂直和水平两个方向的自注意力图来计算自注意力矩阵，特征提取能力更强；(3)通过自注意力运算代替卷积运算，能够更加有效地提取图像子区域中的关键特征，对背景及噪声进行更好的抑制；(4)通过多个自注意力头并联，各个头之间参数独立，能够提取区域中不同语义子空间的特征。
本发明不仅检测的准确率高，而且检测迅速，能够有效解决现有的神经网络模型对注水口盖板锁闭检测时存在检测准确率较低的问题或检测时间长的问题。
附图说明
图1为注水口盖板未锁闭到位故障检测流程示意图；
图2为多头区域自注意力神经网络结构示意图；
图3为自注意力矩阵计算原理图；
图4为目标检测神经网络模型结构示意图。
具体实施方式
具体实施方式一：
基于深度学习的注水口盖板未锁闭到位故障检测方法，包括以下步骤：
S1、获取包括注水口部位的感兴趣区域图像；
S2、利用训练好的目标检测模型获取“注水口”文本位置和注水口位置；所述的目标检测模型为基于多头区域自注意力神经网络的目标检测神经网络模型；
S3、根据“注水口”文本位置和注水口位置确定注水口盖板精确位置；
S4、采用OTSU算法确定S3获得的注水口盖板精确位置对应图像的自适应二值化阈值，并进行二值化，小于自适应二值化阈值的像素值被置为0，大于等于该自适应二值化阈值的像素值被置为255，获取注水口盖板二值图像；
S5、根据不同车型注水口盖板的开合方向，在所述注水口盖板二值图像上截取注水口盖板与车身间的缝隙阴影图像；
S6、计算所述缝隙阴影图像中像素值为0的像素个数，获取注水口盖板与车身间的缝隙阴影面积；
S7、根据不同车型所对应的缝隙阴影面积阈值，判断S6所得缝隙阴影面积是否超出阈值；若是，则将S3所得注水口盖板精确位置记录为故障信息。
具体实施方式二：
本实施方式所述基于深度学习的注水口盖板未锁闭到位故障检测方法中，所述多头区域自注意力神经网络的处理过程如下：
(1)、在输入图像中选取一个窗口大小为m x m像素的子区域像素矩阵；
(2)、将(1)所得矩阵复制3份，分别命名为“查询”矩阵Q、“键”矩阵K和“值”矩阵V；
(3)、对(2)所得Q、K、V三个矩阵分别进行线性变换，得到经过线性变换后的矩阵
Figure BDA0002726702760000051
(4)、计算(3)所得
Figure BDA0002726702760000052
矩阵之间的相关矩阵
Figure BDA0002726702760000053
Figure BDA0002726702760000054
通过softmax函数计算自注意力矩阵A：
Figure BDA0002726702760000055
其中：
Figure BDA0002726702760000056
和
Figure BDA0002726702760000057
分别为图像垂直方向和水平方向的自注意力图；concat为矩阵水平拼接；WC为相关线性变换权重参数，尺寸为2m x m；BC为相关线性变换偏置参数，尺寸为m x m；自注意力矩阵A的尺寸为m x m；
(5)、利用(4)所得自注意力矩阵A对(3)所得子区域矩阵
Figure BDA0002726702760000058
进行加权，得到子区域特征矩阵F；
(6)、重复步骤(4)、(5)的过程H次，每重复一次称为一个自注意力“头”；
(7)、将H个自注意力“头”所对应的H个子区域特征矩阵F进行拼接，得到
Figure BDA0002726702760000059
尺寸为m x mH；
(8)、对(7)所得的
Figure BDA0002726702760000061
进行线性变换，得到最终的子区域特征
Figure BDA0002726702760000062
(9)、以步长S逐行向右移动步骤(1)中的子区域，重复(1)～(8)过程，直到提取完输入图像的所有特征，得到尺寸与输入图像相同的特征图。
其他步骤和参数与具体实施方式一相同。
具体实施方式三：
本实施方式所述基于深度学习的注水口盖板未锁闭到位故障检测方法中，步骤(3)所述对(2)所得Q、K、V三个矩阵分别进行线性变换的过程如下：
Figure BDA0002726702760000063
Figure BDA0002726702760000064
Figure BDA0002726702760000065
其中：WQ、WK、WV分别为矩阵Q、K、V对应的线性变换权重参数，尺寸均为m x m；BQ、BK、BV分别为矩阵Q、K、V对应的线性变换偏置参数，尺寸均为m x m；
Figure BDA0002726702760000066
Figure BDA0002726702760000067
分别为经过线性变换后的Q、K、V矩阵，尺寸均为m x m。
其他步骤和参数与具体实施方式二相同。
具体实施方式四：
本实施方式所述基于深度学习的注水口盖板未锁闭到位故障检测方法中，所述基于多头区域自注意力神经网络的目标检测神经网络模型的模型结构包括第1区域自注意力层至第7区域候选层和一个输出层；
第1区域自注意力层：2个相同的多头区域自注意力神经网络串联，然后连接一个最大池化层；
第2区域自注意力层：2个相同的多头区域自注意力神经网络串联，然后连接一个最大池化层；
第3区域自注意力层：3个相同的多头区域自注意力神经网络串联，然后连接一个最大池化层；
第4区域自注意力层：3个相同的多头区域自注意力神经网络串联，然后连接一个最大池化层；
第5区域自注意力层：3个相同的多头区域自注意力神经网络串联，然后连接一个最大池化层；
第6区域自注意力层：3个相同的多头区域自注意力神经网络串联，然后连接一个最大池化层；
第7区域候选层：2个多头区域自注意力神经网络并联，分别为位置预测层和概率预测层；
输出层：输出图像中目标的预测位置信息及对应预测类别、预测置信度。
其他步骤和参数与具体实施方式二或三相同。
具体实施方式五：
本实施方式所述基于深度学习的注水口盖板未锁闭到位故障检测方法中，第1区域自注意力层至第6区域候选层中的多头区域自注意力神经网络串联结构中的多头区域自注意力头数H分别为2、4、8、16、32、64；
第7区域候选层中的多头区域自注意力神经网络并联结构中，位置预测层中的多头区域自注意力头数H为4；概率预测层中的多头区域自注意力头数H为2。
其他步骤和参数与具体实施方式四相同。
具体实施方式六：
本实施方式所述基于深度学习的注水口盖板未锁闭到位故障检测方法中，第1区域自注意力层至第6区域候选层中的多头区域自注意力神经网络中的子区域大小为3x3像素，步长S为3像素；
第7区域候选层中的多头区域自注意力神经网络中，位置预测层子区域大小为1x1像素，步长S为1像素；概率预测层子区域大小为1x1像素，步长S为1像素。
其他步骤和参数与具体实施方式五相同。
具体实施方式七：
本实施方式所述基于深度学习的注水口盖板未锁闭到位故障检测方法中，第1区域自注意力层至第6区域候选层中的最大池层的窗口大小为2x2，步长为2。
其他步骤和参数与具体实施方式六相同。
具体实施方式八：
本实施方式所述基于深度学习的注水口盖板未锁闭到位故障检测方法中，用于训练的目标检测模型的数据集的标记过程包括以下步骤：
根据注水口所属动车组不同车型，利用labelImg数据标注工具，对图像进行标注：
“注水口”文本的标签名称为text，标签类别为1；
不同车型的注水口标签名称为cover+车型，对应标签类别为2、3、4，以此类推。
其他步骤和参数与具体实施方式一至七之一相同。
具体实施方式九：
本实施方式所述基于深度学习的注水口盖板未锁闭到位故障检测方法中，在进行数据集的标记之前，先要对采集到的图像数据集进行数据扩增操作，从而得到用于标记的数据集。
其他步骤和参数与具体实施方式八相同。
具体实施方式十：
本实施方式为基于深度学习的注水口盖板未锁闭到位故障检测***，所述***用于基于深度学习的注水口盖板未锁闭到位故障检测方法。
实施例
结合图1具体说明本实施例，本实施例所述的基于深度学习的注水口盖板未锁闭到位故障检测方法，包括以下步骤：
步骤一、动车组侧部整体图像获取
利用安装在轨道旁的固定设备搭载线阵相机。根据动车组的移动速度计算线阵相机拍摄频率，对所过动车组进行连续拍摄。将所拍下的多幅“线”形图像通过无缝拼接，得到一幅的完整的动车组侧部整体图像。
步骤二、注水口粗定位
利用安装在轨道旁的传感器获取所过动车组车轴间的轴距信息。根据轴距信息和注水口相对车轴可能出现位置的先验信息，在步骤一所得动车组侧部整体图像上对注水口进行粗定位，获取可能包含注水口的感兴趣区域图像。
步骤三、图像数据集预处理
(3.1)构建原始图像数据集
在步骤二所得所有感兴趣区域图像中，过滤掉不含注水口的图像，构建原始图像数据集。
(3.2)数据扩增
对(3.1)所得原始图像数据集图像样本进行亮度变换、直方图均衡化、添加高斯噪声等图像处理操作进行数据扩增，增加样本个数，提高所训练模型的鲁棒性。
(3.3)数据标注
根据注水口所属动车组不同车型，利用labelImg数据标注工具，对(3.2)所得图像数据集进行标注。
“注水口”文本的标签名称为text，标签类别为1。
不同车型的注水口标签名称为cover+车型，如coverXXX、coverYYY、coverZZZ，对应标签类别为2、3、4，以此类推。
(3.4)数据集划分
根据比例，将(3.2)、(3.3)所得图像数据集及相应标签划分为训练数据集和测试数据集。
步骤四、多头区域自注意力神经网络设计
所提出的多头区域自注意力神经网络结构如图2所示：
(1)在输入图像中选取一个窗口大小为m x m像素的子区域像素矩阵。由于图像中相距较远的像素之间一般不具备关联性，因此将图像划分为多个子区域单独进行注意力运算能够在不影响图像局部特征提的取效果的前提下，大幅降低自注意力运算的参数数量，提高运算速度。
(2)将(1)所得矩阵复制3份，分别命名为“查询(Query)”矩阵Q、“键(Key)”矩阵K和“值(Value)”矩阵V。
(3)对(2)所得Q、K、V三个矩阵分别进行线性变换，公式为：
Figure BDA0002726702760000091
Figure BDA0002726702760000092
Figure BDA0002726702760000093
其中：WQ、WK、WV分别为矩阵Q、K、V对应的线性变换权重参数，尺寸均为m x m；BQ、BK、BV分别为矩阵Q、K、V对应的线性变换偏置参数，尺寸均为m x m；
Figure BDA0002726702760000094
Figure BDA0002726702760000095
分别为经过线性变换后的Q、K、V矩阵，尺寸均为m x m。
(4)计算(3)所得
Figure BDA0002726702760000096
矩阵之间的相关矩阵
Figure BDA0002726702760000097
并通过softmax函数计算自注意力矩阵A，公式为：
Figure BDA0002726702760000098
Figure BDA0002726702760000099
其中：
Figure BDA00027267027600000910
和
Figure BDA00027267027600000911
分别为图像垂直方向和水平方向的自注意力图；concat为矩阵水平拼接；WC为相关线性变换权重参数，尺寸为2m x m；BC为相关线性变换偏置参数，尺寸为m x m；自注意力矩阵A的尺寸为m x m。softmax函数公式为：
Figure BDA0002726702760000101
其中，aij为矩阵A中第i行、第j列的元素；cij为
Figure BDA0002726702760000102
中第i行、第j列的元素；cmj为
Figure BDA0002726702760000103
中第m行、第j列的元素。
此过程用于提取当前子区域中的关键信息，以注意力矩阵A的形式保存。子区域中某部分包含的信息越关键，所对应的注意力权重越高。
自注意力矩阵计算原理图如图3所示：
相对于传统自注意力矩阵计算仅采用单个方向的自注意力图求取相关矩阵
Figure BDA0002726702760000104
本发明提出拼接垂直和水平两种方向的自注意力图
Figure BDA0002726702760000105
和
Figure BDA0002726702760000106
后，再进行线性变换的方法求取相关矩阵
Figure BDA0002726702760000107
该方法从垂直和水平两种视角获得图像的自注意力图，更加适用于提取图像特征。通过添加线性变换，对拼接后的自注意力图进行加权与尺寸变换，实现垂直和水平两种角度特征的自动选择，并与“值”矩阵
Figure BDA0002726702760000108
的尺寸进行适配。
相对于直接用整张输入图像进行自注意力运算，将图像划分为若干个子区域可以大幅降低自注意力机制的运算量。以9x 9像素的输入图像为例：若直接用整张图像进行自注意力运算，自注意力矩阵A包含的参数数量为81x 81＝6561个：若将输入图像划分为9个3x 3的子区域，则自注意力矩阵A包含的参数数量为9x 9x 9＝729个。
(5)利用(4)所得自注意力矩阵A对(3)所得子区域矩阵
Figure BDA0002726702760000109
进行加权，得到子区域特征矩阵F。公式为：
Figure BDA00027267027600001010
其中：F的尺寸为m x m。
(6)重复(4)、(5)过程，每个过程称为一个自注意力“头(Head)”，共重复H次。
其中：H为人工设置的神经网络超参数。
由于每个自注意力“头”之间参数相互独立，因此可以分别提取当前子区域中不同语义子空间的信息，特征提取能力更强。
(7)将H个自注意力“头”所对应的H个子区域特征矩阵F进行拼接，得到
Figure BDA00027267027600001011
尺寸为mx mH。
(8)对(7)所得的
Figure BDA00027267027600001012
进行线性变换，得到最终的子区域特征
Figure BDA00027267027600001013
计算公式为：
Figure BDA00027267027600001014
其中：
Figure BDA0002726702760000111
为
Figure BDA0002726702760000112
对应的线性变换权重参数，尺寸为mH x m；
Figure BDA0002726702760000113
为
Figure BDA0002726702760000114
对应的线性变换偏置参数，尺寸为m x m；
Figure BDA0002726702760000115
的尺寸为m x m。
(9)以人工设置的步长(Stride)S逐行向右移动(1)中的子区域像素矩阵(相当于滑动窗口)，重复(1)～(8)过程，直到提取完输入图像的所有特征。得到尺寸与输入图像相同的特征图。
步骤五、目标检测模型搭建
本发明所提出的目标检测神经网络模型结构如图4所示：
第1区域自注意力层：2个相同的多头区域自注意力神经网络串联，子区域大小为3x3像素，步长S为3像素，多头区域自注意力头数H为2。采用窗口大小为2x2，步长为2的最大池化扩大感受野。
第2区域自注意力层：2个相同的多头区域自注意力神经网络串联，子区域大小为3x3像素，步长S为3像素，多头区域自注意力头数H为4。采用窗口大小为2x2，步长为2的最大池化扩大感受野。
第3区域自注意力层：3个相同的多头区域自注意力神经网络串联，子区域大小为3x3像素，步长S为3像素，多头区域自注意力头数H为8。采用窗口大小为2x2，步长为2的最大池化扩大感受野。
第4区域自注意力层：3个相同的多头区域自注意力神经网络串联，子区域大小为3x3像素，步长S为3像素，多头区域自注意力头数H为16。采用窗口大小为2x2，步长为2的最大池化扩大感受野。
第5区域自注意力层：3个相同的多头区域自注意力神经网络串联，子区域大小为3x3像素，步长S为3像素，多头区域自注意力头数H为32。采用窗口大小为2x2，步长为2的最大池化扩大感受野。
第6区域自注意力层：3个相同的多头区域自注意力神经网络串联，子区域大小为3x3像素，步长S为3像素，多头区域自注意力头数H为64。采用窗口大小为2x2，步长为2的最大池化扩大感受野。
第7区域候选层：2个多头区域自注意力神经网络并联，分别为位置预测层和概率预测层。其中位置预测层子区域大小为1x1像素，步长S为1像素，多头区域自注意力头数H为4(对应预测目标坐标x、坐标y、宽度w、高度h)。概率预测层子区域大小为1x1像素，步长S为1像素，多头区域自注意力头数H为2(对应预测目标类别c、预测置信度conf)。
输出层：输出图像中目标的预测位置信息及对应预测类别、预测置信度。
本发明的目标检测神经网络模型结构是经过研究后，针对于处理的图像有针对性的构建的，能够有效的提取图像子区域中的关键特征，从而提高预测准确率。
步骤六、目标检测神经网络模型训练与测试
(6.1)采用步骤三预处理后的数据集对步骤五提出的目标检测神经网络模型进行训练。其中目标检测模型损失函数为均方误差损失；
(6.2)根据训练结果对模型训练次数、学习率、数据批大小等神经网络超参数进行手动调优；
重复过程(6.1)、(6.2)，直到神经网络模型达到最佳性能。
步骤七、动车组过车图像故障检测
(1)获取动车组过车图像与对应车型信息；
(2)根据不同车型，对注水口进行粗定位，获取感兴趣区域图像；
(3)加载步骤六所得目标检测模型权重；
(4)通过目标检测模型获取“注水口”文本位置和注水口位置；
(5)根据“注水口”文本位置和注水口位置，获取注水口盖板精确位置；
(6)采用OTSU算法求取(5)所得注水口盖板精确位置图像对应的自适应二值化阈值，并通过该阈值对注水口盖板精确位置图像进行二值化，以此获取注水口盖板精确位置二值图像。图像中小于该自适应二值化阈值的像素值被置为0，大于等于该自适应二值化阈值的像素值被置为255；
(7)根据不同车型注水口盖板的开合方向，在(6)所得注水口盖板二值图像上截取注水口盖板与车身间的缝隙阴影图像；
(8)计算(7)所得缝隙阴影图像中像素值为0的像素个数，获取注水口盖板与车身间的缝隙阴影面积；
(9)根据不同车型所设定的缝隙阴影面积阈值，判断(8)所得缝隙阴影面积是否超出阈值。若是，则将(5)所得注水口盖板精确位置记录为故障信息；
(10)上传所有故障信息至报警平台。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.基于深度学习的注水口盖板未锁闭到位故障检测方法，其特征在于，包括以下步骤：
S1、获取包括注水口部位的感兴趣区域图像；
S2、利用训练好的目标检测模型获取“注水口”文本位置和注水口位置；所述的目标检测模型为基于多头区域自注意力神经网络的目标检测神经网络模型；
S3、根据“注水口”文本位置和注水口位置确定注水口盖板精确位置；
S4、采用OTSU算法确定S3获得的注水口盖板精确位置对应图像的自适应二值化阈值，并进行二值化，小于自适应二值化阈值的像素值被置为0，大于等于该自适应二值化阈值的像素值被置为255，获取注水口盖板二值图像；
S5、根据不同车型注水口盖板的开合方向，在所述注水口盖板二值图像上截取注水口盖板与车身间的缝隙阴影图像；
S6、计算所述缝隙阴影图像中像素值为0的像素个数，获取注水口盖板与车身间的缝隙阴影面积；
S7、根据不同车型所对应的缝隙阴影面积阈值，判断S6所得缝隙阴影面积是否超出阈值；若是，则将S3所得注水口盖板精确位置记录为故障信息。
2.根据权利要求1所述的基于深度学习的注水口盖板未锁闭到位故障检测方法，其特征在于，所述多头区域自注意力神经网络的处理过程如下：
(1)、在输入图像中选取一个窗口大小为m x m像素的子区域像素矩阵；
(2)、将(1)所得矩阵复制3份，分别命名为“查询”矩阵Q、“键”矩阵K和“值”矩阵V；
(3)、对(2)所得Q、K、V三个矩阵分别进行线性变换，得到经过线性变换后的矩阵
Figure FDA0002726702750000011
(4)、计算(3)所得
Figure FDA0002726702750000012
矩阵之间的相关矩阵
Figure FDA0002726702750000013
Figure FDA0002726702750000014
通过softmax函数计算自注意力矩阵A：
Figure FDA0002726702750000015
其中：
Figure FDA0002726702750000016
和
Figure FDA0002726702750000017
分别为图像垂直方向和水平方向的自注意力图；concat为矩阵水平拼接；WC为相关线性变换权重参数，尺寸为2m x m；BC为相关线性变换偏置参数，尺寸为m xm；自注意力矩阵A的尺寸为m x m；
(5)、利用(4)所得自注意力矩阵A对(3)所得子区域矩阵V～进行加权，得到子区域特征矩阵F；
(6)、重复步骤(4)、(5)的过程H次，每重复一次称为一个自注意力“头”；
(7)、将H个自注意力“头”所对应的H个子区域特征矩阵F进行拼接，得到
Figure FDA0002726702750000021
尺寸为m xmH；
(8)、对(7)所得的
Figure FDA0002726702750000022
进行线性变换，得到最终的子区域特征
Figure FDA0002726702750000023
(9)、以步长S逐行向右移动步骤(1)中的子区域，重复(1)～(8)过程，直到提取完输入图像的所有特征，得到尺寸与输入图像相同的特征图。
3.根据权利要求2所述的基于深度学习的注水口盖板未锁闭到位故障检测方法，其特征在于，步骤(3)所述对(2)所得Q、K、V三个矩阵分别进行线性变换的过程如下：
Figure FDA0002726702750000024
Figure FDA0002726702750000025
Figure FDA0002726702750000026
其中：WQ、WK、WV分别为矩阵Q、K、V对应的线性变换权重参数，尺寸均为m x m；BQ、BK、BV分别为矩阵Q、K、V对应的线性变换偏置参数，尺寸均为m x m；
Figure FDA0002726702750000027
Figure FDA0002726702750000028
分别为经过线性变换后的Q、K、V矩阵，尺寸均为m x m。
4.根据权利要求2所述的基于深度学习的注水口盖板未锁闭到位故障检测方法，其特征在于，所述基于多头区域自注意力神经网络的目标检测神经网络模型的模型结构包括第1区域自注意力层至第7区域候选层和一个输出层；
第1区域自注意力层：2个相同的多头区域自注意力神经网络串联，然后连接一个最大池化层；
第2区域自注意力层：2个相同的多头区域自注意力神经网络串联，然后连接一个最大池化层；
第3区域自注意力层：3个相同的多头区域自注意力神经网络串联，然后连接一个最大池化层；
第4区域自注意力层：3个相同的多头区域自注意力神经网络串联，然后连接一个最大池化层；
第5区域自注意力层：3个相同的多头区域自注意力神经网络串联，然后连接一个最大池化层；
第6区域自注意力层：3个相同的多头区域自注意力神经网络串联，然后连接一个最大池化层；
第7区域候选层：2个多头区域自注意力神经网络并联，分别为位置预测层和概率预测层；
输出层：输出图像中目标的预测位置信息及对应预测类别、预测置信度。
5.根据权利要求4所述的基于深度学习的注水口盖板未锁闭到位故障检测方法，其特征在于，第1区域自注意力层至第6区域候选层中的多头区域自注意力神经网络串联结构中的多头区域自注意力头数H分别为2、4、8、16、32、64；
第7区域候选层中的多头区域自注意力神经网络并联结构中，位置预测层中的多头区域自注意力头数H为4；概率预测层中的多头区域自注意力头数H为2。
6.根据权利要求5所述的基于深度学习的注水口盖板未锁闭到位故障检测方法，其特征在于，第1区域自注意力层至第6区域候选层中的多头区域自注意力神经网络中的子区域大小为3x3像素，步长S为3像素；
第7区域候选层中的多头区域自注意力神经网络中，位置预测层子区域大小为1x1像素，步长S为1像素；概率预测层子区域大小为1x1像素，步长S为1像素。
7.根据权利要求6所述的基于深度学习的注水口盖板未锁闭到位故障检测方法，其特征在于，第1区域自注意力层至第6区域候选层中的最大池层的窗口大小为2x2，步长为2。
8.根据权利要求1至7之一所述的基于深度学习的注水口盖板未锁闭到位故障检测方法，其特征在于，用于训练的目标检测模型的数据集的标记过程包括以下步骤：
根据注水口所属动车组不同车型，利用labelImg数据标注工具，对图像进行标注：
“注水口”文本的标签名称为text，标签类别为1；
不同车型的注水口标签名称为cover+车型，对应标签类别为2、3、4，以此类推。
9.根据权利要求8所述的基于深度学习的注水口盖板未锁闭到位故障检测方法，其特征在于，在进行数据集的标记之前，先要对采集到的图像数据集进行数据扩增操作，从而得到用于标记的数据集。
10.基于深度学习的注水口盖板未锁闭到位故障检测***，其特征在于，所述***用于执行权利要求1至9之一所述的基于深度学习的注水口盖板未锁闭到位故障检测方法。
CN202011105125.2A 2020-10-15 2020-10-15 基于深度学习的注水口盖板未锁闭到位故障检测方法及*** Active CN112183453B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011105125.2A CN112183453B (zh) 2020-10-15 2020-10-15 基于深度学习的注水口盖板未锁闭到位故障检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011105125.2A CN112183453B (zh) 2020-10-15 2020-10-15 基于深度学习的注水口盖板未锁闭到位故障检测方法及***

Publications (2)

Publication Number Publication Date
CN112183453A true CN112183453A (zh) 2021-01-05
CN112183453B CN112183453B (zh) 2021-05-11

Family

ID=73950428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011105125.2A Active CN112183453B (zh) 2020-10-15 2020-10-15 基于深度学习的注水口盖板未锁闭到位故障检测方法及***

Country Status (1)

Country Link
CN (1) CN112183453B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207882170U (zh) * 2018-02-28 2018-09-18 北京康拓红外技术股份有限公司 一种动车组关键部件安装状态图像检测装置
CN109858456A (zh) * 2019-02-18 2019-06-07 中国铁路沈阳局集团有限公司科学技术研究所 一种铁路车辆状态故障分析***
CN109918681A (zh) * 2019-03-29 2019-06-21 哈尔滨理工大学 一种基于汉字-拼音的融合问题语义匹配方法
CN110321815A (zh) * 2019-06-18 2019-10-11 中国计量大学 一种基于深度学习的道路裂缝识别方法
CN110491146A (zh) * 2019-08-21 2019-11-22 浙江工业大学 一种基于深度学习的交通信号控制方案实时推荐方法
CN111079819A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 基于图像识别与深度学习的铁路货车钩舌销的状态判断方法
CN111199288A (zh) * 2019-12-20 2020-05-26 山东众阳健康科技集团有限公司 一种新型的多头注意力机制
CN111445493A (zh) * 2020-03-27 2020-07-24 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111461190A (zh) * 2020-03-24 2020-07-28 华南理工大学 一种基于深度卷积神经网络的非均衡船舶分类方法
CN111721535A (zh) * 2020-06-23 2020-09-29 中国人民解放军战略支援部队航天工程大学 一种基于卷积多头自注意力机制的轴承故障检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207882170U (zh) * 2018-02-28 2018-09-18 北京康拓红外技术股份有限公司 一种动车组关键部件安装状态图像检测装置
CN109858456A (zh) * 2019-02-18 2019-06-07 中国铁路沈阳局集团有限公司科学技术研究所 一种铁路车辆状态故障分析***
CN109918681A (zh) * 2019-03-29 2019-06-21 哈尔滨理工大学 一种基于汉字-拼音的融合问题语义匹配方法
CN110321815A (zh) * 2019-06-18 2019-10-11 中国计量大学 一种基于深度学习的道路裂缝识别方法
CN110491146A (zh) * 2019-08-21 2019-11-22 浙江工业大学 一种基于深度学习的交通信号控制方案实时推荐方法
CN111079819A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 基于图像识别与深度学习的铁路货车钩舌销的状态判断方法
CN111199288A (zh) * 2019-12-20 2020-05-26 山东众阳健康科技集团有限公司 一种新型的多头注意力机制
CN111461190A (zh) * 2020-03-24 2020-07-28 华南理工大学 一种基于深度卷积神经网络的非均衡船舶分类方法
CN111445493A (zh) * 2020-03-27 2020-07-24 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111721535A (zh) * 2020-06-23 2020-09-29 中国人民解放军战略支援部队航天工程大学 一种基于卷积多头自注意力机制的轴承故障检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ASHISH VASWANI ET AL.: "Attention Is All You Need", 《31ST CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》 *
JINBAO XIE ET AL.: "Chinese Alt Text Writing Based on Deep Learning", 《TRAITEMENT DU SIGNAL》 *
SEOK-JUN BU ET AL.: "Time Series Forecasting with Multi-Headed Attention-Based Deep Learning for Residential Energy Consumption", 《ENERGIES》 *
ZILONG HUANG ET AL.: "CCNet: Criss-Cross Attention for Semantic Segmentation", 《ARXIV》 *
熊漩 等: "融合多头自注意力机制的中文分类方法", 《电子测量技术》 *
管全梅 ET AL.: "高速列车注水口盖板结构优化设计", 《中国铁路》 *

Also Published As

Publication number Publication date
CN112183453B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
US11144814B2 (en) Structure defect detection using machine learning algorithms
Kim et al. Investigation of steel frame damage based on computer vision and deep learning
CN111080609B (zh) 一种基于深度学习的闸瓦插销丢失检测方法
CN110033431B (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
CN115690561B (zh) 一种路面异常监测方法
CN113830136B (zh) 一种铁路货车折角塞门手把不正位故障的识别方法
CN113989604B (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN111353396A (zh) 一种基于SCSEOCUnet的混凝土裂缝分割方法
CN111105389A (zh) 融合Gabor滤波器与卷积神经网络的路面裂缝的检测方法
CN111563896A (zh) 一种用于接触网异常检测的图像处理方法
CN112926563B (zh) 一种钢卷喷印标记故障诊断***
CN112183453B (zh) 基于深度学习的注水口盖板未锁闭到位故障检测方法及***
CN111144203B (zh) 一种基于深度学习的行人遮挡检测方法
Heidary et al. Urban change detection by fully convolutional siamese concatenate network with attention
CN113920140B (zh) 一种基于深度学习的铁路货车管盖脱落故障识别方法
Sheikh et al. A multi-level approach for change detection of buildings using satellite imagery
CN102073868A (zh) 基于数字图象闭合轮廓链的图象区域识别方法
Ramachandraiah et al. Evaluation of Pavement Surface Distress Using Image Processing and Artificial Neural Network
Shin et al. Visualization for explanation of deep learning-based defect detection model using class activation map
CN117593300B (zh) 一种pe管材裂纹缺陷检测方法及***
Yao et al. Detection of Bughole on Concrete Surface with Convolutional Neural Network
CN116823737B (zh) 一种低纹理环境下隧道壁异常检测方法及***
CN114067365B (zh) 一种基于中心注意向心网络的安全帽佩戴检测方法和***
CN116385414B (zh) 零部件多尺度缺陷特征提取方法、计算设备及存储介质
CN114821056B (zh) 一种遥感影像中基于ai技术的林草资源变化自动判读方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant