CN108805868A - 一种电务车载车下走行部设备故障检测的图像处理方法及故障检测方法 - Google Patents

一种电务车载车下走行部设备故障检测的图像处理方法及故障检测方法 Download PDF

Info

Publication number
CN108805868A
CN108805868A CN201810517254.9A CN201810517254A CN108805868A CN 108805868 A CN108805868 A CN 108805868A CN 201810517254 A CN201810517254 A CN 201810517254A CN 108805868 A CN108805868 A CN 108805868A
Authority
CN
China
Prior art keywords
image
detected
component
vehicle
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810517254.9A
Other languages
English (en)
Other versions
CN108805868B (zh
Inventor
王斐
马凌宇
朱金良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Electrical Ltd By Share Ltd
Original Assignee
Harbin Kejia General Electrical Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Electrical Ltd By Share Ltd filed Critical Harbin Kejia General Electrical Ltd By Share Ltd
Priority to CN201810517254.9A priority Critical patent/CN108805868B/zh
Publication of CN108805868A publication Critical patent/CN108805868A/zh
Application granted granted Critical
Publication of CN108805868B publication Critical patent/CN108805868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种电务车载车下走行部设备故障检测的图像处理方法及故障检测方法，涉及一种设备故障检测的图像处理方法及故障检测方法。为了解决现有的电务车故障检查技术易存在检测效率低的问题和容易造成漏检、错检的问题。本发明通过在电务车轨道两侧和底部设置的3D相机采集电务车侧部和底部的3D图像；在距离图像中获取待检测部件的位置信息，利用基于图像处理，判断待检测部件是否存在丢失或者变形，并结合待检测部件位置的部分距离图像与对应的待检测部件位置的部分强度图像进行矩阵融合，对融合矩阵进行矫正；通过融合后的矩阵获取灰度共生矩阵，计算灰度共生矩阵的特征变化，判断部件是否发生故障；本发明适用于电务车载车下走行部设备故障检测。

Description

一种电务车载车下走行部设备故障检测的图像处理方法及故 障检测方法
技术领域
本发明涉及一种设备故障检测的图像处理方法及故障检测方法。
背景技术
针对电务车故障检测，目前一般采用人工定期排查的方式进行故障检修。由于人工检测缺乏实时性，对于电务车在工作过程中产生的故障不能及时进行有效的排查，因此，影响行车安全。由于检车人员在工作过程中极易出现疲劳、遗漏等情况，造成漏检、错检的情况出现，也会严重影响行车安全。并且，由电务车载车下走行部设备表面会产生水渍、污渍，对检测结果造成影响
发明内容
本发明为了解决现有的电务车故障检查技术易存在检测效率低的问题和容易造成漏检、错检的问题。
一种电务车载车下走行部设备故障检测的图像处理方法，包括以下步骤：
步骤1、通过在电务车轨道两侧和底部设置的3D相机采集电务车侧部和底部的3D图像；
利用3D图像获得对应的距离图像和强度图像；距离图像和强度图像是完全映射关系；
步骤2、在距离图像中获取待检测部件的位置信息，在距离图像中截取待检测部件位置对应的部分距离图像，在强度图像中截取待检测部件位置对应的部分强度图像；
步骤3、针对大于等于尺寸阈值的待检测部件，基于图像处理，将待检测部件位置对应的部分距离图像进行特征提取，并与正常工况下对应的部件位置对应的部分距离图像的特征进行比对分析，判断待检测部件是否存在丢失或者变形；
如果待检测部件没有丢失和变形，将待检测部件位置的部分距离图像与对应的待检测部件位置的部分强度图像进行矩阵融合，对融合矩阵进行矫正；通过融合后的矩阵获取灰度共生矩阵，计算灰度共生矩阵的特征变化，判断部件是否发生故障；
针对小于尺寸阈值的待检测部件，将待检测部件位置的部分距离图像与对应的待检测部件位置的部分强度图像进行矩阵融合，对融合矩阵进行矫正；通过融合后的矩阵获取灰度共生矩阵，计算灰度共生矩阵的特征变化，判断部件是否丢失、变形或发生故障。
进一步地，所述步骤3中采用投影变换对融合矩阵进行矫正。
进一步地，所述步骤3中将待检测部件位置的部分距离图像与对应的待检测部件位置的部分强度图像进行矩阵融合的具体过程包括以下步骤：
设部分距离图像中像素点值为dateM(j,i)，部分强度图像中像素点值为dateN(j,i)，融合后的图像中像素点值为date(j,i)＝α*dateM(j,i)+(1-α)*dateN(j,i)；
针对大于等于尺寸阈值的待检测部件没有丢失、变形，判断部件是否发生故障的情况，α的取值范围为0.05-0.4；在α的取值范围内，选取使融合后部件图像熵值达到最大对应的α进行矩阵融合；
针对小于尺寸阈值的待检测部件，判断部件是否丢失、变形或发生故障的情况，α的取值范围为0.6-0.95；在α的取值范围内，选取使融合后部件图像熵值达到最大对应的α进行矩阵融合。
进一步地，所述步骤2的具体过程包括以下步骤：
根据电务车的实际车速信息和轴距信息获取待检测部件位置所对应的距离图像和强度图像；
对距离图像和强度图像进行分别进行拉伸和矫正；
在距离图像中，基于阈值分割和边缘检测获取车轴端盖的特征信息；从而确定车轴端盖所在位置信息，基于车轴端盖的位置信息与待检测部件的位置关系确定待检测部件在距离图像中的位置，在距离图像中截取待检测部件位置对应的部分距离图像；并基于距离图像的强度图像的关系，在强度图像中截取待检测部件位置对应的部分强度图像。
进一步地，所述步骤2中对距离图像和强度图像进行分别进行拉伸和矫正的过程包括以下步骤：
对距离图像和强度图像进行分别进行拉伸；
采用投影变换对拉伸后的距离图像和强度图像进行分别进行畸变矫正；
对畸变矫正的距离图像进行失真矫正：
电务车底部底板为平面，在距离图像中显示为弧面，截取距离图像中平面的图像，计算距离图像中的每行图像点的高度值均值为得到行号i′为横坐标，均值为纵坐标的点集
使用最小二乘法分别多次拟合多项式曲线，限定多项式的最高次数n，不同多项式拟合后的残差为σn；
取残差值最小的多项式作为矫正多项式Y＝AXn+BXn-1+...+C，其中A、B、C分别为拟合系数；将行号i′带入多项式作为X得到Y，记为Yi′；
设平面矫正后的值为mean，对距离图像中每个点值进行失真矫正：date′(j,i)＝date(j,i)+mean-Yi′；
其中，j,i分别表示每个点在距离图像中的纵坐标和横坐标；date(j,i)、date′(j,i)分别为失真矫正前和失真矫正后距离图像中每个点对应的值。
一种电务车载车下走行部设备故障检测方法，包括以下步骤：
步骤(1)、通过在电务车轨道两侧和底部设置的线阵相机采集电务车侧部和底部的灰度图像；通过在电务车轨道两侧和底部设置的3D相机采集电务车侧部和底部的3D图像；
利用3D图像获得对应的距离图像和强度图像；距离图像和强度图像是完全映射关系；
通过电务车轴距信息，对所述灰度图像与距离图像和强度图像进行配准处理；
步骤(2)、在距离图像中获取待检测部件的位置信息，在距离图像中截取待检测部件位置对应的部分距离图像，在强度图像中截取待检测部件位置对应的部分强度图像；
步骤(3)、针对大于等于尺寸阈值的待检测部件，基于图像处理，将待检测部件位置对应的部分距离图像进行特征提取，并与正常工况下对应的部件位置对应的部分距离图像的特征进行比对分析，判断待检测部件是否存在丢失或者变形；
如果待检测部件丢失或者变形，创建故障文件，输出故障位置；
如果待检测部件没有丢失和变形，将待检测部件位置的部分距离图像与对应的待检测部件位置的部分强度图像进行矩阵融合，对融合矩阵进行矫正；通过融合后的矩阵获取灰度共生矩阵，计算灰度共生矩阵的特征变化，判断部件是否发生故障，如果发生故障，创建故障文件，输出故障位置；
针对小于尺寸阈值的待检测部件，将待检测部件位置的部分距离图像与对应的待检测部件位置的部分强度图像进行矩阵融合，对融合矩阵进行矫正；通过融合后的矩阵获取灰度共生矩阵，计算灰度共生矩阵的特征变化，判断部件是否丢失、变形或发生故障，如果丢失、变形或发生故障，创建故障文件，输出故障位置；
步骤(4)、故障处理：
针对基于部分距离图像判断待检测部件是否存在丢失或者变形所输出的故障位置或基于部分距离图像与部分强度图像进行矩阵融合判断待检测部件否发生故障输出的故障位置，通过灰度图像与距离图像和强度图像进行配准处理的映射关系，确定故障在灰度图像中的位置，并显示；
检修人员，依据破损程度进行相应的处理。
进一步地，所述步骤(3)中采用投影变换对融合矩阵进行矫正。
进一步地，所述步骤(3)中将待检测部件位置的部分距离图像与对应的待检测部件位置的部分强度图像进行矩阵融合的具体过程包括以下步骤：
设部分距离图像中像素点值为dateM(j,i)，部分强度图像中像素点值为dateN(j,i)，融合后的图像中像素点值为date(j,i)＝α*dateM(j,i)+(1-α)*dateN(j,i)；
针对大于等于尺寸阈值的待检测部件没有丢失、变形，判断部件是否发生故障的情况，α的取值范围为0.05-0.4；在α的取值范围内，选取使融合后部件图像熵值达到最大对应的α进行矩阵融合；
针对小于尺寸阈值的待检测部件，判断部件是否丢失、变形或发生故障的情况α的取值范围为0.6-0.95；在α的取值范围内，选取使融合后部件图像熵值达到最大对应的α进行矩阵融合。
进一步地，所述步骤(2)的具体过程包括以下步骤：
根据电务车的实际车速信息和轴距信息获取待检测部件位置所对应的距离图像和强度图像；
对距离图像和强度图像进行分别进行拉伸和矫正；
在距离图像中，基于阈值分割和边缘检测获取车轴端盖的特征信息；从而确定车轴端盖所在位置信息，基于车轴端盖的位置信息与待检测部件的位置关系确定待检测部件在距离图像中的位置，在距离图像中截取待检测部件位置对应的部分距离图像；并基于距离图像的强度图像的关系，在强度图像中截取待检测部件位置对应的部分强度图像。
进一步地，所述步骤(2)对距离图像和强度图像进行分别进行拉伸和矫正的过程包括以下步骤：
对距离图像和强度图像进行分别进行拉伸；
采用投影变换对拉伸后的距离图像和强度图像进行分别进行畸变矫正；
对畸变矫正的距离图像进行失真矫正：
电务车底部底板为平面，在距离图像中显示为弧面，截取距离图像中平面的图像，计算距离图像中的每行图像点的高度值均值为得到行号i′为横坐标，均值为纵坐标的点集
使用最小二乘法分别多次拟合多项式曲线，限定多项式的最高次数n，不同多项式拟合后的残差为σn；
取残差值最小的多项式作为矫正多项式Y＝AXn+BXn-1+...+C，其中A、B、C分别为拟合系数；将行号i′带入多项式作为X得到Y，记为Yi′；
设平面矫正后的值为mean，对距离图像中每个点值进行失真矫正：date′(j,i)＝date(j,i)+mean-Yi′；
其中，j,i分别表示每个点在距离图像中的纵坐标和横坐标；date(j,i)、date′(j,i)分别为失真矫正前和失真矫正后距离图像中每个点对应的值。
本发明具有以下有益效果：
1、采用距离图像和强度图像相结合的方式进行图像进行故障检测，能够满足不同种类故障的识别，同时免受外界因素的干扰，从而提高检测的准确率。
2、利用本发明可以在电务车运行过程中实时输出故障检测结果，提高检测效率，及时发现故障。相比现有的人工检测方式，本发明不仅能够提高检测效率，而且能够避免漏检和错检的情况，从提高检测准确率，检测准确率能够达到96％以上。相比现有人工检测的方式，本发明能够将效率提升数十倍，甚至更高。
附图说明
图1是一种电务车载车下走行部设备故障检测***示意图。
具体实施方式
本发明都是基于一种电务车载车下走行部设备故障检测***上实现的。如图1所示，
一种电务车载车下走行部设备故障检测***，包括一套线阵相机组、一套3D相机组、两套车轮传感器组1、工控机单元、图像识别单元和车号天线2，以及分线箱7、探测站机房10；
一套线阵相机组包括分别设置在电务车轨道两侧的侧部线阵相机4和设置在电务车轨道之间的底部线阵相机3；且两侧的侧部线阵相机4与底部线阵相机3所形成的直线与电务车轨道垂直；侧部线阵相机4和底部线阵相机3分别用于采集电务车侧部和底部的灰度图像；
一套3D相机组包括分别设置在电务车轨道两侧的侧部3D相机6和设置在电务车轨道之间的底部3D相机5；且两侧的侧部3D相机6和底部3D相机5所形成的直线与电务车轨道垂直；侧部3D相机6和底部线阵相机3分别用于采集电务车侧部和底部的3D图像；所述的3D图像包括距离图像和强度图像；
两套车轮传感器组1分别设置在电务车来车方向的远端和近端，每套车轮传感器组包括两个车轮传感器，两个车轮传感器先后设置在电务车来车路线上，且位于同一侧，用于探测车轮到达的时间；
工控机单元，用于根据车轮到达的时间计算车速和轴距，还用于根据车速计算图像采集速度；
图像识别单元，用于灰度图像和3D图像的故障识别；
车号天线2设置在电务车轨道之间，用于记录电务车车号。
具体实施方式一：基于一种电务车载车下走行部设备故障检测***，
一种电务车载车下走行部设备故障检测的图像处理方法，包括以下步骤：
步骤1、通过在电务车轨道两侧和底部设置的3D相机采集电务车侧部和底部的3D图像；3D图像是通过与轨道垂直方向上的线扫描图像所构成整体的3D图像；
利用3D图像获得对应的距离图像和强度图像；距离图像和强度图像是完全映射关系，即在距离图像和强度图像中，同一部件或部件同一部分所处的位置完全相同，不需要对两种图像进行配准处理；
距离图像表征被测物与观察点的距离信息，强度图像表征被测物表面亮暗的强度信息；
距离图像可以不受车体表面水渍、污渍、光照变化等因素的影响，同时图像更有层次感。在距离图像中，不同型号的电务车车轴距离信息的数值相近，且与周围部件的距离信息差别较大。
步骤2、在距离图像中获取待检测部件的位置信息，在距离图像中截取待检测部件位置对应的部分距离图像，在强度图像中截取待检测部件位置对应的部分强度图像；
步骤3、针对大于等于尺寸阈值的待检测部件，基于图像处理，将待检测部件位置对应的部分距离图像进行特征提取，并与正常工况下对应的部件位置对应的部分距离图像的特征进行比对分析，判断待检测部件是否存在丢失或者变形；
如果待检测部件没有丢失和变形，将待检测部件位置的部分距离图像与对应的待检测部件位置的部分强度图像进行矩阵融合，由于相机拍摄角度原因造成的部件变形，对融合矩阵进行矫正；通过融合后的矩阵获取灰度共生矩阵，计算灰度共生矩阵的能量、熵、相关性等特征变化，判断部件是否发生故障；
针对小于尺寸阈值的待检测部件，将待检测部件位置的部分距离图像与对应的待检测部件位置的部分强度图像进行矩阵融合，对融合矩阵进行矫正；通过融合后的矩阵获取灰度共生矩阵，计算灰度共生矩阵的特征变化，判断部件是否丢失、变形或发生故障。
大部件丢失、变形等故障在距离图像中较为明显，如：侧部速传管线脱离，底部机感吊架线缆脱离，机感吊架固定大螺栓丢失等。小部件及大部件表面污损、裂缝等故障在距离图像中显示不明显，如：机感吊架壳体裂缝，速传固定小螺钉丢失断裂等。因此，采用强度图像和距离图像相融合的方式，判断是否发生故障。
不同故障采用不同的图像处理方式可以有效提取需要的图像信息，避免冗余信息和外部环境的干扰，有效提高故障识别的准确率、稳定性和效率。相比现有的人工检测方式，本发明不仅能够提高检测效率，而且能够避免漏检和错检的情况，从提高检测准确率，检测准确率能够达到96％以上。相比现有人工检测的方式，本发明能够将效率提升数十倍，甚至更高。
具体实施方式二：
本实施方式所述的一种电务车载车下走行部设备故障检测的图像处理方法，其特征在于，所述步骤3中采用投影变换对融合矩阵进行矫正。
其他步骤与具体实施方式一相同。
具体实施方式三：
本实施方式所述步骤3中将待检测部件位置的部分距离图像与对应的待检测部件位置的部分强度图像进行矩阵融合的具体过程包括以下步骤：
设部分距离图像中像素点值为dateM(j,i)，部分强度图像中像素点值为dateN(j,i)，融合后的图像中像素点值为date(j,i)＝α*dateM(j,i)+(1-α)*dateN(j,i)；
针对大于等于尺寸阈值的待检测部件没有丢失、变形，判断部件是否发生故障的情况(进行部件表面污损或开裂)，以距离图像为辅，强度图像为主，α的取值范围为0.05-0.4；在α的取值范围内，选取使融合后部件图像熵值达到最大对应的α进行矩阵融合；
针对小于尺寸阈值的待检测部件，判断部件是否丢失、变形或发生故障的情况，以距离图像为主，强度图像为辅，α的取值范围为0.6-0.95；在α的取值范围内，选取使融合后部件图像熵值达到最大对应的α进行矩阵融合。
其他步骤和参数与具体实施方式一或二相同。
具体实施方式四：
本实施方式所述步骤2的具体过程包括以下步骤：
待检测部件是事先根据检测要求(可根据客户需要确定或者实际检测需要)所确定的需要进行检测的电务车载车下走行部设备的部件；由于待检测部件在电务车的位置是已知的，所以可以根据电务车的实际车速信息和轴距信息获取待检测部件位置所对应的距离图像和强度图像；待检测部件应该位于所获取的灰度图像和3D图像中，但是实际上可能由于待检测部件已经脱落或丢失(如：侧部速传管线脱离，底部机感吊架线缆脱离，机感吊架固定大螺栓丢失等)，对应的灰度图像和3D图像中并没有待检测部件，但是可以根据待检测部件与电务车轴和轴距信息确定出待检测部件理应所在位置对应的距离图像和强度图像；
对距离图像和强度图像进行分别进行拉伸和矫正；对图像进行拉伸放大可以使待检测部件的特征变得更清晰，且细节信息更加全面；由于相机拍摄的角度产生的畸变等原因，需要对拍摄的图像进行矫正；
在距离图像中，基于阈值分割和边缘检测获取车轴端盖的特征信息(端盖的长宽或者面积)，由于车轴端盖水平高度在同一水平线上，可以滤除其他干扰项；从而确定车轴端盖所在位置信息，基于车轴端盖的位置信息与待检测部件的位置关系确定待检测部件在距离图像中的位置，在距离图像中截取待检测部件位置对应的部分距离图像；并基于距离图像的强度图像的关系，在强度图像中截取待检测部件位置对应的部分强度图像。
其他步骤与具体实施方式一至三之一相同。
具体实施方式五：
本实施方式所述步骤2中对距离图像和强度图像进行分别进行拉伸和矫正的过程包括以下步骤：
对距离图像和强度图像进行分别进行拉伸；
由于3D相机在拍摄角度导致畸变，采用投影变换对拉伸后的距离图像和强度图像进行分别进行畸变矫正，此处的畸变矫正为了消除3D相机角度导致的畸变；
由于3D相机拍摄图像过程中会产生几何失真，例如，部件的同一平面上的点在3D图像中也应处于同一平面，但是在实际得到的图像中，为一不规则弧面。因此，需要根据图像的失真情况对产生的距离图像进行失真矫正。对畸变矫正的距离图像进行失真矫正：
以底部3D相机为例，电务车底部底板为平面，在距离图像中显示为弧面，截取距离图像中平面的图像，计算距离图像中的每行图像点的高度值均值为得到行号i′为横坐标，均值为纵坐标的点集
使用最小二乘法分别多次拟合多项式曲线，限定多项式的最高次数n，不同多项式拟合后的残差为σn；
取残差值最小的多项式作为矫正多项式Y＝AXn+BXn-1+...+C，其中Y、X为拟合多项式曲线的变量，A、B、C分别为拟合系数；将行号i′带入多项式作为X得到Y，记为Yi′；
设平面矫正后的值为mean，mean实际上是将平面矫正后的值作为基准，通过其他部件与平面基准的关系对其他部件对应的距离图像进行失真矫正；对距离图像中每个点值进行失真矫正：date′(j,i)＝date(j,i)+mean-Yi′；
其中，j,i分别表示每个点在距离图像中的纵坐标和横坐标；date(j,i)、date′(j,i)分别为失真矫正前和失真矫正后距离图像中每个点对应的值。
对于部件所处的平面或斜面，分别采用上述方式处理可以有效避免3D距离图像的几何失真。
其他步骤与具体实施方式四相同。
具体实施方式六：
一种电务车载车下走行部设备故障检测方法，包括以下步骤：
步骤(1)、通过在电务车轨道两侧和底部设置的线阵相机采集电务车侧部和底部的灰度图像，灰度图像与人眼观察图像相似；通过在电务车轨道两侧和底部设置的3D相机采集电务车侧部和底部的3D图像；灰度图像、3D图像分别是通过与轨道垂直方向上的线扫描图像所构成整体的灰度图像和3D图像；
利用3D图像获得对应的距离图像和强度图像；距离图像和强度图像是完全映射关系，即在距离图像和强度图像中，同一部件或部件同一部分所处的位置完全相同，不需要对两种图像进行配准处理；
距离图像表征被测物与观察点的距离信息，强度图像表征被测物表面亮暗的强度信息；
距离图像可以不受车体表面水渍、污渍、光照变化等因素的影响，同时图像更有层次感。在距离图像中，不同型号的电务车车轴距离信息的数值相近，且与周围部件的距离信息差别较大。
通过电务车轴距信息，对所述灰度图像与距离图像和强度图像进行配准处理；
步骤(2)、在距离图像中获取待检测部件的位置信息，在距离图像中截取待检测部件位置对应的部分距离图像，在强度图像中截取待检测部件位置对应的部分强度图像；
步骤(3)、针对大于等于尺寸阈值的待检测部件，基于图像处理，将待检测部件位置对应的部分距离图像进行特征提取，并与正常工况下对应的部件位置对应的部分距离图像的特征进行比对分析，判断待检测部件是否存在丢失或者变形；
如果待检测部件丢失或者变形，创建故障文件，输出故障位置；
如果待检测部件没有丢失和变形，将待检测部件位置的部分距离图像与对应的待检测部件位置的部分强度图像进行矩阵融合，对融合矩阵进行矫正；通过融合后的矩阵获取灰度共生矩阵，计算灰度共生矩阵的能量、熵、相关性等特征变化，判断部件是否发生故障，如果发生故障，创建故障文件，输出故障位置；
针对小于尺寸阈值的待检测部件，将待检测部件位置的部分距离图像与对应的待检测部件位置的部分强度图像进行矩阵融合，对融合矩阵进行矫正；通过融合后的矩阵获取灰度共生矩阵，计算灰度共生矩阵的特征变化，判断部件是否丢失、变形或发生故障，如果丢失、变形或发生故障，创建故障文件，输出故障位置；
步骤(4)、故障处理：
针对基于部分距离图像判断待检测部件是否存在丢失或者变形所输出的故障位置或基于部分距离图像与部分强度图像进行矩阵融合判断待检测部件否发生故障输出的故障位置，通过灰度图像与距离图像和强度图像进行配准处理的映射关系，确定故障在灰度图像中的位置，并显示；
检修人员，依据破损程度系数进行相应的处理，对于不同种类的故障采取不同的处理方式，对于较严重的故障立即进行停车检修，以免造成事故。
不同故障采用不同的图像处理方式可以有效提取需要的图像信息，避免冗余信息和外部环境的干扰，有效提高故障识别的准确率、稳定性和效率。
具体实施方式七：
本实施方式所述步骤(3)中采用投影变换对融合矩阵进行矫正。
其他步骤与具体实施方式六相同。
具体实施方式八：
本实施方式所述步骤(3)中将待检测部件位置的部分距离图像与对应的待检测部件位置的部分强度图像进行矩阵融合的具体过程包括以下步骤：
设部分距离图像中像素点值为dateM(j,i)，部分强度图像中像素点值为dateN(j,i)，融合后的图像中像素点值为date(j,i)＝α*dateM(j,i)+(1-α)*dateN(j,i)；
针对大于等于尺寸阈值的待检测部件没有丢失、变形，判断部件是否发生故障的情况(进行部件表面污损或开裂)，以距离图像为辅，强度图像为主，α的取值范围为0.05-0.4；在α的取值范围内，选取使融合后部件图像熵值达到最大对应的α进行矩阵融合；
针对小于尺寸阈值的待检测部件，判断部件是否丢失、变形或发生故障的情况，以距离图像为主，强度图像为辅，α的取值范围为0.6-0.95；在α的取值范围内，选取使融合后部件图像熵值达到最大对应的α进行矩阵融合。
其他步骤和参数与具体实施方式六或七相同。
具体实施方式九：
本实施方式所述步骤(2)的具体过程包括以下步骤：
待检测部件是事先根据检测要求(可根据客户需要确定或者实际检测需要)所确定的需要进行检测的电务车载车下走行部设备的部件；由于待检测部件在电务车的位置是已知的，所以可以根据电务车的实际车速信息和轴距信息控制线阵相机和3D相机采集图像，并获取待检测部件位置所对应的距离图像和强度图像；待检测部件应该位于所获取的灰度图像和3D图像中，但是实际上可能由于待检测部件已经脱落或丢失(如：侧部速传管线脱离，底部机感吊架线缆脱离，机感吊架固定大螺栓丢失等)，对应的灰度图像和3D图像中并没有待检测部件，但是可以根据待检测部件与电务车轴和轴距信息确定出待检测部件理应所在位置对应的距离图像和强度图像；
对距离图像和强度图像进行分别进行拉伸和矫正；对图像进行拉伸放大可以使待检测部件的特征变得更清晰，且细节信息更加全面；由于相机拍摄的角度产生的畸变等原因，需要对拍摄的图像进行矫正；
在距离图像中，基于阈值分割和边缘检测获取车轴端盖的特征信息(端盖的长宽或者面积)，由于车轴端盖水平高度在同一水平线上，可以滤除其他干扰项；从而确定车轴端盖所在位置信息，基于车轴端盖的位置信息与待检测部件的位置关系确定待检测部件在距离图像中的位置，在距离图像中截取待检测部件位置对应的部分距离图像；并基于距离图像的强度图像的关系，在强度图像中截取待检测部件位置对应的部分强度图像。
其他步骤与具体实施方式六至八之一相同。
具体实施方式十：
本实施方式所述步骤(2)对距离图像和强度图像进行分别进行拉伸和矫正的过程包括以下步骤：
对距离图像和强度图像进行分别进行拉伸；
由于3D相机在拍摄角度导致畸变，采用投影变换对拉伸后的距离图像和强度图像进行分别进行畸变矫正，此处的畸变矫正为了消除3D相机角度导致的畸变；
由于3D相机拍摄图像过程中会产生几何失真，例如，部件的同一平面上的点在3D图像中也应处于同一平面，但是在实际得到的图像中，为一不规则弧面。因此，需要根据图像的失真情况对产生的距离图像进行失真矫正。对畸变矫正的距离图像进行失真矫正：
以底部3D相机为例，电务车底部底板为平面，在距离图像中显示为弧面，截取距离图像中平面的图像，计算距离图像中的每行图像点的高度值均值为得到行号i′为横坐标，均值为纵坐标的点集
使用最小二乘法分别多次拟合多项式曲线，限定多项式的最高次数n，不同多项式拟合后的残差为σn；
取残差值最小的多项式作为矫正多项式Y＝AXn+BXn-1+...+C，其中Y、X为拟合多项式曲线的变量，A、B、C分别为拟合系数；将行号i′带入多项式作为X得到Y，记为Yi′；
设平面矫正后的值为mean，mean实际上是将平面矫正后的值作为基准，通过其他部件与平面基准的关系对其他部件对应的距离图像进行失真矫正；对距离图像中每个点值进行失真矫正：date′(j,i)＝date(j,i)+mean-Yi′；
其中，j,i分别表示每个点在距离图像中的纵坐标和横坐标；date(j,i)、date′(j,i)分别为失真矫正前和失真矫正后距离图像中每个点对应的值。
对于部件所处的平面或斜面，分别采用上述方式处理可以有效避免3D距离图像的几何失真。
其他步骤与具体实施方式九相同。

Claims (10)

1.一种电务车载车下走行部设备故障检测的图像处理方法，其特征在于，包括以下步骤：
步骤1、通过在电务车轨道两侧和底部设置的3D相机采集电务车侧部和底部的3D图像；
利用3D图像获得对应的距离图像和强度图像；距离图像和强度图像是完全映射关系；
步骤2、在距离图像中获取待检测部件的位置信息，在距离图像中截取待检测部件位置对应的部分距离图像，在强度图像中截取待检测部件位置对应的部分强度图像；
步骤3、针对大于等于尺寸阈值的待检测部件，基于图像处理，将待检测部件位置对应的部分距离图像进行特征提取，并与正常工况下对应的部件位置对应的部分距离图像的特征进行比对分析，判断待检测部件是否存在丢失或者变形；
如果待检测部件没有丢失和变形，将待检测部件位置的部分距离图像与对应的待检测部件位置的部分强度图像进行矩阵融合，对融合矩阵进行矫正；通过融合后的矩阵获取灰度共生矩阵，计算灰度共生矩阵的特征变化，判断部件是否发生故障；
针对小于尺寸阈值的待检测部件，将待检测部件位置的部分距离图像与对应的待检测部件位置的部分强度图像进行矩阵融合，对融合矩阵进行矫正；通过融合后的矩阵获取灰度共生矩阵，计算灰度共生矩阵的特征变化，判断部件是否丢失、变形或发生故障。
2.根据权利要求1所述的一种电务车载车下走行部设备故障检测的图像处理方法，其特征在于，所述步骤3中采用投影变换对融合矩阵进行矫正。
3.根据权利要求1所述的一种电务车载车下走行部设备故障检测的图像处理方法，其特征在于，所述步骤3中将待检测部件位置的部分距离图像与对应的待检测部件位置的部分强度图像进行矩阵融合的具体过程包括以下步骤：
设部分距离图像中像素点值为dateM(j,i)，部分强度图像中像素点值为dateN(j,i)，融合后的图像中像素点值为date(j,i)＝α*dateM(j,i)+(1-α)*dateN(j,i)；
针对大于等于尺寸阈值的待检测部件没有丢失、变形，判断部件是否发生故障的情况，α的取值范围为0.05-0.4；在α的取值范围内，选取使融合后部件图像熵值达到最大对应的α进行矩阵融合；
针对小于尺寸阈值的待检测部件，判断部件是否丢失、变形或发生故障的情况，α的取值范围为0.6-0.95；在α的取值范围内，选取使融合后部件图像熵值达到最大对应的α进行矩阵融合。
4.根据权利要求1至3之一所述的一种电务车载车下走行部设备故障检测的图像处理方法，其特征在于，所述步骤2的具体过程包括以下步骤：
根据电务车的实际车速信息和轴距信息获取待检测部件位置所对应的距离图像和强度图像；
对距离图像和强度图像进行分别进行拉伸和矫正；
在距离图像中，基于阈值分割和边缘检测获取车轴端盖的特征信息；从而确定车轴端盖所在位置信息，基于车轴端盖的位置信息与待检测部件的位置关系确定待检测部件在距离图像中的位置，在距离图像中截取待检测部件位置对应的部分距离图像；并基于距离图像的强度图像的关系，在强度图像中截取待检测部件位置对应的部分强度图像。
5.根据权利要求4所述的一种电务车载车下走行部设备故障检测的图像处理方法，其特征在于，所述步骤2中对距离图像和强度图像进行分别进行拉伸和矫正的过程包括以下步骤：
对距离图像和强度图像进行分别进行拉伸；
采用投影变换对拉伸后的距离图像和强度图像进行分别进行畸变矫正；
对畸变矫正的距离图像进行失真矫正：
电务车底部底板为平面，在距离图像中显示为弧面，截取距离图像中平面的图像，计算距离图像中的每行图像点的高度值均值为得到行号i′为横坐标，均值为纵坐标的点集
使用最小二乘法分别多次拟合多项式曲线，限定多项式的最高次数n，不同多项式拟合后的残差为σn；
取残差值最小的多项式作为矫正多项式Y＝AXn+BXn-1+...+C，其中A、B、C分别为拟合系数；将行号i′带入多项式作为X得到Y，记为Yi′；
设平面矫正后的值为mean，对距离图像中每个点值进行失真矫正：date′(j,i)＝date(j,i)+mean-Yi′；
其中，j,i分别表示每个点在距离图像中的纵坐标和横坐标；date(j,i)、date′(j,i)分别为失真矫正前和失真矫正后距离图像中每个点对应的值。
6.一种电务车载车下走行部设备故障检测方法，其特征在于，包括以下步骤：
步骤(1)、通过在电务车轨道两侧和底部设置的线阵相机采集电务车侧部和底部的灰度图像；通过在电务车轨道两侧和底部设置的3D相机采集电务车侧部和底部的3D图像；
利用3D图像获得对应的距离图像和强度图像；距离图像和强度图像是完全映射关系；
通过电务车轴距信息，对所述灰度图像与距离图像和强度图像进行配准处理；
步骤(2)、在距离图像中获取待检测部件的位置信息，在距离图像中截取待检测部件位置对应的部分距离图像，在强度图像中截取待检测部件位置对应的部分强度图像；
步骤(3)、针对大于等于尺寸阈值的待检测部件，基于图像处理，将待检测部件位置对应的部分距离图像进行特征提取，并与正常工况下对应的部件位置对应的部分距离图像的特征进行比对分析，判断待检测部件是否存在丢失或者变形；
如果待检测部件丢失或者变形，创建故障文件，输出故障位置；
如果待检测部件没有丢失和变形，将待检测部件位置的部分距离图像与对应的待检测部件位置的部分强度图像进行矩阵融合，对融合矩阵进行矫正；通过融合后的矩阵获取灰度共生矩阵，计算灰度共生矩阵的特征变化，判断部件是否发生故障，如果发生故障，创建故障文件，输出故障位置；
针对小于尺寸阈值的待检测部件，将待检测部件位置的部分距离图像与对应的待检测部件位置的部分强度图像进行矩阵融合，对融合矩阵进行矫正；通过融合后的矩阵获取灰度共生矩阵，计算灰度共生矩阵的特征变化，判断部件是否丢失、变形或发生故障，如果丢失、变形或发生故障，创建故障文件，输出故障位置；
步骤(4)、故障处理：
针对基于部分距离图像判断待检测部件是否存在丢失或者变形所输出的故障位置或基于部分距离图像与部分强度图像进行矩阵融合判断待检测部件否发生故障输出的故障位置，通过灰度图像与距离图像和强度图像进行配准处理的映射关系，确定故障在灰度图像中的位置，并显示；
检修人员，依据破损程度进行相应的处理。
7.根据权利要求6所述的一种电务车载车下走行部设备故障检测方法，其特征在于，所述步骤(3)中采用投影变换对融合矩阵进行矫正。
8.根据权利要求6所述的一种电务车载车下走行部设备故障检测方法，其特征在于，所述步骤(3)中将待检测部件位置的部分距离图像与对应的待检测部件位置的部分强度图像进行矩阵融合的具体过程包括以下步骤：
设部分距离图像中像素点值为dateM(j,i)，部分强度图像中像素点值为dateN(j,i)，融合后的图像中像素点值为date(j,i)＝α*dateM(j,i)+(1-α)*dateN(j,i)；
针对大于等于尺寸阈值的待检测部件没有丢失、变形，判断部件是否发生故障的情况，α的取值范围为0.05-0.4；在α的取值范围内，选取使融合后部件图像熵值达到最大对应的α进行矩阵融合；
针对小于尺寸阈值的待检测部件，判断部件是否丢失、变形或发生故障的情况，α的取值范围为0.6-0.95；在α的取值范围内，选取使融合后部件图像熵值达到最大对应的α进行矩阵融合。
9.根据权利要求6至8之一所述的一种电务车载车下走行部设备故障检测方法，其特征在于，所述步骤(2)的具体过程包括以下步骤：
根据电务车的实际车速信息和轴距信息获取待检测部件位置所对应的距离图像和强度图像；
对距离图像和强度图像进行分别进行拉伸和矫正；
在距离图像中，基于阈值分割和边缘检测获取车轴端盖的特征信息；从而确定车轴端盖所在位置信息，基于车轴端盖的位置信息与待检测部件的位置关系确定待检测部件在距离图像中的位置，在距离图像中截取待检测部件位置对应的部分距离图像；并基于距离图像的强度图像的关系，在强度图像中截取待检测部件位置对应的部分强度图像。
10.根据权利要求9所述的一种电务车载车下走行部设备故障检测方法，其特征在于，所述步骤(2)对距离图像和强度图像进行分别进行拉伸和矫正的过程包括以下步骤：
对距离图像和强度图像进行分别进行拉伸；
采用投影变换对拉伸后的距离图像和强度图像进行分别进行畸变矫正；
对畸变矫正的距离图像进行失真矫正：
电务车底部底板为平面，在距离图像中显示为弧面，截取距离图像中平面的图像，计算距离图像中的每行图像点的高度值均值为得到行号i′为横坐标，均值为纵坐标的点集
使用最小二乘法分别多次拟合多项式曲线，限定多项式的最高次数n，不同多项式拟合后的残差为σn；
取残差值最小的多项式作为矫正多项式Y＝AXn+BXn-1+...+C，其中A、B、C分别为拟合系数；将行号i′带入多项式作为X得到Y，记为Yi′；
设平面矫正后的值为mean，对距离图像中每个点值进行失真矫正：date′(j,i)＝date(j,i)+mean-Yi′；
其中，j,i分别表示每个点在距离图像中的纵坐标和横坐标；date(j,i)、date′(j,i)分别为失真矫正前和失真矫正后距离图像中每个点对应的值。
CN201810517254.9A 2018-05-25 2018-05-25 一种电务车载车下走行部设备故障检测的图像处理方法及故障检测方法 Active CN108805868B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810517254.9A CN108805868B (zh) 2018-05-25 2018-05-25 一种电务车载车下走行部设备故障检测的图像处理方法及故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810517254.9A CN108805868B (zh) 2018-05-25 2018-05-25 一种电务车载车下走行部设备故障检测的图像处理方法及故障检测方法

Publications (2)

Publication Number Publication Date
CN108805868A true CN108805868A (zh) 2018-11-13
CN108805868B CN108805868B (zh) 2020-07-31

Family

ID=64089081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810517254.9A Active CN108805868B (zh) 2018-05-25 2018-05-25 一种电务车载车下走行部设备故障检测的图像处理方法及故障检测方法

Country Status (1)

Country Link
CN (1) CN108805868B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110316221A (zh) * 2019-08-09 2019-10-11 哈尔滨市科佳通用机电股份有限公司 机车走行部设备检测***的实现方法
CN110641512A (zh) * 2019-09-23 2020-01-03 中国铁路哈尔滨局集团有限公司 一种电务车载车下走行部设备图像检测***
CN110926737A (zh) * 2019-11-28 2020-03-27 上海大学 一种基于深度图像的筛板故障智能监测方法
CN111080600A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车弹簧托板上开口销的故障识别方法
CN111091557A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 一种铁路货车承载鞍挡边折断故障检测方法及***
CN112132821A (zh) * 2020-09-30 2020-12-25 哈尔滨市科佳通用机电股份有限公司 一种基于图像处理的开口销丢失检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102288613A (zh) * 2011-05-11 2011-12-21 北京科技大学 一种灰度和深度信息融合的表面缺陷检测方法
CN103077526A (zh) * 2013-02-01 2013-05-01 苏州华兴致远电子科技有限公司 具有深度检测功能的列车异常检测方法及***
US20130222550A1 (en) * 2012-02-29 2013-08-29 Samsung Electronics Co., Ltd. Synthesis system of time-of-flight camera and stereo camera for reliable wide range depth acquisition and method therefor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102288613A (zh) * 2011-05-11 2011-12-21 北京科技大学 一种灰度和深度信息融合的表面缺陷检测方法
US20130222550A1 (en) * 2012-02-29 2013-08-29 Samsung Electronics Co., Ltd. Synthesis system of time-of-flight camera and stereo camera for reliable wide range depth acquisition and method therefor
CN103077526A (zh) * 2013-02-01 2013-05-01 苏州华兴致远电子科技有限公司 具有深度检测功能的列车异常检测方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
尚月赟等: "《基于熵特征融合的拷贝检测方法研究》", 《计算机工程与应用》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110316221A (zh) * 2019-08-09 2019-10-11 哈尔滨市科佳通用机电股份有限公司 机车走行部设备检测***的实现方法
CN110641512A (zh) * 2019-09-23 2020-01-03 中国铁路哈尔滨局集团有限公司 一种电务车载车下走行部设备图像检测***
CN110926737A (zh) * 2019-11-28 2020-03-27 上海大学 一种基于深度图像的筛板故障智能监测方法
CN111080600A (zh) * 2019-12-12 2020-04-28 哈尔滨市科佳通用机电股份有限公司 一种铁路货车弹簧托板上开口销的故障识别方法
CN111091557A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 一种铁路货车承载鞍挡边折断故障检测方法及***
CN111091557B (zh) * 2019-12-12 2020-07-31 哈尔滨市科佳通用机电股份有限公司 一种铁路货车承载鞍挡边折断故障检测方法及***
CN112132821A (zh) * 2020-09-30 2020-12-25 哈尔滨市科佳通用机电股份有限公司 一种基于图像处理的开口销丢失检测方法

Also Published As

Publication number Publication date
CN108805868B (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN108805868A (zh) 一种电务车载车下走行部设备故障检测的图像处理方法及故障检测方法
CN107180416B (zh) 火车车轮踏面图像畸形校正方法及***
CN102175700B (zh) 数字x射线图像焊缝分割和缺陷检测方法
CN110310255B (zh) 基于目标检测和图像处理的转辙机缺口检测方法
CN103077526B (zh) 具有深度检测功能的列车异常检测方法及***
CN110570422B (zh) 一种基于矩阵分析的胶囊缺陷视觉检测方法
CN111080582A (zh) 工件内外表面缺陷检测方法
CN112419298B (zh) 一种螺栓节点板锈蚀检测方法、装置、设备及存储介质
CN107687953A (zh) 一种货车故障自动检测设备
CN101739549A (zh) 人脸检测方法及***
CN108333488A (zh) 基于紫外、红外和光学图像相融合的燃弧检测方法
CN111402215A (zh) 一种基于鲁棒主成分分析法的接触网绝缘子状态检测方法
CN106097380A (zh) 一种基于图像的绝缘子芯棒缺陷在线检测的***和方法
CN107948464B (zh) 一种印刷品检测图像侧向偏移的几何校正方法及***
CN114199127A (zh) 基于机器视觉的汽车零件尺寸检测***及方法
CN105352546A (zh) 一种受电弓碳棒磨耗值测量***
CN114792369B (zh) 基于光投影的烟条盒填充状态检测方法及***
CN112907524B (zh) 基于图像处理的铁路货车防火板故障检测方法
CN109978879A (zh) 基于铁路货车装载视频监视的箱角入槽状态检测方法
CN115857040A (zh) 一种机车车顶异物动态视觉检测装置及方法
CN113470014B (zh) 一种基于人工智能的太阳能电池板的故障检测方法
CN112837285B (zh) 一种板面图像的边缘检测方法及装置
CN114565600A (zh) 一种太阳能光伏面板表面缺陷检测方法
CN110619337B (zh) 一种受电弓滑板的亚像素边缘提取和识别方法
CN112150453A (zh) 一种铁路货车摇枕弹簧折断故障自动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant