CN114494162A - 俯拍受电弓不平行缺陷检测方法、***、设备及存储介质 - Google Patents

俯拍受电弓不平行缺陷检测方法、***、设备及存储介质 Download PDF

Info

Publication number
CN114494162A
CN114494162A CN202210031069.5A CN202210031069A CN114494162A CN 114494162 A CN114494162 A CN 114494162A CN 202210031069 A CN202210031069 A CN 202210031069A CN 114494162 A CN114494162 A CN 114494162A
Authority
CN
China
Prior art keywords
pantograph
image
cavel
stage
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210031069.5A
Other languages
English (en)
Inventor
张金鑫
向文剑
邓洋洋
周蕾
黄成亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Tangyuan Electric Co Ltd
Original Assignee
Chengdu Tangyuan Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Tangyuan Electric Co Ltd filed Critical Chengdu Tangyuan Electric Co Ltd
Priority to CN202210031069.5A priority Critical patent/CN114494162A/zh
Publication of CN114494162A publication Critical patent/CN114494162A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种俯拍受电弓不平行缺陷检测方法、***、设备及存储介质，涉及牵引供电检测监测技术领域，采用两级YOLO检测算法来定位受电弓羊角小图，然后经过镜像后分3个朝向进行CNN分类识别来对比判断受电弓不平行。具体的，在定位到受电弓之后，先采用YOLO检测算法进行羊角一级定位得到粗定位小图，然后再进行YOLO定位得到受电弓羊角精细定位二级小图，对左侧精细二级羊角小图先进行水平镜像，然后采用CNN分类算法对羊角小图进行分类，再进行左右羊角方向比较和上下羊角方向比较来判断受电弓羊角是否不平行。另外采用基于平均模板匹配值的检测算法来判断一级定位羊角小图朝向类别，可有效减少由于随机性可能导致的误分类，提高准确性。

Description

俯拍受电弓不平行缺陷检测方法、***、设备及存储介质
技术领域
本发明涉及牵引供电检测监测技术领域，更具体地说涉及一种俯拍受电弓不平行缺陷检测方法、***、设备及存储介质。
背景技术
“接触网与受电弓滑板监测***(5C)”主要用于受电弓滑板区域的图像采集，所采集图像可传至车站值班室、动车段和供电管理部门，通过对受电弓图片的查看可及时掌握受电弓的运营状况，及时维修或更换不良受电弓。现场施工安装主要分为硬横跨安装和单支柱安装两种方式，其中，采用硬横跨安装方式时受电弓成像模块安装于线路正上方，以俯拍方式拍摄受电弓，此时相对单支柱安装方式以侧拍方式拍摄得到的受电弓而言，俯拍所得受电弓角度更正，更利于进行基于图像处理方式的缺陷自动识别。
5C受电弓不平行缺陷包括受电弓碳滑条羊角不平行和受电弓平衡杆羊角不平行两种，当发生打弓等事故将导致受电弓变形，表现形式为受电弓碳滑条或平衡杆不平行，将对列车运营安全产生严重影响。
现有技术中，有一些对于受电弓不平行检测的技术方案运用，如公开号为CN111127381A，公开日为2020年5月8日，名称为“一种受电弓滑板不平行检测方法”的中国发明专利文献，公开了一种受电弓滑板不平行检测方法，该方法先经过滤波、梯度计算去除垂直方向上的轮廓，然后进行形态学处理和纹理计算提取受电弓轮廓，接着筛选干扰直线并进行直线聚类来提取受电弓滑板图像，最后根据滑板空间几何特征判断受电弓是否平行。该方法在直线筛选阶段受图像质量干扰较大，且需要设置不同的倾斜角度阈值来进行不平行判断，误识别率较高且缺陷漏检率较高。
发明内容
为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种俯拍受电弓不平行缺陷检测方法、***、设备及存储介质，采用两级YOLO检测算法来定位受电弓羊角小图，然后经过镜像后分3个朝向进行CNN分类识别来对比判断受电弓不平行；同时采用基于平均模板匹配值的检测方法来判断一级定位羊角小图朝向类别，其识别准确率高、误识别率和漏识别率低、光照适应性强。
为了实现以上目的，本发明采用的技术方案：
一种俯拍受电弓不平行缺陷检测方法，包括受电弓定位、一级羊角定位、二级羊角定位和受电弓不平行判断步骤；
受电弓定位，从获取的受电弓俯拍图像中定位受电弓区域；
一级羊角定位，在受电弓区域图像中，对受电弓每一碳滑条的N个羊角均进行一级羊角定位，得到一级羊角区域；本发明的一级羊角区域图像，位于受电弓碳滑条和/或平衡杆上左边和/或右边，区域图像宽度和高度约为碳滑条或平衡杆总长度的1/6。
二级羊角定位，受电弓碳滑条上定位到N个一级羊角后，在N个一级羊角区域图像中，对受电弓碳滑条上N个一级羊角所对应的N个二级羊角进行二级羊角定位，得到二级羊角区域；本发明的二级羊角区域图像，位于受电弓碳滑条和/或平衡杆上一级羊角区域图像内的左边和/或右边，区域图像宽度和高度为一级羊角区域图像的1/2，面积约为一级羊角区域图像面积的1/4。
受电弓不平行判断，若二级羊角定位到N个二级羊角，则将左侧二级羊角区域图像的水平镜像图像与右侧二级羊角区域图像均进行二级羊角CNN分类识别，若不属于同一类别，则输出受电弓羊角不平行，所述分类包括右上、朝右、右下。
进一步的是，所述一级羊角定位和二级羊角定位中，还包括受电弓平衡杆的定位：
在所述受电弓区域图像中，对受电弓平衡杆的N个羊角进行一级羊角定位，得到一级羊角区域；受电弓平衡杆上定位到N个一级羊角后，在N个一级羊角区域图像中，对受电弓平衡杆上N个一级羊角所对应的N个二级羊角进行二级羊角定位，得到二级羊角区域。
本发明的一级羊角图像为受电弓羊角粗定位图像，二级羊角图像为一级羊角图像上选取的精细定位图像。
进一步的是，所述受电弓碳滑条包括上下两根，在所述受电弓不平行判断中，还包括将两根碳滑条上左下左的两个二级羊角区域图像均水平镜像，对镜像后的上左下左两个二级羊角区域图像，以及碳滑条上右下右的两个二级羊角区域图像，均进行二级羊角CNN分类识别，若镜像后的上左下左两个二级羊角区域图像不属于同一类别，或者碳滑条上右下右两个二级羊角区域图像不属于同一类别，则输出受电弓羊角不平行。
进一步的是，在所述受电弓不平行判断中，若受电弓碳滑条和/或平衡杆上的二级羊角存在漏定位时，则对于二级羊角全部定位到的碳滑条或平衡杆，其上的二级羊角区域图像，均采用二级羊角CNN分类识别比较方法，对定位到的二级羊角区域图像进行不平行检测，并输出受电弓羊角不平行结果；对于二级羊角存在漏定位的碳滑条和/或平衡杆，返回其上的一级羊角区域图像，并采用基于平均模板匹配值的模板匹配方法，对所述存在漏定位的碳滑条和/或平衡杆上的一级羊角区域图像进行不平行检测，并输出受电弓羊角不平行结果。
进一步的是，在所述受电弓不平行判断中，所述基于平均模板匹配值的模板匹配方法，包括以下步骤：
选取受电弓漏定位碳滑条和/或平衡杆上左侧的待匹配一级羊角图像，并将选取的一级羊角图像水平镜像；
将水平镜像后的一级羊角图像，以及受电弓碳滑条和/或平衡杆上右侧的一级羊角图像，均遍历模板图像中若干种类别中的每一张羊角原始图像进行模板匹配，得到一级羊角图像与每张原始图像的匹配值，所述类别包括右上、朝右、右下；
在每种类别中，依次计算所述一级羊角图像与每一张羊角原始图像的最大匹配值，再计算最大匹配值的平均值，并选取若干种类别中平均值最大值所对应类别作为一级羊角图像的分类结果；
比较一级羊角图像分类结果的类别，当平衡杆上左右两个一级羊角图像的分类不属于同一类别，和/或同一根碳滑条上左右两个一级羊角图像的分类不属于同一类别，和/或两根碳滑条上左下左两个一级羊角图像的分类不属于同一类别，和/或两根碳滑条上右下右两个一级羊角图像的分类不属于同一类别时，则输出受电弓羊角不平行。
优选的，所述模板匹配的匹配值为，
Figure DEST_PATH_IMAGE001
，
其中，R为模板匹配的匹配值，T为模板图像，S为搜索图像，为模板图像覆盖搜索图像的区域子图，M和N为模板图像的像素大小，m和n为模板图像T的横坐标和纵坐标，i和j为子图左下角在被搜索图像S上的坐标，当T和S匹配时，R取值最大。
进一步的是，所述一级羊角定位存在漏定位时，对于定位全的一级羊角图像，采用基于平均模板匹配值的模板匹配方法，判断受电弓是否平行，对于漏定位的一级羊角图像，判断受电弓的该羊角缺失。
基于上述检测方法，本发明还提供了一种俯拍受电弓不平行缺陷检测***，包括图像采集模块、图像预处理模块、一级羊角定位模块、二级羊角定位模块和不平行检测判断模块；
所述图像采集模块，采集列车受电弓的俯拍图像，并将采集的列车受电弓俯拍图像发送至所述图像预处理模块；
所述图像预处理模块，接收所述图像采集模块发送的列车受电弓俯拍图像，在所述列车受电弓俯拍图像中，定位所述列车受电弓俯拍图像中的受电弓区域，并将所述定位的受电弓区域图像发送至所述一级羊角定位模块；
所述一级羊角定位模块，接收所述图像预处理模块所发送的受电弓区域图像，在受电弓区域图像中，对受电弓碳滑条和/或平衡杆上的羊角进行一级羊角定位，得到一级羊角区域图像，并将所述一级羊角区域图像发送至所述二级羊角定位模块和不平行检测判断模块；
所述二级羊角定位模块，接收所述一级羊角定位模块所发送的一级羊角区域图像，在一级羊角区域图像中，对受电弓碳滑条和/或平衡杆上的羊角进行二级羊角定位，得到二级羊角区域图像，并将所述二级羊角区域图像发送至所述不平行检测判断模块；
所述不平行检测判断模块，接收所述一级羊角定位模块所发送的一级羊角区域图像和二级羊角定位模块所发送的二级羊角区域图像，在一级羊角区域图像和二级羊角区域图像中，对羊角进行镜像和分类，根据分类结果输出受电弓羊角不平行结果。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，执行上述检测方法中的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述检测方法中的步骤。
本发明的有益效果：
1、本发明先定位识别受电弓区域，然后采用两级YOLO检测算法定位受电弓区域的一级羊角图像和二级羊角图像，并将两级羊角图像进行镜像、模板匹配和分类比较，根据分类结果判断受电弓不平行，其识别率高、误识别率和漏识别率低、光照适应性强。
2、本发明采用基于平均模板匹配值的模板匹配方法来判断一级定位羊角小图朝向类别。考虑了受电弓二级羊角存在漏定位的情况，采用基于平均模板匹配值的模板匹配方法，一级羊角结果图像与原始图像进行一一匹配，且记录最大匹配值，取最大匹配值的均值来作为此类的最大匹配值，对应判断此一级羊角朝向类别，可有效减少由于随机性可能导致的误分类，提高准确性。
3、相对于现有技术在直线筛选阶段受图像质量干扰较大，本发明采用YOLO检测算法对两级羊角图像进行定位，并将两级羊角图像进行镜像、模板匹配和分类比较，其识别准确率高。现有技术数据中受电弓碳滑条不平行缺陷检测准确率低于90%，受电弓平衡杆羊角不平行缺陷检测准确率低于85%。而本发明中，经过实验验证，受电弓碳滑条不平行缺陷检测准确率为93.6%，受电弓平衡杆羊角不平行缺陷检测准确率为89.6%。
4、相对于现有技术需要设置不同的倾斜角度阈值来进行不平行判断、误识别率较高且缺陷漏检率较高，本发明采用YOLO检测算法对两级羊角图像进行定位，并将两级羊角图像进行镜像、模板匹配和分类比较，其误识别率和漏识别率低。采用本发明的方法，经过实验验证，受电弓碳滑条不平行缺陷检测误识别率5.7%、漏识别率6.4%，受电弓平衡杆羊角不平行缺陷检测误识别率8.2%、漏识别率10.4%。现有技术中，受电弓碳滑条不平行缺陷检测误识别率高于12.4%、漏识别率高于10.8 %，受电弓平衡杆羊角不平行缺陷检测误识别率高于13.5 %、漏识别率高于11.2 %。
5、本发明光照适应性强，由于深度学习具有学习能力强、范围覆盖广、适应性强的特点，因此本发明使用不同光照条件下的受电弓图像进行算法模型训练，采用深度学习方法对光照的影响远远小于传统图像识别方式，无论白天还是夜晚对受电弓缺陷均有较好的识别效果。
附图说明
图1为本发明受电弓不平行缺陷检测流程图；
图2为本发明受电弓不平行缺陷检测结合图像的流程图；
图3为本发明上下比较判断不平行的受电弓识别定位图像；
图4为本发明左右比较判断不平行的受电弓识别定位图像；
图5为图3中定位图像的6个羊角一级定位结果；
图6为图4中定位图像的6个羊角一级定位结果；
图7为左右比较判断不平行受电弓的羊角一级定位和二级定位；
图8为上下比较判断不平行受电弓的羊角一级定位和二级定位；
图9为受电弓碳滑条二级羊角小图3类训练样本；
图10为受电弓平衡杆二级羊角小图3类训练样本；
图11为受电弓碳滑条羊角一级待匹配原始图像；
图12为受电弓平衡杆羊角一级待匹配原始图像。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、特征和效果。
实施例1
一种俯拍受电弓不平行缺陷检测方法，如图1和2所示，包括受电弓定位、一级羊角定位、二级羊角定位和受电弓不平行判断步骤。
在受电弓实际运行中，常出现以下几种受电弓不平行缺陷：
（1）受电弓碳滑条一端受力被打弯，使碳滑条左右不对称，不平行，如图4所示。
（2）受电弓一根碳滑条两端受力旋转，使该碳滑条与另一根碳滑条不对称，不平行，如图3所示。
（3）受电弓平衡杆一端受力被打弯，使平衡杆左右不对称，不平行。平衡杆较长，因此该种类型的不平行缺陷出现的情况较多。
（4）受电弓平衡杆两端受力旋转，使平衡杆不平行，出现该种情况的概率很小。
图3中，受电弓不平行为最上方的碳滑条不平行，通过上方第一条碳滑条羊角和下方第二条碳滑条羊角方向对比可知；图4中，受电弓不平行为最上方的碳滑条不平行，通过最上方的碳滑条左边羊角和右边羊角方向对比可知。本发明的目的，就是通过下述的受电弓不平行缺陷检测方法，以检测出包括上述图3和图4中的受电弓不平行缺陷。
在实际运行中，受电弓可为单臂弓或者双臂弓，对于单臂弓，其有一根碳滑条，对于双臂弓，其有两根碳滑条。由图3和4可知，图中的受电弓为双臂弓，包括了三根杆，其中上下的第一根和第三根为受电弓碳滑条，中间的第二根为受电弓平衡杆，第一根和第三根受电弓碳滑条材质和形状相同，中间平衡杆与两根碳滑条材质和形状不同。
对于第（1）种情况，即图4中碳滑条不平行，本实施例具体通过以下方法实现：
S1、受电弓定位
从获取的受电弓俯拍图像中定位受电弓区域。本实施例中，受电弓俯拍图像利用线阵相机拍摄，线阵相机拍摄的前后两张受电弓图像先进行两两拼接，然后采用基于YOLO检测算法进行受电弓定位识别。
S2、一级羊角定位
在受电弓区域图像中，对受电弓的每一碳滑条的2个羊角均进行一级羊角定位，每根碳滑条有两个一级羊角区域，总共得到4个一级羊角区域，如图5和6所示。
若对于存在一级羊角漏定位的碳滑条，对于定位全一级羊角图像的碳滑条，采用基于平均模板匹配值的模板匹配方法，判断受电弓是否平行，对于存在漏定位一级羊角图像的碳滑条，判断受电弓的该羊角缺失。
S3、二级羊角定位
受电弓每一碳滑条上定位到2个一级羊角后，在2个一级羊角区域图像中，对受电弓碳滑条上2个一级羊角所对应的2个二级羊角进行二级羊角定位，每一碳滑条得到2个二级羊角区域，总共得到4个二级羊角区域，如图7和8所示。
S4、受电弓不平行判断
若碳滑条的二级羊角定位到2个二级羊角，则将碳滑条左侧二级羊角区域图像的水平镜像图像与右侧二级羊角区域图像均进行二级羊角CNN分类识别，若不属于同一类别，则输出受电弓碳滑条羊角不平行，所述分类包括右上、朝右、右下，本实施例的图像为受电弓俯拍图像，图像的上下和左右的相对位置可调。
本实施例的一级羊角图像为受电弓羊角粗定位图像，二级羊角图像为一级羊角图像上选取的精细定位图像。一级羊角定位和二级羊角定位均采用YOLO检测算法进行定位。
实施例2
本实施例在实施例1的基础上作进一步的改进。在受电弓不平行缺陷中，还常常出现实施例1中的第（3）种情况，针对该种受电弓平衡杆的不平行缺陷，所述S2一级羊角定位步骤和S3二级羊角定位步骤中，还包括受电弓平衡杆的定位：
在所述受电弓区域图像中，对受电弓平衡杆的2个羊角进行一级羊角定位，得到一级羊角区域；受电弓平衡杆上定位到2个一级羊角后，在2个一级羊角区域图像中，对受电弓平衡杆上2个一级羊角所对应的2个二级羊角进行二级羊角定位，得到二级羊角区域，如图5-8所示。
若平衡杆的二级羊角定位到2个二级羊角，则将平衡杆左侧二级羊角区域图像的水平镜像图像与右侧二级羊角区域图像均进行二级羊角CNN分类识别，若不属于同一类别，则输出受电弓平衡杆羊角不平行，所述分类包括右上、朝右、右下。
实施例3
本实施例在实施例2的基础上作进一步的改进。在受电弓不平行缺陷中，还常常出现实施例1中的第（2）种情况，即图3中碳滑条不平行，针对该种受电弓平衡杆的不平行缺陷，所述S4受电弓不平行判断步骤中：
所述受电弓碳滑条包括上下两根，在所述受电弓不平行判断中，还包括将两根碳滑条上左下左的两个二级羊角区域图像均水平镜像，对镜像后的上左下左两个二级羊角区域图像，以及碳滑条上右下右的两个二级羊角区域图像，均进行二级羊角CNN分类识别，若镜像后的上左下左两个二级羊角区域图像不属于同一类别，或者碳滑条上右下右两个二级羊角区域图像不属于同一类别，则输出受电弓羊角不平行。
实施例4
本实施例在实施例3的基础上作进一步的改进。在所述受电弓不平行判断中，若受电弓碳滑条和/或平衡杆上的二级羊角存在漏定位时，则对于二级羊角全部定位到的碳滑条或平衡杆，其上的二级羊角区域图像，均采用二级羊角CNN分类识别比较方法，对定位到的二级羊角区域图像进行不平行检测，并输出受电弓羊角不平行结果；对于二级羊角存在漏定位的碳滑条和/或平衡杆，返回其上的一级羊角区域图像，并采用基于平均模板匹配值的模板匹配方法，对所述存在漏定位的碳滑条和/或平衡杆上的一级羊角区域图像进行不平行检测，并输出受电弓羊角不平行结果。
实施例5
本实施例在实施例4的基础上，对碳滑条和平衡杆二级羊角CNN分类识别比较方法作进一步的阐述，所述CNN分类识别比较方法，包括受电弓碳滑条CNN分类识别比较和受电弓平衡杆CNN分类识别比较。
在一级羊角定位到之后，再进行受电弓羊角二级小图定位，当受电弓6个二级羊角小图均定位到之后，可利用CNN分类识别来进行不平行判断。其中，通过比较左右二级定位羊角方向判断受电弓不平行的受电弓两级定位结果如图7所示，通过比较上下二级羊角小图方向判断受电弓不平行的受电弓两级定位结果图如图8所示。
因此，对于受电弓同一根碳滑条，先将碳滑条左侧的二级羊角图像按照水平方向向右镜像，并将镜像后的二级羊角图像和碳滑条右侧的二级羊角图像，均进行二级羊角CNN分类识别，并比较类别的异同，当右侧二级羊角图像和左侧羊角镜像后的二级羊角图像的类别不同时，则输出受电弓碳滑条羊角不平行。该方法适用于实施例1中第（1）种受电弓不平行缺陷的检测。
对于受电弓上下两根碳滑条，先将上下碳滑条的左侧二级羊角图像均按照水平方向向右镜像，并将镜像后的二级羊角图像和碳滑条右侧的二级羊角图像，均进行二级羊角CNN分类识别，并比较类别的异同，当上方第一根碳滑条右侧二级羊角图像与下方第二根碳滑条右侧二级羊角图像的类别不同，或上方碳滑条左侧二级羊角图像镜像后与下方左侧二级羊角图像镜像后的类别不同时，则输出受电弓碳滑条羊角不平行。该方法适用于实施例1中第（2）种受电弓不平行缺陷的检测。
对于受电弓平衡杆，先将平衡杆左侧的二级羊角图像按照水平方向向右镜像，并将镜像后的二级羊角图像和平衡杆右侧的二级羊角图像，均进行二级羊角CNN分类识别，并比较类别的异同，当右侧二级羊角图像和左侧羊角镜像后的二级羊角图像的类别不同时，则输出受电弓平衡杆羊角不平行。该方法适用于实施例2中第（3）种受电弓不平行缺陷的检测。
所述CNN分类识别的CNN识别模型中，碳滑条和平衡杆的二级羊角均包括朝右上、水平朝右和朝右下三种类别（从左往右水平镜像），每一种类别均包括若干张羊角图像原始图像。
具体的，考虑到碳滑条羊角二级定位小图与平衡杆二级定位羊角小图有差异，为提高CNN分类准确性，分别单独训练两个CNN识别模型，本发明CNN采用VGGNet网络结构，在定位到碳滑条小图后调用碳滑条小图CNN分类模型，在定位到平衡杆羊角小图后调用平衡杆羊角小图CNN分类模型来进行分类识别。其中，碳滑条羊角CNN小图按照右上、朝右、右下三个方向每个方向收集训练样本2000张以上，如图9碳滑条0类、1类、2类所示；同理，平衡杆羊角小图也按照右上、朝右、右下三个方向收集样本2000张以上，如图10平衡杆0类、1类、2类所示。
本实施例采用两级YOLO检测算法来定位受电弓羊角小图，然后经过镜像后分3个朝向进行CNN分类识别来对比受电弓不平行判断。具体的，在定位到受电弓之后，先采用YOLO检测算法进行羊角一级定位得到粗定位小图，然后再进行YOLO定位得到受电弓羊角精细定位二级小图，对左侧精细二级羊角小图先进行水平镜像，然后采用CNN分类算法对羊角小图进行分类，再进行左右羊角方向比较和上下羊角方向比较来判断受电弓羊角是否不平行。
实施例6
本实施例在实施例5的基础上，对所述基于平均模板匹配值的模板匹配方法作进一步的阐述，上述实施例中，若受电弓碳滑条和/或平衡杆上的若干二级羊角存在漏定位时，对于二级羊角存在漏定位的碳滑条和/或平衡杆，二级小图方向比较无法进行，因此利用碳滑条和/或平衡杆羊角一级定位结果图像的朝向比较来进行受电弓不平行判断。由于一级羊角小图比二级羊角小图要大，带朝向的图像特征与二级羊角小图相比明显些要差，若仍采用分3类的CNN识别方法效果要比二级羊角CNN分类效果要差。因此一级定位小图采用基于平均模板匹配值的模板匹配方法来进行一级羊角图方向判断。
所述基于平均模板匹配值的模板匹配方法，包括以下步骤：
（1）选取受电弓漏定位碳滑条和/或平衡杆上左侧的待匹配一级羊角图像，并将选取的一级羊角图像水平镜像。其中，选取的待匹配图像比正常定位小图要大，为原始受电弓定位结果以定位矩形中心宽度和高度各拓展十分之一的结果图，当拓展超过受电弓定位图像区域时，取受电弓与一级定位结果图像的交集作为待匹配原图像，从而确保一级定位模板图像小于待匹配羊角图像。
（2）将镜像后的一级羊角图像，以及受电弓碳滑条和/或平衡杆上右侧的一级羊角图像，均遍历模板图像中若干种类别中的每一张羊角原始图像进行模板匹配，得到一级羊角图像与每张原始图像的匹配值。
本实施例中，模板图像包括3种类别共24张图像，3种类别分别为朝右上0类8张、水平向右1类8张、朝右下2类8张原始图像，受电弓碳滑条羊角一级待匹配原始图像如图11所示，受电弓平衡杆羊角一级待匹配原始图像如图12所示。
采用基于归一化相关匹配的模板匹配算法，该算法采用模板与图像间的乘法操作，所得结果数值越大，表明匹配程度越高。匹配值计算如下：
Figure 331001DEST_PATH_IMAGE001
，
其中，R为模板匹配的匹配值，T为模板图像，S为搜索图像，为模板图像覆盖搜索图像的区域子图，M和N为模板图像的像素大小，m和n为模板图像T的横坐标和纵坐标，i和j为子图左下角在被搜索图像S上的坐标，当T和S匹配时，R取值最大。
（3）在每种类别中，依次计算所述一级羊角图像与每一张羊角原始图像的最大匹配值，再计算最大匹配值的平均值，并选取若干种类别中平均值最大值所对应类别作为一级羊角图像的分类结果。
具体的，依次计算定位小图与8张模板的最大匹配值，然后取平均值：
Figure 944295DEST_PATH_IMAGE002
求取三个平均值中最大的那个值：
Figure DEST_PATH_IMAGE003
ave_max所对应的类别即为羊角一级定位图像的分类结果。
假设受电弓碳滑条一级定位结果图与图11朝右上方向的0类8张原始图像的最大匹配值依次为{0.52，0.6，0.7，0.8，0.2，0.75，0.9，0.8}，与水平朝右的1类8张原始图像的最大匹配值依次为{0.1，0.2，0.12，0.3，0.4，0.15，0.17，0.21}，与朝右下方向2类8张原始图像的最大匹配值依次为{0.11，0.12，0.16，0.2，0.17，0.45，0.15，0.23}，则与0类、1类、2类的平均最大匹配值依次为0.66、0.21、0.20，则判断受电弓碳滑条羊角类别为0类朝右上方向。求取与8张原始图像的匹配值然后求平均值可以减少由于随机性导致的误判，若仅仅遍历待匹配原始图像取与模板最大匹配值的某一张图像原始类别作为模板类别，可能导致模板图像归类与实际类别不一致，而求取平均值可大大减少误识别数量。
（4）比较一级羊角图像分类结果的类别，当平衡杆上左右两个一级羊角图像的分类不属于同一类别，和/或同一根碳滑条上左右两个一级羊角图像的分类不属于同一类别，和/或两根碳滑条上左下左两个一级羊角图像的分类不属于同一类别，和/或两根碳滑条上右下右两个一级羊角图像的分类不属于同一类别时，则输出受电弓羊角不平行。
本实施例中，对于受电弓同一根碳滑条，先将碳滑条左侧的一级羊角图像水平镜像，并将水平镜像后的一级羊角图像和碳滑条右侧的一级羊角图像，均进行模板匹配得到其分类结果，当左侧镜像后的一级羊角图像类别与右侧的一级羊角图像类别不同时，则输出受电弓碳滑条羊角不平行。
对于受电弓上下两根碳滑条，先将上下碳滑条左侧的一级羊角图像均水平镜像，并将水平镜像后的一级羊角图像和碳滑条右侧的一级羊角图像，均进行模板匹配得到其分类结果，当上方第一根碳滑条右侧一级羊角图像与下方第二根碳滑条右侧一级羊角图像的类别不同，或上方碳滑条左侧一级羊角图像镜像后与下方左侧一级羊角图像镜像后的类别不同时，则输出受电弓碳滑条羊角不平行。
对于受电弓平衡杆，先将平衡杆左侧的一级羊角图像水平镜像，并将水平镜像后的一级羊角图像和平衡杆右侧的一级羊角图像，均进行模板匹配得到其分类结果，当左侧镜像后的一级羊角图像类别与右侧的一级羊角图像类别不同时，则输出受电弓平衡杆羊角不平行。
本实施例采用基于平均模板匹配值的模板匹配方法来判断一级定位羊角小图朝向类别。考虑了受电弓二级羊角存在漏定位的情况，采用基于平均模板匹配值的模板匹配方法，一级羊角结果图像与3种类别每类8张原始图像进行一一匹配，且记录最大匹配值，取8个最大匹配值的均值来作为此类的最大匹配值，对应判断此一级羊角朝向类别，可有效减少由于随机性可能导致的误分类，提高准确性。
实施例7
一种俯拍受电弓不平行缺陷检测***，包括图像采集模块、图像预处理模块、一级羊角定位模块、二级羊角定位模块和不平行检测判断模块；
所述图像采集模块，采集列车受电弓的俯拍图像，并将采集的列车受电弓俯拍图像发送至所述图像预处理模块；
所述图像预处理模块，接收所述图像采集模块发送的列车受电弓俯拍图像，在所述列车受电弓俯拍图像中，定位所述列车受电弓俯拍图像中的受电弓区域，并将所述定位的受电弓区域图像发送至所述一级羊角定位模块；
所述一级羊角定位模块，接收所述图像预处理模块所发送的受电弓区域图像，在受电弓区域图像中，对受电弓碳滑条和/或平衡杆上的羊角进行一级羊角定位，得到一级羊角区域图像，并将所述一级羊角区域图像发送至所述二级羊角定位模块和不平行检测判断模块；
所述二级羊角定位模块，接收所述一级羊角定位模块所发送的一级羊角区域图像，在一级羊角区域图像中，对受电弓碳滑条和/或平衡杆上的羊角进行二级羊角定位，得到二级羊角区域图像，并将所述二级羊角区域图像发送至所述不平行检测判断模块；
所述不平行检测判断模块，接收所述一级羊角定位模块所发送的一级羊角区域图像和二级羊角定位模块所发送的二级羊角区域图像，在一级羊角区域图像和二级羊角区域图像中，对羊角进行镜像和分类，根据分类结果输出受电弓羊角不平行结果。
实施例8
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，执行上述实施例1-7任意一项所述检测方法中的步骤。
在本实施例中处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述实施例中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选择包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例1-7中任意一项的方法。
实施例9
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1-7任意一项所述检测方法中的步骤。
以上对本发明的实施方式进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种等同变型或替换，这些等同或替换均包含在本发明权利要求所限定的范围内。

Claims (10)

1.一种俯拍受电弓不平行缺陷检测方法，其特征在于：包括受电弓定位、一级羊角定位、二级羊角定位和受电弓不平行判断步骤；
受电弓定位，从获取的受电弓俯拍图像中定位受电弓区域；
一级羊角定位，在受电弓区域图像中，对受电弓每一碳滑条的N个羊角均进行一级羊角定位，得到一级羊角区域；
二级羊角定位，受电弓碳滑条上定位到N个一级羊角后，在N个一级羊角区域图像中，对受电弓碳滑条上N个一级羊角所对应的N个二级羊角进行二级羊角定位，得到二级羊角区域；
受电弓不平行判断，若二级羊角定位到N个二级羊角，则将左侧二级羊角区域图像的水平镜像图像与右侧二级羊角区域图像均进行二级羊角CNN分类识别，若不属于同一类别，则输出受电弓羊角不平行，所述分类包括右上、朝右、右下。
2.如权利要求1所述的检测方法，其特征在于：所述一级羊角定位和二级羊角定位中，还包括受电弓平衡杆的定位：
在所述受电弓区域图像中，对受电弓平衡杆的N个羊角进行一级羊角定位，得到一级羊角区域；受电弓平衡杆上定位到N个一级羊角后，在N个一级羊角区域图像中，对受电弓平衡杆上N个一级羊角所对应的N个二级羊角进行二级羊角定位，得到二级羊角区域。
3.如权利要求1所述的检测方法，其特征在于：所述受电弓碳滑条包括上下两根，在所述受电弓不平行判断中，还包括将两根碳滑条上左下左的两个二级羊角区域图像均水平镜像，对镜像后的上左下左两个二级羊角区域图像，以及碳滑条上右下右的两个二级羊角区域图像，均进行二级羊角CNN分类识别，若镜像后的上左下左两个二级羊角区域图像不属于同一类别，或者碳滑条上右下右两个二级羊角区域图像不属于同一类别，则输出受电弓羊角不平行。
4.如权利要求2所述的检测方法，其特征在于：在所述受电弓不平行判断中，若受电弓碳滑条和/或平衡杆上的二级羊角存在漏定位时，则对于二级羊角全部定位到的碳滑条或平衡杆，其上的二级羊角区域图像，均采用二级羊角CNN分类识别比较方法，对定位到的二级羊角区域图像进行不平行检测，并输出受电弓羊角不平行结果；对于二级羊角存在漏定位的碳滑条和/或平衡杆，返回其上的一级羊角区域图像，并采用基于平均模板匹配值的模板匹配方法，对所述存在漏定位的碳滑条和/或平衡杆上的一级羊角区域图像进行不平行检测，并输出受电弓羊角不平行结果。
5.如权利要求4所述的检测方法，其特征在于：在所述受电弓不平行判断中，所述基于平均模板匹配值的模板匹配方法，包括以下步骤：
选取受电弓漏定位碳滑条和/或平衡杆上左侧的待匹配一级羊角图像，并将选取的一级羊角图像水平镜像；
将水平镜像后的一级羊角图像，以及受电弓碳滑条和/或平衡杆上右侧的一级羊角图像，均遍历模板图像中若干种类别中的每一张羊角原始图像进行模板匹配，得到一级羊角图像与每张原始图像的匹配值，所述类别包括右上、朝右、右下；
在每种类别中，依次计算所述一级羊角图像与每一张羊角原始图像的最大匹配值，再计算最大匹配值的平均值，并选取若干种类别中平均值最大值所对应类别作为一级羊角图像的分类结果；
比较一级羊角图像分类结果的类别，当平衡杆上左右两个一级羊角图像的分类不属于同一类别，和/或同一根碳滑条上左右两个一级羊角图像的分类不属于同一类别，和/或两根碳滑条上左下左两个一级羊角图像的分类不属于同一类别，和/或两根碳滑条上右下右两个一级羊角图像的分类不属于同一类别时，则输出受电弓羊角不平行。
6.如权利要求5所述的检测方法，其特征在于：所述模板匹配的匹配值为，
Figure 421536DEST_PATH_IMAGE001
，
其中，R为模板匹配的匹配值，T为模板图像，S为搜索图像，为模板图像覆盖搜索图像的区域子图，M和N为模板图像的像素大小，m和n为模板图像T的横坐标和纵坐标，i和j为子图左下角在被搜索图像S上的坐标，当T和S匹配时，R取值最大。
7.如权利要求3所述的检测方法，其特征在于：所述一级羊角定位存在漏定位时，对于定位全的一级羊角图像，采用基于平均模板匹配值的模板匹配方法，判断受电弓是否平行，对于漏定位的一级羊角图像，判断受电弓的该羊角缺失。
8.一种俯拍受电弓不平行缺陷检测***，其特征在于：包括图像采集模块、图像预处理模块、一级羊角定位模块、二级羊角定位模块和不平行检测判断模块；
所述图像采集模块，采集列车受电弓的俯拍图像，并将采集的列车受电弓俯拍图像发送至所述图像预处理模块；
所述图像预处理模块，接收所述图像采集模块发送的列车受电弓俯拍图像，在所述列车受电弓俯拍图像中，定位所述列车受电弓俯拍图像中的受电弓区域，并将所述定位的受电弓区域图像发送至所述一级羊角定位模块；
所述一级羊角定位模块，接收所述图像预处理模块所发送的受电弓区域图像，在受电弓区域图像中，对受电弓碳滑条和/或平衡杆上的羊角进行一级羊角定位，得到一级羊角区域图像，并将所述一级羊角区域图像发送至所述二级羊角定位模块和不平行检测判断模块；
所述二级羊角定位模块，接收所述一级羊角定位模块所发送的一级羊角区域图像，在一级羊角区域图像中，对受电弓碳滑条和/或平衡杆上的羊角进行二级羊角定位，得到二级羊角区域图像，并将所述二级羊角区域图像发送至所述不平行检测判断模块；
所述不平行检测判断模块，接收所述一级羊角定位模块所发送的一级羊角区域图像和二级羊角定位模块所发送的二级羊角区域图像，在一级羊角区域图像和二级羊角区域图像中，对羊角进行镜像和分类，根据分类结果输出受电弓羊角不平行结果。
9.一种计算机设备，其特征在于：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，执行上述权利要求1-7任意一项所述检测方法中的步骤。
10.一种计算机可读存储介质，其特征在于：其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述权利要求1-7任意一项所述检测方法中的步骤。
CN202210031069.5A 2022-01-12 2022-01-12 俯拍受电弓不平行缺陷检测方法、***、设备及存储介质 Pending CN114494162A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210031069.5A CN114494162A (zh) 2022-01-12 2022-01-12 俯拍受电弓不平行缺陷检测方法、***、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210031069.5A CN114494162A (zh) 2022-01-12 2022-01-12 俯拍受电弓不平行缺陷检测方法、***、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114494162A true CN114494162A (zh) 2022-05-13

Family

ID=81512827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210031069.5A Pending CN114494162A (zh) 2022-01-12 2022-01-12 俯拍受电弓不平行缺陷检测方法、***、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114494162A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160148125A (ko) * 2015-06-15 2016-12-26 한국철도기술연구원 명도 변화에 영향을 받지 않는 전차선의 동적 편위 검출 방법
CN107588720A (zh) * 2017-08-21 2018-01-16 南京理工大学 一种城轨列车受电弓中心线偏移在线检测装置及方法
CN108288055A (zh) * 2018-03-14 2018-07-17 台州智必安科技有限责任公司 基于深度网络与分级测试的电力机车受电弓及电弧检测方法
CN108556634A (zh) * 2018-03-28 2018-09-21 武汉麦子科技有限公司 一种空压转角受电弓和监测***及其监测方法
CN113049595A (zh) * 2019-12-27 2021-06-29 苏州华兴致远电子科技有限公司 一种受电弓磨损测量方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160148125A (ko) * 2015-06-15 2016-12-26 한국철도기술연구원 명도 변화에 영향을 받지 않는 전차선의 동적 편위 검출 방법
CN107588720A (zh) * 2017-08-21 2018-01-16 南京理工大学 一种城轨列车受电弓中心线偏移在线检测装置及方法
CN108288055A (zh) * 2018-03-14 2018-07-17 台州智必安科技有限责任公司 基于深度网络与分级测试的电力机车受电弓及电弧检测方法
CN108556634A (zh) * 2018-03-28 2018-09-21 武汉麦子科技有限公司 一种空压转角受电弓和监测***及其监测方法
CN113049595A (zh) * 2019-12-27 2021-06-29 苏州华兴致远电子科技有限公司 一种受电弓磨损测量方法及***

Similar Documents

Publication Publication Date Title
CN108062349B (zh) 基于视频结构化数据及深度学习的视频监控方法和***
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、***及装置
US10025998B1 (en) Object detection using candidate object alignment
WO2019196130A1 (zh) 面向车载热成像行人检测的分类器训练方法和装置
Cao et al. Linear SVM classification using boosting HOG features for vehicle detection in low-altitude airborne videos
US8902053B2 (en) Method and system for lane departure warning
US8447139B2 (en) Object recognition using Haar features and histograms of oriented gradients
JP7272533B2 (ja) 知覚システムを評価するシステム及び方法
WO2019196131A1 (zh) 面向车载热成像行人检测的感兴趣区域过滤方法和装置
CN110263712B (zh) 一种基于区域候选的粗精行人检测方法
CN105404884B (zh) 图像分析方法
CN103903005A (zh) 车牌影像辨识***及方法
CN109376580B (zh) 一种基于深度学习的电力塔架部件识别方法
US8908921B2 (en) Object detection method and object detector using the method
CN111723773B (zh) 遗留物检测方法、装置、电子设备及可读存储介质
Yao et al. Fast human detection from joint appearance and foreground feature subset covariances
CN113361354A (zh) 轨道部件巡检方法、装置、计算机设备和存储介质
CN104198497A (zh) 一种基于视觉显著图和支持向量机的表面缺陷检测方法
CN110826390B (zh) 一种基于人脸矢量特征的视频数据处理方法
CN115690542A (zh) 一种基于改进yolov5的航拍绝缘子定向识别方法
CN109271904B (zh) 一种基于像素自适应分割和贝叶斯模型的黑烟车检测方法
CN115512387A (zh) 基于改进yolov5模型的工地安全帽佩戴检测方法
Dong et al. Nighttime pedestrian detection with near infrared using cascaded classifiers
CN114494162A (zh) 俯拍受电弓不平行缺陷检测方法、***、设备及存储介质
CN112347967A (zh) 一种复杂场景下融合运动信息的行人检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination