CN112257599B - 一种铁路货车紧固螺栓松动图像识别方法 - Google Patents
一种铁路货车紧固螺栓松动图像识别方法 Download PDFInfo
- Publication number
- CN112257599B CN112257599B CN202011141777.1A CN202011141777A CN112257599B CN 112257599 B CN112257599 B CN 112257599B CN 202011141777 A CN202011141777 A CN 202011141777A CN 112257599 B CN112257599 B CN 112257599B
- Authority
- CN
- China
- Prior art keywords
- image
- bogie
- line
- locking plate
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种铁路货车紧固螺栓松动图像识别方法,涉及图像处理技术领域,针对现有技术中采用人工的方式对紧固螺栓进行故障检测存在准确率低的问题,采用多种图像识别技术分析紧固螺栓故障,提高了工作效率,降低了人工检车的诸多弊端,节约了时间和物质成本。依据侧部转向架图像特征,采用多种图像处理算法定位、识别故障,增加了直方图映射曲线的平滑处理,对平滑曲线提出了查找峰值算法,计算速度快,定位准确、误报警较少。通过三线判定方法得到的线角度及长度,使报警角度可控、可调,能够细化出紧固螺栓松动的严重程度,使故障检测报警更加灵活化。可以根据实际情况,调整紧固螺栓松动到什么程度再去上传报警信息。
Description
技术领域
本发明涉及图像处理技术领域,具体为一种铁路货车紧固螺栓松动图像识别方法。
背景技术
交叉杆端部紧固螺栓为六边形螺栓,紧固螺栓是固定底部转向架交叉杆的重要部件,控制着货车运行过程中转向的稳定性,长时间运行会导致螺栓松动现象;紧固螺栓松动不是拿螺栓来判断的,而是以锁紧板的状态间接的去分析螺栓的状态,如果锁紧板的任何一条边跳出支撑座卡槽,锁紧板位置发生旋转位移,就会导致侧部固定紧固螺栓的锁紧板也会出现角度偏移的现象,因此从锁紧板移位的角度能够判断出紧固螺栓是否松动;
目前各铁路局主要采用的是人工检测货车故障的方式,存在一些弊端,比如检车人员的责任心不够,对车辆故障形态了解不足,工作量大导致的人员疏忽,会导致故障的漏检误检。因此为了降低人工检测造成的漏检误检,提高故障检测效率,确保货车运行安全,提出了人机结合的紧固螺栓松动图像识别方法。
发明内容
本发明的目的是:针对现有技术中采用人工的方式对紧固螺栓进行故障检测存在准确率低的问题,提出一种铁路货车紧固螺栓松动图像识别方法。
本发明为了解决上述技术问题采取的技术方案是:
一种铁路货车紧固螺栓松动图像识别方法,包括以下步骤:
步骤一:读取过车图像:
步骤二:根据过车图像得到转向架区域图像:
步骤三:在转向架区域图像中对转向架上边沿进行定位,得到转向架上边沿位置信息;
步骤四:通过转向架上边沿位置信息对转向架中心位置进行定位;
步骤五:根据转向架中心位置坐标信息截取三角孔区域图像;
步骤六:在三角孔区域图像上进行挡键孔定位;
步骤七:根据挡键孔位置信息定位出锁紧板区域图像,并对锁紧板区域图像上的锁紧板进行三线定位,三线定位为对锁紧板左线、中线、右线进行定位,并根据锁紧板左线、中线、右线得到锁紧板区域图像;
步骤八:在锁紧板区域图像中根据锁紧板左线、中线、右线与水平方向的角度判定锁紧板是否松动,进而判定紧固螺栓是否松动。
进一步的,过车图像通过读取TFDS***数据库获得。
进一步的,步骤三的具体步骤为:
在转向架区域图像img中截取侧架上沿子图像img_1,依据侧架上沿子图像img_1在转向架区域图像img图中的位置,得到img_1在转向架区域图像img上的起始行坐标为R1;
对侧架上沿子图像img_1进行二值化处理;
对二值化后的侧架上沿子图像img_1进行水平方向直方图映射,得到映射曲线S1,对映射曲线进行平滑处理;
遍历平滑后的映射曲线S1,取映射曲线S1的最高峰值peak_R1,即转向架上沿黑色阴影区域中心行坐标;
通过公式truck_R1=peak_R1+R1得到侧架上沿子图像在转向架图像上的行坐标值truck_R1,即为转向架上边沿行坐标值。
进一步的,步骤四的具体步骤为:
(1)依据转向架上边沿行坐标值truck_R1,截取出摇枕子图像img_2,摇枕子图像img_2在转向架区域图像img上的起始行坐标为R2;
(2)对摇枕子图像img_2进行水平方向直方图映射得到映射曲线S2,对映射曲线S2进行平滑处理;
(3)遍历平滑处理后的映射曲线S2,得到S2曲线的峰值,取最高峰值peak_R2,最高峰值peak_R2即为摇枕上沿黑色阴影区域中心行坐标;
(4)针对peak_R2值,通过公式truck_R2=peak_R2+R2得到摇枕上沿子图像在转向架图像上的行坐标值truck_R2;
(5)通过truck_R2值,截取出摇枕上沿子图像img_3;
(6)二值化摇枕上沿子图像img_3;
(7)对二值化后的摇枕上沿子图像img_3进行垂直方向直方图映射,得到映射曲线S3,对映射曲线S3进行平滑处理;
(8)遍历平滑处理后的映射曲线S3,得到S3曲线的峰值,取最高峰值peak_C3,最高峰值peak_C3即为转向架中心位置列坐标。
进一步的,步骤五的具体步骤为:
依据转向架上边沿行坐标值truck_R1及转向架中心位置列坐标peak_C3得到转向架上边沿黑色阴影区域中心位置坐标(truck_R1,peak_C3),并根据转向架上边沿黑色阴影区域中心位置坐标,截取出三角孔子图像img_4,对三角孔子图像img_4进行二值化处理,根据二值化后的三角孔子图像img_4得到三角孔子图像黑色阴影区域;计算连通区域,获取三角孔子图像黑色阴影区域下边界点,下边界顶点坐标为(R4,C4),根据下边界顶点坐标(R4,C4)及连通区域得到三角孔区域图像。
进一步的,步骤六的具体步骤为:
依据三角孔下边界顶点坐标(R4,C4),截取出挡键孔子图像img_5,然后判定转向架对应的挡键孔为圆形或三角形;
若转向架对应的挡键孔是圆形,则对挡键孔子图像img_5进行二值化处理,保留灰度值为0-20的像素点,并计算连通区域,根据连通区域得到挡键孔子图像黑色区域下边界坐标(R5,C5);
若转向架对应的挡键孔是三角形,则二值化挡键孔子图像img_5,并计算连通区域,依据连通区域的长度信息、连通区域面积填充度信息,确定挡键孔子图像黑色区域的下边界,即得到挡键孔下边界坐标(R5,C5)。
进一步的,步骤七中锁紧板进行三线定位的具体步骤为:根据挡键孔下边界坐标(R5,C5)在转向架区域图像中截取出锁紧板子图像img_6;
二值化锁紧板子图像img_6,采用hough线检测算法,获取到锁紧板上的水平黑线作为中线;
依据得到的锁紧板上的水平黑线定位出锁紧板左侧黑色斜线和锁紧板右侧黑色斜线分别作为左线和右线。
进一步的,步骤八包括以下子步骤:
步骤八一:二值化锁紧板区域图像,采用hough线检测算法,检测出三条线与水平方向的角度分别为左线α、中线β、右线θ;
步骤八二:若三条线未全部存在,则报警紧固螺栓松动,若三条线均存在,则判定左线α、中线β、右线θ是否处于阈值范围内,若未全部处于阈值范围内,则报警紧固螺栓松动,阈值范围为:
左线角度25°<α<65°;
中线角度β>10°;
右线角度25°<θ<65°。
进一步的,步骤八一之前还包括:
判定车辆表面为新漆或旧漆,若为旧漆,则不作处理,若为新漆,则将锁紧板区域图像的图像对比度系数值调为2。
进一步的,判定车辆表面为新漆或旧漆的具体步骤为:
计算锁紧板子图像img_6的像素均值,并根据先验知识得到正常均值,若低于正常像素均值50,则认为图像偏黑,为新车;若高于正常像素均值50,则认为是旧车;或者,
计算锁紧板子图像img_6的白色像素点,并根据先验知识得到正常均值,若白色像素点个数比正常值多1000个及以上时,则认为过亮,为新车;否则为旧车。
本发明的有益效果是:
1、采用多种图像识别技术分析紧固螺栓故障,提高了工作效率,降低了人工检车的诸多弊端,节约了时间和物质成本。
2、依据侧部转向架图像特征,采用多种图像处理算法定位、识别故障,增加了直方图映射曲线的平滑处理,对平滑曲线提出了查找峰值算法,计算速度快,定位准确、误报警较少。
3、通过三线判定方法得到的线角度及长度,使报警角度可控、可调,能够细化出紧固螺栓松动的严重程度,使故障检测报警更加灵活化。可以根据实际情况,调整紧固螺栓松动到什么程度再去上传报警信息。
4、增加亮度调整机制,对新车与旧车做一个图像判断,针对不同情况的图像做不同的处理,提高定位算法的准确率,降低了图像对算法的干扰。
附图说明
图1(a)为映射曲线及平滑处理示意图1;
图1(b)为映射曲线及平滑处理示意图2;
图2为具体实施方式二基于黑色阴影定位紧固螺栓流程图;
图3(a)为基于黑色阴影定位紧固螺栓过程示意图1;
图3(b)为基于黑色阴影定位紧固螺栓过程示意图2;
图3(c)为基于黑色阴影定位紧固螺栓过程示意图3;
图3(d)为基于黑色阴影定位紧固螺栓过程示意图4;
图3(e)为基于黑色阴影定位紧固螺栓过程示意图5;
图3(f1)为基于黑色阴影定位紧固螺栓过程示意图6;
图3(f2)为基于黑色阴影定位紧固螺栓过程示意图7;
图3(g)为基于黑色阴影定位紧固螺栓过程示意图8;
图3(h1)为基于黑色阴影定位紧固螺栓过程示意图9;
图3(h2)为基于黑色阴影定位紧固螺栓过程示意图10;
图3(h3)为基于黑色阴影定位紧固螺栓过程示意图11;
图4(a)为锁紧板三线二值化图1;
图4(b)为锁紧板三线二值化图2;
图5为紧固螺栓松动图像识别流程图;
图6(a)为三角孔区域示意图1;
图6(b)为三角孔区域示意图2;
图7为本申请螺栓松动识别流程图。
具体实施方式
需要特别说明的是,在不冲突的情况下,本申请公开的各个实施例之间可以相互组合。
具体实施方式一:参照说明书附图7具体说明本实施方式,本实施方式的一种铁路货车紧固螺栓松动图像识别方法,包括以下步骤:
步骤一:读取过车图像:
步骤二:根据过车图像得到转向架区域图像:
步骤三:在转向架区域图像中对转向架上边沿进行定位,得到转向架上边沿位置信息;
步骤四:通过转向架上边沿位置信息对转向架中心位置进行定位;
步骤五:根据转向架中心位置坐标信息截取三角孔区域图像;
步骤六:在三角孔区域图像上进行挡键孔定位;
步骤七:根据挡键孔位置信息定位出锁紧板区域图像,并对锁紧板区域图像上的锁紧板进行三线定位,三线定位为对锁紧板左线、中线、右线进行定位,并根据锁紧板左线、中线、右线得到锁紧板区域图像;
步骤八:在锁紧板区域图像中根据锁紧板左线、中线、右线与水平方向的角度判定锁紧板是否松动,进而判定紧固螺栓是否松动。
若判定紧固螺栓松动,则可以输出用于表征紧固螺栓松动的故障信息。
具体实施方式二:本实施方式为具体实施方式一的改进,本实施方式与具体实施方式一的区别是:过车图像通过读取TFDS***数据库获得。具体流程如图5所示。
本文图像识别紧固螺栓松动具体步骤如下:
读取数据库、获取图像
通过读取TFDS***数据库,获取过车信息以及对应的过车图像,此时相机存储的图像均为1400*1024大小的图像,因此需要采用图像拼接方法,将每一辆车拼接成一张完整的转向架图像,完整的转向架图像img如图2中图a所示。
具体实施方式三:本实施方式为具体实施方式二的改进,本实施方式与具体实施方式二的区别是:步骤三的具体步骤为:
在转向架区域图像img中截取侧架上沿子图像img_1,依据侧架上沿子图像img_1在转向架区域图像img图中的位置,得到img_1在转向架区域图像img上的起始行坐标为R1;
对侧架上沿子图像img_1进行二值化处理;
对二值化后的侧架上沿子图像img_1进行水平方向直方图映射,得到映射曲线S1,对映射曲线进行平滑处理;
遍历平滑后的映射曲线S1,取映射曲线S1的最高峰值peak_R1,即转向架上沿黑色阴影区域中心行坐标;
通过公式truck_R1=peak_R1+R1得到侧架上沿子图像在转向架图像上的行坐标值truck_R1,即为转向架上边沿行坐标值。
黑色阴影定位转向架上边沿
(1)在转向架区域图像中截取侧架上沿子图像img_1,img_1在完整转向架图像img上的起始行坐标为R1;
(2)二值化子图像img_1,突出长条黑色阴影区域;
(3)对二值化子图像img_1进行水平方向直方图映射,得到映射曲线S1如图1(左)所示,对映射曲线进行平滑处理,去除毛刺,得到图1(右)所示;
(4)编写查找曲线峰值算法,遍历平滑后的映射曲线S1,计算出S1曲线的峰值,且只取唯一的最高峰值peak_R1,这个峰值即为黑色阴影区域中心行坐标(图1中波形顶点);
(5)将peak_R1值转换回完整转向架图像上的行坐标值为truck_R1,计算方式为:truck_R1=peak_R1+R1,truck_R1即为转向架上边沿行坐标值。
具体实施方式四:本实施方式为具体实施方式三的改进,本实施方式与具体实施方式三的区别是步骤四的具体步骤为:
(1)依据转向架上边沿行坐标值truck_R1,并结合先验知识(根据先验知识可知摇枕与转向架上边沿的相对位置关系,然后通过移动可以粗截取出摇枕子图像)截取出摇枕子图像img_2,摇枕子图像img_2在转向架区域图像img上的起始行坐标为R2;
(2)对摇枕子图像img_2进行水平方向直方图映射得到映射曲线S2,对映射曲线S2进行平滑处理;
(3)遍历平滑处理后的映射曲线S2,得到S2曲线的峰值,取最高峰值peak_R2,最高峰值peak_R2即为摇枕上沿黑色阴影区域中心行坐标;
(4)针对peak_R2值,通过公式truck_R2=peak_R2+R2得到摇枕上沿子图像在转向架图像上的行坐标值truck_R2;
(5)通过truck_R2值,截取出图摇枕上沿子图像img_3;
(6)二值化摇枕上沿子图像img_3;
(7)对二值化后的摇枕上沿子图像img_3进行垂直方向直方图映射,得到映射曲线S3,对映射曲线S3进行平滑处理;
(8)遍历平滑处理后的映射曲线S3,得到S3曲线的峰值,取最高峰值peak_C3,最高峰值peak_C3即为转向架中心位置列坐标。
黑色阴影定位转向架中心位置
(1)依据上一步得到的转向架上边沿行坐标值truck_R1,截取(本申请中的截取依据货车经验值进行粗截取,通过前一步的细定位的结果,继续粗略的截取出下一步要细定位的子图像,这样经过粗截取出含有目标的子图像,在对其细定位,精确定位出目标。)出图b中白色框区域摇枕子图像img_2,img_2在完整转向架图像img上的起始行坐标为R2;
(2)对图像img_2进行水平方向直方图映射得到映射曲线S2,对映射曲线进
行平滑处理,去除毛刺;
(3)编写查找曲线峰值算法,遍历映射曲线S2,计算出S2曲线的峰值,且只取唯一的最高峰值peak_R2;
(4)将peak_R2值转换回完整转向架图像上的行坐标值为truck_R2,计算方式为:truck_R2=peak_R2+R2
(5)通过truck_R2值,截取出图c摇枕上沿子图像img_3;
(6)二值化img_3,突出黑色阴影区域;
(7)对图像img_3进行垂直方向直方图映射得到映射曲线S3,对映射曲线进行平滑处理,去除毛刺;
(8)编写查找曲线峰值算法,遍历映射曲线S3,计算出S3曲线的峰值,且只
取唯一的最高峰值peak_C3,该值即为转向架中心位置列坐标;
综合以上两大步骤得出转向架中心位置定位坐标为(truck_R1,peak_C3),如图d白色线交叉点坐标所示。
具体实施方式五:本实施方式为具体实施方式四的改进,本实施方式与具体实施方式四的区别是步骤五的具体步骤为:
依据转向架上边沿行坐标值truck_R1及转向架中心位置列坐标peak_C3得到转向架上边沿黑色阴影区域中心位置坐标(truck_R1,peak_C3),并根据转向架上边沿黑色阴影区域中心位置,并结合先验知识(与摇枕截取原理相同)截取出三角孔子图像img_4,对三角孔子图像img_4进行二值化处理,根据二值化后的三角孔子图像img_4得到三角孔子图像黑色阴影区域;计算连通区域,获取三角孔子图像黑色阴影区域下边界点,下边界顶点坐标为(R4,C4),根据下边界顶点坐标(R4,C4)及连通区域得到三角孔区域图像。
根据连通区域,由下向上遍历,第一个像素点为边界顶点,然后根据连通区域并结合先验知识可得到三角孔大致区域。
三角孔定位
通过以上三步,得到了侧部转向架的中心位置坐标(truck_R1,peak_C3),依据这个坐标,可以继续进一步定位,按照图像从上到下的定位方式,接下来定位固定位置三角孔,如图e所示位置。
依据侧部转向架中心位置坐标(truck_R1,peak_C3),截取出三角孔子图像
img_4,如图e所示;
二值化图像img_4,突出三角孔下方黑色阴影区域(形状类似√勾状);
计算联通区域,获取黑色√勾状区域下边界点,得到下边界顶点坐标为
(R4,C4);
三角孔定位结束,进入下一步。
具体实施方式六:本实施方式为具体实施方式五的改进,本实施方式与具体实施方式五的区别是步骤六的具体步骤为:
依据三角孔下边界顶点坐标(R4,C4),截取(截取原理与摇枕相同)出挡键孔子图像img_5,然后判定转向架对应的挡键孔为圆形或三角形;
若转向架对应的挡键孔是圆形,则对挡键孔子图像img_5进行二值化处理,保留灰度值为0-20的像素点,并计算连通区域,根据连通区域得到(根据连通区域,由下向上遍历,第一个像素点为下边界坐标点,并结合先验知识,可以大致截取出挡键孔子图像黑色区域)挡键孔子图像黑色区域下边界坐标(R5,C5);
若转向架对应的挡键孔是三角形,则二值化挡键孔子图像img_5,并计算连通区域,依据连通区域的长度信息、连通区域面积填充度信息,确定挡键孔子图像黑色区域的下边界,即得到挡键孔下边界坐标(R5,C5)。
挡键孔定位
挡键孔是距离紧固螺栓最近的固定部件,由于货车转向架有型号差异,因此针对不同转向架挡键孔的特征,采用不同的定位方式定位挡键孔。
获取数据库转向架类型,针对不同车型,选择对应的挡键孔定位算法;
依据三角孔下边界顶点坐标(R4,C4),截取出如图f所示的挡键孔子图像img_5,如图f所示,左侧转向架类型是圆形挡键孔,右侧转向架是三角形挡键孔,两类转向架都存在黑色阴影区域;
若该转向架对应的挡键孔是圆形,则对二值化子图img_5进行灰度值为0-20的像素统计,即统计圆孔中黑色区域的面积,计算连通区域,获取到黑色区域下边界坐标为(R5,C5);
若该转向架对应的挡键孔是三角形,则二值化子图img_5,突出黑色长条阴影区域,计算连通区域,依据连通区域的长度信息、连通区域面积填充度等信息,确定黑色粗长条的下边界,即得到挡键孔下边界,坐标为(R5,C5);
挡键孔定位完毕,进入下一步。
具体实施方式七:本实施方式为具体实施方式六的改进,本实施方式与具体实施方式六的区别是步骤七的具体步骤为:根据挡键孔下边界坐标(R5,C5)并结合先验知识在转向架区域图像中截取出锁紧板子图像img_6;
二值化锁紧板子图像img_6,采用hough线检测算法,获取到锁紧板上的水平黑线;
依据得到的锁紧板上的水平黑线定位出锁紧板左侧黑色斜线和锁紧板右侧黑色斜线。
锁紧板三线定位
由挡键孔下边沿坐标(R5,C5)即可得到锁紧板区域上边沿位置。
截取出锁紧板子图像img_6,如图g所示;
二值化锁紧板子图像img_6,采用hough线检测算法,检测最上沿黑色阴影所在的直线,获取到锁紧板上面的近似水平黑线;
依据水平黑线,定位出左侧黑色斜线和右侧黑色斜线子图,如图h所示。
经过以上步骤,就定位出锁紧板的三条黑色阴影线区域,如图h所示
具体实施方式八:本实施方式为具体实施方式七的改进,本实施方式与具体实施方式七的区别是步骤八的具体步骤为:
步骤八一:判定车辆表面为新漆或旧漆,若为旧漆,则不作处理,若为新漆,则将锁紧板区域图像的图像对比度系数值调为2;
步骤八二:二值化锁紧板区域图像,采用hough线检测算法,检测出三条线与水平方向的角度分别为左线α、中线β、右线θ;
步骤八三:若三条线未全部存在,则报警紧固螺栓松动,若三条线均存在,则判定左线α、中线β、右线θ是否处于阈值范围内,若未全部处于阈值范围内,则报警紧固螺栓松动,阈值范围为:
左线角度25°<α<65°;
中线角度β>10°;
右线角度25°<θ<65°。
锁紧板三线判定
锁紧板的三条线已经定位到,只要判断出这三条线的角度及其位置关系,就可以判断锁紧板是否有位置偏移,若位置偏移,则可以判断出此时紧固螺栓松动。锁紧板三线判定方法如下:
首先根据截取的紧固螺栓子图像img_6,增加亮度更新判断,新车由于涂上了新漆,拍摄出来的图像会又黑又亮,影响三线黑色阴影的判断,此时针对新车和旧车,输入的三线检测判定条件不同,若是新车,则将子图像进行灰度值调整,提高对比度。
故障信息输出
通过上一步三线判定方法,可以灵活的设置故障报警角度,调整各条线的角度报警范围,例如:左线报警范围可以调整为20°<α<70°,这样意味着紧固螺栓松动程度较轻的不报警;左线报警范围调整为30°<α<60°,这样意味着紧固螺栓松动程度较轻的即可报警。这样设置使报警角度可控、可调,能够细化出紧固螺栓松动的严重程度,使故障检测报警更加灵活化。可以根据实际情况,调整紧固螺栓松动到什么程度再去上传报警信息。需要注意的是,本申请中的左线、中线、右线为螺栓上的三条“非直角”边,并且,若螺栓旋转角度大于等于一周,那么锁紧板相当于板跳出卡槽之外了,螺栓基本就丢失了,并不会出现在图像范围内,所以出现这种情况时,一般图像中不会有螺栓,即可以直接判定螺栓松动。综上,将检测到的报警信息直接上传到检车平台,待人工进一步确认是否存在紧固螺栓松动情况,本文的基于图像识别的紧固螺栓松动检测方法流程图如图4所示。
具体实施方式九:本实施方式为具体实施方式八的改进,本实施方式与具体实施方式八的区别是判定车辆表面为新漆或旧漆的具体步骤为:
计算锁紧板子图像img_6的像素均值,并根据先验知识得到正常均值,若低于正常像素均值50,则认为图像偏黑,为新车;若高于正常像素均值50,则认为是旧车。3
具体实施方式十:本实施方式为具体实施方式九的改进,本实施方式与具体实施方式九的区别是判定车辆表面为新漆或旧漆的具体步骤为:
计算锁紧板子图像img_6的白色像素点,并根据先验知识得到正常均值,若白色像素点个数比正常值多1000个及以上时,则认为过亮,为新车;否则为旧车。
需要注意的是,具体实施方式仅仅是对本发明技术方案的解释和说明,不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的,仍应落入本发明的保护范围内。
Claims (8)
1.一种铁路货车紧固螺栓松动图像识别方法,包括以下步骤:
步骤一:读取过车图像:
步骤二:根据过车图像得到转向架区域图像:
步骤三:在转向架区域图像中对转向架上边沿进行定位,得到转向架上边沿位置信息;
步骤四:通过转向架上边沿位置信息对转向架中心位置进行定位;
步骤五:根据转向架中心位置坐标信息截取三角孔区域图像;
步骤六:在三角孔区域图像上进行挡键孔定位;
步骤七:根据挡键孔位置信息定位出锁紧板区域图像,并对锁紧板区域图像上的锁紧板进行三线定位,所述三线定位为对锁紧板左线、中线、右线进行定位,并根据锁紧板左线、中线、右线得到锁紧板区域图像;
步骤八:在锁紧板区域图像中根据锁紧板左线、中线、右线与水平方向的角度判定锁紧板是否松动,进而判定紧固螺栓是否松动;
其特征在于所述步骤三的具体步骤为:
在转向架区域图像img中截取侧架上沿子图像img_1,依据侧架上沿子图像img_1在转向架区域图像img图中的位置,得到img_1在转向架区域图像img上的起始行坐标为R1;
对侧架上沿子图像img_1进行二值化处理;
对二值化后的侧架上沿子图像img_1进行水平方向直方图映射,得到映射曲线S1,对映射曲线进行平滑处理;
遍历平滑后的映射曲线S1,取映射曲线S1的最高峰值peak_R1,即转向架上沿黑色阴影区域中心行坐标;
通过公式truck_R1=peak_R1+R1得到侧架上沿子图像在转向架图像上的行坐标值truck_R1,即为转向架上边沿行坐标值;
所述步骤四的具体步骤为:
(1)依据转向架上边沿行坐标值truck_R1,截取出摇枕子图像img_2,摇枕子图像img_2在转向架区域图像img上的起始行坐标为R2;
(2)对摇枕子图像img_2进行水平方向直方图映射得到映射曲线S2,对映射曲线S2进行平滑处理;
(3)遍历平滑处理后的映射曲线S2,得到S2曲线的峰值,取最高峰值peak_R2,最高峰值peak_R2即为摇枕上沿黑色阴影区域中心行坐标;
(4)针对peak_R2值,通过公式truck_R2=peak_R2+R2得到摇枕上沿子图像在转向架图像上的行坐标值truck_R2;
(5)通过truck_R2值,截取出摇枕上沿子图像img_3;
(6)二值化摇枕上沿子图像img_3;
(7)对二值化后的摇枕上沿子图像img_3进行垂直方向直方图映射,得到映射曲线S3,对映射曲线S3进行平滑处理;
(8)遍历平滑处理后的映射曲线S3,得到S3曲线的峰值,取最高峰值peak_C3,最高峰值peak_C3即为转向架中心位置列坐标。
2.根据权利要求1所述的一种铁路货车紧固螺栓松动图像识别方法,其特征在于所述过车图像通过读取TFDS***数据库获得。
3.根据权利要求1所述的一种铁路货车紧固螺栓松动图像识别方法,其特征在于所述步骤五的具体步骤为:
依据转向架上边沿行坐标值truck_R1及转向架中心位置列坐标peak_C3得到转向架上边沿黑色阴影区域中心位置坐标(truck_R1,peak_C3),并根据转向架上边沿黑色阴影区域中心位置坐标,截取出三角孔子图像img_4,对三角孔子图像img_4进行二值化处理,根据二值化后的三角孔子图像img_4得到三角孔子图像黑色阴影区域;计算连通区域,获取三角孔子图像黑色阴影区域下边界点,下边界顶点坐标为(R4,C4),根据下边界顶点坐标(R4,C4)及连通区域得到三角孔区域图像。
4.根据权利要求3所述的一种铁路货车紧固螺栓松动图像识别方法,其特征在于所述步骤六的具体步骤为:
依据三角孔下边界顶点坐标(R4,C4),截取出挡键孔子图像img_5,然后判定转向架对应的挡键孔为圆形或三角形;
若转向架对应的挡键孔是圆形,则对挡键孔子图像img_5进行二值化处理,保留灰度值为0-20的像素点,并计算连通区域,根据连通区域得到挡键孔子图像黑色区域下边界坐标(R5,C5);
若转向架对应的挡键孔是三角形,则二值化挡键孔子图像img_5,并计算连通区域,依据连通区域的长度信息、连通区域面积填充度信息,确定挡键孔子图像黑色区域的下边界,即得到挡键孔下边界坐标(R5,C5)。
5.根据权利要求4所述的一种铁路货车紧固螺栓松动图像识别方法,其特征在于所述步骤七中锁紧板进行三线定位的具体步骤为:根据挡键孔下边界坐标(R5,C5)在转向架区域图像中截取出锁紧板子图像img_6;
二值化锁紧板子图像img_6,采用hough线检测算法,获取到锁紧板上的水平黑线作为中线;
依据得到的锁紧板上的水平黑线定位出锁紧板左侧黑色斜线和锁紧板右侧黑色斜线分别作为左线和右线。
6.根据权利要求1所述的一种铁路货车紧固螺栓松动图像识别方法,其特征在于所述步骤八包括以下子步骤:
步骤八一:二值化锁紧板区域图像,采用hough线检测算法,检测出三条线与水平方向的角度分别为左线α、中线β、右线θ;
步骤八二:若三条线未全部存在,则报警紧固螺栓松动,若三条线均存在,则判定左线α、中线β、右线θ是否处于阈值范围内,若未全部处于阈值范围内,则报警紧固螺栓松动,所述阈值范围为:
左线角度25°<α<65°;
中线角度β>10°;
右线角度25°<θ<65°。
7.根据权利要求6所述的一种铁路货车紧固螺栓松动图像识别方法,其特征在于在所述步骤八一之前还包括:
判定车辆表面为新漆或旧漆,若为旧漆,则不作处理,若为新漆,则将锁紧板区域图像的图像对比度系数值调为2。
8.根据权利要求7所述的一种铁路货车紧固螺栓松动图像识别方法,其特征在于所述判定车辆表面为新漆或旧漆的具体步骤为:
计算锁紧板子图像img_6的像素均值,并根据先验知识得到正常均值,若低于正常像素均值50,则认为图像偏黑,为新车;若高于正常像素均值50,则认为是旧车;或者
计算锁紧板子图像img_6的白色像素点,并根据先验知识得到正常均值,若白色像素点个数比正常值多1000个及以上时,则认为过亮,为新车;否则为旧车。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011141777.1A CN112257599B (zh) | 2020-10-22 | 2020-10-22 | 一种铁路货车紧固螺栓松动图像识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011141777.1A CN112257599B (zh) | 2020-10-22 | 2020-10-22 | 一种铁路货车紧固螺栓松动图像识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112257599A CN112257599A (zh) | 2021-01-22 |
CN112257599B true CN112257599B (zh) | 2021-06-04 |
Family
ID=74263335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011141777.1A Active CN112257599B (zh) | 2020-10-22 | 2020-10-22 | 一种铁路货车紧固螺栓松动图像识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112257599B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112257599B (zh) * | 2020-10-22 | 2021-06-04 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路货车紧固螺栓松动图像识别方法 |
CN117105038B (zh) * | 2023-10-17 | 2024-01-05 | 山西戴德测控技术股份有限公司 | 一种提升机运行监测方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103500328A (zh) * | 2013-10-16 | 2014-01-08 | 北京航空航天大学 | 铁路货车锁紧板偏转故障的自动检测方法 |
CN108898574A (zh) * | 2018-05-09 | 2018-11-27 | 江苏大学 | 列车转向架交叉支撑装置端头螺栓松动故障自动检测方法 |
CN111652212A (zh) * | 2020-05-21 | 2020-09-11 | 哈尔滨市科佳通用机电股份有限公司 | 基于深度学习的交叉杆端部紧固螺栓丢失故障检测方法 |
CN112257599A (zh) * | 2020-10-22 | 2021-01-22 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路货车紧固螺栓松动图像识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109389566B (zh) * | 2018-10-19 | 2022-01-11 | 辽宁奇辉电子***工程有限公司 | 基于边界特征的地铁高度调节阀紧固螺母不良状态检测方法 |
-
2020
- 2020-10-22 CN CN202011141777.1A patent/CN112257599B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103500328A (zh) * | 2013-10-16 | 2014-01-08 | 北京航空航天大学 | 铁路货车锁紧板偏转故障的自动检测方法 |
CN108898574A (zh) * | 2018-05-09 | 2018-11-27 | 江苏大学 | 列车转向架交叉支撑装置端头螺栓松动故障自动检测方法 |
CN111652212A (zh) * | 2020-05-21 | 2020-09-11 | 哈尔滨市科佳通用机电股份有限公司 | 基于深度学习的交叉杆端部紧固螺栓丢失故障检测方法 |
CN112257599A (zh) * | 2020-10-22 | 2021-01-22 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路货车紧固螺栓松动图像识别方法 |
Non-Patent Citations (1)
Title |
---|
"基于机器视觉的货车典型故障图像识别算法研究";刘翔;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160415;第4章 * |
Also Published As
Publication number | Publication date |
---|---|
CN112257599A (zh) | 2021-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10943131B2 (en) | Image based lane marking classification | |
CN112257599B (zh) | 一种铁路货车紧固螺栓松动图像识别方法 | |
CN105260713B (zh) | 一种车道线检测方法和装置 | |
CN109583280A (zh) | 车道线识别方法、装置、设备及存储介质 | |
US10360460B2 (en) | Method and device of lane departure warning and automobile driving assistance system | |
CN104966049B (zh) | 基于图像的货车检测方法 | |
US11482016B2 (en) | Division line recognition apparatus | |
US8107683B2 (en) | Method and system for in-vehicle image processing | |
CN109029283B (zh) | 一种基于高度比对的轨道扣件螺栓浮起检测方法 | |
CN110567680B (zh) | 一种基于角度比对的轨道扣件松动检测方法 | |
CN105203552A (zh) | 一种360°踏面图像检测***及其检测方法 | |
CN110414355A (zh) | 基于视觉的右方位空停车位与泊车过程中车位线检测方法 | |
CN102419820A (zh) | 一种快速检测视频与图像中汽车车标的方法 | |
CN104870934A (zh) | 用于测量轮胎的胎纹深度的装置和方法 | |
CN111080650B (zh) | 铁路货车小部件轴承挡键螺母松动和丢失故障检测方法 | |
CN106887004A (zh) | 一种基于块匹配的车道线检测方法 | |
CN109389566B (zh) | 基于边界特征的地铁高度调节阀紧固螺母不良状态检测方法 | |
CN108256445B (zh) | 车道线检测方法及*** | |
CN107798293A (zh) | 一种道路裂缝检测装置 | |
CN110634123A (zh) | 一种采用深度图像的轨道扣件紧固件松动检测方法 | |
US20190279003A1 (en) | Lane line detection method | |
CN108797241B (zh) | 一种基于高度比对的轨道扣件螺帽松动检测方法 | |
CN113011283A (zh) | 一种基于视频的非接触式钢轨轨枕相对位移实时测量方法 | |
CN113781537A (zh) | 一种轨道弹条扣件缺陷识别方法、装置和计算机设备 | |
JP5983729B2 (ja) | 白線検出装置、白線検出フィルタ装置及び白線検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |