CN110261436A - 基于红外热成像和计算机视觉的轨道故障检测方法及*** - Google Patents

基于红外热成像和计算机视觉的轨道故障检测方法及*** Download PDF

Info

Publication number
CN110261436A
CN110261436A CN201910509281.6A CN201910509281A CN110261436A CN 110261436 A CN110261436 A CN 110261436A CN 201910509281 A CN201910509281 A CN 201910509281A CN 110261436 A CN110261436 A CN 110261436A
Authority
CN
China
Prior art keywords
image
gray
value
track
foreign matter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910509281.6A
Other languages
English (en)
Other versions
CN110261436B (zh
Inventor
李伟华
张敏
佘佳俊
杨皓然
梁祖懿
雷英佳
张泽恒
谭铭濠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan University
University of Jinan
Original Assignee
Jinan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan University filed Critical Jinan University
Priority to CN201910509281.6A priority Critical patent/CN110261436B/zh
Publication of CN110261436A publication Critical patent/CN110261436A/zh
Application granted granted Critical
Publication of CN110261436B publication Critical patent/CN110261436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00—Investigating or analyzing materials by the use of thermal means
    • G01N25/72—Investigating presence of flaws
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于红外热成像和计算机视觉的轨道故障检测方法及***，该方法的步骤为：无人机进行电车轨道图像采集；地面站接收高清摄像头图像数据进行图像预处理；对槽内较暗区域和槽外较亮区域进行两次多阈值轨道区域分割，依据较亮较暗区域相邻的距离特征分割轨道区域，提取得到轨道图像；红外热像图进行灰度化，采用相对温差法提取轨道上的高温区；预处理后的图像与轨道检测窗口叠加，掩膜得到感兴趣区域，感兴趣区域进行边缘闭合判断和填充得到连通区域，筛选连通区域得到疑似轨道异物；疑似轨道异物输入BP神经网络进行识别，得到异物分类结果。本发明实时进行轨道异物识别和温度检测，减少轨道交通的事故发生率，提高电车运行安全性。

Description

基于红外热成像和计算机视觉的轨道故障检测方法及***
技术领域
本发明涉及轨道检测技术领域，具体涉及一种基于红外热成像和计算机视觉的轨道故障检测方法及***。
背景技术
现代有轨电车以绿色环保、安全舒适、灵活便捷的特点走进人们的生活，但是相较地铁而言，现代有轨电车没有完全独立的路权，电车轨道与机动车道重叠或交叉，当有轨电车以较快的速度行驶、较大的客运量时，轨道上的异物就会对电车的行车安全造成极大威胁。目前有轨电车轨道故障检测技术，主要依靠人工作业方式检测和维护——检测速度慢、耗费时间长、安全性低、人力成本高，电车轨道故障检测甚至已经影响到电车的日常运行，电车轨道路段交通受到阻碍，使城市交通堵塞。现有的障碍物检测的技术，按照检测方法主要分为：基于计算机视觉的障碍物检测方法和基于雷达的障碍物检测方法，基于雷达的障碍物检测方法依靠雷达将信号发射出去，并通过测量发射信号和反射信号之间的时间差等物理量得到传感器与目标的距离信息。雷达探测的方法稳定性差，调试设备复杂、成本较高。基于计算机视觉的障碍物检测技术主要依靠安装在车辆上的摄像头获取车辆前方的图像信息，并运用数字图像处理技术来检测障碍物，虽然针对检测区域具备一定的预警功能，但检测区域窄、仅能在车辆行驶时检测障碍物，并不能处理轨道空闲时的日常巡检和紧急情况下的故障巡检。
综上所述，现有的检测技术有一定的局限性，因此，如何高效精确地检测电车轨道的故障成为亟待解决的问题。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供了一种基于红外热成像和计算机视觉的轨道故障检测方法及***，搭载无人机进行巡检，利用温度检测和图像识别对电车轨道故障进行综合检测，包括轨道供电***短路发热的检测和轨道异物(如违规停靠车辆、废弃自行车、大石块)的检测，利用无人机对轨道异物和供电***的短路发热情况进行自动检测，能够在突发状况下进行高效实时地监测，减少轨道交通的事故发生率，提高轨道安全。
为了达到上述目的，本发明采用以下技术方案：
本发明提供一种基于红外热成像和计算机视觉的轨道故障检测方法，包括下述步骤：
S1：将高清摄像头和红外热成像仪安装在无人机上，无人机巡检过程中将获取到的轨道图像实时传回地面站；
S2：图像预处理：地面站接收高清摄像头图像数据，进行图像预处理，所述图像预处理包括图像灰度化、图像滤波、图像加强和边缘检测；
S3：提取轨道图像：采用轨道槽内较暗灰度阈值对高清摄像头图像数据进行一次分割后，再采用轨道槽外较亮灰度阈值进行分割，最后依据较亮较暗区域相邻的距离特征分割轨道区域，提取得到轨道图像；
S4：红外温度检测：根据提取出的轨道图像在高清摄像头采集到的原图中的位置信息，结合红外热成像仪和高清摄像头的位置和角度关系得到红外热像图中对应的轨道位置，并将红外成热像仪接收到的红外热像图灰度化，提取灰度值，采用相对温差法判断轨道上是否存在高温区，若存在则提取高温区并计算区域面积和最高温度点；
S5：疑似轨道异物筛选：将预处理后的图像与提取得到的轨道图像进行叠加，掩膜得到感兴趣区域，对感兴趣区域进行边缘闭合判断和填充，得到连通区域，对连通区域进行筛选，得到疑似轨道异物；
S6：轨道异物识别：将疑似轨道异物输入BP神经网络中进行识别，得到异物分类结果。
作为优选的技术方案，步骤S2中所述图像预处理包括图像灰度化、图像滤波、图像加强和图像边缘检测，具体步骤为：
S21：高清摄像头采集到彩色图像，进行灰度化处理后，得到图像Pgray，表示为：
Pgray＝0.30R+0.59G+0.11B；
其中，R表示彩色图像中的红色分量的像素值，G表示彩色图像中绿色分量的像素值，B表示彩色图像中的蓝色分量的像素值；
S22：采用离散高斯滤波函数进行图像滤波，对图像进行加权平均，采用高斯模板扫描图像中的每个像素点，用像素邻域的加权均值替代高斯模板中心的灰度值，所述离散高斯滤波函数H(i,j)为：
其中，(i,j)表示邻域内一点的坐标，δ表示标准差；
S23：改变图像像素灰度值进行图像加强，处理后的图像像素值为g(x,y)，表示为：
g(X，y)＝[f(x，y)]2；
其中，f(x,y)表示经图像灰度化和图像滤波处理后的图像在(x,y)点处的像素值，图像灰度范围为[0,255]，如果计算的结果g(x,y)超过255，则设定为255；
S24：选取Canny检测算子进行图像边缘检测：先用高斯掩模和经图像灰度化和图像滤波处理后的图像做卷积运算，单个像素的信息不变，然后用一阶偏导差分计算梯度的幅值和方向，再用梯度幅值进行非极大值的抑制，最后用双阈值法检测和连接图像边缘，所述梯度的幅值和方向分别表示为：
其中，Sx、Sy分别代表x，y方向上的图像灰度的偏导数。
作为优选的技术方案，步骤S3中所述采用轨道槽内较暗灰度阈值对高清摄像头图像数据进行一次分割后，再采用轨道槽外较亮灰度阈值进行分割，具体的计算公式为：
其中，f(x,y)表示预处理后的灰度图像，TL表示槽内较暗区域灰度最小值，TH表示槽外较亮区域灰度最大值，分别表示TL和TH上下波动的灰度级范围；
所述依据较亮较暗区域相邻的距离特征分割轨道区域，提取得到轨道图像，具体步骤为：
对槽内较暗区域二值图gL(x,y)和槽外较亮区域二值图gH(x,y)进行膨胀得到对应区域分割二值图和并求解交集，得到轨道区域分割二值图gu(x,y)，表示为：
在轨道区域分割二值图gu(x,y)上确定两侧轨道的起始像素点，跟踪获取轨道上的多个像素点，得到多条轨迹线，从多条轨迹线中提取出两侧轨道的轨迹线，采用最小二乘分段进行二次拟合，构造轨道方程，得到提取的轨道图像。
作为优选的技术方案，步骤S4红外温度检测中所述相对温差法，具体步骤为：
S41：读取红外热成像仪的显示屏上温度值；
S42：将红外热成像图灰度化处理，得到亮度值的信息矩阵；
S43：将温度值与灰度值设置映射关系表示为：
其中，G表示灰度值，T表示温度；
S44：对检测到的轨道温度结果与轨道正常工作时的温度值进行对比，采用曲线拟合得到轨道温度变化趋势，根据温度和灰度的映射关系，以灰度值代替温度值，得到灰度阈值；
S45：通过灰度阈值对故障区域进行分割，设定不同的灰度值，并采用边缘检测提取出超过灰度阈值的故障区域，将故障区域内的像素计数得到区域面积，比较灰度值的大小得到最大灰度值像素点，得到最高温度点。
作为优选的技术方案，步骤S5所述将预处理后的图像与提取得到的轨道图像进行叠加，叠加公式为：
S(i，j)＝R(i，j)&ROI；
其中，R(i，j)表示预处理后的图像，ROI表示感兴趣区域，S(i，j)表示运算结果图像；
所述对连通区域进行筛选，筛选公式为：
DArea≥S；
DHeight≥D∩DWidth≥Dlow∩DWidth≤Dhigh；
其中，DArea代表连通区域所占像素点的个数，DHeight代表连通区域外包围矩形的高度，DWidth代表连通区域外包围矩形的宽度，S、D、Dlow、Dhigh、DRatio分别代表疑似轨道异物的面积、外接最小矩形的长、外接最小矩形的宽、外接最小矩形的对角线长、矩形度；
当筛选公式同时成立时，筛选后的连通区域为疑似轨道异物。
作为优选的技术方案，所述BP神经网络的训练步骤为：
S60：数值初始化：设定BP神经网络输入层节点个数n、隐层节点个数l和输出层个数m，设输入层到隐含层(隐层)的权重为ωij、隐含层到输出层的权重为ωjk、输入层到隐含层的阈值为aj、隐含层到输出层的阈值为bk、学习速率为η和激励函数为g(x)，所述激励函数g(x)采用Sigmoid函数，表示为：
其中x为输入矩阵；
S61：输入训练样本：将高清摄像头拍摄的轨道图像作为原始图像，获得包括待识别异物的图像样本，进行图像灰度化和二值化处理，得到样本的二值化图像，将获得的样本统一到同样比例的大小，输入到BP神经网络中；
S62：判断训练样本是否载入完毕，若载入完毕，执行下一步骤，若未载入完毕，执行步骤S61；
S63：设隐含层的输出为Hj，计算隐含层神经元的输出：
其中，n为输入层节点个数，ωij为输入层到隐含层的权重，xi为输入矩阵，aj为输入层到隐含层的阈值；
S64：设输出层的输出为Ok,计算输出层神经元的输出：
其中，l为隐含层节点个数，ωjk为隐含层到输出层的权重，bk为隐含层到输出层的阈值；
S65：计算误差：
其中，ek为误差，m为输出层节点个数，Yk为期望输出，Ok为输出层的输出；
S66：权值更新：
ωjk＝ωjk+ηHjek
其中，ωij为输入层到隐含层的权重，ωjk为隐含层到输出层的权重，η为学习速率，Hj为隐含层的输出，xi为输入矩阵，m为输出层节点个数，ek为误差；
S67：阈值更新：
bk＝bk+ηek；
其中，aj为输入层到隐含层的阈值，bk为隐含层到输出层的阈值，ωjk为隐含层到输出层的权重，η为学习速率，Hj为隐含层的输出，xi为输入矩阵，m为输出层节点个数，ek为误差；
S68：判断相邻的两次误差之间的差是否小于设定值，若小于设定值，BP神经网络训练结束，若不小于设定值，则循环执行步骤S63-S67。
本发明还提供一种基于红外热成像和计算机视觉的轨道故障检测***，包括：无人机和地面站，所述无人机包括主控模块、飞行控制模块、导航模块、无线通信模块和航拍模块，所述主控模块控制导航模块、无线通信模块和航拍模块，所述飞行控制模块用于控制无人机的飞行状态，所述导航模块用于给无人机提供导航、所述无线通信模块用于无人机与地面站进行无线通讯，所述航拍模块用于获取轨道图像，所述航拍模块包括高清摄像头和红外热成像仪；
所述地面站包括图像预处理模块、轨道图像提取模块、提取高温区模块、疑似轨道异物筛选模块和轨道异物识别模块，所述图像预处理模块用于将高清摄像头图像数据进行预处理，轨道图像提取模块用于进行多阈值轨道区域分割，提取轨道图像，所述提取高温区模块用于进行相对温差判断，提取红外热像图中的高温区域及最高温度点，所述疑似轨道异物筛选模块用于筛选连通区域，得到疑似轨道异物，所述筛选连通区域为感兴趣区域进行边缘闭合判断和填充后得到，所述轨道异物识别模块设有BP神经网络，用于将疑似轨道异物输入BP神经网络进行识别得到异物分类结果。
作为优选的技术方案，所述BP神经网络设有输入层、隐含层和输出层，所述输入层的输入节点数量设为20个，所述输出层的输出节点数量设为3个，所述隐含层的隐含层节点数量设为：
其中，n为隐含层节点数量，ni为输入节点个数，no为输出节点个数，a取[1，10]范围内的常数。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明将无人机运用于轨道巡检，在电车非运营时段或突发故障时，对电车轨道进行巡检，具有准确高效、视野开阔的特点，无人机沿轨道路线航行时，摄像头与地面基本平行，图像背景没有太大变化，得到的动态背景可以近似看作静态，极大地减少了背景干扰，便于提取有效图像信息。
(2)本发明通过多阈值法和骨架提取的思想提取轨道图像，利用轨道槽内较暗灰度阈值对原图进行一次分割后，再利用轨道槽外较亮灰度阈值进行分割，最后依据较亮较暗区域相邻的距离特征分割轨道区域，提取出准确的轨道信息，有效避免了多余信息的干扰。
(3)本发明采用计算机视觉技术，通过疑似轨道异物筛选步骤，有效减少伪异物的影响，并运用人工神经网络进行目标检测，提高了轨道异物识别的准确性。
(4)本发明采用红外热成像温度检测技术，利用温度与灰度值间的映射关系将温度阈值转化为灰度阈值，能够快速准确定位并标记轨道供电***温度过高位置，将故障点信息返回到地面站，便于工作人员及时了解故障情况，展开后续工作。
附图说明
图1为本实施例基于红外热成像和计算机视觉的轨道故障检测方法的流程示意图；
图2为本实施例基于红外热成像和计算机视觉的轨道故障检测方法的红外温度检测流程示意图；
图3为本实施例基于红外热成像和计算机视觉的轨道故障检测方法的疑似轨道异物筛选流程示意图；
图4为本实施例BP神经网络结构示意图；
图5为本实施例BP神经网络训练流程示意图；
图6为本实施例基于红外热成像和计算机视觉的轨道故障检测***的无人机结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
如图1所示，本实施例提供一种基于红外热成像和计算机视觉的轨道故障检测方法，搭载无人机，利用温度检测和图像识别对电车轨道故障进行综合检测，包括轨道供电***短路发热的检测和轨道异物(违规停靠车辆、废弃自行车、大石块)的检测，具有安装方便，调试简单；视野开阔，准确高效检测故障；人力成本低的优势。
本实施例提供的基于红外热成像和计算机视觉的轨道故障检测方法在python环境下开发，使用了OpenCV计算机视觉库，并通过温度阈值转化法和BP神经网络对图像进行分析处理，具体过程包含如下步骤：
S1：将高清摄像头和红外热成像仪安装在无人机上，调节角度和聚焦参数信息，控制无人机按照预先设定的线路进行巡检，无人机巡检过程中将摄像头获取到的有轨电车轨道图像通过5G网络将图像数据实时传回地面站；
S2：图像预处理，地面站接收实时图像数据，首先进行图像预处理，包括图像灰度化、图像滤波、图像加强、边缘检测等，可以减少天气、路况、光照角度的变化对轨道识别的重大影响，提高抗干扰能力，突出轨道信息、快速准确地检测出轨道异物、改善图像，具体步骤如下：
S21：从地面站接收到高清摄像头采集到彩色图像，包含大量如物体颜色等信息，为了缩短处理时间，采用图像灰度化的方式减少计算量，突出图像的有用信息，使用公式：
Pgray＝0.30R+0.59G+0.11B (1)
其中，R代表彩色图像中的红色分量的像素值，G代表彩色图像中绿色分量的像素值，B代表彩色图像中的蓝色分量的像素值，Pgray代表通过转换后的灰度图像；
S22：为提高图像质量，改善由于噪声干扰引起的图像质量问题，使用高斯滤波进行图像去噪，本实施例采用9*9的高斯模板扫描图像中的每个像素点，高斯滤波器用像素邻域的加权均值替代高斯模板中心的灰度值，由于每一邻域像素点权值是随该点与中心点的距离而减小，能够使得图像更加平滑，
本实施例采用的离散高斯滤波函数为：
其中，H(i,j)为滤波函数，(i,j)为邻域内一点的坐标，δ为标准差；
在本实施例中，邻域内一点的坐标(i,j)，代入得到的高斯函数值作为模板的系数；
S23：为提高图像清晰度和对比度，直接通过对图像像素灰度值进行改变，即对比度拉伸来增强图像效果：
g(X，y)＝[f(x，y)]2 (3)；
其中，f(x,y)为经图像灰度化和图像滤波处理后的图像在(x,y)点处的像素值，g(x,y)为处理后的像素值，图像灰度范围是0-255，如果计算的结果超过255，则设定为255，图像加强的方法为在图像较暗部分的亮度和对比度减弱，在相对较亮部分的亮度和对比度加强；
S24：选取Canny检测算子得到完整图像轮廓；先用高斯掩模和经图像灰度化和图像滤波处理后的图像做卷积运算，单个像素的信息不变，其次，用一阶偏导差分计算梯度的幅值和方向，用Sx、Sy代表x，y方向上的图像灰度的偏导数，则梯度的幅值和方向分别表示为：
再用梯度幅值进行非极大值的抑制，最后用双阈值法检测和连接边缘。
S3：提取轨道图像，电车轨道故障的检测范围主要是轨间及轨道上方，且电车轨道采用凹形轨，具有槽内暗槽外亮的特点，采用多阈值轨道区域分割法，对槽内较暗区域和槽外较亮区域进行两次分割，准确提取出轨道信息；
所述的多阈值提取轨道图像是根据电车轨道故障的检测范围主要是轨间及轨道上方的特征，要准确提取出轨道信息，先进行轨道区域分割，再提取轨道特征点。由于有轨电车轨道采用凹形轨，凹形轨道槽内较暗，槽外较亮，灰度值差异明显，且槽内较暗区域和槽外较亮区域相邻，所以利用轨道槽内较暗灰度阈值对地面站接收到的高清摄像头的原始图像进行一次分割后，再利用轨道槽外较亮灰度阈值进行分割，最后依据较亮较暗区域相邻的距离特征分割轨道区域，得到清晰轨道图像。定义预处理后的灰度图像为f(x,y)，确定槽内较暗区域灰度最小值TL和槽外较亮区域灰度最大值TH。槽内较暗区域分割及槽外较亮区域分割分别按以下公式进行：
其中，分别是TL和TH上下波动的灰度级范围，对槽内较暗区域二值图gL(x,y)和槽外较亮区域二值图gH(x,y)进行膨胀得到对应区域分割二值图和
对膨胀后得到的两幅区域分割二值图求交集，如下式所示，得到干扰大量减少的轨道区域较为完整的区域分割二值图。
在阈值分割二值图的基础上，先根据严格的“探测准则”搜索轨道起始点像素，再根据这些点的位置和位置关系使用骨架提取的思想找到目标物体上的其它像素，最后利用一定的先验知识对干扰线段进行剔除，采用最小二乘分段二次拟合的方法构造轨道方程。具体流程如下：
(1)在轨道区域分割二值图gu(x,y)上确定左右两侧轨道的起始像素点；
在gu(x,y)上确定两侧轨道可能的起始点xLn,xRm，n,m＝1,2,3…，定义左侧轨道起始点搜索范围[xLs,xLe]，右侧轨道起始点搜索范围[xRx,xRe]，搜索第Y行，Y始于图像底部，在搜索范围内寻找横向连通区域的中点xLn∈{xLs,xLe},和xRm∈{xRS,xRe}，所有的点都被视为可能的起始点，若搜索范围内无起始点，则搜索Y-1行，依次类推，若直至第Ymin行也未能找到起始点，则放弃本侧轨道起始点的搜索；
(2)跟踪获取轨道上的其他像素，得到多条轨迹线；
利用跟踪准则跟踪每一个起始点都可以得到一条轨迹线，以xL1为例，设xL1所处的横向连通区域为[xL1s,xL1e]，定义其为跟踪搜索范围的初始值，所处行数为yL1，将此区域延拓为[xL1s-Te,xL1e+Te]作为新一行yL1-1的搜索范围，Te为左右延拓的像素点个数，搜索该区域内若干连通区域的中点xL11,xL12,…,xL1k,这些点都被视为跟踪到的轨迹点，若区域内未能找到轨迹点，则搜索yL1-2行，依次类推，若连续Yrow行未能找到轨迹点，则放弃本条轨迹线的搜索，若在当前行跟踪到了轨迹点，就要确定新一行的跟踪搜索范围；设yL1-1跟踪到了轨迹点，则将xL11所处连通区域的左端点xL11s和xL1k所处连通区域的右端点xL1ke加以延拓作为新的跟踪搜索范围[xL11s-Te,xL1ke+Te]，重复此前步骤进行新一行轨迹点的搜索，直至满足限界要求；
(3)从多条轨迹线中提取出最长最完整的左右两条轨迹线；
从多条轨迹线中选取最长最完整的，即为轨道线。像素追踪得到的xL1，xL2,…,xLn条轨迹线中像素点个数最多的作为左侧轨道线，像素追踪得到的xR1,xR2,…,xRm条轨迹线中像素点个数最多的作为右侧轨道线；
(4)采用最小二乘分段二次拟合的方法构造轨道方程；
对采集到的左右轨道特征点按搜索顺序分段，每N个点利用最小二乘法进行二次拟合。对于轨道起始点和终止点未能满足限界要求的情况，分别对开始的N个点和最后的N个点利用最小二乘法进行二次拟合并延长直至满足限界要求，N的具体大小视实际情况而定；
S4：红外温度检测：根据提取出的轨道图像在高清摄像头原图中的位置信息，结合红外热成像仪和高清摄像头之间的位置和角度关系消除一定的误差，得到红外热像图中对应的轨道位置，将红外热成像仪接收到的红外热像图灰度化，提取灰度值，采用相对温差法判断轨道上是否存在高温区，若存在则提取高温区并计算区域面积和最高温度点，保存记录并发送给工作人员，否则继续检测下一帧图像；
如图2所示，本实施例的红外温度检测是以图像的温度值和灰度值相关联的映射特征为基础，采集红外热像图各像素点的温度值与灰度值，将预设的温度阈值转化成灰度阈值确定温升区域；根据红外热像图故障区域的特征，计算故障区域面积与质心，具体步骤如下所述：
S41：从红外热成像仪的显示屏上直接读取出温度值；
S42：将红外热像图灰度化处理，得到亮度值的信息矩阵，范围值为[0,255]；
S43：由于红外热像图具有边缘模糊、对比度差等特点，不利于机器分析，本实施例使用温度值与灰度值的映射函数提高图像的对比度，由于灰度值数据是通过直接灰度化处理得到，所以温度值和灰度值间存在映射关系，选取样本点对温度值和灰度值实施数据拟合；
其中，T和G分别表示温度以及灰度值；
S44：采用纵向对比(即相对温差法)方法，对检测到的轨道温度结果与轨道正常工作时的温度值进行分析，使用曲线拟合的方法得到轨道温度变化趋势，根据温度和灰度的映射关系式，以灰度值代替温度值，得到灰度阈值；
S45：通过灰度阈值进行故障区域的分割，计算区域面积以及发热中心；将超过灰度阈值部分的灰度值设定为255(显示为白色)，其他部分的灰度值设定为0(显示为黑色)，并基于边缘检测提取出超过灰度阈值部分(即故障区域)，本实施例使用MATLAB软件内的region-props函数对故障区域内的像素计数得到区域面积，比较灰度值大小得到最大灰度值像素点，即发热中心点；
在本实施例中，轨道供电***的线路异常，常伴有发热现象，在开关设备触头、导线接头等处接触不良时，通入电流后，由于热损耗会导致局部温度升高，针对轨道及两条轨道之间的范围进行高温检测，能进一步分析判断线路是否异常，及时解决异常；
S5：疑似轨道异物筛选，将预处理后的图像与提取得到的轨道图像进行叠加，掩膜得到感兴趣区域，对感兴趣区域进行边缘闭合判断和填充并使用公式进一步筛选，排除干扰；
如图3所示，本实施例的疑似轨道异物筛选方法是使用掩膜的方法将预处理后的图像与提取出的轨道图像叠加，叠加公式为：
S(i，j)＝R(i，j)&ROI (10)
其中R(i，j)是预处理后的图像，ROI为感兴趣区域，通过R(i，j)与ROI区域的逻辑运算，使运算结果图像S(i，j)中只保留感兴趣区域中的边缘检测信息；
判断感兴趣区域内的边缘检测图像的边缘是否闭合，将闭合图像进行填充，作为连通区域。对连通区域进行面积、尺寸、占空比等统计量进行筛选，筛选公式为：
DArea≥S (11)
DHeight≥D∩DWidth≥Dlow∩DWidth≤Dhigh； (12)
其中，DArea代表连通区域所占像素点的个数，DHeight代表连通区域外包围矩形的高度，DWidth代表连通区域外包围矩形的宽度，S、D、Dlow、Dhigh、DRatio分别代表疑似轨道异物的形状特征常量值：分别为面积、外接最小矩形的长、外接最小矩形的宽、外接最小矩形的对角线长、矩形度；
当(11)(12)(13)三条公式同时满足时，所得连通区域为疑似轨道异物。
S6：轨道异物识别，采用人工神经网络中应用最广的多层前馈神经网络及误差逆传播学习算法，即BP神经网络，将上一步筛选出的疑似轨道异物放入提前训练好的样本库中进行识别，得到具体异物结果，保存数据并报告给工作人员。
在本实施例中，轨道异物识别采用多层前馈神经网络及误差逆传播学习算法，即BP神经网络，如图4所示，BP神经网络由三层组成，输入层、隐含层和输出层。
本实例将轨道异物分为三类：违规停靠车辆、废弃自行车、大石块，所以将输入节点设为20个，输出节点设为3个，隐含层节点的选取根据以下公式确定：
其中，n为隐含层节点数；ni为输入节点个数；no为输出节点个数；a取1-10之间的常数。
如图5所示，本实施例进行神经网络的训练步骤如下：
S60：权值和阈值进行初始化：
确定BP神经网络输入层节点个数n＝20、隐层节点个数l＝8和输出层个数m＝3，设输入层到隐含层的权重为ωij、隐含层到输出层的权重为ωjk、输入层到隐含层的阈值为aj、隐含层到输出层的阈值为bk、学习速率为η和激励函数为g(x)，其中，激励函数g(x)取Sigmoid函数，表示为：
其中x为输入矩阵，随机赋值ωij，ωjk，aj，bk；
S61：输入训练样本；
将无人机***巡检传回的多张图像作为原始图像，获得包括待识别异物的图像样本，本实施例的待识别异物图像样本采用带有违规停放车辆、废弃自行车等的RGB彩色图，进行图像灰度化和二值化处理，得到样本的二值化图像，为了训练的准确性和快速性，在保持车辆和自行车形状特征不失真的条件下，将获得的样本统一到同样比例的大小：300个像素高，200个像素宽，本实施例采用的方法是在所有样本的***补上背景色，即黑色像素；
S62：判断训练样本是否载入完毕，若载入完毕，执行下一步骤，若未载入完毕，执行步骤S61；
S63：设隐含层的输出为Hj，根据下式计算隐含层各神经元的输出：
其中，n为输入层节点个数，ωij为输入层到隐含层的权重，xi为输入矩阵，aj为输入层到隐含层的阈值；
S64：设输出层的输出为Ok,根据下式计算输出层各神经元的输出：
其中，l为隐含层节点个数，ωjk为隐含层到输出层的权重，bk为隐含层到输出层的阈值；
S65：计算误差：
其中，ek为误差，m为输出层节点个数，Yk为期望输出，Ok为输出层的输出；
S66：权值更新：
ωjk＝ωjk+ηHjek
其中，ωij为输入层到隐含层的权重，ωjk为隐含层到输出层的权重，η为学习速率，Hj为隐含层的输出，xi为输入矩阵，m为输出层节点个数，ek为误差；
S67：阈值更新：
bk＝bk+ηek
其中，aj为输入层到隐含层的阈值，bk为隐含层到输出层的阈值，ωjk为隐含层到输出层的权重，η为学习速率，Hj为隐含层的输出，xi为输入矩阵，m为输出层节点个数，ek为误差；
S68：判断相邻的两次误差之间的差是否小于指定的值，即是否达到训练目标，若达到，则训练结束，若未达到，则循环执行步骤S63-S67。
神经网络训练好后，将上一步中得到的疑似轨道异物图像放入网络进行识别，确定异物种类。
本实施例还提供一种基于红外热成像和计算机视觉的轨道故障检测***，包括：无人机和地面站；
如图6所示，无人机包括主控模块、飞行控制模块、导航模块、无线通信模块和航拍模块，所述主控模块控制导航模块、无线通信模块和航拍模块，所述飞行控制模块用于控制无人机的飞行状态，所述导航模块用于给无人机提供导航、所述无线通信模块用于无人机与地面站进行无线通讯，所述航拍模块用于获取轨道图像，所述航拍模块包括高清摄像头和红外热成像仪，高清摄像头和红外热成像仪与轨道平行，用于获取轨道图像；
在本实施例中，地面站包括图像预处理模块、轨道图像提取模块、提取高温区模块、疑似轨道异物筛选模块和轨道异物识别模块，所述图像预处理模块用于将高清摄像头图像数据进行预处理，轨道图像提取模块用于进行多阈值轨道区域分割，提取轨道图像，所述提取高温区模块用于进行相对温差判断，提取红外热像图中的高温区域及高温点，所述疑似轨道异物筛选模块用于筛选连通区域，得到疑似轨道异物，所述筛选连通区域为感兴趣区域进行边缘闭合判断和填充后得到，所述轨道异物识别模块设有BP神经网络，用于将疑似轨道异物输入BP神经网络进行识别得到异物分类结果。
本实施例通过无人机，能够在十几分钟之内对电车轨道上方进行全方位的检测，将人和故障点隔离开来有效保障了检测人员的安全，降低了工作危险性，同时耗时短提高了故障检测的效率，将无人机***传回来的图像进行温度检测和图像识别实时处理，并第一时间通知维修人员，报告故障位置、故障原因，有助于开展维修工作，准确性高时效性好。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于红外热成像和计算机视觉的轨道故障检测方法，其特征在于，包括下述步骤：
S1：将高清摄像头和红外热成像仪安装在无人机上，无人机巡检过程中将获取到的轨道图像实时传回地面站；
S2：图像预处理：地面站接收高清摄像头图像数据，进行图像预处理，所述图像预处理包括图像灰度化、图像滤波、图像加强和边缘检测；
S3：提取轨道图像：采用轨道槽内较暗灰度阈值对高清摄像头图像数据进行一次分割后，再采用轨道槽外较亮灰度阈值进行分割，最后依据较亮较暗区域相邻的距离特征分割轨道区域，提取得到轨道图像；
S4：红外温度检测：根据提取出的轨道图像在高清摄像头采集到的原图中的位置信息，结合红外热成像仪和高清摄像头的位置和角度关系得到红外热像图中对应的轨道位置，并将红外成热像仪接收到的红外热像图灰度化，提取灰度值，采用相对温差法判断轨道上是否存在高温区，若存在则提取高温区并计算区域面积和最高温度点；
S5：疑似轨道异物筛选：将预处理后的图像与提取得到的轨道图像进行叠加，掩膜得到感兴趣区域，对感兴趣区域进行边缘闭合判断和填充，得到连通区域，对连通区域进行筛选，得到疑似轨道异物；
S6：轨道异物识别：将疑似轨道异物输入BP神经网络中进行识别，得到异物分类结果。
2.根据权利要求1所述的基于红外热成像和计算机视觉的轨道故障检测方法，其特征在于，步骤S2中所述图像预处理包括图像灰度化、图像滤波、图像加强和图像边缘检测，具体步骤为：
S21：高清摄像头采集到彩色图像，进行灰度化处理后，得到图像Pgray，表示为：
Pgray＝0.30R+0.59G+0.11B；
其中，R表示彩色图像中的红色分量的像素值，G表示彩色图像中绿色分量的像素值，B表示彩色图像中的蓝色分量的像素值；
S22：采用离散高斯滤波函数进行图像滤波，对图像进行加权平均，采用高斯模板扫描图像中的每个像素点，用像素邻域的加权均值替代高斯模板中心的灰度值，所述离散高斯滤波函数H(i，j)为：
其中，(i，j)表示邻域内一点的坐标，δ表示标准差；
S23：改变图像像素灰度值进行图像加强，处理后的图像像素值为g(x，y)，表示为：
g(x，y)＝[f(x，y)]2；
其中，f(x，y)表示经图像灰度化和图像滤波处理后的图像在(x，y)点处的像素值，图像灰度范围为[0，255]，如果计算的结果g(x，y)超过255，则设定为255；
S24：选取Canny检测算子进行图像边缘检测：先用高斯掩模和经图像灰度化和图像滤波处理后的图像做卷积运算，单个像素的信息不变，然后用一阶偏导差分计算梯度的幅值和方向，再用梯度幅值进行非极大值的抑制，最后用双阈值法检测和连接图像边缘，所述梯度的幅值和方向分别表示为：
其中，Sx、Sy分别代表x，y方向上的图像灰度的偏导数。
3.根据权利要求1所述的基于红外热成像和计算机视觉的轨道故障检测方法，其特征在于，步骤S3中所述采用轨道槽内较暗灰度阈值对高清摄像头图像数据进行一次分割后，再采用轨道槽外较亮灰度阈值进行分割，具体的计算公式为：
其中，f(x，y)表示预处理后的灰度图像，TL表示槽内较暗区域灰度最小值，TH表示槽外较亮区域灰度最大值，分别表示TL和TH上下波动的灰度级范围；
所述依据较亮较暗区域相邻的距离特征分割轨道区域，提取得到轨道图像，具体步骤为：
对槽内较暗区域二值图gL(x，y)和槽外较亮区域二值图gH(x，y)进行膨胀得到对应区域分割二值图和并求解交集，得到轨道区域分割二值图gu(x，y)，表示为：
在轨道区域分割二值图gu(x，y)上确定两侧轨道的起始像素点，跟踪获取轨道上的多个像素点，得到多条轨迹线，从多条轨迹线中提取出两侧轨道的轨迹线，采用最小二乘分段进行二次拟合，构造轨道方程，得到提取的轨道图像。
4.根据权利要求1所述的基于红外热成像和计算机视觉的轨道故障检测方法，其特征在于，步骤S4红外温度检测中所述相对温差法，具体步骤为：
S41：读取红外热成像仪的显示屏上温度值；
S42：将红外热成像图灰度化处理，得到亮度值的信息矩阵；
S43：将温度值与灰度值设置映射关系表示为：
其中，G表示灰度值，T表示温度；
S44：对检测到的轨道温度结果与轨道正常工作时的温度值进行对比，采用曲线拟合得到轨道温度变化趋势，根据温度和灰度的映射关系，以灰度值代替温度值，得到灰度阈值；
S45：通过灰度阈值对故障区域进行分割，设定不同的灰度值，并采用边缘检测提取出超过灰度阈值的故障区域，将故障区域内的像素计数得到区域面积，比较灰度值的大小得到最大灰度值像素点，得到最高温度点。
5.根据权利要求1所述的基于红外热成像和计算机视觉的轨道故障检测方法，其特征在于，步骤S5所述将预处理后的图像与提取得到的轨道图像进行叠加，叠加公式为：
S(i，j)＝R(i，j)&ROI；
其中，R(i，j)表示预处理后的图像，ROI表示感兴趣区域，S(i，j)表示运算结果图像；
所述对连通区域进行筛选，筛选公式为：
DArea≥S；
DHeight≥D∩DWidth≥Dlow∩DWidth≤Dhigh；
其中，DArea代表连通区域所占像素点的个数，DHeight代表连通区域外包围矩形的高度，DWidth代表连通区域外包围矩形的宽度，S、D、Dlow、Dhigh、DRatio分别代表疑似轨道异物的面积、外接最小矩形的长、外接最小矩形的宽、外接最小矩形的对角线长、矩形度；
当筛选公式同时成立时，筛选后的连通区域为疑似轨道异物。
6.根据权利要求1所述的基于红外热成像和计算机视觉的轨道故障检测方法，其特征在于，所述BP神经网络的训练步骤为：
S60：数值初始化：设定BP神经网络输入层节点个数n、隐层节点个数l和输出层个数m，设输入层到隐含层的权重为ωij、隐含层到输出层的权重为ωjk、输入层到隐含层的阈值为aj、隐含层到输出层的阈值为bk、学习速率为η和激励函数为g(x)，所述激励函数g(x)采用Sigmoid函数，表示为：
其中x为输入矩阵；
S61：输入训练样本：将高清摄像头拍摄的轨道图像作为原始图像，获得包括待识别异物的图像样本，进行图像灰度化和二值化处理，得到样本的二值化图像，将获得的样本统一到同样比例的大小，输入到BP神经网络中；
S62：判断训练样本是否载入完毕，若载入完毕，执行下一步骤，若未载入完毕，执行步骤S61；
S63：设隐含层的输出为Hj，计算隐含层神经元的输出：
其中，n为输入层节点个数，ωij为输入层到隐含层的权重，xi为输入矩阵，aj为输入层到隐含层的阈值；
S64：设输出层的输出为Ok，计算输出层神经元的输出：
其中，l为隐含层节点个数，ωjk为隐含层到输出层的权重，bk为隐含层到输出层的阈值；
S65：计算误差：
其中，ek为误差，m为输出层节点个数，Yk为期望输出，Ok为输出层的输出；
S66：权值更新：
ωjk＝ωjk+ηHjek
其中，ωij为输入层到隐含层的权重，ωjk为隐含层到输出层的权重，η为学习速率，Hj为隐含层的输出，xi为输入矩阵，m为输出层节点个数，ek为误差；
S67：阈值更新：
bk＝bk+ηek；
其中，aj为输入层到隐含层的阈值，bk为隐含层到输出层的阈值，ωjk为隐含层到输出层的权重，η为学习速率，Hj为隐含层的输出，xi为输入矩阵，m为输出层节点个数，ek为误差；
S68：判断相邻的两次误差之间的差是否小于设定值，若小于设定值，BP神经网络训练结束，若不小于设定值，则循环执行步骤S63-S67。
7.一种基于红外热成像和计算机视觉的轨道故障检测***，其特征在于，包括：无人机和地面站，所述无人机包括主控模块、飞行控制模块、导航模块、无线通信模块和航拍模块，所述主控模块控制导航模块、无线通信模块和航拍模块，所述飞行控制模块用于控制无人机的飞行状态，所述导航模块用于给无人机提供导航、所述无线通信模块用于无人机与地面站进行无线通讯，所述航拍模块用于获取轨道图像，所述航拍模块包括高清摄像头和红外热成像仪；
所述地面站包括图像预处理模块、轨道图像提取模块、提取高温区模块、疑似轨道异物筛选模块和轨道异物识别模块，所述图像预处理模块用于将高清摄像头图像数据进行预处理，轨道图像提取模块用于进行多阈值轨道区域分割，提取轨道图像，所述提取高温区模块用于进行相对温差判断，提取红外热像图中的高温区域及最高温度点，所述疑似轨道异物筛选模块用于筛选连通区域，得到疑似轨道异物，所述筛选连通区域为感兴趣区域进行边缘闭合判断和填充后得到，所述轨道异物识别模块设有BP神经网络，用于将疑似轨道异物输入BP神经网络进行识别得到异物分类结果。
8.根据权利要求7所述的基于红外热成像和计算机视觉的轨道故障检测***，其特征在于，所述BP神经网络设有输入层、隐含层和输出层，所述输入层的输入节点数量设为20个，所述输出层的输出节点数量设为3个，所述隐含层的隐含层节点数量设为：
其中，n为隐含层节点数量，ni为输入节点个数，no为输出节点个数，a取[1，10]范围内的常数。
CN201910509281.6A 2019-06-13 2019-06-13 基于红外热成像和计算机视觉的轨道故障检测方法及*** Active CN110261436B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910509281.6A CN110261436B (zh) 2019-06-13 2019-06-13 基于红外热成像和计算机视觉的轨道故障检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910509281.6A CN110261436B (zh) 2019-06-13 2019-06-13 基于红外热成像和计算机视觉的轨道故障检测方法及***

Publications (2)

Publication Number Publication Date
CN110261436A true CN110261436A (zh) 2019-09-20
CN110261436B CN110261436B (zh) 2022-03-22

Family

ID=67917947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910509281.6A Active CN110261436B (zh) 2019-06-13 2019-06-13 基于红外热成像和计算机视觉的轨道故障检测方法及***

Country Status (1)

Country Link
CN (1) CN110261436B (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991377A (zh) * 2019-12-11 2020-04-10 辽宁工业大学 一种基于单目视觉神经网络的汽车安全辅助***前方目标识别方法
CN111223097A (zh) * 2020-03-13 2020-06-02 中冶长天国际工程有限责任公司 一种烧结机的台车箅条糊堵度检测方法及***
CN111260906A (zh) * 2020-03-18 2020-06-09 云境商务智能研究院南京有限公司 一种基于嵌入式的智能农业***
CN111256841A (zh) * 2020-03-26 2020-06-09 深圳市永达电子信息股份有限公司 一种轨道状态的检测方法及其检测***
CN111476759A (zh) * 2020-03-13 2020-07-31 深圳市鑫信腾机器人科技有限公司 一种屏幕表面检测方法、装置、终端及存储介质
CN111488868A (zh) * 2020-03-27 2020-08-04 贵州电网有限责任公司 一种基于变压器红外图像的高温区域识别方法及***
CN111751024A (zh) * 2020-06-09 2020-10-09 江苏雷威建设工程有限公司 智能化轨道温度控制方法、***、装置及其存储介质
CN111860404A (zh) * 2020-07-28 2020-10-30 华润智慧能源有限公司 一种光伏板热斑定位方法及***
CN111967526A (zh) * 2020-08-20 2020-11-20 东北大学秦皇岛分校 基于边缘映射和深度学习的遥感图像变化检测方法及***
CN111986168A (zh) * 2020-08-07 2020-11-24 中国农业大学 T形分支的双耳根检测与最佳耳根测温帧检测方法及***
CN112001963A (zh) * 2020-07-31 2020-11-27 浙江大华技术股份有限公司 消防通道的排查的方法、***和计算机设备
CN112051298A (zh) * 2020-09-09 2020-12-08 飞础科智慧科技(上海)有限公司 钢包表面故障诊断方法及设备
CN112115776A (zh) * 2020-08-07 2020-12-22 长江三峡通航管理局 船闸启闭机大型开式齿轮润滑状态监测方法
CN112255141A (zh) * 2020-10-26 2021-01-22 光谷技术股份公司 一种热成像气体监测***
CN112927223A (zh) * 2021-03-29 2021-06-08 南通大学 一种基于红外热成像仪的玻璃幕墙检测方法
CN112947588A (zh) * 2021-03-01 2021-06-11 中国南方电网有限责任公司超高压输电公司贵阳局 无人机电网巡线***
CN113110577A (zh) * 2021-04-15 2021-07-13 中国南方电网有限责任公司超高压输电公司柳州局 电网巡检无人机飞行路线规划管理***
CN113160217A (zh) * 2021-05-12 2021-07-23 北京京东乾石科技有限公司 一种线路异物的检测方法、装置、设备及存储介质
CN113591251A (zh) * 2021-08-17 2021-11-02 中冶北方（大连）工程技术有限公司 设备故障温度分析诊断方法
CN113640308A (zh) * 2021-08-31 2021-11-12 郑州铁路职业技术学院 一种基于机器视觉的轨道异常监测***
CN113673614A (zh) * 2021-08-25 2021-11-19 北京航空航天大学 基于机器视觉的地铁隧道异物入侵检测装置及方法
CN114019879A (zh) * 2021-11-08 2022-02-08 河南数字中原数据有限公司 一种高低压配电柜监控***
CN114383735A (zh) * 2021-12-17 2022-04-22 暨南大学 基于机器视觉的火电机组空冷阵列温度场监测方法及装置
CN114670899A (zh) * 2022-04-20 2022-06-28 北京运达华开科技有限公司 一种轨道检测***用的图像采集装置
CN114937040A (zh) * 2022-07-22 2022-08-23 珠海优特电力科技股份有限公司 轨道交通车辆段的列车巡检方法、装置、***及存储介质
CN115188091A (zh) * 2022-07-13 2022-10-14 国网江苏省电力有限公司泰州供电分公司 一种融合电力输变配设备的无人机网格化巡检***及方法
CN115460895A (zh) * 2022-11-10 2022-12-09 武汉至驱动力科技有限责任公司 基于温度场图像信息的电子水泵控制器散热方法
CN116071287A (zh) * 2021-10-29 2023-05-05 重庆药羚科技有限公司 分液过程监测方法及***、存储介质及终端
CN116468729A (zh) * 2023-06-20 2023-07-21 南昌江铃华翔汽车零部件有限公司 一种汽车底盘异物检测方法、***及计算机
CN116630304A (zh) * 2023-07-18 2023-08-22 东莞市京品精密模具有限公司 一种基于人工智能的锂电池模具加工检测方法及***
CN116721095A (zh) * 2023-08-04 2023-09-08 杭州瑞琦信息技术有限公司 一种航拍式的道路照明故障检测方法及装置
CN111626104B (zh) * 2020-04-13 2023-09-08 国网上海市电力公司 一种基于无人机红外热像的电缆隐患点检测方法和装置
CN116758085A (zh) * 2023-08-21 2023-09-15 山东昆仲信息科技有限公司 一种气体污染红外图像视觉辅助检测方法
CN117341781A (zh) * 2023-12-04 2024-01-05 深圳市鼎善信息科技有限公司 轨道交通故障处理方法、装置、计算机设备及存储介质
CN118230265A (zh) * 2024-05-22 2024-06-21 中数智科(杭州)科技有限公司 一种轨道交通道床异物检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0394932B1 (de) * 1989-04-24 1998-03-04 Siemens Aktiengesellschaft Photothermisches Untersuchungsverfahren, Einrichtung zu seiner Durchführung und Verwendung des Verfahrens
CN102305664A (zh) * 2011-05-19 2012-01-04 中国农业大学 热像测温和故障定位巡视***
CN102508110A (zh) * 2011-10-10 2012-06-20 上海大学 基于纹理的绝缘子缺陷诊断方法
CN102608162A (zh) * 2012-02-20 2012-07-25 首都师范大学 超声红外热图阈值分割方法
CN103308521A (zh) * 2012-08-29 2013-09-18 中国人民解放军第二炮兵工程大学 一种增强红外热波检测图像缺陷对比度的方法
CN206132684U (zh) * 2016-10-21 2017-04-26 上海工程技术大学 一种地铁接触网节点内部缺陷检测装置
CN108932721A (zh) * 2018-06-28 2018-12-04 上海电力学院 一种用于巡检机器人的红外图像分割与融合方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0394932B1 (de) * 1989-04-24 1998-03-04 Siemens Aktiengesellschaft Photothermisches Untersuchungsverfahren, Einrichtung zu seiner Durchführung und Verwendung des Verfahrens
CN102305664A (zh) * 2011-05-19 2012-01-04 中国农业大学 热像测温和故障定位巡视***
CN102508110A (zh) * 2011-10-10 2012-06-20 上海大学 基于纹理的绝缘子缺陷诊断方法
CN102608162A (zh) * 2012-02-20 2012-07-25 首都师范大学 超声红外热图阈值分割方法
CN103308521A (zh) * 2012-08-29 2013-09-18 中国人民解放军第二炮兵工程大学 一种增强红外热波检测图像缺陷对比度的方法
CN206132684U (zh) * 2016-10-21 2017-04-26 上海工程技术大学 一种地铁接触网节点内部缺陷检测装置
CN108932721A (zh) * 2018-06-28 2018-12-04 上海电力学院 一种用于巡检机器人的红外图像分割与融合方法

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991377A (zh) * 2019-12-11 2020-04-10 辽宁工业大学 一种基于单目视觉神经网络的汽车安全辅助***前方目标识别方法
CN110991377B (zh) * 2019-12-11 2023-09-19 辽宁工业大学 一种基于单目视觉神经网络的汽车安全辅助***前方目标识别方法
CN111223097A (zh) * 2020-03-13 2020-06-02 中冶长天国际工程有限责任公司 一种烧结机的台车箅条糊堵度检测方法及***
CN111476759A (zh) * 2020-03-13 2020-07-31 深圳市鑫信腾机器人科技有限公司 一种屏幕表面检测方法、装置、终端及存储介质
CN111223097B (zh) * 2020-03-13 2024-04-19 中冶长天国际工程有限责任公司 一种烧结机的台车箅条糊堵度检测方法及***
CN111260906A (zh) * 2020-03-18 2020-06-09 云境商务智能研究院南京有限公司 一种基于嵌入式的智能农业***
CN111256841A (zh) * 2020-03-26 2020-06-09 深圳市永达电子信息股份有限公司 一种轨道状态的检测方法及其检测***
CN111488868A (zh) * 2020-03-27 2020-08-04 贵州电网有限责任公司 一种基于变压器红外图像的高温区域识别方法及***
CN111488868B (zh) * 2020-03-27 2023-06-30 贵州电网有限责任公司 一种基于变压器红外图像的高温区域识别方法及***
CN111626104B (zh) * 2020-04-13 2023-09-08 国网上海市电力公司 一种基于无人机红外热像的电缆隐患点检测方法和装置
CN111751024A (zh) * 2020-06-09 2020-10-09 江苏雷威建设工程有限公司 智能化轨道温度控制方法、***、装置及其存储介质
CN111860404A (zh) * 2020-07-28 2020-10-30 华润智慧能源有限公司 一种光伏板热斑定位方法及***
CN112001963A (zh) * 2020-07-31 2020-11-27 浙江大华技术股份有限公司 消防通道的排查的方法、***和计算机设备
CN112115776A (zh) * 2020-08-07 2020-12-22 长江三峡通航管理局 船闸启闭机大型开式齿轮润滑状态监测方法
CN111986168B (zh) * 2020-08-07 2024-03-15 中国农业大学 T形分支的双耳根检测与最佳耳根测温帧检测方法及***
CN112115776B (zh) * 2020-08-07 2024-03-12 长江三峡通航管理局 船闸启闭机大型开式齿轮润滑状态监测方法
CN111986168A (zh) * 2020-08-07 2020-11-24 中国农业大学 T形分支的双耳根检测与最佳耳根测温帧检测方法及***
CN111967526B (zh) * 2020-08-20 2023-09-22 东北大学秦皇岛分校 基于边缘映射和深度学习的遥感图像变化检测方法及***
CN111967526A (zh) * 2020-08-20 2020-11-20 东北大学秦皇岛分校 基于边缘映射和深度学习的遥感图像变化检测方法及***
CN112051298A (zh) * 2020-09-09 2020-12-08 飞础科智慧科技(上海)有限公司 钢包表面故障诊断方法及设备
CN112255141A (zh) * 2020-10-26 2021-01-22 光谷技术股份公司 一种热成像气体监测***
CN112255141B (zh) * 2020-10-26 2021-05-11 光谷技术有限公司 一种热成像气体监测***
CN112947588A (zh) * 2021-03-01 2021-06-11 中国南方电网有限责任公司超高压输电公司贵阳局 无人机电网巡线***
CN112927223A (zh) * 2021-03-29 2021-06-08 南通大学 一种基于红外热成像仪的玻璃幕墙检测方法
CN113110577A (zh) * 2021-04-15 2021-07-13 中国南方电网有限责任公司超高压输电公司柳州局 电网巡检无人机飞行路线规划管理***
CN113160217A (zh) * 2021-05-12 2021-07-23 北京京东乾石科技有限公司 一种线路异物的检测方法、装置、设备及存储介质
CN113591251B (zh) * 2021-08-17 2024-04-23 中冶北方（大连）工程技术有限公司 设备故障温度分析诊断方法
CN113591251A (zh) * 2021-08-17 2021-11-02 中冶北方（大连）工程技术有限公司 设备故障温度分析诊断方法
CN113673614B (zh) * 2021-08-25 2023-12-12 北京航空航天大学 基于机器视觉的地铁隧道异物入侵检测装置及方法
CN113673614A (zh) * 2021-08-25 2021-11-19 北京航空航天大学 基于机器视觉的地铁隧道异物入侵检测装置及方法
CN113640308B (zh) * 2021-08-31 2024-03-29 夏冰心 一种基于机器视觉的轨道异常监测***
CN113640308A (zh) * 2021-08-31 2021-11-12 郑州铁路职业技术学院 一种基于机器视觉的轨道异常监测***
CN116071287A (zh) * 2021-10-29 2023-05-05 重庆药羚科技有限公司 分液过程监测方法及***、存储介质及终端
CN114019879B (zh) * 2021-11-08 2024-03-15 河南数字中原数据有限公司 一种高低压配电柜监控***
CN114019879A (zh) * 2021-11-08 2022-02-08 河南数字中原数据有限公司 一种高低压配电柜监控***
CN114383735B (zh) * 2021-12-17 2024-03-26 暨南大学 基于机器视觉的火电机组空冷阵列温度场监测方法及装置
CN114383735A (zh) * 2021-12-17 2022-04-22 暨南大学 基于机器视觉的火电机组空冷阵列温度场监测方法及装置
CN114670899A (zh) * 2022-04-20 2022-06-28 北京运达华开科技有限公司 一种轨道检测***用的图像采集装置
CN115188091A (zh) * 2022-07-13 2022-10-14 国网江苏省电力有限公司泰州供电分公司 一种融合电力输变配设备的无人机网格化巡检***及方法
CN115188091B (zh) * 2022-07-13 2023-10-13 国网江苏省电力有限公司泰州供电分公司 一种融合电力输变配设备的无人机网格化巡检***及方法
CN114937040A (zh) * 2022-07-22 2022-08-23 珠海优特电力科技股份有限公司 轨道交通车辆段的列车巡检方法、装置、***及存储介质
CN114937040B (zh) * 2022-07-22 2022-11-18 珠海优特电力科技股份有限公司 轨道交通车辆段的列车巡检方法、装置、***及存储介质
CN115460895B (zh) * 2022-11-10 2023-02-17 武汉至驱动力科技有限责任公司 基于温度场图像信息的电子水泵控制器散热方法
CN115460895A (zh) * 2022-11-10 2022-12-09 武汉至驱动力科技有限责任公司 基于温度场图像信息的电子水泵控制器散热方法
CN116468729B (zh) * 2023-06-20 2023-09-12 南昌江铃华翔汽车零部件有限公司 一种汽车底盘异物检测方法、***及计算机
CN116468729A (zh) * 2023-06-20 2023-07-21 南昌江铃华翔汽车零部件有限公司 一种汽车底盘异物检测方法、***及计算机
CN116630304A (zh) * 2023-07-18 2023-08-22 东莞市京品精密模具有限公司 一种基于人工智能的锂电池模具加工检测方法及***
CN116630304B (zh) * 2023-07-18 2023-09-19 东莞市京品精密模具有限公司 一种基于人工智能的锂电池模具加工检测方法及***
CN116721095B (zh) * 2023-08-04 2023-11-03 杭州瑞琦信息技术有限公司 一种航拍式的道路照明故障检测方法及装置
CN116721095A (zh) * 2023-08-04 2023-09-08 杭州瑞琦信息技术有限公司 一种航拍式的道路照明故障检测方法及装置
CN116758085A (zh) * 2023-08-21 2023-09-15 山东昆仲信息科技有限公司 一种气体污染红外图像视觉辅助检测方法
CN116758085B (zh) * 2023-08-21 2023-11-03 山东昆仲信息科技有限公司 一种气体污染红外图像视觉辅助检测方法
CN117341781B (zh) * 2023-12-04 2024-03-22 深圳市鼎善信息科技有限公司 轨道交通故障处理方法、装置、计算机设备及存储介质
CN117341781A (zh) * 2023-12-04 2024-01-05 深圳市鼎善信息科技有限公司 轨道交通故障处理方法、装置、计算机设备及存储介质
CN118230265A (zh) * 2024-05-22 2024-06-21 中数智科(杭州)科技有限公司 一种轨道交通道床异物检测方法

Also Published As

Publication number Publication date
CN110261436B (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
CN110261436A (zh) 基于红外热成像和计算机视觉的轨道故障检测方法及***
CN110532889B (zh) 基于旋翼无人飞行器和YOLOv3的轨道异物检测方法
CN105550665B (zh) 一种基于双目视觉的无人驾驶汽车可通区域检测方法
CN104392212B (zh) 一种基于视觉的道路信息检测及前方车辆识别方法
CN105512720B (zh) 一种公交车辆客流统计方法和***
CN106652465A (zh) 一种道路异常驾驶行为的识别方法及***
CN108596129A (zh) 一种基于智能视频分析技术的车辆越线检测方法
CN106951879A (zh) 基于摄像头与毫米波雷达的多特征融合车辆检测方法
CN107031623A (zh) 一种基于车载盲区相机的道路预警方法
DE102009050492A1 (de) Detektion eines freien Pfads unter Verwendung eines segmentierungsbasierten Verfahrens
CN107609522A (zh) 一种基于激光雷达和机器视觉的信息融合车辆检测***
CN105488454A (zh) 基于单目视觉的前方车辆检测与测距
CN105373135A (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及***
CN106022243B (zh) 一种基于图像处理的机动车道车辆逆行识别方法
CN102902974B (zh) 一种基于图像的铁路接触网杆柱标识信息的识别方法
CN107491720A (zh) 一种基于改进型卷积神经网络的车型识别方法
DE102009050504A1 (de) Verfahren zum Detektieren eines freien Pfads durch eine Analyse einer topografischen Veränderung
CN109190483B (zh) 一种基于视觉的车道线检测方法
CN109766746A (zh) 一种无人机航拍视频的轨道异物检测方法
CN111626203B (zh) 一种基于机器学习的铁路异物识别方法及***
DE102009048892A1 (de) Pixelbasierte strukturreiche Detektion eines freien Pfads
DE102009050505A1 (de) Detektion eines freien Pfads durch Strassenmodellerstellung
CN107066968A (zh) 基于目标识别和跟踪的融合策略的车载行人检测方法
CN104778444A (zh) 道路场景下车辆图像的表观特征分析方法
CN105741559A (zh) 一种基于车道线模型的违法占用应急车道检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant