CN109584238B - 一种基于立体视觉的弓网运行状况在线检测***及方法 - Google Patents

一种基于立体视觉的弓网运行状况在线检测***及方法 Download PDF

Info

Publication number
CN109584238B
CN109584238B CN201811493178.9A CN201811493178A CN109584238B CN 109584238 B CN109584238 B CN 109584238B CN 201811493178 A CN201811493178 A CN 201811493178A CN 109584238 B CN109584238 B CN 109584238B
Authority
CN
China
Prior art keywords
pantograph
detection
image
tracking
contact point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811493178.9A
Other languages
English (en)
Other versions
CN109584238A (zh
Inventor
刘震
申远
常洛南
李栋
任一鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201811493178.9A priority Critical patent/CN109584238B/zh
Publication of CN109584238A publication Critical patent/CN109584238A/zh
Application granted granted Critical
Publication of CN109584238B publication Critical patent/CN109584238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Current-Collector Devices For Electrically Propelled Vehicles (AREA)

Abstract

本发明涉及一种基于立体视觉的弓网运行状况在线检测***及方法,其中弓网运行状况包括弓网接触点运动位置和受电弓偏移量。该检测***包括:设计一个安放于车顶的立体视觉传感器结构体;一套惯性导航***以及与里程计结合的触发装置,用于获取采集图像同时的车速、GPS、车体的偏斜度等信息;还包括两台包含核心检测算法的高性能服务器和相关电气及机械结构。实际运行中,检测***将采集进入服务器的高速图像,使用检测跟踪结合的方法对图像接触点进行定位,立体视觉传感器根据预先标定的结果获得图像序列对应的弓网接触点的三维轨迹,同时根据惯导提供的信息,完成对受电弓的偏移量的求取。适用于高速列车实际运行中对弓网运行状况的在线检测。

Description

一种基于立体视觉的弓网运行状况在线检测***及方法
技术领域
本发明涉及传感器标定和视觉测量技术,具体涉及一种基于立体视觉的弓网运行状况在线检测***及方法。
背景技术
铁路运输是一项惠及民生的重大工程,也是一项推动国民经济发展的重要产业。受电弓和接触网是铁路运输中的重要部件,其安全运行对于铁路安全具有重要的意义。视觉测量以其非接触、高精度及自动化程度高等特点,是具有发展潜力的新技术之一。相比其它检测技术,视觉测量更适合用于弓网***中的故障检测应用。
视觉测量主要涉及两种关键技术,一种是通过图像处理技术获取目标,一种是通过摄像机标定实现三维空间目标重建。
当前摄像机标定的方法有很多,一般分为平面靶标以及其他特型靶标对单目相机的标定,双目传感器的姿态标定,以及结构光视觉传感器的光平面标定几个主要种类。这其中,单目相机标定是最重要的基础,围绕单目相机标定,一般通过使用靶标不同,有棋盘格,圆点靶标,圆柱靶标,球形靶标等不同有不同的技术,当前主流的方法为张提出的基于棋盘格靶标的标定技术。不过一些现场大视场的情况,对标定的难度有了很大的考验。基于单目标定的研究,立体视觉传感器标定被广泛用于对于目标进行三维重建之中,可以有效的与视觉测量任务结合起来,不过对于传感器的安放位置有一定的局限。
视觉测量中的图像处理技术也同样会面临一些困难,由于在铁路实际运行中采集的受电弓图像会面临多种复杂背景,从而如何对复杂图像进行处理是实现故障检测和测量等任务的主要难点。由于受电弓图像所面临的复杂环境,需要综合运用图像处理的多种方法。随着计算机视觉的发展,相关理论的完善,通过图像特征提取,目标检测和目标跟踪一般可以满足实际的应用需求。图像特征常见的包括SIFT特征,HOG特征,以及深度特征可以有效的表征图像中的目标。目标检测和分类,常见的如SVM和DPM方法,以及传统的模板匹配方法在不同的需求下可以实现不同的工业任务。目标跟踪方法,早期的有meanshift,Kalman滤波等方法,现在一般使用相关滤波系列的方法,具备在连续图像中快速获得目标的能力。然而,这些方法,在面对受电弓弓网接触点定位的任务时,会受到复杂背景的干扰,以及面对受电弓的频繁换线的特殊状态,无法解决弓网***在线监测的自动化研究。
发明内容
有鉴于此,本发明的主要目的在于提供一种基于立体视觉的弓网运行状况在线检测***及方法,能够实现对弓网运行状况的在线监控,并结合立体视觉进行处理和分析。
为达到上述目的,本发明的技术方案是这样实现的:
一种基于立体视觉的弓网运行状况在线检测方法,该方法包括:
步骤a、设计一套弓网运行状况在线检测***,包括一套立体视觉的传感器结构体,以及惯性导航***、与里程计结合的触发装置和处理用高性能服务器,整套检测***可以实现对于弓网运行状况在线检测;
步骤b、将传感器结构体安置于车顶并和车身内部的服务器和以及惯性导航***联通,使得***可以实现根据里程触发下进行最高达到200hz的高速图像同步采集,并在采集的同时进行在线处理获得检测结果;
步骤c、结合全站仪在车顶通过大型高精度靶标进行在线标定,获取立体视觉传感器的标定结果;
步骤d、通过跟踪和检测相结合的图像处理算法,实时的处理采集到的高频图像,对列车运行的弓网状态进行在线监控。
步骤a中中设计弓网运行状况在线检测***的实现步骤如下:
(a1)***中的立体视觉传感器结构体设计,使用了最高可达500帧频的高速相机,使用corXpress接口进行高速数据传输,内部设置了温度监控和通风换热装置,同时增加了稳定性和密封性考虑,在接口处增加了密封条,保证了整个壳体可以适应车身运行时的振动,保证内部环境相对于外界环境的稳定性。
(a2)***配有惯性导航***,可以获得列车运行中的gps以及倾斜度等信息,进行受电弓偏移量等进一步的分析。
(a3)***通过里程计进行触发,同时触发高速图像传感器和惯性导航传感器,保证了***按照里程对于信息的在线采集,也可以用于后期进行汇总。
步骤c中结合全站仪在车顶通过大型高精度靶标进行在线标定的实现步骤如下:
(c1)在车顶,通过全站仪完成车顶坐标系,弓网坐标系以及相机坐标系的坐标系转换标定,将靶标举于受电弓升弓位置进行立体视觉传感器的单目和多目标定。
(c2)靶标标定时,特征点提取通过像素分布查找,找到目标点邻域附近内的像素级特征点位置,通过对灰度分布泰勒展开,找到实际的一维灰度分布极值点,从而完成亚像素级角点定位。
(c3)通过非线性优化求解实际相机内部参数,通过提取到的特征点求解出的单应矩阵进行优化,并进一步通过张正友方法分解出摄像机内部参数,实现对立体视觉传感器的标定。
步骤d中通过跟踪和检测相结合的图像处理算法,实时的处理采集到的高频图像的实现步骤如下:
(d1)通过检测方法检测出首帧图像中的接触点的位置。检测方法通过快速提取矢量对图像预处理后进行一维模板匹配,可以在精确得到结果的同时有效的应对列车运行时面临的多种复杂背景。
(d2)通过基于相关滤波的核跟踪方法根据首帧图像中的接触点位置对后续图像中接触点位置进行跟踪,选取fhog特征作为跟踪目标的特征描述,增加跟踪的稳定性和快速性。
(d3)对检测和跟踪方法中得到的接触点的位置进行局部角点优化,获得具备亚像素精度的接触点定位结果。并通过判断结果的置信度来将跟踪和检测方法有机的结合起来。
(d4)将图像定位的接触点通过立体匹配重建处三维轨迹,并通过三维轨迹进行接触点位置和受电弓偏移量分析。
一种基于立体视觉的弓网运行状况在线检测***,包括一套立体视觉的传感器结构体,以及惯性导航***、与里程计结合的触发装置和处理用高性能服务器,整套检测***可以实现对于弓网运行状况在线检测;将传感器结构体安置于车顶并和车身内部的服务器和以及惯性导航***联通,使得***可以实现根据里程触发下进行最高达到200hz的高速图像同步采集,并在采集的同时进行在线处理获得检测结果;结合全站仪在车顶通过大型高精度靶标进行在线标定,获取立体视觉传感器的标定结果;通过跟踪和检测相结合的图像处理算法,实时的处理采集到的高频图像,对列车运行的弓网状态进行在线监控。
本发明与现有技术相比的优点在于:本发明提出了一种基于立体视觉的弓网运行状况在线检测***及新方法,该套***可以稳定安装于车身之上,具备环境适应性,并能够高速在线的获取受电弓图像以及列车的车速、倾斜度、加速度等信息,同时提出了一套在线标定的方法和一个可以实现实时获取图像中接触点轨迹的方法,结合标定信息,可以通过立体视觉重建接触点运行中的三维轨迹,分析弓网运行状况。壳体的可靠性设计保证了该套***可以在列车运行中稳定运行。在线大视场标定方法保证了在现场获得接近实验室条件的高精度标定结果。实时算法通过跟踪和定位相结合保证了最高可达200帧每秒的在线处理。本发明尤其适合于高速列车运行过程中,对具有复杂背景的受电弓和接触网进行高速监控和状态监测的任务需求,同时跟踪和检测相结合的算法也可以应用于更多类似的视觉测量任务中。
附图说明
图1为本发明一种基于立体视觉的弓网运行状况在线检测方法流程图;
图2为***车身安装示意图;
图3为传感器结构体示意图;
图4为***进行弓网在线检测流程图;
图5为受电弓接触网的接触点的图像定位结果示意图;
图6为受电弓接触线接触状态判断示意图。
具体实施方式
本发明的基本思想是给出一套可以用于实际安装,高速采集,并进行实时处理,实现对弓网运行状况的在线检测的***及方法。
下面我们以在实际列车中对本***安装和实现为例,对本发明做进一步详细说明。
如图1所示:本发明一种基于立体视觉的弓网运行状况在线检测***及方法主要包括以下步骤:
步骤11:如图2将传感器壳体固定于列车顶部,将其内部传感器调整为可以采集受电弓升起后于接触网接触处的图像,并将镜头调节为定焦在接触部位。传输线缆通过预设的线缆通道传入车身内部,车身内部安装有惯导传感器和服务器以及对应的电气控制模块,通过电气控制模块,实现对于惯导传感器以及图像传感器的触发,以及服务器和传感器的供电。如图3,传感器壳体本身通过可靠性设计,从密封性,稳固性上都进行了调整,保证了内部环境的环境可靠性,以及在车身振动环境下的安装稳定性。
步骤12:在列车车顶,使用大型0.001mm精度玻璃靶标,对3米以上的大视场进行靶标图像采集,进行像素级角点定位,并使用非线性优化获得相机标定后的内部参数和相对位姿。之后,通过全站仪获取车身坐标系和摄像机坐标系之间的转换关系。其中角点定位的方法如下:
步骤121:提取拍摄光点图像的光点中心为图像特征点,光点的提取方法如下:
图像中椭圆光斑的像素分布可以近似的看作高斯分布,因此可以用高斯曲面对其灰度分布进行拟合二维高斯曲面函数可以表示为:
Figure GDA0001929915350000041
这里,A为比例系数,是定义整个高斯灰度分布的幅值大晓,与光斑的亮度正比例相关。(x0,y0)为高斯函数的理想中心,σx,σy分别对应两个放心的标准偏差,ρ为两个方向的相关系数。通过最小二乘法即可根据跟定的灰度分布,计算出高斯函数的中心,也即是我们所需要的光点中心的亚像素坐标。
步骤13:列车运行时,惯性导航***进入工作,实时获取GPS等信息,通过GPS和列车车速融合判断,电气***按里程对传感器进行触发,车身两个相机采集的图像以及惯性导航***采集的车身倾斜度等信息被实时传入服务器中。
步骤14:服务器对于传入的图像进行实时处理,如图4,通过跟踪和检测相结合实时定位,并通过角点优化以及置信度判断增加实时处理算法的稳定性,具体包括以下步骤:
步骤141:检测算法根据传入的首帧图像对接触点的位置进行定位,通过模板匹配方法获取滑板和接触线的边缘,首先通过对图像中的特定区域进行显著性提取,获取接触线和滑板所处的候选区域,具体公式如下:
Figure GDA0001929915350000051
Figure GDA0001929915350000052
L是针对与接触线所定义的区域,C是针对于受电弓弓头所定义的区域,函数φ是对区域提取显著性矢量,相应的矢量为
Figure GDA0001929915350000053
Figure GDA0001929915350000054
实际提取的步骤如下:
φ(L)=RANSAC(B(thre,L))
Figure GDA0001929915350000055
Figure GDA0001929915350000056
这里函数φ的具体操作以L为例,式中B代表以thre为阈值的分水岭算法,RANSAC方法这里被用来对结果的点集进行筛选和拟合,wl和hc分别为矢量
Figure GDA0001929915350000057
Figure GDA0001929915350000058
所对应的带状区域的宽度和高度,I为全部图像中全部像素点的区域。
一旦给定了候选区间,使用线模板匹配方法,在两个矢量区域内进行采样及匹配,匹配模板根据提前采样得到的数据可以定义为的两种信号量,匹配后得到如下式结果:
lk=IL(k*interval),k∈(1,NL)
Figure GDA0001929915350000059
这里IL(i)代表候选区域的指定行采集出来的样本。Interval是采样间隔,f(k)是指定的模板的第k个元素的值,最后得到的j就是每次模板匹配所需的位移值,NL是给定的选取区域的行的范围,Ng是模板匹配的模板长度。
可以看出大部分得点都定位到目标位置,
Figure GDA0001929915350000061
pc(i),从而,使用ransac即可获得三条目标直线
Figure GDA0001929915350000062
lC,并通过直线交错完成接触点pl,pr的定位。
Figure GDA0001929915350000063
lC=RANSAC({pc(i)})
Figure GDA0001929915350000064
步骤142:对于后续的图像进行高速跟踪的方法,我们使用相关滤波核跟踪方法(KCF),我们选择KCF的初始跟踪区域为包含了接触点的由受电弓弓头和接触线组成的仿十字区域,由于十字区域的尺度效应影响不大,我们选择了固定大小的矩形区域ROIi,并将区域中心定位为接触点的中心。如下式:
Figure GDA0001929915350000065
Figure GDA0001929915350000066
这里,两个点
Figure GDA0001929915350000067
分别表示第i帧图像中的左右接触点,Ii为第i帧图像,
Figure GDA0001929915350000068
Figure GDA0001929915350000069
的横纵坐标,w和h分别表示区域的尺寸。这种显著的区域特征可以很容易的被从背景中分离开来进行跟踪。
已知kcf是一个通过相关滤波来获取对应目标区域在不同位移下的相关度,进一步通过相关度完成区域迭代更新的跟踪方法。实际操作中,给定采集到的当前帧和之后一帧Ii,Ii+1,以及相应的图像中的经过初始化的目标跟踪区域。第一步进行特征提取,获得,两个区域特征
Figure GDA00019299153500000612
第二步,通过结合循环矩阵在傅里叶空间的特性,快速的直接求解出全部位移在傅里叶下的相关度如下:
Figure GDA00019299153500000611
Figure GDA00019299153500000610
Mresponse作为响应矩阵,其每个元素代表两帧下的区域在不同位移下的响应度,且响应度的数值大小与实际相关度的大小正相关。ψ为对两个傅里叶下的区域特征的相关度求解,fft和ifft代表傅里叶和逆傅里叶变换,这里不在一一赘述。从而最大响应值(imax,jmax)即为位移量。实际的位移量,由于循环的作用还要加一个半程判断verticalShift和horizonShif,如下:
[imax,jmax]=max(Mresponse)
Figure GDA0001929915350000071
Figure GDA0001929915350000072
这里Ph和Pw为跟踪区域的高度和宽度。
通过kcf,我们可以有效跟踪目标区域,然而并不能得到我们所需要的接触点位置信息。根据图像中区域的表现,我们提出了一个点面转换假设来解决该问题。
我们观察到,由于跟踪的稳定性,仿十字区域出现在跟踪区域的位置趋于稳定,从而我们认定作为仿十字区域的重要特征的接触点也具备在区域内部具备大致相似的位置,我们假定在相邻的图像帧间,接触点相对于区域中心的位置为一个常量。从而跟踪算法对接触点的跟踪可以如下式:
Figure GDA0001929915350000073
ROIi+1=track(Ii,ROIi)
Figure GDA0001929915350000074
这里,
Figure GDA0001929915350000075
即为点相对于区域的分布位置。实际表现中,该假定可以有效的帮助定位到接触点的真实位置,使得核跟踪方法对于点目标由较好的适应性。
进一步,针对第一步中的特征提取,kcf通过大量比对,选择了fhog特征得到了一个兼具速度与稳定性的跟踪效果,该特征是通过统计区域内梯度矢量得到的统计学特征,在第三维上为31层,虽然较之普通的灰度特征,其第三维度层数较多,但是对于前两维进行了有效的降维,从而速度上反而有所优势。对其进行分析,其前18维是对于每个胞元所处的四个大型胞元的梯度矢量进行按方向拆分后加权得到,之后9维是忽略掉其矢量的正负性得到,最后4维则是整个胞元的梯度模量在几个不同的正则化因子下的数值。可以看出其前18维,主要针对的是特征的旋转不变性,而这对接触点区域目标并无大用,从而我们选择了其后13维truncated-fhog特征,实际运行中在多个图像序列,该特征都可以给出与fhog同样的超出传统灰度特征很高的跟踪稳定性并可以有效的降低运算数量。
步骤143:一旦检测和跟踪完成,就可以得到图像中接触点的位置,为了提升结果的精度以满足测量需求,同时不影响在线跟踪的效果。我们提出了一个高效的点位置修正方法。
基于接触点所处的位置就是受电弓和接触网的连接部位,从而,其大部分时间都会呈现为图像中的角点特征,基于Harris角点理论,可知下式:
Figure GDA0001929915350000081
这里p为角点,Ωp为p的邻域,qi为邻域内第i个点,Nq为邻域内点的数量。
跟踪这里理论,我们提出了一个可以反映出点位置精度程度的能量方程,如下式:
Figure GDA0001929915350000082
通过点在不同位置的能量表示该位置与真实接触点间的差距,在理想的情况时,真实接触点的能量为0,实际则很难达到这样的效果,但是该能量表示方法仍可以做到在真实的接触点位置处,能量可以达到局部的极小值。从而,根据已经获得的初始点的位置,通过少数几次对能量的迭代梯度下降搜索,就可以找到真实的接触点的位置。迭代操作如下式:
Figure GDA0001929915350000083
式中
Figure GDA0001929915350000084
是前次迭代后点pk-1的邻域。
这种方法可以将接触点位置的精度提高到亚像素级别。同时,作为一个局部处理方法,由于其主要的时间消耗围绕在梯度求解时的卷积操作,而小尺度的卷积区域保证了整个算法的超低的时间负担,这种提高精度的操作不会影响到整个***的实时处理效果。
步骤144:一旦接触点的位置被精确确定,就可以使用位置信息完成对目标有效性的判定,左右接触点的图像位置xr,xl,由于兼具都在弓头身上以及在接触线左右两侧,其距离在正常情况下,都会处于一个固定的范围,定义为(ε12)。
||xr-xl||∈(ε12)
然而,在对实际数据集的处理中,经常会遇到目标丢失,背景纹理过于丰富导致的目标误检等现象,这时,单帧的跟踪结果往往会出现偏差,从而,通过该信息可以及时发现以上异常,防止误差累计,及时对整个***进行重新初始化。如下式:
Figure GDA0001929915350000085
Figure GDA0001929915350000086
通过这个评价方法可以自主的对结果进行分析,决定下一帧图像的算法走向,从而,整个***可以实现在长时间的数据采集的同时,稳定的在线跟踪并获取可靠的结果,有效的帮助对弓网的接触状态进行分析。
步骤15:通过步骤12中获得的标定信息,如图5,我们可以将两张图像经过步骤14获得的接触点的位置进行三维重建,获取在受电弓接触网坐标系下的弓网接触坐标。具体的实施方案如下:
由前一个接触点定位模块,实时的点轨迹被得到,从而,我们给定其左右接触点的中点为对应点,对其进行三维重建。给定左右相机下的接触点分别为
Figure GDA0001929915350000091
给定车身坐标系以及双相机坐标系的转换外参为(R0,T0),(R12,T12),其中车身坐标系以列车行驶方向为x轴,z轴垂直于地平线,y轴与车顶表面水平且与行驶方向垂直,双相机的内参分别为KL,KR。从而通过双目视觉理论,我们可以得到实际的在车身坐标系下的接触点三维位置为:
Figure GDA0001929915350000092
这里ρ12分别为图像点的三维重建以及坐标系的转换。
步骤16:通过步骤15获得的接触点的三维轨迹,如图6可以对弓网的接触状态进行在线分析,并结合惯导信息,对受电弓的偏移量进行计算。具体的实施方案如下:
步骤161:由于之前提到的接触线的安放位置,在分布上始终处于一个狭窄区域,从而,由于之前定义的车身坐标系,接触点的y坐标即可以表示接触线相对于列车也就是相对于受电弓的水平位移,根据接触线的安放,其y轴在±100之间为绝对安全状态,±200以内为合理边界状态,而一旦遇见受风偏移等导致接触线位置超出即为需汇报预警的警告状态。
步骤162:接触力异常检测
另一方面,接触点的z坐标,即其相对于车身的接触高度,也即接触线的高度,显然,无车经过时接触线高度会保持水平,而实际的接触高度变化都是由于受电弓提供给接触线的拉升,也即为垂直方向的接触力,这一数值的变化,正是接触磨耗,以及电弧现象产生的原因所在,从而,通过对z坐标的观测,以及合理的边界设置,可以为车内受电弓升降控制提供指导,保证列车运行中始终维持一个合理的接触力,均衡过度磨耗与电弧现象的产生。

Claims (4)

1.一种基于立体视觉的弓网运行状况在线检测方法,其特征在于:实现步骤如下:
步骤a、设计一套弓网运行状况在线检测***,包括一套立体视觉的传感器结构体,以及惯性导航***、与里程计结合的触发装置和处理用高性能服务器,整套检测***可以实现对于弓网运行状况在线检测;
步骤b、将传感器结构体安置于车顶并和车身内部的服务器和以及惯性导航***联通,使得***可以实现根据里程触发下进行最高达到200hz的高速图像同步采集,并在采集的同时进行在线处理获得检测结果;
步骤c、结合全站仪在车顶通过大型高精度靶标进行在线标定,获取立体视觉传感器的标定结果;
步骤d、通过跟踪和检测相结合的图像处理算法,实时的处理采集到的高频图像,对列车运行的弓网状态进行在线监控;
所述步骤d中通过跟踪和检测相结合的图像处理算法,实时的处理采集到的高频图像的实现步骤如下:
(d1)通过检测方法检测出首帧图像中的接触点的位置,检测方法通过快速提取矢量对图像预处理后进行一维模板匹配,可以在精确得到结果的同时有效的应对列车运行时面临的多种复杂背景;
(d2)通过基于相关滤波的核跟踪方法根据首帧图像中的接触点位置对后续图像中接触点位置进行跟踪,选取fhog特征作为跟踪目标的特征描述,增加跟踪的稳定性和快速性;
(d3)对检测和跟踪方法中得到的接触点的位置进行局部角点优化,获得具备亚像素精度的接触点定位结果,并通过判断结果的置信度来将跟踪和检测方法有机的结合起来;
(d4)将图像定位的接触点通过立体匹配重建处三维轨迹,并通过三维轨迹进行接触点位置和受电弓偏移量分析。
2.根据权利要求1所述的基于立体视觉的弓网运行状况在线检测方法,其特征在于:步骤a中设计弓网运行状况在线检测***的实现步骤如下:
(a1)***中的立体视觉传感器结构体设计,使用了最高可达500帧频的高速相机,使用corXpress接口进行高速数据传输,内部设置了温度监控和通风换热装置,同时增加了稳定性和密封性考虑,在接口处增加了密封条,保证了整个壳体可以适应车身运行时的振动,保证内部环境相对于外界环境的稳定性;
(a2)***配有惯性导航***,可以获得列车运行中的gps以及倾斜度信息,进行受电弓偏移量进一步的分析;
(a3)***通过里程计进行触发,同时触发高速图像传感器和惯性导航传感器,保证了***按照里程对于信息的在线采集,也可以用于后期进行汇总。
3.根据权利要求1所述的基于立体视觉的弓网运行状况在线检测方法,其特征在于:步骤c中结合全站仪在车顶通过大型高精度靶标进行在线标定的实现步骤如下:
(c1)在车顶,通过全站仪完成车顶坐标系,弓网坐标系以及相机坐标系的坐标系转换标定,将靶标举于受电弓升弓位置进行立体视觉传感器的单目和多目标定;
(c2)靶标标定时,特征点提取通过像素分布查找,找到目标点邻域附近内的像素级特征点位置,通过对灰度分布泰勒展开,找到实际的一维灰度分布极值点,从而完成亚像素级角点定位;
(c3)通过非线性优化求解实际相机内部参数,通过提取到的特征点求解出的单应矩阵进行优化,并进一步通过张正友方法分解出摄像机内部参数,实现对立体视觉传感器的标定。
4.一种基于立体视觉的弓网运行状况在线检测***,其特征在于:包括一套立体视觉的传感器结构体,以及惯性导航***、与里程计结合的触发装置和处理用高性能服务器,整套检测***可以实现对于弓网运行状况在线检测;将传感器结构体安置于车顶并和车身内部的服务器和以及惯性导航***联通,使得***可以实现根据里程触发下进行最高达到200hz的高速图像同步采集,并在采集的同时进行在线处理获得检测结果;结合全站仪在车顶通过大型高精度靶标进行在线标定,获取立体视觉传感器的标定结果;通过跟踪和检测相结合的图像处理算法,实时的处理采集到的高频图像,对列车运行的弓网状态进行在线监控;
所述通过跟踪和检测相结合的图像处理算法,实时的处理采集到的高频图像的实现步骤如下:
(1)通过检测方法检测出首帧图像中的接触点的位置,检测方法通过快速提取矢量对图像预处理后进行一维模板匹配,可以在精确得到结果的同时有效的应对列车运行时面临的多种复杂背景;
(2)通过基于相关滤波的核跟踪方法根据首帧图像中的接触点位置对后续图像中接触点位置进行跟踪,选取fhog特征作为跟踪目标的特征描述,增加跟踪的稳定性和快速性;
(3)对检测和跟踪方法中得到的接触点的位置进行局部角点优化,获得具备亚像素精度的接触点定位结果,并通过判断结果的置信度来将跟踪和检测方法有机的结合起来;
(4)将图像定位的接触点通过立体匹配重建处三维轨迹,并通过三维轨迹进行接触点位置和受电弓偏移量分析。
CN201811493178.9A 2018-12-07 2018-12-07 一种基于立体视觉的弓网运行状况在线检测***及方法 Active CN109584238B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811493178.9A CN109584238B (zh) 2018-12-07 2018-12-07 一种基于立体视觉的弓网运行状况在线检测***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811493178.9A CN109584238B (zh) 2018-12-07 2018-12-07 一种基于立体视觉的弓网运行状况在线检测***及方法

Publications (2)

Publication Number Publication Date
CN109584238A CN109584238A (zh) 2019-04-05
CN109584238B true CN109584238B (zh) 2021-11-26

Family

ID=65928889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811493178.9A Active CN109584238B (zh) 2018-12-07 2018-12-07 一种基于立体视觉的弓网运行状况在线检测***及方法

Country Status (1)

Country Link
CN (1) CN109584238B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097591B (zh) * 2019-04-29 2023-05-26 中国科学院上海微***与信息技术研究所 弓网状态的检测方法
CN110245650B (zh) * 2019-08-09 2019-12-03 深圳市广宁股份有限公司 振动智能检测方法及相关产品
CN111006609A (zh) * 2019-12-24 2020-04-14 中铁电气化局集团有限公司 受电弓最大运行曲线检测装置
CN111640155B (zh) * 2020-05-26 2023-07-18 成都唐源电气股份有限公司 一种基于3d成像的受电弓弓头倾斜角测量方法及***
CN111681265B (zh) * 2020-06-08 2023-02-28 西南交通大学 一种铁路受电弓和接触网的接触点在线检测方法
CN112615554A (zh) * 2020-11-16 2021-04-06 湖南中车智行科技有限公司 一种充电***以及一种电车
CN113450378B (zh) * 2021-06-28 2022-06-03 河北工业大学 一种判断触点组差平面高度数据匹配程度的方法
CN113947754A (zh) * 2021-10-15 2022-01-18 大连海事大学 一种基于视觉的船舶机械运行状态监测方法、***及存储介质
CN114280323A (zh) * 2021-12-24 2022-04-05 凌云光技术股份有限公司 一种轨道车辆矢量速度的测量设备、***及方法
CN114407679A (zh) * 2022-03-04 2022-04-29 浙江理工大学 一种伸缩架对接控制方法及移动充电方法
CN115014600B (zh) * 2022-04-22 2023-10-24 西南交通大学 一种非接触式弓网接触力检测方法
CN116753843B (zh) * 2023-05-19 2024-04-12 北京建筑大学 工程结构动态位移监测方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105652154A (zh) * 2016-01-25 2016-06-08 成都国铁电气设备有限公司 接触网运行状态安全监测分析***
CN106679567A (zh) * 2017-02-14 2017-05-17 成都国铁电气设备有限公司 基于双目立体视觉的接触网及支柱几何参数检测测量***
EP3284784A1 (en) * 2015-04-17 2018-02-21 Kuraray Co., Ltd. Methacrylic resin composition
CN108842544A (zh) * 2018-06-12 2018-11-20 湖北三江航天红峰控制有限公司 一种利用光纤惯导的高铁轨道静态参数检测***和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2394902B2 (es) * 2011-06-20 2014-05-09 Universidade De Vigo Sistema y procedimiento de medición del espesor de frotadores de pantógrafo.
CN105718902B (zh) * 2016-01-25 2019-03-15 成都国铁电气设备有限公司 接触网受电弓拉出值超限缺陷识别方法及***
US20170287252A1 (en) * 2016-04-03 2017-10-05 Harshal Dwarkanath Laddha Counterfeit Document Detection System and Method
CN108801134A (zh) * 2018-05-07 2018-11-13 南京理工大学 一种基于亚像素边缘检测的受电弓滑板磨耗监测装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3284784A1 (en) * 2015-04-17 2018-02-21 Kuraray Co., Ltd. Methacrylic resin composition
CN105652154A (zh) * 2016-01-25 2016-06-08 成都国铁电气设备有限公司 接触网运行状态安全监测分析***
CN106679567A (zh) * 2017-02-14 2017-05-17 成都国铁电气设备有限公司 基于双目立体视觉的接触网及支柱几何参数检测测量***
CN108842544A (zh) * 2018-06-12 2018-11-20 湖北三江航天红峰控制有限公司 一种利用光纤惯导的高铁轨道静态参数检测***和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
An effective and robust online contact points tracking method for pantograph-catenary interaction analysis;Yuan Shen 等;《2017 IEEE International Conference on Information and Automation (ICIA)》;20171023;第936-941页 *
PANTOBOT-3D: An automatic vision-based inspection system for locomotive pantographs;Paolo Capece 等;《7th IET Conference on Railway Condition Monitoring 2016 (RCM 2016)》;20170508;第1-5页 *
基于双目视觉的跨座式单轨接触网磨损检测技术研究;赖庆峰;《中国优秀硕士学位论文全文数据库信息科技辑》;20160615;第1-50页 *

Also Published As

Publication number Publication date
CN109584238A (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
CN109584238B (zh) 一种基于立体视觉的弓网运行状况在线检测***及方法
CN109900712B (zh) 基于摄像测量的风电叶片机械故障在线检测***及其方法
CN101339658B (zh) 航拍交通视频的快速鲁棒配准方法
CN106960591B (zh) 一种基于路面指纹的车辆高精度定位装置及方法
CN111640158B (zh) 基于对应掩模的端到端的摄像头与激光雷达外参标定方法
CN107677274B (zh) 基于双目视觉的无人机自主着陆导航信息实时解算方法
CN102788572B (zh) 一种工程机械吊钩姿态的测量方法、装置及***
CN107014294A (zh) 一种基于红外图像的接触网几何参数检测方法及***
CN110675453B (zh) 一种已知场景中运动目标的自定位方法
CN107817044B (zh) 基于机器视觉的板材振动的测量装置及方法
CN108535789A (zh) 一种基于机场跑道的异物识别***
CN107084715A (zh) 一种星敏感器的异步多帧星图融合方法
CN103954220A (zh) 撞桥试验中船体运动状态数字图像测量方法
CN111311659A (zh) 一种基于斜交平面镜三维成像的校准方法
CN114663473A (zh) 基于多视角信息融合的人员目标定位与追踪方法及***
Jiang et al. Bridge Deformation Measurement Using Unmanned Aerial Dual Camera and Learning‐Based Tracking Method
CN113554705B (zh) 一种变化场景下的激光雷达鲁棒定位方法
CN115542362A (zh) 电力作业现场的高精度空间定位方法、***、设备及介质
CN115031735A (zh) 基于结构特征的单目视觉惯性里程计***的位姿估计方法
CN115409691A (zh) 融合激光测距和监控图像的双模态学习边坡风险检测方法
CN111239761B (zh) 一种用于室内实时建立二维地图的方法
CN113910265A (zh) 巡检机器人智能巡检方法及***
CN112862678A (zh) 一种无人机图像拼接方法、装置及存储介质
Peng et al. A Maglev gap measurement method based on machine vision
CN103712603A (zh) 基于平面光栅的三维视觉位姿测量装置及其测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant