CN113884002B - 基于二三维信息融合的受电弓滑板上表面检测***及方法 - Google Patents

基于二三维信息融合的受电弓滑板上表面检测***及方法 Download PDF

Info

Publication number
CN113884002B
CN113884002B CN202110936962.8A CN202110936962A CN113884002B CN 113884002 B CN113884002 B CN 113884002B CN 202110936962 A CN202110936962 A CN 202110936962A CN 113884002 B CN113884002 B CN 113884002B
Authority
CN
China
Prior art keywords
dimensional
array camera
pantograph
abrasion
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110936962.8A
Other languages
English (en)
Other versions
CN113884002A (zh
Inventor
黄磊
李苏祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Jicui Intelligent Photoelectric System Research Institute Co ltd
Original Assignee
Jiangsu Jicui Intelligent Photoelectric System Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Jicui Intelligent Photoelectric System Research Institute Co ltd filed Critical Jiangsu Jicui Intelligent Photoelectric System Research Institute Co ltd
Priority to CN202110936962.8A priority Critical patent/CN113884002B/zh
Publication of CN113884002A publication Critical patent/CN113884002A/zh
Application granted granted Critical
Publication of CN113884002B publication Critical patent/CN113884002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Current-Collector Devices For Electrically Propelled Vehicles (AREA)

Abstract

本发明公开基于二三维信息融合的受电弓滑板上表面检测***及方法,该***的在线磨耗测量模块与线阵相机、面阵相机和三维磨耗显示模块连接,触发模块与线阵相机和面阵相机连接并同步触发线阵相机和面阵相机,激光传感器发送激光至列车顶部的受电弓,通过线阵相机和面阵相机分别同步采集受电弓升起后于受电弓滑板处的二维和三维图像数据并传至在线磨耗测量模块处理,通过三维磨耗显示模块显示图像。本发明提供的基于二三维信息融合的受电弓滑板上表面检测***及方法,创新的利用二三维信息融合的方式对受电弓滑板上表面磨耗进行高精度的测量,线面阵结构体利用线阵相机和面阵相机相结合的模式为获取高精度的受电弓二三维信息提供了必要的硬件支持。

Description

基于二三维信息融合的受电弓滑板上表面检测***及方法
技术领域
本发明属于受电弓滑板检测技术领域,具体涉及基于二三维信息融合的受电弓滑板上表面检测***及方法。
背景技术
传统的受电弓滑板磨耗测量方法为:机车驶进机务段-停车降弓-断电-工作人员登顶,用专用的量具测量受电弓滑板的磨耗,观察有无异常的磨损。这种方法的效率低,精度低,准确性差,存在人为因素和安全隐患。目前较常见的方法也仅是基于二维图像层面,通过滑板边缘定位检测、图像分割、图像增强和图像复原等处理对受电弓滑板磨耗超限进行检测与识别,但是这种方法精确度有待提高,无法与三维数据结合使用。
将深度数据和二维数据融合起来,对受电弓的滑板磨耗进行检测,理论上能精确的识别磨耗超限区域,并检测出磨耗值的大小,但目前相关研究甚少,无法给出理论支持。
发明内容
为解决现有技术中存在的技术问题,本发明的目的在于提供一种基于二三维信息融合的受电弓滑板上表面检测***及方法,用于实际安装、高精度采集,实现对受电弓滑板磨耗的在线检测。
为实现上述目的,达到上述技术效果,本发明采用的技术方案为:
基于二三维信息融合的受电弓滑板上表面检测***,包括线面阵结构体、触发模块、在线磨耗测量模块和三维磨耗显示模块,所述线面阵结构体固定于列车顶部的龙门架上,线面阵结构体包括线阵相机、面阵相机和激光传感器,在线磨耗测量模块与线阵相机、面阵相机和三维磨耗显示模块连接,触发模块与线阵相机和面阵相机连接并同步触发线阵相机和面阵相机,激光传感器发送激光至列车顶部的受电弓,通过线阵相机和面阵相机分别同步采集受电弓升起后于受电弓滑板处的二维和三维图像数据并上传至在线磨耗测量模块进行处理,通过三维磨耗显示模块显示生成的磨耗区域的图像。
进一步的,所述面阵相机安装于线面阵结构体左侧,面阵相机的视场包含整个受电弓,所述线阵相机和激光传感器安装于线面阵结构体右侧。
进一步的,所述激光传感器与线阵相机垂直于地面放置,激光传感器的光条中心线与线阵相机的扫描线重合。
进一步的,所述线阵相机和面阵相机的触发线连接到同一个触发模块上,实现同步采集。
本发明公开了一种基于二三维信息融合的受电弓滑板上表面检测***的检测方法,包括以下步骤:
步骤11:线面阵结构体的安装与调配;
步骤12:面阵相机的标定;
步骤13:列车运行时,通过触发模块同步触发线阵相机和面阵相机采集受电弓的二维图像和三维深度位图信息并传送至在线磨耗测量模块;
步骤14:在线磨耗测量模块对线阵相机和面阵相机上传的图像信息进行处理,将线阵相机上传的二维图像与面阵相机上传的三维深度位图信息进行时标归一化对齐,利用目标检测算法定位受电弓在三维深度位图中的区域;
步骤15:在线磨耗测量模块分离区域中的受电弓上滑板表面的三维点云,提取受电弓上表面三维点云,通过三维点云匹配得到磨耗值大小;
步骤16:在线磨耗测量模块生成磨耗区域的图像,通过三维磨耗显示模块进行显示,受电弓滑板磨耗反映在二维像素中。
进一步的,步骤14中,在线磨耗测量模块对线阵相机和面阵相机上传的图像信息进行处理的步骤包括:
步骤141:面阵相机通过拍摄激光传感器发射的激光投射到受电弓上表面的图像得到受电弓上表面的三维点云信息,根据空间解析方法求解激光位置处的三维坐标信息;
相机坐标系Oc-xcyczc为右手坐标系;像平面坐标系Oi-XY;模块坐标系OL-xLyLzL为右手坐标系,模块坐标系OL-xLyLzL的xLOLyL坐标面在结构光平面π内,OLzL轴与光平面π正交,并于π的法向量方向一致,则光平面在模块坐标系下的方程为:
zL=0 (1)
相机坐标系与模块坐标系的空间位置关系可以用如下公式表示:
其中,(r1,r4,r7),(r2,r5,r8),(r3,r6,r9)分别表示坐标系OL-xLyLzL的xL轴、yL轴和zL轴的方向向量;f为面阵相机的焦距;
当zL≠0时,需要再增加一个约束才能求出唯一对应的三维点坐标(xL,yL,zL),因此引入光平面方程,设结构光平面π在模块坐标系OL-xLyLzL下的方程为:
axL+byL+czL+d=0 (3)
其中,a、b、c、d均为光平面方程的系数;
联立公式(2)和公式(3)即可解出三维点的坐标:
将光平面方程赋予物理意义的参数如下:
其中,α、β分别为光平面相对于X轴和Y轴的旋转角度;由光平面方程和相机模型得到如下结构光传感器的模型:
步骤142:通过改进的时标归一化矫正三维深度位图达到与二维图像相同的形貌。
步骤15中,磨耗值大小的获取步骤包括:
步骤151:经过对齐的三维深度位图具有与二维线扫图像相同的形貌特征,受电弓在二三维图像中的像素坐标大致相同,通过在二维图像中定位受电弓的包围框即可在三维深度位图中的相同位置锁定受电弓,从而得到受电弓上滑板表面的三维点云;
步骤152:通过标准的无磨耗弓和磨耗弓三维点云的匹配、相减,得到磨耗弓相应位置的磨耗值大小。
与现有技术相比,本发明的有益效果为:
本发明公开了基于二三维信息融合的受电弓滑板上表面检测***及方法,检测***包括线面阵结构体、触发模块、在线磨耗测量模块和三维磨耗显示模块,所述线面阵结构体固定于列车顶部的龙门架上,线面阵结构体包括线阵相机、面阵相机和激光传感器,在线磨耗测量模块与线阵相机、面阵相机和三维磨耗显示模块连接,触发模块与线阵相机和面阵相机连接并同步触发线阵相机和面阵相机,激光传感器发送激光至列车顶部的受电弓,通过线阵相机和面阵相机分别同步采集受电弓升起后于受电弓滑板处的二维和三维图像数据并上传至在线磨耗测量模块进行处理,通过三维磨耗显示模块显示生成的磨耗区域的图像。本发明提供的基于二三维信息融合的受电弓滑板上表面检测***及方法,创新的利用二三维信息融合的方式对受电弓滑板上表面磨耗进行高精度的测量,线面阵结构体利用线阵相机和面阵相机相结合的模式为获取高精度的受电弓二三维信息提供了必要的硬件支持。
附图说明
图1为本发明的流程图;
具体实施方式
下面结合附图对本发明的实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
如图1所示,一种基于二三维信息融合的受电弓滑板上表面检测***,包括线面阵结构体、触发模块、在线磨耗测量模块和三维磨耗显示模块,线面阵结构体固定于列车顶部的龙门架上,线面阵结构体包括线阵相机、面阵相机和激光传感器,在线磨耗测量模块与线阵相机、面阵相机和三维磨耗显示模块连接,触发模块与线阵相机和面阵相机连接并同步触发线阵相机和面阵相机,激光传感器发送激光至列车顶部的受电弓,通过线阵相机和面阵相机分别同步采集受电弓升起后于受电弓滑板处的二维和三维图像数据并上传至在线磨耗测量模块进行处理,通过三维磨耗显示模块显示生成的磨耗区域的图像。
面阵相机安装于线面阵结构体左侧,面阵相机的视场包含整个受电弓,所述线阵相机和激光传感器安装于线面阵结构体右侧。
激光传感器与线阵相机垂直于地面放置,激光传感器的光条中心线与线阵相机的扫描线重合。
线阵相机和面阵相机的触发线连接到同一个触发模块上,实现同步采集。
本发明公开了基于二三维信息融合的受电弓滑板上表面检测***的检测方法,包括以下步骤:
步骤11:将线面阵结构体固定于列车顶部的龙门架上,将其内部面阵相机和线阵相机调整为可以采集受电弓升起后于受电弓滑板处的图像,并将面阵相机的镜头和线阵相机的镜头调节为定焦在滑板部位,通过触发模块实现对面阵相机和线阵相机的同步触发;
步骤12:在列车车顶,使用高精度锯齿靶标对2.5-3m的大视场进行靶标图像采集,完成对面阵相机的标定;
步骤13:列车运行时,触发模块对线阵相机和面阵相机同时进行触发,线阵相机采集的二维图像信息和面阵相机采集的三维深度信息被实时传入服务器中;
步骤14:在线磨耗测量模块对于传入的图像进行实时处理,通过三维点云匹配得到磨耗大小,并对二三维信息进行对齐,利用目标检测算法定位受电弓在三维深度位图中的区域,具体包括以下步骤:
步骤141:
面阵相机拍摄激光传感器发射的光条投射到受电弓上表面的图像,通过在线磨耗测量模块处理后得到受电弓上表面的三维点云信息。已知激光传感器与面阵相机光轴之间的夹角等参数,根据空间解析方法求解激光位置处的三维信息。相机坐标系Oc-xcyczc为右手坐标系;像平面坐标系Oi-XY;模块坐标系OL-xLyLzL为右手坐标系。模块坐标系OL-xLyLzL的xLOLyL坐标面在结构光平面π内,OLzL轴与光平面π正交,并于π的法向量方向一致,则光平面在模块坐标系下的方程为:
zL=0 (1)
相机坐标系与模块坐标系的空间位置关系可以用如下公式表示:
其中,(r1,r4,r7),(r2,r5,r8),(r3,r6,r9)分别表示坐标系OL-xLyLzL的xL轴、yL轴和zL轴的方向向量;f为面阵相机的焦距;将zL=0带入简化模型如下:
其中,zL=0
当zL≠0时,需要再增加一个约束才能求出唯一对应的三维点坐标(xL,yL,zL),因此我们引入光平面方程。
设结构光平面π在模块坐标系OL-xLyLzL下的方程为:
axL+byL+czL+d=0 (3)
其中,a、b、c、d均为光平面方程的系数;
联立公式(2)和公式(3)即可解出三维点的坐标:
将光平面方程赋予更具体的物理意义的参数描述如下:
其中,α、β分别为光平面相对于X轴和Y轴的旋转角度。由光平面方程和摄像机模型,可以得到如下结构光传感器的模型:
步骤142:
为了得到二三维图像的对应关系,从而把三维点云反映在二维图像中,通过改进的时标归一化可以矫正三维深度位图达到与二维图像相同的形貌。高精度的图像对齐需要高性能的特征匹配算法提供正确的匹配特征点。
步骤1421:
GMS特征匹配算法在速度和准确性方面均优于其他匹配方法(如SIFT)。GMS将运动平滑度封装为区域中一定数量的匹配项的统计可能性,因此需要求解特征点xi从区域a(在图像Ia中)到达区域b(在图像Ib中)的到达概率。只有当区域{a,b}位于3D场景中的相同位置且支撑特征fa的邻域位于区域b中,才能将其视为真实匹配。相反,当区域{a,b}对应于现实场景的不同位置,且fa匹配错误,将其定义为误匹配。正确的匹配点的邻域会有更多的正匹配做支撑,从而拥有更高的置信度得分。
令fa是区域a中N个支撑特征之一,并且它正确匹配的概率为t,即定义为给定区域{a,b}对应相同位置且特征fa的邻域在区域b中的概率即中心特征xi匹配正确。其概率为:
其中,Tab代表区域{a,b}观测的是同一个区域;特征fa匹配正确的概率为t,即
定义是在区域{a,b}对应不同区域(Fab)并且特征xi的最近邻域位于区域b中的概率,这意味着xi匹配错误。从而,
通过pt、pf,我们可以近似得出整个网格中支持量N的分布情况。通过以上操作,每对匹配点都会得到一个分数来判断匹配的正确与否。但是,当特征位于高亮度和纹理较少的区域时,具有较高分数的错误匹配(假正匹配)会造成混淆。这些情况的特点是数量少得多,但集中分布,当误匹配被视为真实匹配时,GMS的性能较差。如下所示,它可以归因于以下两种情况。
对于情况1,区域{a,b}观看相同的3D区域,但是内部的特征匹配错误。这些错误的匹配由于其高度的集中性和相似性而可以获得很高的分数,因此同正匹配一样,其邻域也有很多的支持点。
对于情况2,区域{a,b}观看不同的3D区域,肯定会产生错误匹配但也有很多的邻域支撑点,从而获得较高的置信度得分。对于序列图像在垂直方向上的不变性,我们提出了强几何约束以拒绝假阳性匹配。相应的正确匹配概率被纠正为:
其中,Tab代表区域{a,b}观测的是同一个区域;特征fa匹配正确的概率为t,即
匹配错误的概率为:
步骤1422:
首先,在水平方向将线扫二维图像Ia和三维深度位图Ib被分成等间隔的几部分。改进的时标归一化对齐方法通过求解每个子块水平方向的缩放比例对每个子块的进行矫正。经过矫正的子块拼接成为完整的图像。每个子块中的特征点经过k均值聚类得到一个典型特征点。Ib中相邻典型特征点间水平方向的距离需要被矫正为与Ia中对应相邻特征点间距相等,达到形貌缩放的目的。
对当前操作子块进行缩放比例的计算,结果并不准确。因此需要扩展当前子块以包含更多的信息。设{x1b,x2b},{x1b',x2b'}分别表示图像{Ia,Ib}中相邻子块的典型特征点对。设{x1r,x2r},{x1r',x2r'}分别表示图像{Ia,Ib}中相邻扩展子块的典型特征点对。
扩展子块的矫正比率和原始子块的缩放比例分别为:
为了提高算法鲁棒性,添加误差修正项:
其中,{xi,xi′}i=1,2,…,m代表图像{Ia,Ib}对应子块的所有特征点对。ratior,ratiob,bias三项共同组成了对当前操作块的矫正比率:
ratios=α·ratior+β·ratiob+γ·bias (13)
其中,α为0.8,β为0.15,γ为0.05。
步骤15:在线磨耗测量模块分离区域中的受电弓上滑板表面的三维点云,提取受电弓上表面三维点云,通过三维点云匹配得到磨耗值大小,具体包括以下步骤:
步骤151:经过对齐的三位深度位图具有与二维线扫图像相同的形貌特征,因此受电弓在两幅图像中的像素坐标大致相同。通过在二维图像中定位受电弓的包围框即可在三维深度位图中的相同位置锁定受电弓,从而得到受电弓上滑板表面的三维点云。此步骤中用到的目标检测方法为深度学习类算法,目前现有的算法都可以进行受电弓的检测。
步骤152:
得到磨耗的前提是有一组标准弓的三维点云,通过标准弓和磨耗弓三维点云的匹配、相减,即得到磨耗弓相应位置的磨耗值大小。总体实现目标为:设标准弓和磨耗弓的两个点云数据集合为P和G,要通过P转换到G(假设两组点云存在局部几何特征相似的部分),可以通过P叉乘四元矩阵进行旋转平移变换到G,总体思想都是需要一个4×4的旋转平移矩阵。对于每次旋转平移变换后计算P的所有(采样)点到G对应(最近)点的距离,用最小二乘法(求方差)求出最小二乘误差,看是否在要求的范围内,如果最小二乘误差小于设定的值,或迭代次数达到上限,或每次重新迭代后最小二乘误差总在一个很小的范围内不再发生变化,则计算结束,否则继续进行迭代。
绕三个轴旋转的矩阵:
整体的旋转矩阵表示为:
R=Rz(β)Ry(α)Rx(θ) (15)
这里的旋转矩阵旋转过程为:先绕x轴旋转θ角,然后绕y轴旋转α角,最后绕z轴旋转β角。
步骤1521:
去除NAN的数据点,采用下采样滤波在保持点云的形状特征的前提下,减少三维点云的数量,提升算法速度。PCL实现的VoxelGrid类通过输入的点云数据创建一个三维体素栅格(可把体素栅格想象为微小的空间三维立方体的集合),然后在每个体素(即三维立方体)内,用体素中所有点的重心来近似显示体素中其他点,这样该体素就内所有点就用一个重心点最终表示,对于所有体素处理后得到过滤后的点云。
步骤1522:
计算法线,计算点云的FPFH直方图特征。具体的步骤是设具有n个点的给定点云P的其中k是P中每个点p的邻域点云数量,时间复杂度为O(nk)。计算每一个查询点pq与其领域的一组元胞α,φ,θ之间的简化点特征直方图SPFH,从而推出点云的FPFH为:
其中,权重ωk表示在某个给定度量空间中查询点pq与邻域点pk之间的距离,因此对(pq,pk)点对进行评分,但是如果需要也可以选择作为不同的度量。为了理解这种加权方案的重要性。
因此,对于给定的查询点pq,算法首先通过在其自身与其邻居之间创建对来估计其SPFH值。对数据集中的所有点重复此操作,然后使用其pk邻域的SPFH值重新加权pq的SPFH值,从而为pq创建FPFH。由于额外的加权方案而产生的额外FPFH连接用黑线表示,一些值对将被计数两次。
步骤1523:
采用SAC-IA(采样一致性初始配准算法)的粗配准。在目标点云Q中查找与点云P中采样点具有相似FPFH特征的一个或多个点,从这些相似点中随机选取一个点作为点云P在目标点云Q中的一一对应点。计算对应点之间刚体变换矩阵,然后通过求解对应点变换后的“距离误差和”函数来判断当前配准变换的性能。此处的距离误差和函数多使用Huber罚函数表示:
式中:mi为一预先给定值,li为第i组对应点变换之后的距离差。上述配准的最终目的是在所有变换中找到一组最优的变换,使得误差函数的值最小,此时的变换即为最终的配准变换矩阵,进一步可得到配准结果。
步骤1524:
采用ICP精确配准:
1)搜索最近点:取P中一点pi,在Q中找出距离pi最近的qi,则(pi,qi)就构成了一组对应点对集。pi与qi之间存在旋转和平移关系(R,T)即为所求;
2)求解变换关系(R,T):n对点(pi,qi)对于n个方程组,那么就一定能运用数学方法求解得出(R,T),但是为了求解更加精确的变换关系,采用了迭代算法;
3)应用变换:对点集P中的每一个点pi运用变换关系得到点集P',定义函数E:
4)根据精度要求,定义终止迭代的条件,即E小于一个具体值时终止迭代。
如果新的变换点集与参考点集满足上面目标函数要求,即两点集的平均距离小于某一给定阈值,则停止迭代计算,否则新的变换点集P'作为新的P继续迭代,直到达到目标函数的要求。
为了实现处理速度的提升,我们将点云对齐的处理简化为标准弓和磨耗弓两侧的羊角区域的三维点进行计算。磨耗集中在受电弓滑板与电网的接触部分,导致匹配精度的下降,所以将其去除再匹配环节。
步骤16:
将磨耗信息对应于二维图像中的相应位置处。由于线阵相机和面阵相机是同时触发采集,且扫描行频一致,理论上二三维数据是一一对应的。若出现二维信息与磨耗信息的行数不一致的情况,则通过对二维图像进行缩放等操作使其与磨耗信息对应,通过三维磨耗显示模块显示。
本发明未具体描述的部分采用现有技术,未详细描述的部件采用现有产品即可,在此不做赘述。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (5)

1.基于二三维信息融合的受电弓滑板上表面检测***的检测方法,其特征在于,基于二三维信息融合的受电弓滑板上表面检测***包括线面阵结构体、触发模块、在线磨耗测量模块和三维磨耗显示模块,所述线面阵结构体固定于列车顶部的龙门架上,线面阵结构体包括线阵相机、面阵相机和激光传感器,在线磨耗测量模块与线阵相机、面阵相机和三维磨耗显示模块连接,触发模块与线阵相机和面阵相机连接并同步触发线阵相机和面阵相机,激光传感器发送激光至列车顶部的受电弓,通过线阵相机和面阵相机分别同步采集受电弓升起后于受电弓滑板处的二维和三维图像数据并上传至在线磨耗测量模块进行处理,通过三维磨耗显示模块显示生成的磨耗区域的图像;
所述方法包括以下步骤:
步骤11:线面阵结构体的安装与调配;
步骤12:面阵相机的标定;
步骤13:列车运行时,通过触发模块同步触发线阵相机和面阵相机采集受电弓的二维图像和三维深度位图信息并传送至在线磨耗测量模块;
步骤14:在线磨耗测量模块对线阵相机和面阵相机上传的图像信息进行处理,将线阵相机上传的二维图像与面阵相机上传的三维深度位图信息进行时标归一化对齐,利用目标检测算法定位受电弓在三维深度位图中的区域;
步骤15:在线磨耗测量模块分离区域中的受电弓上滑板表面的三维点云,提取受电弓上表面三维点云,通过三维点云匹配得到磨耗值大小;
步骤16:在线磨耗测量模块生成磨耗区域的图像,通过三维磨耗显示模块进行显示,受电弓滑板磨耗反映在二维像素中;步骤14中,在线磨耗测量模块对线阵相机和面阵相机上传的图像信息进行处理的步骤包括:
步骤141:面阵相机通过拍摄激光传感器发射的激光投射到受电弓上表面的图像得到受电弓上表面的三维点云信息,根据空间解析方法求解激光位置处的三维坐标信息;
相机坐标系Oc-xcyczc为右手坐标系;像平面坐标系Oi-XY;模块坐标系OL-xLyLzL为右手坐标系,模块坐标系OL-xLyLzL的xLOLyL坐标面在结构光平面π内,OLzL轴与结构光平面π正交,并于结构光平面π的法向量方向一致,则光平面在模块坐标系下的方程为:
zL=0 (1)
相机坐标系与模块坐标系的空间位置关系可以用如下公式表示:
其中,(r1,r4,r7),(r2,r5,r8),(r3,r6,r9)分别表示坐标系OL-xLyLzL的xL轴、yL轴和zL轴的方向向量;f为面阵相机的焦距;
当zL≠0时,需要再增加一个约束才能求出唯一对应的三维点坐标(xL,yL,zL),因此引入光平面方程,设结构光平面π在模块坐标系OL-xLyLzL下的方程为:
axL+byL+czL+d=0 (3)
其中,a、b、c、d均为光平面方程的系数;
联立公式(2)和公式(3)即可解出三维点的坐标:
将光平面方程赋予物理意义的参数如下:
其中,α、β分别为光平面相对于X轴和Y轴的旋转角度;由光平面方程和相机模型得到如下结构光传感器的模型:
步骤142:通过改进的时标归一化矫正三维深度位图达到与二维图像相同的形貌。
2.根据权利要求1所述的基于二三维信息融合的受电弓滑板上表面检测***的检测方法,其特征在于,步骤15中,磨耗值大小的获取步骤包括:
步骤151:经过对齐的三维深度位图具有与二维线扫图像相同的形貌特征,受电弓在二三维图像中的像素坐标大致相同,通过在二维图像中定位受电弓的包围框即可在三维深度位图中的相同位置锁定受电弓,从而得到受电弓上滑板表面的三维点云;
步骤152:通过标准的无磨耗弓和磨耗弓三维点云的匹配、相减,得到磨耗弓相应位置的磨耗值大小。
3.根据权利要求1所述的基于二三维信息融合的受电弓滑板上表面检测***的检测方法,其特征在于,所述面阵相机安装于线面阵结构体左侧,面阵相机的视场包含整个受电弓,所述线阵相机和激光传感器安装于线面阵结构体右侧。
4.根据权利要求1所述的基于二三维信息融合的受电弓滑板上表面检测***的检测方法,其特征在于,所述激光传感器与线阵相机垂直于地面放置,激光传感器的光条中心线与线阵相机的扫描线重合。
5.根据权利要求1所述的基于二三维信息融合的受电弓滑板上表面检测***的检测方法,其特征在于,所述线阵相机和面阵相机的触发线连接到同一个触发模块上,实现同步采集。
CN202110936962.8A 2021-08-16 2021-08-16 基于二三维信息融合的受电弓滑板上表面检测***及方法 Active CN113884002B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110936962.8A CN113884002B (zh) 2021-08-16 2021-08-16 基于二三维信息融合的受电弓滑板上表面检测***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110936962.8A CN113884002B (zh) 2021-08-16 2021-08-16 基于二三维信息融合的受电弓滑板上表面检测***及方法

Publications (2)

Publication Number Publication Date
CN113884002A CN113884002A (zh) 2022-01-04
CN113884002B true CN113884002B (zh) 2023-08-29

Family

ID=79010665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110936962.8A Active CN113884002B (zh) 2021-08-16 2021-08-16 基于二三维信息融合的受电弓滑板上表面检测***及方法

Country Status (1)

Country Link
CN (1) CN113884002B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972042B (zh) * 2022-08-01 2022-10-21 成都唐源电气股份有限公司 基于标准模型的受电弓点云拼接方法、***、设备和介质
CN115578524B (zh) * 2022-12-09 2023-03-31 华东交通大学 红外三维重构方法、***、存储介质及计算机设备
CN116147525B (zh) * 2023-04-17 2023-07-04 南京理工大学 一种基于改进icp算法的受电弓轮廓检测方法及***
CN116678321B (zh) * 2023-08-03 2023-10-13 北京科技大学 一种钢轨磨耗测量方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2312269A1 (en) * 2009-08-26 2011-04-20 Image House A/S A method and a system for inspecting a pantograph
CN102507600A (zh) * 2011-11-08 2012-06-20 南京大学 高速机车受电弓滑板磨损自动检测装置
CN104567729A (zh) * 2014-12-31 2015-04-29 苏州华兴致远电子科技有限公司 受电弓运行状态监测方法及装置
CN106289106A (zh) * 2016-08-04 2017-01-04 北京航空航天大学 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法
CN112146591A (zh) * 2020-09-21 2020-12-29 北京运达华开科技有限公司 一种受电弓滑板磨耗检测方法及***
CN112762827A (zh) * 2020-12-25 2021-05-07 江苏集萃智能光电***研究所有限公司 基于激光投射的受电弓综合几何参数在线检测设备及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2312269A1 (en) * 2009-08-26 2011-04-20 Image House A/S A method and a system for inspecting a pantograph
CN102507600A (zh) * 2011-11-08 2012-06-20 南京大学 高速机车受电弓滑板磨损自动检测装置
CN104567729A (zh) * 2014-12-31 2015-04-29 苏州华兴致远电子科技有限公司 受电弓运行状态监测方法及装置
CN106289106A (zh) * 2016-08-04 2017-01-04 北京航空航天大学 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法
CN112146591A (zh) * 2020-09-21 2020-12-29 北京运达华开科技有限公司 一种受电弓滑板磨耗检测方法及***
CN112762827A (zh) * 2020-12-25 2021-05-07 江苏集萃智能光电***研究所有限公司 基于激光投射的受电弓综合几何参数在线检测设备及方法

Also Published As

Publication number Publication date
CN113884002A (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN113884002B (zh) 基于二三维信息融合的受电弓滑板上表面检测***及方法
CN113436260B (zh) 基于多传感器紧耦合的移动机器人位姿估计方法和***
CN109598762B (zh) 一种高精度双目相机标定方法
CN101839692B (zh) 单相机测量物体三维位置与姿态的方法
CN111311679B (zh) 一种基于深度相机的自由漂浮目标位姿估计方法
CN108597009B (zh) 一种基于方向角信息进行三维目标检测的方法
CN109035200A (zh) 一种基于单双目视觉协同的螺栓定位及位姿检测方法
CN111223133A (zh) 一种异源图像的配准方法
CN111897349A (zh) 一种基于双目视觉的水下机器人自主避障方法
CN111046776A (zh) 基于深度相机的移动机器人行进路径障碍物检测的方法
CN110763204B (zh) 一种平面编码靶标及其位姿测量方法
CN112484746B (zh) 一种基于地平面的单目视觉辅助激光雷达里程计方法
CN109341668B (zh) 基于折射投影模型和光束追踪法的多相机测量方法
CN113324478A (zh) 一种线结构光的中心提取方法及锻件三维测量方法
CN110930365B (zh) 一种交通场景下的正交消失点检测方法
CN113393524B (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN110222661B (zh) 一种用于运动目标识别及跟踪的特征提取方法
CN111060006A (zh) 一种基于三维模型的视点规划方法
CN113313116B (zh) 一种基于视觉的水下人工目标准确检测与定位方法
CN115774265A (zh) 用于工业机器人的二维码和激光雷达融合定位方法与装置
CN112419429A (zh) 一种基于多视角的大型工件表面缺陷检测标定方法
CN113313659A (zh) 一种多机协同约束下高精度图像拼接方法
CN116563377A (zh) 一种基于半球投影模型的火星岩石测量方法
CN117893610B (zh) 基于变焦单目视觉的航空装配机器人姿态测量***
CN116358449A (zh) 一种基于双目面结构光的飞机铆钉凹凸量测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant