CN111260797A - 一种受电弓图像的三维模板自动匹配方法 - Google Patents

一种受电弓图像的三维模板自动匹配方法 Download PDF

Info

Publication number
CN111260797A
CN111260797A CN202010026184.4A CN202010026184A CN111260797A CN 111260797 A CN111260797 A CN 111260797A CN 202010026184 A CN202010026184 A CN 202010026184A CN 111260797 A CN111260797 A CN 111260797A
Authority
CN
China
Prior art keywords
pantograph
attitude
image
projection
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010026184.4A
Other languages
English (en)
Other versions
CN111260797B (zh
Inventor
唐鹏
金炜东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202010026184.4A priority Critical patent/CN111260797B/zh
Publication of CN111260797A publication Critical patent/CN111260797A/zh
Application granted granted Critical
Publication of CN111260797B publication Critical patent/CN111260797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种受电弓图像的三维模板自动匹配方法，基于受电弓三维模型虚拟仿真的受电弓姿态识别算子离线自监督学习，即利用受电弓三维模型基于图形技术生成待辨识图像样本和标签数据，训练受电弓姿态识别算法模块，使其在微观调节时以光流场作为引导，在宏观调节时基于先前积累经验；然后在现场实测的真实受电弓图像上进行受电弓姿态估计算子的验证和改进。本发明综合了数据统计模型和三维成像机理模型，整合了图形和图像处理技术，充分利用了铁路行业的先验知识，有效解决了实际中样本不充分或不完整的数据完备性难题，提供了弱监督模式下铁路检测设备模型训练的技术方案，并可拓展到于多种工业应用。

Description

一种受电弓图像的三维模板自动匹配方法
技术领域
本发明属于电气化轨道交通中机车受电弓状态的视频监控领域，特别涉及一种受电弓图像的三维模板自动匹配方法。
背景技术
电力机车的受电弓是电气化铁路车辆从接触网获取牵引供电的关键，其被设计为机车车体和电力接触网之间接触式的电能传输电气设备。受电弓安装在机车或动车车顶上，通过升弓使受电弓滑板和牵引电网的接触线相接，电力牵引机车从接触网取得电能；反之，通过降弓使受电弓与接触线分离。具体而言，受电弓的升弓和降弓动作实现过程如下：升弓时，压缩空气经电空阀均匀进入传动气缸，气缸活塞压缩气缸内的降弓弹簧，此时升弓弹簧使下臂杆转动，抬起上框架和滑板，受电弓匀速上升，在接近接触线时有一缓慢停滞，然后迅速接触接触线；降弓时，传动气缸内压缩空气经受电弓缓冲阀迅速排向大气，在降弓弹簧作用下，克服升弓弹簧的作用力，使受电弓迅速下降，脱离接触网。为实现升弓和降弓动作，受电弓在机械设计上充分考虑了实际路况的颠簸震动等问题，形式上可分单臂弓和双臂弓两种，均由滑板、上框架、下臂杆、底架、升弓弹簧、传动气缸、支持绝缘子等部件组成。
受电弓的主要任务，即为保障牵引供电受流的可靠性和高质量。负荷电流通过接触线和受电弓滑板接触面的流畅程度，与滑板与接触线间的接触压力、过渡电阻、接触面积有关，取决于受电弓和接触网之间的相互作用。为保证牵引电流的顺利流通，受电弓和接触线之间必须有一定的接触压力。弓网实际接触压力由四部分组成：受电弓升弓***施加于滑板，使之向上的垂直力为静态接触压力(一般为70N或90N)；由于接触悬挂本身存在弹性差异，接触线在受电弓抬升作用下会产生不同程度的上升，从而使受电弓在运行中产生上下振动，使受电弓产生一个与其本身归算质量相关的上下交变的动态接触压力；受电弓在运行中受空气流作用产生的一个随速度增加而迅速增加的气动力；受电弓各关节在升降弓过程中产生的阻尼力。弓网接触压力能直观的反映受电弓滑板和接触线间的接触情况，它符合正态分布规律，在一定范围内波动。如果太小，会增加离线率；如果太大，会使滑板和接触线间产生较大的机械磨耗。
在实际运营中，受电弓容易出现缺陷及故障。这有两方面原因，一是高强度大负载的现实运营条件下，设备磨耗加剧，寿命变短，更有可能出现缺陷和发生故障；二是接触线-受电弓-机车***之中，接触线和机车的重要性更高，更不允许发生故障。而受电弓相对容易检修和更换，因此受电弓会承受更多的异常应力，其设计思想上即更为容易发生故障，亟待及时状态监测和早期故障的准确辨识。
随着数字影像监控技术的发展，使用视频摄像机对接触网和受电弓进行实时监测是必然发展方向。但当前阶段，受电弓影像仅是完成了数据采集、传输和存储，并未实现智能分析和状态预警，迫切需要利用数字图像识别技术建立监测图像到设备状态语义信息的映射机制，实现自主适应多观测角度复杂背景的受电弓及接触网图像子区域分离和状态识别。可是由于受电弓本身是框架结构，不像一般目标检测对象具有显著的凸型表面，在不同观测角度和不同的环境下，受电弓观测成像具有相当大的差异，使自动提取受电弓图像像素的问题具有较大技术挑战。具体而言，从监视图像中抽取受电弓像素信息的技术难度体现在：1)受电弓的形制为线框形式，受电弓图像中大部分像素实际为背景信息，而背景复杂多变不定，使其本质上称为干扰受电弓目标检测的干扰噪声；目标受电弓对应的像素较少，导致当前主流的目标检测算法皆比较困难。2)更何况，即使完成了目标检测，仍尚不能提取受电弓像素，还需配合图像分割技术，实现逐像素的类型划分。此过程未充分使用受电弓的先验形状知识，且对样本及标注数据量有很高要求，在应用场景未定的开放式全天候自然环境中的效果并不理想。3)基于图像语义分割的方法仍难以实现动态需求下的受电弓零部件图像检索，例如需进一步定位受电弓各个零部件在图像中的位置和范围。简单的需求变更，可能使大量的图像分割标注训练数据失效，是图像分割技术路线下难以进一步提升功能的一大现实障碍。
针对于此，基于受电弓姿态启发式搜索的姿态参数增强学习有望对此提供解决方案。电弓姿态的启发式搜索解决小范围内姿态配准的问题，而增强学习完成宏观姿态调整的问题，两者结合可有效降低客观迫切需求和实际任务难度的差距，促使多角度复杂背景下的受电弓姿态自主辨识的技术路线成后继受电弓状态分析的基础和关键。
在电力铁路设备设施数字化、智能化的发展的大形势下，针对轨道交通受电弓状态识别应用的需求迫在眉睫。据调查，目前，在火车提速之后，受电弓等设备寿命显著降低，在恶劣气候和频有异物侵入的情况下的风险剧增。而在现阶段接触网状态的采集，依然采用传统的人工分析视频帧的方式，而手工分析和标记需要投入大量的成本和时间，不仅抬高了运营成本，而且效率低下，导致设备缺陷和早期故障不能及时发现和排除，影响运营的安全性和高效性。应用智能化接触网图像识别技术后，铁路运营管理单位可以打通视频监测数据和设备语义信息之间的通道，做到近实时的在线分析监测效果，节省了大量的时间和成本，是未来人工智能时代，企业必备的必由选择！
在国内到目前为止，尚未检索到面向电气化轨道交通机车的受电弓图像三维模板匹配相关技术和类似专利。
参考文献
[1]Rockafellar,R.Tyrrell；Wets,Roger J-B(2005).VariationalAnalysis.Springer-Verlag.p.117.ISBN 3-540-62772-3.
[2]Simonyan,Karen,and Andrew Zisserman."Very deep convolutionalnetworks for large-scale image recognition."arXiv preprint arXiv:1409.1556(2014).
发明内容
本发明的目的是面向铁路现场环境中任意角度复杂背景下的受电弓图像分割和检索方法，以解决当前受电弓状态自动化分析中像素级定位的基础问题。它能适应适应受电弓观测的位姿变化，从而能够适用于车载监控、车站监控、手持拍摄等多种应用场合，为后续的视觉精确辨识受电弓各零部件工作状态奠定了技术基础，同时降低了铁路机车运维检修工作的负担，可使检修人员集中精力处理算法支撑的高风险对象，从而有望节省大量的人力和劳力，因而更有利于铁路运营空窗期最小化和规范化的应用推广。
为此，本发明提供一种受电弓图像的三维模板自动匹配方法。匹配算子的自监督学习过程按以下步骤进行：
S1用户指定受电弓姿态估计算子的相关学习参数，包括姿态估计算子的学习速率、学习批量个数、循环学习总次数NT Max和单个样本匹配计算的最大次数NM Max；
S2将循环计数器NT设置为1；
S3如果循环计数器NT小于最大计数值NT Max，那么进入S4；否则进入S17；
S4从受电弓观测姿态的先验分布中随机采样，得到相机观测坐标系下受电弓的姿态参数RT；其中，受电弓观测姿态的先验分布根据专家经验事先给定，设置为受电弓沿垂向旋转角范围是正负180°，俯仰角范围为正负40°，位于相机正前方，且距离相机的范围是3到6米，姿态参数RT在设定范围内采用均匀分布；
S5利用受电弓的姿态参数RTTT将受电弓三维模型做平移和旋转变换，再根据相机参数将三维模型投影到二维图像平面，生成待估计的受电弓轮廓图像样本D；投影过程的具体做法为，遍历3D模型的每个面片，对面片的顶点X做三维到二维的投影x＝PTX，其中X是齐次坐标系下三维点，x是齐次坐标下二维点，而PT是由相机的内参数矩阵C和姿态参数平移量TT和旋转量RT共同决定的3×4的投影矩阵PT＝C[RT|TT]，其中[RT|TT]代表3×3的旋转矩阵和3×1的平移矢量组合为3×4的矩阵；在图像平面以面片顶点投影做扫描转换，过程遵循计算机光栅图形学的多边形扫描转换标准过程；最后，计算所有面片扫描转换所得像素集的并集，并将其像素灰度值设置为255；即得电弓轮廓影像D；
S6判断受电弓图像是左侧视角还是右侧视角；如果是左侧视角，则水平翻转图像，使其呈现为右侧视角；
S7用预先训练好的姿态分类算法对受电弓样本图像进行分类，划分为受电弓右侧前侧、中部、后侧以及俯视、平视和仰视共9种组合情况，并以每种姿态的均值参数作为当前模型的初始化估计R0T0；
S8以姿态参数的初始化估计R0T0初始化姿态估计算子G；
S9将姿态匹配计数器NM设置为1；
S10以当前受电弓姿态RiTi对受电弓3D模型进行变换和投影，获取估计姿态下的受电弓轮廓影像I；投影过程的具体做法为，遍历3D模型的每个面片，对面片的顶点X做三维到二维的投影x＝PiX，其中X是齐次坐标系下三维点，x是齐次坐标下二维点，而Pi是尺寸为3×4的投影矩阵；在给定相机的内参数矩阵C和平移Ti和旋转Ri的姿态参数后，投影矩阵随即确定为Pi＝C[Ri|Ti]，其中[Ri|Ti]代表3×3的旋转矩阵和3×1的平移矢量组合为3×4的矩阵；在图像平面以面片顶点投影做扫描转换，过程遵循计算机光栅图形学的多边形扫描转换标准过程；最后，计算所有面片扫描转换所得像素集的并集，并将其像素灰度值设置为255，即为电弓轮廓影像Ii；
S11将估计姿态下的受电弓图像Ii与样本图像D做差异度比较，用Hausdorrf距离比较受电弓图像Ii与样本图像D的Laplace轮廓间的差异，作为差异度结果d(I,D)；
S12如果模型投影Ii和目标投影D差异度d(I,D)小于5个像素，则对参数估计算子进行奖励，即向姿态参数估计算子G回馈一个较大的正值分数，否则对姿态参数估计算账进行惩罚，即向参数估计算子回馈一个负值的分数；在本***中奖励分设置为10，而惩罚分设置为0.1；
S13姿态参数估计算子G利用姿态估计算法模块调整姿态更新值ΔRT，获取下一步姿态为RiTi+1＝RiTi+ΔRT；姿态估计算法模块基于VGG16网络实现，其输入当前观测的模型投影Ii和目标投影D，其输出为姿态更新值ΔRT；
S14将匹配计数器NM增加1；
S15若匹配计数器NM超过最大限度NM Max，则进入步骤S16；否则返回步骤S5；
S16将训练计数器NT增加1，返回步骤S3；
S17保存姿态参数估计算子G的姿态估计算法模块的训练权重参数到计算机外部存储器；然后结束。
进一步的，步骤S6和S7中，皆采用主干权重共享的VGG16网络作为基础特征提取网络，在此基础上分别建立左右视角判别的全连通网络和受电弓姿态分类全连同网络，这样的拓扑设计是为了有效利用特征资源，并且简化计算。
进一步的，步骤S11中，Hausdorff距离的定义源自文献[1]，其差异度计算过程为：
S11-1首先利用Laplace运算分别对图像Ii和D计算其连通体的轮廓；
S11-2然后根据轮廓图Laplace(Ii)生成像素距离图Fi，该Fi是浮点数矩阵，它的每个像素值代表了该像素距离轮廓图Ii中最近的非零像素的欧氏距离；在获取Fi之后，在下一步计算Hausdorff距离值时可直接从矩阵Fi中检索，以提升计算效率；
S11-3最后采用Hausdorff距离算法比较其轮廓的差异度，即统计D中每个轮廓像素与Ii中最近的轮廓像素的距离，并取其最大值作为差异度，d(Ii,D)＝Hausdorff(Laplace(D),Laplace(Ii))。
进一步的，步骤S13中，参数估计算子G调整姿态更新值ΔRT的过程为：
S13-1用随机数生成算法得到一个取值范围从0到1的随机数，若此随机数小于预先设定的阈值e，则采用姿态估计算法模块中的姿态调节神经网络进行预测，用预测值作为ΔRT；否则进行LK光流场引导的随机探索ΔRT＝Fflow+aN，其中Fflow代表基于笛卡尔变换的LK光流场匹配量，N代表高斯分布的随机数，a是一个较小的标量，取值为0.1；如果待匹配图像Ii和目标图像D的差异较小时，其光流场可以作为匹配调节的指导，从而使匹配过程显著快于随机探索。
S13-2将姿态调整和奖惩得分作为整体记录到姿态估计算子G的存储器M中；存储器M存m项姿态调整和相应奖惩得分的记录，作为***调节的经验；若存储器M已满，则覆盖记录中奖励或惩罚中占少数的最旧记录；本***中，m的取值为2048；
S13-3随机从存储器M中抽取32条记录，作为一个批次，对姿态估计算子G的姿态估计算法模块中预测网络进行监督训练，使其强化记忆何种情况下更能够有效调节姿态参数，降低匹配度差异；训练过程遵循神经网络的反向回馈规则。
进一步的，离线的自监督训练学习后，使用真实的受电弓图像对受电弓姿态估计算子进行验证，具体验证过程为：首先使用Canny算子计算真实的受电弓图像的边缘，然后将边缘图像输入给受电弓姿态估计算子，由受电弓姿态估计算子预测途中受电弓姿态，最后将三维模型的投影轮廓和受电弓图像边缘进行比较，若匹配度小于设定阈值，则该姿态估计可作为正确的预测结果。
本发明综合了数据统计模型和三维成像机理模型，整合了图形和图像处理技术，充分利用了铁路行业的先验知识，有效解决了实际中样本不充分或不完整的数据完备性难题，提供了弱监督模式下铁路检测设备模型训练的技术方案，并可拓展到于多种工业应用。
本发明和传统的受电弓定位方法相比，有益效果在于：
1、人工数据集维护的方式费时费力，具有较高人力成本，而本方法全自动进行，几近零成本，且无需维护。
2、某些极端情况下的数据样本难以获取，比如特殊的早期故障、缺陷样本极少，难以满足模型训练的需求；而本文方法是数值仿真技术，因而不受此限制。
3、本发明可以配置调节以降低数据集的有偏向性；而人工方法难以做到表征完备。
4、本方面也可充分利用已有的数据，进行拓展和增强。并具有一定的弹性适应能力，以适应受电弓不同型号的外形细微改变。
5、本发明可以精确反馈识别模型对数据量级需求的情况，从而简化识别处理的算法负担，从宏观上改进效率；
6、本发明不存在特殊设备需求，可在服务器端部署，并采用适当策略进行模型算法的迭代更新。
附图说明
图1为本发明的裂成示意图；
图2为本发明的技术线路示意图。
具体实施方式
下面结合附图和具体实施方法对本发明做进一步详细说明。
本发明的基本思想如下：针对现有智能辨识方法倚赖海量人工数据标注的缺陷，旨在电力机车受电弓状态分析***中有效引入受电弓三维模型先验知识，创新性地提出了一种受电弓图像的三维模板智能匹配方法，使模型驱动和数据驱动的范式相结合，以服务于自监督的受电弓模型匹配训练。本发明主要由状态可调的受电弓三维模型可视化模块和受电弓姿态估计算法模块组成。用户通过程序参数指定受电弓姿态的任务训练参数，再利用三维模型可视化模块循环地随机生成待状态辨识的受电弓轮廓影像，随后受电弓姿态估计算法模块对其状态进行估计和评价，动态收集经验和开展学习，实现多样化的学习效果。
本发明的一种受电弓图像的三维模板自动匹配方法流程图如图1所示，实现的技术线路如图2所示。匹配算子的自监督学习过程按以下步骤进行：
S1用户指定受电弓姿态估计算子的相关学习参数，包括姿态估计算子的学习速率、学习批量个数、循环学习总次数NT Max和单个样本匹配计算的最大次数NM Max；
S2将循环计数器NT设置为1；
S3如果循环计数器NT小于最大计数值NT Max，那么进入S4；否则进入S17；
S4从受电弓观测姿态的先验分布中随机采样，得到相机观测坐标系下受电弓的姿态参数RT；其中，受电弓观测姿态的先验分布根据专家经验事先给定，设置为受电弓沿垂向旋转角范围是正负180°，俯仰角范围为正负40°，位于相机正前方，且距离相机的范围是3到6米，姿态参数RT在设定范围内采用均匀分布；
S5利用受电弓的姿态参数RTTT将受电弓三维模型做平移和旋转变换，再根据相机参数将三维模型投影到二维图像平面，生成待估计的受电弓轮廓图像样本D；投影过程的具体做法为，遍历3D模型的每个面片，对面片的顶点X做三维到二维的投影x＝PTX，其中X是齐次坐标系下三维点，x是齐次坐标下二维点，而PT是由相机的内参数矩阵C和姿态参数平移量TT和旋转量RT共同决定的3×4的投影矩阵PT＝C[RT|TT]，其中[RT|TT]代表3×3的旋转矩阵和3×1的平移矢量组合为3×4的矩阵；在图像平面以面片顶点投影做扫描转换，过程遵循计算机光栅图形学的多边形扫描转换标准过程；最后，计算所有面片扫描转换所得像素集的并集，并将其像素灰度值设置为255；即得电弓轮廓影像D；
S6判断受电弓图像是左侧视角还是右侧视角；如果是左侧视角，则水平翻转图像，使其呈现为右侧视角；本步骤的基础是在于电力机车及受电弓是以列车中轴左右对称，因此只需对其中一侧视角分析即可。本***中采用VGG16网络[2]作为受电弓电弓图像是左右视角判别网络。
S7用预先训练好的姿态分类算法对受电弓样本图像进行分类，划分为受电弓右侧前侧、中部、后侧以及俯视、平视和仰视共9种组合情况，并以每种姿态的均值参数作为当前模型的初始化估计R0T0；本***中采用VGG16网络[2]作为受电弓姿态分类网络，并且和步骤6中的网络共享全卷积部分的权重；利用人工筛选的姿态样本形成数据集，在事先完成姿态分类算法的训练。
S8以姿态参数的初始化估计R0T0初始化姿态估计算子G；
S9将姿态匹配计数器NM设置为1；
S10以当前受电弓姿态RiTi对受电弓3D模型进行变换和投影，获取估计姿态下的受电弓轮廓影像I；投影过程的具体做法为，遍历3D模型的每个面片，对面片的顶点X做三维到二维的投影x＝PiX，其中X是齐次坐标系下三维点，x是齐次坐标下二维点，而Pi是尺寸为3×4的投影矩阵；在给定相机的内参数矩阵C和平移Ti和旋转Ri的姿态参数后，投影矩阵随即确定为Pi＝C[Ri|Ti]，其中[Ri|Ti]代表3×3的旋转矩阵和3×1的平移矢量组合为3×4的矩阵；在图像平面以面片顶点投影做扫描转换，过程遵循计算机光栅图形学的多边形扫描转换标准过程；最后，计算所有面片扫描转换所得像素集的并集，并将其像素灰度值设置为255，即为电弓轮廓影像Ii；
S11将估计姿态下的受电弓图像Ii与样本图像D做差异度比较，用Hausdorrf距离比较受电弓图像Ii与样本图像D的Laplace轮廓间的差异，作为差异度结果d(I,D)；
S12如果模型投影Ii和目标投影D差异度d(I,D)小于5个像素，则对参数估计算子进行奖励，即向姿态参数估计算子G回馈一个较大的正值分数，否则对姿态参数估计算账进行惩罚，即向参数估计算子回馈一个负值的分数；在本***中奖励分设置为10，而惩罚分设置为0.1；实际应用中，奖惩参数设置包含但不限于本文所用设置。
S13姿态参数估计算子G利用姿态估计算法模块调整姿态更新值ΔRT，获取下一步姿态为RiTi+1＝RiTi+ΔRT；姿态估计算法模块基于VGG16网络实现，其输入当前观测的模型投影Ii和目标投影D，其输出为姿态更新值ΔRT；
S14将匹配计数器NM增加1；
S15若匹配计数器NM超过最大限度NM Max，则进入步骤S16；否则返回步骤S5；
S16将训练计数器NT增加1，返回步骤S3；
S17保存姿态参数估计算子G的姿态估计算法模块的训练权重参数到计算机外部存储器；然后结束。
进一步的，步骤S6和S7中，皆采用主干权重共享的VGG16网络作为基础特征提取网络，在此基础上分别建立左右视角判别的全连通网络和受电弓姿态分类全连同网络，这样的拓扑设计是为了有效利用特征资源，并且简化计算。
进一步的，步骤S11中，Hausdorff距离的定义源自文献[1]，其差异度计算过程为：
S11-1首先利用Laplace运算分别对图像Ii和D计算其连通体的轮廓；
S11-2然后根据轮廓图Laplace(Ii)生成像素距离图Fi，该Fi是浮点数矩阵，它的每个像素值代表了该像素距离轮廓图Ii中最近的非零像素的欧氏距离；在获取Fi之后，在下一步计算Hausdorff距离值时可直接从矩阵Fi中检索，以提升计算效率；
S11-3最后采用Hausdorff距离算法比较其轮廓的差异度，即统计D中每个轮廓像素与Ii中最近的轮廓像素的距离，并取其最大值作为差异度，d(Ii,D)＝Hausdorff(Laplace(D),Laplace(Ii))。
进一步的，步骤S13中，参数估计算子G调整姿态更新值ΔRT的过程为：
S13-1用随机数生成算法得到一个取值范围从0到1的随机数，若此随机数小于预先设定的阈值e，则采用姿态估计算法模块中的姿态调节神经网络进行预测，用预测值作为ΔRT；否则进行LK光流场引导的随机探索ΔRT＝Fflow+aN，其中Fflow代表基于笛卡尔变换的LK光流场匹配量，N代表高斯分布的随机数，a是一个较小的标量，取值为0.1；如果待匹配图像Ii和目标图像D的差异较小时，其光流场可以作为匹配调节的指导，从而使匹配过程显著快于随机探索。
S13-2将姿态调整和奖惩得分作为整体记录到姿态估计算子G的存储器M中；存储器M存m项姿态调整和相应奖惩得分的记录，作为***调节的经验；若存储器M已满，则覆盖记录中奖励或惩罚中占少数的最旧记录；本***中，m的取值为2048；
S13-3随机从存储器M中抽取32条记录，作为一个批次，对姿态估计算子G的姿态估计算法模块中预测网络进行监督训练，使其强化记忆何种情况下更能够有效调节姿态参数，降低匹配度差异；训练过程遵循神经网络的反向回馈规则。
进一步的，离线的自监督训练学习后，使用真实的受电弓图像对受电弓姿态估计算子进行验证，具体验证过程为：首先使用Canny算子计算真实的受电弓图像的边缘，然后将边缘图像输入给受电弓姿态估计算子，由受电弓姿态估计算子预测途中受电弓姿态，最后将三维模型的投影轮廓和受电弓图像边缘进行比较，若匹配度小于设定阈值，则该姿态估计可作为正确的预测结果。
多种模型姿态生成器可以并行使用，使随机性进一步增强。实际中，我们设置随机姿态生成器的选用一般为4个。每幅字符图像采用相同的干扰参数，因而生成效果具有一致性；但多幅图像间的干扰参数各不相同，因此可以形成海量的效果不重复的受电弓图像样本，形成优越的训练数据集。
由于受电弓图像仿真生成是在高分辨率图像中直接获得的，因此处理结果可以直接用后继的受电弓姿态识别模块进行增量式训练。受电弓姿态识别训练范围在本发明的支持下，具备可调可控的特性，样本复杂度的可表达性大为增强，加速了受电弓姿态辨识的实用化过程。尽管高质量的仿真图像生成过程会适当增加运算量，但由于可以提高性能率，因此从全局看仍然具有非常重要的意义。本发明在DGX2平台上用软件实现并运行，软件环境为Ubuntu 16.04.4 LTS，程序开发采用Python 3.7x64，图像生成、采样和处理的技术实现时调用了PIL、opencv和numpy库。
本发明可以集成于专用的受电弓图像分析服务器端，可利用服务器在空闲时段根据分析结果校验通过的数据样本扩充训练数据集，并利用空闲时段自主增量式训练学习，形成受电弓三维模板匹配算法智能化的迭代和更新。

Claims (5)

1.一种受电弓图像的三维模板自动匹配方法，其特征在于，匹配算子的自监督学习过程按以下步骤进行：
S1用户指定受电弓姿态估计算子的相关学习参数，包括姿态估计算子的学习速率、学习批量个数、循环学习总次数NT Max和单个样本匹配计算的最大次数NM Max；
S2将循环计数器NT设置为1；
S3如果循环计数器NT小于最大计数值NT Max，那么进入S4；否则进入S17；
S4从受电弓观测姿态的先验分布中随机采样，得到相机观测坐标系下受电弓的姿态参数RT；其中，受电弓观测姿态的先验分布根据专家经验事先给定，设置为受电弓沿垂向旋转角范围是正负180°，俯仰角范围为正负40°，位于相机正前方，且距离相机的范围是3到6米，姿态参数RT在设定范围内采用均匀分布；
S5利用受电弓的姿态参数RTTT将受电弓三维模型做平移和旋转变换，再根据相机参数将三维模型投影到二维图像平面，生成待估计的受电弓轮廓图像样本D；投影过程的具体做法为，遍历3D模型的每个面片，对面片的顶点X做三维到二维的投影x＝PTX，其中X是齐次坐标系下三维点，x是齐次坐标下二维点，而PT是由相机的内参数矩阵C和姿态参数平移量TT和旋转量RT共同决定的3×4的投影矩阵PT＝C[RT|TT]，其中[RT|TT]代表3×3的旋转矩阵和3×1的平移矢量组合为3×4的矩阵；在图像平面以面片顶点投影做扫描转换，过程遵循计算机光栅图形学的多边形扫描转换标准过程；最后，计算所有面片扫描转换所得像素集的并集，并将其像素灰度值设置为255；即得电弓轮廓影像D；
S6判断受电弓图像是左侧视角还是右侧视角；如果是左侧视角，则水平翻转图像，使其呈现为右侧视角；
S7用预先训练好的姿态分类算法对受电弓样本图像进行分类，划分为受电弓右侧前侧、中部、后侧以及俯视、平视和仰视共9种组合情况，并以每种姿态的均值参数作为当前模型的初始化估计R0T0；
S8以姿态参数的初始化估计R0T0初始化姿态估计算子G；
S9将姿态匹配计数器NM设置为1；
S10以当前受电弓姿态RiTi对受电弓3D模型进行变换和投影，获取估计姿态下的受电弓轮廓影像I；投影过程的具体做法为，遍历3D模型的每个面片，对面片的顶点X做三维到二维的投影x＝PiX，其中X是齐次坐标系下三维点，x是齐次坐标下二维点，而Pi是尺寸为3×4的投影矩阵；在给定相机的内参数矩阵C和平移Ti和旋转Ri的姿态参数后，投影矩阵随即确定为Pi＝C[Ri|Ti]，其中[Ri|Ti]代表3×3的旋转矩阵和3×1的平移矢量组合为3×4的矩阵；在图像平面以面片顶点投影做扫描转换，过程遵循计算机光栅图形学的多边形扫描转换标准过程；最后，计算所有面片扫描转换所得像素集的并集，并将其像素灰度值设置为255，即为电弓轮廓影像Ii；
S11将估计姿态下的受电弓图像Ii与样本图像D做差异度比较，用Hausdorrf距离比较受电弓图像Ii与样本图像D的Laplace轮廓间的差异，作为差异度结果d(I,D)；
S12如果模型投影Ii和目标投影D差异度d(I,D)小于5个像素，则对参数估计算子进行奖励，即向姿态参数估计算子G回馈一个较大的正值分数，否则对姿态参数估计算账进行惩罚，即向参数估计算子回馈一个负值的分数；在本***中奖励分设置为10，而惩罚分设置为0.1；
S13姿态参数估计算子G利用姿态估计算法模块调整姿态更新值ΔRT，获取下一步姿态为RiTi+1＝RiTi+ΔRT；姿态估计算法模块基于VGG16网络实现，其输入当前观测的模型投影Ii和目标投影D，其输出为姿态更新值ΔRT；
S14将匹配计数器NM增加1；
S15若匹配计数器NM超过最大限度NM Max，则进入步骤S16；否则返回步骤S5；
S16将训练计数器NT增加1，返回步骤S3；
S17保存姿态参数估计算子G的姿态估计算法模块的训练权重参数到计算机外部存储器；然后结束。
2.根据权利要求1所述的一种受电弓图像的三维模板自动匹配方法，其特征在于，所述步骤S6和S7中，皆采用主干权重共享的VGG16网络作为基础特征提取网络，在此基础上分别建立左右视角判别的全连通网络和受电弓姿态分类全连同网络。
3.根据权利要求1所述的一种受电弓图像的三维模板自动匹配方法，其特征在于，所述步骤S11中，Hausdorff距离的差异度计算过程为：
S11-1首先利用Laplace运算分别对图像Ii和D计算其连通体的轮廓；
S11-2然后根据轮廓图Laplace(Ii)生成像素距离图Fi，该Fi是浮点数矩阵，它的每个像素值代表了该像素距离轮廓图Ii中最近的非零像素的欧氏距离；在获取Fi之后，在下一步计算Hausdorff距离值时可直接从矩阵Fi中检索，以提升计算效率；
S11-3最后采用Hausdorff距离算法比较其轮廓的差异度，即统计D中每个轮廓像素与Ii中最近的轮廓像素的距离，并取其最大值作为差异度，d(Ii,D)＝Hausdorff(Laplace(D),Laplace(Ii))。
4.根据权利要求1所述的一种受电弓图像的三维模板自动匹配方法，其特征在于，所述步骤S13中，参数估计算子G调整姿态更新值ΔRT的过程为：
S13-1用随机数生成算法得到一个取值范围从0到1的随机数，若此随机数小于预先设定的阈值e，则采用姿态估计算法模块中的姿态调节神经网络进行预测，用预测值作为ΔRT；否则进行LK光流场引导的随机探索ΔRT＝Fflow+aN，其中Fflow代表基于笛卡尔变换的LK光流场匹配量，N代表高斯分布的随机数，a是一个较小的标量，取值为0.1；
S13-2将姿态调整和奖惩得分作为整体记录到姿态估计算子G的存储器M中；存储器M存m项姿态调整和相应奖惩得分的记录，作为***调节的经验；若存储器M已满，则覆盖记录中奖励或惩罚中占少数的最旧记录；m的取值为2048；
S13-3随机从存储器M中抽取32条记录，作为一个批次，对姿态估计算子G的姿态估计算法模块中预测网络进行监督训练，使其强化记忆何种情况下更能够有效调节姿态参数，降低匹配度差异；训练过程遵循神经网络的反向回馈规则。
5.根据权利要求1所述的一种受电弓图像的三维模板自动匹配方法，其特征在于，在所述自监督学习中，离线的自监督训练学习后，使用真实的受电弓图像对受电弓姿态估计算子进行验证，具体验证过程为：
首先使用Canny算子计算真实的受电弓图像的边缘，然后将边缘图像输入给受电弓姿态估计算子，由受电弓姿态估计算子预测途中受电弓姿态，最后将三维模型的投影轮廓和受电弓图像边缘进行比较，若匹配度小于设定阈值，则该姿态估计可作为正确的预测结果。
CN202010026184.4A 2020-01-10 2020-01-10 一种受电弓图像的三维模板自动匹配方法 Active CN111260797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010026184.4A CN111260797B (zh) 2020-01-10 2020-01-10 一种受电弓图像的三维模板自动匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010026184.4A CN111260797B (zh) 2020-01-10 2020-01-10 一种受电弓图像的三维模板自动匹配方法

Publications (2)

Publication Number Publication Date
CN111260797A true CN111260797A (zh) 2020-06-09
CN111260797B CN111260797B (zh) 2022-09-02

Family

ID=70950333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010026184.4A Active CN111260797B (zh) 2020-01-10 2020-01-10 一种受电弓图像的三维模板自动匹配方法

Country Status (1)

Country Link
CN (1) CN111260797B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950532A (zh) * 2021-01-14 2021-06-11 成都铁安科技有限责任公司 一种列车受电弓状态检测方法
CN113465541A (zh) * 2021-07-09 2021-10-01 北京运达华开科技有限公司 一种接触线磨耗测量方法及***
CN113903433A (zh) * 2021-10-14 2022-01-07 数坤(北京)网络科技股份有限公司 一种图像处理方法、装置和电子设备
CN115937203A (zh) * 2023-01-09 2023-04-07 浙江智慧视频安防创新中心有限公司 一种基于模板匹配的视觉检测方法、装置、设备及介质
CN116127779A (zh) * 2023-03-14 2023-05-16 中铁电气化局集团有限公司 一种软横跨一次到位安装方法及***
CN116400623A (zh) * 2023-04-06 2023-07-07 南京星河世纪信息技术有限公司 高压设备智能监控***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103837087A (zh) * 2013-06-04 2014-06-04 中国科学院遥感与数字地球研究所 基于主动形状模型的受电弓自动检测方法
WO2017211593A1 (en) * 2016-06-10 2017-12-14 Bombardier Transportation Gmbh System and method for the asset management of railway trains
CN108596203A (zh) * 2018-03-13 2018-09-28 北京交通大学 并联池化层对受电弓碳滑板表面磨耗检测模型的优化方法
CN109087323A (zh) * 2018-07-25 2018-12-25 武汉大学 一种基于精细cad模型的图像车辆三维姿态估计方法
WO2019044345A1 (ja) * 2017-08-28 2019-03-07 株式会社日立国際電気 鉄道設備モニタリング装置及び鉄道設備モニタリングシステム
US20190164301A1 (en) * 2017-11-24 2019-05-30 Electronics And Telecommunications Research Institute Apparatus and method of learning pose of moving object

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103837087A (zh) * 2013-06-04 2014-06-04 中国科学院遥感与数字地球研究所 基于主动形状模型的受电弓自动检测方法
WO2017211593A1 (en) * 2016-06-10 2017-12-14 Bombardier Transportation Gmbh System and method for the asset management of railway trains
WO2019044345A1 (ja) * 2017-08-28 2019-03-07 株式会社日立国際電気 鉄道設備モニタリング装置及び鉄道設備モニタリングシステム
US20190164301A1 (en) * 2017-11-24 2019-05-30 Electronics And Telecommunications Research Institute Apparatus and method of learning pose of moving object
CN108596203A (zh) * 2018-03-13 2018-09-28 北京交通大学 并联池化层对受电弓碳滑板表面磨耗检测模型的优化方法
CN109087323A (zh) * 2018-07-25 2018-12-25 武汉大学 一种基于精细cad模型的图像车辆三维姿态估计方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KAREN SIMONYAN 等: "Very Deep Convolutional Networks for Large-Scale Image Recognition", 《ICLR 2015》 *
PENG TANG 等: "Self-supervised Railway Pantograph Image Component Retrieval with Geometry Prior", 《2018 INTERNATIONAL CONFERENCE ON INTELLIGENT RAIL TRANSPORTATION (ICIRT)》 *
张辉: "双目视觉受电弓表面三维重建技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李军 等: "刚性供电网条件下120km/h地铁受电弓弓网动态匹配问题", 《机车电传动》 *
韦璞 等: "基于Paralleled-Gabor变换的动车组车顶图像中受电弓检测", 《中国铁路》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950532A (zh) * 2021-01-14 2021-06-11 成都铁安科技有限责任公司 一种列车受电弓状态检测方法
CN112950532B (zh) * 2021-01-14 2024-04-16 成都铁安科技有限责任公司 一种列车受电弓状态检测方法
CN113465541A (zh) * 2021-07-09 2021-10-01 北京运达华开科技有限公司 一种接触线磨耗测量方法及***
CN113465541B (zh) * 2021-07-09 2022-02-22 北京运达华开科技有限公司 一种接触线磨耗测量方法及***
CN113903433A (zh) * 2021-10-14 2022-01-07 数坤(北京)网络科技股份有限公司 一种图像处理方法、装置和电子设备
CN113903433B (zh) * 2021-10-14 2022-11-15 数坤(北京)网络科技股份有限公司 一种图像处理方法、装置和电子设备
CN115937203A (zh) * 2023-01-09 2023-04-07 浙江智慧视频安防创新中心有限公司 一种基于模板匹配的视觉检测方法、装置、设备及介质
CN116127779A (zh) * 2023-03-14 2023-05-16 中铁电气化局集团有限公司 一种软横跨一次到位安装方法及***
CN116127779B (zh) * 2023-03-14 2023-08-08 中铁电气化局集团有限公司 一种软横跨一次到位安装方法及***
CN116400623A (zh) * 2023-04-06 2023-07-07 南京星河世纪信息技术有限公司 高压设备智能监控***
CN116400623B (zh) * 2023-04-06 2024-05-14 国网安徽省电力有限公司芜湖供电公司 高压设备智能监控***

Also Published As

Publication number Publication date
CN111260797B (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN111260797B (zh) 一种受电弓图像的三维模板自动匹配方法
CN110598736B (zh) 一种电力设备红外图像故障定位、识别与预测方法
CN107437245B (zh) 基于深度卷积神经网络的高速铁路接触网故障诊断方法
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN102902974B (zh) 一种基于图像的铁路接触网杆柱标识信息的识别方法
CN105044122A (zh) 一种基于半监督学习模型的铜件表面缺陷视觉检测***及检测方法
CN111260629A (zh) 基于图像处理的受电弓结构异常检测算法
CN113947731B (zh) 一种基于接触网安全巡检的异物识别方法及***
CN108694349B (zh) 一种基于线阵相机的受电弓图像提取方法及装置
CN112419289B (zh) 一种城市地铁轨道扣件缺陷智能检测方法
CN113012149B (zh) 一种智能清洗机器人路径规划方法及***
CN114757925A (zh) 一种非接触式高压断路器缺陷检测方法及***
CN104598916B (zh) 一种火车识别***的构建方法和火车识别的方法
CN112508911A (zh) 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测***及其检测方法
CN114030395B (zh) 一种接触悬挂吊弦区域异物检测方法及***
CN113673614B (zh) 基于机器视觉的地铁隧道异物入侵检测装置及方法
CN110618129A (zh) 一种电网线夹自动检测与缺陷识别方法及装置
CN114387261A (zh) 一种适用于铁路钢桥螺栓病害的自动检测方法
CN111640155B (zh) 一种基于3d成像的受电弓弓头倾斜角测量方法及***
CN114742975B (zh) 一种车载图像铁轨曲线建模方法
CN114067106B (zh) 基于帧间对比的受电弓形变检测方法、设备及存储介质
CN116977266A (zh) 基于小样本图像特征提取的雨棚缺陷检测方法及***
CN114120318B (zh) 一种基于集成决策树的暗场图像目标点精确提取方法
CN115713654A (zh) 基于2d与3d激光图像的轨道扣件螺栓松动自动检测方法
CN115187878A (zh) 基于无人机图像分析的风力发电装置叶片缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant