CN115511876A - 基于相对位置感知的高铁接触网防鸟刺识别方法及*** - Google Patents

基于相对位置感知的高铁接触网防鸟刺识别方法及*** Download PDF

Info

Publication number
CN115511876A
CN115511876A CN202211355480.4A CN202211355480A CN115511876A CN 115511876 A CN115511876 A CN 115511876A CN 202211355480 A CN202211355480 A CN 202211355480A CN 115511876 A CN115511876 A CN 115511876A
Authority
CN
China
Prior art keywords
bird
speed rail
rail contact
stab
relative position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211355480.4A
Other languages
English (en)
Inventor
赵宏伟
邬俊
王卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN202211355480.4A priority Critical patent/CN115511876A/zh
Publication of CN115511876A publication Critical patent/CN115511876A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于相对位置感知的高铁接触网防鸟刺识别方法及***，属于计算机视觉技术领域，包括：获取高铁接触网巡检图像；利用预先训练好的目标检测模型，对获取的所述高铁接触网巡检图像进行处理，得到防鸟刺识别结果；其中，所述预先训练好的目标检测模型由训练集训练得到，所述训练集包括多张高铁接触网巡检图像以及标注所述高铁接触网巡检图像中防鸟刺的标签。本发明聚焦于高速铁路接触网巡检场景，充分利用行业背景知识，通过对支持装置(大目标)与防鸟刺部件(小目标)间相对位置关系进行细粒度刻画与表示建模，提升了模型对防鸟刺小目标的识别精度，计算复杂度低，可辅助人工巡检，提升了巡检人员工作效率。

Description

基于相对位置感知的高铁接触网防鸟刺识别方法及***
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种基于相对位置感知的高铁接触网防鸟刺识别方法及***。
背景技术
接触网是高速列车获取电能的唯一途径，由于露天架设，极易受到各类异物侵扰。其中，鸟害侵扰占比最高，已成为威胁高速铁路***安全运营的主要因素之一。防鸟刺常被安装在接触网***的支持装置上，用于防治鸟类筑巢，可有效降低供电设备的故障率。然而，受恶劣天气影响，防鸟刺时常发生脱落，进而失去防鸟作用。目前，各铁路局主要采取人工核验巡检图像的方式检查防鸟刺是否完好，但该方法存在效率低、人工成本较高等不足。
从巡检图像中识别防鸟刺是一个典型的计算机视觉问题；更具体来说，是一个目标检测问题，即根据输入图像判别其中是否存在待检测目标；若存在，进一步用边界框(Bounding Box)标识出目标所在位置。由于铁路巡检车的拍摄视角很大，所获取巡检图像中防鸟刺部件的像素占比非常小(典型的小目标检测问题)，加之防鸟刺是一种放射状物体，视觉辨识度较低，因此防鸟刺部件检测任务较之常规目标检测任务(如人脸检测、行人检测、车辆检测等)更具挑战性。目前业界主流的目标检测方法大都基于深度学习；根据建议框生成机制不同，现有深度学习目标检测方法可粗略分为两类：两阶段方法和一阶段方法。两阶段代表性方法包括R-CNN、Faster R-CNN和Cascade R-CNN等。一阶段代表性方法包括YOLOv3、SSD和Retinanet等。
由于应用场景的特殊性，直接将上述现有目标检测技术应用于防鸟刺识别难以达到铁路巡检要求，存在计算代价大、检测精度低等问题。
发明内容
本发明的目的在于提供一种基于相对位置感知的高铁接触网防鸟刺识别方法及***，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
一方面，本发明提供一种基于相对位置感知的高铁接触网防鸟刺识别方法，包括：
获取高铁接触网巡检图像；
利用预先训练好的目标检测模型，对获取的所述高铁接触网巡检图像进行处理，得到防鸟刺识别结果；其中，所述预先训练好的目标检测模型由训练集训练得到，所述训练集包括多张高铁接触网巡检图像以及标注所述高铁接触网巡检图像中防鸟刺的标签。
优选的，训练所述目标检测模型包括：采集高铁接触网巡检图像，得到原始数据集；对原始数据集中的高铁接触网巡检图像进行手工标注，得到标记样本集；设定模型的网络结构；设定模型的输出锚框样式；设定模型的损失函数；基于上述设定，利用标记样本集，根据模型输出与真实标记，运用随机梯度下降算法优化模型的损失函数，得到最优的模型参数。
优选的，训练所述目标检测模型设定的网络结构包括：
骨干网络，用于获取输入图像的多层次特征金字塔，其中浅层金字塔对应图像的初级视觉特征，顶层金字塔对应高级语义特征；
颈部网络，通过跨层次特征交叉，提升金字塔表征能力，使得每层金字塔兼具初级视觉特征和高级语义信息；
头部网络，根据提升后的特征金字塔，预测图像中防鸟刺部件及其边界框。
优选的，对原始数据集中的高铁接触网巡检图像进行手工标注，包括：对巡检图像中的腕臂支撑装置和防鸟刺两类目标进行手工标注，保存为独立的标注文件，与巡检图像一起构成标记样本集；其中，标注文件记录了目标类别及其边界框的宽高和中心点坐标。
优选的，所述目标检测模型所使用的损失函数为：
Figure BDA0003920977230000031
其中，
Figure BDA0003920977230000032
表示支撑装置与防鸟刺双目标的分类损失，
Figure BDA0003920977230000033
表示双目标边界框的回归损失，
Figure BDA0003920977230000034
表示支撑装置预测边界框与防鸟刺预测边界框之间的相对位置损失，α、β、γ为超参数，用于调节损失函数中各项比重；
分类损失
Figure BDA0003920977230000035
定义为目标真实类标签与模型预测的类标签之间的交叉熵损失；回归损失
Figure BDA0003920977230000036
定义为目标真实边界框偏移量与模型预测边界框偏移量之间的平方损失；
相对位置损失
Figure BDA0003920977230000037
定义为：
Figure BDA0003920977230000038
其中，A是由支撑装置预测框内所有像素组成的集合，B是由防鸟刺预测框内所有像素组成的集合，|·|表示集合中元素个数；当B包含于A时，相对位置损失为零；当A中元素数目多于B中元素数目、且二者不存在包含关系时，相对位置损失定义为二者并集元素数目与A元素数目之差；当A包含于B时，相对位置损失定义为二者元素数目之差的常数倍。
优选的，所述目标检测模型的在线预测过程，包括：通过第一阈值剔除预测置信度较低的预测框；同时，当两个预测框的交并比超出第二阈值时，采用非最大值抑制策略删选二者中预测置信度较低的框；其中，
预测置信度定义为：
O＝IoU1×IoU2
其中，IoU1为防鸟刺真实框与防鸟预测框的交并比，IoU2为支撑装置预测框与防鸟刺预测框的交并比，分别定义如下；
Figure BDA0003920977230000041
Figure BDA0003920977230000042
其中，C表示防鸟刺真实框内所有像素组成的集合，D表示支撑装置预测框与防鸟刺预测框的最小外接矩形内所有像素组成的集合。
第二方面，本发明提供一种基于相对位置感知的高铁接触网防鸟刺识别***，包括：
获取模块，用于获取高铁接触网巡检图像；
检测模块，用于利用预先训练好的目标检测模型，对获取的所述高铁接触网巡检图像进行处理，得到防鸟刺识别结果；其中，所述预先训练好的目标检测模型由训练集训练得到，所述训练集包括多张高铁接触网巡检图像以及标注所述高铁接触网巡检图像中防鸟刺的标签。
第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的基于相对位置感知的高铁接触网防鸟刺识别方法。
第四方面，本发明提供一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如上所述的基于相对位置感知的高铁接触网防鸟刺识别方法。
第五方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的基于相对位置感知的高铁接触网防鸟刺识别方法的指令。
术语解释：
高速铁路接触网是沿铁路线上空架设的输电线路，是电力机车的动力来源，其工作状态直接影响着高速铁路的运输能力。
支持装置是接触网***中用以承受定位装置和接触悬挂的全部机械负荷并传递给支柱和基础的设备。
防鸟刺由24根钢丝组成，呈散开状，用来防止鸟类筑巢，通常安装在输变电线路设备的支持装置上。
小目标是指待识别目标的面积在整张图片中占比不超过0.12％，例如本发明提到的防鸟刺部件。
本发明有益效果：聚焦于高速铁路接触网巡检场景，充分利用行业背景知识(防鸟刺多安装于腕臂支撑装置之上)，通过对支持装置(大目标)与防鸟刺部件(小目标)间相对位置关系进行细粒度刻画与表示建模，提升了模型对防鸟刺小目标的识别精度，检测灵敏度高，计算复杂度低，可辅助人工巡检，提升了巡检人员工作效率。
本发明附加方面的优点，将在下述的描述部分中更加明显的给出，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的基于相对位置感知的高铁接触网防鸟刺识别方法设计流程示意图。
图2为本发明实施例所述的目标检测模型的网络结构示意图。
图3为本发明实施例所述的目标检测结果对比图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
本实施例1中提供一种基于相对位置感知的高铁接触网防鸟刺识别***，包括：
获取模块，用于获取高铁接触网巡检图像；
检测模块，用于利用预先训练好的目标检测模型，对获取的所述高铁接触网巡检图像进行处理，得到防鸟刺识别结果；其中，所述预先训练好的目标检测模型由训练集训练得到，所述训练集包括多张高铁接触网巡检图像以及标注所述高铁接触网巡检图像中防鸟刺的标签。
本实施例1中，利用上述的***，实现了一种基于相对位置感知的高铁接触网防鸟刺识别方法，包括：
利用获取模块获取高铁接触网巡检图像；如，可通过巡检车载相机采集高铁接触网巡检图像。
然后，利用监测模块中预先训练好的目标检测模型，对获取的所述高铁接触网巡检图像进行处理，得到防鸟刺识别结果；其中，所述预先训练好的目标检测模型由训练集训练得到，所述训练集包括多张高铁接触网巡检图像以及标注所述高铁接触网巡检图像中防鸟刺的标签。
其中，训练所述目标检测模型包括：采集高铁接触网巡检图像，得到原始数据集；对原始数据集中的高铁接触网巡检图像进行手工标注，得到标记样本集；设定模型的网络结构；设定模型的输出锚框样式；设定模型的损失函数；基于上述设定，利用标记样本集，根据模型输出与真实标记，运用随机梯度下降算法优化模型的损失函数，得到最优的模型参数。
其中，训练所述目标检测模型设定的网络结构包括：
骨干网络，用于获取输入图像的多层次特征金字塔，其中浅层金字塔对应图像的初级视觉特征，顶层金字塔对应高级语义特征；
颈部网络，通过跨层次特征交叉，提升金字塔表征能力，使得每层金字塔兼具初级视觉特征和高级语义信息；
头部网络，根据提升后的特征金字塔，预测图像中防鸟刺部件及其边界框。
对原始数据集中的高铁接触网巡检图像进行手工标注，包括：对巡检图像中的腕臂支撑装置和防鸟刺两类目标进行手工标注，保存为独立的标注文件，与巡检图像一起构成标记样本集；其中，标注文件记录了目标类别及其边界框的宽高和中心点坐标。
所述损失函数为：
Figure BDA0003920977230000081
其中，
Figure BDA0003920977230000091
表示支撑装置与防鸟刺双目标的分类损失，
Figure BDA0003920977230000092
表示双目标边界框的回归损失，
Figure BDA0003920977230000093
表示支撑装置预测边界框与防鸟刺预测边界框之间的相对位置损失，α、β、γ为超参数，用于调节损失函数中各项比重；
分类损失
Figure BDA0003920977230000094
定义为目标真实类标签与模型预测的类标签之间的交叉熵损失；回归损失
Figure BDA0003920977230000095
定义为目标真实边界框偏移量与模型预测边界框偏移量之间的平方损失；
相对位置损失
Figure BDA0003920977230000096
定义为：
Figure BDA0003920977230000097
其中，A是由支撑装置预测框内所有像素组成的集合，B是由防鸟刺预测框内所有像素组成的集合，|·|表示集合中元素个数；当B包含于A时，相对位置损失为零；当A中元素数目多于B中元素数目、且二者不存在包含关系时，相对位置损失定义为二者并集元素数目与A元素数目之差；当A包含于B时，相对位置损失定义为二者元素数目之差的常数倍。
所述目标检测模型的在线预测过程，包括：通过第一阈值剔除预测置信度较低的预测框；同时，当两个预测框的交并比超出第二阈值时，采用非最大值抑制策略删选二者中预测置信度较低的框；其中，
预测置信度定义为：
O＝IoU1×IoU2
其中，IoU1为防鸟刺真实框与防鸟预测框的交并比，IoU2为支撑装置预测框与防鸟刺预测框的交并比，分别定义如下；
Figure BDA0003920977230000098
Figure BDA0003920977230000101
其中，C表示防鸟刺真实框内所有像素组成的集合，D表示支撑装置预测框与防鸟刺预测框的最小外接矩形内所有像素组成的集合。
实施例2
本实施例2中，提供一种基于相对位置感知的高速铁路接触网防鸟刺识别方法，该方法包括如下步骤：
通过巡检车载相机采集高速铁路接触网巡检图像，得到原始数据集；
对巡检图像进行手工标注，得到标记样本集；
利用标记样本线下训练模型，得到相对位置感知目标检测模型RPOD；
利用训练好的RPOD模型对无标记巡检图片进行线上预测，输出防鸟刺识别结果。
其中，所述接触网巡检图像获取过程，包括：在巡检车驾驶室操作台与挡风玻璃之间安装高速摄像机，用于拍摄列车运行环境；在视频中叠加线路名、速度、里程和时间等上下文信息；对巡检视频采样，获得高速铁路接触网巡检图像数据集。
具体的，所述巡检图像标注过程，包括：对巡检图像中的腕臂支撑装置和防鸟刺两类目标进行手工标注，保存为独立的标注文件，与巡检图像一起构成标记样本集；其中，标注文件记录了目标类别及其边界框的宽高和中心点坐标。
所述RPOD模型的训练过程，包括：设定RPOD模型的网络结构；设定RPOD模型的输出锚框样式；设定RPOD模型的损失函数；基于上述设定，根据模型输出与真实标记，运用随机梯度下降算法优化RPOD模型的损失函数，得到最优的模型参数。
所述RPOD模型的网络结构，包括：骨干网络，用于获取输入图像的多层次特征金字塔，其中浅层金字塔对应图像的初级视觉特征，顶层金字塔对应高级语义特征；颈部网络，通过跨层次特征交叉，提升金字塔表征能力，使得每层金字塔兼具初级视觉特征和高级语义信息；头部网络，根据提升后的特征金字塔，预测图像中防鸟刺部件及其边界框。
所述RPOD模型的输出锚框样式，包括：将权利要求3所述的手工标注边界框表示为由宽和高组成的2维特征向量，然后对其进行聚类分析得到K个簇，最后对簇中心向量进行截断取整得到K种样式的锚框。
所述RPOD模型的损失函数定义为：
Figure BDA0003920977230000111
其中
Figure BDA0003920977230000112
表示支撑装置与防鸟刺双目标的分类损失，
Figure BDA0003920977230000113
表示双目标边界框的回归损失，
Figure BDA0003920977230000114
表示支撑装置预测边界框与防鸟刺预测边界框之间的相对位置损失，α、β、γ为超参数，用于调节损失函数中各项比重；
分类损失
Figure BDA0003920977230000115
定义为目标真实类标签与模型预测的类标签之间的交叉熵损失；回归损失
Figure BDA0003920977230000116
定义为目标真实边界框偏移量与模型预测边界框偏移量之间的平方损失；
相对位置损失
Figure BDA0003920977230000117
定义为：
Figure BDA0003920977230000118
其中A是由支撑装置预测框内所有像素组成的集合，B是由防鸟刺预测框内所有像素组成的集合，·表示集合中元素个数；当B包含于A时，相对位置损失为零；当A中元素数目多于B中元素数目、且二者不存在包含关系时，相对位置损失定义为二者并集元素数目与A元素数目之差；当A包含于B时，相对位置损失定义为二者元素数目之差的常数倍。
所述RPOD模型的在线预测过程，包括：通过第一阈值剔除预测置信度较低的预测框；同时，当两个预测框的交并比超出第二阈值时，采用非最大值抑制策略删选二者中预测置信度较低的框。
所述RPOD模型的预测置信度定义为：
O＝IoU1×IoU2
其中，IoU1为防鸟刺真实框与防鸟预测框的交并比，IoU2为支撑装置预测框与防鸟刺预测框的交并比，分别定义如下；
Figure BDA0003920977230000121
Figure BDA0003920977230000122
其中，C表示防鸟刺真实框内所有像素组成的集合，D表示支撑装置预测框与防鸟刺预测框的最小外接矩形内所有像素组成的集合。
实施例3
本实施例3中，提供基于相对位置感知的高铁接触网防鸟装置识别方法，其工作流程如图1所示。首先获取高速铁路接触网巡检图像(步骤S1)；然后对高速铁路接触网巡检图像中的腕臂支撑装置和防鸟刺部件标注，构建数据集(步骤S2)；使用标注数据线下训练RPOD模型(步骤S3)；最后，根据训练好的RPOD模型预测防鸟刺部件在图中的位置，输出模型预测结果。
本实施例3中，所提出模型的网络结构如图2所示，该结构包括骨干网络、颈部网络、头部网络三个部分。骨干网络采用CSPDarknet53，用于获取多层次特征金字塔；颈部网络采用FPN和PAN，用于提升特征金字塔的表征能力；头部网络采用“双预测头设计”同时预测支撑装置和防鸟刺部件(模型最终仅需输出防鸟刺部件的预测信息)。
为了验证本实施例3所提出模型的有效性，图3给出了所提出模型与当前主流目标检测模型的实验对比结果。对比方法包括一阶段模型YOLOv3、YOLOv5，两阶段模型FasterR-CNN、Cascade R-CNN。实验所用数据集拍摄于某高速铁路的许某市到郑某市、郑某市到安某市上行路线及其对应的下行路线，一共4条线路数据，60060张图片，分辨率是2448*2048。最终标注支持装置3536个，防鸟刺数量1101个。模型的超参数设置如下：聚类簇数为9(即模型的输出锚框样式共有9种)、批量大小16、冲量大小0.843、学习率0.032到0.12、权重衰减0.00036和最大轮次300、分类损失权重0.36、回归损失权重0.04、双生损失函数权重0.6。
实验结果表明，本实施例所提出的RPOD模型性能明显优于其他同类模型。与结果最接近的Cascade R-CNN模型相比，本实施例所提出的RPOD模型在防鸟刺数据集中达到了43.22的AP值，实现了2.2％的提升。可见本实施对于防鸟刺检测达到了更好的效果，具有实际应用价值。
实施例4
本发明实施例4提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现基于相对位置感知的高铁接触网防鸟刺识别方法，该方法包括：
获取高铁接触网巡检图像；
利用预先训练好的目标检测模型，对获取的所述高铁接触网巡检图像进行处理，得到防鸟刺识别结果；其中，所述预先训练好的目标检测模型由训练集训练得到，所述训练集包括多张高铁接触网巡检图像以及标注所述高铁接触网巡检图像中防鸟刺的标签。
实施例5
本发明实施例5提供一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现基于相对位置感知的高铁接触网防鸟刺识别方法，该方法包括：
获取高铁接触网巡检图像；
利用预先训练好的目标检测模型，对获取的所述高铁接触网巡检图像进行处理，得到防鸟刺识别结果；其中，所述预先训练好的目标检测模型由训练集训练得到，所述训练集包括多张高铁接触网巡检图像以及标注所述高铁接触网巡检图像中防鸟刺的标签。
实施例6
本发明实施例6提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现基于相对位置感知的高铁接触网防鸟刺识别方法的指令，该方法包括：
获取高铁接触网巡检图像；
利用预先训练好的目标检测模型，对获取的所述高铁接触网巡检图像进行处理，得到防鸟刺识别结果；其中，所述预先训练好的目标检测模型由训练集训练得到，所述训练集包括多张高铁接触网巡检图像以及标注所述高铁接触网巡检图像中防鸟刺的标签。
综上所述，本发明实施例所述的面向高速铁路接触网安全巡检的专属型防鸟刺识别方法，合理利用了场景先验知识，基于腕臂支撑装置和防鸟刺之间的相对位置关系，将防鸟刺的检测范围从整张巡检图像缩小到腕臂支撑装置周边区域，大幅提升了检测模型的预测精准度。在实施例中，防鸟刺检测模型RPOD的网络结构及其目标函数，其使用到的主干网络和损失函数分别是CSPDarknet和SymbioticLoss，熟悉本领域技术的人员显然可以容易地针对上述实施例做出各种修改。例如，将主干网络替换为ResNet-101或VGG19等，或将损失函数替换成CIoULoss、GIoULoss等。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于相对位置感知的高铁接触网防鸟刺识别方法，其特征在于，包括：
获取高铁接触网巡检图像；
利用预先训练好的目标检测模型，对获取的所述高铁接触网巡检图像进行处理，得到防鸟刺识别结果；其中，所述预先训练好的目标检测模型由训练集训练得到，所述训练集包括多张高铁接触网巡检图像以及标注所述高铁接触网巡检图像中防鸟刺的标签。
2.根据权利要求1所述的基于相对位置感知的高铁接触网防鸟刺识别方法，其特征在于，所述目标检测模型的训练过程包括：采集高铁接触网巡检图像，得到原始数据集；对原始数据集中的高铁接触网巡检图像进行手工标注，得到标记样本集；设定模型的网络结构；设定模型的输出锚框样式；设定模型的损失函数；基于上述设定，利用标记样本集，根据模型输出与真实标记，运用随机梯度下降算法优化模型的损失函数，得到最优的模型参数。
3.根据权利要求2所述的基于相对位置感知的高铁接触网防鸟刺识别方法，其特征在于，所述目标检测模型设定的网络结构包括：
骨干网络，用于获取输入图像的多层次特征金字塔，其中浅层金字塔对应图像的初级视觉特征，顶层金字塔对应高级语义特征；
颈部网络，通过跨层次特征交叉，提升金字塔表征能力，使得每层金字塔兼具初级视觉特征和高级语义信息；
头部网络，根据提升后的特征金字塔，预测图像中防鸟刺部件及其边界框。
4.根据权利要求2所述的基于相对位置感知的高铁接触网防鸟刺识别方法，其特征在于，对原始数据集中的高铁接触网巡检图像进行手工标注，包括：对巡检图像中的腕臂支撑装置和防鸟刺两类目标进行手工标注，保存为独立的标注文件，与巡检图像一起构成标记样本集；其中，标注文件记录了目标类别及其边界框的宽高和中心点坐标。
5.根据权利要求2所述的基于相对位置感知的高铁接触网防鸟刺识别方法，其特征在于，所述目标检测模型所使用的损失函数为：
Figure FDA0003920977220000021
其中，
Figure FDA0003920977220000022
表示支撑装置与防鸟刺双目标的分类损失，
Figure FDA0003920977220000023
表示双目标边界框的回归损失，
Figure FDA0003920977220000024
表示支撑装置预测边界框与防鸟刺预测边界框之间的相对位置损失，α、β、γ为超参数，用于调节损失函数中各项比重；
分类损失
Figure FDA0003920977220000025
定义为目标真实类标签与模型预测的类标签之间的交叉熵损失；回归损失
Figure FDA0003920977220000026
定义为目标真实边界框偏移量与模型预测边界框偏移量之间的平方损失；
相对位置损失
Figure FDA0003920977220000027
定义为：
Figure FDA0003920977220000028
其中，A是由支撑装置预测框内所有像素组成的集合，B是由防鸟刺预测框内所有像素组成的集合，|·|表示集合中元素个数；当B包含于A时，相对位置损失为零；当A中元素数目多于B中元素数目、且二者不存在包含关系时，相对位置损失定义为二者并集元素数目与A元素数目之差；当A包含于B时，相对位置损失定义为二者元素数目之差的常数倍。
6.根据权利要求1所述的基于相对位置感知的高铁接触网防鸟刺识别方法，其特征在于，所述目标检测模型的在线预测过程，包括：通过第一阈值剔除预测置信度较低的预测框；同时，当两个预测框的交并比超出第二阈值时，采用非最大值抑制策略删选二者中预测置信度较低的框；其中，
预测置信度定义为：
O＝IoU1×IoU2
其中，IoU1为防鸟刺真实框与防鸟预测框的交并比，IoU2为支撑装置预测框与防鸟刺预测框的交并比，分别定义如下；
Figure FDA0003920977220000031
Figure FDA0003920977220000032
其中，C表示防鸟刺真实框内所有像素组成的集合，D表示支撑装置预测框与防鸟刺预测框的最小外接矩形内所有像素组成的集合。
7.一种基于相对位置感知的高铁接触网防鸟刺识别***，其特征在于，包括：
获取模块，用于获取高铁接触网巡检图像；
检测模块，用于利用预先训练好的目标检测模型，对获取的所述高铁接触网巡检图像进行处理，得到防鸟刺识别结果；其中，所述预先训练好的目标检测模型由训练集训练得到，所述训练集包括多张高铁接触网巡检图像以及标注所述高铁接触网巡检图像中防鸟刺的标签。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-6任一项所述的基于相对位置感知的高铁接触网防鸟刺识别方法。
9.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如权利要求1-6任一项所述的基于相对位置感知的高铁接触网防鸟刺识别方法。
10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-6任一项所述的基于相对位置感知的高铁接触网防鸟刺识别方法的指令。
CN202211355480.4A 2022-11-01 2022-11-01 基于相对位置感知的高铁接触网防鸟刺识别方法及*** Pending CN115511876A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211355480.4A CN115511876A (zh) 2022-11-01 2022-11-01 基于相对位置感知的高铁接触网防鸟刺识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211355480.4A CN115511876A (zh) 2022-11-01 2022-11-01 基于相对位置感知的高铁接触网防鸟刺识别方法及***

Publications (1)

Publication Number Publication Date
CN115511876A true CN115511876A (zh) 2022-12-23

Family

ID=84512863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211355480.4A Pending CN115511876A (zh) 2022-11-01 2022-11-01 基于相对位置感知的高铁接触网防鸟刺识别方法及***

Country Status (1)

Country Link
CN (1) CN115511876A (zh)

Similar Documents

Publication Publication Date Title
CN110059631B (zh) 接触网非接触式监测缺陷识别方法
CN110188807B (zh) 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
TWI677826B (zh) 車牌辨識系統與方法
CN111899227A (zh) 基于无人机作业的铁路扣件缺陷自动采集辨识方法
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN111047818A (zh) 一种基于视频图像的森林火灾预警***
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN102902974B (zh) 一种基于图像的铁路接触网杆柱标识信息的识别方法
CN114743119B (zh) 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN111241343A (zh) 一种道路信息监控与分析检测方法、智慧交通控制***
CN111626170B (zh) 一种铁路边坡落石侵限检测的图像识别方法
Wu et al. UAV imagery based potential safety hazard evaluation for high-speed railroad using Real-time instance segmentation
CN111598855B (zh) 一种基于深度学习和迁移学习的2c设备高铁接触网吊弦缺陷检测方法
CN111414807A (zh) 一种基于yolo技术的潮水识别与危机预警方法
CN113255605A (zh) 一种路面病害检测方法、装置、终端设备及存储介质
CN111626169A (zh) 一种基于图像的铁路危险落石尺寸判断方法
CN111723706A (zh) 基于树莓派的厢式货车厢门开度监控装置及***
CN112508911A (zh) 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测***及其检测方法
CN115909092A (zh) 轻量化输电通道隐患测距方法及隐患预警装置
CN113450573A (zh) 基于无人机图像识别的交通监测方法和交通监测***
CN116052082A (zh) 一种基于深度学习算法的配电站房异常检测方法及装置
Liu et al. An improved faster R-CNN for UAV-based catenary support device inspection
CN116846059A (zh) 一种用于电网巡检和监控的边缘检测***
Katsamenis et al. Real time road defect monitoring from UAV visual data sources
CN116740495A (zh) 路桥隧道的病害检测模型的训练方法和病害检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination