CN117291964A - 基于邻轨列车特征的测距方法及装置 - Google Patents

基于邻轨列车特征的测距方法及装置 Download PDF

Info

Publication number
CN117291964A
CN117291964A CN202311100544.0A CN202311100544A CN117291964A CN 117291964 A CN117291964 A CN 117291964A CN 202311100544 A CN202311100544 A CN 202311100544A CN 117291964 A CN117291964 A CN 117291964A
Authority
CN
China
Prior art keywords
feature
train
target
adjacent rail
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311100544.0A
Other languages
English (en)
Inventor
张强
张宇旻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Avery Technology Co ltd
Original Assignee
Beijing Avery Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Avery Technology Co ltd filed Critical Beijing Avery Technology Co ltd
Priority to CN202311100544.0A priority Critical patent/CN117291964A/zh
Publication of CN117291964A publication Critical patent/CN117291964A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

本发明提供一种基于邻轨列车特征的测距方法及装置，属于轨道交通领域。包括：得到邻轨列车的目标特征；基于车载拍摄装置的内参矩阵、目标特征的各特征角点在邻轨列车图像中的像素参考坐标系中的坐标、目标特征的几何约束条件，确定各特征角点到本车的深度值；基于逆透视变换将侧面图像投射为非透视图像，基于不同特征角点在下沿直线上的垂点，特征角点到本车的深度值，确定邻轨列车占压道岔的目标位置到本车的深度值。本发明实施例提供的基于邻轨列车特征的测距方法及装置，无需对现有的主动式列车防撞***进行更改，还可以作为激光雷达扫描测距的异构补充，为列车运行控制***控制列车防撞提供更准确的深度值。

Description

基于邻轨列车特征的测距方法及装置
技术领域
本发明涉及轨道交通技术领域，尤其涉及一种基于邻轨列车特征的测距方法及装置。
背景技术
在轨道交通行业逐步推进辅助驾驶***和无人驾驶***的过程中，列车前方轨行区的净空检测，是确保轨道交通列车安全运行的基本前提。
本列车前方道岔交汇区存在邻轨列车，是列车自动驾驶中最常见且最危险的场景之一。对该场景的防护，需要本列车对邻轨列车的车身实现全面且精确的识别，并测量占压道岔的邻轨列车的距离，为本列车基于安全距离的列车运行***控制提供信息。
现有的主动式列车防撞***，采用“高精度定位+激光雷达扫描”的方式实现前方道岔交汇区的邻轨列车检测：首先，通过激光雷达、相机、IMU等列车车载传感器获取列车前向场景信息和列车运动信息，并与既有线路地图匹配实现定位；之后，通过激光雷达对列车前向区域关键节点(例如道岔交汇区)进行扫描测距，以判断是否存在邻轨列车以及确定邻轨列车到本列车的距离。
现有技术中仅采用高精度定位以及雷达扫描相结合的方式进行检测，未能充分利用相机传感器的测距功能，且仅通过高精度定位以及雷达扫描不利于确保测距的精度和可靠性。
发明内容
本发明提供一种基于邻轨列车特征的测距方法、装置及电子设备，用以解决现有技术中仅通过雷达扫描定位不够准确的缺陷。
第一方面本发明提供一种基于邻轨列车特征的测距方法，包括：
对本车拍摄装置获取的邻轨列车的侧面图像进行特征识别，得到邻轨列车的目标特征；所述目标特征为尺度已知的特征；
基于所述车载拍摄装置的内参矩阵、所述目标特征的各特征角点在所述邻轨列车图像中的像素参考坐标系中的坐标、所述目标特征的几何约束条件，确定各特征角点到本车的深度值；
基于逆透视变换将所述侧面图像投射为非透视图像，并确定所述邻轨列车在所述非透视图像中的下沿直线；
基于不同特征角点在所述下沿直线上的垂点，以及所述不同特征角点到本车的深度值，确定邻轨列车占压道岔的目标位置到本车的深度值；其中，所述目标位置位于所述下沿直线上；
在一个实施例中，所述基于所述车载拍摄装置的内参矩阵、所述目标特征的各特征角点在所述邻轨列车图像中的像素参考坐标系中的坐标、所述目标特征的几何约束条件，确定各特征角点到本车的深度值，包括：
基于所述车载拍摄装置的内参矩阵，将所述目标特征的各特征角点在所述邻轨列车图像中的像素参考坐标系中的坐标，变换为所述车载拍摄装置的参考坐标系中的三维空间坐标表达式；
基于所述目标特征的几何约束条件以及各三维空间坐标表达式，构建目标方程组；
对所述目标方程组进行求解，以得到各特征角点到本车的深度值；
在一个实施例中，所述确定邻轨列车占压道岔的目标位置到本车的深度值，包括：
基于不同特征角点在所述下沿直线上的垂点在所述非透视图像中的像素坐标，以及所述不同特征角点到本车的深度值，确定像素坐标与深度值的线性关系；
基于所述目标位置的像素坐标以及所述线性关系，利用定比分点算法确定所述目标位置到本车的深度值；
在一个实施例中，所述对本车拍摄装置获取的邻轨列车的侧面图像进行特征识别，得到邻轨列车的目标特征，包括：
将所述邻轨列车的侧面图像输入到特征识别模型中，得到所述特征识别模型输出的邻轨列车的目标特征及其置信度；
将所述置信度高于置信度阈值的目标特征作为有效的目标特征；
在一个实施例中，所述特征识别模型为YOLO网络模型或ERFNet网络模型；
在一个实施例中，所述拍摄装置为单目视觉拍摄装置；
在一个实施例中，所述目标特征包括列车车头、列车车头前窗、列车双前照灯、列车客室窗、列车客室门、列车车轮、列车轨道中的至少一项。
第二方面，本发明还提供一种基于邻轨列车特征的测距装置，包括：
特征识别模块，用于对本车拍摄装置获取的邻轨列车的侧面图像进行特征识别，得到邻轨列车的目标特征；所述目标特征为尺度已知的特征；
深度确定模块，用于基于所述车载拍摄装置的内参矩阵、所述目标特征的各特征角点在所述邻轨列车图像中的像素参考坐标系中的坐标、所述目标特征的几何约束条件，确定各特征角点到本车的深度值；
图像投射模块，用于基于逆透视变换将所述侧面图像投射为非透视图像，并确定所述邻轨列车在所述非透视图像中的下沿直线；
道岔确定模块，用于基于不同特征角点在所述下沿直线上的垂点，以及所述不同特征角点到本车的深度值，确定邻轨列车占压道岔的目标位置到本车的深度值；其中，所述目标位置位于所述下沿直线上。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器，所述处理器执行所述程序时实现如上述第一方面中的任一项所述基于邻轨列车特征的测距方法的步骤。
第四方面，本发明还提供一种处理器可读存储介质，其上存储有计算机程序，所述计算机程序用于使处理器执行时实现如上述第一方面中的任一项所述基于邻轨列车特征的测距方法的步骤。
本发明提供的基于邻轨列车特征的测距方法及装置，通过车载拍摄装置的内参矩阵、目标特征的各特征角点及其像素参考系坐标和集合约束条件构建确定特征角点的深度值，并通过将侧面图像投射为非透视图像，确定目标位置的深度值，无需对现有的主动式列车防撞***进行更改，还可以作为激光雷达扫描测距的异构补充，为列车运行控制***控制列车防撞提供更准确的深度值。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于邻轨列车特征的测距方法流程图；
图2是本发明实施例提供的特征识别结果示意图；
图3是本发明实施例提供的目标特征透视投影示意图；
图4是本发明实施例提供的逆透视变换示意图；
图5是本发明实施例提供的基于邻轨列车特征的测距装置示意图；
图6是本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
，如图1所示，本发明实施例提供的基于邻轨列车特征的测距方法，包括：
步骤110、对本车拍摄装置获取的邻轨列车的侧面图像进行特征识别，得到邻轨列车的目标特征；目标特征为尺度已知的特征；
步骤120、基于车载拍摄装置的内参矩阵、目标特征的各特征角点在邻轨列车图像中的像素参考坐标系中的坐标、目标特征的几何约束条件，确定各特征角点到本车的深度值；
步骤130、基于逆透视变换将侧面图像投射为非透视图像，并确定邻轨列车在非透视图像中的下沿直线；
步骤140、基于不同特征角点在下沿直线上的垂点，以及不同特征角点到本车的深度值，确定邻轨列车占压道岔的目标位置到本车的深度值；其中，目标位置位于所述下沿直线上。
需要说明的是，在步骤110中，对本车拍摄装置获取的邻轨列车的侧面图像进行特征识别可以由列车车载GPU计算设备进行处理，根据邻轨列车的目标特征确定目标位置到本车的深度值可以由列车车载CPU计算设备进行处理。
需要说明的是，车载拍摄装置拍摄得到邻轨列车的侧面图像后，将其以图像数据流的方式输入至本列车车载GPU计算设备中，GPU计算设备中的特征识别网络对图像数据进行识别，得到邻轨列车的目标特征，并将其发送至CPU计算设备中进行计算。
在步骤120中，CPU计算设备根据车载拍摄装置的内参矩阵、目标特征的角点在像素参考坐标系中的坐标、目标特征的几何约束条件，确定特征角点到本车的深度值。
在步骤130中，CPU计算设备通过逆透视变换将邻轨列车的侧面图像投射为非透视图像，确定非透视图像中的下沿直线。
在步骤140中，根据不同特征角点在下沿直线上的垂点以及该特征角点到到本车的深度值，计算得到邻轨列车占压道岔的目标位置到本车的深度值。
需要说明的是，车载拍摄装置可以安装于列车前端视野开阔、便于维护的位置。其中，CPU计算设备可以提前获取车载拍摄装置预先标定好内参以及车载拍摄装置相对于本列车的位置与角度，以便于CPU计算设备确定特征角点到本车的深度值。
需要说明的是，目标特征的尺度可以是目标尺寸信息、目标特征形状的角度信息等。例如列车客室门宽、高等信息，例如可以使用卷尺、激光测距仪、水平仪等工具对目标特征的尺度进行采集。
需要说明的是，目标特征的几何约束条件可以是平行，垂直等关系。
需要说明的是，特征角点可以是具有明显几何关系的点，例如四边形的四个顶点，具体地，在本发明中可以例如长方形客室车窗的四个顶点。
需要说明的是，邻轨列车的下沿直线可以是指本列车拍摄装置所拍摄的邻轨列车的下沿的一条直线，其与邻轨列车占压道岔的目标位置在同一水平直线上。
本发明实施例提供的基于邻轨列车特征的测距方法，通过车载拍摄装置的内参矩阵、目标特征的各特征角点及其像素参考系坐标和集合约束条件构建确定特征角点的深度值，并通过将侧面图像投射为非透视图像，确定目标位置的深度值，无需对现有的主动式列车防撞***进行更改，还可以作为激光雷达扫描测距的异构补充，为列车运行控制***控制列车防撞提供更准确的深度值。
在一个实施例中，目标特征包括列车车头、列车车头前窗、列车双前照灯、列车客室窗、列车客室门、列车车轮、列车轨道中的至少一项。
可以理解的是，采集目标特征的尺度时，可以采集例如列车车头宽高、列车车头前窗宽高、列车双前照灯间距、列车客室门宽高、列车车轮轮径、列车轨道双轨间距等。
本发明实施例提供的基于邻轨列车特征的测距方法，确定列车车头、列车车头前窗等中的至少一项作为邻轨列车的目标特征，便于对目标特征的尺度进行采集，且采集到的尺度信息相对于形状不规整的特征更准确，更有利于提高后续识别目标特征的准确度。
在一个实施例中，拍摄装置为单目视觉拍摄装置。
可以理解的是，本列车通过使用单目视觉拍摄装置进行测距，可以对激光雷达扫描测距的结果进行异构补充，使得本列车运行控制***得到的本列车与邻轨列车在占压道岔的目标位置的深度值更准确，更有利于本列车运行控制***控制列车防撞。
图2是本发明实施例提供的特征识别结果示意图。如图2所示，本发明实施例提供的基于邻轨列车特征的测距方法，对本车拍摄装置获取的邻轨列车的侧面图像进行特征识别，得到邻轨列车的目标特征，包括：
将邻轨列车的侧面图像输入到特征识别模型中，得到特征识别模型输出的邻轨列车的目标特征及其置信度；
将置信度高于置信度阈值的目标特征作为有效的目标特征。
需要说明的是，特征识别网络在识别邻轨列车侧面图像后，输出目标特征时，还会输出该目标特征的置信度，CPU计算设备通过将目标特征的置信度与预先设置置信度阈值比较，确定目标特征置信度低于置信度阈值的目标特征不参与到后续的深度值计算中。
本发明实施例提供的基于邻轨列车特征的测距方法，通过特征识别网络识别输出目标特征置信度，将目标特征置信度高于置信度阈值的目标特征参与后续的深度值计算中，确保了后续深度值计算的准确性。
在一个实施例中，特征识别模型为YOLO网络模型或ERFNet网络模型。
可以理解的是，针对使用场景的不同，特征识别网络识别的特征也不同。例如当本车拍摄装置频繁用于拍摄的图片为列车车头的图片，此时特征识别网络可以识别到列车车头、列车车头前窗，此时在训练特征识别网络时，可以将大量的标注好的列车车头、列车车头前窗等目标特征图像输入至特征识别网络进行训练，以提高该特征识别网络对列车车头部分的目标特征识别的准确度。
需要说明的是，YOLO网络模型或ERFNet网络模型部署于本列车的GPU计算设备中。YOLO网络模型和ERFNet网络模型在使用之前均需要进行训练，例如对采集到的目标特征的图像进行标注，标注类型可以是矩形框标注、语义分割标注等。将标注后的大量各类目标特征输入至YOLO网络模型或ERFNet网络模型中进行训练，得到特征识别网络。
可以理解的是，选择使用YOLO网络模型或ERFNet网络模型可以根据本列车的硬件条件、训练时长等进行选择。例如根据硬件条件进行选择可以是，硬件条件好、GPU计算设备处理速度快的列车，选择使用YOLO网络模型，反之可以选择ERFNet网络模型；根据训练市场进行选择可以是，训练时长短的选择ERFNet网络模型，训练时长长的选择YOLO网络模型，本发明在此不做限定。
本发明实施例提供的基于邻轨列车特征的测距方法，通过根据不同的列车硬件条件、不同使用场景的训练时长选择使用YOLO网络模型或ERFNet网络模型，使得目标特征检测模型可以适用于各种列车类型。
在一个实施例中，基于车载拍摄装置的内参矩阵、目标特征的各特征角点在邻轨列车图像中的像素参考坐标系中的坐标、目标特征的几何约束条件，确定各特征角点到本车的深度值，包括：
基于车载拍摄装置的内参矩阵，将目标特征的各特征角点在邻轨列车图像中的像素参考坐标系中的坐标，变换为车载拍摄装置的参考坐标系中的三维空间坐标表达式；
基于目标特征的几何约束条件以及各三维空间坐标表达式，构建目标方程组；
对目标方程组进行求解，以得到各特征角点到本车的深度值。
需要说明的是，CPU计算设备得到特征邻轨列车的目标特征后，根据邻轨列车图像确定像素参考系，在该像素参考系中确定目标特征各角点的二维坐标。根据标定的车载拍摄装置的内参，确定车载拍摄装置的内参矩阵，并构建车载拍摄装置的参考坐标系，根据该内参矩阵将各角点的二维坐标转换为车载拍摄装置的参考坐标系中的三维空间坐标表达式。随后CPU计算设备根据预先确定的目标特征的集合约束条件，结合各三维空间坐标表达式，构建目标方程组，对该方程组求解，得到各特征角点到本车的深度值。
图3是本发明实施例提供的目标特征透视投影示意图。该目标特征为一客室车窗。如图3所示，点A’、B’、C’、D’为该目标特征的四个角点，根据像素参考系，确定A’、B’、C’、D’四点的二维坐标为：
[u[i],v[i]]T(i∈{A,B,C,D})
根据车载拍摄装置的内参矩阵，将各角点的二维坐标转换为车载拍摄装置的参考坐标系中的三维空间坐标表达式为：
[X[i],Y[i],Z[i]]T(i∈{A,B,C,D})，
进一步改写为深度信息以深度信息Z[i](i∈{A,B,C,D})作为变量的表达方式：
根据目标特征的几何约束条件：高度H已知，宽度L已知，垂直关系已知，得到几何约束条件表达式：
根据几何约束表达式构建目标方程组：
具体地，(4)可以展开为：
通过对目标方程组求解，即可得到各特征角点到本车的深度值Z[i](i∈{A,B,C,D})。
本发明实施例提供的基于邻轨列车特征的测距方法，通过车载拍摄装置的内参矩阵以及像素参考坐标系中的坐标、目标特征的集合约束条件联立方程组求解得到各特征角点到本车的深度值，无需对现有的主动式列车防撞***进行更改即可确定邻轨列车中国特征角点到本车的深度值，简化了深度测量的流程，使得列车运行控制***能获得更准确的深度结果，有利于更好的控制列车防撞。
在一个实施例中，确定邻轨列车占压道岔的目标位置到本车的深度值，包括：
基于不同特征角点在下沿直线上的垂点在非透视图像中的像素坐标，以及不同特征角点到本车的深度值，确定像素坐标与深度值的线性关系；
基于目标位置的像素坐标以及线性关系，利用定比分点算法确定目标位置到本车的深度值。
图4是本发明实施例提供的逆透视变换示意图。如图4所示，目标特征角点A、B以及目标位置C，线段A’C是邻轨列车的下沿直线，A’、B’点分别为目标特征角点A、B在邻轨列车的下沿直线上的垂点，目标位置C点为邻轨列车占压道岔的位置，位于邻轨列车下沿直线上。
可以理解的是垂点A’、B’与目标特征角点A、B具有相同的深度值。
通过在非透视图像中构建像素坐标，确定A’、B’、C点的像素坐标，根据其像素坐标确定A’、B’、C点之间的像素距离，由于其像素距离与其深度值关系成线性关系，利用定比分点算法计算得到C点的深度值。例如图4中，A’点的像素坐标为(0,176)，A’点的深度值为88m，B’点的像素坐标为(0,202)，B’点的深度值为101m，C点的像素坐标为(0,278)，根据A’、B’像素坐标与深度值的线性关系，即可确定C点的深度值为139m。
本发明实施例提供的基于邻轨列车特征的测距方法，通过非透视图像中目标特征角点深度，以及其在邻轨列车下沿直线上的垂点的像素坐标，确定邻轨列车下沿直线上的点其像素坐标与其深度值的线性关系，进而确定邻轨列车占压道岔的目标位置的深度值，通过图形变化与简单计算即可得到目标位置的深度值，极大程度的提高了目标位置深度检测的效率。
需要说明的是，上述基于邻轨列车特征的测距方法还可以应用之其他常见目标的深度值估计中，例如行人、平交道口汽车等。
需要说明的是，上述基于邻轨列车特征的测距方法还可以应用至轨旁的路测监控设备中。
另一方面，图5是本发明实施例提供的基于邻轨列车特征的测距装置示意图，如图5所示，基于邻轨列车特征的测距装置包括：
特征识别模块510，用于对本车拍摄装置获取的邻轨列车的侧面图像进行特征识别，得到邻轨列车的目标特征；目标特征为尺度已知的特征；
深度确定模块520，用于基于车载拍摄装置的内参矩阵、目标特征的各特征角点在邻轨列车图像中的像素参考坐标系中的坐标、目标特征的几何约束条件，确定各特征角点到本车的深度值；
图像投射模块530，用于基于逆透视变换将侧面图像投射为非透视图像，并确定邻轨列车在非透视图像中的下沿直线；
道岔确定模块540，用于基于不同特征角点在下沿直线上的垂点，以及不同特征角点到本车的深度值，确定邻轨列车占压道岔的目标位置到本车的深度值；其中，目标位置位于所述下沿直线上。
在一个实施例中，特征识别模块510具体用于：
将邻轨列车的侧面图像输入到特征识别模型中，得到特征识别模型输出的邻轨列车的目标特征及其置信度；
将置信度高于置信度阈值的目标特征作为有效的目标特征。
在一个实施例中，深度确定模块520具体用于：
基于车载拍摄装置的内参矩阵，将目标特征的各特征角点在邻轨列车图像中的像素参考坐标系中的坐标，变换为车载拍摄装置的参考坐标系中的三维空间坐标表达式；
基于目标特征的几何约束条件以及各三维空间坐标表达式，构建目标方程组；
对目标方程组进行求解，以得到各特征角点到本车的深度值。
在一个实施例中，道岔确定模块540具体用于：
基于不同特征角点在下沿直线上的垂点在非透视图像中的像素坐标，以及不同特征角点到本车的深度值，确定像素坐标与深度值的线性关系；
基于目标位置的像素坐标以及线性关系，利用定比分点算法确定目标位置到本车的深度值。
在一个实施例中，特征识别模型为YOLO网络模型或ERFNet网络模型。
在一个实施例中，拍摄装置为单目视觉拍摄装置。
在一个实施例中，目标特征包括列车车头、列车车头前窗、列车双前照灯、列车客室窗、列车客室门、列车车轮、列车轨道中的至少一项。
本申请实施例提供的基于邻轨列车特征的测距装置和上文描述的基于邻轨列车特征的测距方法可相互对应参照，且能实现相同的技术效果，在此不再赘述。
本发明实施例提供的基于邻轨列车特征的测距装置，通过车载拍摄装置的内参矩阵、目标特征的各特征角点及其像素参考系坐标和集合约束条件构建确定特征角点的深度值，并通过将侧面图像投射为非透视图像，确定目标位置的深度值，无需对现有的主动式列车防撞***进行更改，还可以作为激光雷达扫描测距的异构补充，为列车运行控制***控制列车防撞提供更准确的深度值。
图6是本发明实施例提供的电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行基于邻轨列车特征的测距方法，该方法包括：
对本车拍摄装置获取的邻轨列车的侧面图像进行特征识别，得到邻轨列车的目标特征；目标特征为尺度已知的特征；
基于车载拍摄装置的内参矩阵、目标特征的各特征角点在邻轨列车图像中的像素参考坐标系中的坐标、目标特征的几何约束条件，确定各特征角点到本车的深度值；
基于逆透视变换将侧面图像投射为非透视图像，并确定邻轨列车在非透视图像中的下沿直线；
基于不同特征角点在下沿直线上的垂点，以及不同特征角点到本车的深度值，确定邻轨列车占压道岔的目标位置到本车的深度值；其中，目标位置位于所述下沿直线上。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
又一方面，本发明还提供一种处理器可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于邻轨列车特征的测距方法，该方法包括：
对本车拍摄装置获取的邻轨列车的侧面图像进行特征识别，得到邻轨列车的目标特征；目标特征为尺度已知的特征；
基于车载拍摄装置的内参矩阵、目标特征的各特征角点在邻轨列车图像中的像素参考坐标系中的坐标、目标特征的几何约束条件，确定各特征角点到本车的深度值；
基于逆透视变换将侧面图像投射为非透视图像，并确定邻轨列车在非透视图像中的下沿直线；
基于不同特征角点在下沿直线上的垂点，以及不同特征角点到本车的深度值，确定邻轨列车占压道岔的目标位置到本车的深度值；其中，目标位置位于所述下沿直线上。
另一方面，本申请还提供一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，计算机程序被处理器执行时，计算机能够执行上述各实施例提供的基于邻轨列车特征的测距方法，例如包括：
对本车拍摄装置获取的邻轨列车的侧面图像进行特征识别，得到邻轨列车的目标特征；目标特征为尺度已知的特征；
基于车载拍摄装置的内参矩阵、目标特征的各特征角点在邻轨列车图像中的像素参考坐标系中的坐标、目标特征的几何约束条件，确定各特征角点到本车的深度值；
基于逆透视变换将侧面图像投射为非透视图像，并确定邻轨列车在非透视图像中的下沿直线；
基于不同特征角点在下沿直线上的垂点，以及不同特征角点到本车的深度值，确定邻轨列车占压道岔的目标位置到本车的深度值；其中，目标位置位于所述下沿直线上。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于邻轨列车特征的测距方法，其特征在于，包括：
对本车拍摄装置获取的邻轨列车的侧面图像进行特征识别，得到邻轨列车的目标特征；所述目标特征为尺度已知的特征；
基于所述车载拍摄装置的内参矩阵、所述目标特征的各特征角点在所述邻轨列车图像中的像素参考坐标系中的坐标、所述目标特征的几何约束条件，确定各特征角点到本车的深度值；
基于逆透视变换将所述侧面图像投射为非透视图像，并确定所述邻轨列车在所述非透视图像中的下沿直线；
基于不同特征角点在所述下沿直线上的垂点，以及所述不同特征角点到本车的深度值，确定邻轨列车占压道岔的目标位置到本车的深度值；其中，所述目标位置位于所述下沿直线上。
2.根据权利要求1所述的基于邻轨列车特征的测距方法，其特征在于，所述基于所述车载拍摄装置的内参矩阵、所述目标特征的各特征角点在所述邻轨列车图像中的像素参考坐标系中的坐标、所述目标特征的几何约束条件，确定各特征角点到本车的深度值，包括：
基于所述车载拍摄装置的内参矩阵，将所述目标特征的各特征角点在所述邻轨列车图像中的像素参考坐标系中的坐标，变换为所述车载拍摄装置的参考坐标系中的三维空间坐标表达式；
基于所述目标特征的几何约束条件以及各三维空间坐标表达式，构建目标方程组；
对所述目标方程组进行求解，以得到各特征角点到本车的深度值。
3.根据权利要求1所述的基于邻轨列车特征的测距方法，其特征在于，所述确定邻轨列车占压道岔的目标位置到本车的深度值，包括：
基于不同特征角点在所述下沿直线上的垂点在所述非透视图像中的像素坐标，以及所述不同特征角点到本车的深度值，确定像素坐标与深度值的线性关系；
基于所述目标位置的像素坐标以及所述线性关系，利用定比分点算法确定所述目标位置到本车的深度值。
4.根据权利要求1所述的基于邻轨列车特征的测距方法，其特征在于，所述对本车拍摄装置获取的邻轨列车的侧面图像进行特征识别，得到邻轨列车的目标特征，包括：
将所述邻轨列车的侧面图像输入到特征识别模型中，得到所述特征识别模型输出的邻轨列车的目标特征及其置信度；
将所述置信度高于置信度阈值的目标特征作为有效的目标特征。
5.根据权利要求4所述的基于邻轨列车特征的测距方法，其特征在于，所述特征识别模型为YOLO网络模型或ERFNet网络模型。
6.根据权利要求1所述的基于邻轨列特征车的测距方法，其特征在于，所述拍摄装置为单目视觉拍摄装置。
7.根据权利要求1至6任一项所述的基于邻轨列车特征的测距方法，其特征在于，所述目标特征包括列车车头、列车车头前窗、列车双前照灯、列车客室窗、列车客室门、列车车轮、列车轨道中的至少一项。
8.一种基于邻轨列车特征的测距装置，其特征在于，包括：
特征识别模块，用于对本车拍摄装置获取的邻轨列车的侧面图像进行特征识别，得到邻轨列车的目标特征；所述目标特征为尺度已知的特征；
深度确定模块，用于基于所述车载拍摄装置的内参矩阵、所述目标特征的各特征角点在所述邻轨列车图像中的像素参考坐标系中的坐标、所述目标特征的几何约束条件，确定各特征角点到本车的深度值；
图像投射模块，用于基于逆透视变换将所述侧面图像投射为非透视图像，并确定所述邻轨列车在所述非透视图像中的下沿直线；
道岔确定模块，用于基于不同特征角点在所述下沿直线上的垂点，以及所述不同特征角点到本车的深度值，确定邻轨列车占压道岔的目标位置到本车的深度值；其中，所述目标位置位于所述下沿直线上。
9.一种电子设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的基于邻轨列车特征的测距方法的步骤。
10.一种处理器可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序用于使处理器执行权利要求1至7任一项所述的基于邻轨列车特征的测距方法的步骤。
CN202311100544.0A 2023-08-29 2023-08-29 基于邻轨列车特征的测距方法及装置 Pending CN117291964A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311100544.0A CN117291964A (zh) 2023-08-29 2023-08-29 基于邻轨列车特征的测距方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311100544.0A CN117291964A (zh) 2023-08-29 2023-08-29 基于邻轨列车特征的测距方法及装置

Publications (1)

Publication Number Publication Date
CN117291964A true CN117291964A (zh) 2023-12-26

Family

ID=89250795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311100544.0A Pending CN117291964A (zh) 2023-08-29 2023-08-29 基于邻轨列车特征的测距方法及装置

Country Status (1)

Country Link
CN (1) CN117291964A (zh)

Similar Documents

Publication Publication Date Title
TWI722355B (zh) 用於基於障礙物檢測校正高清晰度地圖的系統和方法
US8331653B2 (en) Object detector
US8180100B2 (en) Plane detector and detecting method
US8154594B2 (en) Mobile peripheral monitor
CN112132896B (zh) 一种轨旁设备状态检测方法及***
US11132530B2 (en) Method for three-dimensional graphic reconstruction of a vehicle
KR20190134231A (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
CN104700414A (zh) 一种基于车载双目相机的前方道路行人快速测距方法
KR102441075B1 (ko) 노면표시기반 차량의 위치추정 방법 및 장치
JP4940177B2 (ja) 交通流計測装置
US10984263B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
TWI504858B (zh) A vehicle specification measuring and processing device, a vehicle specification measuring method, and a recording medium
CN105512641B (zh) 一种标定雨雪状态下视频中的动态行人及车辆的方法
BR112016010089A2 (pt) dispositivo de estimação de posição de corpo em movimento e método de estimação de posição de corpo em movimento
JP6815963B2 (ja) 車両用外界認識装置
CN113173502B (zh) 一种基于激光视觉融合和深度学习的防撞方法、***
CN110717445A (zh) 一种用于自动驾驶的前车距离跟踪***与方法
CN114119729A (zh) 障碍物识别方法及装置
US11904843B2 (en) Autonomous parking systems and methods for vehicles
Wang et al. Geometry constraints-based visual rail track extraction
CN117291964A (zh) 基于邻轨列车特征的测距方法及装置
Oniga et al. A fast ransac based approach for computing the orientation of obstacles in traffic scenes
JP4106163B2 (ja) 障害物検出装置及びその方法
Lin et al. Adaptive inverse perspective mapping transformation method for ballasted railway based on differential edge detection and improved perspective mapping model
CN113874681B (zh) 点云地图质量的评估方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination