CN115170657A - 钢轨识别方法及装置 - Google Patents

钢轨识别方法及装置 Download PDF

Info

Publication number
CN115170657A
CN115170657A CN202210709236.7A CN202210709236A CN115170657A CN 115170657 A CN115170657 A CN 115170657A CN 202210709236 A CN202210709236 A CN 202210709236A CN 115170657 A CN115170657 A CN 115170657A
Authority
CN
China
Prior art keywords
target position
image
selection frame
movement
steel rail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210709236.7A
Other languages
English (en)
Inventor
靳延伟
代继龙
严业智
白祎阳
李兆龄
王逸豪
张白帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CRSC Urban Rail Transit Technology Co Ltd
Original Assignee
CRSC Urban Rail Transit Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CRSC Urban Rail Transit Technology Co Ltd filed Critical CRSC Urban Rail Transit Technology Co Ltd
Priority to CN202210709236.7A priority Critical patent/CN115170657A/zh
Publication of CN115170657A publication Critical patent/CN115170657A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种钢轨识别方法及装置，其中，该方法包括：基于线段检测器算法对第一图像进行线检测，得到多个特征点；基于多个特征点，获取选择框每次移动的目标位置，并获取每一有效的目标位置对应的拟合点；对各拟合点进行曲线拟合，获取第一图像中的钢轨；其中，有效的目标位置，指选择框位于目标位置时位于选择框内的特征点的数量大于或等于数量阈值的目标位置；有效的目标位置对应的拟合点，是基于选择框位于目标位置时，位于选择框内的各特征点确定的。本发明提供的钢轨识别方法及装置，能克服深度学习实施过程中样本多、实时性不高以及传统的基于图像处理的方法可能发生重大错误等问题，从而能实现实时性和识别准确率均较高的钢轨识别。

Description

钢轨识别方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种钢轨识别方法及装置。
背景技术
主动障碍物检测具有预见性，可在列车与障碍物碰撞接触前及时检出障碍物，进而告知司机操纵列车紧急制动或采取其他措施避免发生碰撞，保证行车安全。主动障碍物检测方法，主要包括基于图像的障碍物检测和雷达探测等。基于图像的主动障碍物检测方法因具有成本低、灵活性高、目标信息丰富及便于障碍物分类等优点而被广泛采用。通常情况下，基于图像的主动障碍物检测，以图像中的固定语义信息为参照，即以钢轨曲线为参照构建安全限界，从而判断检出的目标是否为障碍物。因此，识别图像中的钢轨，对于主动障碍物检测是非常重要的。
目前，识别图像中的钢轨方法，主要包括基于深度学习的钢轨识别方法和基于图像处理的钢轨识别方法。基于深度学习的钢轨识别方法，在样本数量足够大且充分训练的情况下具有较高的识别准确率，但实时性不高，难以用于对实时性要求较高的主动障碍物检测中。现有基于图像处理的钢轨识别方法，误差较大，尤其在光照不均、相机抖动或旋转等情况下对弯轨的识别准确率较低。
综上，现有技术难以实现实时性和识别准确率均较高的钢轨识别。
发明内容
本发明提供一种钢轨识别方法及装置，用以解决现有技术中难以实现实时性和识别准确率均较高的钢轨识别缺陷，实现实时性和识别准确率均较高的钢轨识别。
本发明提供一种钢轨识别方法，包括：
基于线段检测器算法对第一图像进行线检测，得到多个特征点；
基于所述多个特征点，获取选择框每次移动的目标位置，并获取每一有效的目标位置对应的拟合点；
对各所述拟合点进行曲线拟合，获取所述第一图像中的钢轨；
其中，有效的目标位置，指所述选择框位于所述目标位置时位于所述选择框内的所述特征点的数量大于或等于数量阈值的所述目标位置；所述有效的目标位置对应的拟合点，是基于所述选择框位于所述目标位置时，位于所述选择框内的各所述特征点确定的。
根据本发明提供的一种钢轨识别方法，所述基于所述多个特征点，获取选择框每次移动的目标位置，包括：
在第一目标方向移动的第一次数未达到次数阈值且所述选择框上一次移动的目标位置是所述有效的目标位置的情况下，基于上两个有效的目标位置对应的拟合点，获取本次移动的移动方向；
基于所述本次移动的移动方向移动所述选择框，获取所述选择框本次移动的目标位置；
其中，所述选择框本次移动的目标位置的下边缘与所述选择框第一次移动的目标位置的上边缘位于一条直线上。
根据本发明提供的一种钢轨识别方法，所述基于所述多个特征点，获取选择框每次移动的目标位置，还包括：
在第一目标方向移动的第一次数未达到所述次数阈值且所述选择框上一次移动的目标位置不是所述有效的目标位置的情况下，沿第一目标方向移动所述选择框，获取所述选择框本次移动的目标位置。
根据本发明提供的一种钢轨识别方法，所述基于线段检测器算法对第一图像进行线检测，得到多个特征点，包括：
基于预先获取的第一数量，按照第二目标方向对所述第一图像进行分割，得到所述第一数量个子图像；
基于线段检测器算法分别对每一所述子图像进行线检测，得到所述多个特征点。
根据本发明提供的一种钢轨识别方法，所述基于预先获取的第一数量，按第二目标方向对第一图像进行分割，得到所述第一数量个子图像之前，还包括：
分别基于各第二数量，按所述第二目标方向对第二图像进行分割，获取用直线段近似所述第二图像中目标曲线被分割成的曲线段的误差；
将所述误差的最小值对应的第二数量，确定为所述第一数量。
根据本发明提供的一种钢轨识别方法，所述基于线段检测器算法对第一图像进行线检测，得到多个特征点之前，还包括：
获取原始图像；
对原始图像进行预处理，得到所述第一图像。
本发明还提供一种钢轨识别装置，包括：
特征检测模块，用于基于线段检测器算法对第一图像进行线检测，得到多个特征点；
特征筛选模块，用于基于所述多个特征点，获取选择框每次移动的目标位置，并获取每一有效的目标位置对应的拟合点；
曲线拟合模块，用于对各所述拟合点进行曲线拟合，获取所述第一图像中的钢轨；
其中，有效的目标位置，指所述选择框位于所述目标位置时位于所述选择框内的所述特征点的数量大于或等于数量阈值的所述目标位置；所述有效的目标位置对应的拟合点，是基于所述选择框位于所述目标位置时，位于所述选择框内的各所述特征点确定的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述钢轨识别方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述钢轨识别方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述钢轨识别方法。
本发明提供的钢轨识别方法及装置，根据钢轨纵向连续、轨底、轨腰、轨面色彩纹理差异较大且钢轨在图像中成像的起点区域相对固定的成像特点，利用多段直线近似曲线的思想，采用LSD算法对钢轨的特征点进行提取，将同一水平等级的特征点做平均，采用最小二乘曲线拟合法进行拟合，完成图像中的钢轨曲线的建模，识别出图像中的钢轨，能克服深度学习实施过程中样本多、实时性不高以及传统的基于图像处理的方法可能发生重大错误等问题，从而能实现实时性和识别准确率均较高的钢轨识别。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的钢轨识别方法的流程示意图之一；
图2是本发明提供的钢轨识别方法中线段检测器算法的流程图；
图3是本发明提供的钢轨识别方法中区域搜索的流程示意图；
图4是本发明提供的钢轨识别方法中直线段近似曲线段的原理示意图之一；
图5是本发明提供的钢轨识别方法中直线段近似曲线段的原理示意图之二；
图6是本发明提供的钢轨识别方法的流程示意图之二；
图7是本发明提供的钢轨识别方法中区域搜索过程的示意图；
图8是本发明提供的钢轨识别方法中区域搜索结果的示意图；
图9是本发明提供的钢轨识别方法中曲线拟合结果的示意图；
图10是本发明提供的钢轨识别装置的结构示意图；
图11是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例的描述中，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性，且不涉及顺序。
下面结合图1至图11描述本发明提供的钢轨识别方法及装置。
图1是本发明提供的钢轨识别方法的流程示意图之一。如图1所示，本发明实施例提供的钢轨识别方法的执行主体可以为钢轨识别装置，该方法包括：步骤101、步骤102和步骤103。
步骤101、基于线段检测器算法对第一图像进行线检测，得到多个特征点。
具体地，第一图像为需要进行钢轨识别的图像。本发明实施例提供的钢轨识别方法，可以用于识别第一图像中的钢轨。
钢轨是轨道交通轨道的主要组成部件。轨道交通，可以包括传统铁路(可以包括国家铁路、城际铁路和市域铁路等)、地铁、轻轨和有轨电车。
线段检测器(Line Segment Detector，LSD)算法是一种线段检测算法，可以在线性时间(linear-time)内得到亚像素级精度的检测结果，可以在较短的时间里获得较高精度的直线检测结果，主要是利用每个像素点的梯度作为基础来进行直线段的检测。
图2是本发明提供的钢轨识别方法中线段检测器算法的流程图。LSD算法的执行过程可以如图2所示。
可选地，可以将第一图像作为输入，对第一图像执行如图2所示的LSD算法，对第一图像进行线检测，检测出第一图像中的各条直线段；将每条直线段的两个端点均作为特征点，从而可以得到多个特征点。
步骤102、基于多个特征点，获取选择框每次移动的目标位置，并获取每一有效的目标位置对应的拟合点。
其中，有效的目标位置，指选择框位于目标位置时位于选择框内的特征点的数量大于或等于数量阈值的目标位置；有效的目标位置对应的拟合点，是基于选择框位于目标位置时，位于选择框内的各特征点确定的。
具体地，可以基于根据采集图像的先验特点，即通过先验知识预先获取第一图像中钢轨的起始区域(可以为矩形区域)，作为选择框第0次移动的目标位置。
可选地，一般图像中会同时出现左轨和右轨，因而选择框的数量可以为两个，分别对应左轨和右轨。
可选地，起始区域的几何描述可以为：
左轨对应的起始区域[xl1,yl1]、[xl2,yl2]、[xl3,yl3]、[xl4,yl4]；右轨对应的起始区域[xr1,yr1]、[xr2,yr2]、[xr3,yr3]、[xr4,yr4]。
其中，[xl1,yl1]、[xl2,yl2]、[xl3,yl3]、[xl4,yl4]分别为左轨对应的起始区域的四个顶点的坐标；[xr1,yr1]、[xr2,yr2]、[xr3,yr3]、[xr4,yr4]分别为右轨对应的起始区域的四个顶点的坐标。
对于每一选择框，可以执行以下处理：
以该选择框第0次移动的目标位置为起点，基于预设的区域搜索算法，进行区域搜索，依次确定该选择框每次移动的目标位置，直至满足预设的搜索终止条件，结束区域搜索。
通过移动选择框进行区域搜索的目的是，对步骤101获取到的特征点进行筛选，筛选出位于钢轨上的特征点，剔除其他的特征点(例如位于受电弓支柱或道床边缘的特征点)等。
确定该选择框每次移动的目标位置之后，可以比较该选择框位于该目标位置时位于该选择框内的特征点的数量和数量阈值之间的大小关系。
需要说明的是，位于该选择框内的特征点，包括位于该选择框的边界上的特征点。
在该选择框位于该目标位置时位于该选择框内的特征点的数量大于或等于该数量阈值的情况下，将该目标位置确定为有效的目标位置，即该目标位置是有效的目标位置；在该选择框位于该目标位置时位于该选择框内的特征点的数量小于该数量阈值的情况下，不将该目标位置确定为有效的目标位置，即该目标位置不是有效的目标位置。
数量阈值可以根据实际情况进行设定。对于数量阈值的具体值，本发明实施例不进行具体限定。示例性地，数量阈值可以为3、4或5等。
对于每一有效的目标位置，可以将选择框位于该目标位置时，位于该选择框内的各特征点定义为同一等级(可以为同一水平等级或同一垂直等级)，基于选择框位于该目标位置时，位于该选择框内的各特征点，确定该有效的目标位置对应的拟合点。
可选地，可以基于选择框位于该目标位置时，位于该选择框内的各特征点的坐标，获取该有效的目标位置对应的拟合点的坐标，从而获得该有效的目标位置对应的拟合点。
可选地，可以基于数理统计方法，获取选择框位于该目标位置时，位于该选择框内的各特征点的坐标的数理统计值(例如平均值或加权平均值等)，作为该有效的目标位置对应的拟合点的坐标。
示例性地，可以获取选择框位于该目标位置时，位于该选择框内的各特征点的坐标的算术平均值，作为该有效的目标位置对应的拟合点的坐标。
Figure BDA0003706474730000081
其中，xvk,yvk分别表示第k次移动的目标位置对应的拟合点的横坐标和纵坐标；xi,yi表示选择框位于第k次移动的目标位置时，位于该选择框内的第i个特征点的横坐标和纵坐标；N表示选择框位于第k次移动的目标位置时，位于该选择框内的特征点的数量。可以理解的是，N通常大于或等于数量阈值。
可以理解的是，在选择框某次移动的目标位置不是有效的目标位置的情况下，则不执行基于选择框位于该目标位置时，位于该选择框内的各特征点，确定该目标位置对应的拟合点的步骤，即不存在该目标位置对应的拟合点。
步骤103、对各拟合点进行曲线拟合，获取第一图像中的钢轨。
具体地，可以采用任一种曲线拟合的方法，对各拟合点进行曲线拟合，获得用于描述第一图像中的钢轨的曲线方程，作为钢轨模型；基于该曲线方程，可以识别出第一图像中的钢轨。
可选地，可以采用最小二乘法对各拟合点进行曲线拟合。
可选地，可以以三次多项式为目标函数，采用最小二乘法对各拟合点进行曲线拟合。
需要说明的是，钢轨在图像中连续、平滑、边缘特征显著，本发明实施例充分利用钢轨的上述成像特点，设计区域搜索算法，以钢轨在图像中成像的起点区域固定为先验条件，移动搜索框，并在移动搜索框的过程中逐步缩小搜索范围，以匹配钢轨成像连续平滑且远景成像范围小的特点。
本发明实施例中，仅利用图像中钢轨的线条特点，无需严格的光照和防抖动等的条件，当远景图像细节模糊，无法精确识别时，区域搜索算法可在远景处自动终止，避免因搜索到干扰点而造成模型错误，可以保证钢轨识别的准确性，且区域搜索仅为代数迭代过程，算法简便，实时性较好。
本发明实施例根据钢轨纵向连续、轨底、轨腰、轨面色彩纹理差异较大且钢轨在图像中成像的起点区域相对固定的成像特点，利用多段直线近似曲线的思想，采用LSD算法对钢轨的特征点进行提取，将同一水平等级的特征点做平均，采用最小二乘曲线拟合法进行拟合，完成图像中的钢轨曲线的建模，识别出图像中的钢轨，能克服深度学习实施过程中样本多、实时性不高以及传统的基于图像处理的方法可能发生重大错误等问题，从而能实现实时性和识别准确率均较高的钢轨识别。
基于上述任一实施例的内容，基于多个特征点，获取选择框每次移动的目标位置，包括：在第一目标方向移动的第一次数未达到次数阈值且选择框上一次移动的目标位置是有效的目标位置的情况下，基于上两个有效的目标位置对应的拟合点，获取本次移动的移动方向。
具体地，需要说明的是，选择框第1次移动以第一目标方向为移动方向。
可选地，第一目标方向，可以为第一图像的宽度方向或高度方向。
优选地，第一目标方向，可以为第一图像的高度方向，以适应通常的图像中钢轨的方向基本是从下至上的方向的情况。
以选择框第0次移动的目标位置为起点，将该选择框以第一目标方向移动m个像素，可以得到该选择框第1次移动的目标位置。其中，m可以为选择框的高度。
需要说明的是，选择框第0次移动的目标位置直接确定为有效的目标位置，而无论选择框位于第0次移动的目标位置时，位于该选择框内的特征点的数量是否大于或等于数量阈值。选择框第0次移动的目标位置为第0个有效的目标位置，第0个有效的目标位置对应的拟合点记为V0。
选择框第k次移动后，先判断在第一目标方向移动的第一次数是否达到(指大于或等于)次数阈值。若达到，则停止移动搜索框，区域搜索结束；若未达到，则判断选择框第k次移动的目标位置是否为有效的目标位置。
在第一目标方向移动的第一次数，指选择框从上一个有效的目标位置，移动至上一次移动的目标位置的过程中，在第一目标方向连续移动的次数。
次数阈值可以根据实际情况进行设定。对于次数阈值的具体值，本发明实施例不进行具体限定。示例性地，次数阈值可以为2或3等。
若选择框第k次移动的目标位置是有效的目标位置，则可以确定第k次移动的目标位置对应的拟合点Vi，将拟合点Vi作为上一个有效的目标位置对应的拟合点。
对于选择框的第k+1次移动，上两个有效的目标位置对应的拟合点为Vi-1和Vi。基于两点确定一条直线的原理，可以将拟合点Vi-1指向拟合点Vi的方向，确定为选择框的第k+1次移动的移动方向。
基于本次移动的移动方向移动选择框，获取选择框本次移动的目标位置。
其中，选择框本次移动的目标位置的下边缘与选择框第一次移动的目标位置的上边缘位于一条直线上。
具体地，对于选择框的第k+1次移动，可以沿选择框的第k+1次移动的移动方向，移动该选择框，直至该选择框在第一目标方向上的移动距离达到前述m个像素，使得选择框第k+1次移动的目标位置的下边缘与选择框第k次移动的目标位置的上边缘位于一条直线上，从而得到选择框的第k+1次移动的目标位置。
本发明实施例充分利用钢轨的成像特点，即钢轨在图像中连续、平滑、边缘特征显著等成像特点，设计区域搜索算法，以钢轨在图像中成像的起点区域固定为先验条件，逐步迭代构造预测直线，根据预测直线方向移动搜索框，并在移动搜索框的过程中逐步缩小搜索范围，以匹配钢轨成像连续平滑且远景成像范围小的特点，能获取到更准确的拟合点，从而得到更准确的钢轨搜索结果，并且实时性更高。
基于上述任一实施例的内容，基于多个特征点，获取选择框每次移动的目标位置，还包括：在第一目标方向移动的第一次数未达到次数阈值且选择框上一次移动的目标位置不是有效的目标位置的情况下，沿第一目标方向移动选择框，获取选择框本次移动的目标位置。
具体地，选择框第k次移动后，先判断在第一目标方向移动的第一次数是否达到(指大于或等于)次数阈值。若达到，则停止移动搜索框，区域搜索结束；若未达到，则判断选择框第k次移动的目标位置是否为有效的目标位置。
若选择框第k次移动的目标位置不是有效的目标位置，则可以将第一目标方向确定为选择框的第k+1次移动的移动方向；将选择框沿第一目标方向移动，直至该选择框在第一目标方向上的移动距离达到前述m个像素，使得选择框第k+1次移动的目标位置的下边缘与选择框第k次移动的目标位置的上边缘位于一条直线上，从而得到选择框的第k+1次移动的目标位置。
图3是本发明提供的钢轨识别方法中区域搜索的流程示意图。上述通过区域搜索，获取选择框每次移动的目标位置的过程可以如图3所示。
需要说明的是，图3中M表示第一次数；N表示选择框位于目标位置时位于选择框内的特征点的个数。
本发明实施例充分利用钢轨的成像特点，即钢轨在图像中连续、平滑、边缘特征显著等成像特点，设计区域搜索算法，以钢轨在图像中成像的起点区域固定为先验条件，逐步迭代构造预测直线，根据预测直线方向移动搜索框，并在移动搜索框的过程中逐步缩小搜索范围，以匹配钢轨成像连续平滑且远景成像范围小的特点，能获取到更准确的拟合点，从而得到更准确的钢轨搜索结果，并且实时性更高。
基于上述任一实施例的内容，基于线段检测器算法对第一图像进行线检测，得到多个特征点，包括：基于预先获取的第一数量，按照第二目标方向对第一图像进行分割，得到第一数量个子图像。
具体地，可以按照第二目标方向对第一图像进行分割，将第一图像分割为第一数量个子图像。
可选地，第二目标方向，可以为第一图像的宽度方向或高度方向。
优选地，第二目标方向，可以为第一图像的宽度方向，以适应通常的图像中钢轨的方向基本是从下至上的方向的情况。
可选地，可以基于预先获取的第一数量，按照第二目标方向对第一图像进行等分分割，得到第一数量个子图像。
可选地，在第二目标方向为第一图像的宽度方向的情况下，可以在第一图像的左部和右部进行尺度较大的分割，得到宽度较大的子图像，而在第一图像的中部进行尺度较小的分割，得到宽度较小的子图像。
可选地，在第二目标方向为第一图像的高度方向的情况下，可以在第一图像的上部进行尺度较大的分割，得到高度较大的子图像，而在第一图像的中部和下部进行尺度较小的分割，得到高度较小的子图像。
可选地，第一数量可以为第一图像的宽度或高度的因数。在第二目标方向为第一图像的宽度方向的情况下，第一数量可以为第一图像的宽度的因数；在第二目标方向为第一图像的高度方向的情况下，第一数量可以为第一图像的高度的因数。
示例性地，第一图像的尺寸为Q×P，即第一图像的宽度为Q个像素、高度为P个像素，第一数量可以为Q的因数。
可选地，第一数量可以为10至15。
基于线段检测器算法分别对每一子图像进行线检测，得到多个特征点。
具体地，可以分别将每一子图像作为输入，对该子图像执行如图2所示的LSD算法，对该子图像进行线检测，检测出该子图像中的各条直线段；将每条直线段的两个端点均作为特征点，从而可以得到多个特征点。
可以将从各子图像中获取到的特征点的并集，作为第一图像中各特征点的集合。第一图像中各特征点的集合，为待处理的特征点集。
本发明实施例通过直线近似曲线的方法，设计曲线分割方案，巧妙利用LSD算法，基于图像中的相交直线在交点处割裂为多段直线段的特点，对分割后的图像进行线检测，进而得到较多的钢轨特征点。
本发明实施例通过将第一图像分割为多个子图像，分别对每一子图像进行线检测，能缩短钢轨曲线的分段检测长度，能获得更多的钢轨特征点，从而能基于更多的钢轨特征点得到更准确的钢轨识别结果。
基于上述任一实施例的内容，基于预先获取的第一数量，按第二目标方向对第一图像进行分割，得到第一数量个子图像之前，还包括：分别基于各第二数量，按第二目标方向对第二图像进行分割，获取用直线段近似第二图像中目标曲线被分割成的曲线段的误差。
具体地，第二图像是尺寸与第一图像相同的图像。
可选地，第二图像是已经标记或识别其中的钢轨的图像。
可选地，目标曲线可以为第二图像中的钢轨。
对于每一第二数量，可以基于该第二数量，按第二目标方向对第二图像进行分割，相应地将目标曲线分割为多个曲线段。
可以理解的是，基于第二数量，按第二目标方向对第二图像进行分割的方法步骤，与基于预先获取的第一数量，按照第二目标方向对第一图像进行分割的方法步骤类似，此处不再赘述。
图4是本发明提供的钢轨识别方法中直线段近似曲线段的原理示意图之一。如图4所示，曲线段L可以用直线段l近似，曲线段L和直线段l的端点均为A点和B点。用直线段l近似曲线段L的误差，可以定义为曲线段L上的点距离直线段l的最大垂直距离h。因此，h可以表示直线近似替代曲线的误差。
图5是本发明提供的钢轨识别方法中直线段近似曲线段的原理示意图之二。如图5所示，在曲线段L被分割为3段(曲线段AC、曲线段CD和曲线段DB)的情况下，曲线段L可以通过3段直线段l1-l2-l3进行近似，曲线段AC用直线段l1近似，曲线段CD用直线段l2近似，曲线段DB用直线段l3近似。因此，直线段l1-l2-l3近似曲线段AB的误差为∑hi，i＝1,2,3；其中，h1表示曲线段AC用直线段l1近似的误差，h2表示曲线段CD用直线段l2近似的误差，h3表示曲线段DB用直线段l3近似的误差。
对于任一第二数量u，第二图像中目标曲线被分割成v个曲线段(v≤u)，用直线段近似第二图像中目标曲线被分割成的曲线段的误差为∑hi，i＝1,2,3,…,v。
将误差的最小值对应的第二数量，确定为第一数量。
具体地，在各第二数量中，用某个第二数量个直线段近似第二图像中目标曲线被分割成的曲线段的误差最小，说明该第二数量个直线段与目标曲线越接近，用该第二数量个直线段近似目标曲线的效果最佳，该第二数量为误差的最小值对应的第二数量，可以将该第二数量作为最优分割数量，可以将该第二数量确定为第一数量。
本发明实施例通过确定最优的第一数量，可以设计最优曲线分割方案。
本发明实施例通过获取按照各第二数量分割第二图像得到的用直线段近似第二图像中目标曲线被分割成的曲线段的误差，将误差的最小值对应的第二数量，确定为第一数量，能提高获取的特征点的数量和准确性，从而能得到更准确的钢轨识别结果。
基于上述任一实施例的内容，基于线段检测器算法对第一图像进行线检测，得到多个特征点之前，还包括：获取原始图像。
具体地，可以基于图像采集装置采集的目标路段的图像或视频，获取原始图像。
图像采集装置，可以是相机或摄像机等。
图像采集装置可以通过对目标路段进行拍照等方式，采集原始图像，或者通过拍摄等方式采集目标路段的视频。
可以对目标路段的视频进行截图等处理，获得原始图像。
对原始图像进行预处理，得到第一图像。
具体地，可以对原始图像进行预处理，得到第一图像。
上述预处理的方法，可以包括以下至少一种：灰度化、噪声滤波、逆滤波(即去模糊)处理。
本发明实施例通过对原始图像进行预处理，得到第一图像，去掉原始图像中的噪声等干扰因素，对第一图像进行钢轨识别得到的钢轨识别结果的准确性更高。
为了便于对本发明上述各实施例的理解，下面通过一个实例，对本发明上述各实施例提供的钢轨识别方法的实施过程进行说明。
图6是本发明提供的本发明提供的钢轨识别方法的流程示意图之二。如图6所示，可以对于视频中的每一帧图像，执行如下步骤：图像预处理、图像分割、特征检测、特征筛选、曲线拟合和模型更新。
图像预处理，即对原始图像进行预处理，得到第一图像。图像预处理步骤的理论支撑可以包括灰度化和滤波等。
图像分割，即将第一图像等分为第一数量个子图像。图像分割步骤的理论支撑可以包括最优等分分割等。第一数量，即预先确定最优等分数量。
特征检测，即基于LSD算法，获取第一图像中的特征点。特征检测步骤的理论支撑可以包括LSD算法等。
特征筛选，即基于区域搜索算法进行区域搜索，获取各拟合点。特征筛选步骤的理论支撑可以包括区域搜索等。
曲线拟合，即对特征筛选步骤得到的各拟合点进行曲线拟合，得到钢轨模型。曲线拟合的理论支撑可以包括最小二乘法等。
模型更新，即基于曲线拟合步骤得到的钢轨模型，进行模型更新。
图7是本发明提供的钢轨识别方法中区域搜索过程的示意图；图8是本发明提供的钢轨识别方法中区域搜索结果的示意图；图9是本发明提供的钢轨识别方法中曲线拟合结果的示意图。
如图7至图9所示，对于某一原始图像执行如图6所示的钢轨识别方法的过程中，区域搜索过程可以如图7所示，区域搜索结果可以如图8所示，曲线拟合结果(即左右两条钢轨的识别结果)可以如图9所示。
下面对本发明提供的钢轨识别装置进行描述，下文描述的钢轨识别装置与上文描述的钢轨识别方法可相互对应参照。
图10是本发明提供的钢轨识别装置的结构示意图。基于上述任一实施例的内容，如图10所示，该装置包括特征检测模块1001、特征筛选模块1002和曲线拟合模块1003，其中：
特征检测模块1001，用于基于线段检测器算法对第一图像进行线检测，得到多个特征点；
特征筛选模块1002，用于基于多个特征点，获取选择框每次移动的目标位置，并获取每一有效的目标位置对应的拟合点；
曲线拟合模块1003，用于对各拟合点进行曲线拟合，获取第一图像中的钢轨；
其中，有效的目标位置，指选择框位于目标位置时位于选择框内的特征点的数量大于或等于数量阈值的目标位置；有效的目标位置对应的拟合点，是基于选择框位于目标位置时，位于选择框内的各特征点确定的。
具体地，特征检测模块1001、特征筛选模块1002和曲线拟合模块1003可以顺次电连接。
特征检测模块1001可以执行LSD算法，对第一图像进行线检测，检测出第一图像中的各条直线段；将每条直线段的两个端点均作为特征点，从而可以得到多个特征点。
特征筛选模块1002对于每一选择框，可以执行以下处理：
以该选择框第0次移动的目标位置为起点，基于预设的区域搜索算法，进行区域搜索，依次确定该选择框每次移动的目标位置，直至满足预设的搜索终止条件，结束区域搜索。
曲线拟合模块1003可以采用任一种曲线拟合的方法，对各拟合点进行曲线拟合，获得用于描述第一图像中的钢轨的曲线方程，作为钢轨模型；基于该曲线方程，可以识别出第一图像中的钢轨。
可选地，特征筛选模块1002，可以具体用于在第一目标方向移动的第一次数未达到次数阈值且选择框上一次移动的目标位置是有效的目标位置的情况下，基于上两个有效的目标位置对应的拟合点，获取本次移动的移动方向；基于本次移动的移动方向移动选择框，获取选择框本次移动的目标位置；
其中，选择框本次移动的目标位置的下边缘与选择框第一次移动的目标位置的上边缘位于一条直线上。
可选地，特征筛选模块1002，还可以具体用于在第一目标方向移动的第一次数未达到次数阈值且选择框上一次移动的目标位置不是有效的目标位置的情况下，沿第一目标方向移动选择框，获取选择框本次移动的目标位置。
可选地，特征检测模块1001，可以具体用于基于预先获取的第一数量，按照第二目标方向对第一图像进行分割，得到第一数量个子图像；基于线段检测器算法分别对每一子图像进行线检测，得到多个特征点。
可选地，该钢轨识别装置，可以还包括：
数量确定模块，用于分别基于各第二数量，按第二目标方向对第二图像进行分割，获取用直线段近似第二图像中目标曲线被分割成的曲线段的误差；将误差的最小值对应的第二数量，确定为第一数量。
可选地，该钢轨识别装置，可以还包括：
图像预处理模块，用于获取原始图像；对原始图像进行预处理，得到第一图像。
本发明实施例提供的钢轨识别装置，用于执行本发明上述钢轨识别方法，其实施方式与本发明提供的钢轨识别方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
该钢轨识别装置用于前述各实施例的钢轨识别方法。因此，在前述各实施例中的钢轨识别方法中的描述和定义，可以用于本发明实施例中各执行模块的理解。
本发明实施例根据钢轨纵向连续、轨底、轨腰、轨面色彩纹理差异较大且钢轨在图像中成像的起点区域相对固定的成像特点，利用多段直线近似曲线的思想，采用LSD算法对钢轨的特征点进行提取，将同一水平等级的特征点做平均，采用最小二乘曲线拟合法进行拟合，完成图像中的钢轨曲线的建模，识别出图像中的钢轨，能克服深度学习实施过程中样本多、实时性不高以及传统的基于图像处理的方法可能发生重大错误等问题，从而能实现实时性和识别准确率均较高的钢轨识别。
图11是本发明提供的电子设备的结构示意图，如图11所示，该电子设备可以包括：处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令，以执行钢轨识别方法，该方法包括：基于线段检测器算法对第一图像进行线检测，得到多个特征点；基于多个特征点，获取选择框每次移动的目标位置，并获取每一有效的目标位置对应的拟合点；对各拟合点进行曲线拟合，获取第一图像中的钢轨；其中，有效的目标位置，指选择框位于目标位置时位于选择框内的特征点的数量大于或等于数量阈值的目标位置；有效的目标位置对应的拟合点，是基于选择框位于目标位置时，位于选择框内的各特征点确定的。
此外，上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器1110可以调用存储器1130中的逻辑指令，其实施方式与本申请提供的钢轨识别方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法所提供的钢轨识别方法，该方法包括：基于线段检测器算法对第一图像进行线检测，得到多个特征点；基于多个特征点，获取选择框每次移动的目标位置，并获取每一有效的目标位置对应的拟合点；对各拟合点进行曲线拟合，获取第一图像中的钢轨；其中，有效的目标位置，指选择框位于目标位置时位于选择框内的特征点的数量大于或等于数量阈值的目标位置；有效的目标位置对应的拟合点，是基于选择框位于目标位置时，位于选择框内的各特征点确定的。
本申请实施例提供的计算机程序产品被执行时，实现上述钢轨识别方法，其具体的实施方式与前述方法的实施例中记载的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的钢轨识别方法，该方法包括：基于线段检测器算法对第一图像进行线检测，得到多个特征点；基于多个特征点，获取选择框每次移动的目标位置，并获取每一有效的目标位置对应的拟合点；对各拟合点进行曲线拟合，获取第一图像中的钢轨；其中，有效的目标位置，指选择框位于目标位置时位于选择框内的特征点的数量大于或等于数量阈值的目标位置；有效的目标位置对应的拟合点，是基于选择框位于目标位置时，位于选择框内的各特征点确定的。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述钢轨识别方法，其具体的实施方式与前述方法的实施例中记载的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种钢轨识别方法，其特征在于，包括：
基于线段检测器算法对第一图像进行线检测，得到多个特征点；
基于所述多个特征点，获取选择框每次移动的目标位置，并获取每一有效的目标位置对应的拟合点；
对各所述拟合点进行曲线拟合，获取所述第一图像中的钢轨；
其中，有效的目标位置，指所述选择框位于所述目标位置时位于所述选择框内的所述特征点的数量大于或等于数量阈值的所述目标位置；所述有效的目标位置对应的拟合点，是基于所述选择框位于所述目标位置时，位于所述选择框内的各所述特征点确定的。
2.根据权利要求1所述的钢轨识别方法，其特征在于，所述基于所述多个特征点，获取选择框每次移动的目标位置，包括：
在第一目标方向移动的第一次数未达到次数阈值且所述选择框上一次移动的目标位置是所述有效的目标位置的情况下，基于上两个有效的目标位置对应的拟合点，获取本次移动的移动方向；
基于所述本次移动的移动方向移动所述选择框，获取所述选择框本次移动的目标位置；
其中，所述选择框本次移动的目标位置的下边缘与所述选择框第一次移动的目标位置的上边缘位于一条直线上。
3.根据权利要求2所述的钢轨识别方法，其特征在于，所述基于所述多个特征点，获取选择框每次移动的目标位置，还包括：
在第一目标方向移动的第一次数未达到所述次数阈值且所述选择框上一次移动的目标位置不是所述有效的目标位置的情况下，沿第一目标方向移动所述选择框，获取所述选择框本次移动的目标位置。
4.根据权利要求1所述的钢轨识别方法，其特征在于，所述基于线段检测器算法对第一图像进行线检测，得到多个特征点，包括：
基于预先获取的第一数量，按照第二目标方向对所述第一图像进行分割，得到所述第一数量个子图像；
基于线段检测器算法分别对每一所述子图像进行线检测，得到所述多个特征点。
5.根据权利要求4所述的钢轨识别方法，其特征在于，所述基于预先获取的第一数量，按第二目标方向对第一图像进行分割，得到所述第一数量个子图像之前，还包括：
分别基于各第二数量，按所述第二目标方向对第二图像进行分割，获取用直线段近似所述第二图像中目标曲线被分割成的曲线段的误差；
将所述误差的最小值对应的第二数量，确定为所述第一数量。
6.根据权利要求1至5任一项所述的钢轨识别方法，其特征在于，所述基于线段检测器算法对第一图像进行线检测，得到多个特征点之前，还包括：
获取原始图像；
对原始图像进行预处理，得到所述第一图像。
7.一种钢轨识别装置，其特征在于，包括：
特征检测模块，用于基于线段检测器算法对第一图像进行线检测，得到多个特征点；
特征筛选模块，用于基于所述多个特征点，获取选择框每次移动的目标位置，并获取每一有效的目标位置对应的拟合点；
曲线拟合模块，用于对各所述拟合点进行曲线拟合，获取所述第一图像中的钢轨；
其中，有效的目标位置，指所述选择框位于所述目标位置时位于所述选择框内的所述特征点的数量大于或等于数量阈值的所述目标位置；所述有效的目标位置对应的拟合点，是基于所述选择框位于所述目标位置时，位于所述选择框内的各所述特征点确定的。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述钢轨识别方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述钢轨识别方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述钢轨识别方法。
CN202210709236.7A 2022-06-21 2022-06-21 钢轨识别方法及装置 Pending CN115170657A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210709236.7A CN115170657A (zh) 2022-06-21 2022-06-21 钢轨识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210709236.7A CN115170657A (zh) 2022-06-21 2022-06-21 钢轨识别方法及装置

Publications (1)

Publication Number Publication Date
CN115170657A true CN115170657A (zh) 2022-10-11

Family

ID=83486894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210709236.7A Pending CN115170657A (zh) 2022-06-21 2022-06-21 钢轨识别方法及装置

Country Status (1)

Country Link
CN (1) CN115170657A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023176073A1 (ja) * 2022-03-17 2023-09-21 株式会社日立製作所 前方監視システム及びその方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023176073A1 (ja) * 2022-03-17 2023-09-21 株式会社日立製作所 前方監視システム及びその方法

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN109784344B (zh) 一种用于地平面标识识别的图像非目标滤除方法
CN106778668B (zh) 一种联合ransac和cnn的鲁棒的车道线检测方法
CN110287884B (zh) 一种辅助驾驶中压线检测方法
CN110197494B (zh) 一种基于单目红外图像的受电弓接触点实时检测算法
DE102006012914A1 (de) System und Verfahren zur Bestimmung des Abstands zu einem vorausfahrenden Fahrzeug
US20230005278A1 (en) Lane extraction method using projection transformation of three-dimensional point cloud map
CN113988112B (zh) 车道线的检测方法、装置、设备及存储介质
CN114529459A (zh) 一种对图像边缘进行增强处理的方法和***及介质
CN114972333B (zh) 基于人工智能的道路裂缝检测方法及***
US20180247418A1 (en) Method and apparatus for object tracking and segmentation via background tracking
CN113239733B (zh) 一种多车道车道线检测方法
CN115170657A (zh) 钢轨识别方法及装置
CN115272306A (zh) 利用梯度运算的太阳能电池板栅线增强方法
CN111126248A (zh) 一种遮挡下的车辆识别方法及装置
CN112801021B (zh) 基于多级语义信息的车道线检测方法及***
CN114529590A (zh) 动车组车底故障检测的图像配准方法及***
CN112069924A (zh) 车道线检测方法、装置及计算机可读存储介质
CN111179289B (zh) 一种适用于网页长图宽图的图像分割方法
CN112033419A (zh) 用于港口自动驾驶车道线检测的方法、电子设备及介质
CN114529715B (zh) 一种基于边缘提取的图像识别方法及***
CN113538500B (zh) 图像分割方法、装置、电子设备和存储介质
Rui Lane line detection technology based on machine vision
CN113284158B (zh) 一种基于结构约束聚类的图像边缘提取方法及***
CN113378847B (zh) 字符分割方法、***、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination