CN111856441B - 一种基于视觉与毫米波雷达融合的列车定位方法 - Google Patents

一种基于视觉与毫米波雷达融合的列车定位方法 Download PDF

Info

Publication number
CN111856441B
CN111856441B CN202010517233.4A CN202010517233A CN111856441B CN 111856441 B CN111856441 B CN 111856441B CN 202010517233 A CN202010517233 A CN 202010517233A CN 111856441 B CN111856441 B CN 111856441B
Authority
CN
China
Prior art keywords
train
image
key position
speed
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010517233.4A
Other languages
English (en)
Other versions
CN111856441A (zh
Inventor
余贵珍
王章宇
周彬
徐少清
付子昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010517233.4A priority Critical patent/CN111856441B/zh
Publication of CN111856441A publication Critical patent/CN111856441A/zh
Application granted granted Critical
Publication of CN111856441B publication Critical patent/CN111856441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/589—Velocity or trajectory determination systems; Sense-of-movement determination systems measuring the velocity vector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G01S13/92—Radar or analogous systems specially adapted for specific applications for traffic control for velocity measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉与毫米波雷达融合的列车定位方法，通过视觉进行图像特征提取，融合全局特征与局部特征，其中全局特征通过深度学习进行提取，局部特征通过直线检测及直线特征描述子进行提取，可以使对图像的特征提取更加充分；在进行关键位置查找时，分别进行全局特征相似度度量和局部特征相似度度量，可以使关键位置检测更精准；通过毫米波雷达进行列车车速测量，不依赖于车辆信号***，通过毫米波雷达检测的障碍物进行反向车速推算得到列车车速。本发明利用车载传感器进行列车定位，不需依赖于路侧设备，可有效降低列车定位成本，并且，通过融合数据进行定位，可有效克服列车在隧道等环境下无法定位的难题。

Description

一种基于视觉与毫米波雷达融合的列车定位方法
技术领域
本发明涉及轨道列车无人驾驶自主环境感知及定位技术领域，尤其涉及一种基于视觉与毫米波雷达融合的列车定位方法。
背景技术
随着我国城市规模的高速发展，城市化进程的逐步加快，城镇人口和人均机动车保有量水平急速增加，交通拥堵现象日益严重。具有载客量大、运送效率高、能源消耗低的城市轨道交通已经成为缓解城市交通拥堵问题的必然选择。
列车无人驾驶***在列车运行过程中不依赖于驾驶员，可以有效提升列车运行效率及运行安全。列车无人驾驶***需要实时精准的列车位置，精准的列车位置信息可以为车辆调度和车速控制提供重要的保障。
现阶段主要通过在路侧安装路基设备，如应答器等，进行列车定位，该方法存在布设周期长、布设成本高的缺点。近年来，部分研究人员通过车载传感器，如通过车载北斗定位***或车载GPS***，进行列车实时定位，该方法在卫星信号较好时可以很好地进行列车定位，然而，当卫星信号受遮挡或缺失时，该方法无法满足实际应用需求。
发明内容
有鉴于此，本发明提供了一种基于视觉与毫米波雷达融合的列车定位方法，用以通过融合视觉图像数据与毫米波雷达数据，实现列车在包含隧道等环境线路中的自主定位。
本发明提供的一种基于视觉与毫米波雷达融合的列车定位方法，包括如下步骤：
S1：在列车车头位置处安装相机和毫米波雷达传感器，通过安装的相机和毫米波雷达传感器采集整条线路的同步数据；其中，将相机和毫米波雷达传感器采集数据的时间截最近的两帧数据作为同步数据；
S2：选取线路中的关键位置，从采集的同步数据中获取关键位置图像，对所述关键位置图像进行特征提取，建立关键位置视觉数据特征库；
S3：在列车运行过程中，利用相机实时采集图像，并对实时采集的图像进行特征提取；
S4：将实时采集的图像的特征与所述关键位置视觉数据特征库中图像的特征进行相似度度量，判断列车是否到达所述关键位置视觉数据特征库中图像对应的关键位置；若是；则对列车位置进行校准；若否，则利用毫米波雷达传感器实时测量列车的速度，对测得的速度进行积分，预测列车在两个关键位置区间内的位置。
在一种可能的实现方式中，在本发明提供的上述基于视觉与毫米波雷达融合的列车定位方法中，步骤S2，选取线路中的关键位置，从采集的同步数据中获取关键位置图像，对所述关键位置图像进行特征提取，建立关键位置视觉数据特征库，具体包括：
S21：选取线路中各站台位置为关键位置，从采集的同步数据中获取关键位置图像；
S22：对获取的每一帧关键位置图像进行全局特征提取，全局特征提取通过卷积神经网络实现；将各帧关键位置图像缩放到同一尺寸，利用一个卷积操作降低每一帧关键位置图像的特征图大小，利用反向残差网络进行特征提取，通过平均池化层得到1280维高维向量；对1280维高维向量进行L2正则化：
Figure BDA0002530553500000021
其中，d＝1280，表示高维向量的维度；(W1,W2,…Wd)为经过正则化后的高维向量，表示关键位置图像的全局特征；q＝1,2,...,d；
S23：对获取的每一帧关键位置图像进行局部特征提取，包括直线特征及对应的直线描述子；对每一帧关键位置图像进行平滑处理，利用Sobel算子获取每一帧关键位置图像的梯度图，获取每一帧关键位置图像横向和纵向三邻域区域内的最大像素值，最大像素值的位置为锚点，将所有锚点连接得到每一帧关键位置图像的边缘图，应用最小二乘法对边缘图进行直线拟合检测出直线；应用局部条带描述子对检测的每一条直线进行特征描述，利用每一帧关键位置图像中所有的直线描述子表示每一帧关键位置图像的局部特征；
S24：将提取的每一帧关键位置图像的全局特征和局部特征进行保存；将每个站台提取的高维向量及对应的站台号进行对应，构建所有站台的全局特征库；采用视觉词袋模型对提取的所有直线描述子进行局部特征库构建。
在一种可能的实现方式中，在本发明提供的上述基于视觉与毫米波雷达融合的列车定位方法中，步骤S3，在列车运行过程中，利用相机实时采集图像，并对实时采集的图像进行特征提取，具体包括：
S31：对实时采集的图像进行全局特征提取，全局特征提取通过卷积神经网络实现；将实时采集的各图像缩放到同一尺寸，利用一个卷积操作来降低实时采集的各图像的特征图大小，利用反向残差网络进行特征提取，通过平均池化层得到1280维高维向量；对1280维高维向量进行L2正则化：
Figure BDA0002530553500000031
其中，d＝1280，表示高维向量的维度；(W1',W2',…Wd')为经过正则化后的高维向量，表示实时采集的图像的全局特征；q＝1,2,...,d；
S32：对实时采集的图像进行局部特征提取，包括直线特征及对应的直线描述子；对实时采集的图像进行平滑处理，利用Sobel算子获取实时采集的图像的梯度图，获取实时采集的图像横向和纵向三邻域区域内的最大像素值，最大像素值的位置为锚点，将所有锚点连接得到实时采集的图像的边缘图，应用最小二乘法对边缘图进行直线拟合检测出直线；应用局部条带描述子对检测的每一条直线进行特征描述，利用实时采集的图像中所有的直线描述子表示实时采集的图像的局部特征。
在一种可能的实现方式中，在本发明提供的上述基于视觉与毫米波雷达融合的列车定位方法中，步骤S4，将实时采集的图像的特征与所述关键位置视觉数据特征库中图像的特征进行相似度度量，判断列车是否到达所述关键位置视觉数据特征库中图像对应的关键位置；若是；则对列车位置进行校准；若否，则利用毫米波雷达传感器实时测量列车的速度，对测得的速度进行积分，预测列车在两个关键位置区间内的位置，具体包括：
S41：对实时采集的图像的全局特征与构建的全局特征库中所有图像的全局特征依次进行相似度度量，计算过程如下：
Figure BDA0002530553500000041
其中，i表示实时采集的第i个图像，
Figure BDA0002530553500000042
表示图像i的全局特征，
Figure BDA0002530553500000043
表示全局特征库中的第j个图像的全局特征，D(i,j)表示图像i的全局特征
Figure BDA0002530553500000044
与全局特征库中第j个图像的全局特征
Figure BDA0002530553500000045
的相似度；·2表示L2范式；
S42：判断图像i的全局特征
Figure BDA0002530553500000046
与全局特征库中第j个图像的全局特征
Figure BDA0002530553500000047
的相似度是否小于第一设定阈值；若否，则利用毫米波雷达传感器实时测量列车的速度，对测得的速度进行积分，预测列车在两个关键位置区间内的位置；若是，则执行步骤S43和步骤S44；
S43：对图像i的局部特征wi与构建的局部特征库中所有图像的局部特征依次进行相似度度量，计算过程如下：
Figure BDA0002530553500000048
其中，s(wi-wj)表示图像i的局部特征wi与局部特征库中第j个图像的局部特征wj的相似度，wj表示局部特征库中的第j个图像的局部特征，
Figure BDA0002530553500000049
表示图像i中第k条直线对应的局部特征，
Figure BDA0002530553500000051
表示局部特征库中第j个图像中第k条直线对应的局部特征，N表示图像i中直线的个数；
S44：判断图像i的局部特征wi与局部特征库中第j个图像的局部特征wj的相似度是否小于第二设定阈值；若是，则对列车位置进行校准；若否，则利用毫米波雷达传感器实时测量列车的速度，对测得的速度进行积分，预测列车在两个关键位置区间内的位置。
在一种可能的实现方式中，在本发明提供的上述基于视觉与毫米波雷达融合的列车定位方法中，步骤S4中，利用毫米波雷达传感器实时测量列车的速度，对测得的速度进行积分，预测列车在两个关键位置区间内的位置，具体包括：
获取毫米波雷达传感器检测的前向障碍物实时数据：
Figure BDA0002530553500000053
其中，xp表示第p个前向障碍物的横向距离，yp表示第p个前向障碍物的纵向距离，vp表示第p个前向障碍物相对列车的速度，n表示前向障碍物的个数；
提取列车的实时速度，对所有前向障碍物相对列车的速度v1、v2…vm进行统计，统计出每个速度下前向障碍物的个数，将数量最多的速度作为静止障碍物相对列车的速度：
num(vs)＝max{num(v1),num(v2),…num(vm)}              (6)
其中，vs表示静止障碍物相对列车的速度，num(vs)表示vs速度下前向障碍物的个数，num(v1)表示v1速度下前向障碍物的个数，num(v2)表示v2速度下前向障碍物的个数，num(vm)表示vm速度下前向障碍物的个数，m表示当前帧毫米波雷达数据中总共包含的速度值种类数，m≤n；则列车的速度为-vs；
对列车的速度进行积分，实现列车位置估计：
Figure BDA0002530553500000052
其中，
Figure BDA0002530553500000061
表示列车在t时刻的位置，pr-1表示t时刻列车位置的上一个关键位置，l表示关键位置的总数量，v(t)表示列车的实时车速，∫v(t)d(t)表示从上一个关键位置开始到t时刻的速度积分。
本发明提供的上述基于视觉与毫米波雷达融合的列车定位方法，利用车载传感器采集整条线路的图像数据，选取其中关键位置图像进行特征提取后建立特征库，对当前时刻采集的图像进行特征提取后在特征库中进行查询，判断列车当前位置为关键位置还是区间位置，若为区间位置则根据列车速度进行区间位置估计。通过视觉进行图像特征提取，融合全局特征与局部特征，其中全局特征通过深度学习进行提取，局部特征通过直线检测及直线特征描述子进行提取，可以使对图像的特征提取更加充分；在进行关键位置查找时，分别进行全局特征相似度度量和局部特征相似度度量，可以使关键位置检测更精准；通过毫米波雷达进行列车车速测量，不依赖于车辆信号***，通过毫米波雷达检测的障碍物进行反向车速推算得到列车车速。本发明利用车载传感器进行列车定位，不需依赖于路侧设备，可有效降低列车定位成本，并且，通过融合数据进行定位，可有效克服列车在隧道等环境下无法定位的难题。
附图说明
图1为本发明提供的一种基于视觉与毫米波雷达融合的列车定位方法的流程图；
图2为本发明实施例1中基于视觉与毫米波雷达融合的列车定位架构图；
图3为本发明实施例1中融合全局特征与局部特征进行图像特征提取的示例图；
图4为本发明实施例1中图像全局特征提取示例图；
图5为本发明实施例1中图像局部特征提取示例图。
具体实施方式
下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是作为例示，并非用于限制本发明。
本发明提供的一种基于视觉与毫米波雷达融合的列车定位方法，如图1所示，包括如下步骤：
S1：在列车车头位置处安装相机和毫米波雷达传感器，通过安装的相机和毫米波雷达传感器采集整条线路的同步数据；其中，将相机和毫米波雷达传感器采集数据的时间截最近的两帧数据作为同步数据；
具体地，相机的安装位置，要求相机拍摄列车前方区域，且相机安装好后位置固定；毫米波雷达传感器的安装位置，也要求雷达对着列车前方轨道区域；同步数据采集需采集相机和毫米波雷达传感器的同步数据，通过从获取数据的时间戳中选取相机和毫米波雷达传感器时间戳最近的两帧数据作为同步数据；
S2：选取线路中的关键位置，从采集的同步数据中获取关键位置图像，对关键位置图像进行特征提取，建立关键位置视觉数据特征库；
具体地，关键位置图像指的是线路中具有明显特征的区域图像；关键位置图像特征提取包括提取关键位置图像的全局特征和局部特征，其中，全局特征提取通过深度学习来实现，局部特征提取通过检测关键位置图像中的直线，并对检测的直线进行特征描述来实现；关键位置视觉数据特征库的建立是将提取的特征保存起来，便于后续进行查询；
S3：在列车运行过程中，利用相机实时采集图像，并对实时采集的图像进行特征提取；
具体地，对实时采集的图像进行特征提取也包括提取图像中的全局特征和局部特征，与步骤S2中的特征提取类似，在此不做赘述；
S4：将实时采集的图像的特征与关键位置视觉数据特征库中图像的特征进行相似度度量，判断列车是否到达关键位置视觉数据特征库中图像对应的关键位置；若是；则对列车位置进行校准；若否，则利用毫米波雷达传感器实时测量列车的速度，对测得的速度进行积分，预测列车在两个关键位置区间内的位置；
具体地，通过毫米波雷达传感器测量列车的速度，主要是通过毫米波雷达传感器进行前向障碍物检测，获取障碍物相对于列车的相对速度，在此基础上提取静止障碍物相对列车的速度，从而反求出列车的速度；对列车的速度进行积分，可以获取累积的距离信息，结合上一个关键位置信息，可以推算出列车的当前位置。
下面通过一个具体的实施例对本发明提供的上述基于视觉与毫米波雷达融合的列车定位方法的具体实施进行详细说明。
实施例1：
如图2所示，为基于视觉与毫米波雷达融合的列车定位的架构图，目的是实现列车的实时定位。选取地铁列车，实现其在线路中的定位，其线路包含有16个站，具体实施方法包含以下内容：
第一步：安装相机和毫米波雷达传感器
在地铁列车的挡风玻璃处安装工业相机和毫米波雷达传感器，安装的视角对着列车行驶方向，可实现对列车前向环境数据采集。
第二步：采集同步数据
利用安装的相机和毫米波雷达传感器进行同步数据采集，采集的数据为需要定位的线路视频数据和毫米波雷达数据。通过安装的相机和毫米波雷达传感器采集整条地铁线路的同步数据，在采集时，通过获取数据的时间戳，选取相机和毫米波雷达时间戳最近的两帧数据作为同步数据。
第三步：建立关键位置视觉数据特征库
利用采集的同步数据进行关键位置视觉数据特征库的建立。建立关键位置视觉数据特征库之前，需选定线路中的关键位置，本实施例选定地铁线路中列车到站停车时的位置(即各站台位置)作为关键位置，将列车到站停车时的图像进行保存，从而获取整条线路中所有站停车时的关键位置图像。基于这些关键位置图像进行关键位置图像特征提取并建立关键位置视觉数据特征库，如图3所示，提取的特征包括全局特征和局部特征，建立过程如下：
(1)对获取的每一帧关键位置图像进行全局特征提取，全局特征提取通过卷积神经网络实现，提取过程如图4所示。
首先，将各帧关键位置图像缩放到224*224的尺寸大小；
随后，利用一个卷积操作降低每一帧关键位置图像的特征图大小；
接着，利用7个反向残差网络进行特征提取；
之后，通过平均池化层得到1280维高维向量，可以利用该1280维高维向量表示关键位置图像的全局特征。
(2)由于得到的1280维高维向量分布不均匀，因此，可以对1280维高维向量进行L2正则化，以获取分布更加均匀的高维向量：
Figure BDA0002530553500000091
其中，d＝1280，表示高维向量的维度；(W1,W2,…Wd)为经过正则化后的高维向量，表示关键位置图像的全局特征；q＝1,2,...,d。
(3)对获取的每一帧关键位置图像进行局部特征提取，包括直线特征及对应的直线描述子。
直线特征提取过程，如图5所示：
首先，对每一帧关键位置图像进行平滑处理；本实施例应用一个5*5的高斯核函数对如图5中a图所示的关键位置图像进行平滑处理，平滑图像如图5中b图所示；
然后，获取每一帧关键位置图像的梯度图；本实施例利用Sobel算子获取关键位置图像的梯度图，获取的梯度图如图5中c图所示；
接着，获取每一帧关键位置图像的锚点图像；在图5中c图中通过获取关键位置图像横向和纵向三邻域区域内的最大像素值，最大像素值的位置为锚点，锚点图如图5中d图所示；
之后，获取每一帧关键位置图像的边缘图，将图5中d图中的所有锚点连接得到关键位置图像的边缘图，如图5中e图所示；
最后，进行直线检测，应用最小二乘法对图5中e图所示的边缘图进行直线拟合，检测出直线，如图5中f所示。
对检测的直线进行特征描述。本实施例应用局部条带描述子对检测的每一条直线进行特征描述，利用每一帧关键位置图像中所有的直线描述子表示每一帧关键位置图像的局部特征。
(4)将提取的每一帧关键位置图像的全局特征和局部特征进行保存；将每个站台提取的高维向量及对应的站台号进行对应，构建所有站台的全局特征库；采用视觉词袋模型对提取的所有直线描述子进行局部特征库构建。
第四步：关键位置检测
列车在线路中运行时，相机实时采集列车前向的图像数据，对实时采集的每一帧图像进行特征提取，提取的特征包括图像的全局特征与局部特征。提取完每一帧图像后，将图像的全局特征与建立的全局特征库进行相似度度量，将图像的局部特征与建立的局部特征库进行相似度度量，从而判断列车是否到达关键位置。
(1)对实时采集的图像进行全局特征提取，全局特征提取通过卷积神经网络实现。将实时采集的各图像缩放到同一尺寸，利用一个卷积操作来降低实时采集的各图像的特征图大小，利用反向残差网络进行特征提取，通过平均池化层得到1280维高维向量；对1280维高维向量进行L2正则化：
Figure BDA0002530553500000101
其中，d＝1280，表示高维向量的维度；(W1',W2',…Wd')为经过正则化后的高维向量，表示实时采集的图像的全局特征；q＝1,2,...,d。上述对相机实时采集的图像进行全局特征提取与第三步(1)(2)中对关键位置图像进行全局特征提取的实施过程类似，在此不做赘述。
(2)对实时采集的图像进行局部特征提取，包括直线特征及对应的直线描述子。对实时采集的图像进行平滑处理，利用Sobel算子获取实时采集的图像的梯度图，获取实时采集的图像横向和纵向三邻域区域内的最大像素值，最大像素值的位置为锚点，将所有锚点连接得到实时采集的图像的边缘图，应用最小二乘法对边缘图进行直线拟合检测出直线；应用局部条带描述子对检测的每一条直线进行特征描述，利用实时采集的图像中所有的直线描述子表示实时采集的图像的局部特征。上述对相机实时采集的图像进行局部特征提取与第三步(3)中对关键位置图像进行局部特征提取的实施过程类似，在此不做赘述。
(3)对实时采集的图像的全局特征与构建的全局特征库中所有图像的全局特征依次进行相似度度量，计算过程如下：
Figure BDA0002530553500000111
其中，i表示实时采集的第i个图像，
Figure BDA0002530553500000112
表示图像i的全局特征，
Figure BDA0002530553500000113
表示全局特征库中的第j个图像的全局特征，D(i,j)表示图像i的全局特征
Figure BDA0002530553500000114
与全局特征库中第j个图像的全局特征
Figure BDA0002530553500000115
的相似度；||·||2表示L2范式；
若图像i的全局特征
Figure BDA0002530553500000119
与全局特征库中第j个图像的全局特征
Figure BDA0002530553500000116
的相似度小于第一设定阈值，则认为列车当前位置可能为某一关键位置，需要进一步地进行局部特征相似度度量。
(4)对图像i的局部特征wi与构建的局部特征库中所有图像的局部特征依次进行相似度度量，计算过程如下：
Figure BDA0002530553500000117
其中，s(wi-wj)表示图像i的局部特征wi与局部特征库中第j个图像的局部特征wj的相似度，wj表示局部特征库中的第j个图像的局部特征，
Figure BDA0002530553500000118
表示图像i中第k条直线对应的局部特征，
Figure BDA0002530553500000121
表示局部特征库中第j个图像中第k条直线对应的局部特征，N表示图像i中直线的个数；
若图像i的局部特征wi与局部特征库中第j个图像的局部特征wj的相似度小于第二设定阈值，则确定列车当前位置为某一关键位置。
第五步：区间位置估计
若列车未到达某一关键位置，则需要对列车在关键位置区间内进行位置估计。列车的区间位置估计过程如下：
(1)获取毫米波雷达传感器检测的前向障碍物实时数据。毫米波雷达数据为：
Figure BDA0002530553500000122
其中，xp表示第p个前向障碍物的横向距离，yp表示第p个前向障碍物的纵向距离，vp表示第p个前向障碍物相对列车的速度，n表示前向障碍物的个数；
(2)提取列车的实时速度。对所有前向障碍物相对列车的速度v1、v2…vm进行统计，统计出每个速度下前向障碍物的个数，将数量最多的速度作为静止障碍物相对列车的速度：
num(vs)＝max{num(v1),num(v2),…num(vm)}              (6)
其中，vs表示静止障碍物相对列车的速度，num(vs)表示vs速度下前向障碍物的个数，num(v1)表示v1速度下前向障碍物的个数，num(v2)表示v2速度下前向障碍物的个数，num(vm)表示vm速度下前向障碍物的个数，m表示当前帧毫米波雷达数据中总共包含的速度值种类数，m≤n；由于列车行驶线路中大部分障碍物为静止障碍物，毫米波雷达传感器测量的障碍物大部分为静止物体，且毫米波雷达传感器测量的速度为列车与障碍物之间的相对速度，因此，大部分障碍物为某一速度值时，此速度即为列车相对静止障碍物的速度。上面得到静止障碍物相对列车的速度为vs，则列车的速度为-vs；
(3)列车位置估计。对列车的速度进行积分，实现列车位置估计：
Figure BDA0002530553500000131
其中，
Figure BDA0002530553500000132
表示列车在t时刻的位置，pr-1表示t时刻列车位置的上一个关键位置，l表示关键位置的总数量，v(t)表示列车的实时车速，∫v(t)d(t)表示从上一个关键位置开始到t时刻的速度积分。
本发明提供的上述基于视觉与毫米波雷达融合的列车定位方法，利用车载传感器采集整条线路的图像数据，选取其中关键位置图像进行特征提取后建立特征库，对当前时刻采集的图像进行特征提取后在特征库中进行查询，判断列车当前位置为关键位置还是区间位置，若为区间位置则根据列车速度进行区间位置估计。通过视觉进行图像特征提取，融合全局特征与局部特征，其中全局特征通过深度学习进行提取，局部特征通过直线检测及直线特征描述子进行提取，可以使对图像的特征提取更加充分；在进行关键位置查找时，分别进行全局特征相似度度量和局部特征相似度度量，可以使关键位置检测更精准；通过毫米波雷达进行列车车速测量，不依赖于车辆信号***，通过毫米波雷达检测的障碍物进行反向车速推算得到列车车速。本发明利用车载传感器进行列车定位，不需依赖于路侧设备，可有效降低列车定位成本，并且，通过融合数据进行定位，可有效克服列车在隧道等环境下无法定位的难题。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (4)

1.一种基于视觉与毫米波雷达融合的列车定位方法，其特征在于，包括如下步骤：
S1：在列车车头位置处安装相机和毫米波雷达传感器，通过安装的相机和毫米波雷达传感器采集整条线路的同步数据；其中，将相机和毫米波雷达传感器采集数据的时间截最近的两帧数据作为同步数据；
S2：选取线路中的关键位置，从采集的同步数据中获取关键位置图像，对所述关键位置图像进行特征提取，建立关键位置视觉数据特征库；
S3：在列车运行过程中，利用相机实时采集图像，并对实时采集的图像进行特征提取；
S4：将实时采集的图像的特征与所述关键位置视觉数据特征库中图像的特征进行相似度度量，判断列车是否到达所述关键位置视觉数据特征库中图像对应的关键位置；若是；则对列车位置进行校准；若否，则利用毫米波雷达传感器实时测量列车的速度，对测得的速度进行积分，预测列车在两个关键位置区间内的位置；
步骤S2，选取线路中的关键位置，从采集的同步数据中获取关键位置图像，对所述关键位置图像进行特征提取，建立关键位置视觉数据特征库，具体包括：
S21：选取线路中各站台位置为关键位置，从采集的同步数据中获取关键位置图像；
S22：对获取的每一帧关键位置图像进行全局特征提取，全局特征提取通过卷积神经网络实现；将各帧关键位置图像缩放到同一尺寸，利用一个卷积操作降低每一帧关键位置图像的特征图大小，利用反向残差网络进行特征提取，通过平均池化层得到1280维高维向量；对1280维高维向量进行L2正则化：
Figure FDA0004102614920000011
其中，d＝1280，表示高维向量的维度；(W1,W2,…Wd)为经过正则化后的高维向量，表示关键位置图像的全局特征；q＝1,2,...,d；
S23：对获取的每一帧关键位置图像进行局部特征提取，包括直线特征及对应的直线描述子；对每一帧关键位置图像进行平滑处理，利用Sobel算子获取每一帧关键位置图像的梯度图，获取每一帧关键位置图像横向和纵向三邻域区域内的最大像素值，最大像素值的位置为锚点，将所有锚点连接得到每一帧关键位置图像的边缘图，应用最小二乘法对边缘图进行直线拟合检测出直线；应用局部条带描述子对检测的每一条直线进行特征描述，利用每一帧关键位置图像中所有的直线描述子表示每一帧关键位置图像的局部特征；
S24：将提取的每一帧关键位置图像的全局特征和局部特征进行保存；将每个站台提取的高维向量及对应的站台号进行对应，构建所有站台的全局特征库；采用视觉词袋模型对提取的所有直线描述子进行局部特征库构建。
2.如权利要求1所述的基于视觉与毫米波雷达融合的列车定位方法，其特征在于，步骤S3，在列车运行过程中，利用相机实时采集图像，并对实时采集的图像进行特征提取，具体包括：
S31：对实时采集的图像进行全局特征提取，全局特征提取通过卷积神经网络实现；将实时采集的各图像缩放到同一尺寸，利用一个卷积操作来降低实时采集的各图像的特征图大小，利用反向残差网络进行特征提取，通过平均池化层得到1280维高维向量；对1280维高维向量进行L2正则化：
Figure FDA0004102614920000021
其中，d＝1280，表示高维向量的维度；(W1',W′2,…W′d)为经过正则化后的高维向量，表示实时采集的图像的全局特征；q＝1,2,...,d；
S32：对实时采集的图像进行局部特征提取，包括直线特征及对应的直线描述子；对实时采集的图像进行平滑处理，利用Sobel算子获取实时采集的图像的梯度图，获取实时采集的图像横向和纵向三邻域区域内的最大像素值，最大像素值的位置为锚点，将所有锚点连接得到实时采集的图像的边缘图，应用最小二乘法对边缘图进行直线拟合检测出直线；应用局部条带描述子对检测的每一条直线进行特征描述，利用实时采集的图像中所有的直线描述子表示实时采集的图像的局部特征。
3.如权利要求1所述的基于视觉与毫米波雷达融合的列车定位方法，其特征在于，步骤S4，将实时采集的图像的特征与所述关键位置视觉数据特征库中图像的特征进行相似度度量，判断列车是否到达所述关键位置视觉数据特征库中图像对应的关键位置；若是；则对列车位置进行校准；若否，则利用毫米波雷达传感器实时测量列车的速度，对测得的速度进行积分，预测列车在两个关键位置区间内的位置，具体包括：
S41：对实时采集的图像的全局特征与构建的全局特征库中所有图像的全局特征依次进行相似度度量，计算过程如下：
Figure FDA0004102614920000031
其中，i表示实时采集的第i个图像，
Figure FDA0004102614920000032
表示图像i的全局特征，
Figure FDA0004102614920000033
表示全局特征库中的第j个图像的全局特征，D(i,j)表示图像i的全局特征
Figure FDA0004102614920000034
与全局特征库中第j个图像的全局特征
Figure FDA0004102614920000035
的相似度；||·||2表示L2范式；
S42：判断图像i的全局特征
Figure FDA0004102614920000039
与全局特征库中第j个图像的全局特征
Figure FDA0004102614920000036
的相似度是否小于第一设定阈值；若否，则利用毫米波雷达传感器实时测量列车的速度，对测得的速度进行积分，预测列车在两个关键位置区间内的位置；若是，则执行步骤S43和步骤S44；
S43：对图像i的局部特征wi与构建的局部特征库中所有图像的局部特征依次进行相似度度量，计算过程如下：
Figure FDA0004102614920000037
其中，s(wi-wj)表示图像i的局部特征wi与局部特征库中第j个图像的局部特征wj的相似度，wj表示局部特征库中的第j个图像的局部特征，
Figure FDA0004102614920000038
表示图像i中第k条直线对应的局部特征，
Figure FDA0004102614920000041
表示局部特征库中第j个图像中第k条直线对应的局部特征，N表示图像i中直线的个数；
S44：判断图像i的局部特征wi与局部特征库中第j个图像的局部特征wj的相似度是否小于第二设定阈值；若是，则对列车位置进行校准；若否，则利用毫米波雷达传感器实时测量列车的速度，对测得的速度进行积分，预测列车在两个关键位置区间内的位置。
4.如权利要求1所述的基于视觉与毫米波雷达融合的列车定位方法，其特征在于，步骤S4中，利用毫米波雷达传感器实时测量列车的速度，对测得的速度进行积分，预测列车在两个关键位置区间内的位置，具体包括：
获取毫米波雷达传感器检测的前向障碍物实时数据：
Figure FDA0004102614920000042
其中，xp表示第p个前向障碍物的横向距离，yp表示第p个前向障碍物的纵向距离，vp表示第p个前向障碍物相对列车的速度，n表示前向障碍物的个数；
提取列车的实时速度，对所有前向障碍物相对列车的速度v1、v2…vm进行统计，统计出每个速度下前向障碍物的个数，将数量最多的速度作为静止障碍物相对列车的速度：
num(vs)＝max{num(v1),num(v2),…num(vm)}               (6)
其中，vs表示静止障碍物相对列车的速度，num(vs)表示vs速度下前向障碍物的个数，num(v1)表示v1速度下前向障碍物的个数，num(v2)表示v2速度下前向障碍物的个数，num(vm)表示vm速度下前向障碍物的个数，m表示当前帧毫米波雷达数据中总共包含的速度值种类数，m≤n；列车的速度为-vs；
对列车的速度进行积分，实现列车位置估计：
Figure FDA0004102614920000043
其中，
Figure FDA0004102614920000044
表示列车在t时刻的位置，pr-1表示t时刻列车位置的上一个关键位置，l表示关键位置的总数量，v(t)表示列车的实时车速，∫v(t)d(t)表示从上一个关键位置开始到t时刻的速度积分。
CN202010517233.4A 2020-06-09 2020-06-09 一种基于视觉与毫米波雷达融合的列车定位方法 Active CN111856441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010517233.4A CN111856441B (zh) 2020-06-09 2020-06-09 一种基于视觉与毫米波雷达融合的列车定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010517233.4A CN111856441B (zh) 2020-06-09 2020-06-09 一种基于视觉与毫米波雷达融合的列车定位方法

Publications (2)

Publication Number Publication Date
CN111856441A CN111856441A (zh) 2020-10-30
CN111856441B true CN111856441B (zh) 2023-04-25

Family

ID=72987309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010517233.4A Active CN111856441B (zh) 2020-06-09 2020-06-09 一种基于视觉与毫米波雷达融合的列车定位方法

Country Status (1)

Country Link
CN (1) CN111856441B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528763B (zh) * 2020-11-24 2024-06-21 浙江华锐捷技术有限公司 一种目标检测方法、电子设备和计算机存储介质
CN113189583B (zh) * 2021-04-26 2022-07-01 天津大学 一种时-空同步的毫米波雷达和视觉信息融合方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545239A (zh) * 2017-07-06 2018-01-05 南京理工大学 一种基于车牌识别与车辆特征匹配的套牌检测方法
CN108983219A (zh) * 2018-08-17 2018-12-11 北京航空航天大学 一种交通场景的图像信息和雷达信息的融合方法及***
CN109031304A (zh) * 2018-06-06 2018-12-18 上海国际汽车城（集团）有限公司 基于视觉和毫米波雷达地图特征的隧道内车辆定位方法
CN109947097A (zh) * 2019-03-06 2019-06-28 东南大学 一种基于视觉和激光融合的机器人定位方法及导航应用
CN110135485A (zh) * 2019-05-05 2019-08-16 浙江大学 单目相机与毫米波雷达融合的物体识别与定位方法和***
CN110398731A (zh) * 2019-07-11 2019-11-01 北京埃福瑞科技有限公司 列车车速测量***及方法
CN110415297A (zh) * 2019-07-12 2019-11-05 北京三快在线科技有限公司 定位方法、装置及无人驾驶设备
CN110587597A (zh) * 2019-08-01 2019-12-20 深圳市银星智能科技股份有限公司 一种基于激光雷达的slam闭环检测方法及检测***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018080609A2 (en) * 2016-07-29 2018-05-03 Remote Sensing Solutions, Inc. Mobile radar for visualizing topography

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545239A (zh) * 2017-07-06 2018-01-05 南京理工大学 一种基于车牌识别与车辆特征匹配的套牌检测方法
CN109031304A (zh) * 2018-06-06 2018-12-18 上海国际汽车城（集团）有限公司 基于视觉和毫米波雷达地图特征的隧道内车辆定位方法
CN108983219A (zh) * 2018-08-17 2018-12-11 北京航空航天大学 一种交通场景的图像信息和雷达信息的融合方法及***
CN109947097A (zh) * 2019-03-06 2019-06-28 东南大学 一种基于视觉和激光融合的机器人定位方法及导航应用
CN110135485A (zh) * 2019-05-05 2019-08-16 浙江大学 单目相机与毫米波雷达融合的物体识别与定位方法和***
CN110398731A (zh) * 2019-07-11 2019-11-01 北京埃福瑞科技有限公司 列车车速测量***及方法
CN110415297A (zh) * 2019-07-12 2019-11-05 北京三快在线科技有限公司 定位方法、装置及无人驾驶设备
CN110587597A (zh) * 2019-08-01 2019-12-20 深圳市银星智能科技股份有限公司 一种基于激光雷达的slam闭环检测方法及检测***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automotive radar and camera fusion using Generative Adversarial Networks;VladimirLekic 等;《Computer Vision and Image Understanding》;20190731;第184卷;第1-8页 *
基于视觉和毫米波雷达的车道级定位方法;赵翔 等;《上海交通大学学报》;20180131;第33-38页 *

Also Published As

Publication number Publication date
CN111856441A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111551958B (zh) 一种面向矿区无人驾驶的高精地图制作方法
CN107463940B (zh) 基于手机数据的车辆类型识别方法和设备
US11294387B2 (en) Systems and methods for training a vehicle to autonomously drive a route
CN109064495A (zh) 一种基于Faster R-CNN与视频技术的桥面车辆时空信息获取方法
CN106778593A (zh) 一种基于多地面标志融合的车道级定位方法
CN111856441B (zh) 一种基于视觉与毫米波雷达融合的列车定位方法
CN112466141A (zh) 一种面向车路协同的智能网联路端设备交互方法、***及存储介质
CN111169468A (zh) 一种自动泊车的***及方法
CN112712693B (zh) 水淹检测装置、水淹检测***以及计算机可读存储介质
Tak et al. Development of AI‐Based Vehicle Detection and Tracking System for C‐ITS Application
CN111183464B (zh) 基于车辆轨迹数据估计信号交叉路口的饱和流量的***和方法
CN115923839A (zh) 一种车辆路径规划方法
Einsiedler et al. Indoor micro navigation utilizing local infrastructure-based positioning
CN111539305B (zh) 一种地图构建方法及***、车辆及存储介质
Xie et al. Vehicle counting and maneuver classification with support vector machines using low-density flash lidar
US20230236020A1 (en) System and Method for Map Matching GNSS Positions of a Vehicle
US11753018B2 (en) Lane-type and roadway hypotheses determinations in a road model
CN117859041A (zh) 用于在泊车空间中支持车辆功能的方法和辅助装置和机动车
WO2020213512A1 (ja) 渋滞情報提供装置、渋滞情報処理方法及び記録媒体
Kreibich et al. Lane-level matching algorithm based on GNSS, IMU and map data
CN108701223A (zh) 用于估算车辆的驾驶员的注意力等级的装置和方法
Angel et al. Application of aerial video for traffic flow monitoring and management
Chipka et al. Autonomous urban localization and navigation with limited information
CN113516104B (zh) 一种营运客车识别方法、装置、电子设备及存储介质
CN117749830B (zh) 一种基于边缘计算的车路协同云平台***及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant