CN115917255A - 基于视觉的位置和转弯标记预测 - Google Patents

基于视觉的位置和转弯标记预测 Download PDF

Info

Publication number
CN115917255A
CN115917255A CN202080102752.2A CN202080102752A CN115917255A CN 115917255 A CN115917255 A CN 115917255A CN 202080102752 A CN202080102752 A CN 202080102752A CN 115917255 A CN115917255 A CN 115917255A
Authority
CN
China
Prior art keywords
image
images
training data
navigation
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080102752.2A
Other languages
English (en)
Inventor
A.V.菲力蒙诺夫
O.阿基瓦
T.R.万格特姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Original Assignee
Harman International Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman International Industries Inc filed Critical Harman International Industries Inc
Publication of CN115917255A publication Critical patent/CN115917255A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)

Abstract

一种用于准确确定车辆位置和实时预测导航关键点的计算机实施的方法和设备。所述方法包括：指示车载摄像头捕获多个图像；计算第一图像和随后的第二图像之间的角度变化；根据所计算的角度变化确定车辆位置和航向矢量；收集多个图像中的至少一个图像作为第一训练子集；获得与第一训练数据子集中的至少一个图像相关的导航关键点的图像相关坐标作为第二训练子集；将第一训练数据子集和第二训练数据子集提供给人工神经网络作为训练数据集；以及在训练数据集上训练人工神经网络以预测指示路标位置和/或转弯点的导航关键点的图像相关坐标。

Description

基于视觉的位置和转弯标记预测
本公开涉及一种用于确定车辆位置并预测转弯点和车道变换的计算机实施的方法和设备。
背景技术
车辆的导航***中经常使用全球导航卫星***(GNSS)来确定车辆的位置。通常，这是通过在车辆的导航***上接收来自至少三颗卫星的信号并通过三边测量利用接收到的信号计算车辆的位置来实现的。一般而言，根据接收到的信号准确地确定车辆的位置是可能的。然而，这依赖于导航***和卫星之间的无障碍路径。因此，当车辆处于隧道/城市峡谷或在恶劣天气下，导航***可能难以从卫星接收准确信号，从而削弱其准确确定车辆位置的能力。为了解决这个问题，目前的导航***包括航位推算过程，所述航位推算过程通过使用先前确定的位置(由GNSS)并基于对车辆速度的估计以及自先前确定的位置以来经过的时间的路线估计当前位置来计算车辆的位置。
事实证明，使用传统的GNSS装置很难识别车辆的精确行进方向和方位，尤其是当车辆静止时(例如在红灯处)。为了解决这个问题，目前的导航***配备了内部测量单元(IMU)，所述内部测量单元使用加速度计、陀螺仪、磁力计(有时)的组合来测量和报告车辆的比力、角速率和方位。
因此，目前的导航***既可以使用GNSS三边测量来测量车辆的位置，也可以使用IMU来测量车辆的方位和行进方向。此外，目前的导航***可以在导航***难以从卫星接收准确信号时估计车辆的位置。
尽管对于基本导航来说足够准确，但目前的导航***仍然难以实时准确地确定车辆的位置、行进方向和方位。例如，GNSS的更新速率范围为0.1至1.0Hz，这会导致在确定车辆位置时稍有延迟。此外，IMU速度很快，刷新速率在kHz范围内，但往往存在噪声和漂移。更进一步地，航位推算过程也往往存在噪声并且经历漂移，特别是在较长时间的信号中断期间。因此，目前的导航***对于具有增强现实能力的导航***来说不够准确。因此，需要实时准确地确定车辆的位置、行进方向和方位，以将增强现实能力(诸如识别路标、十字路口和车道变换)实施到目前的导航***中。
发明内容
为了克服上面详述的问题，发明人已经设计出新颖的和创造性的车辆定位设备和技术。
更具体地，权利要求1提供了一种用于确定车辆位置和预测导航关键点的计算机实施的方法。车辆导航***内的逻辑电路可以指示耦合到逻辑的车载摄像头捕获多个图像并将这些图像传输回逻辑电路。逻辑电路可以接收所述多个图像，其中所述多个图像至少包括以第一时间间隔捕获的第一图像和以第二时间间隔捕获的第二图像。在至少接收到第一图像和第二图像后，逻辑电路可以分析图像并计算第一图像和第二图像之间的角度变化。通过计算的角度变化，逻辑电路可以实时准确地确定车辆的位置和航向矢量。
另外，计算机实施的方法可以接收来自耦合到逻辑的全球导航卫星***(GNSS)模块的GPS坐标、来自耦合到逻辑的惯性测量单元(IMU)的测量值、以及车辆的速度，以基于接收到的GPS坐标、IMU测量值和车辆的速度确定所确定的车辆的位置和航向矢量的置信度值。例如，如果逻辑确定从车载摄像头的图像确定的位置和航向矢量与GPS、IMU和速度测量值完全不同，则逻辑可以指示车载摄像头以更高的频率捕获多个第二图像，使得多个第二图像的捕获图像之间的时间间隔短于多个第一图像的捕获图像之间的时间间隔。逻辑然后可以重新开始计算多个第二图像的两个图像之间的角度变化的过程，并且基于计算的角度变化实时确定车辆的位置和航向矢量。
在一个实施方案中，所述方法可以收集多个图像中任意一个图像中的至少一个图像(作为第一训练数据子集)；获得与第一训练数据子集的所述至少一个图像相关的导航关键点的图像相关坐标(作为第二训练数据子集)；以及将第一训练数据子集和第二训练数据子集提供给人工神经网络作为训练数据集。所述方法然后可以在训练数据集上训练人工神经网络以预测指示路标位置和/或转弯点的导航关键点的图像相关坐标，以及通过人工神经网络处理输入的数据集，以预测指示路标位置和/或转弯点的导航关键点的图像相关坐标。这允许转换深度信息和即将出现的转弯点/十字路口/车道变换，使得它们可以显示在导航***的屏幕上，或者显示在平视显示器(HUD)上以向用户指示转弯点/十字路口/车道变换即将出现。
在一些示例中，第二车载摄像头可以耦合到逻辑并且计算机实施的方法可操作以指示第二车载摄像头捕获另外的多个图像并将那些图像传输到逻辑以更准确地实时确定车辆的位置和航向矢量。在某些示例中，第一车载摄像头和/或第二车载摄像头可以是前置摄像头(FFC)，其用于捕获车辆正前方视野的图像。
本公开还涉及如权利要求14所述的用于确定车辆位置和预测导航关键点的设备，其中所述设备包括用于执行本公开的方法的装置。例如，所述设备包括逻辑和第一车载摄像头(FFC)，其中所述逻辑可以用于指示车载摄像头(FFC)捕获多个图像，并且所述逻辑可以计算多个图像中的第一图像和第二图像之间的角度变化，以实时确定车辆的位置和航向矢量。此外，所述逻辑可操作以收集多个第一图像中的至少一个图像作为第一训练数据子集；获得与第一训练数据子集中的至少一个图像相关的导航关键点的图像相关坐标作为第二训练数据子集；将第一训练数据子集和第二训练数据子集提供给人工神经网络作为训练数据集；在训练数据集上训练人工神经网络以预测指示路标位置和/或转弯点的导航关键点的图像相关坐标；并通过人工神经网络处理输入的数据集以预测指示路标位置和/或转弯点的导航关键点的图像相关坐标。
附图说明
参考未按比例绘制的附图以示例的方式描述实施方案，其中相似的附图标记指代相似的元件。
图1示出了具有增强现实能力的用于基于视觉的定位的总体***架构；
图2示出了用于确定车辆位置的设备；
图3示出了在本公开中采用的深度神经网络的示例；
图4示出了环境数据中指示的预测的关键点标记位置的示例；
图5示出了环境数据中指示的预测的关键点标记位置的另一示例；
图6示出了示例性图像与由人工神经网络生成的示例性关键标记的叠加；
图7示出了卷积神经网络进行处理期间的一系列图像；
图8示出了具有HRNet架构特征的人工神经网络；
图9示出了摄像头的示例性图像和对应的标准清晰度俯视图地图；以及
图10示出了用于确定车辆位置的方法的实施方案的流程图。
具体实施方式
图1示出了具有增强现实能力的用于基于视觉的定位的示例性总体***架构。所述***架构可以是车辆车载导航***的一部分，其中导航***可以预测指示路标位置和/或转弯点的导航关键点。转弯点的一些示例包括但不限于车道变换和十字路口。导航***可以在任何类型的公路车辆中实施，诸如汽车、卡车、公共汽车等。
所述***可以包括汽车定位块102，所述汽车定位块可以基于规范的全球导航卫星***(GNSS)和/或惯性测量单元(IMU)传感器计算车辆的位置。另外，汽车定位块102可以从视觉里程计(VO)导出车辆的位置和航向矢量。VO是一种实时计算机视觉算法，其计算一个前置摄像头(FFC)帧与下一帧之间的角度变化。当这与来自GNSS子***、IMU和车辆速度的其他信号相加时，可以更准确地确定车辆的位置和航向矢量。将在图2中更详细地描述汽车定位块102。
然后，位置和航向矢量可以被航空图像标记数据库112(离线数据库)使用，以获得已经由人工神经网络离线提取的合适的标记位置，其中标记位置相当于指示路标位置和/或转弯点的导航关键点。航空图像标记数据库112可以通过扫描卫星和/或地球表面的航空图像来构建。该数据库112还可以包括标记选择器(未示出)，所述标记选择器使用当前汽车的位置和路线信息来选择与车辆当前路线相关的标记(例如路标位置和/或转弯点)。将在图3至图5中更详细地讨论离线航空图像标记数据库112的构建。
场景理解104块还可以使用位置和航向矢量来更好地确定FFC帧内的标记位置。场景理解104是神经网络，其可以实时运行以使用语义图像分析来相对于来自车辆前置摄像头(FFC)或类似摄像头的场景放置标记(例如路标位置和/或转弯点)。场景理解104可以扫描FFC帧并使用场景分析和其他信息源(例如标准清晰度地图)来确定标记位置的屏幕坐标以及标记位置的深度信息和/或地平面估计。将在图6至图9中更详细地讨论场景理解104。
场景理解104和从航空图像标记数据库112中离线提取的标记位置可以单独使用或一起使用，以根据不同的标记位置源和预测来计算实际标记位置。因此，***架构(即车辆的导航***)可以使用航空图像标记数据库112的预测标记位置、来自场景理解104的车辆FFC帧或两者的组合中的任一者来准确预测即将出现的路标和/或转弯点。
标记定位106块可以使用来自航空图像标记数据库112和场景理解104组件的信息和归一化置信度分数来基于车辆的位置和航向矢量确定放置标记的位置。标记定位106块可以实施平滑技术以避免因改变给定路线的每个标记使用哪个源而引起的抖动。标记渲染引擎114可以与场景理解104和/或航空图像标记数据库112同步工作以将标记的地理坐标转换为屏幕坐标，使得标记可以显示在车辆的导航屏幕上并且对用户可见。路线规划108、110然后可以确定预计车辆从起点到期望目的地遵循的路点和操纵。
图2示出了图1的汽车定位块102的更详细示例，其可以是用于确定车辆位置的设备，诸如车辆导航***的一部分。所述设备可以包括第一车载摄像头，诸如前置摄像头(FFC)202，其捕获多个前向(相对于车辆)图像。FFC202可以耦合到视觉里程计(VO)单元204，所述VO单元可以指示FFC 202捕获多个前向图像，并且随后从FFC 202接收多个第一图像。可以按顺序拍摄多个图像，其中每个图像之间具有相等时间段。在接收多个图像时，VO单元204可以计算一个图像和下一个图像(一帧到下一帧)之间的角度变化。随后，VO单元204可以根据确定的角度变化实时确定车辆的位置和航向矢量，并将车辆的位置和航向矢量传输到融合引擎210。
融合引擎210可以接收附加测量值，诸如来自全球导航卫星***(GNSS)模块208的GPS坐标、来自惯性测量单元(IMU)模块206的IMU测量值、和车辆的速度。GNSS模块208、IMU模块206和VO单元204可以各自通过物理或无线方式耦合到融合引擎210，使得它们可以相互传输信号。此外，FFC 202(和任何其他摄像头)可以通过物理或无线方式耦合到VO单元204。车辆的速度可以从车辆的速度计或从外部源记录，诸如通过来自GNSS模块208的计算进行记录。在接收到这些附加测量值之后，融合引擎210可以将从FFC 202捕获的图像计算的车辆位置和航向矢量与从GNSS模块208、IMU模块206和车辆速度接收的测量值进行比较，以确定所计算的车辆位置和航向矢量的置信度值。如果确定置信度值低于预定阈值，则融合引擎210可以指示FFC 202(通过VO单元204)增加捕获图像的频率，使得FFC 202以每个图像之间更短的时间段捕获另外多个连续图像。如上所述，VO单元204可以接收以增加的频率拍摄的另外多个图像，并且可以计算一个图像和下一个图像(一帧到下一帧)之间的角度变化以实时确定车辆位置和航向矢量的更新版本，以将其传输到融合引擎210。如果仍确定置信度值低于预定阈值，则融合引擎210可以重复该方法。
通过使用单视觉算法，VO单元204可以计算出足够的角度来克服典型IMU的漂移和噪声。此外，可以实施包括第一车载摄像头和第二车载摄像头(例如两个FFC)的立体视觉，从而允许VO单元204计算甚至更精确的角度以及提供深度信息。应该注意的是，可以使用任意数量的车载摄像头或FFC来提供更准确的结果。
图3示出了本公开的深度神经网络(一种人工神经网络)的示例。深度神经网络可以是卷积神经网络302，其可以被训练并且在训练之后存储在本公开的设备300中。卷积神经网络302可以包括多个卷积块304、多个去卷积块306和输出层(未示出)。每个块可以包括几个层。在训练期间，将训练数据集提供给卷积块304中的第一卷积块。在推理期间，将输入数据集(即定义的感兴趣区域)提供给卷积块304中的第一卷积块。卷积块304和去卷积块306可以是二维的。输出层之后的去卷积块306可以将卷积块304的最终输出数据变换成随后由输出层输出的输出数据集(输出预测)。输出数据集包括预测的关键点标记位置，即预测的虚拟路标位置。卷积神经网络302的输出数据集可以由预定区域(训练阶段)或定义的感兴趣区域(推理阶段)中的可能交叉点的像素图给出，其中概率值(概率分数)与每个像素相关联。那些概率分数高(即超过预定义阈值(例如，90％(0.9)))的像素随后被识别为预测的关键点标记位置。
图4示出了在感兴趣区域400中已经由本公开的深度神经网络预测的关键点标记位置402的示例，所述感兴趣区域在推理期间作为输入数据提供给经训练的深度神经网络。如图3右侧所示，预测的关键点标记位置402表示诸如交叉路口或T字路口等十字路口处的转弯点标记位置，并且可以位于进入十字路口的车道或道路的中心。
关键点标记位置也可以诸如通过经训练的深度神经网络进行预测，使得关键点标记位于连接道路/车道中心处的两个相邻潜在关键点标记位置的弯曲路径上。在这种情况下，关键点标记位置(即视觉路标位置)可以诸如在弯曲路径上选择，使得关键点标记/虚拟路标对于例如并没有被建筑物遮挡而是位于建筑物之前的驾驶员来说更直观/更可视/更可辨别。图5中示出了一个示例，其中两个相邻的潜在关键点标记位置502和504通过弯曲路径506连接，然后关键点标记M(即虚拟路标)被放置在所述弯曲路径上，使得与关键点标记放置在位置502或504处的情况相比，它可以更好地或者更容易地被驾驶员感知。
图6示出了与由人工神经网络生成的示例性关键标记的示例性叠加图像600。在该示例中，当车辆接近十字路口时，FFC 202可以捕获图像。图2的融合引擎210可以收集该图像(或多个捕获的图像)作为人工神经网络的第一训练数据子集，并且可以进一步获得与第一训练数据子集中的图像(或多个图像)相关的导航关键点/标记的图像相关坐标作为第二训练数据子集。此外，融合引擎210可以将第一训练数据子集和第二数据训练子集都提供给人工神经网络作为训练数据集。因此，融合引擎210可以在训练数据集上训练人工神经网络以预测指示路标和/或转弯点的导航关键点/标记的图像相关坐标，并且可以通过人工神经网络处理输入的数据集，以预测指示路标位置和/或转弯点的导航关键点/标记的图像相关坐标。
叠加在图像600上的是在两个位置602、604处的轮廓图，所述轮廓图指示导航关键点被包括在其中的概率高(周围有黑线的白色)和概率非常高(黑色填充)的区域。这些轮廓由神经网络确定并进行后处理，使得可以确定例如最大值或各个质心位置。
图7示出了根据本公开的实施方案的前置摄像头图像处理的示例性三步过程。来自前置摄像头的图像700用作输入。然后人工神经网络使用语义方法来处理图像。识别图像的被不同类型的对象覆盖的不同区域：街道、其他车辆、静止物体、天空和车道/街道定界线。图像702示出了中间(经处理的)图像。线对应于与不同类型的对象相关的区域之间的边界。在下一步骤中，基于对图像的这种语义理解来确定导航关键点。这种方法允许确定导航关键点，即使它的位置被其他对象遮挡。结果显示在图像704中，其中标记706指示导航关键点的位置。
在一些实施方案中，融合引擎210可以确定图像相关坐标的置信度值。可以为图像相关坐标确定置信度值。置信度值指示图像相关坐标是导航关键点的正确坐标的概率。从而其可以指示坐标是否已经被正确确定。
第一训练数据子集可以包括人工神经网络确定其置信度值低于预定义阈值的一个或多个图像。因此，可以更有效地执行神经网络的训练。人工神经网络可以是卷积神经网络，如上文在图3中所讨论的。在训练期间，可以设置卷积神经网络的权重，使得卷积神经网络预测尽可能接近第二训练数据子集中所包含的导航关键点标记的位置的导航关键点标记位置。同时，第二训练数据子集的坐标可以通过用户输入、一个或多个众包平台以及提供预定区域中关键点的既定地心位置中的至少一者来获得。
可选地，融合引擎210可以将第一训练数据子集提供给第二人工神经网络作为输入数据，以由第二神经网络基于第一训练数据子集预测导航关键点的图像相关坐标。因此，可以确定第二置信度值，所述第二置信度值指示由经训练的人工神经网络和第二人工神经网络预测的导航关键点位置之间的距离。因此，可以监控训练的效果，并且可以调整参数，包括置信度值的阈值。
图像相关坐标可以指示导航关键点在图像上的位置。它们可以被表示为像素行数和列数。处理可以包括描绘图像上的点是导航关键点的概率值的热图的生成。处理还可以包括本领域已知的附加图像处理步骤。导航关键点可以用于向驾驶员正确地显示指令。这可以通过将指令、街道名称和其他输出叠加在摄像头图像或移动装置周围环境的类似描绘上来实现。
在实施方案中，所述方法还包括将图像相关坐标转换成地心坐标，如关于标记渲染引擎114所描述的。这是可能的，因为导航关键点与静止对象相关，诸如路标、十字路口拐角和车道。这可以以两步过程来完成：首先，通过投影将图像相关坐标转换为相对于装置的坐标，例如表示为相对于固定到装置的预定义轴的距离和极角。在第二步中，确定装置的位置并将坐标转换为地心坐标，例如经度和纬度。地心坐标然后可以由同一移动装置或其他装置使用来识别关键点位置。因此，未被配置为执行本公开的方法的其他移动装置可以使用这些数据。此外，如果由于恶劣天气、摄像头故障或其他状况导致摄像头数据不可用，则可以使用这些数据。
在实施方案中，如上所述的人工神经网络和/或深度神经网络可以利用具有特定于任务的修改的HRNet架构特征，如图8的800所示。
图9示出了另一个示例性摄像头图像900，以及从标准清晰度(SD)道路地图生成的示意性俯视图地图902。示意性俯视图地图902可以替代地从航空或卫星图像生成，并且可以存储在车辆中的存储器和/或存储在网络可访问的服务器中。俯视图地图902也可以是纯拓扑地图，其中道路及其连接被呈现为具有已知坐标的图的边和顶点。替代地，可以直接使用卫星图像、航空图像或地图图像，诸如标准清晰度(SD)地图，其中SD地图由道路和十字路口组成。在示例性实施方案中，可以将两个图像都用作输入进行处理，使得将预测的导航关键点叠加到标准清晰度(SD)地图上，从而提高确定导航关键点的可靠性和准确性。作为可选的预处理步骤，可以对摄像头图像900或示意性俯视图图像902进行透视变换，使得两个输入图像的图像坐标(像素行和列)与相同的地心坐标相关。当由于恶劣天气(例如雾)或其他情况(例如摄像头上的杂质)导致摄像头图像质量较低时，这尤其有用。
图10示出了本公开的方法的实施方案的流程图1000。在步骤1002中，指示第一车载摄像头捕获多个第一图像。第一车载摄像头可以是如上所述的FFC 202，并且可以由如上所述的VO单元204指示。步骤1004要求接收多个第一图像，其中多个第一图像至少包括以第一时间间隔捕获的第一图像和以第一时间间隔之后的第二时间间隔捕获的第二图像。在步骤1006处，所述方法要求接收GPS坐标、惯性测量单元(IMU)测量值和车辆速度。GPS坐标如上所述从GNSS模块208接收，而IMU测量值如上所述从IMU模块206接收。如上所述，所有测量值都在融合引擎210处接收。在步骤1008处，VO单元204计算第一图像和第二图像之间的角度变化，并且在步骤1010处，VO单元204根据计算的角度变化确定车辆的位置和航向矢量。这允许车辆的导航***实时确定车辆的位置和航向矢量，这允许***可靠地使用增强现实来预测转弯点和车道变换，如上所讨论的。在步骤1012处，融合引擎210收集多个第一图像中的至少一个图像作为第一训练子集。在步骤1014处，从与第一训练数据子集中的至少一个图像相关的导航关键点的图像相关坐标获得第二训练数据子集。所述方法以步骤1016继续进行，其中将第一训练数据子集和第二训练数据子集提供给人工神经网络(诸如图3的深度神经网络)作为训练数据集。因此，融合引擎210可以在训练数据集上训练人工神经网络来预测指示路标位置和/或转弯点的导航关键点的图像相关坐标，如步骤1018所述。最后，在步骤1020中，人工神经网络处理输入数据集以预测指示路标位置和/或转弯点的导航关键点的图像相关坐标。

Claims (18)

1.一种用于确定车辆位置和预测导航关键点的计算机实施的方法，所述方法包括以下步骤：
指示第一车载摄像头捕获多个第一图像；
从所述第一车载摄像头接收所述多个第一图像，所述多个第一图像至少包括以第一时间间隔捕获的第一图像和以所述第一时间间隔之后的第二时间间隔捕获的第二图像；
接收GPS坐标、惯性测量单元(IMU)测量值和车辆速度；
计算所述第一图像和所述第二图像之间的角度变化；
根据所计算的角度变化确定所述车辆的位置和航向矢量；
收集所述多个第一图像中的至少一个图像作为第一训练数据子集；
获得与所述第一训练数据子集中的所述至少一个图像相关的导航关键点的图像相关坐标作为第二训练数据子集；
将所述第一训练数据子集和所述第二训练数据子集提供给人工神经网络作为训练数据集；
在所述训练数据集上训练所述人工神经网络来预测指示路标位置和/或转弯点的导航关键点的图像相关坐标；以及
由所述人工神经网络处理输入数据集以预测指示路标位置和/或转弯点的导航关键点的图像相关坐标。
2.根据权利要求1所述的计算机实施的方法，其还包括：
基于所接收到的GPS坐标、IMU测量值和车辆速度，确定所确定的车辆位置和航向矢量的置信度值。
3.根据权利要求2所述的计算机实施的方法，其还包括：
如果所述置信度值低于预定阈值，则指示所述第一车载摄像头捕获多个第二图像；以及
从所述第一车载摄像头接收所述多个第二图像。
4.根据权利要求3所述的计算机实施的方法，其中：
所述多个第二图像至少包括以第三时间间隔捕获的第三图像和以所述第三时间间隔之后的第四时间间隔捕获的第四图像；并且
所述第三时间间隔与所述第四时间间隔之间的时间差小于所述第一时间间隔与所述第二时间间隔之间的时间差。
5.根据权利要求4所述的计算机实施的方法，其还包括：
计算所述第三图像和所述第四图像之间的角度变化；以及
根据所计算的所述第三图像和所述第四图像之间的角度变化确定所述车辆的位置和航向矢量。
6.根据权利要求1至5中任一项所述的计算机实施的方法，其还包括：
指示第二车载摄像头捕获多个第三图像；以及
从所述第二车载摄像头接收所述多个第三图像。
7.根据权利要求1至6中任一项所述的计算机实施的方法，其还包括：
将所述图像相关坐标转换为地心坐标。
8.根据权利要求1至7中任一项所述的计算机实施的方法，其还包括：
将所述地心坐标存储在包括在移动装置中的存储器装置和/或存储在网络可访问的服务器中。
9.根据权利要求1至8中任一项所述的方法，其还包括：
确定所述图像相关坐标的置信度值。
10.根据权利要求9所述的方法，
其中所述第一训练数据子集包括所述人工神经网络确定其置信度值低于所述阈值的一个或多个图像。
11.根据权利要求1至10中任一项所述的方法，
其中所述人工神经网络为卷积神经网络。
12.根据权利要求1至11中任一项所述的方法，其中所述第二训练数据子集的坐标通过用户输入、一个或多个众包平台以及提供预定区域中关键点的既定地心位置中的至少一者来获得。
13.根据权利要求1至12中任一项所述的方法，其还包括：
将所述第一训练数据子集提供给第二人工神经网络作为输入数据；
所述第二神经网络基于所述第一训练数据子集预测导航关键点的图像相关坐标；以及
确定第二置信度值，所述第二置信度值指示由所述训练的人工神经网络和所述第二人工神经网络预测的所述导航关键点位置之间的距离。
14.根据权利要求1至13中任一项所述的计算机实施的方法，其还包括：
将所预测的导航关键点叠加到标准清晰度(SD)地图上，所述SD地图由道路和十字路口组成。
15.一种用于确定车辆位置和预测导航关键点的设备，所述设备包括：
第一车载摄像头；
耦合到逻辑的全球导航卫星***(GNSS)模块，所述GNSS模块可操作以接收GPS坐标；
耦合到所述逻辑的惯性测量单元(IMU)，所述IMU可操作以接收IMU测量值；以及
耦合到所述第一车载摄像头的逻辑，所述逻辑可操作以：
指示所述第一车载摄像头捕获多个第一图像；
从所述第一车载摄像头接收所述多个第一图像，所述多个第一图像至少包括以第一时间间隔捕获的第一图像和以所述第一时间间隔之后的第二时间间隔捕获的第二图像；
计算所述第一图像和所述第二图像之间的角度变化；
根据所计算的角度变化确定所述车辆的位置和航向矢量；
收集所述多个第一图像中的至少一个图像作为第一训练数据子集；
获得与所述第一训练数据子集中的所述至少一个图像相关的导航关键点的图像相关坐标作为第二训练数据子集；
将所述第一训练数据子集和所述第二训练数据子集提供给人工神经网络作为训练数据集；
在所述训练数据集上训练所述人工神经网络来预测指示路标位置和/或转弯点的导航关键点的图像相关坐标；并且
由所述人工神经网络处理输入数据集以预测指示路标位置和/或转弯点的导航关键点的图像相关坐标。
16.根据权利要求15所述的设备，其中所述逻辑还可操作以接收车辆速度。
17.根据权利要求15至16中任一项所述的设备，其还包括耦合到所述逻辑的第二车载摄像头，所述第二车载摄像头可操作以捕获多个第二图像。
18.根据权利要求15至17中任一项所述的设备，其中所述逻辑还可操作以执行根据权利要求4至14中任一项所述的步骤。
CN202080102752.2A 2020-07-31 2020-07-31 基于视觉的位置和转弯标记预测 Pending CN115917255A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2020/000400 WO2022025786A1 (en) 2020-07-31 2020-07-31 Vision-based location and turn marker prediction

Publications (1)

Publication Number Publication Date
CN115917255A true CN115917255A (zh) 2023-04-04

Family

ID=72615927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080102752.2A Pending CN115917255A (zh) 2020-07-31 2020-07-31 基于视觉的位置和转弯标记预测

Country Status (4)

Country Link
US (1) US20230273029A1 (zh)
EP (1) EP4189329A1 (zh)
CN (1) CN115917255A (zh)
WO (1) WO2022025786A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019537B (zh) * 2022-06-20 2023-11-14 芜湖宏景电子股份有限公司 一种应用于低质量网络条件下的智能导航***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180068511A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 영상에 포함된 도로와 관련된 정보를 결정하는 뉴럴 네트워크를 학습시키는 학습 데이터를 생성하는 장치 및 방법
US10929713B2 (en) * 2017-10-17 2021-02-23 Sri International Semantic visual landmarks for navigation
WO2020048623A1 (en) * 2018-09-07 2020-03-12 Huawei Technologies Co., Ltd. Estimation of a pose of a robot

Also Published As

Publication number Publication date
US20230273029A1 (en) 2023-08-31
EP4189329A1 (en) 2023-06-07
WO2022025786A1 (en) 2022-02-03

Similar Documents

Publication Publication Date Title
CN107328410B (zh) 用于定位自动驾驶车辆的方法和汽车电脑
CN107328411B (zh) 车载定位***和自动驾驶车辆
CN106352867B (zh) 用于确定车辆自身位置的方法和设备
EP3137850B1 (en) Method and system for determining a position relative to a digital map
EP2372309B1 (en) Vehicle position detection system
JP5435306B2 (ja) 画像処理システム及び位置測位システム
US8346473B2 (en) Lane determining device, lane determining method and navigation apparatus using the same
JP4847090B2 (ja) 位置測位装置、および位置測位方法
EP2372308B1 (en) Image processing system and vehicle control system
CN110945320B (zh) 车辆定位方法和***
US20100250116A1 (en) Navigation device
US20100256900A1 (en) Navigation device
EP2372607A2 (en) Scene matching reference data generation system and position measurement system
KR20050081492A (ko) 전방 실제 영상을 사용한 자동차 항법 장치 및 그 제어 방법
JP6886171B2 (ja) 地図情報作成装置、地図情報作成プログラム及び地図情報作成方法
WO2020039937A1 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
JP2009500765A (ja) 交通情報を判定する方法及びその方法を実行するように構成された装置
JP2008065087A (ja) 静止物地図生成装置
JP4596566B2 (ja) 自車情報認識装置及び自車情報認識方法
CN111351502A (zh) 用于从透视图生成环境的俯视图的方法，装置和计算机程序产品
EP4012341A1 (en) Camera calibration for localization
US20230273029A1 (en) Vision-based location and turn marker prediction
US20220122316A1 (en) Point cloud creation
JP2023152109A (ja) 地物検出装置、地物検出方法及び地物検出用コンピュータプログラム
CN113874681B (zh) 点云地图质量的评估方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination