CN110869700A - 用于确定车辆位置的***和方法 - Google Patents

用于确定车辆位置的***和方法 Download PDF

Info

Publication number
CN110869700A
CN110869700A CN201880046060.3A CN201880046060A CN110869700A CN 110869700 A CN110869700 A CN 110869700A CN 201880046060 A CN201880046060 A CN 201880046060A CN 110869700 A CN110869700 A CN 110869700A
Authority
CN
China
Prior art keywords
feature points
electronic device
determining
measurements
traffic sign
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880046060.3A
Other languages
English (en)
Other versions
CN110869700B (zh
Inventor
A·夏尔马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN110869700A publication Critical patent/CN110869700A/zh
Application granted granted Critical
Publication of CN110869700B publication Critical patent/CN110869700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

描述了一种方法。所述方法包含获得多个图像。所述方法还包含检测所述多个图像中的对象。所述方法进一步包含确定所述对象上的多个特征点。所述特征点基于对象类型彼此具有已建立的关系。所述方法还包含使用所述多个特征点来确定相对于地平面的运动轨迹和相机姿态。

Description

用于确定车辆位置的***和方法
技术领域
本公开总体涉及电子装置。更具体地，本公开涉及用于确定车辆位置的***和方法。
背景技术
电子装置(例如蜂窝电话、无线调制解调器、计算机、数字音乐播放器、全球定位***(GPS)单元、个人数字助理(PDA)、游戏装置等)已经成为日常生活的一部分。小型计算装置现在被放置在从车辆到外壳锁的任何东西中。在过去几年中，电子装置的复杂性急剧增加。例如，许多电子装置具有帮助控制所述装置的一或多个处理器，以及支持所述装置的处理器和其它部分的多个数字电路。
一些电子装置(例如车辆)可以配备有高级驾驶员辅助***。这些***可以用在自主车辆中。这些***中的一种有用的技术是视觉惯性里程计(VIO)。然而，每天的车辆驾驶可以包含具有各种场景的半控制环境，所述各种场景对于基于计算机的车辆自动化通常是具有挑战性的，尤其是VIO。基于感知的车辆定位和位置有助于辅助视觉惯性里程计。
发明内容
描述了一种方法。所述方法包含获得多个图像。所述方法还包含检测所述多个图像中的对象。所述方法进一步包含确定所述对象上的多个特征点。所述特征点基于对象类型彼此具有已建立的关系。所述方法还包含使用所述多个特征点来确定相对于地平面的运动轨迹和相机姿态。对象可以包含车道标记或交通标志。
确定多个特征点可以包含确定检测到的车道标记的三或多个端角。确定多个特征点可以包含确定检测到的交通标志的三或多个顶点。
确定运动轨迹可以包含使用多个特征点来确定尺度信息。确定运动轨迹和相机姿态可以包含将从第一图像确定的多个特征点与从第二图像确定的相应的特征点进行比较。
所述方法还可以包含将检测到的对象的测量与惯性传感器测量进行组合。可以基于组合的测量来确定运动轨迹。
所述方法还可以包含将卫星导航接收器测量与检测到的对象的测量进行组合。全局帧中的姿态和位置可以基于组合的测量来确定。来自一或多个车辆传感器的车辆传感器测量可以与卫星导航接收器测量和检测到的对象的测量组合。全局帧中的姿态和位置可以基于组合的测量来确定。
所述方法还可以包含将检测到的对象的测量与速度计测量进行组合。可以基于组合的测量来确定运动轨迹。
所述方法可以在车辆上执行。所述方法还可以包含将相机姿态传输给地图服务。在另一个实施方案中，所述方法可以由服务器执行。
还描述了一种电子装置。所述电子装置包含存储器和与所述存储器通信的处理器。所述处理器被配置成获得多个图像。所述处理器还被配置成检测所述多个图像中的对象。所述处理器进一步被配置成确定所述对象上的多个特征点。所述特征点基于对象类型彼此具有已建立的关系。所述处理器还被配置成使用所述多个特征点来确定相对于地平面的运动轨迹和相机姿态。
还描述了一种存储计算机可执行代码的非暂时性计算机可读介质。所述计算机可读介质包含用于使电子装置获得多个图像的代码。所述计算机可读介质还包含用于使电子装置检测多个图像中的对象的代码。所述计算机可读介质进一步包含用于使电子装置确定对象上的多个特征点的代码。所述特征点基于对象类型彼此具有已建立的关系。所述计算机可读介质还包含用于使所述电子装置使用所述多个特征点来确定相对于地平面的运动轨迹和相机姿态的代码。
还描述了一种设备。所述设备包含用于获得多个图像的装置。所述设备还包含用于检测多个图像中的对象的装置。所述设备进一步包含用于确定对象上的多个特征点的装置。所述特征点基于对象类型彼此具有已建立的关系。所述设备还包含用于使用多个特征点来确定相对于地平面的运动轨迹和相机姿态的装置。
附图说明
图1是示出了其中可以实现用于确定车辆位置的***和方法的电子装置的一个实例的框图；
图2是示出了用于确定车辆位置的方法的一种配置的流程图；
图3是示出了其中可以实现用于确定车辆位置的***和方法的电子装置的另一个实例的框图；
图4示出了使用车道标记检测的车辆定位的实例；
图5是示出了用于基于车道标记检测来确定车辆位置的方法的一种配置的流程图；
图6是示出了用于基于交通标志检测来确定车辆位置的方法的配置的流程图；
图7是示出了用于确定车辆位置的方法的另一种配置的流程图；
图8是示出了用于确定车辆位置的方法的又一种配置的流程图；以及
图9示出了可以包含在被配置成实施本文中所公开的***和方法的各种配置的电子装置内的某些组件。
具体实施方式
现在参考附图描述各种配置，其中相似的参考编号表示功能类似的元件。本文在附图中大体描述和示出的***和方法可以按照各种不同的配置进行布置和设计。因此，如在附图中所表示的若干配置的以下更详细描述并不旨在限制所要求保护的范围，而仅仅表示***和方法。
图1是示出其中可以实现用于确定车辆位置的***和方法的电子装置102的一个实例的框图。电子装置102的实例包含相机、视频摄像机、数码相机、蜂窝电话、智能电话、计算机(例如台式计算机、膝上型计算机等)、平板装置、媒体播放器、电视、车辆、汽车、个人相机、可穿戴相机、虚拟现实装置(例如耳机)、增强现实装置(例如耳机)、混合现实装置(例如耳机)、动作相机、监视相机、安装的相机、连接的相机、机器人、飞行器、无人机、无人驾驶飞行器(UAV)、智能应用、保健设备、游戏控制台、个人数字助理(PDA)、机顶盒、器具等。例如，电子装置102可以是在高级驾驶员辅助***(ADAS)中使用的车辆。
电子装置102可以配置有定位模块118。在配置中，定位模块118可以包含或可以实施视觉惯性里程计(VIO)***。VIO***可以被实现为定位引擎，其将相机输入与由惯性传感器108(例如惯性测量单元(IMU)***)提供的惯性信息进行组合以确定电子装置102的位置。惯性传感器108可以包含一或多个加速度计和/或一或多个陀螺仪，惯性传感器108利用所述一或多个陀螺仪生成惯性测量。
在一个方面中，视觉惯性里程计可以用于定位车辆。VIO可以是自动驾驶***的一部分。VIO***的一个目的是使用来自附近特征(例如建筑物的角或树的角)的信息来定位车辆。VIO***可以提供关于电子装置102相对于其环境位于何处的信息。应注意，VIO可以提供定位位置。例如，VIO可以提供电子装置102相对于先前位置的位置。
用于汽车应用的车辆位置的视觉惯性里程计的当前实施方案依赖于惯性传感器108和单目相机106。使用由相机106捕获的图像，VIO***可以检测和跟踪图像中的关键点(例如尖角)。然而，如果相机106是唯一使用的传感器，则不可能知道特征的尺寸或深度，因为相机将三维(3D)世界投影到二维(2D)图像上。通过将惯性传感器测量与移动相机帧进行组合，有可能估计出关键点特征的尺度。然后可以使用所述尺度来估计相机106相对于其先前姿态的新姿态，从而估计车辆的自我运动。在一种方法中，VIO***可以集成惯性测量以获得电子装置102的位置。
每天的车辆驾驶可能发生具有各种场景的半控制环境，所述各种场景对于基于计算机的车辆自动化通常是具有挑战性的，尤其是VIO。惯性测量可能不足以确定电子装置102的位置。VIO应用中的惯性测量的一个问题是尺度漂移。当车辆以恒定速度移动时，可能观察不到惯性传感器108中的偏差，这可能导致尺度漂移。如本文中所使用，“偏差”(也称为传感器偏差)是理想输出和由传感器108(例如陀螺仪或加速度计)提供的实际输出之间的差。
在单目VIO***中(例如使用单目相机106来提供图像信息)，可以使用估计的VIO轨迹来计算视觉特征的深度。视觉特征可以不对尺度漂移提供任何校正。
在实例中，当车辆(例如电子装置102)以恒定速度移动时，特别是在高速公路场景中，测量加速度的加速度计变为零。在这种情况下，***中没有可观察的偏差信号(即加速度计偏差)，其变为标量值。因此，在单目相机***中，对于所观察到的所有特征，VIO***只能按尺度测量特征的位置。例如，如果单目相机要查看来自三个不同相机优势点的相同特征点，则可以在现实世界中对特征的位置进行三角测量，但是所述位置只能达到一定尺度。特征点的位置可以在深度方向上任意移动。因此，在没有附加数据的情况下，不能观察到特征点的精确位置。
应注意，使用惯性传感器108的优点在于，当在加速度计或陀螺仪中有足够的加速度或激励时，尺度变得可观察到。车辆运动的问题在于，当车辆以近似恒定的速度沿非常直线行驶时，仅使用惯性测量无法观察到尺度。
VIO应用中的惯性测量的另一个问题是IMU测量趋向于在恒定速度下变得有噪声。在不使用视觉特征限制IMU测量的情况下，相机姿态122的六个自由度是无法观测的。在汽车VIO的情况下，相机姿态122可以是车辆本身的姿态。
在一些方法中，可以使用地图执行车辆定位。例如，车辆可以使用GPS坐标和环境中预先配置的特征数字地图来确定车辆的位置。可以检测环境内的特征并将其与地图进行比较。例如，可以在图像中检测建筑物、桥梁或其它结构，并将其与数字地图相关联以确定车辆的方位。然而，这种基于地图的方法的问题是特征随时间改变，并且地图可能不能准确地反映环境。因此，所述方法依赖于更新的地图，不一定总是可用的。此外，即使非常详细的地图也可能无法识别环境中可用于车辆定位的所有特征。
为了VIO***正确地工作，关键点特征应是固定的。然而，在静止特征不容易观察的环境中，特征的缺乏可能导致尺度的显著漂移并且可能破坏VIO算法。例如，当驾驶通过沙漠景观时，相机106可以观察到的特征很少。
当应用于汽车应用时，如果VIO***采用在驾驶时通常可用的一或多个机构，则可以使VIO***更加稳健。在一种方法中，可以帮助确定尺度的补充机构中的一个是车辆速度。车辆速度可以来自速度计(例如轮速编码器)或来自GPS。
在另一种方法中，电子装置102可以使用来自感知算法的信息来帮助确定车辆位置。在汽车环境中，电子装置102可以是车辆或者可以被包含在车辆中。这些感知算法可以包含车道标记检测器114和/或交通标志检测器116。
电子装置102可以包含一或多个组件或元件。可以在硬件(例如电路)或硬件与软件和/或固件(例如具有指令的处理器104)的组合中实施组件或元件中的一或多个。
在一些配置中，电子装置102可以包含处理器104、存储器112、一或多个相机106、一或多个惯性传感器108和/或一或多个卫星导航接收器110(例如GPS接收器、全球导航卫星***(GNSS)等)。处理器104可以耦合到存储器112、相机106、惯性传感器108和/或卫星导航接收器110(例如与其电子通信)。
处理器104可以是通用单芯片或多芯片微处理器(例如ARM)、专用微处理器(例如数字信号处理器(DSP))、微控制器、可编程门阵列等。处理器104可以被称为中央处理单元(CPU)。尽管在电子装置102中仅展示了单个处理器104，但是在可替代的配置中，可以使用处理器104的组合(例如图像信号处理器(ISP)和应用处理器、ARM和DSP等)。处理器104可以被配置成以实施本文中所公开的方法中的一或多种。例如，处理器104可以被配置成确定电子装置102的运动轨迹120和相机姿态122。
在一些配置中，电子装置102可以执行结合图2-9中的一或多个所描述的功能、过程、方法、步骤等中的一或多种。另外地或替代地，电子装置102可以包含结合图2-9中的一或多个所描述的结构中的一或多个。
电子装置102可以获得一或多个图像(例如数字图像、图像帧、视频等)和其它传感器数据。例如，一或多个相机106可以捕获多个图像。在一个实施方案中，相机106可以是安装在车辆上的面向前的单目相机。另外地或替代地，电子装置102可以从另一个装置(例如耦合到电子装置102的一或多个外部相机、网络服务器、交通相机、吊放相机(dropcamera)、车辆相机、网络相机等)请求和/或接收一或多个图像。
电子装置102可以检测车道标记或交通标志。电子装置102可以配置有车道标记检测器114、交通标志检测器116或两者兼具。自主车辆可以配备有稳健感知算法：车道标记检测器114和交通标志检测器116。在一种方法中，车道标记检测器114和交通标志检测器116可以实现为基于计算机视觉(CV)的算法。在另一种方法中，车道标记检测器114和交通标志检测器116可以实现为深度神经网络算法。应注意，车道标记检测器114和交通标志检测器116可以使用除了本文中列出的那些算法之外的其它算法来实现。
车道标记检测器114和交通标志检测器116可以被配置成识别在道路和驾驶环境中观察到的一组特定特征。车道标记检测器114和交通标志检测器116比正常关键点***更加稳健。例如，在典型的VIO***中，关键点***可以识别具有鲜明对比度(即尖角)的任何静止对象。然而，这些关键点对于在车辆定位中使用可能不是最佳的。例如，关键点***可以检测远距离的树或建筑物上的树叶。
另一方面，车道标记检测器114和交通标志检测器116被配置成检测可以可靠地用于执行车辆定位的道路特征。车道标记检测器114被配置成检测图像内的一或多个车道标记或车道标记段。车道标记是道路表面上传达信息的装置或材料。车道标记的实例包含涂色的交通车道、涂色的人行横道、涂色的停车位、残障停车位、反光标志、博茨(Bott)的点和齿纹标志带。
车道标记具有已知的配置和与电子装置102的关系。例如，车道标记的大小可以是已知的或由车道标记检测器114确定。此外，可以利用车道标记位于道路上的事实来确定车辆的位置。
交通标志检测器116可以确定图像中的一或多个交通标志。使用CV或深度神经网络算法，交通标志检测器116可以识别图像中的对象是交通标志。交通标志检测器116还可以确定在场景中观察到的交通标志的类型。例如，交通标志检测器116可以确定交通标志是限速标志、高速公路出口标志、道路危险警告标志等。
应注意，车道标记检测器114和交通标志检测器116被设计成识别在道路上和在驾驶环境中观察到的一组特定特征。特征(例如车道标记和交通标志)具有已知的配置。例如，车道标记和交通标志具有某些形状(例如矩形、圆形、八边形等)和大小。
车道标记检测器114可以被配置成检测道路上的车道标记和其它度量。这些度量可以包含车辆距车道标记的横向距离。车道标记检测器114还可以相对于车道标记检测车辆的方向。车道标记检测器114可以确定车道标记检测/跟踪结果的可信度的质量度量。车道标记检测器114还可以检测图像平面中的车道标记的角和可能的***的路面标记(例如博茨的点)的位置。
交通标志检测器116可以被配置成检测道路上的交通标志和其它度量。这些度量可以包含检测图像平面中的交通标志的顶点(例如角点)。交通标志检测器116还可以确定交通标志检测/跟踪结果的置信度的质量度量。
处理器104可以确定车道标记或交通标志上的多个特征点。如本文中所使用，术语特征点是指相同特征(例如车道标记或交通标志)上的各种位置。处理器104可以确定给定特征点在数字图像中的像素位置。
特征点基于对象类型彼此具有已建立的关系。因为特征点来自相同的特征(例如车道标记或交通标志)，所以特征点具有已知的关联。换句话说，一旦处理器104检测到某个特征，在所述特征上的多个点的关系可以是已知的。一种对象类型可以是车道标记。另一种对象类型可以是交通标志。
在车道标记的情况下，车道标记检测器114可以确定检测到的车道标记的三或多个端角。例如，对于矩形车道标记，车道标记检测器114可以确定车道标记的至少三或所有四个角点。因为所述特征已知为车道标记，所以这三或多个角点具有已建立的属于相同车道标记的关系。此外，这些角点具有已建立的限定车道标记的范围的关系。换句话说，这些角点限定了车道标记的边界。附加地，可以基于角点确定车道标记的宽度和/或长度。
在交通标志的情况下，交通标志检测器116可以确定检测到的交通标志的三或多个顶点。例如，对于矩形标志，交通标志检测器116可以确定标志的至少三或所有四个顶点。对于圆形标志，交通标志检测器116可以确定标志上的三个点。因为所述特征被确定为交通标志，所以这三或多个顶点具有已建立的属于相同交通标志的关系。顶点可以限定交通标志的边界。
因为车道标记检测器114和交通标志检测器116由于它们的固有设计而在检测和跟踪场景特征方面更加稳健，所以它们可以用于提供与基于角检测器的关键点***相比更可靠的尺度信息，所述基于角检测器的关键点***更依赖于试探法并且较不精确。例如，典型的VIO关键点***可以识别道路上具有强对比度的任何特征。然而，关键点***不知道检测到的点的关系。例如，关键点***不知道两或多个检测到的点是否属于相同特征。
处理器104可以使用由车道标记检测器114或交通标志检测器116检测到的多个特征点来确定相对于地平面的运动轨迹120和相机姿态122。例如，定位模块118可以使用多个特征点来确定尺度信息。定位模块118可以从车道标记检测器114接收车道标记的特征点。定位模块118可以从交通标志检测器116接收交通标志的特征点。
处理器104可以使用多个特征点来确定尺度信息。
定位模块118可以通过将来自第一图像的多个特征点与第二图像中的相应的特征点进行比较来确定运动轨迹120。如本文所使用，术语“运动轨迹”是指电子装置102在空间中移动时的曲线或路径。可以在局部帧中确定运动轨迹120。换句话说，定位模块118可以确定相对于先前位置的位置变化。所述运动可以被称为车辆的自我运动。
应注意，运动轨迹120是车辆运动的定位。此时，运动轨迹120与全局帧无关。因此，运动轨迹120不依赖于GPS或其它全球定位方法。这在GPS信号不可用或被破坏的情况下是有益的。例如，在停车库中，GPS信号可能不可用。而且，在城市峡谷中，GPS信号可能由于干扰而被破坏。然而，本文中所描述的***和方法不依赖于GPS信号或外部地图来执行车辆的定位和位置。
在一个实施方案中，定位模块118可以接收第一图像中的特征的特征点。定位模块118可以接收第二图像中的相同特征的特征点。已知第一图像和第二图像之间经过的时间，定位模块118可以比较相应的特征点的变化以确定运动轨迹120。
此外，因为由车道标记检测器114和交通标志检测器116跟踪的特征点(例如交通标志上的顶点或车道标记的角)与单个几何形状相关，所以可以使用特征点来估计相机姿态122。用传统的角检测器不能确定相机姿态122。
在一个实施方案中，相机姿态122可以是相机106的六自由度(6DoF)姿态。相机106的6DoF姿态可以被定义为相机106的平移(例如位置向前/向后、上/下和左/向右改变)以及还有方位角(例如俯仰、偏航和滚转)。相机姿态122可用于定义车辆自身的姿态。
可以相对于局部地面来确定相机姿态122。例如，定位模块118可以应用变换以将特征点从图像平面转换到地平面坐标系。然后定位模块118可以基于跟踪特征点从一个图像到另一个图像的变化来确定6DoF姿态。
应注意，可以不使用地图来确定运动轨迹120和相机姿态122。这是有益的，因为电子装置102可以在不依赖于地图的情况下执行车辆定位，地图可能是不准确的、不完整的或不可用的。相反，电子装置102可以使用来自检测到的车道标记或交通标志的特征点执行车辆定位。
在一个实施方案中，电子装置102可以将检测到的车道标记或交通标志的测量与惯性传感器测量进行组合。例如，定位模块118可以将车道标记特征和交通标志的测量与来自惯性传感器108的测量耦合，以联合确定运动轨迹120。在这种情况下，当观察到车辆加速度时，定位模块118可以使用惯性测量。当惯性测量无法观测时，定位模块118可以使用车道标记特征和交通标志的测量。
在另一个方面中，电子装置102可以使用所确定的相机106的相对位置和方位来验证和校正GPS信息。一旦获得了相对运动轨迹120和相机姿态122，这些测量就可以与GPS信息融合以找到电子装置102的绝对位置。例如，运动轨迹120和相机姿态122可以位于由GPS提供的纬度和经度中。这可以提供车辆在全局参考帧中的非常精确的位置。
在一个实施方案中，电子装置102可以将卫星导航接收器测量与检测到的车道标记或交通标志的测量进行组合。这可以如结合图3所描述的那样来实现。
存储器112可以存储指令和/或数据。处理器104可以访问(例如读取和/或写入)存储器112。存储器112可以存储用于由处理器104执行操作的图像和指令代码。存储器112可以是能够存储电子信息的任何电子组件。存储器112可以实施为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的闪存储器装置、处理器104所包含的板上存储器、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器等，包含其组合。
数据和指令可以存储在存储器112中。所述指令可由处理器104执行以实施本文所描述的方法中的一或多种。执行指令可以涉及使用存储在存储器112中的数据。当处理器104执行指令时，可以将指令的各个部分加载到处理器104上，并且可以将各种数据碎片加载到处理器104上。
应注意，电子装置的一或多个元件或组件可以被组合和/或划分。应注意，结合图1描述的一或多个元件或组件可以是可选的。
图2是示出了用于确定车辆位置的方法200的一种配置的流程图。方法200可以由本文中所描述的电子装置102来执行。
电子装置102可以获得202多个图像。例如，电子装置102可以配置有相机106。相机106可以捕获一或多个图像(例如数字图像、图像帧、视频等)。
电子装置102可以检测204多个图像中的对象。对象可以包含车道标记或交通标志。例如，电子装置102可以配置有车道标记检测器114、交通标志检测器116或两者兼具。车道标记检测器114可以使用基于计算机视觉(CV)或深度神经网络算法来检测图像中的车道标记或车道标记段。交通标志检测器116还可以使用基于CV或深度神经网络算法来检测图像中的一或多个交通标志。
电子装置102可以确定206对象上的多个特征点。特征点可以基于对象类型彼此具有已建立的关系。特征点之间的关系基于对象类型而已知。在车道标记的情况下，车道标记检测器114可以确定检测到的车道标记的三或多个端角。三或多个角点具有已建立的属于相同车道标记的关系，并且可以限定车道标记的范围。
在交通标志的情况下，交通标志检测器116可以确定检测到的交通标志的三或多个顶点。三或多个顶点具有属于相同交通标志已建立的关系，并且可以限定交通标志的边界。
电子装置102可以使用多个特征点确定208相对于地平面的运动轨迹120和相机姿态122。例如，电子装置102可以使用多个特征点来确定尺度信息。在一个实施方案中，电子装置102可以通过将从第一图像确定的多个特征点与从第二图像确定的相应的特征点进行比较来确定208运动轨迹120和相机姿态122。
图3是示出了其中可以实现用于确定车辆位置的***和方法的电子装置302的另一个实例的框图。结合图3描述的电子装置302可以根据结合图1描述的电子装置102来实现。
电子装置302可以配置有相机306、一或多个惯性传感器308、GPS接收器310、一或多个车辆传感器311和处理器304。相机306可以向处理器304提供图像328。惯性传感器308可以向处理器304提供惯性传感器测量330。例如，惯性传感器测量330可以包含来自一或多个加速度计或一或多个陀螺仪的测量。
GPS接收器310可以向处理器304提供GPS测量332。GPS测量332可以包含GPS坐标。应注意，虽然描述了GPS接收器310，但是也可以使用其它卫星导航测量。例如，GPS接收器310可以实现为GNSS接收器。
一或多个车辆传感器311可以向处理器304提供车辆传感器测量338。车辆传感器311的实例包含轮速编码器、驱动轴角度传感器和/或速度计。车辆传感器测量338的实例包含车辆速度、车轮速度或驱动轴角度。
处理器304可以包含或可以实现车道标记检测器314。车道标记检测器314可以从相机306接收图像328。车道标记检测器314可以确定车道标记测量334。例如，车道标记检测器314可以检测图像328中的一或多个车道标记。车道标记检测器314还可以确定检测到的车道标记上的三或多个特征点。
处理器304还可以包含或可以实现交通标志检测器316。交通标志检测器316可以从相机306接收图像328。交通标志检测器316可以确定交通标志测量336。例如，交通标志检测器316可以检测图像328中的一或多个交通标志。交通标志检测器316还可以确定检测到的交通标志上的三或多个特征点。
处理器304还可以包含或可以实现视觉惯性里程计(VIO)模块318。VIO模块318可以被配置成接收惯性传感器测量330、车道标记测量334和交通标志测量336。VIO模块318可以基于惯性传感器测量330、车道标记测量334、交通标志测量336或其组合来确定电子装置302的运动轨迹320和相机姿态322。
在一个实施方案中，VIO模块318可以将车道标记测量334或交通标志测量336与惯性传感器测量330进行组合。例如，VIO模块318可以将车道标记特征和交通标志的测量334、336与惯性传感器测量330耦合，以联合确定运动轨迹320和相机姿态322。在这种情况下，当观察到车辆加速度时，VIO模块318可以使用惯性传感器测量330。当惯性传感器测量330可以忽略时(例如当加速度不可观察时)，VIO模块318可以使用车道标记测量334和交通标志测量336。
在另一种配置中，VIO模块318可以使用车道标记测量334或交通标志测量336来补充惯性传感器测量330。例如，VIO模块318可以使用车道标记测量334或交通标志测量336来对根据惯性传感器测量330确定的运动轨迹320以及相机姿态322执行冗余检查。
在另一个实施方案中，处理器304还可以包含或可以实现融合引擎324。融合引擎324可以将GPS测量332与由VIO模块318确定的运动轨迹320和相机姿态322进行组合。融合引擎324可以基于组合的测量来确定全局姿态和位置326。全局姿态和位置326可以包含全局帧中的运动轨迹320和相机姿态322。
已知当车辆在城市峡谷中行驶时，GPS伪距信息受到多路径的影响。GPS接收器310接收的信息可以散布在四周。例如，当车辆在城市中行驶时，由于高大的建筑物，GPS信息可能会四处跳跃。使用来自车道标记检测器314和交通标志检测器316的信息的另一个优点是GPS以及VIO融合输出的异常值检测和拒绝。
融合引擎324可以被配置成接收车道标记测量334和交通标志测量336。融合引擎324可以使用车道标记测量334和交通标志测量336来验证全局姿态和位置326。例如，如果GPS/VIO融合估计车辆的位置在车道之外，则知道车道标记的横向偏移的历史(例如由车道标记检测器314确定的)可以对此进行校正。
融合引擎324可以拒绝GPS异常值并且基于车辆模型保持更新车辆位置。例如，通过使用车道标记测量334和交通标志测量336来确定运动轨迹320和相机姿态322，电子装置302可以知道车辆已经在特定车道中行驶了一段时间。如果GPS/VIO融合估计车辆的位置在车道之外，而车道标记检测器314指示车辆从未越过车道，则电子装置302可以更多地依赖车道标记检测器314，并且可以拒绝来自GPS/VIO融合的结果。以此方式，本文中所描述的***和方法可以提供对GPS算法的结果的冗余检查。
在又一个实施方案中，融合引擎324可以接收车辆传感器测量338。在一种方法中，融合引擎324可以将车辆传感器测量338(例如速度计测量)与检测到的对象(例如车道标记或交通标志)的测量334、336进行组合。融合引擎324可以基于组合的测量来确定全局姿态和位置326。在另一种方法中，融合引擎324可以将来自一或多个车辆传感器311的车辆传感器测量338与GPS测量332以及检测到的对象(例如车道标记或交通标志)的测量334、336进行组合。融合引擎324可以基于组合的测量来确定全局姿态和位置326。
在一个实施方案中，处理器304可以包含在车辆(例如汽车、卡车、公共汽车、船、机器人等)中。因此，车辆可以被配置成确定其自身的全局姿态和位置326。
在另一种实施方案中，处理器304可以被包含在与车辆分离的服务器中。例如，服务器可以从远程源(例如车辆)接收图像328、惯性传感器测量330、GPS测量332和/或车辆传感器测量338。服务器可以使用所述信息来确定运动轨迹320、相机姿态322和/或车辆的全局姿态和位置326。
在又一个实施方案中，车辆或服务器可以被配置成将运动轨迹320、相机姿态322和/或全局姿态和位置326传输到地图服务。例如，地图服务可以是基于云的服务。地图服务可以检测并定位关键地标以生成精确的定位地图。地图服务可以在全局帧中生成车辆的位置估计。例如，车辆可以将运动轨迹320、相机姿态322、惯性传感器测量330、GPS测量332和/或车辆传感器测量338传输到地图服务。然后，地图服务可以在定位地图中确定车辆的全局姿态和位置326。
图4示出了使用车道标记检测的车辆定位的实例。第一实例(a)展示了相对于车道标记444a的车辆运动的鸟瞰图440。在所述实例中，车辆从第一时间(t1)的第一位置移动到第二时间(t2)的第二位置。车道标记444a包含四个角446a。所述实例描绘了当车辆从时间t1的第一位置移动到时间t2的第二位置时四个角446a的几何形状变化。
在第二实例(b)中展示了车道标记444b的相应的正视图442。所述实例描绘了当车辆从时间t1的第一位置移动到时间t2的第二位置时角446b的几何形状变化。
如在这些实例中所观察的，电子装置102可以使用车道标记检测器114来检测图像328中的车道标记444。车道标记检测器114可以检测车道标记444上的三或多个角446。通过跟踪角446并比较车辆方位相对于角446从时间t1到时间t2的变化，电子装置102可以确定车辆的运动轨迹120和相机姿态122。
图5是示出了用于基于车道标记检测来确定车辆位置的方法500的一种配置的流程图。方法500可以由本文中所描述的电子装置102来执行。
电子装置102可以获得502多个图像328。例如，电子装置102可以配置有相机106。相机106可以捕获一或多个图像328(例如数字图像、图像帧、视频等)。
电子装置102可以检测504车道标记444。例如，电子装置102可以配置有车道标记检测器114。车道标记检测器114可以使用基于计算机视觉(CV)或深度神经网络算法来检测图像328中的车道标记444或车道标记段。
电子装置102可以确定506检测到的车道标记444的三或多个端角446。例如，车道标记检测器114可以被配置成识别车道标记444的角446。车道标记检测器114可以为车道标记角446提供像素坐标。应注意，可以识别来自相同车道标记444的至少三个分离的角446，以使得电子装置102能够确定相机106的姿态。
电子装置102可以使用检测到的车道标记444的三或多个端角446来确定508相对于地平面的运动轨迹120和相机姿态122。例如，电子装置102可以使用三或多个端角446来确定尺度信息。在一个实施方案中，电子装置102可以通过将从第一图像328确定的三或多个端角446与从第二图像328确定的相应的三或多个端角446进行比较来确定508运动轨迹120和相机姿态122。
图6是示出了用于基于交通标志检测来确定车辆位置的方法600的配置的流程图。方法600可以由本文中所描述的电子装置102来执行。
电子装置102可以获得602多个图像328。例如，电子装置102可以配置有相机106。相机106可以捕获一或多个图像328(例如数字图像、图像帧、视频等)。
电子装置102可以检测604交通标志。例如，电子装置102可以配置有交通标志检测器116。交通标志检测器116可以使用基于计算机视觉(CV)或深度神经网络算法来检测图像328中的交通标志。
电子装置102可以确定606检测到的交通标志的三或多个顶点。例如，交通标志检测器116可以被配置成识别交通标志的顶点。交通标志检测器116可以为交通标志顶点提供像素坐标。应注意，可以识别来自相同交通标志的至少三个分离的顶点，以使得电子装置102能够确定相机106的姿态。
电子装置102可以使用检测到的交通标志的三或多个顶点来确定608相对于地平面的运动轨迹120和相机姿态122。例如，电子装置102可以使用三或多个交通标志顶点来确定尺度信息。在一个实施方案中，电子装置102可以通过将从第一图像328确定的三或多个交通标志顶点与从第二图像328确定的相应的交通标志顶点进行比较来确定608运动轨迹120和相机姿态122。
图7是示出了用于确定车辆位置的方法700的另一种配置的流程图。方法700可以由本文中所描述的电子装置302来执行。
电子装置302可以检测702车道标记444或交通标志。例如，电子装置302可以配置有车道标记检测器314、交通标志检测器316或两者兼具。车道标记检测器314可以使用基于计算机视觉(CV)或深度神经网络算法来检测图像328中的车道标记444或车道标记段。车道标记检测器314可以生成车道标记测量334。
交通标志检测器316还可以使用基于CV或深度神经网络算法来检测图像328中的一或多个交通标志。交通标志检测器316可以生成交通标志测量336。
电子装置302可以接收704惯性传感器测量330。例如，电子装置302可以配置有一或多个惯性传感器308。惯性传感器308可以包含一或多个加速度计和/或一或多个陀螺仪，惯性传感器308利用所述一或多个陀螺仪生成惯性传感器测量330。
电子装置302可以将车道标记测量334或交通标志测量336与惯性传感器测量330进行组合706。例如，电子装置302可以向VIO模块318提供车道标记测量334、交通标志测量336和惯性传感器测量330。
电子装置302可以基于组合的测量来确定708运动轨迹320。例如，VIO模块318可以在观察到车辆加速度时使用惯性传感器测量330来确定图像328的尺度信息。当惯性传感器测量330可以忽略时(例如当加速度不可观察时)，VIO模块318可以使用车道标记测量334和交通标志测量336来确定图像328的尺度信息。
图8是示出了用于确定车辆位置的方法800的又一种配置的流程图。方法800可以由本文中所描述的电子装置302来执行。
电子装置302可以检测802车道标记444或交通标志。例如，电子装置302可以配置有车道标记检测器314、交通标志检测器316或两者兼具。车道标记检测器314可以生成车道标记测量334。交通标志检测器316可以生成交通标志测量336。
电子装置302可以接收804GPS测量332。例如，GPS接收器310可以接收GPS信号。GPS接收器310可以基于GPS信号确定电子装置302的纬度和经度。
电子装置302可以从一或多个车辆传感器311接收806车辆传感器测量338。车辆传感器测量338包含车轮速度或驱动轴角度。
电子装置302可以将车道标记测量334、交通标志测量336、GPS测量332和车辆传感器测量338进行组合808。例如，融合引擎324可以接收车道标记测量334、交通标志测量336、GPS测量332和车辆传感器测量338。
电子装置302可以基于组合的测量来确定810全局姿态和位置326。例如，电子装置302可以基于车道标记测量334和交通标志测量336来确定局部运动轨迹320和相机姿态322。融合引擎324可以使用GPS测量332和车辆传感器测量338在全局帧中定位运动轨迹320和相机姿态322。
图9示出了可以包含在被配置成实施本文所公开的***和方法的各种配置的电子装置902内的某些组件。电子装置902的实例可包含相机、视频摄像机、数码相机、蜂窝电话、智能电话、计算机(例如台式计算机、膝上型计算机等)、平板装置、媒体播放器、电视、车辆、汽车、个人相机、可佩戴相机、虚拟现实装置(例如耳机)、增强现实装置(例如耳机)、混合现实装置(例如耳机)、动作相机、监视相机、安装的相机、连接的相机、机器人、飞行器、无人飞机、无人驾驶飞行器(UAV)、智能应用、保健设备、游戏控制台、个人数字助理(PDA)、机顶盒等。电子装置902可以根据本文中所描述的一或多个电子装置102来实现。
电子装置902包含处理器904。处理器904可以是通用单芯片或多芯片微处理器(例如ARM)、专用微处理器(例如数字信号处理器(DSP))、微控制器、可编程门阵列等。处理器904可以被称为中央处理单元(CPU)。尽管在电子装置902中仅展示了单个处理器904，但是在可替代的配置中，可以实现处理器的组合(例如ARM和DSP)。
电子装置902还包含存储器912。存储器912可以是能够存储电子信息的任何电子组件。存储器912可以实施为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的闪存储器装置、处理器所包含的板上存储器、EPROM存储器、EEPROM存储器、寄存器等，包含其组合。
数据909a和指令907a可以存储在存储器912中。指令907a可以由处理器904执行以实施本文中所描述的方法、程序、步骤及/或功能中的一或多种。执行指令907a可以涉及使用存储在存储器912中的数据909a。当处理器904执行指令907时，可以将指令907b的各个部分加载到处理器904上和/或可以将各种数据碎片909b加载到处理器904上。
电子装置902还可以包含发射器911和/或接收器913，以允许向电子装置902发送信号和从电子装置902接收信号。发射器911和接收器913可以统称为收发器915。一或多个天线917a-b可以电耦合到收发器915。电子装置902还可以包含(未展示)多个发射器、多个接收器、多个收发器和/或附加天线。
电子装置902可以包含数字信号处理器(DSP)921。电子装置902还可以包含通信接口923。通信接口923可以允许和/或允许一或多种输入和/或输出。例如，通信接口923可以包含用于将其它装置链接到电子装置902的一或多个端口和/或通信装置。在一些配置中，通信接口923可以包含发射器911、接收器913或两者兼具(例如收发器915)。另外地或替代地，通信接口923可以包含一或多个其它接口(例如触摸屏、小键盘、键盘、麦克风、相机等)。例如，通信接口923可以使用户能够与电子装置902交互。
电子装置902的各个组件可以通过一或多个总线耦合在一起，所述一或多个总线可以包含电源总线、控制信号总线、状态信号总线、数据总线等。为了清楚起见，各种总线在图9中被示为总线***919。
术语“确定”涵盖各种各样的动作，且因此“确定”可以包含计算(calculating/computing)、处理、推导、调查、查找(例如在表、数据库或另一种数据结构中查找)、查明等。此外，“确定”可以包含接收(例如接收信息)、访问(例如访问存储器中的数据)等。此外，“确定”可以包含解析、选定、选择、建立等。
除非另有明确规定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”和“至少基于”两者。
术语“处理器”应广义地解释为涵盖通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。在一些情况下，“处理器”可以指专用集成电路(ASIC)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等。术语“处理器”可指处理装置的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心组合的一或多个微处理器或任何其它此配置。
术语“存储器”应广义地解释为涵盖能够存储电子信息的任何电子组件。术语存储器可以指各种类型的处理器可读介质、例如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、闪存、磁或光数据存储器、寄存器等。如果处理器可以从存储器读取信息和/或向存储器写入信息，则认为存储器与处理器进行电子通信。集成到处理器的存储器与处理器进行电子通信。
术语“指令”和“代码”应广义地被解释为包含任何类型的计算机可读语句。例如，术语“指令”和“代码”可以指一或多个程序、例程、子例程、函数、过程等。“指令”和“代码”可以包括单个计算机可读语句或许多计算机可读语句。
本文中所描述的功能可以在由硬件执行的软件或固件中实施。所述功能可以作为一或多条指令存储在计算机可读介质上。术语“计算机可读介质”或“计算机程序产品”是指可以由计算机或处理器访问的任何有形存储介质。作为实例而非限制，计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储装置或可以用于以指令或数据结构的形式携带或存储的所需程序代码并可以由计算机访问的任何其它介质。本文中所使用的盘和碟包含压缩碟(CD)、激光碟、光碟、数字通用光碟(DVD)、软盘和蓝光光碟，其中盘通常磁性地再现数据，而碟用激光光学地再现数据。应注意，计算机可读介质可以是有形的而非暂时性的。术语“计算机程序产品”是指与可以由计算装置或处理器执行、处理或计算的代码或指令(例如“程序”)组合的计算装置或处理器。如本文中所使用，术语“代码”可以指由计算装置或处理器执行的软件、指令、代码或数据。
软件或指令也可以在传输介质上传输。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线路(DSL)或例如红外线、无线电和微波的无线技术从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电和微波的无线技术包含在传输介质的定义中。
本文中所公开的方法包括用于实现所述方法的一或多个步骤或动作。在不脱离权利要求书的范围的情况下，方法步骤和/或动作可以彼此互换。换句话说，除非所描述的方法的正确操作需要特定顺序的步骤或动作，否则可以在不脱离权利要求书的范围的情况下修改特定步骤和/或动作的顺序和/或使用。
此外，应了解，用于执行本文中所描述的方法和技术的模块和/或其它适当装置可以由装置下载和/或以其它方式获得。例如，装置可以耦合到服务器以促进用于执行本文中所描述的方法的装置的传送。替代地，本文中所描述的各种方法可以经由存储装置(例如随机存取存储器(RAM)、只读存储器(ROM)、例如压缩碟(CD)或软盘的物理存储介质等)来提供，使得装置可以在将存储装置耦合或提供给装置时获得各种方法。
应理解，权利要求书不限于以上所示出的精确配置和组件。在不脱离权利要求书的范围的情况下，可以对本文中所描述的***、方法和设备的布置、操作和细节进行各种修改、改变和变化。

Claims (30)

1.一种方法，其包括：
获得多个图像；
检测所述多个图像中的对象；
确定所述对象上的多个特征点，其中所述特征点基于对象类型彼此具有已建立的关系；以及
使用所述多个特征点来确定相对于地平面的运动轨迹和相机姿态。
2.根据权利要求1所述的方法，其中所述对象包含车道标记或交通标志。
3.根据权利要求1所述的方法，其中确定所述多个特征点包括确定检测到的车道标记的三或多个端角。
4.根据权利要求1所述的方法，其中确定所述多个特征点包括确定检测到的交通标志的三或多个顶点。
5.根据权利要求1所述的方法，其中确定所述运动轨迹包括使用所述多个特征点来确定尺度信息。
6.根据权利要求1所述的方法，其中确定所述运动轨迹和所述相机姿态包括将从第一图像确定的多个特征点与从第二图像确定的相应的特征点进行比较。
7.根据权利要求1所述的方法，其进一步包括：
将所述检测到的对象的测量与惯性传感器测量进行组合；以及
基于所述组合的测量来确定所述运动轨迹。
8.根据权利要求1所述的方法，其进一步包括：
将卫星导航接收器测量与所述检测到的对象的测量进行组合；以及
基于所述组合的测量确定全局帧中的姿态和位置。
9.根据权利要求8所述的方法，其进一步包括：
将来自一或多个车辆传感器的车辆传感器测量与所述卫星导航接收器测量和所述检测到的对象的测量进行组合；以及
基于所述组合的测量来确定所述全局帧中的所述姿态和位置。
10.根据权利要求1所述的方法，其进一步包括：
将所述检测到的对象的测量与速度计测量进行组合；以及
基于所述组合的测量来确定所述运动轨迹。
11.根据权利要求1所述的方法，其中所述方法在车辆中执行。
12.根据权利要求11所述的方法，其进一步包括将所述相机姿态传输给地图服务。
13.根据权利要求1所述的方法，其中所述方法由服务器执行。
14.一种电子装置，其包括：
存储器；以及
与所述存储器通信的处理器，所述处理器被配置成：
获得多个图像；
检测所述多个图像中的对象；
确定所述对象上的多个特征点，其中所述特征点基于对象类型彼此具有已建立的关系；以及
使用所述多个特征点来确定相对于地平面的运动轨迹和相机姿态。
15.根据权利要求14所述的电子装置，其中所述对象包含车道标记或交通标志。
16.根据权利要求14所述的电子装置，其中被配置成确定所述多个特征点的所述处理器包括被配置成确定检测到的车道标记的三或多个端角的所述处理器。
17.根据权利要求14所述的电子装置，其中被配置成确定所述多个特征点的所述处理器包括被配置成确定检测到的交通标志的三或多个顶点的所述处理器。
18.根据权利要求14所述的电子装置，其中被配置成确定所述多个特征点的所述处理器包括被配置成使用所述多个特征点来确定尺度信息的所述处理器。
19.根据权利要求14所述的电子装置，其中被配置成确定所述运动轨迹和所述相机姿态的所述处理器包括被配置成将从第一图像确定的多个特征点与从第二图像确定的相应的特征点进行比较的所述处理器。
20.一种存储计算机可执行代码的非暂时性计算机可读介质，其包括：
用于使电子装置获得多个图像的代码；
用于使所述电子装置检测所述多个图像中的对象的代码；
用于使所述电子装置确定所述对象上的多个特征点的代码，其中所述特征点基于对象类型彼此具有已建立的关系；以及
用于使所述电子装置使用所述多个特征点来确定相对于地平面的运动轨迹和相机姿态的代码。
21.根据权利要求20所述的计算机可读介质，其中所述对象包含车道标记或交通标志。
22.根据权利要求20所述的计算机可读介质，其中用于使所述电子装置确定所述多个特征点的所述代码包括用于使所述电子装置确定检测到的车道标记的三或多个端角的代码。
23.根据权利要求20所述的计算机可读介质，其中用于使所述电子装置确定所述多个特征点的所述代码包括用于使所述电子装置确定检测到的交通标志的三或多个顶点的代码。
24.根据权利要求20所述的计算机可读介质，其中用于使所述电子装置确定所述运动轨迹的所述代码包括用于使所述电子装置使用所述多个特征点来确定尺度信息的代码。
25.根据权利要求20所述的计算机可读介质，其中用于使所述电子装置确定所述运动轨迹和所述相机姿态的代码包括用于使所述电子装置将从第一图像确定的多个特征点与从第二图像确定的相应的特征点进行比较的代码。
26.一种设备，其包括：
用于获得多个图像的装置；
用于检测所述多个图像中的对象的装置；
用于确定所述对象上的多个特征点的装置，其中所述特征点基于对象类型彼此具有已建立的关系；以及
用于使用所述多个特征点来确定相对于地平面的运动轨迹和相机姿态的装置。
27.根据权利要求26所述的设备，其中所述对象包含车道标记或交通标志。
28.根据权利要求26所述的设备，其中用于确定所述多个特征点的所述装置包括用于确定检测到的车道标记的三或多个端角的装置。
29.根据权利要求26所述的设备，其中用于确定所述多个特征点的所述装置包括用于确定检测到的交通标志的三或多个顶点的装置。
30.根据权利要求26所述的设备，其中用于确定所述多个特征点的所述装置包括用于使用所述多个特征点确定尺度信息的装置。
CN201880046060.3A 2017-07-28 2018-06-28 用于确定车辆位置的***和方法 Active CN110869700B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/663,053 US10788830B2 (en) 2017-07-28 2017-07-28 Systems and methods for determining a vehicle position
US15/663,053 2017-07-28
PCT/US2018/039968 WO2019022912A1 (en) 2017-07-28 2018-06-28 SYSTEMS AND METHODS FOR DETERMINING A VEHICLE POSITION

Publications (2)

Publication Number Publication Date
CN110869700A true CN110869700A (zh) 2020-03-06
CN110869700B CN110869700B (zh) 2021-11-30

Family

ID=63080491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880046060.3A Active CN110869700B (zh) 2017-07-28 2018-06-28 用于确定车辆位置的***和方法

Country Status (3)

Country Link
US (1) US10788830B2 (zh)
CN (1) CN110869700B (zh)
WO (1) WO2019022912A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113911122A (zh) * 2021-11-09 2022-01-11 河南交投通汇高速公路有限责任公司 道路预警方法、装置、设备和车辆

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10859713B2 (en) * 2017-01-04 2020-12-08 Qualcomm Incorporated Position-window extension for GNSS and visual-inertial-odometry (VIO) fusion
US10831188B2 (en) 2017-11-07 2020-11-10 Zoox, Inc. Redundant pose generation system
US10621453B2 (en) * 2017-11-30 2020-04-14 Wipro Limited Method and system for determining relationship among text segments in signboards for navigating autonomous vehicles
EP3534235B1 (en) * 2018-02-28 2021-04-14 Honda Research Institute Europe GmbH Unsupervised learning of metric representations from slow features
EP3624001B1 (en) * 2018-09-13 2024-05-01 Volvo Car Corporation Methods and systems for parking line marker detection and pairing and parking spot detection and classification
DE102019102769A1 (de) * 2019-02-05 2020-08-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug
CN109949576A (zh) * 2019-04-24 2019-06-28 英华达（南京）科技有限公司 交通监控方法及***
US10832417B1 (en) * 2019-06-04 2020-11-10 International Business Machines Corporation Fusion of visual-inertial-odometry and object tracker for physically anchored augmented reality
JP7287667B2 (ja) * 2019-07-16 2023-06-06 ｉ－ＰＲＯ株式会社 監視カメラおよび情報処理装置
WO2021046578A1 (en) 2019-09-05 2021-03-11 NetraDyne, Inc. Vehicular sensor system calibration
JP7151905B2 (ja) * 2019-09-05 2022-10-12 株式会社デンソー 車両用位置特定装置及び車両用位置特定方法
KR20210029518A (ko) * 2019-09-06 2021-03-16 삼성전자주식회사 멀티 센서 기반의 무인 비행체 및 그 제어 방법
US11125575B2 (en) 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
CN111272148B (zh) * 2020-01-20 2021-08-31 江苏方天电力技术有限公司 输电线路无人机自主巡检自适应成像质量优化方法
SE2050258A1 (en) 2020-03-06 2021-09-07 Scania Cv Ab Machine learning based system, methods, and control arrangement for positioning of an agent
CN111798483B (zh) * 2020-06-28 2023-04-25 浙江大华技术股份有限公司 一种抗遮挡行人跟踪的方法、装置及存储介质
CN112149624B (zh) * 2020-10-16 2022-06-10 腾讯科技（深圳）有限公司 一种交通标识图像处理方法和装置
CN112489057B (zh) * 2020-12-05 2022-07-01 武汉中海庭数据技术有限公司 交通标志数据处理方法、电子装置和存储介质
US11605151B2 (en) * 2021-03-02 2023-03-14 Fyusion, Inc. Vehicle undercarriage imaging
KR20220149203A (ko) * 2021-04-30 2022-11-08 현대자동차주식회사 모빌리티 장치 및 그 제어방법
US20230252667A1 (en) * 2022-02-08 2023-08-10 Ford Global Technologies, Llc Vehicle localization

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1492999A1 (en) * 2002-04-10 2005-01-05 TRW Limited Improvements relating to cameras
CN101563581A (zh) * 2006-11-03 2009-10-21 电子地图有限公司 用于图像中的平面对象的识别和位置确定的方法和设备
US20120121161A1 (en) * 2010-09-24 2012-05-17 Evolution Robotics, Inc. Systems and methods for vslam optimization
GB2498177A (en) * 2011-12-21 2013-07-10 Max Christian Apparatus for determining a floor plan of a building
US20140300775A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US20150222799A1 (en) * 2014-02-04 2015-08-06 Nokia Corporation Using Inertial Sensors To Provide Smoothed Exposure And White Balance Adjustments For Video And Photographic Applications
US20160068114A1 (en) * 2014-09-03 2016-03-10 Sharp Laboratories Of America, Inc. Methods and Systems for Mobile-Agent Navigation
US9395192B1 (en) * 2013-12-20 2016-07-19 Google Inc. Methods and systems for road and lane boundary tracing
CN105928505A (zh) * 2016-04-19 2016-09-07 深圳市神州云海智能科技有限公司 移动机器人的位姿确定方法和设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5233417A (en) * 1990-06-01 1993-08-03 Nissan Motor Co., Ltd. Image movement detecting apparatus
US6704621B1 (en) 1999-11-26 2004-03-09 Gideon P. Stein System and method for estimating ego-motion of a moving vehicle using successive images recorded along the vehicle's path of motion
US7145478B2 (en) * 2002-12-17 2006-12-05 Evolution Robotics, Inc. Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system
WO2006114955A1 (ja) * 2005-04-25 2006-11-02 Geo Technical Laboratory Co., Ltd. 撮影位置解析方法
JP4915739B2 (ja) * 2007-05-31 2012-04-11 アイシン・エィ・ダブリュ株式会社 運転支援装置
US8102427B2 (en) * 2008-02-14 2012-01-24 Sri International Camera egomotion estimation from an infra-red image sequence for night vision
KR101194603B1 (ko) * 2009-03-12 2012-10-25 한국전자통신연구원 무인 운송 장치 및 그 방법
WO2011047730A1 (en) 2009-10-22 2011-04-28 Tele Atlas B.V. System and method for vehicle navigation using lateral offsets
KR101035538B1 (ko) 2009-10-29 2011-05-23 한국 천문 연구원 실시간 차선위치정보 획득장치 및 방법
JP5746477B2 (ja) * 2010-02-26 2015-07-08 キヤノン株式会社 モデル生成装置、３次元計測装置、それらの制御方法及びプログラム
US20130242120A1 (en) * 2012-03-15 2013-09-19 Qualcomm Incorporated Motion-state classification for camera applications
US8773542B2 (en) * 2012-05-17 2014-07-08 Samsung Electronics Co., Ltd. Apparatus and method for adaptive camera control method based on predicted trajectory
US9063548B1 (en) * 2012-12-19 2015-06-23 Google Inc. Use of previous detections for lane marker detection
US9201424B1 (en) * 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
KR101569919B1 (ko) 2013-10-30 2015-11-17 인하대학교 산학협력단 차량의 위치 추정 장치 및 방법
JP6278791B2 (ja) 2014-03-31 2018-02-14 株式会社デンソーアイティーラボラトリ 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
JP6844235B2 (ja) * 2016-12-08 2021-03-17 富士通株式会社 距離測定装置および距離測定方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1492999A1 (en) * 2002-04-10 2005-01-05 TRW Limited Improvements relating to cameras
CN101563581A (zh) * 2006-11-03 2009-10-21 电子地图有限公司 用于图像中的平面对象的识别和位置确定的方法和设备
US20120121161A1 (en) * 2010-09-24 2012-05-17 Evolution Robotics, Inc. Systems and methods for vslam optimization
GB2498177A (en) * 2011-12-21 2013-07-10 Max Christian Apparatus for determining a floor plan of a building
US20140300775A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US9395192B1 (en) * 2013-12-20 2016-07-19 Google Inc. Methods and systems for road and lane boundary tracing
US20150222799A1 (en) * 2014-02-04 2015-08-06 Nokia Corporation Using Inertial Sensors To Provide Smoothed Exposure And White Balance Adjustments For Video And Photographic Applications
US20160068114A1 (en) * 2014-09-03 2016-03-10 Sharp Laboratories Of America, Inc. Methods and Systems for Mobile-Agent Navigation
CN105928505A (zh) * 2016-04-19 2016-09-07 深圳市神州云海智能科技有限公司 移动机器人的位姿确定方法和设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113911122A (zh) * 2021-11-09 2022-01-11 河南交投通汇高速公路有限责任公司 道路预警方法、装置、设备和车辆
CN113911122B (zh) * 2021-11-09 2023-12-22 河南交投通汇高速公路有限责任公司 道路预警方法、装置、设备和车辆

Also Published As

Publication number Publication date
WO2019022912A1 (en) 2019-01-31
CN110869700B (zh) 2021-11-30
US10788830B2 (en) 2020-09-29
US20190033867A1 (en) 2019-01-31

Similar Documents

Publication Publication Date Title
CN110869700B (zh) 用于确定车辆位置的***和方法
EP3378033B1 (en) Systems and methods for correcting erroneous depth information
US10630962B2 (en) Systems and methods for object location
JP7082545B2 (ja) 情報処理方法、情報処理装置およびプログラム
US11125566B2 (en) Method and apparatus for determining a vehicle ego-position
Rose et al. An integrated vehicle navigation system utilizing lane-detection and lateral position estimation systems in difficult environments for GPS
CN109997150B (zh) 用于对道路特征进行分类的***和方法
CN110411457B (zh) 基于行程感知与视觉融合的定位方法、***、终端和存储介质
CN111263960B (zh) 用于更新高清晰度地图的设备和方法
KR101880185B1 (ko) 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법
KR102006291B1 (ko) 전자 장치의 이동체 포즈 추정 방법
JP2016157197A (ja) 自己位置推定装置、自己位置推定方法およびプログラム
CN111353453B (zh) 用于车辆的障碍物检测方法和装置
CN110458885B (zh) 基于行程感知与视觉融合的定位***和移动终端
JP2020003463A (ja) 自車位置推定装置
WO2018002932A1 (en) Lane level accuracy using vision of roadway lights and particle filter
TW202018256A (zh) 多定位系統切換與融合校正方法及其裝置
CN112528719A (zh) 推定装置、推定方法以及存储介质
US11514588B1 (en) Object localization for mapping applications using geometric computer vision techniques
JP7179687B2 (ja) 障害物検知装置
US20230020069A1 (en) A camera system for a mobile device, a method for localizing a camera and a method for localizing multiple cameras
Somlyai et al. Map building with rgb-d camera for mobil robot
EP4166989A1 (en) Methods and systems for determining a position and an acceleration of a vehicle
US20240200953A1 (en) Vision based cooperative vehicle localization system and method for gps-denied environments
JP2017218115A (ja) 車両回転角推定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant