CN108571974B - 使用摄像机的车辆定位 - Google Patents

使用摄像机的车辆定位 Download PDF

Info

Publication number
CN108571974B
CN108571974B CN201810189933.8A CN201810189933A CN108571974B CN 108571974 B CN108571974 B CN 108571974B CN 201810189933 A CN201810189933 A CN 201810189933A CN 108571974 B CN108571974 B CN 108571974B
Authority
CN
China
Prior art keywords
map
image
top view
vehicle
ground plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810189933.8A
Other languages
English (en)
Other versions
CN108571974A (zh
Inventor
莎拉·霍茨
亚历山德鲁·米哈伊·古尔吉安
维迪亚·那利亚姆布特·穆拉里
托里·史密斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN108571974A publication Critical patent/CN108571974A/zh
Application granted granted Critical
Publication of CN108571974B publication Critical patent/CN108571974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/90—Lidar systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

根据一个实施例，一种用于确定车辆位置的***包括图像传感器、俯视视图部件、比较部件和位置部件。图像传感器获得车辆附近的环境的图像。俯视视图部件被配置成基于环境的图像生成地面的俯视视图。比较部件被配置为将俯视视图与地图进行比较，该地图包括俯视的LIDAR强度地图或基于向量的语义地图。位置部件被配置为基于比较来确定车辆在地图上的位置。

Description

使用摄像机的车辆定位
技术领域
本公开总体涉及用于基于摄像机图像来确定车辆或图像传感器的位置的方法、***和装置，并且更具体地涉及用于基于由传感器采集的图像和地图来确定车辆位置的方法、***和装置。
背景技术
机动车为商业、政府和私人实体提供相当大一部分交通运输。目前正在开发和部署自主车辆和驾驶辅助***以提供安全性，减少所需的用户输入量，甚至完全消除用户参与。例如，一些驾驶辅助***(例如碰撞避免***)可以在人类驾驶时监视车辆和其他对象的驾驶、位置和速度。当***检测到即将发生碰撞或撞击时，碰撞避免***可能会介入并施加制动、转向车辆或执行其他避免或安全操作。作为另一个示例，自主车辆可以在很少或没有用户输入的情况下驾驶和操纵车辆。准确和快速的车辆定位通常是使自动驾驶***或驾驶辅助***能够安全行驶于道路或驾驶路线所必需的。
发明内容
根据本发明，提供一种用于定位的方法，所述方法包括：
使用图像传感器获得环境的图像；
基于所述环境的所述图像生成地面的俯视视图；
将所述俯视视图与地图进行比较，所述地图包括俯视的光检测和测距(LIDAR)强度地图或基于向量的语义地图；以及
基于所述比较确定所述图像传感器在所述地图上的位置。
根据本发明的一个实施例，还包括：
从所述图像中分割所述驾驶平面或地平面；以及
将所述图像投影为俯视图像以生成所述俯视视图。
根据本发明的一个实施例，其中获得所述图像包括使用所述图像传感器采集所述图像，其中所述图像传感器安装在车辆上。
根据本发明的一个实施例，其中所述地图包括所述基于矢量的语义地图，所述方法还包括生成合成图像。
根据本发明的一个实施例，其中将所述俯视视图与所述地图进行比较包括将所述俯视视图与所述合成图像进行比较。
根据本发明的一个实施例，其中生成所述合成图像包括：生成包括用于道路表面的暗像素和用于道路标记的亮像素或明像素的合成图像。
根据本发明的一个实施例，其中将所述俯视视图与所述地图进行比较包括使用以下中的一个或多个进行比较：
互信息算法；或者
最佳拟合算法。
根据本发明的一个实施例，其中将所述俯视视图与所述地图进行比较包括：计算多个相对位置的分数并选择相对位置。
根据本发明，提供一种用于确定车辆的位置的***，所述***包括：
图像传感器，所述图像传感器用于获取车辆附近的环境的图像；
俯视视图部件，所述俯视视图部件被配置为基于所述环境的所述图像来生成地面的俯视视图；
比较部件，所述比较部件被配置为将所述俯视视图与地图进行比较，所述地图包括俯视的光检测和测距(LIDAR)强度地图或基于向量的语义地图；以及
位置部件，所述位置部件被配置为基于所述比较来确定所述车辆在所述地图上的位置。
根据本发明的一个实施例，其中所述俯视视图部件被配置为：
从所述图像中分割所述驾驶平面或地平面；以及
将所述图像投影为俯视图像以生成所述俯视视图。
根据本发明的一个实施例，其中图像传感器安装在车辆上。
根据本发明的一个实施例，其中所述地图包括所述基于矢量的语义地图，其中所述比较部件被配置为基于所述基于矢量的语义地图生成合成图像。
根据本发明的一个实施例，其中所述比较部件被配置为通过将所述俯视视图与所述合成图像进行比较来将所述俯视视图与所述地图进行比较。
根据本发明的一个实施例，并且其中比较部件被配置为通过生成包括用于道路表面的暗像素和用于道路标记的亮像素或明像素的合成图像来生成所述合成图像。
根据本发明的一个实施例，其中所述比较部件被配置为使用以下中的一个或多个将所述俯视视图与所述地图进行比较：
互信息算法；或者
最佳拟合算法。
根据本发明的一个实施例，其中所述比较部件被配置为计算多个相对位置的分数，并且所述位置部件被配置为从所述多个相对位置中选择相对位置作为所述地图上的所述位置。
根据本发明，提供一种存储指令的非临时性计算机可读存储介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行以下操作：
获得车辆附近的环境的图像；
基于所述环境的所述图像生成地面的俯视视图；
将所述俯视视图与地图进行比较，所述地图包括俯视的光检测和测距(LIDAR)强度地图或基于向量的语义地图；以及
基于所述比较确定所述车辆在所述地图上的位置。
根据本发明的一个实施例，其中所述一个或多个指令使所述一个或多个处理器执行以下操作：
从所述图像中分割所述驾驶平面或地平面；以及
将所述图像投影为俯视图像以生成所述俯视视图。
根据本发明的一个实施例，其中所述地图包括所述基于矢量的语义地图，其中所述一个或多个指令使所述一个或多个处理器执行以下操作：
基于所述基于矢量的语义地图生成包括用于道路表面的暗像素和用于道路标记的亮像素或明像素的合成图像；以及
通过将所述俯视视图与所述合成图像进行比较来比较所述俯视视图与所述地图。
根据本发明的一个实施例，其中所述一个或多个指令使所述一个或多个处理器使用以下中的一个或多个将所述俯视视图与所述地图进行比较：
互信息算法；或者
最佳拟合算法。
附图说明
参考以下附图来描述本公开的非限制性和非穷举性实施方式，其中除非另有说明，否则相同的附图标记贯穿各个视图指代相同的部分。参照以下描述和附图，本公开的优点将变得更好理解，其中：
图1是示出包括自动驾驶/辅助***的车辆控制***的实施方式的示意性框图；
图2示出了根据一个实施方式的示例LIDAR强度图像；
图3是示出根据一个实施方式的使用摄像机图像和LIDAR强度图进行定位的方法的示意性流程图；
图4是示出根据一个实施方式的使用摄像机图像和语义矢量图(基于矢量的语义图)进行定位的方法的示意性流程图；
图5示出了根据一个实施方式的示例投影的俯视图像；
图6示出了根据一个实施方式的投影的俯视图像的示例性累积；
图7是示出根据一个实施方式的定位部件的部件的示意框图；
图8是示出根据一个实施方式的用于定位的方法的示意性流程图；以及
图9是示出根据一个实施方式的计算***的示意性框图。
具体实施方式
定位是允许和改进自主车辆或驾驶员辅助特征的操作的重要部分。例如，为了安全地导航，车辆必须精确地知道它在世界上的位置(或关于地图)。存在各种各样的当前方法来针对世界地图进行定位，但是需要大量的计算才能这样做，或者需要使用昂贵的、耗电传感器，例如光检测和测距(LIDAR)传感器。
申请人已经开发了用于车辆定位或其他目的的可以不需要有源激光雷达传感器的***、方法和设备。根据一个实施例，一种用于确定车辆位置的***包括图像传感器、俯视视图部件、比较部件和位置部件。图像传感器获得车辆附近的环境的图像。俯视视图部件被配置成基于环境的图像生成地面的俯视视图。比较部件被配置为将俯视图像与地图进行比较，地图包括俯视的LIDAR强度图(LIDAR intensity map)或基于向量的语义图(vector-based semantic map)。位置部件被配置为基于比较来确定车辆在地图上的位置。
在本公开中呈现的至少一种方法中，车辆上的基于摄像机的***可以用于相对于先前生成的或获得的地图来定位车辆。先前的地图可以是基于矢量的语义地图，其包含诸如车道线和其他道路标记的位置等信息。基于矢量的语义地图的一个示例是美国国防部高级研究计划局(DARPA)为城市挑战提供的道路网络定义文件(RNDF)。先前的地图可以包括地平面的LIDAR强度图。先前地图可以与基于采集的摄像机图像生成的投影的俯视图像进行比较。
投影的俯视图像可以通过分割图像中的地平面来创建或提取。可以使用随机采样一致性(RANSAC)算法，来使用一对图像(诸如来自两个摄像机或来自不同时间点的单个摄像机)来分割地平面以确定地平面。这对图像在3D空间中提供了一组点。可以评估地平面的多个随机选择的假设以找到具有最佳的一组样本点(inlier)的假设。
在一个实施例中，还提取来自地图的图像。对于矢量地图，可以生成合成图像，其中道路表面较暗并且道路标记(例如油漆线)较亮。在一个实施例中，可以直接比较LIDAR强度图而不生成合成图像，因为道路表面通常不是反射性的，并且油漆线或其他车道标记通常是高度反射性的。比较两个图像(摄像机导出图像和地图导出图像)的过程可以通过使用诸如互信息的技术来计算各种相对位置之间的匹配的分数或通过使用直接提供最佳拟合相对位置的图像比较技术来完成。
本文公开的一个或多个实施例与先前可用的技术相比提供了显著的益处。例如，至少一个实施例使用摄像机信息来进行定位，而不像当前使用的使用有源LIDAR传感器的许多定位方法。与有源传感器(如LIDAR传感器)相比，作为无源传感器，摄像机便宜、体积更小、重量更轻、功耗更低。
其他可用的基于摄像机的定位方法将先前的地图转换为用于所有假设位置的单个摄像机图像的帧。例如，以下讨论的方法将地图投影到摄像机帧上：Miller等人2011年《机器人学杂志(Journal of Field Robotics)》“利用视觉和粒子滤波在稀疏全球定位***环境中进行地图辅助定位”；Wolcott和Eustice 2014年“LIDAR地图中的视觉本地化用于实现自动化城市驾驶”；Pink 2008年“使用全球特征地图进行视觉地图匹配和定位”；Pink等人2009年“车辆定位和自我运动估计的视觉特征”。以下方法使用摄像机与摄像机匹配：Napier和New man 2012年“道路车辆定位的本地正射影像的生成和开发”。
然而，对于所有假设位置，将先前地图转换成单个摄像机图像的帧在计算上是昂贵的。本文公开的至少一种方法将摄像机图像投影到俯视视图中，并且因此仅需要一个转换或投影。俯视视图的生成可能需要更多的前期计算成本，但是随后可能使用明显更少的来生成假设测量，因为地图已经处于俯视的帧中。因此，避免了地图转换到地图各个位置处的假设摄像机帧。申请人已经认识到，对于大多数方法来说，生成假设测量结果是最大的计算用户，因此生成俯视图像将能够以更少的计算实现定位，以及比LIDAR方法传感器更便宜、功耗更低。
将结合下面的附图讨论另外的实施例和示例。
现在参考附图，图1示出了可用于自动定位车辆的示例车辆控制***100。自动驾驶/辅助***102可用于自动化或控制车辆的操作或向人类驾驶员提供辅助。例如，自动驾驶/辅助***102可以控制车辆的制动、转向、加速、灯、警报、驾驶员通知、无线电或任何其他辅助***中的一个或多个。在另一个示例中，自动驾驶/辅助***102可能不能够提供驾驶的任何控制(例如转向、加速或制动)，但可以提供通知和警报以帮助驾驶员安全驾驶。自动驾驶/辅助***102可以使用神经网络或其他模型或算法来基于由一个或多个传感器收集的感知数据来检测或定位为对象。
车辆控制***100还包括用于检测在主车辆(例如包括车辆控制***100的车辆)的传感器范围内或附近的对象的存在的一个或多个传感器***/设备。例如，车辆控制***100可以包括一个或多个雷达***106、一个或多个LIDAR***108、一个或多个摄像机***110、全球定位***(GPS)112和/或一个或多个超声波***114。车辆控制***100可以包括数据存储器116，存储器116用于存储用于导航和安全的相关或有用数据，例如地图数据、驾驶历史或其他数据。车辆控制***100还可以包括用于与移动或无线网络、其他车辆、基础设施或任何其他通信***进行无线通信的收发器118。
车辆控制***100可以包括车辆控制驱动器120，以控制诸如电动马达、开关或其他驱动器的车辆的驾驶的各个方面，从而控制制动、加速、转向等等。车辆控制***100还可以包括一个或多个显示器122、扬声器124、或其他设备，以便可以提供给驾驶员或乘客的通知。显示器122可以包括抬头显示器、仪表板显示器或指示器、显示屏或者可以由车辆的驾驶员或乘客看到的任何其他视觉指示器。扬声器124可以包括车辆的音响***的一个或多个扬声器，或者可以包括专用于驾驶员通知的扬声器。
应该理解的是，图1仅作为示例给出。在不脱离本公开的范围的情况下，其它实施例可以包括更少或附加的部件。另外，所示部件可以被组合或被包括在其他部件中而没有限制。
在一个实施例中，自动驾驶/辅助***102被配置为控制主车辆的驾驶或导航。例如，自动驾驶/辅助***102可以控制车辆控制驱动器120以驾驶在道路、停车场、车道或其他位置上的路径。例如，自动驾驶/辅助***102可以基于由部件106-118中的任何部件提供的信息或感知数据来确定路径。传感器***/设备106-110和114可以用于获得实时传感器数据，使得自动驾驶/辅助***102可以实时帮助驾驶员或驾驶车辆。
在一个实施例中，车辆控制***100包括定位部件104以确定车辆相对于地图、道路等的位置。例如，定位部件104可以使用车载摄像机来针对先前创建或获得的地图来定位车辆。在一个实施例中，定位部件104可以使车辆控制***100能够定位车辆而不使用在环境中发射能量并检测反射的诸如LIDAR或雷达的有源传感器。该地图可以包括基于矢量的语义地图或LIDAR强度地图。创建一个从摄像机获得的投影俯视图像，并将其与以前制作的矢量或LIDAR强度图进行比较。比较过程可以通过使用诸如互信息的技术或通过提供最佳拟合相对位置的比较技术来完成。
图2示出了可用作地图或地图的一部分的示例LIDAR强度图像200。例如，LIDAR强度图像可以是先前获得的可用作定位车辆的地图的道路的空中或俯视的LIDAR视图的一部分。如图所示，LIDAR强度数据可以在道路表面和车道标记之间提供高对比度，例如所示的线标记。
图3是示出用于使用摄像机图像和LIDAR强度地图进行定位的方法300的示意性框图。方法300可以由定位部件或其他***执行，诸如图1的定位部件104或自动驾驶/辅助***102。定位部件104可以接收摄像机图像和/或LIDAR强度地图。摄像机图像可以包括由主车辆的摄像机采集的图像。LIDAR强度地图可以包括用于在特定地理位置或其他位置内定位车辆的地图。
定位部件104从摄像机图像中提取302俯视图像。例如，定位部件104可以从摄像机图像内提取地平面或驾驶表面。提取地平面可涉及识别摄像机图像内对应于地平面或驾驶表面的像素或区域。例如，可以基于摄像机图像和另一摄像机图像(诸如由另一摄像机采集的图像或由同一摄像机采集的较早或较晚的图像)使用RANSAC算法来识别地平面或驾驶表面。然后，定位部件可以通过将地平面或驾驶表面投影为俯视图像来创建俯视图像。例如，地平面或驾驶表面可能会倾斜或旋转，以形成地平面或驾驶表面的俯视视图。由此产生的俯视图像或俯视视图可能只是从公路或驾驶路面的俯视视图。
定位部件104可以提取304包括车辆所在区域的地图数据。例如，定位部件104可以使用GPS接收器、无线网络位置等来确定摄像机/车辆的大致位置。基于大致位置，定位部件104可以选择或提取地图(诸如LIDAR强度地图)的局部部分作为用于定位的图像。定位部件104可以提取车辆所在的道路区域的地图数据。
利用LIDAR强度地图的提取的俯视视图和局部区域，定位部件104比较306图像以确定车辆或摄像机的位置。定位部件104将提取的俯视图像(俯视视图)与LIDAR强度地图内的各种位置或相对位置进行比较306。定位部件104可以使用互信息算法或其他算法来比较图像中的不同位置，以找到地平面和地图之间的最佳拟合或最佳相对位置。在比较306之后，结果可以是摄像机图像关于LIDAR强度地图的指示车辆位置的相对位置。
图4是示出用于使用摄像机图像和语义矢量地图进行定位的方法400的示意性框图。方法400可以由定位部件或其他***执行，诸如图1的定位部件104或自动驾驶/辅助***102。定位部件104可以接收摄像机图像和/或语义矢量地图。摄像机图像可以包括由主车辆的摄像机采集的图像。语义矢量地图可以包括用于在特定地理位置或其他位置内定位车辆的地图。
定位部件104从摄像机图像中提取402俯视图像。例如，定位部件104可以从摄像机图像内提取地平面或驾驶表面。提取地平面可以涉及识别摄像机图像内对应于地平面或驾驶表面的像素或区域。例如，可以基于摄像机图像和另一摄像机图像(诸如由另一摄像机拍摄的图像或由同一摄像机拍摄的较早或较晚的图像)使用RANSAC算法来识别地平面或驾驶表面。然后，定位部件104可通过将地平面或驾驶表面投影为俯视图像来创建俯视图像。例如，地平面或驾驶表面可能会倾斜或旋转，以创建/模拟地平面或驾驶表面的俯视视图。由此产生的俯视图像或俯视视图可能只是公路或驾驶路面的俯视视图。
定位部件104可以提取404包括车辆所在区域的地图数据。例如，定位部件104可以使用GPS接收器、无线网络位置等来确定摄像机/车辆的大致位置。基于大致位置，定位部件104可以选择或提取地图(诸如语义矢量地图)的局部部分作为用于定位的图像。定位部件104可以提取车辆所在的道路区域的地图数据。定位部件104可以为语义矢量地图的一部分提取道路标记，例如油漆线。
定位部件104基于语义矢量地图(或矢量地图的提取部分)生成408合成图像。在一个实施例中，定位部件104通过使与车道标记(例如油漆线)对应的区域成为浅色以及与道路表面(例如人行道)对应的区域成为深色来生成合成图像。例如，车道线可以是白色或浅灰色，路面可以是黑色或深灰色。
利用提取的俯视视图和语义矢量地图的局部区域的合成图像，定位部件104比较406图像以确定车辆或摄像机的位置。定位部件104将提取的俯视图像(俯视视图)与合成图像内的各种位置或相对位置进行比较406。定位部件104可以使用互信息算法或其他算法来比较图像中的不同位置，以找到地平面和地图之间的最佳拟合或最佳相对位置。在比较406之后，结果可以是摄像机图像关于LIDAR强度地图的指示车辆位置的相对位置。
图5示出了通过将摄像机图像投影为俯视视图而生成的俯视图像。例如，原始摄像机图像的形状可能是长方形的，并且图像已倾斜以创建投影的俯视图像。图6示出了多个俯视图像的累积视图(accumulated view)。例如，随时间或从不同摄像机捕获的多个图像，将它们投影为俯视图像，并缝合或覆盖以创建累积视图。在比较过程中，可以将单个俯视图像或累积的俯视图像与地图(语义向量地图或LIDAR强度数据的合成图像)进行比较。
转向图7，示出了根据一个实施例的定位部件104的部件的示意性框图。根据本文所讨论的任何实施例或功能，定位部件104可以将车辆定位在地图上或关于道路上的标记或道路定位。定位部件104包括俯视视图部件702、比较部件704和位置部件706。部件702-706仅作为说明给出，并且可能不全部包含在所有实施例中。实际上，一些实施例可以包括部件702-706中的仅一个或两个或更多个的任何组合。例如，一些部件可以位于定位部件104的外部或与定位部件104分离。
俯视视图部件702被配置为基于由车辆上的图像传感器采集的摄像机图像来生成地面或驾驶表面的俯视视图。例如，车辆控制***100的摄像机***110可以采集车辆附近的环境的图像，例如在车辆的前方、侧面或后方。俯视视图部件702可以生成车辆内地面或驾驶表面的俯视视图。例如，在一个实施例中，俯视视图部件702将来自实际视图的图像的地面部分(例如摄像机的水平或非垂直取向)投影到地面部分的俯视视图(例如垂直向下或鸟瞰图)。在一个实施例中，俯视视图部件702将驾驶平面或地平面与图像分开。例如，俯视视图部件702可以识别图像中对应于地面或驾驶表面的像素。在一个实施例中，RANSAC算法可以用于识别对应于地面的像素。对应于地面或驾驶表面的像素可以从原始图像中提取或分割。例如，所有非地面像素可以被制成透明的。
在确定哪些像素对应于地面或驾驶表面之后，俯视视图部件702可以将这些像素投影为俯视视图。例如，原始摄像机可能以水平或接近水平的角度采集图像。俯视视图部件702可通过倾斜、旋转和/或拉伸与地面相对应的像素，如同从下向上采集像素，将像素投影为俯视视图。例如，俯视视图部件702可以通过将分割的像素投影到向下视图中来生成道路或地面的估计的俯视视图。在一个实施例中，摄像机的定位角度是已知的或基于车辆或摄像机上的加速度计来确定。然后投影可以将地面从原始角度投影到垂直向下的角度。因此，如果摄像机等采集道路的鸟瞰图，则投影图像可以是对可见的内容的估计。
比较部件704被配置为将由俯视视图部件702生成的俯视图像与基于地图的地图或图像进行比较。在一个实施例中，该地图包括基于矢量的语义地图(语义矢量地图)。基于矢量的语义地图可以包括关于诸如道路边缘、车道线、交叉口等道路特征的位置和距离的细节。比较部件704可以基于该基于矢量的语义地图生成合成图像，然后可以将该合成图像与由俯视视图部件702生成的投影的俯视图像进行比较。在一个实施例中，比较部件704生成合成图像，其包括道路表面的暗像素和道路标记的亮像素或明像素。该合成图像可以使具有车道线的道路近似看起来形成附视图或鸟瞰图。比较部件704然后可以通过比较俯视图像与合成图像来比较俯视图像与地图。在一个实施例中，地图包括LIDAR强度数据，其可以直接与俯视图像进行比较而不必首先生成合成图像。
比较部件704可以使用互信息算法或最佳拟合算法将俯视图像与地图(或合成图像)进行比较。比较部件704可以计算指示地图上的俯视图像的多个位置之间的匹配的分数。例如，比较部件704可以在LIDAR强度数据或合成图像的顶部随机地定位俯视图像，并且计算俯视图像与其重叠的LIDAR强度数据或合成图像的部分之间的相似度分数。例如，俯视图像和地图数据(LIDAR强度数据或合成图像)之间的边界位置、像素强度等越相似，得分越高。通过针对多个不同位置进行计算，可以针对俯视图像和地图数据的不同相对位置获得多个不同的得分。
位置部件706被配置为基于比较来确定车辆在地图上的位置。在一个实施例中，位置部件706从由比较部件704比较的多个相对位置中选择相对位置。例如，位置部件706可以使用互信息算法或最佳拟合算法选择在比较中产生最高分的位置。
图8是示出用于确定车辆的位置的方法800的示意性流程图。方法800可以由定位部件或车辆控制***执行，例如图1或图7的定位部件104或图1的车辆控制***100。
方法800开始并且安装在车辆上的图像传感器使用图像传感器获得802车辆附近的环境的图像。俯视视图部件702基于环境的图像生成804地面的俯视视图。比较部件704将俯视图像与地图进行比较806。该地图可以包括俯视的LIDAR强度(例如航拍LIDAR)地图或基于矢量的语义地图。位置部件706基于比较确定808图像传感器在地图上的位置。
现在参考图9，示出了示例计算设备900的框图。计算设备900可以用于执行各种过程，诸如在此讨论的过程。在一个实施例中，计算设备900可以用作定位部件104、自动驾驶/辅助***102、车辆控制***100等。计算设备900可以执行如本文讨论的各种监视功能，并且可以执行一个或多个应用程序，例如本文所述的应用程序或功能。计算设备800可以是多种计算设备中的任何一种，诸如台式计算机、车载计算机、车辆控制***、笔记本计算机、服务器计算机、手持式计算机、平板电脑等。
计算设备900包括一个或多个处理器902、一个或多个存储设备904、一个或多个接口906、一个或多个大容量存储设备908、一个或多个输入/输出(I/O)设备910以及显示设备930，所有这些设备都连接到总线912。处理器902包括执行存储在存储设备904和/或大容量存储设备908中的指令的一个或多个处理器或控制器。处理器902还可以包括各种类型的计算机可读介质，诸如高速缓冲存储器。
存储设备904包括诸如易失性存储器(例如随机存取存储器(RAM)914)和/或非易失性存储器(例如只读存储器(ROM)916)的各种计算机可读介质。存储设备904还可以包括可重写ROM，例如闪存。
大容量存储设备908包括各种计算机可读介质，诸如磁带、磁盘、光盘、固态存储器(例如闪存)等等。如图所示。在图9中，特大容量存储设备是硬盘驱动器924。大容量存储设备908中还可以包括各种驱动器，以使得能够从各种计算机可读介质中读取和/或写入到各种计算机可读介质。大容量存储设备908包括可移动介质926和/或不可移动介质。
I/O设备910包括允许将数据和/或其它信息输入到计算设备900或从计算设备900检索的各种设备。示例I/O设备910包括光标控制设备、键盘、小键盘、麦克风、监视器或其他显示设备、扬声器、打印机、网络接口卡、调制解调器等。
显示设备930包括能够向计算设备900的一个或多个用户显示信息的任何类型的设备。显示设备930的示例包括监视器、显示终端、视频投影设备等。
接口906包括允许计算设备900与其他***、设备或计算环境交互的各种接口。示例性接口906可以包括任何数量的不同网络接口920，诸如到局域网(LAN)、广域网(WAN)、无线网络和因特网的接口。其他接口包括用户接口918和***设备接口922。接口906还可以包括一个或多个用户接口元件918。接口906还可以包括一个或多个***接口，例如用于打印机、定点设备(鼠标、跟踪板或本领域普通技术人员现在已知或稍后发现的任何合适的用户接口)、键盘等的接口。
总线912允许处理器902、存储设备904、接口906、大容量存储设备908和I/O设备910彼此通信以及与连接到总线912的其他设备或部件通信。总线912表示几种类型的总线结构中的一个或多个，诸如***总线、PCI总线、IEEE总线、USB总线等。
为了说明的目的，程序和其他可执行程序部件在本文中被示为离散框，但是应当理解，这样的程序和部件可以在各种时间驻留在计算设备900的不同存储部件中，并且由处理器902执行。或者，本文描述的***和过程可以用硬件或者硬件、软件和/或固件的组合来实现。例如，一个或多个专用集成电路(ASIC)可以被编程以执行在此描述的一个或多个***和过程。示例
以下示例涉及进一步的实施例。
示例1是用于定位的方法。该方法包括使用图像传感器获得环境的图像。该方法包括基于环境的图像产生地面的俯视视图。该方法包括将俯视视图与地图进行比较，地图包括俯视LIDAR强度地图或基于矢量的语义地图。该方法包括基于比较来确定图像传感器在地图上的位置。
在示例2中，示例1的方法还包括从图像中分割驾驶平面或者地平面并且将图像投影为俯视图像以生成俯视视图。
在示例3中，如示例1-2中的任何示例所述的获得图像包括使用图像传感器来采集图像，其中图像传感器被安装在车辆上。
在示例4中，示例1-3中的任何示例的地图包括基于矢量的语义地图，该方法还包括生成合成图像。
在示例5中，示例4的比较俯视视图与地图包括将俯视图像与合成图像进行比较。
在示例6中，示例4的生成合成图像包括生成包括用于道路表面的暗像素和用于道路标记的亮像素或明像素的合成图像。
在示例7中，示例1-6中的任何示例的将俯视视图与任何示例的地图进行比较包括使用互信息算法或最佳拟合算法中的一个或多个进行比较。
在示例8中，示例1-7中的任何示例的将俯视视图与地图进行比较包括计算多个相对位置的分数并选择相对位置。
示例9是存储指令的计算机可读存储介质，该指令在由一个或多个处理器执行时使一个或多个处理器实现如示例1-8中任一示例所述的方法。
示例10是包括用于实现示例1-9中的任何一个的方法或实现示例1-9中的任何一个的***或装置的手段的***或设备。
在以上公开中，已经参考了形成其一部分的附图，并且其中通过图示的方式示出了可以在其中实施本公开的具体实施方式。应该理解，可以利用其他实施方式并且可以进行结构改变而不偏离本公开的范围。说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可能不一定包括特定特征、结构或特性。而且，这样的短语不一定是指相同的实施例。此外，当结合实施例描述特定特征、结构或特性时，认为结合其他实施例影响这种特征、结构或特性是在本领域技术人员的知识范围内，无论是否明确描述。
本文公开的***、设备和方法的实施方式可以包括或利用包括计算机硬件的专用或通用计算机，诸如例如一个或多个处理器和***存储器，如本文所讨论的。在本公开的范围内的实施方式还可以包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以被通用或专用计算机***访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(设备)。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实施方式可以包括至少两种截然不同的计算机可读介质：计算机存储介质(设备)和传输介质。
计算机存储介质(设备)包括RAM、ROM、EEPROM(电可擦可编程只读存储器)、CD-ROM(只读光盘)、固态驱动器(“SSD”)(例如基于RAM)、闪存、相变存储器(“PCM”)、其他类型存储器、其他光盘存储器、磁盘存储器或其他磁存储设备或任何其他介质，其可以用于以计算机可执行指令或数据结构的形式存储期望的程序代码手段并且可以被通用或专用计算机访问。
这里公开的设备、***和方法的实施方式可以通过计算机网络进行通信。“网络”被定义为能够在计算机***和/或模块和/或其他电子设备之间传输电子数据的一个或多个数据链路。当信息通过网络或其他通信连接(硬连线、无线连接、或硬连线或无线连接的组合)传输或提供给计算机时，计算机可正确地将连接视为传输介质。传输介质可以包括网络和/或数据链路，其可以用于以计算机可执行指令或数据结构的形式携带期望的程序代码手段并且可以由通用或专用计算机访问。上述的组合也应该包括在计算机可读介质的范围内。
计算机可执行指令包括例如当在处理器处执行时使通用计算机、专用计算机或专用处理设备执行特定功能或功能组的指令和数据。计算机可执行指令可以是例如二进制文件、诸如汇编语言的中间格式指令、或者甚至是源代码。尽管已经用对结构特征和/或方法动作特定的语言描述了主题，但应该理解，在所附权利要求中限定的主题不一定限于上述描述的特征或动作。相反，所描述的特征和动作被公开为实施权利要求的示例形式。
本领域技术人员将认识到，本公开可以在具有许多类型的计算机***配置的网络计算环境中实践，包括车载计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持设备、多处理器***、基于微处理器或可编程消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA(个人数字助理)、平板电脑、寻呼机、路由器、交换机、各种存储设备等。本公开还可以在分布式***环境中实施，其中本地和远程计算机***(通过硬连线数据链路、无线数据链路、或通过硬连线和无线数据链路的组合)通过网络连接都执行任务。在分布式***环境中，程序模块可以位于本地和远程存储设备中。
此外，在适当的情况下，本文描述的功能可以以下中的一个或多个来执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(ASIC)可以被编程以执行在此描述的一个或多个***和过程。整个说明书和权利要求中使用了某些术语来指代特定的***部件。术语“模块”和“部件”在某些部件的名称中使用，以反映它们在软件、硬件、电路、传感器等中的实施方式独立性。如本领域技术人员将认识到的，部件可以用不同的名称来指代。本文不打算区分名称不同但功能相同的部件。
应该注意的是，上面讨论的传感器实施例可以包括计算机硬件、软件、固件或其任何组合以执行其功能的至少一部分。例如，传感器可以包括被配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例性设备在本文中被提供用于说明的目的，而不旨在限制。如相关领域的技术人员所知，本公开的实施例可以在其他类型的设备中实现。
本公开的至少一些实施例针对包括存储在任何计算机可用介质上的这种逻辑(例如以软件的形式)的计算机程序产品。这种软件当在一个或多个数据处理设备中执行时使设备如本文所述进行操作。
虽然以上已经描述了本公开的各种实施例，但应当理解，它们仅作为示例呈现，而不是限制。对于相关领域的技术人员来说显而易见的是，在不脱离本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。因此，本公开的宽度和范围不应被任何上述示例性实施例限制，而应仅根据权利要求及其等同范围来限定。为了说明和描述的目的已经给出了前面的描述。这并不是穷尽性的或将本公开限制为所公开的确切形式。鉴于上述教导，许多修改和变化是可能的。此外，应该注意的是，可以以期望的任何组合来使用任何或全部上述替代实施方式，以形成本公开的附加混合实施方式。
此外，尽管已经描述和图示了本公开的具体实施方式，但是本公开不限于如此描述和图示的部分的具体形式或布置。本公开的范围由所附的权利要求、本文以及在不同的申请中提交的任何未来权利要求及其等同范围限定。

Claims (12)

1.一种用于定位车辆的方法，所述方法包括：
使用图像传感器获得所述车辆的环境的图像；
从所述图像中分割地平面以确定分割的地平面像素，其中，分割包括应用随机采样一致性算法和确定所述地平面的图像中的一组点；
将分割的地平面像素投影为俯视视图来生成所述地平面的俯视视图以近似摄像机的从车辆面向下的视图；
将所述俯视视图与地图进行比较，所述地图包括俯视的光检测和测距(LIDAR)强度地图或基于矢量的语义地图；以及
基于所述比较确定所述车辆在所述地图上的位置。
2.根据权利要求1所述的方法，其中获得所述图像包括使用所述图像传感器采集所述图像，其中所述图像传感器安装在车辆上。
3.根据权利要求1-2中任一项所述的方法，其中所述地图包括所述基于矢量的语义地图，所述方法还包括生成合成图像，其中将所述俯视视图与所述地图进行比较包括将所述俯视视图与所述合成图像进行比较，并且其中生成所述合成图像包括：生成包括用于道路表面的暗像素和用于道路标记的亮像素或明像素的合成图像。
4.根据权利要求1所述的方法，其中将所述俯视视图与所述地图进行比较包括使用以下中的一个或多个：
互信息算法；或者
最佳拟合算法。
5.根据权利要求1所述的方法，其中将所述俯视视图与所述地图进行比较包括计算多个相对位置的分数并选择相对位置。
6.一种用于确定车辆的位置的***，所述***包括：
图像传感器，所述图像传感器用于获取车辆附近的环境的图像；
俯视视图部件，所述俯视视图部件被配置为：从所述图像中分割地平面以确定分割的地平面像素，其中，分割包括应用随机采样一致性算法和确定所述地平面的图像中的一组点；将分割的地平面像素投影为俯视视图来生成所述地平面的俯视视图；
比较部件，所述比较部件被配置为将所述俯视视图与地图进行比较，所述地图包括俯视的光检测和测距(LIDAR)强度地图或基于矢量的语义地图；以及
位置部件，所述位置部件被配置为基于所述比较来确定所述车辆在所述地图上的位置。
7.根据权利要求6所述的***，其中所述地图包括所述基于矢量的语义地图，其中所述比较部件被配置为基于所述基于矢量的语义地图生成合成图像，其中所述比较部件被配置为通过将所述俯视视图与所述合成图像进行比较来将所述俯视视图与所述地图进行比较，并且其中比较部件被配置为通过生成包括用于道路表面的暗像素和用于道路标记的亮像素或明像素的合成图像来生成所述合成图像。
8.根据权利要求6所述的***，其中所述比较部件被配置为使用以下中的一个或多个将所述俯视视图与所述地图进行比较：
互信息算法；或者
最佳拟合算法。
9.根据权利要求6所述的***，其中所述比较部件被配置为计算多个相对位置的分数，并且所述位置部件被配置为从所述多个相对位置中选择相对位置作为所述地图上的所述位置。
10.一种存储指令的非临时性计算机可读存储介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行以下操作：
获得车辆附近的环境的图像；
从所述图像中分割地平面以确定分割的地平面像素，其中，分割包括应用随机采样一致性算法和确定所述地平面的图像中的一组点；
将分割的地平面像素投影为俯视视图来生成所述地平面的俯视视图；
将所述俯视视图与地图进行比较，所述地图包括俯视的光检测和测距(LIDAR)强度地图或基于矢量的语义地图；以及
基于所述比较确定所述车辆在所述地图上的位置。
11.根据权利要求10所述的计算机可读存储介质，其中所述地图包括所述基于矢量的语义地图，其中所述一个或多个指令使所述一个或多个处理器执行以下操作：
基于所述基于矢量的语义地图生成包括用于道路表面的暗像素和用于道路标记的亮像素或明像素的合成图像；以及
通过将所述俯视视图与所述合成图像进行比较来比较所述俯视视图与所述地图。
12.根据权利要求10所述的计算机可读存储介质，其中所述一个或多个指令使所述一个或多个处理器使用以下中的一个或多个将所述俯视视图与所述地图进行比较：
互信息算法；或者
最佳拟合算法。
CN201810189933.8A 2017-03-14 2018-03-08 使用摄像机的车辆定位 Active CN108571974B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/458,611 2017-03-14
US15/458,611 US10430968B2 (en) 2017-03-14 2017-03-14 Vehicle localization using cameras

Publications (2)

Publication Number Publication Date
CN108571974A CN108571974A (zh) 2018-09-25
CN108571974B true CN108571974B (zh) 2023-12-22

Family

ID=61972739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810189933.8A Active CN108571974B (zh) 2017-03-14 2018-03-08 使用摄像机的车辆定位

Country Status (6)

Country Link
US (3) US10430968B2 (zh)
CN (1) CN108571974B (zh)
DE (1) DE102018105417A1 (zh)
GB (1) GB2562571A (zh)
MX (1) MX2018002994A (zh)
RU (1) RU2018106450A (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
JP2019100942A (ja) * 2017-12-06 2019-06-24 ソニー株式会社 移動体、測位システム、測位プログラム及び測位方法
US11481972B2 (en) * 2018-01-17 2022-10-25 United States Of America As Represented By The Secretary Of Agriculture Method of performing dendrometry and forest mapping
US11009365B2 (en) * 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) * 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
CN112106003A (zh) * 2018-03-29 2020-12-18 索尼公司 控制器、控制方法和程序
US11237269B2 (en) * 2018-04-26 2022-02-01 Ford Global Technologies, Llc Localization technique
KR102420568B1 (ko) * 2018-04-27 2022-07-13 삼성전자주식회사 차량의 위치를 결정하는 방법 및 이를 위한 차량
US11427211B2 (en) * 2018-06-18 2022-08-30 Baidu Usa Llc Methods for handling sensor failures in autonomous driving vehicles
CN109145908A (zh) * 2018-10-23 2019-01-04 百度在线网络技术（北京）有限公司 车辆定位方法、***、装置、测试设备和存储介质
CN111307163B (zh) * 2018-12-11 2022-07-22 北京地平线机器人技术研发有限公司 可移动设备的定位方法、定位装置及电子设备
CN111323029B (zh) * 2018-12-16 2022-05-27 北京魔门塔科技有限公司 导航方法及车载终端
CN111323004B (zh) * 2018-12-16 2022-05-13 北京魔门塔科技有限公司 初始位置的确定方法及车载终端
CN111337010B (zh) * 2018-12-18 2022-05-03 北京地平线机器人技术研发有限公司 可移动设备的定位方法、定位装置及电子设备
CN110060230B (zh) * 2019-01-18 2021-11-26 商汤集团有限公司 三维场景分析方法、装置、介质及设备
US11520347B2 (en) * 2019-01-23 2022-12-06 Baidu Usa Llc Comprehensive and efficient method to incorporate map features for object detection with LiDAR
DE102019206036A1 (de) 2019-04-26 2020-10-29 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung der geografischen Position und Orientierung eines Fahrzeugs
DE102019208384A1 (de) * 2019-06-07 2020-12-10 Robert Bosch Gmbh Verfahren zum Erstellen einer universell einsetzbaren Merkmalskarte
US11288522B2 (en) 2019-12-31 2022-03-29 Woven Planet North America, Inc. Generating training data from overhead view images
US11037328B1 (en) 2019-12-31 2021-06-15 Lyft, Inc. Overhead view image generation
US11244500B2 (en) 2019-12-31 2022-02-08 Woven Planet North America, Inc. Map feature extraction using overhead view images
US11487299B2 (en) 2020-03-31 2022-11-01 Wipro Limited Method and system for localizing autonomous ground vehicles
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
CN111780771B (zh) * 2020-05-12 2022-09-23 驭势科技（北京）有限公司 一种定位方法、装置、电子设备及计算机可读存储介质
US11428802B2 (en) * 2020-06-16 2022-08-30 United States Of America As Represented By The Secretary Of The Navy Localization using particle filtering and image registration of radar against elevation datasets
CN113581256B (zh) * 2021-09-02 2023-05-30 浙江众合科技股份有限公司 一种基于bim和gis技术的列车自主定位方法和***
DE102021209786A1 (de) 2021-09-06 2023-03-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Positionieren einer Kartendarstellung eines Umfelds eines Fahrzeugs in einer semantischen Straßenkarte
CN113837064B (zh) * 2021-09-22 2023-11-03 广州小鹏自动驾驶科技有限公司 道路识别方法、***和可读存储介质
CN114489085A (zh) * 2022-02-18 2022-05-13 河南省工业学校 一种基于机器视觉的工业机器人运动控制装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102099656A (zh) * 2008-07-16 2011-06-15 奥迪股份公司 用于更新车辆导航***用的地理数据库的方法
CN102460074A (zh) * 2009-06-01 2012-05-16 罗伯特·博世有限公司 用于组合三维位置和二维强度地图绘制进行定位的方法和装置
US9081385B1 (en) * 2012-12-21 2015-07-14 Google Inc. Lane boundary detection using images
CN105739365A (zh) * 2014-12-10 2016-07-06 联想(北京)有限公司 信息处理方法及电子设备
WO2016118672A2 (en) * 2015-01-20 2016-07-28 Solfice Research, Inc. Real time machine vision and point-cloud analysis for remote sensing and vehicle control
KR101667484B1 (ko) * 2015-04-22 2016-10-18 한양대학교 산학협력단 수치 지도를 이용하는 차량 위치 추정 방법 및 장치
US9476970B1 (en) * 2012-03-19 2016-10-25 Google Inc. Camera based localization

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9513744B2 (en) * 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
US7191056B2 (en) * 2005-01-04 2007-03-13 The Boeing Company Precision landmark-aided navigation
JP4767578B2 (ja) * 2005-02-14 2011-09-07 株式会社岩根研究所 高精度ｃｖ演算装置と、この高精度ｃｖ演算装置を備えたｃｖ方式三次元地図生成装置及びｃｖ方式航法装置
JP4899351B2 (ja) * 2005-06-17 2012-03-21 株式会社デンソー 走行状況判定装置及び車載ナビゲーション装置
JP4185077B2 (ja) * 2005-07-15 2008-11-19 本田技研工業株式会社 車両、画像処理システム、画像処理方法、及び画像処理プログラム
US8085990B2 (en) * 2006-07-28 2011-12-27 Microsoft Corporation Hybrid maps with embedded street-side images
DE102006062061B4 (de) * 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
JP2009129001A (ja) * 2007-11-20 2009-06-11 Sanyo Electric Co Ltd 運転支援システム、車両、立体物領域推定方法
JP2009163504A (ja) * 2008-01-07 2009-07-23 Panasonic Corp 画像変形方法等
US10872322B2 (en) * 2008-03-21 2020-12-22 Dressbot, Inc. System and method for collaborative shopping, business and entertainment
US8111923B2 (en) * 2008-08-14 2012-02-07 Xerox Corporation System and method for object class localization and semantic class based image segmentation
TWI391874B (zh) * 2009-11-24 2013-04-01 Ind Tech Res Inst 地圖建置方法與裝置以及利用該地圖的定位方法
JP5299296B2 (ja) * 2010-01-26 2013-09-25 株式会社デンソーアイティーラボラトリ 車両周辺画像表示装置及び車両周辺画像表示方法
CN102834309B (zh) * 2010-02-26 2016-12-21 金泰克斯公司 自动车辆设备监控、报警和控制***
US10088317B2 (en) * 2011-06-09 2018-10-02 Microsoft Technologies Licensing, LLC Hybrid-approach for localization of an agent
KR101265667B1 (ko) * 2011-06-21 2013-05-22 ㈜베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
GB201116958D0 (en) * 2011-09-30 2011-11-16 Bae Systems Plc Use of synthetic overhead images for vehicle localisation
US9688200B2 (en) * 2013-03-04 2017-06-27 Magna Electronics Inc. Calibration system and method for multi-camera vision system
KR20150058679A (ko) 2013-11-20 2015-05-29 한국전자통신연구원 단지내 도로에서 자율주행차량의 위치 및 해딩 정보 제공 장치 및 방법
US9988047B2 (en) * 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
US9396584B2 (en) * 2013-12-19 2016-07-19 Google Inc. Obtaining geographic-location related information based on shadow characteristics
WO2015156821A1 (en) 2014-04-11 2015-10-15 Nissan North America, Inc. Vehicle localization system
US9151626B1 (en) 2014-04-11 2015-10-06 Nissan North America, Inc. Vehicle position estimation system
EP3007099B1 (en) * 2014-10-10 2022-12-07 Continental Autonomous Mobility Germany GmbH Image recognition system for a vehicle and corresponding method
US9989969B2 (en) 2015-01-19 2018-06-05 The Regents Of The University Of Michigan Visual localization within LIDAR maps
US9836671B2 (en) * 2015-08-28 2017-12-05 Microsoft Technology Licensing, Llc Discovery of semantic similarities between images and text
US11514244B2 (en) * 2015-11-11 2022-11-29 Adobe Inc. Structured knowledge modeling and extraction from images
US9946264B2 (en) * 2016-03-22 2018-04-17 Sharp Laboratories Of America, Inc. Autonomous navigation using visual odometry
US10474162B2 (en) * 2016-07-01 2019-11-12 Uatc, Llc Autonomous vehicle localization using passive image data
CN117824676A (zh) * 2016-12-09 2024-04-05 通腾全球信息公司 用于基于视频的定位及映射的方法及***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102099656A (zh) * 2008-07-16 2011-06-15 奥迪股份公司 用于更新车辆导航***用的地理数据库的方法
CN102460074A (zh) * 2009-06-01 2012-05-16 罗伯特·博世有限公司 用于组合三维位置和二维强度地图绘制进行定位的方法和装置
US9476970B1 (en) * 2012-03-19 2016-10-25 Google Inc. Camera based localization
US9081385B1 (en) * 2012-12-21 2015-07-14 Google Inc. Lane boundary detection using images
CN105739365A (zh) * 2014-12-10 2016-07-06 联想(北京)有限公司 信息处理方法及电子设备
WO2016118672A2 (en) * 2015-01-20 2016-07-28 Solfice Research, Inc. Real time machine vision and point-cloud analysis for remote sensing and vehicle control
KR101667484B1 (ko) * 2015-04-22 2016-10-18 한양대학교 산학협력단 수치 지도를 이용하는 차량 위치 추정 방법 및 장치

Also Published As

Publication number Publication date
US11967109B2 (en) 2024-04-23
GB201803801D0 (en) 2018-04-25
US20190385336A1 (en) 2019-12-19
US20180268566A1 (en) 2018-09-20
US20220092816A1 (en) 2022-03-24
CN108571974A (zh) 2018-09-25
US10430968B2 (en) 2019-10-01
GB2562571A (en) 2018-11-21
DE102018105417A1 (de) 2018-09-20
MX2018002994A (es) 2018-09-13
US11216972B2 (en) 2022-01-04
RU2018106450A (ru) 2019-08-21

Similar Documents

Publication Publication Date Title
CN108571974B (zh) 使用摄像机的车辆定位
US10949997B2 (en) Vehicle localization systems and methods
US11847917B2 (en) Fixation generation for machine learning
US11694430B2 (en) Brake light detection
CN107914708B (zh) 后方障碍物检测和距离估算
EP3361278B1 (en) Autonomous vehicle localization based on walsh kernel projection technique
CN107644197B (zh) 后部摄像机车道检测
EP3327464B1 (en) Algorithm and infrastructure for robust and efficient vehicle localization
CN107031650B (zh) 基于驾驶员肢体语言来预测车辆运动
US10055652B2 (en) Pedestrian detection and motion prediction with rear-facing camera
US20210089794A1 (en) Vehicle system and method for detecting objects and object distance
CN110796692A (zh) 用于同时定位与建图的端到端深度生成模型
CN111353522A (zh) 用于确定车辆周围环境中的路标的方法和***
CN114945952A (zh) 使用神经网络从相机图像和已知深度数据生成深度
CN112092809A (zh) 一种辅助倒车方法、装置、***及车辆
CN112639822B (zh) 一种数据处理方法及装置
CN115841660A (zh) 距离预测方法、装置、设备、存储介质及车辆
US20230110391A1 (en) 3d sensing and visibility estimation
CN116721394A (zh) 单目三维目标检测方法、模型训练方法及对应装置
CN113465626A (zh) 用于导航的图像输出方法和装置、介质、设备、车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant