CN111856491A - 用于确定车辆的地理位置和朝向的方法和设备 - Google Patents

用于确定车辆的地理位置和朝向的方法和设备 Download PDF

Info

Publication number
CN111856491A
CN111856491A CN202010331318.3A CN202010331318A CN111856491A CN 111856491 A CN111856491 A CN 111856491A CN 202010331318 A CN202010331318 A CN 202010331318A CN 111856491 A CN111856491 A CN 111856491A
Authority
CN
China
Prior art keywords
vehicle
ground
image
ground texture
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010331318.3A
Other languages
English (en)
Other versions
CN111856491B (zh
Inventor
V.P.肖梅鲁斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of CN111856491A publication Critical patent/CN111856491A/zh
Application granted granted Critical
Publication of CN111856491B publication Critical patent/CN111856491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50—Projected symbol or information, e.g. onto the road or car body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

在根据本发明的用于确定车辆的地理位置和朝向的方法中，利用车辆的至少一个摄像机检测（1）车辆周围环境的图像，其中所检测的图像至少部分地包括车辆周围环境在地平面上的区域。针对所检测的图像的各个像素分别生成（2）分类信息，该分类信息指明与多个预先给定的对象类别之一的关联，其中基于该关联来进行（3）图像的语义分割。基于图像的语义分割来探测（4）地面纹理过渡。将所探测到的地面纹理过渡投影（6）到车辆周围环境的地平面上。将被投影到车辆周围环境的地平面上的地面纹理过渡与在全局参考地图中的地面纹理过渡之间的偏差最小化（7、8、9）。基于被最小化的偏差来输出（10）车辆在空间内的当前位置和朝向。

Description

用于确定车辆的地理位置和朝向的方法和设备
技术领域
本发明涉及一种用于确定车辆的地理位置和朝向的方法，该方法尤其可以被用于自动或部分自动驾驶的车辆的自定位。本发明还涉及一种用于执行所述方法的设备以及一种车辆，所述车辆被设立为执行这种方法或具有这种设备。
背景技术
精确且鲁棒的自定位是车辆在道路交通中进行自动驾驶的前提之一。全球卫星导航***（诸如GPS***）广泛用于汽车领域的位置确定和导航。但是，除了在恶劣的接收条件下（例如在市区或在下大雪的情况下）带来的困难之外，精度也不足以用于与安全相关的应用。
虽然通过诸如DGPS那样的方法可以显著改善基于GPS定位的精度，在DGPS中通常经由无线电将校正信号传送到DGPS接收器。但是，通过这种方式也仍然不可能进行安全的自动驾驶。这样，一方面基于无线电的***可能由于无线电干扰而失灵，或者由于加密、有可能甚至未预先告知的加密而无法***作人员分析，从而于是不可能以足够的精度来进行可靠的位置测量。
此外，在卫星辅助的位置确定中，至少在不添加其它传感器数据的情况下，不存在关于车辆的取向或朝向的信息。该信息只能通过对过往的、连续的位置进行求差来间接计算。
为了在进行位置确定时也确定车辆的朝向，已知不同的解决方案，在这些解决方案中，以传感器技术方式来检测车辆周围环境，例如利用摄像机或LIDAR（英语“lightdetection and ranging”的缩写：光探测和测距（激光雷达））传感器来检测车辆周围环境。
这样，可以借助于经由特定地标的基于摄像机的定位来确定在地图平面内的2D坐标以及也确定车辆在该平面内的朝向，这些地标被录入在数字地图中并且在摄像机图像中被探测到。但是，这要求：必须在数字地图中录入足够数量的合适的地标，这些地标即使在任何季节的任何天气下也都可以被探测到。
同样存在用于基于激光雷达的定位的方案。无论车辆周围环境中的照明条件如何，LIDAR传感器都为所检测到的对象提供具有厘米级精度3D空间坐标的点云。结合由3D点组成的数字地图，可以将这些测量点用于位置确定。在此，为了定位所述车辆，将当前测量的激光雷达（Lidar）点云匹配到数字地图中，也就是说，与该地图中的3D点尽可能精确地达成一致。但是，这种基于激光雷达的定位的缺点在于：为此所需的精确3D地图的构建花费很高。
在WO 2018/140701 A1中描述了基于对地标的检测来进行的基于激光雷达的定位。在这种情况下，附加地将摄像机的数据与3D点关联。在US 2017/0248963 A1和US 2018/0136644 A1中也集中地收集不同传感器的数据，以执行针对自动驾驶车辆的道路规划。在此，也使用***，该***分析不同传感器的数据并通过将传感器数据与地图数据进行比较来确定自动车辆的姿态。
此外，WO 2018/104563 A2公开了：为了确定车辆的位置和朝向而利用一个或多个摄像机来检测车辆周围环境。在这种情况下，为了找到可通过与参考地图进行比较而被用于定位的地标所在的区域，对利用摄像机所检测到的图像执行语义分割。在此，对于诸如建筑物或交通标志那样的对象类别来说，结合深度测量来生成3D地标。也提出了通过多个帧对这种地标的跟踪。
发明内容
本发明的任务是：提供一种用于确定车辆的地理位置和朝向的经改善的方法和经改善的设备。
该任务通过具有权利要求1的特征的方法以及通过相对应的根据权利要求12所述的设备来解决。本发明的优选的设计方案是从属权利要求的主题。
在根据本发明的用于确定车辆的地理位置和朝向的方法中，
- 利用所述车辆的至少一个摄像机来检测车辆周围环境的图像，其中所检测的图像至少部分地包括所述车辆周围环境在地平面上的区域；
- 针对所检测的图像的各个像素分别生成分类信息，所述分类信息指明与多个预先给定的对象类别之一的关联，其中基于所述关联来进行所述图像的语义分割；
- 基于所述图像的语义分割来探测地面纹理过渡；
- 将所探测到的地面纹理过渡投影到所述车辆周围环境的地平面上；
- 将被投影到所述车辆周围环境的地平面上的地面纹理过渡与在全局参考地图中的地面纹理过渡之间的偏差最小化；以及
- 基于被最小化的偏差来输出所述车辆在空间内的当前位置和朝向。
通过这种方式，花费微小地进行6D定位，即确定三维空间中的六个自由度（英语：“six degrees of freedom”，六个自由度，6DoF）。因此，对所述车辆来说不仅检测当前的空间坐标而且检测左转或右转（偏航）、侧向倾斜（翻滚）或者向前或向后倾斜（俯仰）。由于对于6D定位来说仅使用地面纹理过渡并且借此并不需要深度信息，所以无需检测或跟踪具有3D位置的地标。此外，所使用的参考地图不必包含用于地标的3D信息。借此，与已知方法相比，显著降低了在计算时间和存储器需求方面的要求。
根据本发明的一个实施方式，在这种情况下，从对所述车辆的当前位置和朝向的估计和/或对所述至少一个摄像机的初始校准出发，确定在所探测到的地面纹理过渡与在所述全局参考地图中针对所估计的位置和朝向的地面纹理过渡之间的初始变换参数。基于所述变换参数，将所探测到的地面纹理过渡投影到所述车辆周围环境的地平面上。为此，计算针对所述偏差的优化度量并将其与针对可接受偏差的阈值进行比较。如果不低于所述阈值，则更改所述变换参数，并且迭代地继续进行该过程，直到低于所述阈值为止。
优选地，在这种情况下，基于对所述车辆的当前位置和朝向的估计和/或对所述至少一个摄像机的初始校准，从具有地面纹理过渡的所述全局参考地图中选择部分片段，并且将被投影到所述车辆周围环境的地平面上的地面纹理过渡与在所述全局参考地图的所选择的部分片段中的地面纹理过渡之间的偏差最小化。
在这种情况下，可以借助于卫星导航来确定对所述当前位置的估计并且借助于电子罗盘来确定所述车辆的朝向。
替代地或附加地，可以借助于里程计测量方法基于所述车辆的已知的先前位置和朝向来确定对所述车辆的当前位置和朝向的估计。
在这种情况下，所述地面纹理过渡尤其可以基于所述车辆周围环境在地平面上的不同区域的不同表面质地。
此外，所述全局参考地图有利地从鸟瞰图中再现了街道和与街道相邻的地理细节的概括表示。
根据本发明的一个实施方式，所述概括表示以距离场的形式来设计，所述距离场分别针对参考地图的第一对象类别的点指明到最接近的第二对象类别的点的距离。
根据本发明的另一实施方式，在这种情况下，视所述车辆周围环境的相邻区域的对象类别而定，设置多种不同类型的地面纹理过渡，其中针对不同类型的地面纹理过渡分别单独地将被投影到所述车辆周围环境的地平面上的地面纹理过渡与在所述全局参考地图中的地面纹理过渡之间的偏差最小化，并且将得到的结果组合起来以确定用于所述车辆的当前位置和朝向的参数。
根据本发明的另一实施方式，在所述地面纹理过渡的区域中，附加地针对利用所述至少一个摄像机所检测的图像的像素以传感器技术方式来检测高度信息，其中对于所述全局参考地图的各个点来说同样存在高度信息，而且其中使所检测的图像的像素和所述全局参考地图的点尽可能好地彼此重合。
在这种情况下，优选地，利用人造神经网络来生成各个像素的分类信息。
相对应地，根据本发明的用于确定车辆的地理位置和朝向的设备包括：至少一个摄像机，用于检测所述车辆的车辆周围环境的图像，其中所述至少一个摄像机在车辆中能布置为使得所检测的图像至少部分地包括所述车辆周围环境在地平面上的区域；和处理单元，所述处理单元
- 针对所检测的图像的各个像素分别生成分类信息，所述分类信息指明与多个预先给定的对象类别之一的关联，并且基于所述关联来执行所述图像的语义分割；
- 基于所述图像的语义分割来探测地面纹理过渡；
- 将所探测到的地面纹理过渡投影到所述车辆周围环境的地平面上；
- 将被投影到所述车辆周围环境的地平面上的地面纹理过渡与在全局参考地图中的地面纹理过渡之间的偏差最小化；以及
- 基于被最小化的偏差来输出所述车辆在空间内的当前位置和朝向。
根据本发明的另一实施方式，在这种情况下，设置3D传感器，所述3D传感器在所述地面纹理过渡的区域中附加地针对利用所述至少一个摄像机所检测的图像的像素生成高度信息。
在这种情况下，所述3D传感器优选地被设计为激光雷达传感器。
本发明也涉及一种机动车，在所述机动车中使用根据本发明的方法或根据本发明的设备。
本发明的其它特征结合附图从随后的描述以及权利要求书中可见。
附图说明
图1示意性地示出了根据本发明的方法的流程图；
图2示意性地示出了基于摄像机校准参数和所估计的车辆姿态将摄像机像素投影到地平面上的示例；
图3示意性地示出了交叉路口区域（A）、该交叉路口区域的地面纹理过渡（B）和该交叉路口区域的距离场（C）的航拍图像的示例；
图4示意性地示出了用摄像机来拍摄的交叉路口区域（A）的图像、该图像的像素与多个对象类别之一的关联（B）、经分类的像素到地平面上的投影（C）以及由此得到的地面纹理过渡（D）；
图5针对来自图3的示例再次示出了根据经分类的像素到地平面上的投影而得到的地面纹理过渡（A）、基于对车辆的位置和朝向的估计而在距离场中的这些地面纹理过渡（B）以及这些地面纹理过渡到参考地图上的相对应的投影（C）；和
图6示意性地示出了具有根据本发明的设备的机动车。
具体实施方式
为了更好地理解本发明的原理，随后依据附图更详细地阐述了本发明的实施方式。易于理解的是：本发明并不限于这些实施方式而且所描述的特征也可以组合或者修改，而不脱离本发明的保护范围，如该保护范围在权利要求书中限定的那样。
图1示意性地示出了根据本发明的用于确定车辆的地理位置和朝向的方法的流程图，该方法尤其可以被用于自动驾驶或部分自动驾驶的车辆的自定位。在这种情况下，以下解释涉及单个图像，但该单个图像通常是图像序列或视频序列的一部分。
根据方法步骤1，首先利用图像传感器来检测具有大量像素的图像，所述图像传感器可以集成在摄像机中。在这种情况下，所述图像尤其可以作为彩色图像、例如作为RGB信号存在，其中对于各个像素来说分别存在三个基本颜色——红色、绿色和蓝色的颜色值。所述图像同样可以作为灰度图像存在，其中于是对于各个像素来说分别存在一个灰度值。在这种情况下，通过所述图像传感器，尤其是可以检测可见光，但是替代地或附加地也可以检测红外光。在这种情况下，通过所述图像传感器或所述摄像机的取向，将这些像素与图像传感器或摄像机坐标系关联。
在随后的方法步骤2中，借助于神经网络针对每个像素生成分类信息，该分类信息指明与多个预先给定的对象类别之一的关联。这里，神经网络12尤其可以是所谓的“卷积神经网络（Convolutional Neural Network）”，其中神经元布置在一个或多个“卷积层（Convolutional Layer）”中，并且通过离散卷积来计算这些神经元的活动。在这种情况下，所述卷积层之后通常是“池化层（Pooling Layer）”，在所述池化层中将多余的信息丢弃。
基于此，在方法步骤3中，通过语义分割、即所谓的“语义像素标记（SemantischePixel Labeling）”将所检测的图像划分成不同的区段，诸如对象类别“车道”、“汽车”、“行人”、“交通标志”、“建筑物””、“边缘绿化带”或“天空”的区域。由于语义像素标记也经常在自动驾驶的其它模块中使用，所以在这种情况下，该结果可以共同被用于根据本发明的姿态确定以及所提到的其它模块，从而于是仅形成微小的额外计算花费。
在方法步骤4中，确定位于地平面上的区段，例如车道区域、诸如停车场那样的相邻的边缘区域、人行道/步行道或绿化区域、例如用于使多个车道彼此分隔或用于识别人行横道的车道标线、用于使街道的不同区域彼此分隔并且用于固定绿化带和车道边缘或道路边缘的路边石、或者用于街道排水的街道沟渠。然后，针对这些区段确定纹理过渡，即向地平面上的其它对象类别的过渡。这样，例如确定位于路边石区段与车道区段之间的边界上的像素。所有动态对象以及不在地平面上并且因此会使所述摄像机图像到地平面上的投影失真的静态对象没有被用于匹配。
然后，从对所述车辆的当前位置和朝向的估计以及对所述图像传感器或所述摄像机的初始校准出发，在方法步骤5中确定用于基于旋转和平移的变换CTG的初始变换参数，通过所述初始变换参数可以使所探测到的地面纹理过渡与在全局参考地图中针对所估计的位置和朝向的地面纹理过渡近似重合。在这种情况下，所述变换参数尤其可以通过3个笛卡尔（平移）坐标和3个旋转参数来给定，所述3个笛卡尔（平移）坐标在坐标系的x轴、y轴和z轴上描述了在3D空间中的位置，所述3个旋转参数说明了围绕这些轴的旋转角度（朝向）。为了在不同坐标系之间换算坐标，典型地，将平移参数表示为3D向量，并且将朝向参数表示为3x3旋转矩阵。
然后，利用在所述全局参考地图之内针对所述变换CTG的初始估计，在随后的方法步骤6中将来自所述摄像机图像的所探测到的地面纹理过渡投影到地平面上。
然后，在方法步骤7中，计算被投影到所述车辆周围环境的地平面上的地面纹理过渡与在全局参考地图中的地面纹理过渡之间的偏差，并且在方法步骤8中将该偏差与针对所需要的一致性品质的预定义阈值进行比较。如果应该已经低于所述阈值，则在方法步骤10中输出当前3D位置和围绕三个空间轴的朝向，以用于进一步的处理步骤、尤其是用于自动驾驶功能。
但是，在大多数情况下，原始投影还没有精确到足以满足为此所预定义的优化度量。那么，在这些情况下，在迭代过程中针对所更改的变换参数重新执行投影，并计算针对该经校正的投影所得到的偏差，然后将所述偏差再次与所述阈值进行比较。该过程迭代地继续下去，直到低于所述阈值为止。因此，在这种情况下，从针对对应于粗略的初始定位和校准的变换CTG的初始估计出发，校正所述变换CTG并且这样将针对所述车辆的当前位置和朝向的误差最小化。
在图2中示出了属于地面纹理过渡的摄像机像素的投影。在摄像机姿态已知的情况下，即在摄像机坐标系C与地面坐标系G之间的变换CTG已知的情况下，摄像机像素m到地平面上的投影M作为所述摄像机的视线与所述地平面之间的交点而得到。
存在不同的途径来最小化一致性误差并确定最佳的变换参数组。这样，在特定界限之内，可以选择随机参数值并且在迭代的范畴内任意改变这些随机参数值，而且然后可以输出误差最小的参数组。同样，例如通过应用“梯度下降（Gradient descent）”优化算法，可以定义成本函数并且将其最小化，所述“梯度下降（Gradient descent）”优化算法通过在所述参数方面的迭代改变而朝着成本函数的最小值的方向收敛。
此外，也可以通过人造神经网络来计算在所检测到的地面纹理过渡与从注释的参考地图中获取的地面纹理过渡之间的具有最小偏差的变换或单应性。
在这种情况下，所述优化也可以首先针对每种过渡类型单独进行并且紧接着予以组合。
作为优化度量，例如可以确定所检测到的地面纹理过渡与针对刚刚驶过的街道区域的距离场（英语：“distance map”，距离图）的偏差。为此，必须事先以鸟瞰图产生参考地图，例如由专门产生数字地图的服务提供商来以鸟瞰图产生参考地图。这在图3中以交叉路口区域为例示出。
首先，图3A示意性地示出了交叉路口区域的航拍图像。然后，针对所述航拍图像，基于与地平面关联的预定义的对象类别来确定地面纹理过渡。因此对所述航拍图像中的地面纹理过渡进行突出显示11，从某种程度来说是进行标记。这在图3B中再现。
基于此，针对所述交叉路口区域生成距离场12，在该距离场中，每个点的值都反映出到最近的地面纹理过渡的距离。这在图3C中示出。然后，例如可以将如下平均距离用作针对所检测到的地面纹理过渡的偏差的优化度量并将其最小化，该平均距离可通过这些距离的平方和来求得。
然后，将图3中示出的“离线（offline）”产生的地图数据与通过所述车辆探测到的地面纹理过渡进行比较。为此，必须首先从利用所述车辆的摄像机所拍摄的图像中生成所述地面纹理过渡。这在图4中又以先前已经考虑的交叉路口区域为例来阐明。
在图4A中，首先示意性地示出了利用所述摄像机来拍摄的所述交叉路口区域的图像。在这种情况下，能清楚地看到位于自身车辆前方且交叉路处在一定距离的车道13。所述车道旁的左侧存在有树的绿化带，而在右侧的车道边缘处，柏油路过渡到辅路。也能看出位于所述车辆前方的人行横道14，在车道边缘处的停放的车辆、骑自行车的人和路牌。
现在，通过语义像素标记来使该图像的像素与多个不同的对象类别关联，如在图4B中所示。这样，将在可行驶的柏油路区域中的像素与一个对象类别关联。以相同的方式将在图4A中所示的其它对象的区域中的像素与相对应的对象类别关联。通过这种方式，将利用所述摄像机所拍摄的图像分割为不同的区域，其中首先所有定义的对象类别仍然存在。
图4C示意性地示出了到地平面上的投影，以用于阐明来自图4B的分割后的图像。这里，还能看出不同对象类别的不同区段。但是，针对所有像素的这种完整投影对于进一步处理不是必需的，因为对于根据本发明的方法而言，仅取决于地面纹理过渡15、16。这些地面纹理过渡在图4D中示出。在这种情况下，能清楚地看出左和右车道边缘15以及人行横道16的走向。
对于来自图4的示例，图5A首先再次示出了根据经分类的像素到地平面上的投影而得到的地面纹理过渡15、16。如在图5B中所示，基于对所述车辆的位置和朝向的估计将这些地面纹理过渡投影到在图3C中所示的针对所考虑的交叉路口区域的距离场中。图5C示出了这些地面纹理过渡到参考地图上的相对应的投影。然后，在迭代优化的范畴内，一直适配用于以三个空间坐标平移的变换参数tx、ty、tz和用于围绕三个空间轴旋转的变换参数rx、ry、rz，直到满足所需要的一致性品质为止。
图6示意性地示出了具有根据本发明的设备的自身车辆EF。该机动车具有至少一个摄像机K，用于检测位于所述车辆前方的车辆周围环境。在这种情况下，所述摄像机例如可以建造在前格栅中，但同样可以处在能够不受干扰地检测所述车辆周围环境的其它建造位置。也可以设置其它摄像机和/或其它类型的传感器，如激光雷达传感器或雷达传感器。在这种情况下，所述摄像机作为前置摄像机具有对位于所述机动车前方的车辆周围环境的检测区EB，该检测区例如覆盖在水平方向120°和在水平方向90°的范围。在这种情况下，所述摄像机布置为使得所检测的图像至少部分地包括所述车辆周围环境在地平面上的区域，如尤其是所述车辆行驶的街道。
所述摄像机每秒产生多个高分辨率RGB图像、例如具有在百万像素范围内的分辨率的RGB图像，并将这些RGB图像输送给处理单元V。在该处理单元中，借助于神经网络将RGB图像的每个像素与多个对象类别之一关联并进行已经提到的语义分割，以便基于此来探测在所检测的图像中的地面纹理过渡，所述地面纹理过渡被投影到地平面上。
此外，设置姿态确定单元P，该姿态确定单元根据车辆内部GPS传感器的GPS数据来确定大致的当前车辆位置并且借助于电子罗盘来确定所述车辆的大致的当前朝向，而且同样将关于此的信息输送给处理单元V。然后，处理单元V借助于该信息从存在于数据库DB中的具有地面纹理过渡的全局参考地图中确定用于进一步处理的部分片段。在这种情况下，数据库DB尤其可以是导航单元的一部分。
然后，处理单元V执行优化方法，以便：将被投影到地平面上的地面纹理过渡与在所述全局参考地图的所述部分片段中的地面纹理过渡之间的偏差最小化；并且基于此以相对于所述估计显著改善的精度来确定所述车辆的当前位置和朝向，并且将所述车辆的当前位置和朝向用于接下来的处理步骤；或者将所述车辆的当前位置和朝向输出到未示出的其它处理和操控单元，用于自动驾驶功能或也包括其它驾驶员辅助功能。
附加地，可以设置在图中未示出的3D传感器、例如激光雷达传感器，所述3D传感器附加地针对利用所述摄像机所检测的图像的像素生成高度信息，然后所述高度信息可以被用于进一步提高精度。
本发明尤其可以被用于运行自动驾驶的机动车。此外，本发明例如也可以在其它无人驾驶运输***或移动机器人中使用。但是，本发明并不限于陆地车辆，而是也可以被用于飞机和船舶。
附图标记列表
1 检测车辆周围环境的图像
2 针对各个像素生成分类信息
3 图像的语义分割
4 探测地面纹理过渡
5 确定用于所估计的姿态的初始变换参数
6 投影到车辆周围环境的地平面上
7 计算投影与参考地图之间的偏差
8 查询偏差是否低于阈值
9 更改变换参数
10 输出当前位置和朝向
11 航拍图像的地面纹理过渡
12 距离场
13 位于自身车辆前方的车道
14 人行横道
15 车道的所投影的地面纹理过渡
16 人行横道的所投影的地面纹理过渡
C 摄像机坐标系
G 地面坐标系
EF 自身车辆
BF 对象类别“行人”的像素区域
K 摄像机
V 处理单元
EB 检测区
DB 数据库
P 姿态确定单元。

Claims (15)

1.一种用于确定车辆的地理位置和朝向的方法，其中
- 利用所述车辆的至少一个摄像机来检测（1）车辆周围环境的图像，其中所检测的图像至少部分地包括所述车辆周围环境在地平面上的区域；
- 针对所检测的图像的各个像素分别生成（2）分类信息，所述分类信息指明与多个预先给定的对象类别之一的关联，并且基于所述关联来进行（3）所述图像的语义分割；
- 基于所述图像的语义分割来探测（4）地面纹理过渡；
- 将所探测到的地面纹理过渡投影（6）到所述车辆周围环境的地平面上；
- 将被投影到所述车辆周围环境的地平面上的地面纹理过渡与在全局参考地图中的地面纹理过渡之间的偏差最小化（7、8、9）；以及
- 基于被最小化的偏差来输出（10）所述车辆在空间内的当前位置和朝向。
2.根据权利要求1所述的方法，其中，从对所述车辆的当前位置和朝向的估计和/或对所述至少一个摄像机的初始校准出发，确定（5）在所探测到的地面纹理过渡与在所述全局参考地图中针对所估计的位置和朝向的地面纹理过渡之间的初始变换参数；基于所述变换参数将所探测到的地面纹理过渡投影（56）到所述车辆周围环境的地平面上；为此计算（7）针对所述偏差的优化度量并将所述优化度量与针对可接受偏差的阈值进行比较（8），如果不低于所述阈值，则更改（9）所述变换参数，并且迭代地继续进行该过程，直到低于所述阈值为止。
3.根据权利要求2所述的方法，其中，基于对所述车辆的当前位置和朝向的估计和/或对所述至少一个摄像机的初始校准，从具有地面纹理过渡的所述全局参考地图中选择部分片段，并且将被投影到所述车辆周围环境的地平面上的地面纹理过渡与在所述全局参考地图的所选择的部分片段中的地面纹理过渡之间的偏差最小化（6、7、8）。
4.根据权利要求3所述的方法，其中，借助于卫星导航来确定对所述当前位置的估计并且借助于电子罗盘来确定所述车辆的朝向。
5.根据权利要求3或4所述的方法，其中，借助于里程计测量方法基于所述车辆的已知的先前位置和朝向来确定对所述车辆的当前位置和朝向的估计。
6.根据前述权利要求中任一项所述的方法，其中，所述地面纹理过渡基于所述车辆周围环境在地平面上的不同区域的不同表面质地。
7.根据前述权利要求中任一项所述的方法，其中，所述全局参考地图从鸟瞰图中再现了街道和与所述街道相邻的地理细节的概括表示。
8.根据权利要求7所述的方法，其中，所述概括表示以距离场的形式来设计，所述距离场分别针对参考地图的第一对象类别的点指明到最接近的第二对象类别的点的距离。
9.根据前述权利要求中任一项所述的方法，其中，视所述车辆周围环境的相邻区域的对象类别而定，设置多种不同类型的地面纹理过渡，针对不同类型的地面纹理过渡分别单独地将被投影到所述车辆周围环境的地平面上的地面纹理过渡与在所述全局参考地图中的地面纹理过渡之间的偏差最小化（6），并且将得到的结果组合起来以确定用于所述车辆的当前位置和朝向的参数。
10.根据前述权利要求中任一项所述的方法，其中，在所述地面纹理过渡的区域中，附加地针对利用所述至少一个摄像机所检测的图像的像素以传感器技术方式来检测高度信息，而且对于所述全局参考地图的各个点来说同样存在高度信息，而且其中，使所检测的图像的像素和所述全局参考地图的点尽可能好地彼此重合。
11.根据前述权利要求中任一项所述的方法，其中，利用人造神经网络来生成各个像素的分类信息。
12.一种用于确定车辆的地理位置和朝向的设备，所述设备具有：至少一个摄像机（K），用于检测所述车辆的车辆周围环境的图像，其中所述至少一个摄像机在车辆中能布置为使得所检测的图像至少部分地包括所述车辆周围环境在地平面上的区域；和处理单元（V），所述处理单元
- 针对所检测的图像的各个像素分别生成分类信息，所述分类信息指明与多个预先给定的对象类别之一的关联，并且基于所述关联来执行所述图像的语义分割；
- 基于所述图像的语义分割来探测地面纹理过渡；
- 将所探测到的地面纹理过渡投影到所述车辆周围环境的地平面上；
- 将被投影到所述车辆周围环境的地平面上的地面纹理过渡与在全局参考地图中的地面纹理过渡之间的偏差最小化；以及
- 基于被最小化的偏差来输出所述车辆在空间内的当前位置和朝向。
13.根据权利要求12所述的设备，其中，设置3D传感器，所述3D传感器在所述地面纹理过渡的区域中附加地针对利用所述至少一个摄像机所检测的图像的像素生成高度信息。
14.根据权利要求13所述的设备，其中，所述3D传感器被设计为激光雷达传感器。
15.一种机动车，所述机动车为了自动或部分自动驾驶功能而被设立为：执行根据权利要求1至11中任一项所述的方法或者具有根据权利要求12、13或14所述的设备。
CN202010331318.3A 2019-04-26 2020-04-24 用于确定车辆的地理位置和朝向的方法和设备 Active CN111856491B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019206036.6 2019-04-26
DE102019206036.6A DE102019206036A1 (de) 2019-04-26 2019-04-26 Verfahren und Vorrichtung zur Bestimmung der geografischen Position und Orientierung eines Fahrzeugs

Publications (2)

Publication Number Publication Date
CN111856491A true CN111856491A (zh) 2020-10-30
CN111856491B CN111856491B (zh) 2023-12-22

Family

ID=70289611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010331318.3A Active CN111856491B (zh) 2019-04-26 2020-04-24 用于确定车辆的地理位置和朝向的方法和设备

Country Status (5)

Country Link
US (1) US11573091B2 (zh)
EP (1) EP3731187B1 (zh)
CN (1) CN111856491B (zh)
DE (1) DE102019206036A1 (zh)
ES (1) ES2949030T3 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677502A (zh) * 2022-05-30 2022-06-28 松立控股集团股份有限公司 一种任意倾斜角度的车牌检测方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11080890B2 (en) * 2017-07-28 2021-08-03 Qualcomm Incorporated Image sensor initialization in a robotic vehicle
US11548433B2 (en) 2019-12-06 2023-01-10 Karma Automotive Llc Automotive directional dark area pathway illumination
EP3871192B1 (en) * 2019-12-26 2024-03-27 Google LLC Orientation determination for mobile computing devices
DE102020133634A1 (de) 2020-12-16 2022-06-23 Valeo Schalter Und Sensoren Gmbh Erstellen einer Tiefenkarte
DE102020134119B3 (de) 2020-12-18 2021-12-23 Audi Aktiengesellschaft Verfahren zur Lokalisierung eines Kraftfahrzeugs in einer Assistenzkarte, Kraftfahrzeug, Computerprogramm und elektronisch lesbarer Datenträger
CN113865600B (zh) * 2021-09-28 2023-01-06 北京三快在线科技有限公司 一种高精地图的构建方法及装置
US20230126833A1 (en) * 2021-10-21 2023-04-27 Argo AI, LLC System and method for simultaneous online lidar intensity calibration and road marking change detection
CN114018215B (zh) * 2022-01-04 2022-04-12 智道网联科技(北京)有限公司 基于语义分割的单目测距方法、装置、设备及存储介质
GB2615073A (en) * 2022-01-25 2023-08-02 Mercedes Benz Group Ag A method for correcting a pose of a motor vehicle, a computer program product, as well as an assistance system
CN114119758B (zh) * 2022-01-27 2022-07-05 荣耀终端有限公司 获取车辆位姿的方法、电子设备和计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014127777A2 (de) * 2013-02-19 2014-08-28 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands
CN107144285A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 位姿信息确定方法、装置和可移动设备
WO2018104563A2 (en) * 2016-12-09 2018-06-14 Tomtom Global Content B.V. Method and system for video-based positioning and mapping
EP3343431A1 (en) * 2016-12-28 2018-07-04 Volvo Car Corporation Method and system for vehicle localization from camera image
KR101880185B1 (ko) * 2017-12-22 2018-07-19 한화시스템(주) 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법
CN108960183A (zh) * 2018-07-19 2018-12-07 北京航空航天大学 一种基于多传感器融合的弯道目标识别***及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7873238B2 (en) * 2006-08-30 2011-01-18 Pictometry International Corporation Mosaic oblique images and methods of making and using same
GB201116958D0 (en) * 2011-09-30 2011-11-16 Bae Systems Plc Use of synthetic overhead images for vehicle localisation
EP2958054B1 (en) * 2014-06-18 2024-07-03 Mobileye Vision Technologies Ltd. Hazard detection in a scene with moving shadows
EP3248029A4 (en) * 2015-01-19 2018-10-03 The Regents of the University of Michigan Visual localization within lidar maps
US9632502B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US9630619B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Robotic vehicle active safety systems and methods
US9946264B2 (en) * 2016-03-22 2018-04-17 Sharp Laboratories Of America, Inc. Autonomous navigation using visual odometry
CN106802954B (zh) * 2017-01-18 2021-03-26 中国科学院合肥物质科学研究院 无人车语义地图模型构建方法及其在无人车上的应用方法
EP3574285A4 (en) 2017-01-27 2020-12-02 Kaarta, Inc. LASER SCAN DEVICE WITH REAL-TIME ESTIMATE OF CLEAN MOTION ONLINE
US10430968B2 (en) 2017-03-14 2019-10-01 Ford Global Technologies, Llc Vehicle localization using cameras
US10176596B1 (en) * 2017-07-06 2019-01-08 GM Global Technology Operations LLC Calibration verification methods for autonomous vehicle operations
US20190347808A1 (en) * 2018-05-09 2019-11-14 Ford Global Technologies, Llc Monocular Visual Odometry: Speed And Yaw Rate Of Vehicle From Rear-View Camera
DE102018210072B4 (de) * 2018-06-21 2020-08-20 Volkswagen Aktiengesellschaft Verfahren zum Kalibrieren eines funkbasierten schlüssellosen Zugangssystems eines Kraftfahrzeugs, Zugangssystem und Kraftfahrzeug

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014127777A2 (de) * 2013-02-19 2014-08-28 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands
WO2018104563A2 (en) * 2016-12-09 2018-06-14 Tomtom Global Content B.V. Method and system for video-based positioning and mapping
EP3343431A1 (en) * 2016-12-28 2018-07-04 Volvo Car Corporation Method and system for vehicle localization from camera image
CN107144285A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 位姿信息确定方法、装置和可移动设备
KR101880185B1 (ko) * 2017-12-22 2018-07-19 한화시스템(주) 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법
CN108960183A (zh) * 2018-07-19 2018-12-07 北京航空航天大学 一种基于多传感器融合的弯道目标识别***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高凯珺 等: "基于深度学习的无人车夜视图像语义分割", 《应用光学》, vol. 38, no. 3, pages 421 - 428 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677502A (zh) * 2022-05-30 2022-06-28 松立控股集团股份有限公司 一种任意倾斜角度的车牌检测方法

Also Published As

Publication number Publication date
EP3731187A1 (de) 2020-10-28
US11573091B2 (en) 2023-02-07
DE102019206036A1 (de) 2020-10-29
US20200340817A1 (en) 2020-10-29
ES2949030T3 (es) 2023-09-25
CN111856491B (zh) 2023-12-22
EP3731187B1 (de) 2023-06-07

Similar Documents

Publication Publication Date Title
CN111856491B (zh) 用于确定车辆的地理位置和朝向的方法和设备
US11675084B2 (en) Determining yaw error from map data, lasers, and cameras
JP7073315B2 (ja) 乗物、乗物測位システム、及び乗物測位方法
US11270131B2 (en) Map points-of-change detection device
KR102128851B1 (ko) 제1 랜드마크의 글로벌 위치를 결정하는 방법 및 시스템
KR102558055B1 (ko) 차선의 추정 방법
EP3842754A1 (en) System and method of detecting change in object for updating high-definition map
US20200232800A1 (en) Method and apparatus for enabling sequential groundview image projection synthesis and complicated scene reconstruction at map anomaly hotspot
Smadja et al. Road extraction and environment interpretation from LiDAR sensors
CN110859044A (zh) 自然场景中的集成传感器校准
Lee et al. AVM/LiDAR sensor based lane marking detection method for automated driving on complex urban roads
WO2022041706A1 (zh) 一种定位方法、定位***和车辆
Moras et al. Drivable space characterization using automotive lidar and georeferenced map information
JP6989284B2 (ja) 車両位置推定装置及びプログラム
JP2018077162A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US11579622B2 (en) Systems and methods for utilizing images to determine the position and orientation of a vehicle
EP2047213B1 (en) Generating a map
US10249056B2 (en) Vehicle position estimation system
CN114659513B (zh) 一种面向非结构化道路的点云地图构建与维护方法
CN110717007A (zh) 应用路侧特征辨识的图资定位***及方法
US11976939B2 (en) High-definition maps and localization for road vehicles
Velat et al. Vision based vehicle localization for autonomous navigation
Belaroussi et al. Vehicle attitude estimation in adverse weather conditions using a camera, a GPS and a 3D road map
TW202115616A (zh) 應用路側特徵辨識之圖資定位系統及方法
JP7302966B2 (ja) 移動体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant