CN110186467A - 群感测点云地图 - Google Patents

群感测点云地图 Download PDF

Info

Publication number
CN110186467A
CN110186467A CN201910120460.0A CN201910120460A CN110186467A CN 110186467 A CN110186467 A CN 110186467A CN 201910120460 A CN201910120460 A CN 201910120460A CN 110186467 A CN110186467 A CN 110186467A
Authority
CN
China
Prior art keywords
pose
vehicle
point cloud
dimensional
dimensional point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910120460.0A
Other languages
English (en)
Other versions
CN110186467B (zh
Inventor
F·阿哈默德
邱航
F·白
R·戈文丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
University of Southern California USC
Original Assignee
GM Global Technology Operations LLC
University of Southern California USC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC, University of Southern California USC filed Critical GM Global Technology Operations LLC
Publication of CN110186467A publication Critical patent/CN110186467A/zh
Application granted granted Critical
Publication of CN110186467B publication Critical patent/CN110186467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

提供了用于控制自主车辆的***和方法。在一个实施例中，一种方法包括：从车辆的传感器接收传感器数据；从传感器数据来确定三维点云地图段；确定与三维点云地图段相关联的车辆位姿；基于该车辆位姿、另一车辆位姿、以及两步过程来确定位姿差异，其中，两步过程包括：计算粗粒度位姿差异、以及计算细粒度位姿差异；基于位姿差异使三维点云地图段与同另一车辆位姿相关联的另一三维点云地图段对齐；以及基于所对齐的三维点云地图段来控制车辆。

Description

群感测点云地图
引言
本公开大体上涉及自主车辆，并且更具体地涉及用于构建数字地图且基于数字地图来控制车辆的***和方法。
自主车辆是能够感知其环境并且在具有很少或者没有用户输入的情况下进行航行的车辆。自主车辆使用诸如雷达、激光雷达(LiDAR)、图像传感器等感知装置来感知其环境。自主车辆进一步使用来自全球定位***(GPS)技术、导航***、车间通信、车辆至基础设施技术、以及/或者线控***的信息来使车辆航行。
尽管自主车辆和半自主车辆与传统车辆相比提供许多潜在优点，但在某些情况下，可能令人期望的是车辆的改进操作。例如，在某些情况下，由环境构建高精度数字地图并且使用这些地图来使车辆航行。通常，数字地图是离线构建的并且被发送至车辆。
这些地图(通常被称为HD(高清晰度)地图)建立在从比如激光雷达、雷达以及立体相机等数据密集型传感器收集到的数据的基础上。HD地图将需要包含十字路口、道路标志、交通信号灯、车道标志线、人行道以及甚至是比如移动车辆和行人等动态物体的准确位置。在现实世界中，所有自主车辆都将通过使用比如视觉测程法等技术使用这些HD地图来进行定位和导航。构建具有恰当数量的细节、准确性、以及精度的HD地图对工业界和学术界均是一项巨大的挑战。
相应地，令人期望的是提供用于构建HD地图的***和方法。进一步令人期望的是提供用于基于HD地图来控制自主车辆的方法和***。此外，在结合附图和前述技术领域和背景技术来看时，本公开的其它令人期望的特征和特性将从随后的详细描述和所附权利要求书中变得显而易见。
发明内容
提供了用于控制自主车辆的***和方法。在一个实施例中，一种方法包括：从车辆的传感器接收传感器数据；从传感器数据来确定三维点云地图段；确定与三维点云地图段相关联的车辆位姿；基于该车辆位姿、另一车辆位姿、以及两步过程来确定位姿差异，其中，两步过程包括：计算粗粒度位姿差异、以及计算细粒度位姿差异；基于位姿差异使三维点云地图段与同另一车辆位姿相关联的另一三维点云地图段对齐；以及基于所对齐的三维点云地图段来控制车辆。
在各个实施例中，粗粒度位姿差异是基于两个轨迹之间的均方误差来进行计算。在各个实施例中，细粒度位姿差异是基于图像平面重投影误差最小化方法来进行计算。
在各个实施例中，方法进一步包括：使用细粒度位姿差异基于迭代最近点收敛方法来确定转换数据，并且其中，对齐是基于该转换数据。在各个实施例中，确定车辆位姿是基于来自传感器数据的二维特征集、与二维特征集相关联的三维点云、以及图像平面重投影误差最小化方法。在各个实施例中，二维特征集与静态特征相关联，并且其中，三维点云与静态特征相关联。
在各个实施例中，确定车辆位姿是基于来自传感器数据的第一二维特征集、来自传感器数据的第二二维特征集、与第一二维特征集相关联的第一三维点云、与第二二维特征集相关联的第二三维点云、以及图像平面重投影误差最小化方法。在各个实施例中，第一二维特征集与静态特征相关联，其中，第一三维点云与静态特征相关联，其中，第二二维特征集与动态特征相关联，并且其中，第二三维点云与动态特征相关联。
在各个实施例中，方法进一步包括：基于特征的置信度来合并所对齐的三维点云地图段的特征。在各个实施例中，合并各个特征进一步是基于多方(multi-partite)匹配方法。
在各个实施例中，方法进一步包括：基于所对齐的三维点云地图段和多方匹配方法来对车辆进行定位。
在另一实施例中，提供了一种用于控制自主车辆的计算机实施***。该***包括非暂时性计算机可读介质。非暂时性计算机可读介质包括：地图段生成模块，该地图段生成模块配置为从车辆的传感器接收传感器数据，以及从传感器数据来确定三维点云地图段；位姿确定模块，该位姿确定模块配置为确定与三维地图段相关联的车辆位姿；位姿差异确定模块，该位姿差异确定模块配置为基于车辆位姿、另一车辆位姿、以及两步过程来确定位姿差异，其中，两步过程包括：计算粗粒度位姿差异、以及计算细粒度位姿差异；对齐模块，该对齐模块配置为基于位姿差异使三维点云地图段与同另一车辆位姿相关联的另一三维地图段对齐；以及控制模块，该控制模块配置为基于所对齐的三维点云地图段来控制车辆。
在各个实施例中，粗粒度位姿差异是基于两个轨迹之间的均方误差来进行计算。在各个实施例中，细粒度位姿差异是基于图像平面重投影误差最小化方法来进行计算。
在各个实施例中，***进一步包括参考***转换模块，该参考***转换模块配置为使用细粒度位姿差异基于迭代最近点收敛方法来确定转换数据，并且其中，对齐模块基于转换数据来使三维点云地图对齐。
在各个实施例中，位姿确定模块基于来自传感器数据的二维特征集、与二维特征集相关联的三维点云、以及图像平面重投影误差最小化方法来确定车辆位姿。在各个实施例中，二维特征集与静态特征相关联，并且其中，三维点云与静态特征相关联。
在各个实施例中，位姿确定模块配置为基于来自传感器数据的第一二维特征集、来自传感器数据的第二二维特征集、与第一二维特征集相关联的第一三维点云、与第二二维特征集相关联的第二三维点云、以及图像平面重投影误差最小化方法来确定车辆位姿。
在各个实施例中，第一二维特征集与静态特征相关联，其中，第一三维点云与静态特征相关联，其中，第二二维特征集与动态特征相关联，并且其中，第二三维点云与动态特征相关联。
在各个实施例中，对齐模块配置为基于特征的置信度和多方匹配方法来合并所对齐的三维地图段的特征。
附图说明
下文将结合如下附图对示例性实施例进行描述，在附图中，相似的附图标记表示相似的元件，并且在附图中：
图1是根据各个实施例的图示了交通***的功能框图，该交通***具有与一个或多个自主车辆相关联的地图构建***；
图2是根据各个实施例的图示了自主车辆的功能框图，该自主车辆与图1的地图构建***相关联；
图3和图4是根据各个实施例的图示了自主驾驶***的数据流图，该自主驾驶***包括自主车辆的地图构建***；
图5和图6是不同的特征检测场景的视图；以及
图7是根据各个实施例的流程图，图示了用于构建用于控制自主车辆的地图的控制方法。
具体实施方式
如下详细描述在性质上仅仅是示例性的并且不意在限制本申请和使用。此外，并不意在受到在前述技术领域、背景技术、发明内容、或者如下详细描述中呈现的任何明示或者暗示理论的约束。如本文所使用的，术语“模块”指单独的或者呈任何组合的任何硬件、软件、固件、电子控制部件、处理逻辑、以及/或者处理器装置，包括但不限于：专用集成电路(ASIC)、电子电路、执行一个或多个软件或者固件程序的处理器(共享的、专用的或者成组的)和存储器、组合逻辑电路、以及/或者提供所描述的功能的其它合适部件。
本文可以按照功能和/或逻辑块部件以及各个处理步骤对本公开的实施例进行描述。应理解，这些块部件可以由配置为执行指定功能的任何数量的硬件、软件、和/或固件部件来实现。例如，本公开的实施例可以采用各种集成电路部件，例如，存储器元件、数字信号处理元件、逻辑元件、查阅表等，这些部件可以在一个或多个微处理器或者其它控制装置的控制下执行各种功能。此外，本领域的技术人员应理解，本公开的实施例可以与任何数量的***一起进行实践，并且本文所描述的***仅仅是本公开的示例性实施例。
为了简洁起见，本文可能不会对与信号处理、数据传输、信号发送、控制、以及***(和***的单个操作部件)的其它功能方面有关的常规技术进行详细描述。此外，在本文所包含的各个附图中示出的连接线意在表示各个元件之间的示例性功能关系和/或物理联接。应该注意的是，许多替代或者附加功能关系或者物理连接可以存在于本公开的实施例中。
参照图1，根据各个实施例，大体上在100处示出的地图构建***与交通***101相关联，交通***101包括一个或多个车辆10a-10n。通常，地图构建***100由从车辆10a-10n接收的地图段来构建稀疏的HD地图并且与车辆10a-10n共享稀疏的HD地图以用于车辆10a-10n的智能控制。地图构建***100进一步计算与地图段相关联的车辆位姿并且与车辆10a-10n共享该车辆位姿以用于使各个地图段对齐以创建稀疏的HD地图。
在各个实施例中，车辆10a-10n是自主车辆。例如，自主车辆是自动地受到控制以将乘客从一个位置运送至另一位置的车辆。在示例性实施例中，自主车辆10是所谓的四级或者五级自动化***。四级***指示“高度自动化”，指的是自动驾驶***对动态驾驶任务的所有方面的驾驶模式特定的性能，即使人工驾驶员并没有恰当地对干预请求作出响应。五级***指示“全自动化”，指的是自动驾驶***在所有道路和环境条件下对能够由人工驾驶员管理的动态驾驶任务的所有方面的全时性能。
图2图示了示例性自主车辆10。自主车辆10在所图示的实施例中被描绘为轿车，但应理解，也可以使用任何其它车辆，包括摩托车、卡车、运动型多用途车(SUV)、休闲车(RV)、海洋船舶、飞机等。如在图2中描绘的，自主车辆10通常包括底盘12、车身14、前轮16、以及后轮18。车身14被布置在底盘12上并且大体上围封车辆10的部件。车身14和底盘12可以联合地形成框架。车轮16-18分别在车身14的相应角部附近旋转地联接至底盘12。
如所示出的，自主车辆10通常进一步包括推进***20、传动***22、转向***24、制动***26、传感器***28、致动器***30、至少一个数据储存***32、至少一个控制器34、以及通信***36。在各个实施例中，推进***20可以包括内燃机、诸如牵引马达等电机、以及/或者燃料电池推进***。传动***22配置为根据可选速度比将动力从推进***20传递至车轮16-18。根据各个实施例，传动***22可以包括有级自动变速器、无级变速器、或者其它恰当的变速器。制动***26配置为给车轮16-18提供制动力矩。在各个实施例中，制动***26可以包括摩擦制动器、线控制动器、诸如电机等再生制动***、以及/或者其它恰当的制动***。转向***24影响车轮16-18的位置。尽管出于图示性目的而被描绘为包括转向盘，但在一些实施例中，在本公开的范围内设想了转向***24可以不包括转向盘。
传感器***28包括一个或多个感知装置40a-40n，一个或多个感知装置40a-40n用于感知自主车辆10的外部环境和/或内部环境的可观测条件。感知装置40a-40n可以包括但不限于：雷达、激光雷达、全球定位***、光学相机、热感相机、超声传感器、惯性测量单元、以及/或者其它传感器。致动器***30包括一个或多个致动器装置42a-42n，一个或多个致动器装置42a-42n控制一个或多个车辆特征，诸如，但不限于：推进***20、传动***22、转向***24、以及制动***26。在各个实施例中，车辆特征可以进一步包括内部和/或外部车辆特征，诸如，但不限于：车门、行李箱、以及诸如空气、音乐、灯光等车舱特征(并未标号)。
通信***36配置为无线地向和从其它实体48(诸如，但不限于：其它车辆(“V2V”通信)、基础设施(“V2I”通信)、远程***、以及/或者个人装置(关于图1进行了更加详细的描述))传达信息。在示例性实施例中，通信***36是无线通信***，该无线通信***配置为经由使用IEEE802.11标准的无线局域网(WLAN)或者通过使用蜂窝数据通信来进行通信。然而，在本公开的范围内也设想了附加或者替代通信方法，诸如，专用短程通信(DSRC)信道。DSRC信道指的是专门为汽车使用而设计的单向或者双向短程至中程无线通信信道以及对应的一套协议和标准。
数据储存装置32储存数据以用于自动地控制自主车辆10。在各个实施例中，数据储存装置32储存可航行环境的已定义地图。在各个实施例中，已定义地图包括在车辆在环境中航行时由车辆10构建的地图段。在各个实施例中，已定义地图包括由车辆10所构建的地图段和/或其它车辆所构建的地图段构建而成的HD地图。例如，HD地图可以由远程***(在图1中示出)组装并且被传达至车辆10(无线地和/或以有线方式)并且被储存在数据储存装置32中。如可以理解的，数据储存装置32可以是控制器34的一部分、与控制器32分离开、或者一部分属于控制器34且一部分属于单独***。
控制器34包括至少一个处理器44和计算机可读储存装置或者介质46。处理器44可以是任何定制的或者市场上可买到的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的多个处理器之间的辅助处理器、基于半导体的微处理器(呈微芯片或者芯片集的形式)、宏处理器、其任何组合、或者通常用于执行指令的任何装置。例如，计算机可读储存装置或者介质46可以包括只读存储器(ROM)、随机存取存储器(RAM)、以及磨损修正系数存储器(KAM)中的易失性和非易失性储存装置。KAM是能够用于在处理器44关闭时储存各种操作变量的持久性或者非易失性存储器。计算机可读储存装置或者介质46可以使用多个如下已知存储装置中的任一个来进行实施，诸如，PROM(可编程只读存储器)、EPROM(电可编程只读存储器)、EEPROM(电可擦可编程只读存储器)、闪存存储器、或者能够储存数据的任何其它电存储装置、磁存储装置、光学存储装置或者组合存储装置，其中一些数据表示可执行指令，控制器34使用可执行指令来控制自主车辆10。
指令可以包括一个或多个单独的程序，各个程序包括用于实施逻辑功能的可执行指令的有序列表。当由处理器44执行时，指令接收和处理来自传感器***28的信号，执行逻辑、计算、方法以及/或者算法以自动地控制自主车辆10的部件。当由处理器44执行时，指令评估在执行逻辑、计算、方法以及/或者算法以自动地控制自主车辆10的部件时所储存的高清晰度地图的数据。当由处理器44执行时，指令生成发送至致动器***30的控制信号以基于逻辑、计算、方法、以及/或者算法来自动地控制自主车辆10的部件。尽管在图1中仅仅示出了一个控制器34，但自主车辆10的实施例可以包括任何数量的控制器34，这些控制器34通过任何合适的通信介质或者通信介质的组合进行通信，并且进行协作以处理传感器信号，执行逻辑、计算、方法、以及/或者算法，并且生成控制信号以自动地控制自主车辆10的特征。
在各个实施例中，控制器34的一个或多个指令体现在地图构建***100中，并且当由处理器44执行时，处理从传感器***28接收到的数据以便从环境中提取三维(3D)特征并且将这些特征聚集到3D地图段中。地图段是包含所提取的3D特征以及一些数据结构的文件，这些数据结构描述了特征中的各个点之间的几何关系，用于定位软件。一个或多个指令储存所感知到的地图段并且连同元数据(时间戳、GPS、位姿等)将其传达至远程***52(图1)。一个或多个指令计算与地图段相关联的车辆位姿并且储存该车辆位置且将其传达至远程***52(图1)。
返回参照图1，在各个实施例中，交通***101包括一个或多个后端服务器***52，一个或多个后端服务器***52可以是基于云的、基于网络的、或者位于由交通***101提供服务的特定校园或地理位置处。服务器***52可以由真人顾问、或者自动化顾问、或者这两者的组合来操纵。服务器***52可以经由通信网络56与用户装置54和自主车辆10a-10n通信。
通信网络56根据需要支持操作环境所支持的装置、***和部件之间的通信(例如，经由有形通信链路和/或无线通信链路)。例如，通信网络56可以包括无线载波***60(诸如，包括多个手机信号塔的蜂窝电话***(未示出))、一个或多个移动交换中心(MSC，未示出)、以及使无线载波***60与陆地通信***连接所需要的任何其它网络部件。每个手机信号塔包括发送和接收天线以及基站，其中，来自不同手机信号塔的基站直接地或者经由中间设备(诸如，基站控制器)连接至MSC。无线载波***60可以实施任何合适的通信技术，例如，包括数字技术，诸如，CDMA(例如，CDMA2000)、LTE(例如，4G LTE或者5G LTE)、GSM/GPRS、或者其它当前的或者新兴的无线技术。其它手机信号塔/基站/MSC布置也是可能的并且可以与无线载波***60一起使用。例如，基站和手机信号塔可以共同位于相同地点或者其可以彼此相隔很远，每个基站可以负责单个手机信号塔或者单个基站可以为多个手机信号塔提供服务，或者多个基站可以联接至单个MSC，仅列举几种可能的布置。
除了包括无线载波***60之外，还可以包括呈卫星通信***64的形式的第二无线载波***，以便提供与自主车辆10a-10n的单向或者双向通信。这可以是使用一个或多个通信卫星(未示出)和上行传输站(未示出)来完成。例如，单向通信可以包括卫星无线电服务，其中，编程内容(新闻、音乐等)是由传输站接收，打包上传，并且然后发送至卫星，卫星将该程序播送给订户。例如，双向通信可以包括卫星电话服务，卫星电话服务使用卫星来转播车辆10与站之间的电话通信。卫星电话可以用于补充或者代替无线载波***60。
进一步可以包括陆地通信网络62，其是连接至一个或多个固定电话并且将无线载波***60连接至服务器***52的常规陆基电信网络。例如，陆地通信网络62可以包括公共交换电话网(PSTN)，诸如，用于提供硬接线电话、分组交换数据通信、以及互联网基础设施的公共交换电话网。陆地通信网络62的一个或多个分段可以通过如下网络的使用来进行实施：标准有线网络、光纤或者其它光学网络、电缆网络、电力线、其它无线网络(诸如，无线局域网(WLAN))、或者提供宽带无线接入(BWA)的网络、或者其任意组合。此外，服务器***52不需要经由陆地通信网络62进行连接，而是可以包括无线电话设备以便使得其可以直接与无线网络(诸如，无线载波***60)进行通信。
尽管在图2中仅仅示出了一个用户装置54，但操作环境的实施例可以支持任何数量的用户装置54，包括由一个人拥有、操作或者以其它方式使用的多个用户装置54。操作环境50所支持的每个用户装置54可以使用任何合适的硬件平台来实施。就此而言，用户装置54可以以任何常见形状因子来实现，包括但不限于：台式计算机；移动计算机(例如，平板计算机、膝上型计算机、或者上网本计算机)；智能手机；视频游戏装置；数字媒体播放器；一件家庭娱乐设备；数字相机或者摄像机；可穿戴计算装置(例如，智能手表、智能眼镜、智能服装)等。操作环境50所支持的每个用户装置54被实现为计算机实施的或者基于计算机的装置，该装置具有执行本文所描述的各个技术和方法所需要的硬件、软件、固件、以及/或者处理逻辑。
例如，用户装置54包括呈可编程装置的形式的微处理器，该可编程装置包括一个或多个指令，一个或多个指令被储存在内部存储结构中并且应用于接收二进制输入以创建二进制输出。在一些实施例中，用户装置54包括能够接收GPS卫星信号并且基于这些信号生成GPS坐标的GPS模块。在其它实施例中，用户装置54包括蜂窝通信功能以便使得该装置使用如本文所讨论的一个或多个蜂窝通信协议通过通信网络56来执行语音和/或数据通信。在各个实施例中，用户装置54包括视觉显示器(诸如，触屏图形显示器)、或者其它显示器。
在各个实施例中，服务器***52通过通信网络56从车辆10a-10n接收3D地图段并且将不同的地图段缝合在一起或者使其对齐以成为单个整体HD地图。反过来，服务器***52基于其它车辆的位置与其它车辆共享来自整体HD地图的对齐地图段以便帮助定位和导航。整体HD地图还实时地更新以便包含环境中的不断变化。环境中的变化可以包括道路沿线的新建筑、季节的变化、各个道路的开放和关闭等。如果针对车辆进入的特定区域没有包含这些变化，则车辆将无法对自身进行定位。
如可以理解的，本文所公开的主题为可被看作标准或基线自主车辆10和/或基于自主车辆的远程交通***101提供某些增强特征和功能。为此，可以对自主车辆和基于自主车辆的远程交通***进行修改、增强或者以其他方式进行补充，以便提供下文更加详细地描述的附加特征。
现在参照图3、图4和图5，其中，数据流图根据各个实施例更加详细地图示了地图构建***100。图3图示了在自主车辆10的自主驾驶***(ADS)70内(例如，在控制器34内(图1))实施的地图构建***10的特征。在各个实施例中，自主驾驶***70的指令可以按功能、模块或者***来进行组织。例如，如在图3中示出的，自主驾驶***70可以包括计算机视觉***74、定位***76、制导***78、以及车辆控制***80。如可以理解的，在各个实施例中，指令可以被组织到任何数量的***中(例如，组合的***、进一步划分的***等)，因为本公开不限于本示例。
在各个实施例中，计算机视觉***74综合和处理传感器数据并且预测车辆10的存在、位置、分类、以及/或者环境的物体和特征的路径。在各个实施例中，计算机视觉***74可以包含来自多个传感器的信息，包括但不限于相机、激光雷达、雷达、以及/或者任何数量的其它类型的传感器。
定位***76处理传感器数据和其它数据以确定车辆10相对于环境的位置(例如，相对于地图的局部位置、相对于道路的车道的准确位置、车辆航向、速度等)。制导***78处理传感器数据和其它数据以确定车辆10要遵循的路径。车辆控制***80生成控制信号以用于根据所确定的路径来控制车辆10。
在各个实施例中，控制器34实施机器学习技术以协助控制器34的功能，诸如，特征检测/分类、障碍缓解、路线遍历、映射、传感器集成、地面真值确定等。
图1的地图构建***100的一个或多个部分可以被包括在ADS70内，例如，作为计算机视觉***74和/或定位***76的一部分，可以被包括在服务器***52内，或者可以部分地被包括在ADS70内且部分地被包括在服务器***52内。该实施方案可以取决于控制器34和/或服务器***52的储存能力、处理负载、蜂窝带宽、以及地图准确性而发生变化。出于示例性目的，地图构建***100被示出和描述为单个***82。
现在参照图4，在各个实施例中，地图构建***82包括位姿确定模块90、地图段生成模块92、位姿差异确定模块94、参考***转换模块96、对齐模块98、以及定位模块99。
地图段生成模块92将图像数据102接收作为输入。例如，图像数据102包括由车辆10的相机获取的立体视频图像。地图段生成模块92使用视频处理器来处理立体视频并且生成三维(3D)点云数据103，三维(3D)点云数据103包括在视频中识别出的特征的已识别3D点。
地图段生成模块92进一步基于3D点云和一个或多个稀疏化技术来生成3D地图段104。例如，地图段生成模块92每帧提取有限数量的点，去除冗余的3D点；并且监测用于多个帧的3D点云且仅仅储存最稳定的点，因而使3D地图段104更加稀疏。在车辆10(图2)沿着道路段前进时，将稀疏的3D点云集成到单个稀疏点云中。单个稀疏点云的各个点根据车辆10(图2)的起始位置进行定位。地图段生成模块92将3D地图段104设定至集成的稀疏3D点云。在各个实施例中，地图段生成模块92进一步计算3D地图段104中的各个点的置信度数据105。
位姿确定模块90将如下接收作为输入：图像数据102、3D点云数据103、以及全球定位***(GPS)数据106、以及例如由车辆10(图2)的传感器***28(图2)提供的惯性测量单元(IMU)数据107。位姿确定模块90基于所接收的数据102、106和107来估计车辆10(图2)的自我位姿108。
在各个实施例中，自我位姿108包括六个自由度(即，纬度、经度、高度、偏航角、纵摇和横摇)。位姿确定模块90基于在环境内识别出的静态特征和/或在环境内识别出的动态特征来估计自我位姿108。例如，位姿确定模块90由图像数据102来确定静态物体的二维(2D)特征集p_i(t)和/或动态物体的二维(2D)特征集q_i(t)。位姿确定模块90由3D点云数据103来确定静态物体p_i(t)和/或动态物体q_i(t)的三维(3D)点云p_i(t)。
基于2D特征集p_i(t)和/或2D特征集q_i(t)、以及3D点云P_i(t)和/或Q_i(t)，位姿确定模块90然后使用例如如下关系来确定自我位姿108：
其中，θ(t)表示车辆的当前驾驶状态的车辆位姿108。矢量(x、y、z、α、…)表示六个自由度(即，纬度、经度、高度、偏航角、纵摇和横摇)。
G(P_i(t),θ(t))表示用于静态物体的3D点云P_i(t)在自我位姿\θ(t)上的图像投影。因此，|p_i(t)-G(P_i(t),\θ(t)|提供用于使从3D空间至2D空间的任何重投影误差最小化的恰当\θ(t)值，这会识别被观测的所有静态物体。
相似地，G(Q_i(t),θ(t))是用于动态物体的3D点云Q_i(t)在自我位姿\θ(t)上的图像投影。因此，|q_i(t)-H(Q_i(t),\θ(t)|提供恰当\θ(t)值以便使得从3D空间至2D空间的重投影误差最小化，这会识别被观测的所有动态物体。
在这些实施例中，静态物体和动态物体均被发现并且一起用于找出使整体投影误差最小化的恰当\θ(t)，以便使得\θ(t)是六个自由度的最佳估计自我位姿。如可以理解的，在各个其它实施例中，位姿确定模块90仅仅使用静态物体来估计自我位姿108。在这些实施例中，可以使用视觉词袋(BoVW)技术或者其它图像分类技术来进一步识别不同的和相同的静态物体。如可以进一步理解的，在各个实施例中，可以实施不同于在方程式1中示出的关系来确定自我位姿108。
位姿差异确定模块94将如下接收作为输入：车辆10(图2)(被称为车辆A)的自我位姿108以及来自车辆10(图2)的另一区段或者另一车辆10a-10n(图1)(被称为车辆B)的至少一个其它估计自我位姿110。其它自我位姿110可以是以相似方式进行计算并且可以是经由车间通信、车辆至远程***通信、或者车辆至一切事物通信来接收。
位姿差异确定模块94将自我位姿与另一自我位姿之间的位姿差异112确定为：
δA(t)-δB(t) (2)
在各个实施例中，取决于另一自我位姿108来自何时何地，可以实时地或者非实时地确定位姿差异112。例如，如在图5中示出的，当两个车辆200、202分别在不同时隙206、208处检测到共同静态物体204时，可以非实时地针对给定位置计算位姿差异112。在另一示例中，如在图6中示出的，当两个车辆300、302同时在重叠区域中检测到共同物体(例如，在相同时隙中)时，可以实时地计算位姿差异。
返回参照图4，在各个实施例中，位姿差异确定模块94实施两步过程来确定位姿差异112。例如，第一步包括粗粒度位姿差异确定；并且第二步包括细粒度位姿差异精化。
例如，给定两个部分重叠的轨迹fA(x)和gB(x)，第一步计算初始位姿差异如果两个轨迹均覆盖/涵盖共同区域，则这两个轨迹可以被定义为重叠轨迹。例如，如果A覆盖位置0-10，B覆盖位置8-20，则A&B被定义为重叠轨迹。例如，重叠轨迹可以是使用GPS坐标来确定。例如，可以使用如下关系来确定初始位姿差异：
δAB＝arg minδABMSE[fA(x)，TδAB(gB(x))] (3)
其中，f_A(x)和g_B(x)是两个不同的驾驶区段，但其实际上(至少部分地)重叠。T_\θ(AB)是f(x)和g(x)两者之间的过渡/平移。换言之，如果找到最佳的平移/过渡/差异因子T_\θ(AB)，则fx和gx之间的均方误差值最小。由于该第一步在计算上是相对较轻的负载，所以其被用作预过滤器来消除许多潜在的匹配。所得到的T_\θ(AB)因子是计算负载较重的随后步骤的初始假设。如可以理解的，在各个实施例中，可以实施不同于在方程式3中示出的关系来确定初始位姿差异
在第二步中，使用上文提供的图像平面重投影误差最小化方法和作为二阶精化的视觉位置识别来获取更加精化的位姿差异估值112。
参考***转换模块96将位姿差异112接收作为输入。参考***转换模块96计算转换数据114，包括两个区段之间的转换矩阵。例如，通过将T_\θ(AB)用作初始确定范围，通过迭代最近点收敛机制将匹配的3D特征选择用于最终对齐，通过将转换矩阵T确定为：
其中，P_k和Q_K是两个点云集，我们怀疑这两个点云集重叠或者相同。Cov(P_K)和Cov(Q_k)是这两个点云集的协方差，其用于使下层表面模型对齐，这些下层表面模型是这些代表性点云集的更基本的(但隐藏的)结构。T()是从P_K点云空间至Q_K点云空间的转换/平移矩阵。T^T是平移矩阵T的转置矩阵。Dist(P_K-T(Q_K))是对应点云p_k和q_k的点到点欧几里得距离。这提供了最佳T()函数以便使得使整体MSE误差最小化。如可以理解的，在各个实施例中，可以实施不同于在方程式4中示出的关系来确定转换矩阵。
对齐模块98将如下接收作为输入：当前区段的3D地图段104、前一区段的3D地图段116、转换数据114、以及分别与3D地图段104、116相关联的地图段置信度数据105、118。对齐模块98使用前一3D地图段116和转换数据114来使当前3D地图段104对齐。
在各个实施例中，对齐模块98进一步基于置信度数据105、118来使当前地图段和前一地图段的特征对齐或者合并。例如，对齐模块98基于与限定特征相关联(或者接近限定特征)的点的置信度值来计算针对3D地图段104、116的每个特征的特征水平置信度得分。例如，可以将特征水平置信度C_f计算为：
C_f＝avg(C_tl，C_tr，C_bl，C_br，...，).(5)
其后，对齐模块98基于如下关系来计算针对每个特征的最终坐标P和最终置信度C：
对齐模块98然后使用例如多方匹配算法来群集这些特征，其中，相似性度量均考虑到描述符的汉明(hamming)规范距离和3D坐标加权欧几里得(Euclidean)距离：
smij＝αNormHamming(desi，desj)+β|pi-pj| (8)
在群集之后，对齐模块98将合并的特征点定义为如下：
对齐模块98将合并的特征点包含到已对齐段120中。
定位模块99将已对齐段120和图像数据124接收作为输入。定位模块99基于图像数据相对于已对齐地图段120来定位车辆10(图2)。例如，定位模块通过使已对齐地图段120数据和图像数据124之间的匹配特征的相似性度量最小化来计算车辆的位姿。具体地，所观测到的特征具有相对于相机的坐标系(坐标系c)。来自已对齐段120的特征具有整体坐标系w。对齐模块99由从坐标系c至w的转换矩阵(T_cw)来估计车辆/相机的位姿。优化问题的形式如下：
其中，i表示来自图像数据的已观测特征。J表示来自缝合的地图段的匹配特征。C_i表示已观测特征的置信度。C_j表示匹配的现有特征的置信度。并且sm_ij表示均考虑到描述符的汉明规范距离和3D坐标加权欧几里得距离的相似性度量：
smij＝αNormHamming(desi，desj)+β|pi-pj| (11)
如可以理解的，在各个实施例中，可以实施不同于在方程式1中示出的关系来确定相似性度量。
定位模块99然后使用转换矩阵(T_cw)来定位车辆10(图2)和提供定位数据122。
现在参照图7，并且继续参照图1至图6，流程图图示了根据本公开的控制方法400，控制方法400可以由图1的地图构建***100执行。如按照本公开可以理解的，方法内的操作顺序不限于如在图7中图示的相继执行，而是可以在适用的情况下且根据本公开按照一种或多种不同顺序来执行。在各个实施例中，方法400可以被安排为基于一个或多个预定事件来运行，并且/或者可以在自主车辆10和/或服务器***52的操作期间连续地运行。
在一个示例中，方法可以在405处开始。例如，如上文在410处讨论的，从图像数据102来确定3D点云数据103。在420处使用稀疏化技术来确定3D地图段104，例如，如上文所讨论的从图像数据102来确定。在430处确定自我位姿108，例如，如上文所讨论的。在440处基于两步过程来确定位姿差异，例如，如上文所讨论的。例如，如上文所讨论的，在450处使用迭代最近点机制来确定转换数据114。然后，在460处使用转换数据114来使两个3D地图段对齐。在470处基于置信度值使对齐的3D地图段的特征进行合并，例如，如上文所讨论的。然后，在480处基于对齐的3D地图段120来确定车辆10的定位。其后，方法可以结束。
尽管已经在前述详细描述中呈现了至少一个示例性实施例，但应理解，存在大量变型。还应理解，示例性实施例或者多个示例性实施例仅仅是示例，并且其并不意在以任何方式限制本公开的范围、适用性、或者配置。相反，前述详细描述将给本领域的技术人员提供方便的道路图以用于实施示例性实施例或者多个示例性实施例。应理解，在不背离如在所附权利要求书及其合法等效物中陈述的本公开的范围的情况下，可以对元件的功能和布置作出各种改变。

Claims (10)

1.一种用于控制自主车辆的方法，所述方法包括：
从所述车辆的传感器接收传感器数据；
从所述传感器数据来确定三维点云地图段；
确定与所述三维点云地图段相关联的车辆位姿；
基于所述车辆位姿、另一车辆位姿、以及两步过程来确定位姿差异，其中，所述两步过程包括：计算粗粒度位姿差异、以及计算细粒度位姿差异；
基于所述位姿差异使所述三维点云地图段与同所述另一车辆位姿相关联的另一三维点云地图段对齐；以及
基于所对齐的三维点云地图段来控制所述车辆。
2.根据权利要求1所述的方法，其中，所述粗粒度位姿差异是基于两个轨迹之间的均方误差来进行计算。
3.根据权利要求2所述的方法，其中，所述细粒度位姿差异是基于图像平面重投影误差最小化方法来进行计算。
4.根据权利要求3所述的方法，所述方法进一步包括：使用所述细粒度位姿差异基于迭代最近点收敛方法来确定转换数据，并且其中，所述对齐是基于所述转换数据。
5.根据权利要求1所述的方法，其中，所述的确定所述车辆位姿是基于来自所述传感器数据的二维特征集、与所述二维特征集相关联的三维点云、以及图像平面重投影误差最小化方法。
6.根据权利要求5所述的方法，其中，所述二维特征集与静态特征相关联，并且其中，所述三维点云与静态特征相关联。
7.根据权利要求1所述的方法，其中，所述的确定所述车辆位姿是基于来自所述传感器数据的第一二维特征集、来自所述传感器数据的第二二维特征集、与所述第一二维特征集相关联的第一三维点云、与所述第二二维特征集相关联的第二三维点云、以及图像平面重投影误差最小化方法。
8.根据权利要求7所述的方法，其中，所述第一二维特征集与静态特征相关联，其中，所述第一三维点云与静态特征相关联，其中，所述第二二维特征集与动态特征相关联，并且其中，所述第二三维点云与动态特征相关联。
9.根据权利要求1所述的方法，所述方法进一步包括：基于所述特征的置信度来合并所对齐的三维点云地图段的特征。
10.一种用于控制自主车辆的计算机实施***，所述计算机实施***包括：
非暂时性计算机可读介质，所述非暂时性计算机可读介质包括：
地图段生成模块，所述地图段生成模块配置为从所述车辆的传感器接收传感器数据，以及从所述传感器数据来确定三维点云地图段；
位姿确定模块，所述位姿确定模块配置为确定与所述三维地图段相关联的车辆位姿；
位姿差异确定模块，所述位姿差异确定模块配置为基于所述车辆位姿、另一车辆位姿、以及两步过程来确定位姿差异，其中，所述两步过程包括：计算粗粒度位姿差异、以及计算细粒度位姿差异；
对齐模块，所述对齐模块配置为基于所述位姿差异使所述三维点云地图段与同所述另一车辆位姿相关联的另一三维地图段对齐；以及
控制模块，所述控制模块配置为基于所对齐的三维点云地图段来控制所述车辆。
CN201910120460.0A 2018-02-23 2019-02-18 基于群感测点云地图的控制自主车辆的方法及计算机实施*** Active CN110186467B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/903616 2018-02-23
US15/903,616 US10529089B2 (en) 2018-02-23 2018-02-23 Crowd-sensed point cloud map

Publications (2)

Publication Number Publication Date
CN110186467A true CN110186467A (zh) 2019-08-30
CN110186467B CN110186467B (zh) 2023-07-07

Family

ID=67550652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910120460.0A Active CN110186467B (zh) 2018-02-23 2019-02-18 基于群感测点云地图的控制自主车辆的方法及计算机实施***

Country Status (3)

Country Link
US (1) US10529089B2 (zh)
CN (1) CN110186467B (zh)
DE (1) DE102019104482A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553353A (zh) * 2020-05-11 2020-08-18 北京小马慧行科技有限公司 3d点云的处理方法、装置、存储介质与处理器
CN111784837A (zh) * 2020-06-28 2020-10-16 北京百度网讯科技有限公司 高精地图生成方法和装置
CN112560818A (zh) * 2021-02-22 2021-03-26 深圳阜时科技有限公司 应用于窄条形指纹传感器的指纹识别方法及存储介质
CN112824997A (zh) * 2019-11-20 2021-05-21 通用汽车环球科技运作有限责任公司 用于局部行进车道感知的方法和***
CN113888624A (zh) * 2021-09-01 2022-01-04 北京三快在线科技有限公司 一种构建地图的方法及装置
WO2022133986A1 (en) * 2020-12-25 2022-06-30 SZ DJI Technology Co., Ltd. Accuracy estimation method and system
CN112824997B (zh) * 2019-11-20 2024-06-21 通用汽车环球科技运作有限责任公司 用于局部行进车道感知的方法和***

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11341677B2 (en) * 2018-03-01 2022-05-24 Sony Interactive Entertainment Inc. Position estimation apparatus, tracker, position estimation method, and program
JP7209333B2 (ja) * 2018-09-10 2023-01-20 国立大学法人 東京大学 関節位置の取得方法及び装置、動作の取得方法及び装置
CN112912927A (zh) * 2018-10-18 2021-06-04 富士通株式会社 计算方法、计算程序及信息处理装置
US11507084B2 (en) * 2019-03-27 2022-11-22 Intel Corporation Collaborative 3-D environment map for computer-assisted or autonomous driving vehicles
US11281917B2 (en) 2019-10-31 2022-03-22 Aptiv Technologies Limited Multi-domain neighborhood embedding and weighting of point cloud data
DE102019217264A1 (de) * 2019-11-08 2021-05-12 Continental Automotive Gmbh Verfahren zum Erkennen von Änderungen in Referenzdaten für geografische Daten
DE102019217263A1 (de) * 2019-11-08 2021-05-12 Continental Automotive Gmbh Verfahren zum Bestimmen einer Qualität von geografischen Daten
US11544569B2 (en) * 2019-11-21 2023-01-03 Tencent America LLC Feature map sparsification with smoothness regularization
CN111161353B (zh) * 2019-12-31 2023-10-31 深圳一清创新科技有限公司 车辆定位方法、装置、可读存储介质和计算机设备
CN113129369A (zh) * 2020-01-16 2021-07-16 北京京东乾石科技有限公司 一种点云地图初始化方法和装置
EP4104029A1 (en) * 2020-02-13 2022-12-21 The Toro Company Autonomous machine navigation with object detection and 3d point cloud
EP3893150A1 (en) * 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
CN111539070B (zh) * 2020-04-27 2022-03-08 南京航空航天大学 基于实测数据的翼身对接间隙分布控制方法
US11189049B1 (en) 2020-10-16 2021-11-30 Ford Global Technologies, Llc Vehicle neural network perception and localization
US20220178700A1 (en) * 2020-12-03 2022-06-09 Motional Ad Llc Localization based on surrounding vehicles
US11698270B2 (en) 2021-03-30 2023-07-11 Argo AI, LLC Method, system, and computer program product for iterative warping of maps for autonomous vehicles and simulators
WO2023006213A1 (en) * 2021-07-30 2023-02-02 Huawei Technologies Co., Ltd. Device and method for navigation
US20230126333A1 (en) * 2021-10-27 2023-04-27 GM Global Technology Operations LLC Scan matching and radar pose estimator for an autonomous vehicle based on hyper-local submaps
US11965978B2 (en) 2021-10-27 2024-04-23 GM Global Technology Operations LLC Calibration pipeline for estimating six degrees of freedom (6DoF) alignment parameters for an autonomous vehicle
US11977149B2 (en) 2021-10-27 2024-05-07 GM Global Technology Operations LLC Filtering and aggregating detection points of a radar point cloud for an autonomous vehicle

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130156262A1 (en) * 2011-12-19 2013-06-20 Yuichi Taguchi Voting-Based Pose Estimation for 3D Sensors
CN103308923A (zh) * 2012-03-15 2013-09-18 通用汽车环球科技运作有限责任公司 来自多个激光雷达的距离图像配准方法
CN103582803A (zh) * 2011-06-14 2014-02-12 克朗设备有限公司 共享与自动化工业车辆相关联的地图数据的方法和装置
CN103729882A (zh) * 2013-12-30 2014-04-16 浙江大学 一种基于三维曲线匹配的点云相对位姿估计方法
CN104035071A (zh) * 2012-03-15 2014-09-10 通用汽车环球科技运作有限责任公司 融合雷达/摄像机物体数据和LiDAR扫描点的方法和装置
CN104063894A (zh) * 2014-06-13 2014-09-24 中国科学院深圳先进技术研究院 点云三维模型重建方法及***
US20150036870A1 (en) * 2013-07-30 2015-02-05 The Boeing Company Automated graph local constellation (glc) method of correspondence search for registration of 2-d and 3-d data
US9052721B1 (en) * 2012-08-28 2015-06-09 Google Inc. Method for correcting alignment of vehicle mounted laser scans with an elevation map for obstacle detection
CN104778688A (zh) * 2015-03-27 2015-07-15 华为技术有限公司 点云数据的配准方法及装置
CN105045263A (zh) * 2015-07-06 2015-11-11 杭州南江机器人股份有限公司 一种基于Kinect的机器人自定位方法
CN105469405A (zh) * 2015-11-26 2016-04-06 清华大学 基于视觉测程的同时定位与地图构建方法
CN105856230A (zh) * 2016-05-06 2016-08-17 简燕梅 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法
CA2894863A1 (en) * 2015-06-22 2016-12-22 The Governing Council Of The University Of Toronto Indoor localization using crowdsourced data
US20160379366A1 (en) * 2015-06-25 2016-12-29 Microsoft Technology Licensing, Llc Aligning 3d point clouds using loop closures
CN106780576A (zh) * 2016-11-23 2017-05-31 北京航空航天大学 一种面向rgbd数据流的相机位姿估计方法
US20170169300A1 (en) * 2015-12-15 2017-06-15 Honda Motor Co., Ltd. System and method for image based vehicle localization
CN107025668A (zh) * 2017-03-30 2017-08-08 华南理工大学 一种基于深度相机的视觉里程计的设计方法
US20170242133A1 (en) * 2016-02-19 2017-08-24 Alper Yilmaz Systems, methods, and devices for geo-localization
GB201714972D0 (en) * 2017-09-18 2017-11-01 Jaguar Land Rover Ltd System and method for vehicle convoys
CN107328411A (zh) * 2017-06-30 2017-11-07 百度在线网络技术（北京）有限公司 车载定位***和自动驾驶车辆
CN107481281A (zh) * 2017-08-23 2017-12-15 上海微小卫星工程中心 相对位姿计算方法和装置及航天飞行器交会对接***
WO2018006082A2 (en) * 2016-07-01 2018-01-04 Uber Technologies, Inc. Autonomous vehicle control using submaps
CN107665503A (zh) * 2017-08-28 2018-02-06 汕头大学 一种构建多楼层三维地图的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3324209A1 (en) * 2016-11-18 2018-05-23 Dibotics Methods and systems for vehicle environment map generation and updating
US10223829B2 (en) * 2016-12-01 2019-03-05 Here Global B.V. Method and apparatus for generating a cleaned object model for an object in a mapping database
CN110832348B (zh) * 2016-12-30 2023-08-15 辉达公司 用于自主车辆的高清晰度地图的点云数据丰富
WO2019104188A1 (en) * 2017-11-22 2019-05-31 DeepMap Inc. Improving accuracy of global navigation satellite system based positioning using high definition map based localization

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103582803A (zh) * 2011-06-14 2014-02-12 克朗设备有限公司 共享与自动化工业车辆相关联的地图数据的方法和装置
US20130156262A1 (en) * 2011-12-19 2013-06-20 Yuichi Taguchi Voting-Based Pose Estimation for 3D Sensors
CN103308923A (zh) * 2012-03-15 2013-09-18 通用汽车环球科技运作有限责任公司 来自多个激光雷达的距离图像配准方法
CN104035071A (zh) * 2012-03-15 2014-09-10 通用汽车环球科技运作有限责任公司 融合雷达/摄像机物体数据和LiDAR扫描点的方法和装置
US9052721B1 (en) * 2012-08-28 2015-06-09 Google Inc. Method for correcting alignment of vehicle mounted laser scans with an elevation map for obstacle detection
US20150036870A1 (en) * 2013-07-30 2015-02-05 The Boeing Company Automated graph local constellation (glc) method of correspondence search for registration of 2-d and 3-d data
CN103729882A (zh) * 2013-12-30 2014-04-16 浙江大学 一种基于三维曲线匹配的点云相对位姿估计方法
CN104063894A (zh) * 2014-06-13 2014-09-24 中国科学院深圳先进技术研究院 点云三维模型重建方法及***
CN104778688A (zh) * 2015-03-27 2015-07-15 华为技术有限公司 点云数据的配准方法及装置
CA2894863A1 (en) * 2015-06-22 2016-12-22 The Governing Council Of The University Of Toronto Indoor localization using crowdsourced data
US20160379366A1 (en) * 2015-06-25 2016-12-29 Microsoft Technology Licensing, Llc Aligning 3d point clouds using loop closures
CN105045263A (zh) * 2015-07-06 2015-11-11 杭州南江机器人股份有限公司 一种基于Kinect的机器人自定位方法
CN105469405A (zh) * 2015-11-26 2016-04-06 清华大学 基于视觉测程的同时定位与地图构建方法
US20170169300A1 (en) * 2015-12-15 2017-06-15 Honda Motor Co., Ltd. System and method for image based vehicle localization
US20170242133A1 (en) * 2016-02-19 2017-08-24 Alper Yilmaz Systems, methods, and devices for geo-localization
CN105856230A (zh) * 2016-05-06 2016-08-17 简燕梅 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法
WO2018006082A2 (en) * 2016-07-01 2018-01-04 Uber Technologies, Inc. Autonomous vehicle control using submaps
CN106780576A (zh) * 2016-11-23 2017-05-31 北京航空航天大学 一种面向rgbd数据流的相机位姿估计方法
CN107025668A (zh) * 2017-03-30 2017-08-08 华南理工大学 一种基于深度相机的视觉里程计的设计方法
CN107328411A (zh) * 2017-06-30 2017-11-07 百度在线网络技术（北京）有限公司 车载定位***和自动驾驶车辆
CN107481281A (zh) * 2017-08-23 2017-12-15 上海微小卫星工程中心 相对位姿计算方法和装置及航天飞行器交会对接***
CN107665503A (zh) * 2017-08-28 2018-02-06 汕头大学 一种构建多楼层三维地图的方法
GB201714972D0 (en) * 2017-09-18 2017-11-01 Jaguar Land Rover Ltd System and method for vehicle convoys

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112824997A (zh) * 2019-11-20 2021-05-21 通用汽车环球科技运作有限责任公司 用于局部行进车道感知的方法和***
CN112824997B (zh) * 2019-11-20 2024-06-21 通用汽车环球科技运作有限责任公司 用于局部行进车道感知的方法和***
CN111553353A (zh) * 2020-05-11 2020-08-18 北京小马慧行科技有限公司 3d点云的处理方法、装置、存储介质与处理器
CN111553353B (zh) * 2020-05-11 2023-11-07 北京小马慧行科技有限公司 3d点云的处理方法、装置、存储介质与处理器
CN111784837A (zh) * 2020-06-28 2020-10-16 北京百度网讯科技有限公司 高精地图生成方法和装置
CN111784837B (zh) * 2020-06-28 2024-04-16 北京百度网讯科技有限公司 高精地图生成方法、装置、设备、存储介质和程序产品
WO2022133986A1 (en) * 2020-12-25 2022-06-30 SZ DJI Technology Co., Ltd. Accuracy estimation method and system
CN112560818A (zh) * 2021-02-22 2021-03-26 深圳阜时科技有限公司 应用于窄条形指纹传感器的指纹识别方法及存储介质
CN112560818B (zh) * 2021-02-22 2021-07-27 深圳阜时科技有限公司 应用于窄条形指纹传感器的指纹识别方法及存储介质
CN113888624A (zh) * 2021-09-01 2022-01-04 北京三快在线科技有限公司 一种构建地图的方法及装置

Also Published As

Publication number Publication date
DE102019104482A1 (de) 2019-08-29
US10529089B2 (en) 2020-01-07
CN110186467B (zh) 2023-07-07
US20190266748A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
CN110186467A (zh) 群感测点云地图
CN108574929B (zh) 用于自主驾驶***中的车载环境中的联网场景再现和增强的方法和设备
US10365650B2 (en) Methods and systems for moving object velocity determination
US11494937B2 (en) Multi-task multi-sensor fusion for three-dimensional object detection
CN109902552B (zh) 用于车道特征分类和定位的人工神经网络
CN108693876B (zh) 用于具有控制部件的车辆的目标跟踪***及方法
US20200298891A1 (en) Perception and Motion Prediction for Autonomous Devices
Furgale et al. Toward automated driving in cities using close-to-market sensors: An overview of the v-charge project
US11733353B2 (en) Object detection using local (ground-aware) adaptive region proposals on point clouds
WO2021178234A1 (en) System and method for autonomous vehicle systems simulation
US11842530B2 (en) Systems and methods for latent distribution modeling for scene-consistent motion forecasting
US11760385B2 (en) Systems and methods for vehicle-to-vehicle communications for improved autonomous vehicle operations
US10291898B2 (en) Method and apparatus for updating navigation map
CN109383423A (zh) 使用v2x通信***提高障碍意识的***和方法
CN108628301A (zh) 用于操作自动驾驶车辆的时间数据关联
CN110249609A (zh) 用于自主车辆的带宽约束图像处理
US20220261601A1 (en) Multiple Stage Image Based Object Detection and Recognition
US11762094B2 (en) Systems and methods for object detection and motion prediction by fusing multiple sensor sweeps into a range view representation
US20210279640A1 (en) Systems and Methods for Training Machine-Learned Models with Deviating Intermediate Representations
CN110126825A (zh) 用于低级别前馈车辆控制策略的***和方法
US20210158546A1 (en) Updated point cloud registration pipeline based on admm algorithm for autonomous vehicles
US20220137636A1 (en) Systems and Methods for Simultaneous Localization and Mapping Using Asynchronous Multi-View Cameras
CN110741223A (zh) 信息处理装置、信息处理方法以及程序
CN109552211A (zh) 用于自主车辆中的雷达定位的***和方法
CN109841080A (zh) 用于交通对象的检测、分类及地理定位的***和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant