CN110832275B - 基于双目图像更新高分辨率地图的***和方法 - Google Patents

基于双目图像更新高分辨率地图的***和方法 Download PDF

Info

Publication number
CN110832275B
CN110832275B CN201880002062.2A CN201880002062A CN110832275B CN 110832275 B CN110832275 B CN 110832275B CN 201880002062 A CN201880002062 A CN 201880002062A CN 110832275 B CN110832275 B CN 110832275B
Authority
CN
China
Prior art keywords
vehicle
point cloud
resolution map
high resolution
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880002062.2A
Other languages
English (en)
Other versions
CN110832275A (zh
Inventor
杨晟
马腾
屈孝志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Publication of CN110832275A publication Critical patent/CN110832275A/zh
Application granted granted Critical
Publication of CN110832275B publication Critical patent/CN110832275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/004—Map manufacture or repair; Tear or ink or water resistant maps; Long-life maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

本申请的实施例提供了一种用于更新高分辨率地图的***。所述***可以包括通信接口，该通信接口被配置成当车辆沿着轨迹行驶时接收由配备在车辆上的双目相机捕获的多个图像帧。所述***可以进一步包括存储器，被配置为存储高分辨率地图和多个图像帧。所述***还可以包括至少一个处理器。所述至少一个处理器可以被配置为基于各个图像帧来生成点云帧。所述至少一个处理器可以进一步被配置成使用点云帧来定位车辆。所述至少一个处理器可以进一步被配置为基于车辆位置合并点云帧。所述至少一个处理器还可以被配置为基于合并的点云来更新高分辨率地图的一部分。

Description

基于双目图像更新高分辨率地图的***和方法
【技术领域】
本申请涉及用于更新高分辨率地图的***和方法，尤其涉及一种基于双目相机捕获的图像来更新高分辨率地图的***和方法。
【背景技术】
自动驾驶技术在很大程度上依赖于精确的地图。例如，导航地图的准确性对自动驾驶车辆的功能至关重要，诸如定位、环境识别、决策制定和控制。高分辨率地图可以通过聚合由各种传感器、探测器和车辆上装备的其他设备在驾驶时获取的图像和信息来获得。例如，车辆可以配备有多个集成传感器，诸如LiDAR雷达、全球定位***(GPS)接收器、一个或多个惯性测量单元(IMU)传感器以及一个或多个相机，以捕获车辆行驶的道路或周围的事物的特征。捕获的数据可以包括，例如车道的中线或边界线坐标、事物(诸如建筑物、另一车辆、地标、行人或交通标志)的图像和坐标。
由于重新规划、新开发、建设和其他基础设施的变化，需要定期更新高分辨率地图以准确反映道路信息。例如，单车道的道路可以扩建为双车道的道路，并且相应地，道路标志、交通标志、交通信号灯以及诸如树木和建筑物的周围事物可能改变或移动。更新高分辨率地图通常需要派遣勘测车辆来重新勘测已改变的部分道路。然而，每次发生变化时，派出配备有LiDAR的价值百万美元的勘测车辆来获取地图数据，维护勘测车辆可能会导致相当大的成本，因此在经济上不可行。同时也可能需要大量的人工干预，这意味着需要更高的成本。另一方面，用低成本设备获取的低分辨率数据更新地图会损害地图的质量。例如，单眼相机不能提供重建三维(3-D)模型所需的深度信息。因此，需要一种改进的用于更新高分辨率地图的***和方法。
本申请的实施例通过基于由双目相机捕获的图像来更新高分辨率地图的方法和***来解决上述问题。
【发明内容】
本申请的实施例提供了一种用于更新高分辨率地图的***。所述***可以包括通信接口，该通信接口被配置成当车辆沿着轨迹行驶时接收由配备在车辆上的双目相机捕获的多个图像帧。所述***可以进一步包括存储器，被配置为存储高分辨率地图和多个图像帧。所述***还可以包括至少一个处理器。所述至少一个处理器可以被配置为基于各个图像帧来生成点云帧。所述至少一个处理器可以进一步被配置成使用点云帧来定位车辆。所述至少一个处理器可以进一步被配置为基于车辆位置合并点云帧。所述至少一个处理器还可以被配置为基于合并的点云来更新高分辨率地图的一部分。
本申请的实施例提供了一种用于更新高分辨率地图的方法。所述方法可以包括当车辆沿着轨迹行驶时，通过通信接口接收由配备在车辆上的双目相机捕获的多个图像帧。所述方法可以进一步包括由至少一个处理器基于各个图像帧生成点云帧。所述方法可以进一步包括由至少一个处理器使用所述点云帧定位所述车辆。所述方法可以进一步包括由至少一个处理器基于各个车辆位置合并所述点云帧。所述方法还可以包括由至少一个处理器基于合并的点云更新所述高分辨率地图的一部分。
本申请的实施例还提供了一种其上存储有指令的非暂时性计算机可读介质，所述指令在由一个或多个处理器执行时，导致所述一个或多个处理器实施用于更新高分辨率地图的方法。所述方法可以包括当车辆沿着轨迹行驶时，接收由配备在车辆上的双目相机捕获的多个图像帧。所述方法可以进一步包括基于各个图像帧生成点云帧。所述方法可以进一步包括使用所述点云帧定位所述车辆。所述方法可以进一步包括基于各个车辆位置合并所述点云帧。所述方法还可以包括基于合并的点云更新所述高分辨率地图的一部分。
本申请的一部分附加特性可以在下面的描述中进行说明。通过对以下描述和相应附图的检查或者对实施例的生产或操作的了解，本申请的一部分附加特性对于本领域技术人员是明显的。本披露的特性可以通过对以下描述的具体实施例的各种方面的方法、手段和组合的实践或使用得以实现和达到。
【附图说明】
图1是根据本申请一些实施例示出的配备有传感器的示例性车辆的示意图；
图2是根据本申请一些实施例示出的用于更新高分辨率地图的示例性***的框图；
图3是根据本申请一些实施例示出的用于更新高分辨率地图的示例性方法的流程图；
图4是根据本申请一些实施例示出的示例性双目图像采集过程；以及
图5是根据本申请一些实施例示出的示例性单个点云帧和示例性合并的点云。
【具体实施方式】
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。除非从语言环境中显而易见或另做说明，图中相同标号代表相同或相似的操作。
图1是根据本申请一些实施例示出的具有多个传感器140和150的示例性车辆100的示意图。与一些实施例一致的，车辆100可以是配置为获取用于构建高分辨率地图或三维(3-D)城市建模的数据的勘测车辆。可以设想，车辆100可以是电动车辆、燃料电池车辆、混合动力车辆或传统的内燃机车辆。车辆100可以具有车身110和至少一个车轮120。车身110可以是任何车身类型，例如跑车、轿跑车、轿车、皮卡车、旅行车、运动型多功能车(SUV)、小型货车或换乘车。在一些实施例中，车辆100可以包括一对前轮和一对后轮，如图1所示。然而，可以设想的是，车辆100可以具有更多或更少的轮子，或者具有使车辆100能够四处移动的等同结构。车辆100可以被配置为全轮驱动(AWD)、前轮驱动(FWR)或后轮驱动(RWD)。在一些实施例中，车辆100可以被配置为由占据车辆的操作员操作、远程控制和/或自主操作。
如图1所示，车辆100可以配备有经由安装结构130安装到车身110的传感器140。安装结构130可以是安装或以其他方式附接到车辆100的车身110的机电装置。在一些实施例中，安装结构130可以使用螺钉、粘合剂或其他安装结构。使用任何合适的安装结构，车辆100可以另外在主体110内部或外部配备传感器150。可以设想，传感器140或150可以配备在车辆100上的方式不受图1中所示的示例限制，并可根据传感器140/150的类型和/或车辆100进行修改以实现期望的感测性能。
在一些实施例中，传感器140和150可以配置为当车辆100沿着轨迹行驶时捕获数据。与本申请一致的，传感器140可以是配置为拍摄周围事物的图片或视频的双目相机。双目相机具有两个并排安装的光学***并对齐指向相同的方向。由于双目相机有双视点，双目相机拍摄的图像包含深度信息。可以设想，其他能够感测深度信息的合适的相机或传感器也可以使用。当车辆100沿着轨迹行驶时，传感器140可以连续捕获数据。在特定时间点捕获的每组场景数据被称为数据帧。例如，传感器140可以记录在多个时间点捕获的多个图像帧组成的视频。与本申请一致的，当车辆100沿着场景附近或周围的轨迹行驶时，传感器140可以捕获场景的一系列双目图像帧。双目图像帧可以实时(例如，通过流式传输)发送到服务器160，或者在车辆100完成整个轨迹之后共同发送到服务器160。
如图1所示，车辆100可以另外配备有传感器150，传感器150可以包括用于导航装置中的传感器，诸如GPS接收器和一个或多个IMU传感器。GPS是一种全球导航卫星***，为GPS接收器提供地理位置和时间信息。IMU是一种电子设备，它使用各种惯性传感器(诸如加速度计和陀螺仪，或者磁力计)来测量和提供车辆的比力、角速率、或者还包括车辆周围的磁场。通过组合GPS接收器和IMU传感器，传感器150可以提供车辆100在行驶时的实时姿态信息，包括车辆100在每个时间点的位置和方向(例如，欧拉角)。与本申请一致的，传感器150可以在传感器140捕获图像帧的相同时间点处对姿态信息进行测量。因此，姿态信息可以与各个图像帧相关联。在一些实施例中，图像帧及其相关联的姿态信息的组合可以用于定位车辆100。
与本申请一致的，传感器140和150可以与服务器160通信。在一些实施例中，服务器160可以是本地物理服务器、云服务器(如图1所示)、虚拟服务器、分布式服务器或任何其他合适的计算设备。与本申请一致的，服务器160可以存储高分辨率地图。在一些实施例中，高分辨率图最初可以使用由LiDAR激光扫描仪获取的点云数据构建。LiDAR通过用脉冲激光照射目标，并用传感器测量反射脉冲来测量与目标的距离。然后可以使用激光返回时间和波长的差异来构建目标的数字3-D模型。用于LiDAR扫描的光线可以是紫外线、可见光或近红外线。由于窄激光束可以以非常高的分辨率绘制物理特征，因此LiDAR扫描仪特别适用于高分辨率地图的勘测。
与本申请一致的，服务器160也可以负责不时地更新高分辨率地图以反映地图某些部分处的变化。当车辆100沿着移动物体附近的轨迹行驶时，服务器160可以获取在不同位置处捕获的移动物体的数据，而不是使用LiDAR重新勘测该区域。服务器160可以使用获取的数据来更新高分辨率地图。例如，服务器160可以从传感器140和150获得数据。服务器160可以经由网络(例如，无线局域网(WLAN)、广域网(WAN)、诸如无线电波/蜂窝网络/卫星通信网络的无线网络和/或本地无线网络或短程无线网络(蓝牙TM)与传感器140、150和/或车辆100的其他组件通信。
例如，图2是根据本申请一些实施例示出的用于更新高分辨率地图的示例***器160的框图。与本申请一致的，服务器160可以从传感器140接收双目图像帧，并且从传感器150接收车辆姿态信息。基于双目图像帧，服务器160可以生成3-D点云帧，随后与姿态信息一起用于沿着其行驶的轨迹定位车辆100。通过使用车辆位置，服务器160可合并、过滤或以其他方式聚合点云帧以重构需要更新的部分高分辨率地图的点云。在一些实施例中，服务器160可以基于要更新的部分的尺寸来确定如何更新地图。例如，如果该部分相对较小，例如交通标志或围栏，则可以使用合并的点云来更新地图。否则，如果该部分相当大，例如新开发的街区或扩建的道路，则服务器160可决定派遣配备有LiDAR的勘测车辆以重新勘测该部分。
在一些实施例中，如图2所示，服务器160可以包括通信接口202，处理器204，内存206和存储器208。在一些实施例中，服务器160可以在单个设备中具有不同模块，诸如集成电路(IC)芯片(实现为专用集成电路(ASIC)或现场可编程门阵列(FPGA))或具有专用功能的独立设备。在一些实施例中，服务器160的一个或多个组件可以位于云中，或者可以替代地位于单个位置(例如车辆100或移动设备的内部)或分布式位置。服务器160的组件可以在集成设备中，或者分布在不同的位置但是通过网络(未示出)彼此通信。
通信接口202可以经由通信电缆、无线局域网(WLAN)、广域网(WAN)、诸如无线电波的无线网络、蜂窝网络和/或本地无线网络或短程无线网络(蓝牙TM)等或其他通信方法将数据发送到诸如传感器140和150的组件并且从组件接收数据。在一些实施例中，通信接口202可以是集成服务数字网络(ISDN)卡、电缆调制解调器、卫星调制解调器或提供数据通信连接的调制解调器。作为另一个例子，通信接口202可以是局域网(LAN)卡，以提供兼容LAN的数据通信连接。无线链接也可以通过通信接口202来实现。在这样的实现方式中，通信接口202可以经由网络发送和接收携带代表各种类型信息的数字数据流的电信号、电磁信号或光信号。
与一些实施例一致的，通信接口202可以接收数据，诸如由传感器140捕获的包含图像帧203的视频，以及由传感器150捕获的姿态信息205。通信接口还可以将接收的数据提供给存储器208以存储或处理器204进行处理。通信接口202还可以接收由处理器204生成的点云，并且经由网络将点云提供给车辆100中的任何本地组件或任何远程设备。
处理器204可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器204可以被配置为专用于更新高分辨率地图的单独的处理器模块。或者，处理器204可以被配置为用于执行与彩色点云生成无关的其他功能的共享处理器模块。
如图2所示，处理器204可以包括多个模块，诸如点云生成单元210，定位单元212，点云合并单元214和地图更新单元216等。这些模块(以及任何相应的子模块或子单元)可以是处理器204的硬件单元(例如，集成电路的一部分)，被设计为与处理器204通过执行程序的至少一部分而实现的其他组件或软件单元一起使用。程序可以存储在计算机可读介质上，并且当由处理器204执行时，程序可以执行一个或多个功能。尽管图2示出了全部在一个处理器204内的单元210-216，但可以设想这些单元可以分布在位于彼此附近或彼此远程的多个处理器中。
点云生成单元210可以被配置为基于图像帧203生成点云帧。生成的点云帧可以是彩色点云帧。在一些实施例中，图像帧203可以是双目图像。点云生成单元210可以被配置为基于双目图像来估计双目视差图。双目视差指的是双目相机的左右光学***所看到的物体的图像位置的差异。在一些实施例中，可以使用图像块匹配方法来确定双目视差图。例如，从两个双目视点的图像中识别匹配的图像块以确定差异。在与本申请一致的一些实施例中，可以应用机器学***坦的道路的视差的图像块匹配方法，其必须依赖车道标线来提供深度信息。相反，机器学习方法可以提取更多的非纹理特征来辅助视差估计。
点云生成单元210可以从双目视差图中提取深度信息。图像像素的深度定义为图像像素和相机之间的距离。在一些实施例中，可以基于相机参数和基线长度提取深度信息。与本申请一致的，可以通过在车辆100执行勘测之前完成的传感器140的校准来获得相机参数。可选地，传感器150也可以在勘测之前校准。
然后，点云生成单元210可以映射并变换提取的深度信息以获得相机坐标系中的像素的3-D坐标。相应地，可以通过聚合该图像帧中的像素的3-D坐标来为每个图像帧生成3-D点云帧。在一些实施例中，点云生成单元210可以实时生成点云帧。
基于生成的3-D点云帧，定位单元212可以相对于行驶轨迹定位所述车辆，例如配备有传感器140的车辆100。在一些实施例中，车辆在轨迹上的位置可以根据图像帧被捕获时的时间点来确定。除了点云帧之外，定位单元212还可以提取附加位置信息以提高定位精度。例如，定位单元212可以使用由传感器150(诸如GPS接收器和一个或多个IMU传感器)获取的姿态信息205。姿态信息205可以在图像帧被捕获时的相应时间点实时采集。例如，实时姿态信息可以包括车辆100在每个时间点的位置和方向。在一些实施例中，定位单元212可以另外使用现有的高分辨率地图来帮助定位车辆100。
在一些实施例中，定位单元212可以使用粒子群优化(PSO)方法在车辆轨迹上迭代地定位车辆100。PSO方法是一种计算方法，通过迭代地改进关于给定质量度量的候选解决方案来优化问题。例如，定位单元212可以使用PSO方法来基于具有稀疏空间分布的姿态信息以生成车辆位置的粗略估计。当车辆100沿着轨迹移动时，并且在该过程可以获取更多信息，可以细化姿态信息的空间分布并且可以改善车辆位置的估计。定位单元212可以将估计的车辆姿态分布与高分辨率地图上的对应位置相匹配，由此在地图上定位车辆100。
在一些实施例中，车辆位置可以与相应的点云帧相关联。点云合并单元214可以被配置为根据相关联的车辆位置合并点云帧。例如，点云可以根据车辆位置在空间上交错以生成合并的点云。在一些实施例中，合并的浊点可以被过滤以增强平滑度并去除任何不均匀的数据点。在一些实施例中，点云合并单元214可以进一步将合并的浊点与高分辨率图的一部分进行匹配。例如，正态分布变换(NDT)方法可用于匹配。
地图更新单元216可以被配置为确定地图更新策略并相应地更新高分辨率地图。在一些实施例中，地图更新单元216可以确定由点云合并单元214匹配的部分地图的尺寸。例如，尺寸可以由匹配的部分地图的长度、宽度或面积来指示。在一些实施例中，地图更新单元216可将该部分的尺寸与预定尺寸阈值进行比较。如果所述尺寸小于阈值，例如，当部分地图是交通标志或围栏时，地图更新单元216可以使用合并的点云自动更新地图的该部分。如果该尺寸大于阈值，例如，当该部分地图是新开发的街区或扩建的道路时，地图更新单元216可以发起勘测请求以派遣配备有LiDAR的勘测车辆以重新勘测该区域。
在一些实施例中，处理器204可以包括传感器校准单元(未示出)，被配置为确定与传感器140或150相关联的一个或多个校准参数。在一些实施例中，传感器校准单元可以在车辆100、移动设备的内部，或以其他方式处于远离处理器204的位置。传感器校准，包括双目相机和定位传感器的校准，用于获得点云和图像之间的投影关系。传感器校准的准确性可能受到目标(例如，捕获的场景中的车辆100周围的物体)与传感器(例如，车辆100上配备的传感器140和150)之间的距离的影响。距离越小，校准可能越准确。传感器校准单元可以基于特征点的三维到二维变换关系来计算点云和匹配图像的一个或多个校准参数，诸如旋转矩阵和平移向量。为了提高校准精度，传感器校准单元可以基于点云段和车辆100之间的距离变化来提供不同的校准参数。
内存206和存储器208可以包括被提供来存储处理器204可能需要操作的任何类型的信息的任何适当类型的大容量存储器。内存206和存储器208可以是易失性或非易失性、磁性、半导体、磁带，光学、可移动、不可移动或其他类型的存储设备；或有形(即，非暂时性)计算机可读介质，包括但不限于不限于ROM、闪存、动态RAM和静态RAM。内存206和/或存储器208可以被配置为存储可以由处理器204执行以实现本申请公开的彩色点云生成功能的一个或多个计算机程序。例如，内存206和/或存储器208可以被配置为存储可以由处理器204执行的程序，以基于由双目相机捕获的图像帧来更新高分辨率地图。
内存206和/或存储器208可以被进一步配置为存储由处理器204使用的信息和数据。例如，内存206和/或存储器208可以被配置为存储各种类型的数据(例如，图像帧、姿态信息等等)和传感器140和150以及高分辨率地图。内存206和/或存储器208还可以存储中间数据，例如机器学习模型、双目视差图和点云等。各种类型的数据可以被永久地存储、周期性地移除、或者在每帧数据被处理之后立即忽略。
图3是根据本申请一些实施例示出的用于更新高分辨率地图的示例性方法300的流程图。在一些实施例中，方法300可以通过地图更新***来实现，该地图更新***尤其包括服务器160和传感器140和150。然而，方法300不限于该示例性实施例。方法300可以包括如下所述的步骤S302-S322。应该理解，执行本申请提供的公开内容的一些步骤是可选的。此外，一些步骤可以同时执行，或者以不同于图3所示的顺序执行。
在步骤S302中，校准传感器140和150中的一个或多个。在一些实施例中，车辆100可以被派遣用于校准行程以收集用于校准传感器参数的数据。校准可能会在进行实际勘测以更新地图之前进行。校准参数包括，例如旋转矩阵和平移矢量，用于将由双目相机(作为传感器140的示例)捕获的图像中的像素变换为相应点云中的特征点。还可以对包括诸如GPS接收器和一个或多个IMU传感器之类的定位设备的传感器150执行校准。
在步骤S304中，当车辆100沿着轨迹行驶时，传感器140可以捕获周围事物的视频。在一些实施例中，车辆100可以被派遣去勘测已知或怀疑已经改变的区域。当车辆100沿着轨迹移动时，传感器140可以捕获周围场景的视频。在一些实施例中，视频可由双目图像的多个帧构成，每个帧在车辆处于轨迹上的特定位置时在特定时间点被捕获。
例如，图4是根据本申请一些实施例示出的示例性双目图像采集过程。如图4所示，车辆100被派遣去勘测包括新交通标志410的区域。车辆100可沿着轨迹420行驶。在一些实施例中，轨迹420可以由服务器160预先确定并且作为勘测任务的一部分通知给车辆100。在一些其他实施例中，车辆100可以在勘测期间动态地且自适应地确定轨迹420，以便最佳地追踪和捕获交通标志410的数据。
当车辆100沿着轨迹420行驶时，传感器140可以捕获包括新交通标志410的区域的视频。视频可以包含在一组时间点处捕获的图像帧。例如，当传感器140是双目相机时，捕获的图像帧是双目图像。通常，在每两个时间点之间使用设定的时间间隔。例如，可以每1ms、2ms等捕获新的图像帧。车辆100处于与捕获图像帧时的每个时间点对应的不同位置。因此，每个图像帧可以与车辆位置相关联。例如，图像帧432与车辆位置P1相关联，图像帧434与车辆位置P2相关联，且图像帧436与车辆位置P3相关联。通过沿着轨迹420移动车辆100并连续捕获周围场景的图像帧，车辆100可捕获足以更新高分辨率地图的一部分的数据。
在一些实施例中，除了由传感器140捕获的图像帧之外，配备在车辆100上的传感器150(例如，包括GPS接收器和一个或多个IMU传感器)还可以获取车辆100的姿态信息，包括时间、位置和方向。如捕获图像帧一样，可以在相同的车辆位置(例如，P1，P2，P3...)和/或时间点处获取姿态信息。因此，在车辆位置P1、P2和P3处获取的姿态信息可以分别与图像432、434和436相关联。
在一些实施例中，捕获的数据(包括，例如图像帧和姿态信息)可以实时从传感器140/150传输到服务器160。例如，可以在数据可用时对其进行流式传输。数据的实时传输使得服务器160能够在捕获后续帧的同时逐帧处理数据。或者，数据可以在一部分或整个勘测完成后批量传输。
返回图3，在步骤S306中，服务器160可以基于在步骤S304中捕获的双目图像帧来估计双目视差图。双目图像的每一帧可以包括每一个由一个视点捕获的一对图像。这对图像之间的差异提供了深度信息，后续可以用来重建每个图像像素的3-D位置。在一些实施例中，服务器160可以采用图像块匹配方法，以通过比较由两个双目视点捕获的图像中的对应图像块来确定视差。与本申请一致的，服务器160可以替代地或附加地采用机器学***坦表面的区域，例如具有大部分平坦路面的道路。在一些实施例中，可以使用神经网络(例如，卷积神经网络)来处理双目图像并确定双目视差图。神经网络可以用大量样本脱机训练，然后应用于实时或接近实时地估计视差图。
在步骤S308中，服务器160可以基于步骤S306中估计的双目视差图和步骤S302中校准的传感器参数来确定深度信息。例如，服务器160可以基于双目视差图来确定像素与相机之间的距离。在一些实施例中，可以另外基于基线长度提取深度信息。
在步骤S310中，服务器160可以使用深度信息来映射每个图像像素并将其转换为相机坐标系。在一些实施例中，可以确定相机坐标系中的每个像素的3-D坐标。服务器160还可以聚合图像帧中所有像素的3-D坐标以构建与该图像帧对应的3-D点云。这种点云被称为点云帧。在一些实施例中，在经过良好训练的机器学习模型的帮助下，点云的生成可以是实时的。
在步骤S312中，服务器160可以使用在步骤S310中生成的点云帧来定位车辆100。例如，可以根据图像帧被捕获的时间点确定车辆在轨迹上的位置。在一些实施例中，服务器160可以另外使用由传感器150捕获的姿态信息来增强定位准确度，和/或使用存储在内存206/存储器208中的现有高分辨率地图。
在一些实施例中，PSO方法可以用于迭代地在轨迹上定位车辆100。例如，随着前几帧数据开始输入，PSO方法可以生成车辆姿态信息的空间分布的初始估计。初始估计可能很粗糙和稀疏。当车辆100沿着轨迹420移动并且更多的数据帧被发送到服务器160时，可以改进姿态信息的空间分布。在一些实施例中，估计的车辆姿态分布可以与现有的高分辨率地图匹配，以确定车辆100的位置。在一些实施例中，车辆位置可以与相应的点云帧相关联。
在步骤S314中，服务器160可以根据相关车辆位置合并点云帧。例如，根据车辆位置，点云可以在空间上交错。在一些实施例中，合并的浊点可以被过滤以增强平滑度并去除任何不均匀的数据点。在一些实施例中，在S316中合并的浊点可以与高分辨率地图的一部分匹配。例如，NDT方法可以用于匹配。图5是根据本申请一些实施例示出的示例性单个点云帧510和示例性合并的点云520。如图5所示，合并的点云520比点云帧510密集得多，并且更准确地反映场景的事物。
在步骤S318中，服务器160可以确定地图的匹配部分的尺寸是否小于预定阈值尺寸。在一些实施例中，尺寸可以由地图的匹配部分的长度、宽度或面积来指示。例如，如果尺寸小于阈值(S318：是)，则服务器160可以在步骤S320中使用合并的点云自动更新地图的该部分。如果尺寸大于阈值(S318：否)，则在步骤S322中，服务器160可以发起勘测请求以调度配备有LiDAR的勘测车辆以重新勘测区域。
统计数据显示，涉及面积较小的变化(如交通标志、围栏、行人道标线、交通信号灯)的变化可能比涉及大面积变化(例如新开发项目、急剧扩建道路或改道等)更为频繁。因此，使用提出的***和方法，服务器160可以使用便宜的双目相机执行大多数地图更新，而不是分派更昂贵的LiDAR勘测车辆。
本申请的另一方面针对存储指令的非暂时性计算机可读介质，所述指令在被执行时使得一个或多个处理器执行所述方法，如上所述。计算机可读介质可以包括易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的计算机可读介质或计算机可读存储设备。例如，如所公开的，计算机可读介质可以是其上存储有计算机指令的存储设备或内存模块。在一些实施例中，计算机可读介质可以是其上存储有计算机指令的盘或闪存驱动器。
显而易见的是，对于本领域技术人员而言，可以对所公开的***和相关方法进行各种修改和变化。考虑到所公开的***和相关方法的详述和实践，其他实施例对于本领域技术人员将是显而易见的。
以上说明书和示例仅是示例性的，真正的范围由所附权利要求及其等同物表示。

Claims (14)

1.一种更新高分辨率地图的***，包括：
通信接口，当车辆沿着轨迹行驶时，所述通信接口被配置成接收由配备在车辆上的双目相机捕获的多个图像帧；
存储器，被配置为存储所述高分辨率地图和多个图像帧；以及
至少一个处理器，被配置为：
基于各个图像帧生成点云帧；
使用所述点云帧定位所述车辆；
基于各个车辆位置合并所述点云帧；以及
若确定所述高分辨率地图的一部分小于阈值尺寸，则基于合并的点云更新所述高分辨率地图的一部分；若确定所述高分辨率地图的一部分大于阈值尺寸，则派遣配备有光探测和测距雷达的勘测车，对所述高分辨率地图的一部分进行勘测。
2.如权利要求1所述的***，其中，为了基于图像帧生成点云帧，所述至少一个处理器被配置为：
估计图像帧中每个像素的深度信息；以及
基于所述深度信息确定像素的三维坐标。
3.如权利要求2所述的***，其中，为了估计深度信息，所述至少一个处理器被配置为：
基于所述图像帧估计双目视差图；以及
使用所述双目视差图和双目相机的参数估计所述深度信息。
4.如权利要求3所述的***，其中，所述至少一个处理器被进一步配置为校准双目相机来确定所述双目相机的参数。
5.如权利要求3所述的***，其中，使用预先训练的神经网络来估计双目视差图。
6.如权利要求1所述的***，其中，为了定位所述车辆，所述至少一个处理器被进一步配置为：
基于所述点云帧和定位***获取的姿态信息生成所述车辆的位置信息；以及
将所述位置信息和所述高分辨率地图匹配。
7.如权利要求6所述的***，其中，所述定位***包括全球定位***或惯性测量单元中的至少一个。
8.一种更新高分辨率地图的方法，包括：
当车辆沿着轨迹行驶时，通过通信接口接收由配备在车辆上的双目相机捕获的多个图像帧；
由至少一个处理器基于各个图像帧生成点云帧；
由所述至少一个处理器使用所述点云帧定位所述车辆；
由所述至少一个处理器基于各个车辆位置合并所述点云帧；以及
由所述至少一个处理器若确定所述高分辨率地图的一部分小于阈值尺寸，则基于合并的点云更新所述高分辨率地图的一部分；若确定所述高分辨率地图的一部分大于阈值尺寸，则派遣配备有光探测和测距雷达的勘测车，对所述高分辨率地图的一部分进行勘测。
9.如权利要求8所述的方法，其中，基于图像帧生成点云帧包括：
估计图像帧中每个像素的深度信息；以及
基于所述深度信息确定像素的三维坐标。
10.如权利要求9所述的方法，其中，估计深度信息包括：
基于所述图像帧估计双目视差图；以及
使用所述双目视差图和双目相机的参数估计所述深度信息。
11.如权利要求10所述的方法，其中，进一步包括校准双目相机来确定所述双目相机的参数。
12.如权利要求10所述的方法，其中，进一步包括使用预先训练的神经网络来估计双目视差图。
13.如权利要求8所述的方法，其中，定位所述车辆进一步包括：
基于所述点云帧和定位***获取的姿态信息生成所述车辆的位置信息；以及
将所述位置信息和所述高分辨率地图匹配。
14.一种存储有计算机程序的非暂时性计算机可读介质，其中，所述计算机程序在由至少一个处理器执行时，实施用于更新高分辨率地图的方法，所述方法包括：
当车辆沿着轨迹行驶时，接收由配备在车辆上的双目相机捕获的多个图像帧；
基于各个图像帧生成点云帧；
使用所述点云帧定位所述车辆；
基于各个车辆位置合并所述点云帧；以及
若确定所述高分辨率地图的一部分小于阈值尺寸，则基于合并的点云更新所述高分辨率地图的一部分；若确定所述高分辨率地图的一部分大于阈值尺寸，则派遣配备有光探测和测距雷达的勘测车，对所述高分辨率地图的一部分进行勘测。
CN201880002062.2A 2018-06-14 2018-06-14 基于双目图像更新高分辨率地图的***和方法 Active CN110832275B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/091293 WO2019237307A1 (en) 2018-06-14 2018-06-14 Systems and methods for updating a high-resolution map based on binocular images

Publications (2)

Publication Number Publication Date
CN110832275A CN110832275A (zh) 2020-02-21
CN110832275B true CN110832275B (zh) 2021-05-18

Family

ID=68840143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880002062.2A Active CN110832275B (zh) 2018-06-14 2018-06-14 基于双目图像更新高分辨率地图的***和方法

Country Status (9)

Country Link
US (1) US10937231B2 (zh)
EP (1) EP3598874A4 (zh)
JP (1) JP2020525809A (zh)
CN (1) CN110832275B (zh)
AU (1) AU2018278901B2 (zh)
CA (1) CA3027055C (zh)
SG (1) SG11201811261SA (zh)
TW (1) TW202001924A (zh)
WO (1) WO2019237307A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10678244B2 (en) 2017-03-23 2020-06-09 Tesla, Inc. Data synthesis for autonomous control systems
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
CN109559349B (zh) * 2017-09-27 2021-11-09 虹软科技股份有限公司 一种用于标定的方法和装置
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
CN109191512B (zh) * 2018-07-27 2020-10-30 深圳市商汤科技有限公司 双目图像的深度估计方法及装置、设备、程序及介质
CN110827394B (zh) * 2018-08-10 2024-04-02 宏达国际电子股份有限公司 脸部表情建构方法、装置及非暂态电脑可读取记录媒体
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
SG11202103493QA (en) 2018-10-11 2021-05-28 Tesla Inc Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US11106922B2 (en) * 2019-02-26 2021-08-31 Toyota Research Institute, Inc. System and method for collecting data from lanes-of-interest
EP3712558A1 (en) * 2019-03-21 2020-09-23 Rovco Limited Surveying system for surveying in harsh environments
US11162798B2 (en) * 2019-05-13 2021-11-02 GM Cruise Holdings, LLC Map updates based on data captured by an autonomous vehicle
CN111028350B (zh) * 2019-11-21 2022-05-20 大连理工大学 一种利用双目立体相机构建栅格地图的方法
CN111460637B (zh) * 2020-03-20 2023-07-21 成都市环境保护科学研究院 基于数值方法的城市通风潜势定量评估方法
CN111462212B (zh) * 2020-03-26 2023-02-10 华南理工大学 一种针对双目测距的立体匹配成本体积构造的方法
CN111553844B (zh) 2020-04-29 2023-08-29 阿波罗智能技术(北京)有限公司 用于更新点云的方法及装置
CN113658262B (zh) * 2020-05-12 2023-06-13 杭州海康威视数字技术股份有限公司 相机外参标定方法、装置、***及存储介质
CN111649752B (zh) * 2020-05-29 2021-09-21 北京四维图新科技股份有限公司 拥堵路段的地图数据处理方法、装置以及设备
CN111722245B (zh) 2020-06-22 2023-03-10 阿波罗智能技术(北京)有限公司 定位方法、定位装置和电子设备
CN111815707B (zh) * 2020-07-03 2024-05-28 北京爱笔科技有限公司 点云确定方法、点云筛选方法、装置、计算机设备
CN112084937B (zh) * 2020-09-08 2021-03-19 清华大学 一种动态车辆检测方法
FR3120690B1 (fr) * 2021-03-15 2023-02-10 Psa Automobiles Sa Procédé et dispositif de détermination d’une fiabilité d’une cartographie base définition.
CN113935366B (zh) * 2021-09-30 2023-06-23 海南电网有限责任公司海南输变电检修分公司 点云单木分割自动分类方法
US20230280180A1 (en) * 2022-03-01 2023-09-07 Argo AI, LLC Systems and methods for performing data collection missions
CN116342827B (zh) * 2023-05-26 2023-08-08 厦门精图信息技术有限公司 一种地图元素三维呈现***及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106525057A (zh) * 2016-10-26 2017-03-22 陈曦 高精度道路地图的生成***
CN107656545A (zh) * 2017-09-12 2018-02-02 武汉大学 一种面向无人机野外搜救的自主避障与导航方法
CN108007453A (zh) * 2017-12-11 2018-05-08 北京奇虎科技有限公司 基于点云的地图更新方法、装置及电子设备
EP3324209A1 (en) * 2016-11-18 2018-05-23 Dibotics Methods and systems for vehicle environment map generation and updating

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009193240A (ja) * 2008-02-13 2009-08-27 Toyota Motor Corp 移動ロボット及び環境地図の生成方法
WO2010105714A1 (en) 2009-03-16 2010-09-23 Tele Atlas B.V. Method for updating digital maps using altitude information
TW201227604A (en) 2010-12-24 2012-07-01 Tele Atlas Bv Method for generating map data
JP6354120B2 (ja) * 2013-05-21 2018-07-11 株式会社デンソー 道路情報送信装置、地図生成装置、道路情報収集システム
WO2016138567A1 (en) * 2015-03-05 2016-09-09 Commonwealth Scientific And Industrial Research Organisation Structure modelling
US9589355B2 (en) * 2015-03-16 2017-03-07 Here Global B.V. Guided geometry extraction for localization of a device
US9612123B1 (en) * 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
JP6790417B2 (ja) * 2016-03-31 2020-11-25 ソニー株式会社 情報処理装置及び情報処理サーバ
US11086334B2 (en) * 2016-07-21 2021-08-10 Mobileye Vision Technologies Ltd. Crowdsourcing a sparse map for autonomous vehicle navigation
CN110392902B (zh) * 2016-08-19 2024-01-12 莫维迪厄斯有限公司 使用稀疏体积数据的操作
CN114627664A (zh) * 2016-08-26 2022-06-14 松下电器（美国）知识产权公司 三维信息处理方法以及三维信息处理装置
GB2553782B (en) * 2016-09-12 2021-10-20 Niantic Inc Predicting depth from image data using a statistical model
EP3324210B1 (en) * 2016-11-18 2020-07-29 Outsight Self-calibrating sensor system for a wheeled vehicle
CN106898249B (zh) * 2017-04-20 2018-05-01 中国石油大学(华东) 一种针对地震灾区通信失效区域的地图构建方法
EP3645972A4 (en) * 2017-06-30 2021-01-13 SZ DJI Technology Co., Ltd. CARD GENERATION SYSTEMS AND METHODS
CN107241441A (zh) * 2017-07-28 2017-10-10 深圳普思英察科技有限公司 一种新能源无人车车载地图更新方法和***
CN107246876B (zh) * 2017-07-31 2020-07-07 中北润良新能源汽车(徐州)股份有限公司 一种无人驾驶汽车自主定位与地图构建的方法及***
US10140530B1 (en) * 2017-08-09 2018-11-27 Wipro Limited Method and device for identifying path boundary for vehicle navigation
CN107856645B (zh) 2017-11-02 2020-06-26 宁波中令清洁技术有限公司 一种车辆清洗方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106525057A (zh) * 2016-10-26 2017-03-22 陈曦 高精度道路地图的生成***
EP3324209A1 (en) * 2016-11-18 2018-05-23 Dibotics Methods and systems for vehicle environment map generation and updating
CN107656545A (zh) * 2017-09-12 2018-02-02 武汉大学 一种面向无人机野外搜救的自主避障与导航方法
CN108007453A (zh) * 2017-12-11 2018-05-08 北京奇虎科技有限公司 基于点云的地图更新方法、装置及电子设备

Also Published As

Publication number Publication date
WO2019237307A1 (en) 2019-12-19
EP3598874A1 (en) 2020-01-29
AU2018278901B2 (en) 2020-07-16
CN110832275A (zh) 2020-02-21
CA3027055C (en) 2021-10-26
CA3027055A1 (en) 2019-12-14
EP3598874A4 (en) 2020-01-29
JP2020525809A (ja) 2020-08-27
SG11201811261SA (en) 2020-01-30
US10937231B2 (en) 2021-03-02
TW202001924A (zh) 2020-01-01
AU2018278901A1 (en) 2020-01-16
US20190385360A1 (en) 2019-12-19

Similar Documents

Publication Publication Date Title
CN110832275B (zh) 基于双目图像更新高分辨率地图的***和方法
CN111436216B (zh) 用于彩色点云生成的方法和***
AU2018282302B2 (en) Integrated sensor calibration in natural scenes
CN111448478B (zh) 用于基于障碍物检测校正高清地图的***和方法
CN112005079B (zh) 用于更新高清地图的***和方法
CN112136021A (zh) 用于构建基于地标的高清地图的***和方法
CN112424568A (zh) 构建高清地图的***和方法
WO2020118619A1 (en) Method for detecting and modeling of object on surface of road
CN113874681B (zh) 点云地图质量的评估方法和***
AU2018102199A4 (en) Methods and systems for color point cloud generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant