CN109313810A - 用于对环境进行测绘的***和方法 - Google Patents

用于对环境进行测绘的***和方法 Download PDF

Info

Publication number
CN109313810A
CN109313810A CN201780036702.7A CN201780036702A CN109313810A CN 109313810 A CN109313810 A CN 109313810A CN 201780036702 A CN201780036702 A CN 201780036702A CN 109313810 A CN109313810 A CN 109313810A
Authority
CN
China
Prior art keywords
voxel
electronic device
acquistion
probability distribution
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780036702.7A
Other languages
English (en)
Inventor
A·阿加穆哈马迪
K·索马孙达拉姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109313810A publication Critical patent/CN109313810A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/387—Organisation of map data, e.g. version management or database structures
    • G01C21/3881—Tile-based structures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

描述了一种用于通过电子装置对环境进行测绘的方法。所述方法包含获得传感器测量值的集合。所述方法还包含基于所述传感器测量值的集合确定分别对应于体素的集合的体素占用概率分布的集合。所述体素占用概率分布中的每一个表示在占用密度的范围内的体素的占用的概率。所述范围包含部分占用密度。

Description

用于对环境进行测绘的***和方法
相关申请
本申请涉及并且主张2016年7月6日递交的“用于对环境进行测绘的***和方法(SYSTEMS AND METHODS FOR MAPPING AN ENVIRONMENT)”的第62/359,083号美国临时专利申请的优先权。
技术领域
本发明大体上涉及电子装置。更确切地说，本发明涉及用于对环境进行测绘的***和方法。
背景技术
一些电子装置俘获和/或利用感测到的数据。举例来说，摄像机可从传感器俘获数据和/或处理来自传感器的数据。处理感测到的数据可能需要相对大量的时间、处理、存储器和能量资源。所需要的资源根据处理的复杂度可能不同。
一些处理技术可能产生不精确的和/或不太有用的结果。举例来说，对于一些应用，经处理的传感器数据可能无法提供具有所期望的精确度的结果。如可从此论述观察到，改进传感器数据处理的***和方法可以是有益的。
发明内容
描述了一种用于通过电子装置对环境进行测绘的方法。所述方法包含获得传感器测量值的集合。所述方法还包含基于传感器测量值的集合确定分别对应于体素的集合的体素占用概率分布的集合。所述体素占用概率分布中的每一个表示在占用密度的范围内的体素的占用的概率。所述范围包含部分占用密度。占用密度的范围可以是在完全清空与完全占用之间的连续范围。
所述方法可包含确定分别对应于体素的集合的置信度值的集合。置信度值的集合中的每一个可以是分别基于体素占用概率分布的集合中的每一个的方差。
所述方法可包含更新体素占用概率分布的集合。确定和更新体素占用概率分布的集合中的每一个可基于逆起因模型。确定和更新体素占用概率分布的集合中的每一个可基于贝叶斯规则。确定和更新体素占用概率分布的集合中的每一个可基于来自不同时间的测量值的融合。确定和更新体素占用概率分布的集合中的每一个可基于来自不同传感器的测量值的融合。更新体素占用概率分布的集合中的每一个可以包含用仿射函数乘以先前概率分布。
确定体素占用概率分布的集合可基于逆起因模型。逆起因模型可以对体素是传感器测量值的集合中的一或多个的起因的概率进行建模。
还描述了一种用于对环境进行测绘的电子装置。所述电子装置包含经配置以获得传感器测量值的集合的处理器。所述处理器还经配置以基于传感器测量值的集合确定分别对应于体素的集合的体素占用概率分布的集合。所述体素占用概率分布中的每一个表示在占用密度的范围内的体素的占用的概率。所述范围包含部分占用密度。
还描述了一种用于对环境进行测绘的计算机程序产品。所述计算机程序产品包括具有指令的非暂时性有形计算机可读媒体。所述指令包含用于使得电子装置获得传感器测量值的集合的代码。所述指令还包含用于使得所述电子装置基于传感器测量值的集合确定分别对应于体素的集合的体素占用概率分布的集合的代码。所述体素占用概率分布中的每一个表示在占用密度的范围内的体素的占用的概率。所述范围包含部分占用密度。
还描述了一种用于对环境进行测绘的设备。所述设备包含用于获得传感器测量值的集合的装置。所述设备还包含用于基于传感器测量值的集合确定分别对应于体素的集合的体素占用概率分布的集合的装置。所述体素占用概率分布中的每一个表示在占用密度的范围内的体素的占用的概率。所述范围包含部分占用密度。
附图说明
图1是说明可以在其中实施用于对环境进行测绘的***和方法的电子装置的一个实例的方块图；
图2是说明用于对环境进行测绘的方法的一个配置的流程图；
图3是说明在本文中所公开的***和方法的一些配置中可以利用的深度传感器模型的实例的方块图；
图4是说明用于规划路径的方法的一个配置的流程图；
图5是说明可以在其中实施用于对环境进行测绘的***和方法的电子装置的更具体实例的方块图；
图6是说明用于对环境进行测绘的方法的更具体配置的流程图；
图7是说明用于对环境进行测绘的方法的另一更具体配置的流程图；
图8是说明用于对环境进行测绘的方法的又一更具体配置的流程图；以及
图9说明可包含在经配置以实施本文中所公开的***和方法的各种配置的电子装置内的特定组件。
具体实施方式
本文中所公开的***和方法的一些配置可涉及对环境进行测绘。举例来说，本文中所公开的***和方法的一些配置可使用起因依赖性逆起因模型提供用于三维(3D)网格测绘的测量值融合。
本文中所公开的***和方法的一些配置的一个目标是构建环境的基于网格的3D地图，通过与每个网格体素相关联的不确定性(例如，置信度)扩增。举例来说，可以利用一或多个传感器(例如，摄像机、深度传感器、光雷达或光检测与测距(LIDAR)传感器等)来俘获环境的测量值。可以利用测量值来构建3D地图，其中3D地图包含体素或单元的集合。可以利用3D地图来规划路径和/或导航(例如，用于机器人、自身驾驶车辆等)。本文中所公开的***和方法可产生更安全的规划。本文中所公开的***和方法的一些配置可能依赖于逆起因模型。可以利用基于单元的贝叶斯方法来维持和更新网格地图信息。此方式可以显著不同于使用宽松试探法对不确定性进行建模的其它测绘方式。
测绘可指代用于构建环境的表示的一或多个过程。用于测绘的一些方式(在机器人技术中，例如)可以利用基于网格的测绘，其中3D空间由体素(或单元)的网格表示。具体地说，世界的底层几何表示可以是由“单元”或“体素”组成的网格。每个体素可以在一定程度上被占用，这可被称为密度。装置(例如，计算装置、机器人、移动对象等)可以配备有一或多个传感器(例如，深度传感器、立体摄像机(其可以被建模为例如视差传感器)、激光测距仪、LIDAR等)。本文中所公开的***和方法的一些配置的目标可以是估计地图体素的密度。网格测绘可指代用密度值填充体素(例如，单元)的网格。给定体素(例如，单元)的密度可指代由3D世界中的对象占用的单元的部分(例如，组分)。
为了从原始传感测量值中推断地图，可以利用传感器模型。在数学上，给定传感器位置和状态，传感器模型(例如，前置传感器模型)可指代描述测量值分布的概率分布函数(PDF)。一些方式的一些局限性在于不存在可以利用前置传感器模型并且以递归方式更新密度地图的测绘框架。一些方式主要依赖于特设逆传感器模型。
具体地说，确定地图的一些方式可依赖于特设逆传感器模型。逆传感器模型(INS)是指给定测量值描述特定体素的占用的概率。具体地说，逆传感器模型在占用网格测绘(也被称作对数几率测绘)中广泛地使用。逆传感器模型使用具有若干局限性。具体地说，其使用限于当时密度仅为1或0(完全地占用或清空)的情况。它并不提供密度值上的置信度(例如，完整PDF)。它以具有大量调谐参数的特设方式设计。此外，不存在计算逆传感器模型的原则性方式。应注意在一些方式中，可以利用0和1之间的值(例如，0.5)来表示未知的占用。然而，这可能不同于本文中所公开的***和方法的一些配置，因为所述值(例如，0.5)用于表示未知的占用(例如，不是一半占用密度)。
与一些方式相比，本文中所公开的***和方法的一些配置可以利用一或多个逆起因模型(INC)。逆起因模型可指代在用于给定测量值的所有可能起因上的PDF。逆起因模型具有优于逆传感器模型的优点。具体地说，逆起因模型可应用于密度在0和1之间的任何数目的情况，并且因此并不对体素大小敏感。逆起因模型可以提供密度值上的置信度(例如，完整PDF)。存在基于前置传感器模型计算逆起因模型的原则性方式。在一些方式中，利用逆起因模型可以避免利用一些逆传感器模型方式的试探法和/或可以避免一些前置传感器模型方式的计算难解性。并且，在逆起因模型中维持了融合不同测量值(和/或传感器)的能力。
在高水平处，逆传感器模型描述了传感器的行为，而逆起因模型描述了该行为的起因(来自环境)。在逆传感器模型与逆起因模型之间存在方式中的基础建模差异。举例来说，给定测量值/观察结果，逆传感器模型与逆起因模型之间的一个差异可以被如下描述。给定测量值，逆传感器模型可以尝试预测各种体素的占用(例如，体素是否是被完全占用，体素的“1-0”)。相比之下，逆起因模型的一些配置可尝试说明测量值。举例来说，逆起因模型可以预测测量值的起因(例如，光线是否从特定体素经反射)。在一些方式中，逆起因模型可能不仅预测体素是否被完全占用，而是可用于确定在占用密度的范围内的概率分布，包含部分占用密度。
给定未知的环境，本文中所公开的***和方法的一些配置可以提供具有嘈杂传感器测量值的测绘解决方案。在本文中所公开的***和方法的一些配置中，环境测绘可以用于运动规划(例如，机器人运动规划)和/或在不确定的环境中导航。
现在参考图式描述各种配置，其中相同的参考标号可以指示功能上类似的元件。可以多种多样的不同配置来布置且设计如本文中在图式中所大体描述且说明的***和方法。因此，以下对如图式中表示的若干配置的更详细描述并不意图限制如所主张的范围，而是仅表示***和方法。
图1是说明可以在其中实施用于对环境进行测绘的***和方法的电子装置102的一个实例的方块图。电子装置102的实例包含摄像机、视频摄录影机、数码摄像机、蜂窝式电话、智能电话、计算机(例如，桌上型计算机、膝上型计算机、服务器等)、平板计算机装置、媒体播放器、电视机、车辆、汽车、个人摄像机、可穿戴式摄像机、虚拟现实装置(例如，耳机)、扩增现实装置(例如，耳机)、混合现实装置(例如，耳机)、运动摄像机、监控摄像机、安装式摄像机、连接式摄像机、机器人、飞机、无人机、无人驾驶飞行器(UAV)、智能电器、医疗保健设备、游戏控制台、个人数字助理(PDA)、机顶盒、电器等。电子装置102可包含一或多个组件或元件。所述组件或元件中的一或多个可以在硬件(例如，电路)、硬件和固件的组合和/或硬件和软件的组合(例如，具有指令的处理器)中实施。
在一些配置中，电子装置102可执行结合图1到9中的一或多个描述的功能、过程、方法、步骤等中的一或多个。另外或替代地，电子装置102可包含结合图1到9中的一或多个描述的结构中的一或多个。
在一些配置中，电子装置102可以包含处理器112、存储器122、一或多个显示器124、一或多个传感器104(例如，一或多个深度传感器、立体摄像机、图像传感器、光检测与测距(LIDAR)传感器、飞行时间(ToF)摄像机、运动传感器、位置传感器、加速计、倾斜传感器、陀螺仪、指南针、气压计等)、一或多个光学***106和/或一或多个通信接口108。处理器112可以耦合到存储器122、显示器124、传感器104、光学***106和/或通信接口108(例如，与它们电子通信)。应注意结合图1描述的电子装置102的元件中的一或多个(例如，传感器104、光学***106、通信接口108、显示器124等)可以是可选的和/或在一些配置中可能并不包含(例如，实施)于电子装置102中。
处理器112可以是通用单芯片或多芯片微处理器(例如，高级RISC(精简指令集计算)机(ARM))、专用微处理器(例如，数字信号处理器(DSP))、微控制器、可编程门阵列等。处理器112可被称为中央处理单元(CPU)。虽然在电子装置102中示出了处理器112，但是在替代配置中可使用处理器的组合(例如，图像信号处理器(ISP)和应用程序处理器、ARM和DSP等)。处理器112可经配置以实施本文中所公开的方法中的一或多个。
处理器112可以包含和/或实施测量值获得器114、姿态信息获得器118和/或测绘器116。应注意在一些配置中，测量值获得器114和/或姿态信息获得器118可能并不实施和/或可以是可选的。
存储器122可以是能够存储电子信息的任何电子组件。举例来说，存储器122可以被实施为随机存取存储器(RAM)(例如，动态随机存取存储器(DRAM))、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的快闪存储器装置、随处理器包含的机载存储器、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器等，包含其组合。
存储器122可存储指令和/或数据。处理器112可存取存储器122(例如，从所述存储器读取和/或写入到所述存储器)。指令可由处理器112执行以实施本文中所描述的方法中的一或多个。执行指令可涉及使用存储于存储器122中的数据。当处理器112执行指令时，指令的各种部分可加载到处理器112上，和/或数据的各种片段可加载到处理器112上。可以由存储器122存储的指令和/或数据的实例可以包含传感器数据、测量值获得器114指令、姿态信息获得器118指令、测绘器116指令等。在一些配置中，存储器122可以存储一或多个概率分布(例如，PDF)、一或多个置信度值、一或多个测量值、一或多个密度估计值、姿态信息(例如，摄像机位置信息、传感器位置信息等)、一或多个概率、一或多个函数等。
通信接口108可以使得电子装置102与一或多个其它电子装置通信。举例来说，通信接口108可提供一或多个接口用于有线和/或无线通信。在一些配置中，通信接口108可以耦合到一或多个天线110以用于发射和/或接收射频(RF)信号。另外或替代地，通信接口108可启用一或多个种类的有线(例如，通用串行总线(USB)、以太网、有线数据传输业务接口规范(DOCSIS)等)通信。
在一些配置中，可实施和/或利用多个通信接口108。举例来说，一个通信接口108可以是蜂窝式(例如，3G、长期演进(LTE)、CDMA等)通信接口108，另一通信接口108可以是以太网接口，另一通信接口108可以是通用串行总线(USB)接口，且又一通信接口108可以是无线局域网(WLAN)接口(例如，电气电子工程师学会(IEEE)802.11接口)。在一些配置中，通信接口108可以将信息(例如，地图信息、概率分布(例如，PDF)信息、体素占用概率分布信息、置信度信息、图像信息、对象检测信息等)发送到另一装置(例如，车辆、智能电话、摄像机、显示器、远程服务器、机器人、无人机等)和/或从另一装置(例如，车辆、智能电话、摄像机、显示器、远程服务器、机器人、无人机等)接收信息。
电子装置102(例如，测量值获得器114)可以获得一或多个传感器测量值。举例来说，测量值获得器114可以获得传感器测量值(例如，深度测量值、深度图、飞行时间测量值、LIDAR测量值、数字图像、图像帧、帧、视频、所俘获的图像等)的集合。举例来说，电子装置102可以包含传感器104和/或光学***106(例如，透镜)，光学***106将位于光学***106的视野内的环境(例如，周围环境、对象等)的光(例如，反射光)聚焦到传感器104上。在一些配置中，光学***106可以耦合到处理器112和/或受到处理器112的控制。摄像机(例如，视觉频谱摄像机、红外摄像机、立体摄像机等)可以包含至少一个传感器并且可包含或可不包含一或多个光学***。
相应地，在一些实施方案中，电子装置102可以是一或多个摄像机和/或可包含一或多个摄像机。在一些配置中，传感器104可以俘获传感器测量值(例如，深度测量值、深度图、飞行时间测量值、LIDAR测量值、立体图像数据、视差测量值、图像帧、视频、静态图像、突发模式图像、所俘获的图像等)。在一些方式中，可以利用不同传感器(例如，局部传感器104和/或一或多个远程传感器)的组合来俘获一或多个传感器测量值(例如，传感器测量值的一或多个集合)。视差测量值可以指示基于从不同视图(例如，不同角度、立体图像等)俘获的图像之间的像素的差异。电子装置102(例如，测量值获得器114、测绘器116等)可以利用视差测量值来确定(例如，估计)从传感器104到传感器104的视野中的对象的深度。举例来说，电子装置102可以对传感器104的视野中的对象进行三角测量以便确定深度估计值。
另外或替代地，电子装置102可以从另一装置(例如，耦合到电子装置102的一或多个外部传感器、网络服务器、车辆传感器、网络摄像机等)请求和/或接收传感器测量值的集合。在一些配置中，电子装置102可以经由通信接口108请求和/或接收传感器测量值的集合。举例来说，电子装置102可包含或可不包含传感器(例如，传感器104和/或光学***106)并且可以从一或多个远程装置接收传感器测量值的集合。传感器测量值的集合可以指示到环境(例如，一或多个对象)的深度。对象中的一或多个可以是目标对象。
显示器124可集成到电子装置102中和/或可耦合到电子装置102。显示器124的实例包含液晶显示器(LCD)屏幕、发光显示器(LED)屏幕、有机发光显示器(OLED)屏幕、等离子体屏幕、阴极射线管(CRT)屏幕等。在一些实施方案中，电子装置102可以是具有集成显示器的智能电话。在另一实例中，电子装置102可链接到一或多个远程显示器124和/或链接到包含一或多个显示器124的一或多个远程装置。
在一些配置中，电子装置102可包含摄像机软件应用程序。当摄像机应用程序正在运行时，图像传感器104可俘获位于光学***106的视野内的对象的深度和/或图像。传感器104正俘获的深度和/或图像可呈现在显示器124上。举例来说，一或多个图像可被发送到显示器124以供用户查看。另外或替代地，深度中的一或多个可以视觉格式呈现。举例来说，虚拟环境可以基于深度创建并且呈现在显示器124上。在另一实例中，数字表示可以另外或替代地呈现。在一些配置中，这些深度和/或图像可以从存储器122回放，其可以包含较早俘获的场景的测量值的集合。通过电子装置102获得的传感器测量值的集合可以从一或多个视频帧和/或一或多个静态图像中确定(例如，通过立体深度成像)。在一些配置中，显示器124可以自动地呈现聚焦图像、对应于一或多个目标对象的一或多个指示符(例如，检测到的对象、所关注的对象、所识别的对象等)和/或一或多个图像(例如，裁剪对象、缩放对象等)。举例来说，处理器112可以基于所感测的深度执行自动缩放、自动聚焦、对象识别和/或其它处理。基于传感器测量值的集合的处理的一或多个结果可以呈现在显示器124上。举例来说，基于体素占用概率分布的集合的地图可以呈现在显示器124上。
在一些配置中，电子装置102可在显示器124上呈现用户接口126。举例来说，用户接口126可使得用户能够与电子装置102交互。在一些配置中，用户接口126可使得用户能够与电子装置102交互。举例来说，用户接口126可以接收触摸、鼠标单击、手势、键盘输入和/或指示输入的一些其它指示。
电子装置102(例如，处理器112)可以任选地耦合到一或多个种类的装置、作为一或多个种类的装置的一部分(例如，集成到其中)、包含和/或实施一或多个种类的装置。举例来说，电子装置102可以在配备有一或多个传感器的车辆或无人机中实施。在另一实例中，电子装置102(例如，处理器112)可以在运动摄像机中实施。在又其它实例中，电子装置102可以在扩增现实耳机或虚拟现实耳机中实施。在又另一实例中，电子装置102可以在机器人中实施。
处理器112可以包含和/或实施测量值获得器114。一或多个传感器测量值(例如，深度测量值、深度图、飞行时间测量值、LIDAR测量值、立体图像数据、视差测量值、图像帧、视频、静态图像、突发模式图像、所俘获的图像、深度图等)可以被提供到测量值获得器114。举例来说，测量值获得器114可以从一或多个传感器104获得深度测量值。举例来说，测量值获得器114可以从一或多个传感器104和/或从一或多个外部传感器接收深度测量值、立体图像数据、ToF测量值、LIDAR测量值、视差测量值等。如上文所描述，传感器测量值(例如，所俘获的深度测量值、图像等)可以是从包含于电子装置102中的传感器104俘获的或者可以是从一或多个遥感器俘获的。
在一些配置中，测量值获得器114可以请求和/或接收一或多个传感器测量值(例如，深度测量值、立体图像数据、视差测量值、LIDAR测量值、ToF测量值、图像帧等)。举例来说，测量值获得器114可经由通信接口108从远程装置(例如，外部传感器、远程服务器、远程电子装置等)请求和/或接收一或多个传感器测量值。
在一些配置中，处理器112可以包含和/或实施姿态信息获得器118。姿态信息获得器118可以获得关于一或多个传感器104、一或多个光学***106和/或电子装置102的定向(例如，间距、横摆、滚动、倾角等)、位置(例如，在3D网格中的位置)和/或运动的姿态信息。举例来说，姿态信息获得器118可以从一或多个传感器104接收运动和/或旋转测量值。举例来说，加速计(例如，6轴加速计)可以耦合到立体摄像机(例如，两个传感器104和/或光学***106)。加速计可以将运动测量值提供到姿态信息获得器118。在一些配置中，姿态信息获得器118可以基于运动和/或旋转测量值获得传感器104和/或光学***106的位置和/或定向(例如，位置和/或指向方向)。举例来说，姿态信息获得器118可以集成加速度和/或旋转测量值以确定传感器104、光学***106和/或电子装置102的速度(例如，在3维中的平移速度和/或在3维中的旋转速度)和/或位置。在一些方式中，运动传感器104的定向和/或位置可以变换(例如，旋转和/或平移)到图像传感器104和/或光学***106的定向和/或位置。在一些配置中，位置和/或定向(例如，指向方向)可以是基于一或多个图像(例如，立体图像)确定的。
在一些配置中，姿态信息可以指示传感器104的位置和/或定向、光学***106的位置和/或定向和/或电子装置102的位置和/或定向。举例来说，姿态信息获得器118可以基于姿态信息确定摄像机位置(例如，摄像机中心，xk)和/或传感器位置(例如，传感器像素，vk)。摄像机位置可以指示摄像机的位置和/或定向。举例来说，摄像机位置可以指示摄像机中心(例如，焦点)。传感器位置可以指示传感器的特定样本位置(例如，特定像素位置)和/或定向。在一些配置中，一或多个摄像机参数和/或传感器参数(例如，如同聚焦中心的固有值)可以是通过摄像机校准确定的。摄像机校准可以是单次离线过程。
在一些配置中，姿态信息获得器118可以基于姿态信息(例如，基于摄像机位置和/或传感器位置)确定一或多个体素。举例来说，姿态信息获得器118可以基于与3D网格中的一或多个体素相交的姿态信息确定光线。另外或替代地，姿态信息获得器118可以基于包含3D网格中的一或多个体素的姿态信息确定形状(例如，圆锥、角锥、梯形角锥等)。举例来说，环境可以表示为体素或单元的3D网格。姿态信息获得器118可以确定与源自深度传感器的光线相交的一或多个体素和/或包含于源自深度传感器(例如，立体摄像机)的圆锥中的一或多个体素。在一些配置中，与光线相交的体素和/或包含于圆锥内的体素可以是通过局部索引编索引。局部索引可以不同于(例如，3D网格中的所有体素的)全局索引。结合图3和4中的一或多个给出更多细节。
在一些配置中，处理器112可以包含和/或实施测绘器116。测绘器116可以产生一或多个地图。举例来说，测绘器116可以基于传感器测量值(例如，深度测量值、视差测量值等)确定分别对应于一或多个体素(例如，体素的集合)的一或多个体素占用概率分布(例如，概率分布的集合)。概率分布中的每一个可以表示在占用密度范围内的体素的占用的概率(例如，从完全清空(例如，0)到完全占用(例如，1))。相应地，地图可以是不确定性感知的。所述范围可以包含部分占用密度(例如，分数密度、四分之一占用、一半占用、0.25、0.5、0.75等)。在一些配置中所述范围可以是在完全清空(例如，0)与完全占用(例如，1)之间的连续范围。举例来说，连续范围可允许每个概率分布表示在0和1之间的任何占用密度。举例来说，在一些配置中所述范围可能并不离散化成离散值的集合。在其它配置中，所述范围可以是离散化的。在一些配置中，如结合图2和5到8中的一或多个所描述的测绘器116可以确定体素占用概率分布。
在一些方式中，确定一或多个体素占用概率分布可基于逆起因模型。另外或替代地，确定概率分布的集合可基于贝叶斯规则。在一些方式中，确定概率分布的集合可基于在不同时间和/或来自不同传感器的测量值的融合(例如，组合)。举例来说，本文中所公开的***和方法的一些配置可以是对测量值的来源(例如，它所来自的传感器)不可知的。相应地，可以融合来自不同传感器的测量值。
在一些配置中，测绘器116可以基于一或多个体素占用概率分布确定一或多个值。举例来说，测绘器116可以确定第一矩、平均值、预期值或体素占用概率分布的平均值(例如，用于一或多个体素占用概率分布中的每一个)。在一些方式中，测绘器116可以通过基于体素占用概率分布执行积分来确定第一矩。
在一些配置中，测绘器116可以确定分别对应于(例如，3D网格的))一或多个体素的一或多个置信度值。每个置信度值可以指示体素所占用的置信度(例如，根据体素占用概率分布占用的、在占用密度下占用的、在体素占用概率分布的平均值下占用的等)。在一些配置中，置信度值可以是用于对应的体素的体素占用概率分布的第二矩(例如，方差)。在一些配置中，置信度值可以是用于对应的体素的体素占用概率分布的标准偏差。在一些方式中，体素占用概率分布、第一矩、平均值、预期值、平均值、第二矩、置信度、密度等中的一或多个可以存储在存储器122中。
在一些配置中，测绘器116可以更新概率分布的集合。更新概率分布的集合中的每一个可以包含用仿射函数乘以先前概率分布。举例来说，根据本文中所公开的***和方法的一些方式的测绘递归可以提供简单的更新(例如，递归)操作。在没有本文中所公开的***和方法所提供的方式的情况下，尝试获得类似精确度可能需要在每个步骤处的昂贵的积分(例如，PDF边际化)的性能。
在一些方式中，更新概率分布的集合可基于贝叶斯规则和/或逆起因模型。在一些方式中，更新概率分布的集合可基于在不同时间和/或来自不同传感器的测量值的融合(例如，组合)。
根据本文中所公开的***和方法的一些配置，测绘和/或更新可以是根据等式(1)-(4)中的一或多个实现的：
p(θi|z0：k,xv0：k)＝η(aθi+b)p(θi|z0：k-1,xv0：k-1) (1)
在等式(1)-(4)中，θi是第i体素的真实(未知的)密度。θ是所有θi的集合(例如，在地图中占用密度的集合)。mi是θi的估计值并且m是所有mi的集合。在一些方式中，根据贝叶斯统计置信可以留下来作为随机变量(并且可以考虑平均值和方差两者)。的实例可以是贝塔分布(参见下文的等式(8)、(9)和(10))。xk是在例项k的摄像机位置。vk是在例项k的3D中的传感器位置。xvk表示穿过xk和vk的光线。zk是在例项k(例如，深度或视差)的观察结果(例如，测量值)。ck是起因(例如，光线被反弹回来的体素)。prand表示获得伪测量值的概率。还应注意il是体素的局部索引。应注意例项k可能或可能不对应于特定时间。举例来说，来自两个例项k的测量值可以在相同或不同时间获取和/或可以从相同或不同传感器获取(例如，在不同时间从相同传感器、在相同时间从不同传感器，或在不同时间从不同传感器)。
根据本文中所公开的***和方法的一些配置，η(aθi+b)是仿射函数，其可以在时间步长处(例如，每时间步长，每个时间步长等)乘以体素占用概率分布(例如，PDF)以在下一个时间步长处产生体素占用概率分布(例如，PDF)。p(θi|z0：k-1,xv0：k-1)可以表示体素占用概率分布(例如，主要PDF)。举例来说，p(θi|z0：k-1,xv0：k-1)可以描述给定过去数据(例如，到目前为止的所有观察结果和摄像机位置)在体素i处的占用水平的概率。或埃塔是归一化常数。归一化常数可以确保体素占用概率分布是有效的PDF(例如，曲线下面积是一)。可以表示“逆起因模型”。基本上，这描述了给定地图、最终测量值和最终姿态，给定体素是起因的概率。是针对除体素i以外的所有体素“逆起因模型”上的总和。(或针对除考虑中的体素以外的所有外部体素)。是针对在体素i之前的所有体素的“逆起因模型”上的总和(或针对在考虑中的体素之前的所有内部体素，在体素i与摄像机之间等)。
相应地，p(θi|z0：k,xv0：k)可以是对应于体素或体素占用概率分布的概率分布。此概率分布可以表示在占用密度范围内的体素的占用的概率。此占用密度的范围可以包含部分占用密度(例如，1/4被对象占用，1/2被对象占用等)。如等式(1)中所说明，更新每个概率分布可以包含用仿射函数乘以先前概率分布。
在一些配置中，电子装置102(例如，处理器112)可以基于一或多个体素占用概率分布(例如，体素占用概率分布的集合)执行一或多个操作。举例来说，电子装置102可以(例如，在存储器122中)存储一或多个体素占用分布。另外或替代地，电子装置102可以将一或多个体素占用概率分布发送到另一装置(例如，经由通信接口108)。
在一些配置中，电子装置102(例如，处理器112)可以基于体素占用概率分布的集合产生环境地图。举例来说，电子装置102(例如，处理器112、测绘器116等)可以产生具有对应的占用(例如，占用水平)、体素占用概率分布、占用概率和/或置信度值的体素的环境地图。环境地图可以相应地指示环境中的一或多个对象的可能位置。
稳固规划器可以利用不确定性的概念作出关于避免碰撞或路径规划的决策。不确定性可以指可以从其中提取有用的信息(例如，报告值中的“置信度”)的密度上的体素占用概率分布。在一些配置中，电子装置102(例如，处理器112)可以基于一或多个体素占用概率分布(例如，体素占用概率分布的集合)规划路径。举例来说，电子装置102可以规划路径(例如，路线)以避免由体素占用概率分布的集合指示的一或多个障碍物(例如，环境地图)。举例来说，电子装置102可以是和/或可以包含于规划围绕障碍物的路径以用于自动驾驶和/或辅助驾驶(例如，避免碰撞)的汽车中。在另一实例中，电子装置102可以是和/或可以包含于规划围绕障碍物的路径的飞机(例如，无人机)中。在另一实例中，电子装置102可以是和/或可以包含于规划围绕障碍物的路径的机器人中。
在一些配置中，电子装置102(例如，处理器112)可以基于体素占用概率分布的集合控制车辆。举例来说，电子装置102(例如，处理器112)可以执行规划的路径。举例来说，电子装置102(例如，处理器112)可以操作(和/或可以提供指令以用于操作)一或多个移动机构(例如，传动***、刹车、螺旋桨、喷射器、车轮、轨道、附属物等)以沿避免障碍物的路径移动电子装置102和/或另一对象(例如，远程装置)。
在一些配置中，电子装置102(例如，处理器112)可以基于体素占用概率分布的集合利用一或多个开销函数。举例来说，电子装置102可以利用惩罚密度(例如，每个体素有多少可能被占用)和/或惩罚置信度水平(例如，不确定性)的一或多个开销函数。在一些配置中，可以在规划路径中利用这些开销函数。基于置信度水平(例如，置信度值、方差等)的惩罚可以是有益的。举例来说，可能发生的情况是一个或若干个测量值(和/或来自不可靠角度的测量值等)已引起给定体素被清空的确定。然而，因为存在与体素相关联的高不确定性(由于缺少许多可靠的测量值)，所以移动到该体素可能是不安全的。可以利用上述开销函数来实施此规划行为，方法是依赖于本文中所公开的***和方法的一些配置的测绘方式。相应地，在一些配置中体素占用概率分布(例如，后验)可以用于规划。
应注意本文中所描述的操作中的一或多个可针对测量值的一或多个集合执行。举例来说，处理器112可以执行本文中所描述的操作中的一或多个用于随着时间推移的测量值的多个集合。
应注意，电子装置102的元件或组件中的一或多个可以组合和/或划分。举例来说，可以组合测量值获得器114和测绘器116。另外或替代地，测量值获得器114和/或测绘器116中的一或多个可以被划分成执行其操作的一或多个子集的元件或组件。
如下给出了根据本文中所公开的***和方法的一些配置的关于测绘的进一步细节。测绘可以被定义为寻找体素占用概率分布(例如，根据上文给出的符号的p(θi|z0：k,xv0：k))。本文中所公开的***和方法的一个目标可以是寻找体素占用概率分布。换句话说，给定所有数据，电子装置102可以估计每个体素(例如，上述表达式中的体素i)的占用水平。数据可以包含到目前为止所获得的所有观察结果(例如，测量值、深度测量值等)和姿态信息(例如，位置和/或定向)(例如，通过电子装置102、车辆、机器人等)。应注意在一些配置中，(例如，立体摄像机的)每个摄像机像素可以被当做单独的深度传感器。在更普通的情况中，测量值可以来自一或多个不同范围传感器，例如，立体摄像机、LIDAR、声纳、雷达等。
本文中所公开的***和方法的一个益处在于即使对于嘈杂测量值技术(例如，立体摄像机深度感测、声纳、超音波传感器等)逆起因模型也可以很好地起作用。一些嘈杂测量值技术与一些更精确的测量值技术(例如，LIDAR)相比可以是基本上更便宜的实施的。当LIDAR可以实施于一些配置中时，一些费用可以通过用如本文中所描述的逆起因模型实施比较便宜的深度感测技术(例如，立体摄像机深度感测、声纳、超音波等)来避免。
本文中所公开的***和方法的一些配置的另一益处在于构建概率(例如，不确定性)丰富地图的能力。另一益处在于并入逆起因模型的能力。举例来说，本文中所公开的***和方法的一些配置可以提供逆起因模型的试探自由计算，这与其它方式相比可以产生较高的测绘精确度。举例来说，与依赖于试探法的逆传感器模型相比逆起因模型可以提供更好的精确度。本文中所公开的***和方法的一些配置可以执行测绘而不使用试探法(例如，用于指派占用值的任意规则)。又一益处可以包含计算上的便宜和有效的更新规则(例如，如等式(1)中所说明的乘法)。本文中所公开的***和方法的一些配置可以在移动环境中(例如，在经由环境移动的车辆或机器人中)起作用。本文中所公开的***和方法的一些配置可以通过无源深度感测实施(例如，在没有投射主动图案的情况下)。
如下给出了根据本文中所公开的***和方法的一些配置的测绘的一些方式。等式(5)可以在导出逆起因模型中使用。等式(5)说明给定起因(例如，引起光反射到传感器的体素)，最后一个测量值(在例项k)是不相关的。
在等式(5)中，p(θi|c＝cr,z0：k,xv0：k)是第i体素的占用水平上的后验概率，并且r表示局部体素索引。
等式(6)说明给定地图体素R的概率是起因。
等式(7)进一步说明给定地图和单个体素真密度体素R的概率是起因。
在等式(6)-(7)中，prand表示获得伪测量值的概率并且g指代局部-全局坐标变换：i＝g(xvk,R)，R＝g-1(xvk,i)。在结合图3和4的额外细节中描述了局部-全局坐标变换。
如下给出了关于本文中所公开的***和方法的一些配置和地图构造和/或更新规则的进一步细节。
等式(8)说明如何可以利用总概率的定律和贝叶斯规则来使得逆起因模型呈现。如本文所描述的在测绘中可以利用逆起因模型。
在等式(8)中，应注意上标i可以表示体素的全局索引(例如，在整个地图中的体素的索引)。
等式(9)说明起因模型如何可以***在等式(6)中和/或可以在此处利用等式(7)。
等式(10)说明递归等式的一些简化。
如等式(10)中所说明，可以根据等式(1)-(4)表达测绘的一些方式。相应地，测绘递归(例如，更新)可以是仿射函数乘以先前后验。在一些配置中，可以根据等式(11)和(12)执行一致性验证。
可以证明等式(11)和(12)是等效的并且因此求导是精确的。
图2是说明用于对环境进行测绘的方法200的一个配置的流程图。方法200可通过电子装置(例如，结合图1所描述的电子装置102)执行。
电子装置102可以获得202一或多个传感器测量值(例如，传感器测量值的集合)。这可如结合图1所描述般实现。举例来说，电子装置102可以通过一或多个传感器104俘获一或多个传感器测量值(例如，传感器测量值的一或多个集合)和/或可以从一或多个远程装置接收一或多个传感器测量值。传感器测量值可以指示一或多个深度测量值(从传感器或摄像机到环境)。在一些配置中，一或多个传感器测量值可以指示到一或多个对象的深度、没有测量值(例如，在传感器范围内没有检测到的深度、无穷大的深度等)，或伪测量值(例如，错误测量值、噪声等)。
电子装置102可以基于一或多个传感器测量值(例如，传感器测量值的集合)确定204分别对应于一或多个体素(例如，体素的集合)的一或多个体素占用概率分布(例如，体素占用概率分布的集合)。这可如结合图1所描述般实现。举例来说，电子装置102可以确定(例如，运算、计算等)在占用密度范围内的体素的占用的概率，其中所述范围包含部分占用密度。在一些配置中，确定204和/或更新体素占用概率分布可以基于逆起因模型和/或贝叶斯规则。另外或替代地，确定204和/或更新体素占用概率分布可以基于任何先前传感器测量值和/或体素占用概率分布。
应注意术语“先前”可以指一连串计算并且可以或可以不指适时地一连串测量值。举例来说，传感器测量值的第一集合(例如，来自立体摄像机)和传感器测量值的第二集合(例如，来自超音波传感器)可以是并行地和/或同时获取的。可以首先利用传感器测量值的第一集合以计算体素占用概率分布，随后是利用传感器测量值的第二集合以更新体素占用概率分布。相应地，传感器测量值的第一集合可被称为传感器测量值的“先前”集合，这是因为它是在传感器测量值的第二集合用于计算的先前被利用的。
电子装置102可以基于一或多个体素占用概率分布(例如，体素占用概率分布的集合)任选地执行206操作。这可如结合图1所描述般实现。举例来说，电子装置102可以基于一或多个体素占用概率分布产生环境地图。在一些方式中，环境地图的每个体素可能具有相关联的概率分布、密度(例如，占用水平)和/或置信度。在另一实例中，电子装置102可以存储体素占用概率分布的集合。另外或替代地，电子装置102可以将体素占用概率分布的集合发送到一或多个其它装置。另外或替代地，电子装置102可以基于体素占用概率分布的集合规划路径。关于可基于一或多个体素占用概率分布执行的操作的更多细节是结合图1和4中的一或多个给出的。
在一些配置中，电子装置102可以确定分别对应于如结合图1所描述的一或多个体素的一或多个置信度值(例如，置信度值的集合)。另外或替代地，电子装置102可以更新一或多个体素占用概率分布中的每一个。更新一或多个体素占用概率分布可基于在不同时间和/或来自不同传感器的测量值的融合。另外或替代地，更新一或多个体素占用概率分布可基于用仿射函数乘以先前概率分布。
图3是说明在本文中所公开的***和方法的一些配置中可以利用的深度传感器模型的实例的方块图。具体地说，图3说明起因变量328(例如，对应性变量)。起因变量328可以通过到传感器(例如，深度传感器、具有视差测量值、LIDAR的立体摄像机等)或从传感器开始的距离排序。举例来说，图3说明取决于从传感器平面350开始的深度(例如，距离)按升序的起因变量328。起因变量328可以对波或粒子(例如，光线、超音波、声纳波、红外线、雷达信号等)从其中反弹到传感器的体素进行建模。
在此实例中，起因变量328(例如，用于观察结果-光线对)被表示为其中表示伪测量值起因330(例如，噪声、不正确测量值等)，表示无测量值起因332(例如，无穷大距离和/或没有到对象的测量到的深度等)，并且对应于具有按升序的深度的体素。
如图3中所说明，光线340可基于摄像机位置336(例如，摄像机中心)和传感器位置338定义。传感器位置338可以指示传感器的样本334(例如，像素)。在一些配置中，传感器位置338可以对应于样本334的中心。如图3中所说明，圆锥342(例如，角锥)可基于摄像机位置336和传感器位置338而定义。与光线340相交的体素中的一或多个和/或圆锥342内的一或多个体素可以引起在传感器位置338处的用于样本334(例如，像素)的测量值。相应地，在确定体素占用概率分布中可以考虑与光线340相交的体素中的一或多个和/或圆锥342内的一或多个体素。如图3中所说明，体素占用概率分布可以取决于一或多个内部体素348、考虑中的体素346(例如，)，和/或一或多个外部体素344。举例来说，等式(1)和(3)-(4)说明用于内部体素和/或外部体素的起因概率如何可以求和以确定体素占用概率分布。
在一些方式中，用于光线340的测量到的深度(例如，视差)(例如，xv＝(x,v))可以指示zk。电子装置102可以获得用于一或多个样本334(例如，像素)的测量值zk。电子装置102可以基于测量值、摄像机位置336和传感器位置338确定和/或更新一或多个体素占用概率分布。这可如结合等式(1)-(4)所描述般实现。
应注意在一些配置中与光线340相交的体素中的一或多个和/或圆锥342内的一或多个体素可以是根据局部索引或坐标(例如，il)编索引的。在一些方式中，地图(例如，体素地图、环境地图等)可以通过全局索引或坐标编索引的。体素索引返回函数可表达为j＝g(xv,r)，其中j是全局体素(例如，单元)索引并且r是局部体素(例如，单元)索引。举例来说，在局部索引中的体素密度估计值可以对应于在全局索引中的体素密度估计值为mj＝mg(xv ,r)。在一些配置中，电子装置102(例如，处理器112、测量值获得器114、姿态信息获得器118、测绘器116等)可以在局部和全局索引或坐标之间转换(例如，地图)体素。
图4是说明用于规划路径的方法400的一个配置的流程图。方法400可通过电子装置(例如，结合图1到3中的一或多个描述的电子装置102)执行。
电子装置102可以获得402一或多个传感器测量值(例如，传感器测量值的集合)。这可如结合图1到3中的一或多个所描述般实现。
电子装置102可以基于一或多个传感器测量值(例如，传感器测量值的集合)确定404分别对应于一或多个体素(例如，体素的集合)的一或多个体素占用概率分布(例如，体素占用概率分布的集合)。这可如结合图1到3中的一或多个所描述般实现。
电子装置102可以基于一或多个体素占用概率分布(例如，体素占用概率分布的集合)规划406路径。这可如结合图1和2中的一或多个所描述般实现。
在一些配置中，获得402一或多个传感器测量值、确定404一或多个体素占用概率分布和/或规划406路径可根据以下内容执行。应注意用于等式(13)-(42)的符号中的一些可以类似于或不同于等式(1)-(12)的符号。
本文中所公开的***和方法的一些配置可以在占用网格上启用测绘和规划(例如，并行或同时的测绘和规划)。占用网格是用于产生环境的地图的架构。如本文中所描述，电子装置102(例如，机器人、无人机、车辆、智能电话等)可以产生地图。如下给出了关于从规划视角的占用网格的额外细节。在本文中给出了提供更丰富数据(例如，地图)的测绘方式。出于规划和避免碰撞的目的可以利用测绘方式中的一或多个。
在用于占用网格测绘的一些方式中，每个单元含有表示被占用的(例如，完全地占用的或完全地清空的)单元的概率的单个数目。根据本文中所公开的用于规划定向表示的配置中的一或多个，在此数目上可以维持概率分布。这可允许规划器推算未来观察结果的采集。通过此置信度感知地图的规划可以产生主动感知操纵，所述操纵在朝向目标导引对象(例如，车辆、机器人、无人机等)时可目的在于增加在与实现任务相关的地图的部分中的置信度。
举例来说，考虑电子装置102在满载障碍物的环境中移动(例如，四旋翼飞行、车辆驾驶等)，任务是到达目标，同时通过面向前方的立体摄像机对环境进行测绘。为了执行感测和避免任务并且通过避免碰撞确保***的安全，电子装置102可以形成被称为地图的障碍物的表示，并且将它并入在规划架构中。本文中所公开的***和方法的一些配置可以与此类架构的设计相关，在所述架构中存在测绘与规划之间的紧密集成。这些两个块的此类紧密集成和联合设计的一个优点在于不仅测绘可以提供用于规划(或导航)的信息，而且导航可以产生引起更好的测绘以及更精确的环境表示的操纵。
在一些构架中，基于网格的结构可以表示在通过立体摄像机处理时的环境。在一些方式中，每个网格体素含有关于单元是否自由还是被障碍物占用的布尔信息。在更丰富的格式中，每个体素可以包含单元被占用的概率。此类表示可以是假设动作是基于一些地图独立的开销给出的而产生。然而，在规划和测绘的联合设计中，规划的一个目标可以是所产生的地图的精确性。在此类联合设计中精确地表征地图以及它如何受到规划器的输出的影响可以是一个挑战。
本文中所公开的***和方法的一些配置可以提供规划架构，其中主动感知和/或测绘可以经由将测绘精确性并入到规划中实现。测绘架构(例如，其未来演进借由规划器动作)可以是精确地预测的。本文中所公开的***和方法的一些配置可以能够处理地图，在所述地图中每个体素可部分地被障碍物占用。
如下，检视一些方式。随后给出关于用于立体摄像机的传感器模型的额外细节。还描述了测绘架构。还给出了规划算法的实例。
密度地图：假设G＝[G1,...,GM]是覆盖在3D环境上的网格，其中Gi∈R3是表示网格的第i体素的中心的3D点。密度地图m＝[m1,...,mM]可以被定义为此网格上的值的集合，其中mi∈[0,1]表示落入网格的第i体素内的环境障碍物的密度。举例来说，如果第i体素的30％被障碍物占用，那么mi＝.3。应注意，术语“密度”以及“占用水平”在本文中可互换使用。密度地图的特殊情况是占用网格地图，其中mi∈{0,1}，当体素较小时这可以是密度的良好近似。变量mi可以是通过返回全局坐标系中的第i体素的3D位置的函数mi[x]过载的。
地图置信：经由嘈杂传感器获得测量值可以提供密度值的估计值，而非其精确值。在第k个时间步长处的传感器测量值可以通过zk指示并且在第k个时间步长处的传感器配置可以通过xvk指示。用公式表示贝叶斯架构中的问题，从过去测量值获得的信息可以被压缩为z0：k＝{z0,...,zk}和xv0：k＝{xv0,...,xvk}以在密度的所有可能值上形成概率分布如等式(13)中所说明。
本文中所公开的***和方法的一些配置可以提供导出的基于密度的测距传感器模型、递归密度测绘和/或地图增强运动规划方案。可以如下描述基于密度的测距传感器模型。假定障碍物通过密度网格描述，测距传感器模型(其可以用于例如立体摄像机)可以获得从密度地图到范围观察结果的测绘h，如等式(14)中所说明。
可以如下描述递归密度测绘。基于最后一个测量值更新当前密度地图的递归测绘方案τ可如在等式(15)中给出的表达。
可以如下描述密度地图中的运动规划和主动感知。从起点到目标移动对象(例如，机器人、车辆无人机等)同时并入密度地图并且采用主动地减少地图上的不确定性以产生具有降低碰撞概率的更安全的路径的行动的规划方案可如在等式(16)中给出的表达。
如下给出了关于基于密度测距传感器模型、递归密度测绘和运动规划的进一步细节。当环境表示是密度地图时可以对深度传感器(例如，范围传感器)进行建模。在一些配置中，深度传感器可以是立体摄像机。应注意本文中所公开的***和方法可以通过其它深度(例如，范围)传感器实施。立体摄像机是无源传感器，其中来自左和右摄像机的图像可以进行比较以产生视差图像(例如，以转换到视差图像)。视差图像可以转换成深度测量值。举例来说，电子装置102(例如，测量值获得器114)可以基于视差图像确定视差图像和/或深度。摄像机中心可以由x表示并且第i像素的3D位置可以由v表示。从x发出并且穿过v的光线可以由xv＝(x,v)表示。结合图3给出光线的实例。由r表示沿光线xv距离摄像机的最接近障碍物的距离，在没有噪声的情况下此像素的视差z可如在等式(17)中给出的表达。
z＝r-1fdb (16)
在等式(16)中，f是摄像机的焦距并且db是在立体台架上两个摄像机之间的基线。立体传感器模型可以被抽象为假定的“视差传感器”模型。每个像素可以被视作单独的传感器并且视差传感器模型可以针对单个像素v导出(例如，z＝h(xv,bm))或者可以由其可能性p(z|xv,bm)等效地表示。
如下描述了像素圆锥。考虑具有在x处的顶点和由像素v定义的边界的3D圆锥。此圆锥可以通过穿过点x和像素v的中心的光线xv近似。像素圆锥Cone(xv)是指属于所提到的圆锥的地图m中的体素的集合(或近似地与光线xv相交的体素的集合)。体素的集合可以由C＝Cone(xv)表示，其中
如结合图3所描述，例如圆锥342(通过两条线说明)可以是与传感器平面350(例如，图像平面)上的给定像素v相关联的圆锥。像素v上的视差测量值可以受到来自像素圆锥中的体素中的任一个的光影响。举例来说，测量值可以由来自体素的反射产生。
下文描述了起因变量。像素v上的视差测量值可以是来自圆锥C＝Cone(xv)中的体素中的任一个的光反射的结果。因此，这些体素中的任一个可以是测量值的潜在起因。在环境地图是完美地已知的情况下，可以通过寻找最接近于摄像机中心的障碍物查明精确起因。然而，当关于环境的知识是部分的和概率性的时，关于起因的推断可以是在像素圆锥C＝Cone(xv)中的所有可能起因上的概率分布。这些起因可以在导出用于随机地图的传感器模型中起到重要作用(作为隐藏变量)。
如下描述了局部对全局索引。对于给定光线xv，沿光线的体素可以从最接近于摄像机排序到最远离摄像机。假设l∈{1,...,||C||}表示光线xv上的体素的局部索引。随后函数g＝γ(l,xv)可以返回地图中的体素的全局索引g。
如下描述了起因概率。为了导出完整传感器模型，可以考虑作为给定测量值的起因的体素。对于作为起因的体素c∈C(xv)，可以发生两个事件。一个事件Bc可以指示从体素反弹的光的事件。另一事件Rc可以指示到达摄像机的光的事件。基于这些事件的概率在等式(17)中给出。
p(c|bm)＝Pr(Bc,Rc|bm)＝Pr(Rc|Bc,bm)Pr(Bc|bm) (17)
计算反弹概率可以依赖于通过密度的定义的Pr(Bc|mc)＝mc的事实。换句话说，体素c的占用水平可以是从该体素反弹回来的光线的概率。一个假设可以是环境是纹理丰富的。可以相应地写入等式(18)。
可以如下描述到达概率。对于从体素c发出以到达图像平面的光线，光线可以经由光线xv上的不是c的所有体素。假设cl表示沿光线xv的体素c的局部索引。举例来说，如果cl＝g-1(c,xv)，那么可以如下给出等式(19)。
如下描述了具有已知的起因的传感器模型。假设测量值z的起因体素是已知的，那么可以如下在等式(20)中给出传感器模型。
z＝h(xv,c,nz)＝||Gc-x||-1fb+nz,nz～N(0,R) (20)
在等式(20)中，nz表示观察结果噪声，其可以建模为具有方差R的零平均值高斯。替代地，观察结果模型可以是就pdf而言描述的，如在等式(21)中给出。
p(z|xv,c)＝N(||Gc-x||-1fb,R) (21)
可以如下描述具有随机地图的传感器模型。给定随机地图的传感器模型可以通过将隐藏起因变量并入到在等式(22)-(23)中表达的公式中来计算。
如下描述了置信度扩增网格地图。测绘算法可以导出原因可以不仅关于在每个单元处的碰撞的概率，而且还关于此值的置信度水平。因此，算法可以启用可以嵌入于规划中的地图的有效的预测并且引起更安全的规划。
如下给出了一些假定和近似。一个辅助定理可以是给定起因，最后一个测量值是不相关的，如等式(24)中所说明。
可以如下描述贝叶斯更新。使用前述辅助定理并且在p(mi|ck,z0：k,xv0：k)处开始，可以如下写入等式(25)。
随后，依赖于以下压缩(例如，基于足够的统计数据)，可以写入等式(26)。
可以如在等式(27)中给出的重新写入等式(25)。
等式(27)中的比率可以描述在存在及不存在在第i体素处调整地图的真实值的情况下起因概率之间的比率。舍弃xv项以使等式整洁，分子可以如在等式(28)中给出的扩展。
对于所有ck∈C(xv)分母是在这些等式中，和il＝g-1(i,xvk)是在局部帧中的ck和i的对应的索引。
根据起因概率定义，可以如在等式(29)中给出的写入比率。
应注意可以表示m的平均值。
将比率***回到等式(27)中，等式(30)可以如下给出。
收集线性和常数项，等式(30)可以如在等式(31)中给出的简化。
p(mi|z0：k,xv0：k)＝(αimi+βi)p(mi|z0：k-1,xv0：k-1) (31)
其中
以及
在更紧凑的形式中，可以将等式(31)重新写入为等式(34)。
其中
相应地，可以根据等式(35)写入逆起因模型。
在一些配置中，电子装置可以根据以下内容规划406路径。举例来说，电子装置102可以通过置信度感知网格或地图规划406路径。具体地说，以下内容描述了利用如本文中所描述的具有置信度值(例如，置信度丰富表示)的地图进行规划。
规划的一个目标是获得目标点，同时避免障碍物(例如，最小化碰撞概率)。为了实现这一点，规划器可以推算未来感知知识的获取并且将此知识并入在规划中。置信度丰富地图的一个益处在于它实现了地图演进和地图不确定性的有效的预测。
在推算未来开销中，可能需要的是首先推算未来观察结果。未知的未来观察结果可通过将它们视作随机变量并且计算它们的未来PDF并入。置信空间规划中的一个方式是使用最可能的未来观察结果作为未来观察结果的表示以推算置信的演进。在第n个步骤处的最可能的观察结果可以如在等式(36)中所说明的表示。
相应地，最可能的未来地图置信可以根据等式(37)计算。
其中
当地图看起来像时，为了将开销指派到从xvk开始的给定路径path＝(xvk,uk,xvk+1,uk+1,…,xvN)，地图置信可以通过等式(37)沿所述路径预测。
假设相加性开销，则路径开销可以通过添加单步开销获得，如等式(38)中所说明。
其中置信空间中的开销可以是通过状态空间中的底层开销诱发的，如等式(39)中所说明。
底层单步开销可以取决于在手边的应用。对于通过网格地图的安全导航，在一些配置中可以利用在等式(40)中说明的以下开销函数。
其中在对象(例如，电子装置102、车辆、机器人、无人机等)的所在处j是体素(例如，单元)的索引。换句话说，x∈mj。
因此，置信空间中的开销可以如等式(41)中所说明。
应注意以上观察结果可以是“未来观察结果”。
在一些配置中路径规划406可如下执行。为了产生规划，可以利用快速搜索随机树(RRT)方式形成候选项轨道的集合Π＝{pathi}。对于每个轨道，可以计算开销c(pathi)并且可以选择具有最小开销的路径，如等式(42)中所说明。
如上文所描述，本文中所公开的***和方法的一些配置启用基于网格的测绘和规划方法的联合设计。测绘算法可以将占用水平表示为实现规划方法以预测在不同候选项轨道之下的地图的未来演进的概率分布。
图5是说明可以在其中实施用于对环境进行测绘的***和方法的电子装置502的更具体实例的方块图。结合图5描述的电子装置502可为结合图1描述的电子装置102的实例。电子装置502可以包含一或多个组件或元件。组件或元件中的一或多个可以在硬件(例如，电路)、硬件与固件的组合和/或硬件与软件的组合(例如，具有指令的处理器)中实施。
在一些配置中，电子装置502可执行结合图1到4和6到9中的一或多个描述的功能、过程、方法、步骤等中的一或多个。另外或替代地，电子装置502可包含结合图1到4和6到9中的一或多个描述的结构中的一或多个。
在一些配置中，电子装置502可以包含处理器512、存储器522、一或多个显示器524、一或多个传感器504(例如，一或多个深度传感器、立体摄像机、图像传感器、光检测与测距(LIDAR)传感器、飞行时间(ToF)摄像机、运动传感器、位置传感器、加速计、倾斜传感器、陀螺仪、指南针、气压计等)、一或多个光学***506和/或一或多个通信接口508。处理器512可以耦合到存储器522、显示器524、传感器504、光学***506和/或通信接口508(例如，与它们电子通信)。应注意在一些配置中结合图5描述的电子装置502的元件中的一或多个(例如，传感器504、光学***506、通信接口508、显示器524等)可以是可选的和/或可以并不包含(例如，实施)于电子装置502中。
传感器504、光学***506、通信接口508、显示器524、存储器522或处理器512中的一或多个可以类似于结合图1描述的对应的组件实施。
处理器512可以包含和/或实施测量值获得器514、姿态信息获得器518、测绘器516和/或规划器520。测量值获得器514、姿态信息获得器518和/或测绘器516中的一或多个可以类似于结合图1描述的对应的组件实施。
存储器522可存储指令和/或数据。可以通过存储器522存储的指令和/或数据的实例可以包含传感器数据、测量值获得器514指令、姿态信息获得器518指令、测绘器516指令、规划器520指令等。在一些配置中，存储器522可以存储一或多个概率分布(例如，PDF)、一或多个置信度值、一或多个测量值、一或多个密度估计值、姿态信息(例如，摄像机位置信息、传感器位置信息等)、一或多个概率、一或多个函数、一或多个路径(例如，规划的路径)等。
在一些配置中，通信接口508可以将信息(例如，地图信息、概率分布(例如，PDF)信息、体素占用概率分布信息、置信度信息、图像信息、对象检测信息、路径信息、规划信息等)发送到另一装置(例如，车辆、智能电话、摄像机、显示器、远程服务器、机器人、无人机等)和/或从另一装置(例如，车辆、智能电话、摄像机、显示器、远程服务器、机器人、无人机等)接收信息(例如，地图信息、概率分布(例如，PDF)信息、体素占用概率分布信息、置信度信息、图像信息、对象检测信息、路径信息、规划信息、目的地信息、目标信息等)。举例来说，电子装置502可以从远程装置接收传感器数据(例如，深度信息和/或姿态信息)。电子装置502可以利用传感器数据以确定一或多个体素占用概率分布、置信度值、地图和/或规划信息(例如，一或多个路径、移动控制信息等)。电子装置502可以将一或多个体素占用概率分布、置信度值、地图和/或规划信息发送到远程装置。远程装置可以利用一或多个体素占用概率分布、置信度值、地图和/或规划信息以执行操作(例如，规划路径、控制移动等)。
在一些配置中，电子装置502可在显示器524上呈现用户接口526。举例来说，用户接口526可使得用户能够与电子装置502交互。在一些配置中，用户接口526可使得用户能够与电子装置502交互。举例来说，用户接口526可以接收触摸、鼠标单击、手势、键盘输入和/或指示输入的一些其它指示。在一些配置中，用户接口526可以基于来自用户的输入接收目的地信息。
电子装置502(例如，处理器512)可以任选地耦合到一或多个种类的装置、作为一或多个种类的装置的一部分(例如，集成到一或多个种类的装置中)、包含和/或实施一或多个种类的装置。举例来说，电子装置502可以在配备有一或多个传感器的车辆或无人机中实施。在另一实例中，电子装置502(例如，处理器512)可以在运动摄像机中实施。在又其它实例中，电子装置502可以在扩增现实耳机或虚拟现实耳机中实施。在又另一实例中，电子装置502可以在机器人中实施。
如上文结合图1所描述，测量值获得器514可以获得一或多个传感器测量值。姿态信息获得器518可以获得姿态信息。测绘器516可以产生一或多个体素占用概率分布。另外或替代地，测绘器516可以产生一或多个置信度值、地图、密度水平等。
在一些配置中，处理器512可包含和/或实施规划器520。规划器520可以基于一或多个体素占用概率分布规划路径。在一些配置中，规划器520可以如结合图4所描述规划路径。举例来说，规划器520可以计算一或多个未来概率分布(例如，PDF)、可以计算一或多个候选项轨道(例如，路径)、可以计算一或多个候选项轨道(例如，路径)的开销，和/或可以选择具有最小开销的路径。在一些配置中，规划器520可以控制电子装置502(和/或另一对象)以沿所选择的路径移动。举例来说，电子装置502(例如，处理器512)可以操作(和/或可以提供指令以用于操作)一或多个移动机构(例如，传动***、刹车、螺旋桨、喷射器、车轮、轨道、附属物等)以沿避免障碍物的路径移动电子装置502和/或另一对象(例如，远程装置)。
应注意，电子装置502的元件或组件中的一或多个可以组合和/或划分。举例来说，可以组合测量值获得器514、姿态信息获得器518、测绘器516和/或规划器520。另外或替代地，测量值获得器514、姿态信息获得器518和/或测绘器516中的一或多个可以划分成执行其操作的一或多个子集的元件或组件。
图6是说明用于对环境进行测绘的方法600的更具体配置的流程图。方法600可通过本文中所描述的电子装置102、502中的一或多个执行。在一些配置中，600的一或多个步骤可以与本文中所描述的函数、过程和/或方法步骤中的一或多个组合。
电子装置102可以获得602姿态信息。这可如结合图1、3和5中的一或多个所描述般实现。举例来说，电子装置102可以检测、确定、请求和/或接收摄像机位置(例如，xk)和/或传感器位置(例如，vk)。摄像机位置可以指示摄像机(例如，深度传感器、图像传感器和/或光学***)的位置和/或定向。传感器位置可以指示样本(例如，像素)位置。在一些配置中，姿态信息可以指示光线(例如，xvk)。
电子装置102可以获得604传感器测量值。这可如结合图1到5中的一或多个所描述般实现。举例来说，电子装置102可以检测、确定、请求和/或接收传感器测量(例如，zk)。传感器测量值可以指示样本(例如，像素)的深度测量值。
电子装置102可以获得606先前体素密度估计值。这可如结合图1所描述般实现。举例来说，电子装置102可以检索、请求和/或接收先前体素密度估计值。举例来说，电子装置102可能先前在存储器中存储的特定体素的体素密度估计值。电子装置102可以检索先前体素密度估计值。在一些配置中，先前体素密度估计值可以由表示。
电子装置102可以获得608先前体素占用概率分布。这可如结合图1所描述般实现。举例来说，电子装置102可以检索、请求和/或接收先前体素占用概率分布。举例来说，电子装置102可能先前在存储器中存储的特定体素的体素占用概率分布。电子装置102可以检索先前体素占用概率分布。在一些配置中，体素占用概率分布可以由p(θi|z0：k-1,xv0：k-1)表示。
电子装置102可以基于姿态信息、传感器测量值、先前体素密度估计值和先前体素占用概率分布确定610当前体素占用概率分布。这可如结合图1到2和4到5中的一或多个所描述般实现。举例来说，电子装置102可以根据等式(1)-(4)、(10)和/或(13)确定当前体素占用概率分布(例如，p(θi|z0：k,xv0：k))。在一些配置中，电子装置102可以基于当前体素占用概率分布执行一或多个操作。应注意在一些配置中方法600可针对多个样本(例如，像素)、在不同时间的多个传感器测量值和/或来自不同传感器的多个传感器测量值(例如，在相同时间或不同时间)执行。
图7是说明用于对环境进行测绘的方法700的另一更具体配置的流程图。方法700可通过本文中所描述的电子装置102、502中的一或多个执行。在一些配置中，700的一或多个步骤可以与本文中所描述的函数、过程和/或方法步骤中的一或多个组合。
电子装置102可以获得702姿态信息(例如，xvk)。这可如结合图1、3和5到6中的一或多个所描述般实现。
电子装置102可以获得704传感器测量(例如，zk)。这可如结合图1到6中的一或多个所描述般实现。
电子装置102可以获得706先前体素密度估计值(例如，)。这可如结合图1和6中的一或多个所描述般实现。
电子装置102可以获得708先前体素占用概率分布(例如，p(θi|z0：k-1,xv0：k-1))。这可如结合图1和6中的一或多个所描述般实现。
电子装置102可以获得710伪测量值概率(例如，prand)。这可如结合图1所描述般实现。举例来说，电子装置102可以检索存储在存储器中的伪测量值概率。在一些配置中，伪测量值概率可以是预先确定的。另外或替代地，电子装置102可以(例如，从另一装置)请求和/或接收伪测量值概率。
电子装置102可以基于姿态信息、传感器测量值和先前体素密度估计值确定712体素起因概率。这可如结合图1所描述般实现。举例来说，电子装置102可以确定(例如，运算、计算等)
在至少一个外部体素的情况中，电子装置102可以基于姿态信息、传感器测量值和先前体素密度估计值确定714一或多个外部体素起因概率。这可如结合图1所描述般实现。举例来说，电子装置102可以确定(例如，运算、计算等)用于一或多个外部体素的(例如，除考虑中的体素以外的)Pr(ck＝cr|mk-1,zk,xvk)。在没有外部体素的情况中，在一些配置中电子装置102可能不作出此确定714或可能确定一或多个概率为0。
在至少一个内部体素的情况中，电子装置102可以基于姿态信息、传感器测量值和先前体素密度估计值确定716一或多个内部体素起因概率。这可如结合图1所描述般实现。举例来说，电子装置102可以确定(例如，运算、计算等)用于一或多个内部体素的(例如，在摄像机与考虑中的体素之间的)Pr(ck＝cr|mk-1,zk,xvk)。在没有内部体素的情况中，在一些配置中电子装置102可能不作出此确定716或可能确定一或多个概率为0。
电子装置102可以基于体素起因概率、一或多个外部体素起因概率、一或多个内部体素起因概率、伪测量值概率和/或先前体素占用概率分布确定718当前体素占用概率分布。这可如结合图1到2和4到6中的一或多个所描述般实现。举例来说，电子装置102可以根据等式(1)-(4)、(10)和/或(13)确定当前体素占用概率分布(例如，p(θi|z0：k,xv0：k))。在一些配置中，电子装置102可以基于当前体素占用概率分布执行一或多个操作。应注意在一些配置中方法700可针对多个样本(例如，像素)、在不同时间的多个传感器测量值和/或来自不同传感器的多个传感器测量值(例如，在相同时间或不同时间)执行。
图8是说明用于对环境进行测绘的方法800的又一更具体配置的流程图。方法800可通过本文中所描述的电子装置102、502中的一或多个执行。在一些配置中，方法800的一或多个步骤可以与本文中所描述的函数、过程和/或方法步骤中的一或多个组合。
电子装置102可以获得802姿态信息(例如，xvk)。这可如结合图1、3和5到7中的一或多个所描述般实现。
电子装置102可以获得804传感器测量(例如，zk)。这可如结合图1到7中的一或多个所描述般实现。
电子装置102可以获得806先前体素密度估计值(例如，)。这可如结合图1和6到7中的一或多个所描述般实现。
电子装置102可以获得808先前体素占用概率分布(例如，p(θi|z0：k-1,xv0：k-1))。这可如结合图1和6到7中的一或多个所描述般实现。
电子装置102可以获得810伪测量值概率(例如，prand)。这可如结合图1和7中的一或多个所描述般实现。
电子装置102可以基于先前体素密度估计值确定812归一化常数。这可如结合图1所描述般实现。举例来说，电子装置102可以确定(例如，运算、计算等)
电子装置102可以基于姿态信息、传感器测量值和先前体素密度估计值确定814体素起因概率。这可如结合图1和7中的一或多个所描述般实现。举例来说，电子装置102可以确定(例如，运算、计算等)在一些方式中，可以利用一或多个蒙特-卡罗方法来计算
在至少一个外部体素的情况中，电子装置102可以基于姿态信息、传感器测量值和先前体素密度估计值确定816一或多个外部体素起因概率。这可如结合图1和7中的一或多个所描述般实现。举例来说，电子装置102可以确定(例如，运算、计算等)用于一或多个外部体素的Pr(ck＝cr|mk-1,zk,xvk)。在一些方式中，可以利用一或多个蒙特-卡罗方法来计算Pr(ck＝cr|mk-1,zk,xvk)。在没有外部体素的情况中，在一些配置中电子装置102可能不作出此确定814或可能确定一或多个概率为0。
在至少两个外部体素起因概率的情况中，电子装置102可以对外部体素起因概率进行求和818。这可如结合图1所描述般实现。举例来说，电子装置102可以确定(例如，运算、计算等)在仅一个外部体素起因概率的情况中，替代于求和可以使用一个外部体素起因概率。
在至少一个内部体素的情况中，电子装置102可以基于姿态信息、传感器测量值和先前体素密度估计值确定820一或多个内部体素起因概率。这可如结合图1和7中的一或多个所描述般实现。举例来说，电子装置102可以确定(例如，运算、计算等)用于一或多个内部体素的(例如，在摄像机与考虑中的体素之间的)Pr(ck＝cr|mk-1,zk,xvk)。在没有内部体素的情况中，在一些配置中电子装置102可能不作出此确定820或可能确定一或多个概率为0。
在至少两个内部体素起因概率的情况中，电子装置102可以对内部体素起因概率进行求和822。这可如结合图1所描述般实现。举例来说，电子装置102可以确定(例如，运算、计算等)在仅一个内部体素起因概率的情况中，替代于求和可以使用一个内部体素起因概率。
电子装置102可以基于归一化常数、体素起因概率、外部体素起因概率和、伪测量值概率、内部体素起因概率和，和/或先前体素密度估计值确定824仿射函数。这可如结合图1所描述般实现。举例来说，电子装置102可以确定(例如，运算、计算等)η(aθi+b)。
电子装置102可以基于仿射函数和先前体素占用概率分布确定826当前体素占用概率分布。这可如结合图1到2和4到7中的一或多个所描述般实现。举例来说，电子装置102可以确定(例如，运算、计算等)p(θi|z0：k,xv0：k)＝η(aθi+b)p(θi|z0：k-1,xv0：k-1)。在一些配置中，电子装置102可以基于当前体素占用概率分布执行一或多个操作。应注意在一些配置中方法800可针对多个样本(例如，像素)、在不同时间的多个传感器测量值和/或来自不同传感器的多个传感器测量值(例如，在相同时间或不同时间)执行。
图9说明可包含在经配置以实施本文中所公开的***和方法的各种配置的电子装置902内的特定组件。电子装置902可以是计算机、机器人、车辆、无人机、存取终端机、飞机、移动站、用户设备(UE)、智能电话、数码摄像机、摄像机、平板计算机装置、膝上型计算机、桌上型计算机、服务器等和/或可以包含于计算机、机器人、车辆、无人机、存取终端机、飞机、移动站、用户设备(UE)、智能电话、数码摄像机、摄像机、平板计算机装置、膝上型计算机、桌上型计算机、服务器等内。电子装置902可以根据本文中所描述的电子装置102实施。电子装置902包含处理器912。处理器912可以是通用单或多芯片微处理器(例如，ARM)、专用微处理器(例如，数字信号处理器(DSP))、微控制器、可编程门阵列等。处理器912可被称为中央处理单元(CPU)。虽然在电子装置902中示出了仅单个处理器912，但是在替代配置中，可以实施处理器的组合(例如，ARM和DSP)。
电子装置902还包含存储器922。存储器922可以是能够存储电子信息的任何电子组件。存储器922可体现为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的快闪存储器装置、随处理器包含的机载存储器、EPROM存储器、EEPROM存储器、寄存器等，包含其组合。
数据954a和指令952a可存储于存储器922中。指令952a可由处理器912执行以实施本文中所描述的方法200、400、600、700、800中的一或多个。执行指令952a可涉及使用存储于存储器922中的数据954a。当处理器912执行指令952时，指令952b的各种部分可加载到处理器912上，和/或数据954b的各种片段可加载到处理器912上。
电子装置902还可包含发射器958和接收器960，以允许将信号发射到电子装置902和从电子装置902接收信号。发射器958和接收器960可统称为收发器962。一或多个天线910a-b可电耦合到收发器962。电子装置902还可包含(未示出)多个发射器、多个接收器、多个收发器和/或额外天线。
电子装置902可以包含数字信号处理器(DSP)964。电子装置902还可包含通信接口908。通信接口908可允许和/或启用一或多个种类的输入和/或输出。举例来说，通信接口908可包含用于将其它装置链接到电子装置902的一或多个端口和/或通信装置。在一些配置中，通信接口908可以包含发射器958、接收器960或两者(例如，收发器962)。另外或替代地，通信接口908可包含一或多个其它接口(例如，触摸屏、小键盘、键盘、麦克风、摄像机等)。举例来说，通信接口908可使得用户能够与电子装置902交互。
电子装置902的各种组件可通过一或多条总线耦合在一起，所述总线可包含电力总线、控制信号总线、状态信号总线、数据总线等。为清楚起见，各种总线在图9中说明为总线***956。
术语“确定”涵盖多种多样的动作，且因此“确定”可以包含计算、运算、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)、查实及类似者。并且，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)及类似者。并且，“确定”可包含解析、选择、挑选、建立及类似者。
除非另外明确地规定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”和“至少基于”两者。
术语“处理器”应广义上解释为涵盖通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。在一些情况下，“处理器”可以指专用集成电路(ASIC)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等。术语“处理器”可以指处理装置的组合，例如，DSP和微处理器的组合、多个微处理器、一或多个微处理器结合DSP芯，或任何其它此类配置。
术语“存储器”应当广义地解释为涵盖能够存储电子信息的任何电子组件。术语存储器可以指各种类型的处理器可读媒体，例如，随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、快闪存储器、磁性或光学数据存储装置、寄存器等。如果处理器可以从存储器读取信息和/或将信息写入到存储器，那么存储器被称为与处理器进行电子通信。与处理器成一体的存储器与处理器进行电子通信。
术语“指令”和“代码”应被广义地解释为包含任何类型的计算机可读语句。举例来说，术语“指令”和“代码”可指一或多个程序(program)、例程、子例程、函数、过程(procedure)等。“指令”和“代码”可以包括单个计算机可读语句或许多计算机可读语句。
本文中所描述的功能可在通过硬件执行的软件或固件中实施。所述功能可存储为计算机可读媒体上的一或多个指令。术语“计算机可读媒体”或“计算机程序产品”指代可由计算机或处理器存取的任何有形的存储媒体。借助于实例而非限制，计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于携带或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。如本文中所使用的磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和光盘，其中磁盘通常是以磁性方式再现数据，而光盘是用激光以光学方式再现数据。应注意计算机可读媒体可为有形的及非暂时性的。术语“计算机程序产品”是指计算装置或处理器，其与可由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)组合。如本文中所使用，术语“代码”可指可由计算装置或处理器执行的软件、指令、代码或数据。
还可经由传输媒体传输软件或指令。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或无线技术(例如，红外线、无线电及微波)从网站、服务器或其它远程源传输软件，那么同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如，红外线、无线电及微波)包含在传输媒体的定义中。
本文中所公开的方法包括用于实现所描述方法的一或多个步骤或动作。在不脱离权利要求书的范围的情况下，方法步骤和/或动作可以彼此互换。换句话说，除非正在描述的方法的适当操作需要步骤或动作的特定次序，否则在不脱离权利要求书的范围的情况下可修改特定步骤和/或动作的次序和/或使用。
另外，应了解用于执行本文中所描述的方法和技术的模块和/或其它适当装置可以下载和/或以其它方式通过装置获得。举例来说，装置可耦合到服务器以促进用于执行本文中所描述的方法的装置的传递。替代地，本文中所描述的各种方法可以经由存储装置(例如，随机存取存储器(RAM)、只读存储器(ROM)、例如压缩光盘(CD)或软盘的物理存储媒体等)提供，使得在将存储装置耦合或提供到装置之后所述装置可以获得各种方法。
应理解，权利要求书不限于上文所说明的精确配置和组件。在不脱离权利要求书的范围的情况下，可对本文中所描述的***、方法和设备的布置、操作和细节作出各种修改、改变和变化。

Claims (30)

1.一种用于通过电子装置对环境进行测绘的方法，所述方法包括：
获得传感器测量值的集合；以及
基于所述传感器测量值的集合确定分别对应于体素的集合的体素占用概率分布的集合，其中所述体素占用概率分布中的每一个表示在占用密度的范围内的体素的占用的概率，其中所述范围包括部分占用密度。
2.根据权利要求1所述的方法，其进一步包括确定分别对应于所述体素的集合的置信度值的集合。
3.根据权利要求2所述的方法，其中所述置信度值的集合中的每一个是分别基于所述体素占用概率分布的集合中的每一个的方差。
4.根据权利要求1所述的方法，其进一步包括更新所述体素占用概率分布的集合。
5.根据权利要求4所述的方法，其中确定和更新所述体素占用概率分布的集合中的每一个是基于逆起因模型的。
6.根据权利要求4所述的方法，其中确定和更新所述体素占用概率分布的集合中的每一个是基于贝叶斯规则的。
7.根据权利要求4所述的方法，其中确定和更新所述体素占用概率分布的集合中的每一个是基于来自不同时间的测量值的融合的。
8.根据权利要求4所述的方法，其中确定和更新所述体素占用概率分布的集合中的每一个是基于来自不同传感器的测量值的融合的。
9.根据权利要求4所述的方法，其中更新所述体素占用概率分布的集合中的每一个包括用仿射函数乘以先前概率分布。
10.根据权利要求1所述的方法，其中确定所述体素占用概率分布的集合是基于逆起因模型的，其中所述逆起因模型对体素是所述传感器测量值的集合中的一或多个的起因的概率进行建模。
11.根据权利要求1所述的方法，其中所述占用密度的范围是在完全清空与完全占用之间的连续范围。
12.一种用于对环境进行测绘的电子装置，其包括：
处理器，其经配置以：
获得传感器测量值的集合；以及
基于所述传感器测量值的集合确定分别对应于体素的集合的体素占用概率分布的集合，其中所述体素占用概率分布中的每一个表示在占用密度的范围内的体素的占用的概率，其中所述范围包括部分占用密度。
13.根据权利要求12所述的电子装置，其中所述处理器经配置以确定分别对应于所述体素的集合的置信度值的集合。
14.根据权利要求13所述的电子装置，其中所述置信度值的集合中的每一个是分别基于所述体素占用概率分布的集合中的每一个的方差。
15.根据权利要求12所述的电子装置，其中所述处理器经配置以更新所述体素占用概率分布的集合。
16.根据权利要求15所述的电子装置，其中所述处理器经配置以基于逆起因模型确定和更新所述体素占用概率分布的集合中的每一个。
17.根据权利要求15所述的电子装置，其中所述处理器经配置以基于贝叶斯规则确定和更新所述体素占用概率分布的集合中的每一个。
18.根据权利要求15所述的电子装置，其中所述处理器经配置以基于来自不同时间的测量值的融合确定和更新所述体素占用概率分布的集合中的每一个。
19.根据权利要求15所述的电子装置，其中所述处理器经配置以基于来自不同传感器的测量值的融合确定和更新所述体素占用概率分布的集合中的每一个。
20.根据权利要求15所述的电子装置，其中所述处理器经配置以通过用仿射函数乘以先前概率分布来更新所述体素占用概率分布的集合中的每一个。
21.根据权利要求12所述的电子装置，其中所述处理器经配置以基于逆起因模型确定所述体素占用概率分布的集合，其中所述逆起因模型对体素是所述传感器测量值的集合中的一或多个的起因的概率进行建模。
22.根据权利要求12所述的电子装置，其中所述占用密度的范围是在完全清空与完全占用之间的连续范围。
23.一种用于对环境进行测绘的计算机程序产品，其包括具有在其上的指令的非暂时性有形计算机可读媒体，所述指令包括：
用于使得电子装置获得传感器测量值的集合的代码；以及
用于使得所述电子装置基于所述传感器测量值的集合确定分别对应于体素的集合的体素占用概率分布的集合的代码，其中所述体素占用概率分布中的每一个表示在占用密度的范围内的体素的占用的概率，其中所述范围包括部分占用密度。
24.根据权利要求23所述的计算机程序产品，其进一步包括用于使得所述电子装置确定分别对应于所述体素的集合的置信度值的集合的代码。
25.根据权利要求23所述的计算机程序产品，其进一步包括用于使得所述电子装置更新所述体素占用概率分布的集合的代码。
26.根据权利要求23所述的计算机程序产品，其中所述用于使得所述电子装置确定所述体素占用概率分布的集合的代码是基于逆起因模型的，其中所述逆起因模型对体素是所述传感器测量值的集合中的一或多个的起因的概率进行建模。
27.一种用于对环境进行测绘的设备，其包括：
用于获得传感器测量值的集合的装置；以及
用于基于所述传感器测量值的集合确定分别对应于体素的集合的体素占用概率分布的集合的装置，其中所述体素占用概率分布中的每一个表示在占用密度的范围内的体素的占用的概率，其中所述范围包括部分占用密度。
28.根据权利要求27所述的设备，其进一步包括用于确定分别对应于所述体素的集合的置信度值的集合的装置。
29.根据权利要求27所述的设备，其进一步包括用于更新所述体素占用概率分布的集合的装置。
30.根据权利要求27所述的设备，其中所述用于确定所述体素占用概率分布的集合的装置是基于逆起因模型的，其中所述逆起因模型对体素是所述传感器测量值的集合中的一或多个的起因的概率进行建模。
CN201780036702.7A 2016-07-06 2017-04-24 用于对环境进行测绘的***和方法 Pending CN109313810A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662359083P 2016-07-06 2016-07-06
US62/359,083 2016-07-06
US15/268,203 2016-09-16
US15/268,203 US9996944B2 (en) 2016-07-06 2016-09-16 Systems and methods for mapping an environment
PCT/US2017/029133 WO2018009263A1 (en) 2016-07-06 2017-04-24 Systems and methods for mapping an environment

Publications (1)

Publication Number Publication Date
CN109313810A true CN109313810A (zh) 2019-02-05

Family

ID=60910473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780036702.7A Pending CN109313810A (zh) 2016-07-06 2017-04-24 用于对环境进行测绘的***和方法

Country Status (3)

Country Link
US (1) US9996944B2 (zh)
CN (1) CN109313810A (zh)
WO (1) WO2018009263A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112703368A (zh) * 2020-04-16 2021-04-23 华为技术有限公司 车辆定位的方法和装置、定位图层生成的方法和装置
CN114503043A (zh) * 2019-08-06 2022-05-13 波士顿动力公司 受限移动性建图
CN115244362A (zh) * 2020-03-13 2022-10-25 索尼集团公司 用于生成环境的数字地图的***、方法和计算机程序

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10372968B2 (en) * 2016-01-22 2019-08-06 Qualcomm Incorporated Object-focused active three-dimensional reconstruction
US10500726B2 (en) * 2016-04-25 2019-12-10 Kindred Systems Inc. Facilitating device control
DE102016220075A1 (de) * 2016-10-14 2018-04-19 Audi Ag Kraftfahrzeug und Verfahren zur 360°-Umfelderfassung
US10293485B2 (en) * 2017-03-30 2019-05-21 Brain Corporation Systems and methods for robotic path planning
US10298912B2 (en) * 2017-03-31 2019-05-21 Google Llc Generating a three-dimensional object localization lookup table
US10444759B2 (en) 2017-06-14 2019-10-15 Zoox, Inc. Voxel based ground plane estimation and object segmentation
ES2860776T3 (es) * 2017-09-07 2021-10-05 Signify Holding Bv Sistema de posicionamiento interior para objetos móviles
US10872246B2 (en) * 2017-09-07 2020-12-22 Regents Of The University Of Minnesota Vehicle lane detection system
US10535138B2 (en) 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
US10867398B2 (en) * 2017-11-21 2020-12-15 Reliance Core Consulting LLC Methods, systems, apparatuses and devices for facilitating motion analysis in an environment
US10852426B2 (en) * 2018-01-12 2020-12-01 Tiejun Shan System and method of utilizing a LIDAR digital map to improve automatic driving
US11157527B2 (en) * 2018-02-20 2021-10-26 Zoox, Inc. Creating clean maps including semantic information
DE102018104780A1 (de) * 2018-03-02 2019-09-05 Sick Ag Verfahren zur Bestimmung einer elektronischen nützbaren Repräsentation einer Umgebung, Vorrichtung hierfür, Datenträger
US11372424B2 (en) * 2018-05-10 2022-06-28 GM Global Technology Operations LLC Generalized 3D inverse sensor model
US10816659B2 (en) * 2018-05-15 2020-10-27 GM Global Technology Operations LLC Method for efficient volumetric integration for 3D sensors
US10859831B1 (en) 2018-05-16 2020-12-08 Facebook Technologies, Llc Systems and methods for safely operating a mobile virtual reality system
WO2020008458A2 (en) * 2018-07-02 2020-01-09 Vayyar Imaging Ltd. System and methods for environment mapping
US10271040B1 (en) * 2018-08-09 2019-04-23 Alive 3D Dynamic angle viewing system
US11125861B2 (en) 2018-10-05 2021-09-21 Zoox, Inc. Mesh validation
EP3803273A4 (en) 2018-10-29 2021-11-17 DJI Technology, Inc. REAL-TIME MAPPING TECHNIQUES IN A MOBILE OBJECT ENVIRONMENT
US11244483B2 (en) 2018-10-31 2022-02-08 Facebook Technologies, Llc Systems and methods for modifying a safety boundary for virtual reality systems
EP3647728B1 (en) * 2018-11-05 2023-06-21 Toyota Jidosha Kabushiki Kaisha Map information system
US11465633B2 (en) * 2018-11-14 2022-10-11 Huawei Technologies Co., Ltd. Method and system for generating predicted occupancy grid maps
JP7506876B2 (ja) * 2018-12-11 2024-06-27 セーフ エーアイ，インコーポレイテッド 自律車両における運動挙動推定および動的挙動推定のための技術
EP3894789A4 (en) * 2018-12-12 2022-07-20 INTEL Corporation TIMELY OCCUPANCY GRID MAPPING FOR ROBOTS IN DYNAMIC ENVIRONMENTS
US20200256999A1 (en) * 2019-02-07 2020-08-13 Atulya Yellepeddi Lidar techniques for autonomous vehicles
US11100347B2 (en) * 2019-03-12 2021-08-24 Ford Global Technologies, Llc Photometric stereo object detection for articles left in an autonomous vehicle
JP7469850B2 (ja) * 2019-03-25 2024-04-17 本田技研工業株式会社 経路決定装置、ロボット及び経路決定方法
CN110196602B (zh) * 2019-05-08 2020-05-05 河海大学 目标导向集中优化的快速水下机器人三维路径规划方法
US11227401B1 (en) * 2019-05-22 2022-01-18 Zoox, Inc. Multiresolution voxel space
US11407117B1 (en) * 2019-08-20 2022-08-09 X Development Llc Robot centered augmented reality system
US11348332B2 (en) * 2019-09-25 2022-05-31 Toyota Research Institute, Inc. Object location analysis
US11288509B2 (en) * 2019-11-12 2022-03-29 Toyota Research Institute, Inc. Fall detection and assistance
CN112313536B (zh) * 2019-11-26 2024-04-05 深圳市大疆创新科技有限公司 物体状态获取方法、可移动平台及存储介质
US11605201B2 (en) * 2020-01-27 2023-03-14 Meta Platforms Technologies, Llc Systems, methods, and media for detecting object-free space
US11113871B1 (en) 2020-02-25 2021-09-07 Autodesk, Inc. Scene crop via adaptive view-depth discontinuity
US20210278852A1 (en) * 2020-03-05 2021-09-09 Uatc, Llc Systems and Methods for Using Attention Masks to Improve Motion Planning
CN116318556A (zh) * 2020-03-20 2023-06-23 华为技术有限公司 地图数据采集方法、装置及***
GB2593718B (en) * 2020-03-31 2022-04-27 Imperial College Sci Tech & Medicine Image processing system and method
US11724387B2 (en) 2020-04-03 2023-08-15 Fanuc Corporation Fast robot motion optimization with distance field
US11126850B1 (en) 2020-04-09 2021-09-21 Facebook Technologies, Llc Systems and methods for detecting objects within the boundary of a defined space while in artificial reality
CN111649739B (zh) * 2020-06-02 2023-09-01 阿波罗智能技术(北京)有限公司 定位方法和装置、自动驾驶车辆、电子设备和存储介质
US11893691B2 (en) * 2020-07-09 2024-02-06 Tencent America LLC Point cloud geometry upsampling
WO2022035417A1 (en) * 2020-08-10 2022-02-17 Google Llc Sensor based map generation and routing
US11232644B1 (en) 2020-12-31 2022-01-25 Facebook Technologies, Llc Systems and methods for providing spatial awareness in virtual reality
CN114237252B (zh) * 2021-12-17 2023-05-26 河南工业大学 一种融合卡尔曼滤波预测思想的适用于移动机器人导航的改进蚁群算法
WO2023115516A1 (en) * 2021-12-24 2023-06-29 Shenzhen Xpectvision Technology Co., Ltd. Imaging systems and methods of operation
TWI816387B (zh) * 2022-05-05 2023-09-21 勝薪科技股份有限公司 語意距離地圖的建構方法及其相關移動裝置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040039498A1 (en) * 2002-08-23 2004-02-26 Mark Ollis System and method for the creation of a terrain density model
CN101000507A (zh) * 2006-09-29 2007-07-18 浙江大学 移动机器人在未知环境中同时定位与地图构建的方法
CN101413806A (zh) * 2008-11-07 2009-04-22 湖南大学 一种实时数据融合的移动机器人栅格地图创建方法
CN103576154A (zh) * 2012-08-01 2014-02-12 通用汽车环球科技运作有限责任公司 使用雷达和摄像机的障碍物探测的融合
US20140350839A1 (en) * 2013-05-23 2014-11-27 Irobot Corporation Simultaneous Localization And Mapping For A Mobile Robot
CN105225604A (zh) * 2015-10-30 2016-01-06 汕头大学 一种移动机器人导航的混合地图的构建方法
CN105427738A (zh) * 2015-11-10 2016-03-23 汕头大学 一种基于大气压的多层建筑物的地图构建方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6067366A (en) * 1998-02-11 2000-05-23 Analogic Corporation Apparatus and method for detecting objects in computed tomography data using erosion and dilation of objects
US6266453B1 (en) 1999-07-26 2001-07-24 Computerized Medical Systems, Inc. Automated image fusion/alignment system and method
JP4479372B2 (ja) * 2004-06-25 2010-06-09 ソニー株式会社 環境地図作成方法、環境地図作成装置、及び移動型ロボット装置
US20060017720A1 (en) 2004-07-15 2006-01-26 Li You F System and method for 3D measurement and surface reconstruction
US8427472B2 (en) * 2005-02-08 2013-04-23 Seegrid Corporation Multidimensional evidence grids and system and methods for applying same
US7715626B2 (en) 2005-03-23 2010-05-11 Siemens Medical Solutions Usa, Inc. System and method for vascular segmentation by Monte-Carlo sampling
EP2297673B1 (en) * 2008-06-03 2020-04-22 Covidien LP Feature-based registration method
US8638985B2 (en) * 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
AU2010286429B2 (en) * 2009-08-31 2013-11-28 Vorwerk & Co. Interholding Gmbh Method and apparatus for simultaneous localization and mapping of mobile robot environment
US8458188B2 (en) 2010-02-17 2013-06-04 Lockheed Martin Corporation Voxel approach to terrain repositories for modeling and simulation
US8855911B2 (en) * 2010-12-09 2014-10-07 Honeywell International Inc. Systems and methods for navigation using cross correlation on evidence grids
WO2013165396A1 (en) * 2012-05-01 2013-11-07 Analogic Corporation Determination of z-effective value for set of voxels using ct density image and sparse multi-energy data
US10386493B2 (en) * 2015-10-01 2019-08-20 The Regents Of The University Of California System and method for localization and tracking

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040039498A1 (en) * 2002-08-23 2004-02-26 Mark Ollis System and method for the creation of a terrain density model
CN101000507A (zh) * 2006-09-29 2007-07-18 浙江大学 移动机器人在未知环境中同时定位与地图构建的方法
CN101413806A (zh) * 2008-11-07 2009-04-22 湖南大学 一种实时数据融合的移动机器人栅格地图创建方法
CN103576154A (zh) * 2012-08-01 2014-02-12 通用汽车环球科技运作有限责任公司 使用雷达和摄像机的障碍物探测的融合
US20140350839A1 (en) * 2013-05-23 2014-11-27 Irobot Corporation Simultaneous Localization And Mapping For A Mobile Robot
CN105225604A (zh) * 2015-10-30 2016-01-06 汕头大学 一种移动机器人导航的混合地图的构建方法
CN105427738A (zh) * 2015-11-10 2016-03-23 汕头大学 一种基于大气压的多层建筑物的地图构建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALEX STYLER: "Statistical Techniques in Robotics - Mapping", 《HTTP://WWW.CS.CMU.EDU/~16831-F12/NOTES/F12/16831_LECTURE05_VH.PDF》 *
ELFES, A: "USING OCCUPANCY GRIDS FOR MOBILE ROBOT PERCEPTION AND NAVIGATION", 《COMPUTER》 *
THRUN, S: "Learning occupancy grids with forward models", 《IEEE CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS 2001)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114503043A (zh) * 2019-08-06 2022-05-13 波士顿动力公司 受限移动性建图
CN115244362A (zh) * 2020-03-13 2022-10-25 索尼集团公司 用于生成环境的数字地图的***、方法和计算机程序
CN112703368A (zh) * 2020-04-16 2021-04-23 华为技术有限公司 车辆定位的方法和装置、定位图层生成的方法和装置

Also Published As

Publication number Publication date
WO2018009263A1 (en) 2018-01-11
US20180012370A1 (en) 2018-01-11
US9996944B2 (en) 2018-06-12

Similar Documents

Publication Publication Date Title
CN109313810A (zh) 用于对环境进行测绘的***和方法
JP6812404B2 (ja) 点群データを融合させるための方法、装置、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム
US20210012520A1 (en) Distance measuring method and device
CN111079619B (zh) 用于检测图像中的目标对象的方法和装置
US10192113B1 (en) Quadocular sensor design in autonomous platforms
CN113284240B (zh) 地图构建方法及装置、电子设备和存储介质
EP3378033B1 (en) Systems and methods for correcting erroneous depth information
US10437252B1 (en) High-precision multi-layer visual and semantic map for autonomous driving
US10794710B1 (en) High-precision multi-layer visual and semantic map by autonomous units
US10496104B1 (en) Positional awareness with quadocular sensor in autonomous platforms
CN102609942B (zh) 使用深度图进行移动相机定位
EP3283843B1 (en) Generating 3-dimensional maps of a scene using passive and active measurements
CN102622762B (zh) 使用深度图的实时相机跟踪
CN109084746A (zh) 用于具有辅助传感器的自主平台引导***的单目模式
CN109145677A (zh) 障碍物检测方法、装置、设备及存储介质
WO2021072710A1 (zh) 移动物体的点云融合方法、***及计算机存储介质
JP2021530821A (ja) 三次元無線モデル構築を実行するための方法、装置およびコンピュータプログラム
US20160286351A1 (en) Indoor navigation anomaly detection
US20230016153A1 (en) Map Feature Identification Using Motion Data and Surfel Data
US20210404814A1 (en) Map Generation Using Two Sources of Sensor Data
CN106708037A (zh) 自主移动式设备定位的方法、装置及自主移动式设备
EP3678822B1 (en) System and method for estimating pose of robot, robot, and storage medium
CN115331214A (zh) 用于目标检测的感知方法及***
CN115797817B (zh) 一种障碍物识别方法、障碍物显示方法、相关设备和***
WO2023170759A1 (ja) 受信電力予測方法、及び受信電力予測システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190205

WD01 Invention patent application deemed withdrawn after publication