CN108292138B - 随机地图知悉式立体视觉传感器模型 - Google Patents

随机地图知悉式立体视觉传感器模型 Download PDF

Info

Publication number
CN108292138B
CN108292138B CN201680070304.2A CN201680070304A CN108292138B CN 108292138 B CN108292138 B CN 108292138B CN 201680070304 A CN201680070304 A CN 201680070304A CN 108292138 B CN108292138 B CN 108292138B
Authority
CN
China
Prior art keywords
obtaining
probability
sensor
measurement
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680070304.2A
Other languages
English (en)
Other versions
CN108292138A (zh
Inventor
A·阿加默汉马蒂
S·阿加瓦尔
S·奥米德萨菲伊
K·索曼荪达拉姆
C·洛特
B·F·贝哈巴迪
S·P·吉布森
C·M·维任斯基
G·瑞特玛耶
S·迪亚兹斯宾多拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN108292138A publication Critical patent/CN108292138A/zh
Application granted granted Critical
Publication of CN108292138B publication Critical patent/CN108292138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种用于定义传感器模型的方法包括确定从在基于随机地图来建模的传感器的视场中的多个潜在原因获得测量的概率。该随机地图包括该随机地图中的每个体素的均值占用程度以及每个像素的均值占用程度的方差。该方法还包括基于所确定的获得测量的概率来确定获得图像的概率。该方法进一步包括基于获得图像的概率来规划包括该传感器的机器人的动作。

Description

随机地图知悉式立体视觉传感器模型
相关申请的交叉引用
本申请根据35U.S.C.§119(e)要求于2015年12月2日提交的题为“STOCHASTIC MAPAWARE STEREO VISION SENSOR MODEL(随机地图知悉式立体视觉传感器模型)”的美国临时专利申请No.62/262,339的权益，其公开内容通过援引全部明确纳入于此。
背景
领域
本公开的各方面一般涉及机器学习，尤其涉及改进基于随机地图来定义传感器模型的***和方法。
背景技术
在一些情形中，期望确定自主交通工具(诸如机器人)在给定区域内的位置。在其他情形中，在给定了机器人位置的情况下，期望生成机器人周围环境的地图。可经由增量办法或批处理办法来生成地图。
经由批处理办法生成的地图可在已搜集到遍及要被绘制地图的环境的多个传感器测量之后一次生成。即，在批处理办法中，要被绘制地图的环境的所有数据是在计算地图之前搜集的。然而，在一些情形中，机器人可能无法在计算地图之前搜集环境中的所有数据。
因此，在一些情形中，增量办法被指定用于生成地图。经由增量办法生成的地图可基于从机器人附近收集的初始数据来计算，并用每个新的传感器测量来更新。每个新的传感器测量可基于机器人改变其位置、从相同位置测量不同区域、或执行相同的测量以实现冗余性。对于增量办法，诸传感器测量是相互独立的。因此，机器人可在计算地图时使用假定。由此，在计算增量地图时可能存在一些不确定性。
基于假定的具有不确定性的地图可被称为随机地图。当生成地图和/或规划通过经绘制地图的环境的轨迹时，可定义传感器模型以在给定了地图具有带有各种占用程度和这些占用程度的置信值的多个体素的情况下预测在传感器的视场中的诸体素的占用程度。
概述
在本公开的一个方面，公开了一种定义传感器模型的方法。该方法包括确定从在基于随机地图来建模的传感器的视场中的多个潜在原因获得测量的概率。该地图具有该地图中的每个体素的均值占用程度以及每个体素的均值占用程度的方差。该方法还包括基于所确定的获得测量的概率来确定获得图像的概率。该方法进一步包括基于获得图像的概率来规划包括该传感器的机器人的动作。
本公开的另一方面涉及一种装备，其包括用于确定从在基于随机地图来建模的传感器的视场中的多个潜在原因获得测量的概率的装置。该地图包括该地图中的每个体素的均值占用程度以及每个体素的均值占用程度的方差。该装备还包括用于基于所确定的获得测量的概率来确定获得图像的概率的装置。该装备进一步包括用于基于获得图像的概率来规划包括该传感器的机器人的动作的装置。
在本公开的另一方面，公开了一种其上记录有非瞬态程序代码的非瞬态计算机可读介质。用于定义传感器模型的该程序代码由处理器来执行并且包括用于确定从在基于随机地图来建模的传感器的视场中的多个潜在原因获得测量的概率的程序代码。该地图包括该地图中的每个体素的均值占用程度以及每个体素的均值占用程度的方差。该程序代码还包括用于基于所确定的获得测量的概率来确定获得图像的概率的程序代码。该程序代码进一步包括用于基于获得图像的概率来规划包括该传感器的机器人的动作的程序代码。
本公开的另一方面涉及一种用于定义传感器模型的装置，其具有存储器单元和耦合至该存储器单元的一个或多个处理器。该(诸)处理器被配置成确定从在基于随机地图来建模的传感器的视场中的多个潜在原因获得测量的概率。该地图具有该地图中的每个体素的均值占用程度以及每个体素的均值占用程度的方差。该(诸)处理器还被配置成基于所确定的获得测量的概率来确定获得图像的概率。该(诸)处理器被进一步配置成基于获得图像的概率来规划包括该传感器的机器人的动作。
本公开的附加特征和优点将在下文描述。本领域技术人员应当领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。
附图简述
在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。
图1解说了根据本公开的某些方面的使用片上***(SOC)(包括通用处理器)的运动规划的示例实现。
图2解说了根据本公开的某些方面的***的示例实现。
图3A、3B和3C解说了根据本公开各方面的机器人执行测量的示例。
图4解说了根据本公开各方面的要绘制地图的环境的示例。
图5A、5B、5C、5D和6解说了根据本公开各方面的执行测量的示例。
图7是解说示例性设备中的不同模块/装置/组件的框图。
图8解说了根据本公开各方面的定义传感器模型的方法的流程图。
详细描述
以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践本文中所描述的概念的仅有配置。本详细描述包括具体细节以便提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在一些实例中，以框图形式示出了众所周知的结构和组件以避免湮没此类概念。
基于本教导，本领域技术人员应领会，本公开的范围旨在覆盖本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可以使用所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。
措辞“示例性”在本文中用于表示“用作示例、实例、或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
尽管本文描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、***配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。
对于自主***(诸如机器人)，期望构造机器人周围环境的准确地图。可经由传感器(诸如立体视觉传感器)来生成地图。此外，在为大型环境构造地图时，增大体素大小以使计算保持易于处理。
在一种配置中，为确定地图，地图可被划分成体素(例如，单元)。每个体素可具有以下状态：被占用(例如，满)、部分被占用、或空。在使用增量办法(例如，增量数据)来生成地图时，常规技术可能计算出不一致的地图，可能不计及所确定的体素占用程度中的不确定性，和/或可能不确定体素的占用程度(例如，满、部分满、或空)。例如，在常规***中，在使用增量办法来计算地图时，体素要么是0(例如，空)要么是1(例如，满)。由此，常规***在计算地图时不考虑体素的占用程度。在本申请中，占用程度可以指在空间上的占用比率。此外，占用程度还可被称为占用率和/或密度。
本公开的各方面涉及基于具有针对每个体素的均值占用程度和针对每个均值占用程度的方差的随机地图来定义传感器模型。该传感器模型可以实现在芯片上(例如，在数字信号处理器(DSP)或图形处理单元(GPU)上)。该传感器模型例如在机器人应用以及关于机器人将在其中操作的环境的知识中有分歧的场合中可以是有用的。
图1解说了根据本公开的某些方面使用片上***(SOC)100的前述传感器模型的示例实现，SOC 100可包括通用处理器(CPU)或多核通用处理器(CPU)102。变量(例如，神经信号和突触权重)、与计算设备相关联的***参数(例如，带有权重的神经网络)、延迟、频率槽信息、以及任务信息可被存储在与神经处理单元(NPU)108相关联的存储器块、与CPU 102相关联的存储器块、与图形处理单元(GPU)104相关联的存储器块、与数字信号处理器(DSP)106相关联的存储器块、专用存储器块118中，或可跨多个块分布。在通用处理器102处执行的指令可从与CPU 102相关联的程序存储器加载或可从专用存储器块118加载。
SOC 100还可包括为具体功能定制的附加处理块(诸如GPU 104、DSP106、连通性块110(其可包括***长期演进(4G LTE)连通性、无执照Wi-Fi连通性、USB连通性、蓝牙连通性等))以及例如可检测和识别姿势的多媒体处理器112。在一种实现中，NPU实现在CPU、DSP、和/或GPU中。SOC 100还可包括传感器处理器114、图像信号处理器(ISP)116、和/或导航120(其可包括全球定位***)。
SOC可基于ARM指令集。在本公开的一方面，加载到通用处理器102中的指令可包括用于确定从在正基于随机地图来建模的传感器的视场中的多个潜在原因获得测量的概率的代码，该随机地图包括针对该随机地图中的每个体素的均值占用程度以及该均值占用程度的方差。通用处理器102还可包括用于基于所确定的获得测量的概率来确定获得图像的概率的代码。此外，通用处理器102可进一步包括用于基于获得图像的概率来规划包括传感器114的机器人的动作的代码。
图2解说了根据本公开的某些方面的***200的示例实现。如图2中所解说的，***200可具有可执行本文所描述的方法的各种操作的多个局部处理单元202。每个局部处理单元202可包括局部状态存储器204和可存储神经网络的参数的局部参数存储器206。另外，局部处理单元202可具有用于存储局部模型程序的局部(神经元)模型程序(LMP)存储器208、用于存储局部学习程序的局部学习程序(LLP)存储器210、以及局部连接存储器212。此外，如图2中所解说的，每个局部处理单元202可与用于为该局部处理单元的各局部存储器提供配置的配置处理器单元214对接，并且与提供各局部处理单元202之间的路由的路由连接处理单元216对接。
在一种配置中，地图生成模型被配置成用于确定多个体素中的每个体素的占用程度、确定占用程度的PDF、以及基于在确定PDF之后所执行的测量来对PDF执行增量贝叶斯更新以生成地图。该模型包括确定装置和/或执行装置。在一个方面，确定装置和/或执行装置可以是配置成执行所叙述功能的通用处理器102、与通用处理器102相关联的程序存储器、存储器块118、局部处理单元202、和/或路由连接处理单元216。在另一配置中，前述装置可以是配置成执行由前述装置所叙述的功能的任何模块或任何装置。
根据本公开的某些方面，每个局部处理单元202可被配置成基于模型的一个或多个功能特征来确定模型的参数，以及随着所确定的参数被进一步适配、调谐和更新来使这一个或多个功能特征朝着期望的功能特征发展。
随机地图知悉式立体视觉传感器模型
如先前所讨论的，本公开的各方面涉及确定每个体素的占用程度以及确定所确定占用程度的置信水平。在给定由设备(诸如机器人)(例如，自主设备)观察到的数据的情况下，置信水平可被称为体素的概率分布函数(PDF)。地图的置信水平可基于地图中的每个体素的置信水平。
在一种配置中，地图绘制模块被指定用于设备(诸如机器人)。地图绘制模块可以是数字信号处理器(DSP)、应用处理器、图形处理单元(GPU)、和/或另一模块。可指定地图绘制模块以改善使用增量数据所生成的地图的准确性。此外，地图绘制模块可以处理体素的占用程度(例如，启用较大体素并且降低计算复杂度)，和/或在地图构造中纳入传感器模型，诸如随机传感器模型。另外，地图绘制模块可以处理地图中的体素的占用程度，并且确定所确定的占用率的置信水平。最后，地图绘制模块可被用于改善不确定性情况下的规划。本公开的各方面涉及为机器人生成地图。然而，这些地图不限于被生成用于机器人，并且还构想了用于任何类型的设备，诸如举例而言汽车、飞机、船、和/或人类。此外，在一种配置中，该设备是自主的。
图3A、3B和3C解说了根据本公开各方面的机器人执行测量的示例。图3A解说了机器人300经由机器人300的一个或多个传感器(未示出)执行测量的示例。测量可以指基于射线是否被体素截断所获得的测量。当然，本公开的各方面不限于测量射线，并且还构想了用于其他类型的测量。如图3A所示，机器人300的传感器可具有测量锥(cone)302，以使得该传感器接收来自锥302内的区域304的测量。
如图3B所示，根据本公开的一方面，机器人300可被置于要被绘制地图的环境306中。要被绘制地图的环境306可包括多个体素308。如图3B所示，基于由传感器作出的测量，传感器可确定测量锥302内每个体素308的占用程度。应注意，图3B的体素308用于解说目的，本公开的体素并不限于图3B中示出的体素大小或数目。
如图3C所示，根据本公开的一方面，机器人300可在不同位置处执行测量。对于增量办法，基于在第一位置处获得的测量来生成地图，并且随着机器人移至要被绘制地图的环境306中的不同位置而更新所生成的地图。在不同时间(例如，不同时间步阶)执行不同位置处的测量。例如，机器人300可在第一时间在第一位置处执行第一测量，并且在第二时间在第二位置处执行第二测量。
图4解说了根据本公开各方面的要被绘制地图的环境400的示例。如图4所示，机器人(未示出)可创建要被绘制地图的环境400的网格。该网格形成多个体素402。此外，在此示例中，物体404在要被绘制地图的环境400内。由此，如图4所示，一些体素402为空，一些体素402A-402F被部分占用，并且一个体素402G被完全占用。
如图3B、3C和4所示，要被绘制地图的环境可被表示为网格。网格中的每个单元可被称为体素。此外，如先前所讨论的，每个体素具有占用程度。占用程度可被称为占用率和/或密度。占用程度(d)可以是具有均值和方差的变量，诸如随机变量。
占用程度的均值可根据下式计算：
Figure BDA0001680042060000071
占用程度的方差可根据下式计算：
σd＝Var[d|zo：k] (2)
该均值和方差是根据所获得的所有测量(z0:k)来确定的。在常规***中，未针对体素的测量指定不确定性。例如，在常规***中，如果所报告的占用程度(例如，单元后验)是0.5，则路线规划器不能确定此0.5是由少量测量还是由数百个测量产生的。由此，该占用程度的可靠性是未知的。因此，常规***可能由于不准确的假定而导致不一致的地图。
在确定多个体素中的每个体素的占用程度(诸如均值占用程度)之后，期望确定所确定占用程度的置信水平(例如，概率)。例如，如果多个测量已指示体素被占用，则与其中仅有一个测量已指示体素被占用的情况相比该体素被占用的概率较高。此外，如果体素的占用程度具有低置信水平(例如，置信水平低于阈值)，则机器人可移至各个位置以采取附加测量来改善占用程度的置信度。
在一种配置中，更新规则被指定以确定地图(m)的占用程度(d)的概率(p)。概率(p)可被称为概率分布函数(PDF)，其包括均值和方差(例如，占用程度的置信度)。在一种配置中，均值和方差可从体素占用程度的PDF中提取。此外，可基于均值和方差来规划路线。路线规划以及提取可如以AGHAMOHAMMADI等人的名义于2015年12月2日提交的美国临时专利申请no.62/262,275中描述的那样来执行，该临时专利申请的公开内容全部通过援引明确纳入于此。
该概率可基于式1来确定。在一种配置中，使用较低阶函数来近似该概率：
Figure BDA0001680042060000081
在式3中，z0:k是由传感器从时间步阶0到时间步阶k收集的测量。即，在给定了从时间步阶0到时间步阶k的传感器测量(z0:k)的情况下，式3递归地确定时间步阶k处的占用程度(d)的概率。该占用程度(d)是针对整个地图。即，d是地图中所有体素的收集d1到dg，其中g是地图中的体素数目。在式3中，p(zk|d)是在给定了地图中所有体素的占用程度(d)的情况下在时间步阶k处获得测量(z)的似然。此外，在式1中，p(d|z0：k-1)是在给定了从时间步阶0到时间步阶k-1的传感器测量(z0:k-1)的情况下地图在时间步阶k处的先前计算出的占用程度(d)。
在给定了占用程度和该占用程度的概率情况下，期望定义传感器模型以预测传感器在给定位置可以看到什么。即，在一个配置中，机器人可基于所确定的获得图像的概率来推断环境中的对象的存在。图5A解说了根据本公开一方面的多个像素中的一个像素506的测量锥500的示例。传感器504(诸如立体景深相机)将多个像素506包括在传感器504的视场520内。本公开的各方面涉及确定射线从在传感器504的整个视场520内的多个像素中的每个像素506的测量锥500内的体素508之一弹回的原因。
如图5A所示，测量射线502从传感器(x)的中心504生成，并且被发送穿过像素位置(v)506。此外，如图5A所示，多个体素(r)508可落在测量射线502的测量锥500内。测量锥500对应于图像的一个像素。传感器(x)的中心504还可对应于机器人的位置。
射线502可基于传感器(x)和像素位置(v)来定义，即射线502可由变量xv定义。当采取测量时，射线502被发出，并且可被反射回传感器504以提供时间步阶(t)处的不一致性观测(z)或测量。使用此不一致性测量，可推断至环境中的对象的深度或距离。在一个配置中，不一致性和深度之间存在一一对应关系。
可定义原因变量(ct)以表示时间步阶(t)处的测量原因(c)。原因变量可被称为对应关系变量。原因(c)对应于导致射线弹回的体素(r)(例如，触发了该测量的体素)。在一个配置中，原因变量被定义为
Figure BDA0001680042060000091
原因变量包括体素1到Vt作为按至相机的距离排序的原因
Figure BDA0001680042060000092
其中体素1是最靠近相机的体素并且体素Vt是最远离相机的体素。图5B解说了用体素编号对测量锥500中的体素(r)进行索引的示例。对体素编号的索引对于测量锥500而言是局部的。在一个配置中，当射线从体素弹回时，导致该射线弹回的体素在原因变量中被指示。例如，基于图5B，如果体素3是射线502弹回的原因，则原因变量将是
Figure BDA0001680042060000093
其中t是该测量的时间步阶。
另外，原因变量包括变量
Figure BDA0001680042060000094
其中r为-1，以计及虚假测量的情形。虚假测量可能发生在传感器的温度高于阈值时。在另一示例中，传感器可获得在实际上某个体素为空时指示该体素被占用的虚假测量。此外，原因变量包括当没有测量时的变量
Figure BDA0001680042060000095
其中r为0。变量
Figure BDA0001680042060000096
计及在障碍物不位于任何体素中时的情形。即，当射线未弹回时，原因变量为
Figure BDA0001680042060000097
图5C和5D解说了根据本公开各方面的测量射线502的示例。如图5C所示，测量射线502可在朝多个体素508的方向(例如，xv)上从传感器504传送穿过像素506。在此示例中，测量射线穿过多个体素508(体素1-体素Vt)，并且在传感器504与最后体素Vt之间不存在物体。因此，测量射线502没有弹回传感器504。由此，在图5C的示例中，原因为
Figure BDA0001680042060000101
在另一示例中，如图5D所示，测量射线502可在朝多个体素508的方向(例如，xv)上从传感器504传送穿过像素506。在此示例中，在该多个体素508(体素1-体素Vt)中的体素3中存在物体以使得该物体完全占用体素3。因此，体素3是测量射线502弹回(例如，反射回)到传感器504的原因。由此，在图5D的示例中，原因为
Figure BDA0001680042060000102
如图5B-5D所示，测量锥中的体素(r)可由体素编号索引。尽管如此，用于从测量锥中的多个体素中索引特定体素的体素编号可不同于用于从整个地图中的多个体素中索引该特定体素的索引号。即，体素的局部测量锥索引号不同于该体素的全局地图索引号。作为示例，体素可具有局部测量锥索引号4和全局地图索引号50。在一个配置中，全局地图索引号(j)可如下确定：
j＝g(xv，r) (4)
其中j是使用在给定了射线xv和局部测量锥索引号r的情况下返回全局地图索引号j的函数g()导出的全局地图索引号。此外，全局地图索引号可被用来确定地图(m)在相应全局地图索引号j处的密度。具体地，地图(m)在对应于全局地图索引号j的体素处的密度可通过下式来确定：
mj＝mg(xv，r) (5)
在式5中，地图(m)在体素的全局地图索引号(j)处的密度是在给定了射线xv和局部测量锥索引号r的情况下返回全局地图索引号j的函数g()来导出的。此外，传感器模型可被定义为：
Figure BDA0001680042060000103
其中xvt是在时间步阶t处的射线，并且mt是在射线xvt下的体素的密度的地图。该传感器模型是在给定了地图(mt)的射线(xvt)的情况下获得不一致性测量(zt)的似然(例如，置信度)(p)(例如，对于环境是什么样的置信)。如式6所示，传感器模型可被表达为所有原因变量
Figure BDA0001680042060000104
的针对给定原因的测量似然
Figure BDA0001680042060000105
与给定原因的概率
Figure BDA0001680042060000106
的乘积之和。即，针对给定原因的测量似然
Figure BDA0001680042060000107
和给定原因的概率
Figure BDA0001680042060000111
可被组合以确定获得该测量的概率和/或以定义传感器模型。
在式6中，针对给定原因的测量似然
Figure BDA0001680042060000112
是在给定了在时间步阶t用射线xvt在地图mt处的原因
Figure BDA0001680042060000113
的情况下获得不一致性测量(zt)的似然(例如，置信度)(p)。此外，给定原因的概率
Figure BDA0001680042060000114
是通过在时间步阶t用射线xvt在地图mt处的原因
Figure BDA0001680042060000115
获得测量的概率(pr)。对于原因为
Figure BDA0001680042060000116
给定原因的概率由Prand确定，Prand为常数。Prand可基于传感器数据表或统计测量。对于原因为
Figure BDA0001680042060000117
给定原因的概率由
Figure BDA0001680042060000118
确定。最后，对于原因为
Figure BDA0001680042060000119
(其中k是导致射线弹回的局部体素索引(1-Vt))，给定原因的概率由
Figure BDA00016800420600001110
确定。
在给定了特定原因以及给定原因的概率的情况下的测量似然可如以上所讨论地计算。测量似然可针对所有原因重复。结果所得的测量似然可被组合以生成随机地图的传感器模型。该传感器模型是针对特定像素。由此，该多个像素的传感器模型可被组合以确定获得图像(D)的似然。获得图像(D)的似然可如下确定：
Figure BDA00016800420600001111
其中在给定了地图(mt)的射线(xvt)的情况下在时间步阶t获得图像(D)的似然是第一像素到第N像素(Npix)的传感器模型的乘积。此外，如先前所讨论的，机器人可基于所确定的获得图像的概率来推断环境中的对象的存在。该推断可被用来规划轨迹和/或获得附加测量。
图6解说了已被绘制地图的区域600中的机器人604的示例。尽管区域600已被绘制地图，但是经绘制地图的区域600的每个体素的占用程度中可能存在一些不确定性。例如，该机器人可能仅仅对该体素执行过一次测量。作为另一示例，从机器人传感器接收到的噪声数据可能不是完全可靠的。例如，被机器人传感器拾取的有噪干扰可能误导机器人在空间实际上是自由的时候确定该空间被占用。因此，体素测量可能存在方差。
此外，如图6中所示，机器人604对于该机器人上的传感器而具有视场606。如以上所讨论的，机器人的传感器包括多个像素，并且本公开的各方面涉及确定从该多个像素中的每个像素获得测量的概率。此外，本公开的各方面涉及基于从该多个像素中的每个像素获得测量的概率来确定获得图像(D)的概率。
在常规***中，经绘制地图的区域不具有不确定性。因此，如果机器人604被置于位置610以规划至目标640的路径或获得目标640的测量，则该机器人将知晓对象602将在该传感器的视场606中。由此，在常规***中，机器人604将知晓机器人因阻碍该机器人从该视场的第二部分650获得测量的对象602的存在而只能看到视场606的第一部分652中的对象。
尽管如此，如先前所讨论的，本公开的各方面涉及具有关于体素占用程度的不确定性的随机地图。由此，在一个配置中，当机器人604被置于位置610时，传感器模型确定获得目标640的测量或图像的似然。如先前所讨论的，获得测量的似然基于所有原因变量
Figure BDA0001680042060000121
的针对给定原因的测量似然
Figure BDA0001680042060000122
与给定原因的概率
Figure BDA0001680042060000123
的乘积之和。此外，如以上所讨论的，在给定了地图(mt)的射线(xvt)的情况下在时间步阶t获得图像(D)的似然是第一像素到第N像素(Npix)的传感器模型的乘积。基于获得图像(D)的似然，可以确定该机器人的后续动作。该动作可包括规划达到目标的路线或指定附加测量以增大获得图像(D)的似然。路线可如以AGHAMOHAMMADI等人的名义于2015年12月2日提交的美国临时专利申请no.62/262,275中描述的那样来规划，该临时专利申请的公开内容通过援引全部明确纳入于此。
图7是解说采用处理***720的装置700(诸如机器人)的硬件实现的示例的示图。处理***720可实现成具有由总线724一般化地表示的总线架构。取决于处理***720的具体应用和总体设计约束，总线724可包括任何数目的互连总线和桥接器。总线724将各种电路链接在一起，包括一个或多个处理器和/或硬件模块(由处理器704、通信模块708、位置模块706、传感器模块702、移动能力模块710、计算机可读介质714、以及其他模块730、732表示)。总线724还可链接各种其他电路，诸如定时源、***设备、稳压器和功率管理电路，这些电路在本领域中是众所周知的，且因此将不再进一步描述。
装置700包括耦合到收发机716的处理***720。收发机716耦合到一个或多个天线718。收发机716使得能够在传输介质上与各种其他装置通信。处理***720包括耦合至计算机可读介质714的处理器704。处理器704负责一般性处理，包括执行存储在计算机可读介质714上的软件。软件在由处理器704执行时使处理***720执行针对任何特定装置描述的各种功能。计算机可读介质714还可被用于存储由处理器704在执行软件时操纵的数据。
传感器模块702可被用来经由传感器728获得测量。传感器728可以是用于执行测量的立体视觉传感器，诸如立体景深相机。当然，本公开的各方面并不限于立体视觉传感器，同样地还构想了用于执行测量的其他类型的传感器，诸如举例而言雷达传感器、热传感器、声纳传感器、和/或激光传感器。传感器728的测量可由处理器704、通信模块708、位置模块706、移动能力模块710、和计算机可读介质714中的一者或多者来处理。此外，传感器728的测量可由收发机716传送给外部设备。传感器728并不限于被定义在装置700外部(如图7所示)，传感器728也可被定义在装置700内。
位置模块706可被用来确定装置700的位置。位置模块706可使用GPS或其他协议来确定装置700的位置。通信模块708可使用收发机716来向外部设备发送和接收信息，诸如装置700的位置。移动能力模块710可被用来向装置700提供移动能力。作为示例，移动能力可经由轮子712提供。当然，本公开的各方面并不限于经由轮子712提供移动能力，并且还构想了用于提供位置的任何其他类型的组件。
处理***720包括确定模块730，其用于确定从在正被建模在随机地图上的传感器的视场中的多个潜在原因获得测量的概率。该地图包括该地图中的每个体素的均值占用程度以及每个体素的均值占用程度的方差。该确定模块还可基于所确定的获得测量的概率来确定获得图像的概率。处理***720还包括规划模块732，其用于基于获得图像的概率来规划机器人的动作。这些模块可以是在处理器704中运行的软件模块，驻留/存储在计算机可读介质714中的软件模块，耦合至处理器704的一个或多个硬件模块，或者上述各项的某种组合。
图8解说了用于生成地图的方法800。在框802，机器人确定从在基于随机地图来建模的传感器的视场中的多个潜在原因获得测量的概率。该地图包括该地图中的每个体素的均值占用程度以及每个体素的均值占用程度的方差。此外，在框804，该***基于所确定的获得测量的概率来确定获得图像的概率。最后，在框806，机器人基于获得图像的概率来规划动作。
在一些方面，方法800可由SOC 100(图1)或***200(图2)执行。即，举例而言但不作为限定，方法800的每个元素可由SOC 100或***200、或者一个或多个处理器(例如，CPU102和局部处理单元202)和/或其中包括的其他组件来执行。
以上所描述的方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或(诸)软件组件和/或(诸)模块，包括但不限于电路、专用集成电路(ASIC)、或处理器。一般而言，在附图中有解说的操作的场合，那些操作可具有带相似编号的相应配对装置加功能组件。
如本文所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可包括演算、计算、处理、推导、研究、查找(例如，在表、数据库或其他数据结构中查找)、探知及诸如此类。另外，“确定”可包括接收(例如接收信息)、访问(例如访问存储器中的数据)、及类似动作。此外，“确定”可包括解析、选择、选取、确立及类似动作。
如本文中所使用的，引述一列项目中的“至少一个”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c、以及a-b-c。
结合本公开所描述的各种解说性逻辑框、模块、以及电路可用设计成执行本文中所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何市售的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如，DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其他此类配置。
结合本公开描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。软件模块可驻留在本领域所知的任何形式的存储介质中。可使用的存储介质的一些示例包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动盘、CD-ROM，等等。软件模块可包括单条指令、或许多条指令，且可分布在若干不同的代码段上，分布在不同的程序间以及跨多个存储介质分布。存储介质可被耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可以被整合到处理器。
本文所公开的方法包括用于达成所描述的方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。
所描述的功能可在硬件、软件、固件或其任何组合中实现。如果以硬件实现，则示例硬件配置可包括设备中的处理***。处理***可以用总线架构来实现。取决于处理***的具体应用和整体设计约束，总线可包括任何数目的互连总线和桥接器。总线可将包括处理器、机器可读介质、以及总线接口的各种电路链接在一起。总线接口可用于尤其将网络适配器等经由总线连接至处理***。网络适配器可用于实现信号处理功能。对于某些方面，用户接口(例如，按键板、显示器、鼠标、操纵杆，等等)也可以被连接到总线。总线还可以链接各种其他电路，诸如定时源、***设备、稳压器、功率管理电路以及类似电路，它们在本领域中是众所周知的，因此将不再进一步描述。
处理器可负责管理总线和一般处理，包括执行存储在机器可读介质上的软件。处理器可用一个或多个通用和/或专用处理器来实现。示例包括微处理器、微控制器、DSP处理器、以及其他能执行软件的电路***。软件应当被宽泛地解释成意指指令、数据、或其任何组合，无论是被称作软件、固件、中间件、微代码、硬件描述语言、或其他。作为示例，机器可读介质可包括随机存取存储器(RAM)、闪存存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦式可编程只读存储器(EPROM)、电可擦式可编程只读存储器(EEPROM)、寄存器、磁盘、光盘、硬驱动器、或者任何其他合适的存储介质、或其任何组合。机器可读介质可被实施在计算机程序产品中。该计算机程序产品可以包括包装材料。
在硬件实现中，机器可读介质可以是处理***中与处理器分开的一部分。然而，如本领域技术人员将容易领会的，机器可读介质或其任何部分可在处理***外部。作为示例，机器可读介质可包括传输线、由数据调制的载波、和/或与设备分开的计算机产品，所有这些都可由处理器通过总线接口来访问。替换地或补充地，机器可读介质或其任何部分可被集成到处理器中，诸如高速缓存和/或通用寄存器文件可能就是这种情形。虽然所讨论的各种组件可被描述为具有特定位置，诸如局部组件，但它们也可按各种方式来配置，诸如某些组件被配置成分布式计算***的一部分。
处理***可以被配置为通用处理***，该通用处理***具有一个或多个提供处理器功能性的微处理器、以及提供机器可读介质中的至少一部分的外部存储器，它们都通过外部总线架构与其他支持电路***链接在一起。替换地，该处理***可以包括一个或多个神经元形态处理器以用于实现本文中所描述的神经元模型和神经***模型。作为另一替换方案，处理***可以用带有集成在单块芯片中的处理器、总线接口、用户接口、支持电路***、和至少一部分机器可读介质的专用集成电路(ASIC)来实现，或者用一个或多个现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、状态机、门控逻辑、分立硬件组件、或者任何其他合适的电路***、或者能执行本公开通篇所描述的各种功能性的电路的任何组合来实现。取决于具体应用和加诸于整体***上的总设计约束，本领域技术人员将认识到如何最佳地实现关于处理***所描述的功能性。
机器可读介质可包括数个软件模块。这些软件模块包括当由处理器执行时使处理***执行各种功能的指令。这些软件模块可包括传送模块和接收模块。每个软件模块可以驻留在单个存储设备中或者跨多个存储设备分布。作为示例，当触发事件发生时，可以从硬驱动器中将软件模块加载到RAM中。在软件模块执行期间，处理器可以将一些指令加载到高速缓存中以提高访问速度。可随后将一个或多个高速缓存行加载到通用寄存器文件中以供处理器执行。在以下述及软件模块的功能性时，将理解此类功能性是在处理器执行来自该软件模块的指令时由该处理器来实现的。此外，应领会，本公开的各方面产生对处理器、计算机、机器或实现此类方面的其它***的机能的改进。
如果以软件实现，则各功能可作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，这些介质包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能用于携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。另外，任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或无线技术(诸如红外(IR)、无线电、以及微波)从web网站、服务器、或其他远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外、无线电、以及微波)就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘、和
Figure BDA0001680042060000171
碟，其中盘(disk)常常磁性地再现数据，而碟(disc)用激光来光学地再现数据。因此，在一些方面，计算机可读介质可包括非瞬态计算机可读介质(例如，有形介质)。另外，对于其他方面，计算机可读介质可包括瞬态计算机可读介质(例如，信号)。上述的组合应当也被包括在计算机可读介质的范围内。
因此，某些方面可包括用于执行本文中给出的操作的计算机程序产品。例如，此类计算机程序产品可包括其上存储(和/或编码)有指令的计算机可读介质，这些指令能由一个或多个处理器执行以执行本文中所描述的操作。对于某些方面，计算机程序产品可包括包装材料。
此外，应当领会，用于执行本文中所描述的方法和技术的模块和/或其它恰适装置能由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如，此类设备能被耦合至服务器以促成用于执行本文中所描述的方法的装置的转移。替换地，本文中所描述的各种方法能经由存储装置(例如，RAM、ROM、诸如压缩碟(CD)或软盘等物理存储介质等)来提供，以使得一旦将该存储装置耦合至或提供给用户终端和/或基站，该设备就能获得各种方法。此外，可利用适于向设备提供本文中所描述的方法和技术的任何其他合适的技术。
将理解，权利要求并不被限定于以上所解说的精确配置和组件。可在以上所描述的方法和装置的布局、操作和细节上作出各种改动、更换和变形而不会脱离权利要求的范围。

Claims (20)

1.一种定义传感器模型的方法，包括：
确定从在基于随机地图来建模的传感器的视场中的多个潜在原因获得测量的概率，所述随机地图包括所述随机地图中的每个体素的均值占用程度以及每个体素的均值占用程度的方差；
基于所确定的获得所述测量的概率来确定在机器人的当前位置获得所述机器人的预期目标的图像的概率；
基于获得所述测量的概率来更新所述视场中的体素的所述均值占用程度和所述方差；以及
基于获得所述图像的概率来规划包括所述传感器的所述机器人的动作。
2.如权利要求1所述的方法，其特征在于，所述传感器包括立体景深相机。
3.如权利要求1所述的方法，其特征在于，确定获得所述测量的概率进一步包括对于所述多个潜在原因中的每个潜在原因：
在给定了所述原因的情况下计算所述测量的似然；
确定所述随机地图中的所述潜在原因的概率；以及
组合所述多个潜在原因的测量似然和所述多个潜在原因的概率以：
确定获得所述测量的概率，以及
定义所述传感器模型。
4.如权利要求1所述的方法，其特征在于，进一步包括基于所确定的获得所述图像的概率来推断环境中的对象的存在。
5.如权利要求1所述的方法，其特征在于，所述视场是针对来自所述传感器的整个视场的多个像素中的一个像素。
6.一种用于定义传感器模型的装备，所述装备包括：
用于确定从在基于随机地图来建模的传感器的视场中的多个潜在原因获得测量的概率的装置，所述随机地图包括所述随机地图中的每个体素的均值占用程度以及每个体素的均值占用程度的方差；
用于基于所确定的获得所述测量的概率来确定在机器人的当前位置获得所述机器人的预期目标的图像的概率的装置；
用于基于获得所述测量的概率来更新所述视场中的体素的所述均值占用程度和所述方差的装置；以及
用于基于获得所述图像的概率来规划包括所述传感器的所述机器人的动作的装置。
7.如权利要求6所述的装备，其特征在于，所述传感器包括立体景深相机。
8.如权利要求6所述的装备，其特征在于，所述用于确定获得所述测量的概率的装置进一步包括对于所述多个潜在原因中的每个潜在原因：
用于在给定了所述原因的情况下计算所述测量的似然的装置；
用于确定所述随机地图中的所述潜在原因的概率的装置；以及
用于组合所述多个潜在原因的测量似然和所述多个潜在原因的概率以执行以下动作的装置：
确定获得所述测量的概率，以及
定义所述传感器模型。
9.如权利要求6所述的装备，其特征在于，进一步包括用于基于所确定的获得所述图像的概率来推断环境中的对象的存在的装置。
10.如权利要求6所述的装备，其特征在于，所述视场是针对来自所述传感器的整个视场的多个像素中的一个像素。
11.一种用于定义传感器模型的装置，所述装置包括：
存储器；以及
耦合至所述存储器的至少一个处理器，所述至少一个处理器被配置成：
确定从在基于随机地图来建模的传感器的视场中的多个潜在原因获得测量的概率，所述随机地图包括所述随机地图中的每个体素的均值占用程度以及每个体素的均值占用程度的方差；
基于所确定的获得所述测量的概率来确定在机器人的当前位置获得所述机器人的预期目标的图像的概率；
基于获得所述测量的概率来更新所述视场中的体素的所述均值占用程度和所述方差；以及
基于所述获得图像的概率来规划包括所述传感器的所述机器人的动作。
12.如权利要求11所述的装置，其特征在于，所述传感器包括立体景深相机。
13.如权利要求11所述的装置，其特征在于，所述至少一个处理器被进一步配置成对于所述多个潜在原因中的每个潜在原因：
在给定了所述原因的情况下计算所述测量的似然；
确定所述随机地图中的所述潜在原因的概率；以及
组合所述多个潜在原因的测量似然和所述多个潜在原因的概率以：
确定获得所述测量的概率，以及
定义所述传感器模型。
14.如权利要求11所述的装置，其特征在于，所述至少一个处理器被进一步配置成基于所确定的获得所述图像的概率来推断环境中的对象的存在。
15.如权利要求11所述的装置，其特征在于，所述视场是针对来自所述传感器的整个视场的多个像素中的一个像素。
16.一种其上记录有用于定义传感器模型的程序代码的非瞬态计算机可读介质，所述程序代码由处理器执行并且包括：
用于确定从在正基于随机地图来建模的传感器的视场中的多个潜在原因获得测量的概率的程序代码，所述随机地图包括所述随机地图中的每个体素的均值占用程度以及每个体素的均值占用程度的方差；
用于基于所确定的获得所述测量的概率来确定在机器人的当前位置获得所述机器人的预期目标的图像的概率的程序代码；
用于基于获得所述测量的概率来更新所述视场中的体素的所述均值占用程度和所述方差的程序代码；以及
用于基于所述获得图像的概率来规划包括所述传感器的所述机器人的动作的程序代码。
17.如权利要求16所述的非瞬态计算机可读介质，其特征在于，所述传感器包括立体景深相机。
18.如权利要求16所述的非瞬态计算机可读介质，其特征在于，所述程序代码进一步包括对于所述多个潜在原因中的每个潜在原因：
用于在给定了所述原因的情况下计算所述测量的似然的程序代码；
用于确定所述随机地图中的所述潜在原因的概率的程序代码；以及
用于组合所述多个潜在原因的测量似然和所述多个潜在原因的概率以执行以下动作的程序代码：
确定获得所述测量的概率，以及
定义所述传感器模型。
19.如权利要求16所述的非瞬态计算机可读介质，其特征在于，所述程序代码进一步包括用于基于所确定的获得所述图像的概率来推断环境中的对象的存在的程序代码。
20.如权利要求16所述的非瞬态计算机可读介质，其特征在于，所述视场是针对来自所述传感器的整个视场的多个像素中的一个像素。
CN201680070304.2A 2015-12-02 2016-11-10 随机地图知悉式立体视觉传感器模型 Active CN108292138B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562262339P 2015-12-02 2015-12-02
US62/262,339 2015-12-02
US15/192,603 US10613546B2 (en) 2015-12-02 2016-06-24 Stochastic map-aware stereo vision sensor model
US15/192,603 2016-06-24
PCT/US2016/061400 WO2017095604A1 (en) 2015-12-02 2016-11-10 Stochastic map-aware stereo vision sensor model

Publications (2)

Publication Number Publication Date
CN108292138A CN108292138A (zh) 2018-07-17
CN108292138B true CN108292138B (zh) 2021-06-01

Family

ID=57421947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680070304.2A Active CN108292138B (zh) 2015-12-02 2016-11-10 随机地图知悉式立体视觉传感器模型

Country Status (6)

Country Link
US (1) US10613546B2 (zh)
EP (1) EP3384358B1 (zh)
KR (1) KR102174873B1 (zh)
CN (1) CN108292138B (zh)
BR (1) BR112018010981A2 (zh)
WO (1) WO2017095604A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10134135B1 (en) * 2015-08-27 2018-11-20 Hrl Laboratories, Llc System and method for finding open space efficiently in three dimensions for mobile robot exploration
EP3793899A4 (en) * 2018-10-29 2021-07-07 DJI Technology, Inc. MOVABLE OBJECT TO PERFORM A REAL-TIME IMAGE
EP3647728B1 (en) 2018-11-05 2023-06-21 Toyota Jidosha Kabushiki Kaisha Map information system
CN111307166B (zh) * 2018-12-11 2023-10-03 北京图森智途科技有限公司 一种构建占据栅格地图的方法及其装置、处理设备
US11314254B2 (en) * 2019-03-26 2022-04-26 Intel Corporation Methods and apparatus for dynamically routing robots based on exploratory on-board mapping
KR20210076412A (ko) * 2019-12-16 2021-06-24 현대자동차주식회사 차량 센서 성능 평가 장치 및 그의 성능 평가 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101000507A (zh) * 2006-09-29 2007-07-18 浙江大学 移动机器人在未知环境中同时定位与地图构建的方法
CN104035444A (zh) * 2014-06-27 2014-09-10 东南大学 机器人地图构建存储方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2155593A1 (en) * 1994-08-19 1996-02-20 Takao Fujii Vehicle navigation system with upgradeable navigation software and a flexible memory configuration
US7302456B2 (en) 2002-11-06 2007-11-27 Matsushita Electric Industrial Co., Ltd. Stochastic processor and stochastic computer using the same
WO2006086519A1 (en) 2005-02-08 2006-08-17 Seegrid Corporation Multidimensional evidence grids and system and methods for applying same
KR100611328B1 (ko) 2005-06-30 2006-08-11 고려대학교 산학협력단 세선화 기반 위상지도의 작성방법 및 그 장치, 이동로봇의탐사를 통한 세선화 기반 위상지도 작성방법 및 그 장치
KR100787242B1 (ko) 2006-10-23 2007-12-21 포항공과대학교 산학협력단 격자의 점유 확률을 통한 형상 기반 지도의 신뢰도 평가방법
KR101382982B1 (ko) * 2012-03-06 2014-04-09 고려대학교 산학협력단 로봇의 주행 경로 계획 장치 및 방법
US9092698B2 (en) 2012-06-21 2015-07-28 Rethink Robotics, Inc. Vision-guided robots and methods of training them
US8630741B1 (en) 2012-09-30 2014-01-14 Nest Labs, Inc. Automated presence detection and presence-related control within an intelligent controller
KR101807484B1 (ko) 2012-10-29 2017-12-11 한국전자통신연구원 객체 및 시스템 특성에 기반한 확률 분포 지도 작성 장치 및 그 방법
US9037396B2 (en) * 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot
US20150339589A1 (en) 2014-05-21 2015-11-26 Brain Corporation Apparatus and methods for training robots utilizing gaze-based saliency maps
US10093021B2 (en) 2015-12-02 2018-10-09 Qualcomm Incorporated Simultaneous mapping and planning by a robot
US20170161946A1 (en) 2015-12-03 2017-06-08 Qualcomm Incorporated Stochastic map generation and bayesian update based on stereo vision

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101000507A (zh) * 2006-09-29 2007-07-18 浙江大学 移动机器人在未知环境中同时定位与地图构建的方法
CN104035444A (zh) * 2014-06-27 2014-09-10 东南大学 机器人地图构建存储方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
3D mapping with multi-resolution occupied voxel lists;JulianRyde ·HuoshengHu;《Auton Robot》;20101231;第28卷;第169-185页 *
A Bayesian Approach to Occupancy Mapping With Uncertain Inputs;Simon T.O’Callaghan，等;《Citesser》;20091231;摘要、第1-4页 *
Learning Occupancy Grid Maps with Forward Sensor Models;SEBASTIAN THRUN;《Autonomous Robots》;20031231;第15卷;摘要、第111-127页及图1-6 *
Mapping;Alex styler;《Statistical Techniques in Robotics》;20120912;第1-5页 *
Using Occupancy Grids for Mobile Robot Perception and Navigation;Albert0 Elfes;《IEEE》;19890601;第22卷(第6期);第46-57页 *
Using Real-Time Stereo Vision for Mobile Robot Navigation;DON MURRAY，等;《Autonomous Robots》;20001231;第8卷;第161-171页 *

Also Published As

Publication number Publication date
BR112018010981A2 (pt) 2018-12-04
KR20180089417A (ko) 2018-08-08
WO2017095604A1 (en) 2017-06-08
EP3384358A1 (en) 2018-10-10
CN108292138A (zh) 2018-07-17
US10613546B2 (en) 2020-04-07
KR102174873B1 (ko) 2020-11-05
EP3384358B1 (en) 2021-06-30
US20170161910A1 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
CN108292139B (zh) 由机器人同时进行地图绘制和规划
CN108292138B (zh) 随机地图知悉式立体视觉传感器模型
CN108885719B (zh) 基于立体视觉的随机地图生成和贝叶斯更新
US20170004406A1 (en) Parallel belief space motion planner
CN112313477A (zh) 一种车辆环境映射的方法以及相应的***、车辆和计算机程序产品
US20200233061A1 (en) Method and system for creating an inverse sensor model and method for detecting obstacles
US11238641B2 (en) Architecture for contextual memories in map representation for 3D reconstruction and navigation
CN108367436B (zh) 针对三维空间中的对象位置和范围的主动相机移动确定
KR20180092960A (ko) 고속 탐색 랜덤화 피드백 기반의 모션 계획
KR101965296B1 (ko) 파티클 간에 지도를 공유하는 이동체의 위치 추정 및 지도 작성 방법 및 장치
CN111429515A (zh) 基于深度学习的机器人避障行为的学习方法
CN112388628A (zh) 用于训练高斯过程回归模型的设备和方法
EP3384359B1 (en) Map generation based on raw stereo vision based measurements
US20210101614A1 (en) Spatio-temporal pose/object database
KR102670646B1 (ko) 물체 감지 방법 및 물체 감지 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant