CN108292137A - 根据基于原始立体视觉的测量的地图生成 - Google Patents

根据基于原始立体视觉的测量的地图生成 Download PDF

Info

Publication number
CN108292137A
CN108292137A CN201680070171.9A CN201680070171A CN108292137A CN 108292137 A CN108292137 A CN 108292137A CN 201680070171 A CN201680070171 A CN 201680070171A CN 108292137 A CN108292137 A CN 108292137A
Authority
CN
China
Prior art keywords
volume elements
sensor
map
probable
determinants
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680070171.9A
Other languages
English (en)
Inventor
A·阿加默汉马蒂
S·阿加瓦尔
S·奥米德萨菲伊
C·洛特
K·索曼荪达拉姆
B·F·贝哈巴迪
S·P·吉布森
C·M·维任斯基
G·瑞特玛耶
S·迪亚兹斯宾多拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN108292137A publication Critical patent/CN108292137A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

基于批量数据来计算最可能的地图的方法包括在整个要绘制地图的环境中搜集由传感器的位置索引的传感器测量的素材库。该方法还包括在搜集传感器测量的素材库之后，根据传感器测量的素材库和随机传感器模型来确定环境的多个体元中的每个体元的最可能的占用水平。该方法进一步包括基于确定的最可能的占用水平来计算最可能的地图。

Description

根据基于原始立体视觉的测量的地图生成
相关申请的交叉引用
本申请根据35U.S.C.§119(e)要求于2015年12月4日提交的题为“MAP GENERATIONBASED ON RAW STEREO VISION BASED MEASUREMENTS(根据基于原始立体视觉的测量的地图生成)”的美国临时专利申请No.62/263,546的权益，其公开内容全部通过援引明确纳入于此。
背景技术
领域
本公开的某些方面一般涉及机器学习，尤其涉及改进使用批量数据和传感器模型生成一致的地图的***和方法。
背景技术
在一些情形中，期望确定自主车辆(诸如机器人)在给定区域内的位置。在其他情形中，在给定机器人位置的情况下，期望生成机器人周围环境的地图。可经由增量办法或批处理办法来生成地图。
经由批处理办法生成的地图可在已于整个要绘制地图的环境搜集到多个传感器测量之后立即生成。即，在批处理办法中，要绘制地图的环境中的所有数据是在计算地图之前搜集的。然而，在一些情形中，机器人可能无法在计算地图之前搜集环境中的所有数据。
因此，在一些情形中，增量办法被指定用于生成地图。经由增量办法生成的地图可基于从机器人附近收集的初始数据来计算，并用每个新的传感器测量来更新(例如，随着机器人改变其位置而更新)。对于增量办法，传感器测量是相互独立的。因此，机器人可在计算地图时使用假定。因此，增量地图可能不如从批处理方法计算的地图精确。
概述
在本公开的一方面中，公开了一种基于批量数据来计算最可能的地图的方法。该方法包括在整个要绘制地图的环境中搜集由传感器的位置索引的传感器测量的素材库。该方法还包括在搜集传感器测量的素材库之后，根据传感器测量的素材库和随机传感器模型来确定环境的多个体元中的每个体元的最可能的占用水平。该方法进一步包括基于确定的最可能的占用水平来计算最可能的地图。
本公开的另一方面涉及一种装备，包括用于在整个要绘制地图的环境搜集由传感器的位置索引的传感器测量的素材库的装置。该装备还包括用于在搜集传感器测量的素材库之后，根据传感器测量的素材库和随机传感器模型来确定环境的多个体元中的每个体元的最可能的占用水平的装置。该装备进一步包括用于基于确定的最可能的占用水平来计算最可能的地图的装置。
在本公开的另一方面，公开了一种其上记录有非瞬态程序代码的非瞬态计算机可读介质。用于基于批量数据来计算最可能的地图的程序代码由处理器执行，以及包括用于在整个要绘制地图的环境搜集由传感器的位置索引的传感器测量的素材库的程序代码。该程序代码还包括用于在搜集传感器测量的素材库之后，根据传感器测量的素材库和随机传感器模型来确定环境的多个体元中的每个体元的最可能的占用水平的程序代码。该程序代码进一步包括用于基于确定的最可能的占用水平来计算最可能的地图的程序代码。
本公开的另一方面涉及一种用于基于批量数据来计算最可能的地图的具有存储器单元和耦合至该存储器单元的一个或多个处理器的装置。该(诸)处理器被配置为在整个要绘制地图的环境搜集由传感器的位置索引的传感器测量的素材库。该(诸)处理器进一步被配置为基于确定的最可能的占用水平来计算最可能的地图。
本公开的附加特征和优点将在下文描述。本领域技术人员应当领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。
附图简述
在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。
图1解说了根据本公开的某些方面的使用片上***(SOC)(包括通用处理器)的运动规划的示例实现。
图2解说了根据本公开的某些方面的***的示例实现。
图3A、3B和3C解说了根据本公开各方面的机器人执行测量的示例。
图4解说了根据本公开各方面的要绘制地图的环境的示例。
图5解说了根据本公开各方面的计算具有最高存在概率的地图的方法的流图。
详细描述
以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践本文中所描述的概念的仅有配置。本详细描述包括具体细节以便提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在一些实例中，以框图形式示出众所周知的结构和组件以避免湮没此类概念。
基于本教导，本领域技术人员应领会，本公开的范围旨在覆盖本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可以使用所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。
措辞“示例性”在本文中用于表示“用作示例、实例、或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
尽管本文描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、***配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。
对于自主***(诸如机器人)，期望构造机器人周围环境的准确地图。可经由传感器(诸如立体视觉传感器)来生成地图。此外，在为大型环境构造地图时，增大体元大小以使计算保持易于处理。
在一种配置中，为确定地图，地图可被划分成体元(例如，单元)。每个体元可具有以下状态：被占用(例如，满)、部分被占用、或空。在使用批处理办法(例如，批量数据)来生成地图时，常规技术可能计算出不一致的地图，在地图生成期间可能不纳入传感器模型，和/或可能不确定体元的占用水平(例如，满、部分满、或空)。例如，在常规***中，在使用批处理办法来计算地图时，体元要么是0(例如，空)要么是1(例如，满)。由此，常规***在计算地图时不考虑体元的占用水平。在本申请中，占用水平可以指在空间上的占用比率。此外，占用水平还可被称为占用率和/或密度。
本公开的各方面致力于改善使用批量数据的地图生成，确定体元的占用水平(例如，空、满或部分满)以及将传感器模型纳入到地图生成中。与使用批量数据计算的常规地图相比，经改善的地图生成可以计算更准确和更一致的地图。即，本公开的各方面涉及计算最可能的地图(例如，最大后验地图)。
图1解说了根据本公开的某些方面的使用片上***(SOC)100进行前述的具有最高存在概率的地图计算的示例实现，该SOC 100可包括通用处理器(CPU)或多核通用处理器(CPU)102。变量(例如，神经信号和突触权重)、与计算设备(例如，带有权重的神经网络)相关联的***参数、延迟、频率槽信息、以及任务信息可被存储在与神经处理单元(NPU)108相关联的存储器块中、与CPU 102相关联的存储器块中、与图形处理单元(GPU)104相关联的存储器块中、与数字信号处理器(DSP)106相关联的存储器块中、专用存储器块118中，或可跨多个块分布。在通用处理器102处执行的指令可从与CPU 102相关联的程序存储器加载或可从专用存储器块118加载。
SOC 100还可包括为具体功能定制的附加处理块(诸如GPU 104、DSP 106、连通性块110(其可包括***长期演进(4G LTE)连通性、无执照Wi-Fi连通性、USB连通性、蓝牙连通性等))以及例如可检测和识别姿势的多媒体处理器112。在一种实现中，NPU实现在CPU、DSP、和/或GPU中。SOC 100还可包括传感器处理器114、图像信号处理器(ISP)116、和/或导航120(其可包括全球定位***)。
SOC可基于ARM指令集。在本公开的一方面中，被加载到通用处理器102中的指令可以包括用于在整个要绘制地图的环境中搜集由传感器的位置索引的传感器测量的素材库的代码。该被加载到通用处理器102中的指令还包括用于在搜集传感器测量的素材库之后，根据传感器测量的素材库和随机传感器模型来确定环境(例如，地图)的多个体元中的每个体元的最可能的占用水平的代码。该被加载到通用处理器102中的指令可进一步包括用于基于确定的最可能的占用水平来计算最可能的地图的代码。
图2解说了根据本公开的某些方面的***200的示例实现。如图2中所解说的，***200可具有可执行本文所描述的方法的各种操作的多个局部处理单元202。每个局部处理单元202可包括局部状态存储器204和可存储神经网络的参数的局部参数存储器206。另外，局部处理单元202可具有用于存储局部模型程序的局部(神经元)模型程序(LMP)存储器208、用于存储局部学习程序的局部学习程序(LLP)存储器210、以及局部连接存储器212。此外，如图2中所解说的，每个局部处理单元202可与用于为该局部处理单元的各局部存储器提供配置的配置处理器单元214对接，并且与提供各局部处理单元202之间的路由的路由连接处理单元216对接。
在一配置中，地图生成模型被配置为在整个要绘制地图的环境中搜集由传感器的位置索引的传感器测量的素材库。该模型还被配置为在搜集传感器测量的素材库之后，根据传感器测量的素材库和随机传感器模型来确定环境的多个体元中的每个体元的最可能的占用水平。该模型被进一步配置为基于确定的最可能的占用水平来计算最可能的地图。该模型包括搜集装置、确定装置、和/或计算装置。在一个方面，搜集装置、确定装置、和/或计算装置可以是配置成执行所叙述功能的通用处理器102、与通用处理器102相关联的程序存储器、存储器块118、局部处理单元202、和/或路由连接处理单元216。在另一配置中，前述装置可以是配置成执行由前述装置所叙述的功能的任何模块或任何装置。
根据本公开的某些方面，每个局部处理单元202可被配置成基于模型的一个或多个期望功能特征来确定模型的参数，以及随着所确定的参数被进一步适配、调谐和更新来使这一个或多个功能特征朝着期望的功能特征发展。
来自基于原始立体视觉的测量中最可能的地图
如之前所讨论的，本公开的各方面致力于使用批量数据和传感器模型来改善地图生成。即，本公开的各方面涉及确定最可能的地图(例如，最大后验地图)。
在一配置中，地图绘制模块被指定用于自主设备(诸如机器人)。地图绘制模块可以是数字信号处理器(DSP)、应用处理器、图形处理单元(GPU)、和/或另一模块。可指定地图绘制模块以改善使用批量数据所生成的地图的准确性。此外，地图绘制模块可以处理密度图(例如，实现较大体元并且降低计算复杂度)，和/或在地图构造中纳入传感器模型，诸如随机传感器模型。附加地，地图绘制模块可与测量射线计数相关联以提高准确性和一致性。本公开的各方面涉及为机器人生成地图。然而，这些地图不限于被生成用于机器人，并且还构想了用于任何类型的设备，诸如举例而言汽车、飞机、船、和/或人类。
根据本公开的一方面，基于批量数据来计算(例如，生成)最可能的地图。该最可能的地图是基于要绘制地图的环境中来自多个体元的每个体元的最可能的占用水平来计算的。该最可能的地图是指具有最大存在概率的地图。此外，每个体元的最可能占用率涉及具有最大存在概率的占用率。这多个体元定义了地图的区域。如前所讨论的，根据传感器读数，体元的占用率可能是空的、完全占用或部分占用。
在一配置中，为了基于批量数据来计算最可能的地图，在整个要绘制地图的环境中搜集传感器测量。传感器测量可以从传感器(诸如，立体视觉传感器)获得。传感器测量可以由传感器位置索引。在搜集传感器测量之后，设备可以确定在要绘制地图的环境中每个体元的最可能占用率。此外，最可能的地图是基于确定的最可能的占用率来计算的。
最可能的占用率可以基于由传感器位置索引的传感器测量和随机传感器模型来确定。每个体元的最可能的占用率可以基于测量射线已从体元弹回的次数和测量射线已拦截体元使得测量射线不反弹的次数的函数。可执行多次测量以确定测量射线已从体元弹回的次数以及测量射线已拦截体元而没有弹回的次数。此外，在确定最可能的占用水平的一配置中，包括使来自不同传感器位置的传感器测量相关。作为示例，可使来自第一传感器位置的测量和来自第二传感器位置的测量相关以确定多个体元中的每个体元的占用水平。
图3A、3B和3C解说了根据本公开各方面的机器人执行测量的示例。图3A解说了机器人300经由机器人300的一个或多个传感器(未示出)执行测量的示例。测量可以指基于射线是否被体元拦截所获得的测量。当然，本公开的各方面不限于测量射线，并且还构想了用于其他类型的测量。如图3A所示，机器人300的传感器可具有测量锥(cone)302，以使得该传感器接收来自锥302内的区域304的测量。
如图3B所示，根据本公开的一方面，机器人300可被置于要绘制地图的环境306中。要绘制地图的环境306可包括多个体元308。如图3B所示，基于由传感器作出的测量，传感器可确定测量锥302内每个体元308的占用水平。应注意，图3B的体元308用于解说目的，本公开的体元并不限于图3B中示出的体元大小或数目。
如图3C所示，根据本公开的一方面，机器人300可在不同的位置处执行测量，使得机器人300在要绘制地图的环境306中搜集由传感器位置索引的测量的素材库(例如，一定量)。不同位置处的测量可以在不同的时间被执行。例如，机器人可在第一时间在第一位置处执行第一测量，并且在第二时间在第二位置处执行第二测量。如前所讨论的，在一配置中，从不同位置获得多个测量以确定每个体元308的最可能的占用率。此外，在一配置中，来自不同位置的测量被相关以确定在要绘制地图的环境306中多个体元的每个体元308的最可能的占用率。在搜集传感器测量的素材库之后，机器人可以确定每个体元308的最可能的占用率。此外，在确定最可能的占用率之后，机器人可计算要绘制地图的环境306的最可能的地图。
图4解说了根据本公开各方面的要绘制地图的环境400的示例。如图4所示，机器人(未示出)可创建要绘制地图的环境400的网格。该网格形成多个体元402。此外，在此示例中，物体404在要绘制地图的环境400内。由此，如图4所示，一些体元402为空，一些体元402A-402F被部分占用，并且一个体元402G被完全占用。
在一配置中，指定递归滤波(诸如，递归贝叶斯滤波)以确定地图(m)的概率(p)。地图(m)可以包括多个体元(mj)，使得m＝(m1，m2，...，mj)。在一配置中，可以基于式1预测(例如，计算)以特定时步(k)的地图(m)的存在概率(p)。
在式1中，mk是时步k处的地图，D0:k是由机器人的传感器从时步0到时步k已收集的测量，而x0:k是已经由机器人从时步0到时步k访问的位置。测量(D0:k)可以被称为测量数据或数据。即，式1确定在给定由传感器获得的测量(D0:k)和由传感器(例如，机器人)访问的位置(x0:k)的情况下的地图(mk)的存在概率。测量(D0:k)是指经由机器人的(诸)传感器收到的图像/测量(例如，体元(mj)的占用率)。在一配置中，传感器独立于机器人。此外，本公开的各方面涉及使用批处理办法来计算地图。因此，在获得所有测量(D0:k)后确定概率。
概率是指地图(例如，最可能的地图)的存在概率。更具体地说，概率是指给定地图的每个体元(mj)最可能占用率的情况下地图的概率。作为示例，地图(m)可以具有两个体元(m1，m2)。基于所获得的测量(D0:k)和访问位置(x0:k)，机器人可以确定第一体元(m1)具有描述其占用率的概率简档。
在下面的示例中，占用率是空、半占用(例如，部分占用)或满。不过，应指出，在某些方面，占用率是连续的。在本示例中，基于所获得的测量(D0:k)和访问位置(x0:k)，机器人可以确定第一体元(m1)对于在访问位置处获得的测量的10％是空的，对于在访问位置处获得的测量的70％是被半占用的，而对于在访问位置处获得的测量的20％是被完全占用的。此外，第二体元(m2)对于在访问位置处获得的测量的30％可以是空的，对于在访问位置处获得的测量的65％是被半占用的，而对于在访问位置处获得的测量的5％是被完全占用的。
在该示例中，第一体元和第二体元具有70％和65％被半占用的概率，其大于任一体元为空或满的概率。因此，在本示例中，第一和第二体元的最可能的占用率是被半占用的。在该示例中，可存在九个不同的地图(例如，两个体元都空，第一体元空而第二体元半占用，第一体元空而第二体元满，两个体元都半占用，第一体元半占用而第二体元满，第一体元半占用而第二体元空，第一体元满而第二体元半占用，第一体元满而第二体元空，以及两个体元都满)。由于占用率概率的值，两个体元都被半占用的地图(mk)的概率是最高的。本公开的各方面涉及在给定所有确定的地图的概率的情况下确定最可能的地图(m*)。因此，最可能的地图是具有两个半占用体元的地图。
在式1中确定的概率可以基于在先知识(例如，直到前一时步搜集到的所有测量(D0:k－1))。在一配置中，基于式2确定在先知识：
p(mk|D0：k-1，x0：k)＝p(mk-1|D0：k-1，x0：k-1)(2)
在式2中，p(mk-1|D0:k-1，x0:k-1)是在时步k-1处基于先前所搜集的测量(D0:k-1)和先前所访问的位置(x0:k-1)的地图的知识。此外，在式2中，如果机器人从第一位置(x0:k-1)移动到第二位置(x0:k)，则***使用p(mk-1|D0:k-1，x0:k-1)预测地图的概率p(mk|D0:k-1，x0:k)。在用式2预测概率p(mk|D0:k-1，x0:k)之后，***从第二位置(x0:k)获得测量(D0:k)以更新使用式1的预测。即，在给定所获得的测量(D0:k)和访问位置(x0:k)的情况下，地图(mk)的存在概率是基于在式2处所估计的对概率的更新。在式2中，p(mk-1|D0:k-1，x0:k-1)是自位映射滤波，而p(mk|mk-1，xk)是动态环境的遗忘因子。
在式1-2中的测量(D0:k)是基于不一致性测量的。尽管如此，在一配置中，概率基于像素测量(z0:k)。式3可用于基于像素测量来确定地图(mk)的概率：
本公开的另一方面涉及T步递归贝叶斯滤波。式4可用于在给定时步为零处地图(m0)的知识的情况下，确定在时步T处的地图(mT)的概率(p)。在本申请中，k和T可指时步：
如前所讨论的，在确定地图(mk)的概率之后，期望基于所有地图(m)的概率确定最可能的地图(m*)。即，期望确定地图的最大后验(MAP)估计。式5可用于基于所有地图(m)的概率来确定最可能的地图(m*)：
如式5所示，在给定由机器人获得的所有测量(D0:k)和由机器人访问的位置(x0:k)的情况下，可基于所有地图(m)的概率来确定最可能的地图(m*)。在一配置中，指定对数似然性来确定最大化：
logp(D0：t|m，xo：t)(6)
计算式6可增加***资源的使用。因此，可期望通过关注体元已被访问的次数来改进式6的计算。因此，在一配置中，最大化是基于反射射束的体元(mj)的测量似然性。在一示例中，当射线从体元(mj)反射回来时，***确定在体元(mj)之前没有完全被占用的体元。替换地，如果在体元(mj)之前存在完全被占用的体元，则射线不会从体元(mj)反弹回来。
此外，两个变量(α和β)可被定义以指示所访问的体元反射测量射线的次数以及所访问的体元未反射(例如，拦截)测量射线的次数。测量射线可以被称为射线、射束和/或测量射束。在该配置中，变量α指示测量射束已从体元(mj)反射的次数。即，变量α指示体元已经被占用的次数。此外，变量β指示测量射束已从体元(mj)中被拦截(例如，未反射)的次数。即，变量β指示体元已空的次数。变量α和β可用于计算最大化：
使得最大化α和β的函数：
在式8中，是对应于时间t处的像素v的测量，而是与时间t处的像素v的测量相关联的原因。因此，最大化(例如，最可能的地图)是体元已被占用的第一次数(α)和体元已空的第二次数(β)的函数。在式8中还考虑了随机传感器模型(例如，)，如以阿加默汉马蒂等人的名义于2015年12月2日提交的美国临时专利申请no.62/262,339中描述的，该临时专利申请的公开内容全部通过援引明确纳入于此。该传感器模型计及随机地图和传感器可变性。此外，在一配置中，例如，如果传感器是统一的或可靠的，则概率可以是统一的(例如，p＝1)。当传感器是统一的或可靠的时，体元(mj)的密度可以如下计算：
即，体元密度(mj)可以是体元(mj)已被占用的次数αj与体元(mj)已被访问的次数(αj+βj)的比率。
图5解说了用于基于批量数据来计算最可能的地图的方法500。在框502，***在整个要绘制地图的环境中搜集由传感器的位置索引的传感器测量的素材库。传感器测量的素材库可以被称为批量数据。在框504，***在搜集传感器测量的素材库之后，根据传感器测量的素材库和随机传感器模型来确定环境的多个体元中的每个体元的最可能的占用水平。此外，在框506，***基于确定的最可能的占用水平来计算最可能的地图。在一些方面，最可能的地图是最大后验地图。
在一些方面，在框508，机器人可以任选地基于测量射线已从体元弹回到传感器的第一次数以及测量射线已由体元拦截使得经拦截的测量射线没有从体元反弹回到传感器的第二次数的函数，来确定每个体元的最可能的占用水平。替换地，在框510，机器人可以任选地基于整个环境中来自传感器的不同位置的多个测量来确定每个体元的占用水平。在一些方面，在框512，机器人可以任选地使传感器测量的素材库相关以确定占用水平。
在一些方面，方法500可由SOC 100(图1)或***200(图2)来执行。即，举例而言但不作为限定，方法500的每个元素可由SOC 100或***200、或者一个或多个处理器(例如，CPU 102和局部处理单元202)和/或其中包括的其他组件来执行。
以上所描述的方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或(诸)软件组件和/或(诸)模块，包括但不限于电路、专用集成电路(ASIC)、或处理器。一般而言，在附图中有解说的操作的场合，那些操作可具有带相似编号的相应配对装置加功能组件。
如本文所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可包括演算、计算、处理、推导、研究、查找(例如，在表、数据库或其他数据结构中查找)、探知及诸如此类。另外，“确定”可包括接收(例如接收信息)、访问(例如访问存储器中的数据)、及类似动作。此外，“确定”可包括解析、选择、选取、确立及类似动作。
如本文中所使用的，引述一列项目中的“至少一个”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c、以及a-b-c。
结合本公开所描述的各种解说性逻辑框、模块、以及电路可用设计成执行本文中所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何市售的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如，DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其他此类配置。
结合本公开描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。软件模块可驻留在本领域所知的任何形式的存储介质中。可使用的存储介质的一些示例包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动盘、CD-ROM，等等。软件模块可包括单条指令、或许多条指令，且可分布在若干不同的代码段上，分布在不同的程序间以及跨多个存储介质分布。存储介质可被耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可以被整合到处理器。
本文所公开的方法包括用于达成所描述的方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。
所描述的功能可在硬件、软件、固件或其任何组合中实现。如果以硬件实现，则示例硬件配置可包括设备中的处理***。处理***可以用总线架构来实现。取决于处理***的具体应用和整体设计约束，总线可包括任何数目的互连总线和桥接器。总线可将包括处理器、机器可读介质、以及总线接口的各种电路链接在一起。总线接口可用于尤其将网络适配器等经由总线连接至处理***。网络适配器可用于实现信号处理功能。对于某些方面，用户接口(例如，按键板、显示器、鼠标、操纵杆，等等)也可以被连接到总线。总线还可以链接各种其他电路，诸如定时源、***设备、稳压器、功率管理电路以及类似电路，它们在本领域中是众所周知的，因此将不再进一步描述。
处理器可负责管理总线和一般处理，包括执行存储在机器可读介质上的软件。处理器可用一个或多个通用和/或专用处理器来实现。示例包括微处理器、微控制器、DSP处理器、以及其他能执行软件的电路***。软件应当被宽泛地解释成意指指令、数据、或其任何组合，无论是被称作软件、固件、中间件、微代码、硬件描述语言、或其他。作为示例，机器可读介质可包括随机存取存储器(RAM)、闪存存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦式可编程只读存储器(EPROM)、电可擦式可编程只读存储器(EEPROM)、寄存器、磁盘、光盘、硬驱动器、或者任何其他合适的存储介质、或其任何组合。机器可读介质可被实施在计算机程序产品中。该计算机程序产品可以包括包装材料。
在硬件实现中，机器可读介质可以是处理***中与处理器分开的一部分。然而，如本领域技术人员将容易领会的，机器可读介质或其任何部分可在处理***外部。作为示例，机器可读介质可包括传输线、由数据调制的载波、和/或与设备分开的计算机产品，所有这些都可由处理器通过总线接口来访问。替换地或补充地，机器可读介质或其任何部分可被集成到处理器中，诸如高速缓存和/或通用寄存器文件可能就是这种情形。虽然所讨论的各种组件可被描述为具有特定位置，诸如局部组件，但它们也可按各种方式来配置，诸如某些组件被配置成分布式计算***的一部分。
处理***可以被配置为通用处理***，该通用处理***具有一个或多个提供处理器功能性的微处理器、以及提供机器可读介质中的至少一部分的外部存储器，它们都通过外部总线架构与其他支持电路***链接在一起。替换地，该处理***可以包括一个或多个神经元形态处理器以用于实现本文中所描述的神经元模型和神经***模型。作为另一替换方案，处理***可以用带有集成在单块芯片中的处理器、总线接口、用户接口、支持电路***、和至少一部分机器可读介质的专用集成电路(ASIC)来实现，或者用一个或多个现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、状态机、门控逻辑、分立硬件组件、或者任何其他合适的电路***、或者能执行本公开通篇所描述的各种功能性的电路的任何组合来实现。取决于具体应用和加诸于整体***上的总设计约束，本领域技术人员将认识到如何最佳地实现关于处理***所描述的功能性。
机器可读介质可包括数个软件模块。这些软件模块包括当由处理器执行时使处理***执行各种功能的指令。这些软件模块可包括传送模块和接收模块。每个软件模块可以驻留在单个存储设备中或者跨多个存储设备分布。作为示例，当触发事件发生时，可以从硬驱动器中将软件模块加载到RAM中。在软件模块执行期间，处理器可以将一些指令加载到高速缓存中以提高访问速度。可随后将一个或多个高速缓存行加载到通用寄存器文件中以供处理器执行。在以下述及软件模块的功能性时，将理解此类功能性是在处理器执行来自该软件模块的指令时由该处理器来实现的。此外，应领会，本公开的各方面产生对处理器、计算机、机器或实现此类方面的其它***的机能的改进。
如果以软件实现，则各功能可作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，这些介质包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能用于携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。另外，任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或无线技术(诸如红外(IR)、无线电、以及微波)从web网站、服务器、或其他远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外、无线电、以及微波)就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘、和碟，其中盘(disk)常常磁性地再现数据，而碟(disc)用激光来光学地再现数据。因此，在一些方面，计算机可读介质可包括非瞬态计算机可读介质(例如，有形介质)。另外，对于其他方面，计算机可读介质可包括瞬态计算机可读介质(例如，信号)。上述的组合应当也被包括在计算机可读介质的范围内。
因此，某些方面可包括用于执行本文中给出的操作的计算机程序产品。例如，此类计算机程序产品可包括其上存储(和/或编码)有指令的计算机可读介质，这些指令能由一个或多个处理器执行以执行本文中所描述的操作。对于某些方面，计算机程序产品可包括包装材料。
此外，应当领会，用于执行本文中所描述的方法和技术的模块和/或其它恰适装置能由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如，此类设备能被耦合至服务器以促成用于执行本文中所描述的方法的装置的转移。替换地，本文中所描述的各种方法能经由存储装置(例如，RAM、ROM、诸如压缩碟(CD)或软盘等物理存储介质等)来提供，以使得一旦将该存储装置耦合至或提供给用户终端和/或基站，该设备就能获得各种方法。此外，可利用适于向设备提供本文中所描述的方法和技术的任何其他合适的技术。
将理解，权利要求并不被限定于以上所解说的精确配置和组件。可在以上所描述的方法和装置的布局、操作和细节上作出各种改动、更换和变形而不会脱离权利要求的范围。

Claims (20)

1.一种基于批量数据来计算最可能的地图的方法，包括：
在整个要绘制地图的环境中搜集由传感器的位置索引的传感器测量的素材库；
在搜集传感器测量的所述素材库之后，根据传感器测量的所述素材库和随机传感器模型来确定所述环境的多个体元中的每个体元的最可能的占用水平；以及
基于所确定的最可能的占用水平来计算所述最可能的地图。
2.如权利要求1所述的方法，其特征在于，进一步包括基于以下来确定每个体元的所述最可能的占用水平：测量射线已从该体元弹回到所述传感器的第一次数以及所述测量射线已由该体元拦截使得经拦截的测量射线没有从该体元反弹回到所述传感器的第二次数的函数。
3.如权利要求1所述的方法，其特征在于，所述最可能的地图是最大后验地图。
4.如权利要求1所述的方法，其特征在于，进一步包括基于在整个所述环境中来自所述传感器的不同位置的多个测量，来确定每个体元的所述占用水平。
5.如权利要求1所述的方法，其特征在于，进一步包括使传感器测量的所述素材库相关以确定所述占用水平。
6.一种基于批量数据来计算最可能的地图的装置，包括：
存储器；以及
耦合至所述存储器的至少一个处理器，所述至少一个处理器被配置成：
在整个要绘制地图的环境中搜集由传感器的位置索引的传感器测量的素材库；
在搜集传感器测量的所述素材库之后，根据传感器测量的所述素材库和随机传感器模型来确定所述环境的多个体元中的每个体元的最可能的占用水平；以及
基于所确定的最可能的占用水平来计算所述最可能的地图。
7.如权利要求6所述的装置，其特征在于，所述至少一个处理器被进一步配置为基于以下来确定每个体元的所述最可能的占用水平：测量射线已从该体元弹回到所述传感器的第一次数以及所述测量射线已由该体元拦截使得经拦截的测量射线没有从该体元反弹回到所述传感器的第二次数的函数。
8.如权利要求6所述的装置，其特征在于，所述最可能的地图是最大后验地图。
9.如权利要求6所述的装置，其特征在于，所述至少一个处理器被进一步配置为基于在整个所述环境中来自所述传感器的不同位置的多个测量，来确定每个体元的所述占用水平。
10.如权利要求6所述的装置，其特征在于，所述至少一个处理器被进一步配置为使传感器测量的所述素材库相关以确定所述占用水平。
11.一种基于批量数据来计算最可能的地图的装备，包括：
用于在整个要绘制地图的环境中搜集由传感器的位置索引的传感器测量的素材库的装置；
用于在搜集传感器测量的所述素材库之后，根据传感器测量的所述素材库和随机传感器模型来确定所述环境的多个体元中的每个体元的最可能的占用水平的装置；以及
用于基于所确定的最可能的占用水平来计算所述最可能的地图的装置。
12.如权利要求11所述的装备，其特征在于，进一步包括用于基于以下来确定每个体元的所述最可能的占用水平的装置：测量射线已从该体元弹回到所述传感器的第一次数以及所述测量射线已由该体元拦截使得经拦截的测量射线没有从该体元反弹回到所述传感器的第二次数的函数。
13.如权利要求11所述的装备，其特征在于，所述最可能的地图是最大后验地图。
14.如权利要求11所述的装备，其特征在于，进一步包括用于基于在整个所述环境中来自所述传感器的不同位置的多个测量，来确定每个体元的所述占用水平的装置。
15.如权利要求11所述的装备，其特征在于，进一步包括用于使传感器测量的所述素材库相关以确定所述占用水平的装置。
16.一种其上记录有用于基于批量数据来计算最可能的地图的程序代码的非瞬态计算机可读介质，所述程序代码由处理器执行并且包括：
用于在整个要绘制地图的环境中搜集由传感器的位置索引的传感器测量的素材库的程序代码；
用于在搜集传感器测量的所述素材库之后，根据传感器测量的所述素材库和随机传感器模型来确定所述环境的多个体元中的每个体元的最可能的占用水平的程序代码；以及
用于基于所确定的最可能的占用水平来计算所述最可能的地图的程序代码。
17.如权利要求16所述的非瞬态计算机可读介质，其特征在于，所述程序代码进一步包括用于基于以下来确定每个体元的所述最可能的占用水平的程序代码：测量射线已从该体元弹回到所述传感器的第一次数以及所述测量射线已由该体元拦截使得经拦截的测量射线没有从该体元反弹回到所述传感器的第二次数的函数。
18.如权利要求16所述的非瞬态计算机可读介质，其特征在于，所述最可能的地图是最大后验地图。
19.如权利要求16所述的非瞬态计算机可读介质，其特征在于，所述程序代码进一步包括用于基于在整个所述环境中来自所述传感器的不同位置的多个测量，来确定每个体元的所述占用水平的程序代码。
20.如权利要求16所述的非暂时性计算机可读媒体，其中所述程序代码进一步包括用于使传感器测量的所述素材库相关以确定所述占用水平的程序代码。
CN201680070171.9A 2015-12-04 2016-11-02 根据基于原始立体视觉的测量的地图生成 Pending CN108292137A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562263546P 2015-12-04 2015-12-04
US62/263,546 2015-12-04
US15/192,874 US20170160747A1 (en) 2015-12-04 2016-06-24 Map generation based on raw stereo vision based measurements
US15/192,874 2016-06-24
PCT/US2016/060074 WO2017095579A1 (en) 2015-12-04 2016-11-02 Map generation based on raw stereo vision based measurements

Publications (1)

Publication Number Publication Date
CN108292137A true CN108292137A (zh) 2018-07-17

Family

ID=57442797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680070171.9A Pending CN108292137A (zh) 2015-12-04 2016-11-02 根据基于原始立体视觉的测量的地图生成

Country Status (4)

Country Link
US (1) US20170160747A1 (zh)
EP (1) EP3384359B1 (zh)
CN (1) CN108292137A (zh)
WO (1) WO2017095579A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10372968B2 (en) * 2016-01-22 2019-08-06 Qualcomm Incorporated Object-focused active three-dimensional reconstruction
US10692244B2 (en) 2017-10-06 2020-06-23 Nvidia Corporation Learning based camera pose estimation from images of an environment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101000507A (zh) * 2006-09-29 2007-07-18 浙江大学 移动机器人在未知环境中同时定位与地图构建的方法
US20090234499A1 (en) * 2008-03-13 2009-09-17 Battelle Energy Alliance, Llc System and method for seamless task-directed autonomy for robots
CN103197303A (zh) * 2013-04-08 2013-07-10 中国科学院遥感与数字地球研究所 基于多传感器的地表二向反射特性反演方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006086519A1 (en) * 2005-02-08 2006-08-17 Seegrid Corporation Multidimensional evidence grids and system and methods for applying same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101000507A (zh) * 2006-09-29 2007-07-18 浙江大学 移动机器人在未知环境中同时定位与地图构建的方法
US20090234499A1 (en) * 2008-03-13 2009-09-17 Battelle Energy Alliance, Llc System and method for seamless task-directed autonomy for robots
CN103197303A (zh) * 2013-04-08 2013-07-10 中国科学院遥感与数字地球研究所 基于多传感器的地表二向反射特性反演方法及***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALEX STYLER: "《Statistical Techniques in Robotics》", 12 September 2012, CARNEGIE MELLON UNIVERSITY *
JULIAN RYDE等: "3D mapping with multi-resolution occupied voxel lists", 《AUTON ROBOT》 *
THRUN,S: "Learning Occupancy Grid Maps with Forward Sensor Models", 《AUTONOMOUS ROBOTS》 *
钱钧: "室外移动机器人同时定位与建图的一致性方法研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
EP3384359B1 (en) 2023-12-20
EP3384359A1 (en) 2018-10-10
US20170160747A1 (en) 2017-06-08
WO2017095579A1 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
CN109801293B (zh) 遥感影像分割方法、装置及存储介质、服务器
CN109829399B (zh) 一种基于深度学习的车载道路场景点云自动分类方法
JP2021526253A (ja) 深層学習システム
CN106605225A (zh) 仿真设备、仿真方法和存储器介质
CN108292138A (zh) 随机地图知悉式立体视觉传感器模型
CN115456160A (zh) 一种数据处理方法和数据处理设备
CN109902702A (zh) 目标检测的方法和装置
US11756308B2 (en) Neural network device and method using a neural network for sensor fusion
CN108885719A (zh) 基于立体视觉的随机地图生成和贝叶斯更新
US11238641B2 (en) Architecture for contextual memories in map representation for 3D reconstruction and navigation
CN111325381A (zh) 一种多源异构农田大数据产量预测方法、***与装置
CN108151679A (zh) 一种土地面积测量的方法及***
CN108332750A (zh) 机器人定位方法及终端设备
CN108898669A (zh) 数据处理方法、装置、介质和计算设备
CN108982116A (zh) 运输车及其底盘参数标定方法、装置和计算机可读介质
CN108268878A (zh) 三维全卷积网络实现设备
CN108292137A (zh) 根据基于原始立体视觉的测量的地图生成
CN113640756A (zh) 一种数据标定方法、***、装置、计算机程序以及存储介质
CN117575111A (zh) 一种基于迁移学习的农业遥感图像时空序列预测方法
CN117516517A (zh) 一种室内环境下无源融合定位方法、***及电子设备
CN116826734A (zh) 一种基于多输入模型的光伏发电功率预测方法及装置
Pearson et al. Improving obstacle boundary representations in predictive occupancy mapping
Chen et al. Irregular object measurement method based on improved adaptive slicing method
CN111612139B (zh) 一种神经网络模型训练方法、***、设备及计算机介质
Reddy et al. Algorithms for automatic separation and indexing of image footprints in satellite bundle block adjustment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination