CN108475059B - 自主视觉导航 - Google Patents

自主视觉导航 Download PDF

Info

Publication number
CN108475059B
CN108475059B CN201680073157.4A CN201680073157A CN108475059B CN 108475059 B CN108475059 B CN 108475059B CN 201680073157 A CN201680073157 A CN 201680073157A CN 108475059 B CN108475059 B CN 108475059B
Authority
CN
China
Prior art keywords
map
robot
processor
path
user input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680073157.4A
Other languages
English (en)
Other versions
CN108475059A (zh
Inventor
C·M·维任斯基
B·F·贝哈巴迪
S·P·吉布森
A·阿加默汉马蒂
S·阿加瓦尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN108475059A publication Critical patent/CN108475059A/zh
Application granted granted Critical
Publication of CN108475059B publication Critical patent/CN108475059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Acoustics & Sound (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种用于机器人的视觉导航的方法，包括：将深度图与定位信息整合以生成三维(3D)地图。该方法还包括：基于3D地图、定位信息和/或用户输入来进行运动规划。当预测经由用户输入接收到的轨迹和/或速度要造成碰撞时，运动规划覆写该用户输入。

Description

自主视觉导航
相关申请的交叉引用
本申请根据35U.S.C.§119(e)要求于2015年12月15日提交的题为“AUTONOMOUSVISUAL NAVIGATION(自主视觉导航)”的美国临时专利申请No.62/267,886的权益，并且该临时申请的公开通过援引被明确地整体纳入于此。
背景
领域
本公开的某些方面一般涉及机器人，尤其涉及机载的基于视觉的定位、地图绘制和规划。
背景技术
机器人可被设计成高度自主地执行行为或任务。机器人可使用不同的模块和组件来执行各种任务。例如，机器人可具有用于定位、地图绘制和规划的不同组件。定位涉及对确定该机器人位于何处的问题进行求解。机器人从其传感器接收输入以理解该机器人位于其环境内何处。
地图绘制涉及构建环境的表示。例如，地图绘制被用于确定环境的哪一部分被占用以及哪些部分是自由空间。此外，地图绘制可防止机器人与障碍物碰撞。
规划涉及确定在机器人知晓环境的布局后如何执行任务并且该机器人将如何从点A行进至点B。即，在一些情形中，在从当前位置移至目标之前，在规划阶段期间从所评估的多个候选轨迹中确定到目标的具有最低成本的轨迹(例如，路径)是合乎需要的。
概述
在本公开的一个方面，公开了一种用于机器人的视觉导航的方法。所述方法包括：将深度图与定位信息整合以生成三维(3D)地图。所述方法还包括：基于所述3D地图、所述定位信息或用户输入来进行运动规划。当预测所述用户输入要造成碰撞时，所述运动规划覆写所述用户输入。
本公开的另一方面涉及一种设备，包括：用于将深度图与定位信息整合以生成三维(3D)地图的装置。所述设备还包括：用于基于所述3D地图、所述定位信息或用户输入来进行运动规划的装置。当预测所述用户输入要造成碰撞时，所述运动规划覆写所述用户输入。
在本公开的另一方面，公开了一种其上记录有非瞬态程序代码的非瞬态计算机可读介质。用于机器人的视觉导航的程序代码由处理器执行并包括：用于将深度图与定位信息整合以生成三维(3D)地图的程序代码。所述程序代码还包括：用于基于所述3D地图、所述定位信息或用户输入来进行运动规划的程序代码。当预测所述用户输入要造成碰撞时，所述运动规划覆写所述用户输入。
本公开的另一方面涉及一种装置，所述装置具有存储器单元和耦合到所述存储器单元的一个或多个处理器。(诸)处理器被配置成：将深度图与定位信息整合以生成三维(3D)地图。(诸)处理器还被配置成：基于所述3D地图、所述定位信息或用户输入来进行运动规划。当预测所述用户输入要造成碰撞时，所述运动规划覆写所述用户输入。
本公开的附加特征和优点将在下文描述。本领域技术人员应当领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。
附图简述
在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。
图1解说了根据本公开的某些方面的使用片上***(SOC)(包括通用处理器)的自主视觉导航的示例实现。
图2解说了根据本公开的各方面的***的示例实现。
图3是解说了示例性设备中的不同模块/装置/组件的框图。
图4是解说了根据本公开的各方面的位置模块的框图。
图5解说了根据本公开的各方面的立体视觉相机的示例。
图6A、6B、6C、6D、6E和7解说了根据本公开的各方面的环境中的机器人的示例。
图8是解说了示例性设备中的不同模块/装置/组件的框图。
图9解说了根据本公开的各方面的用于由机器人进行自主视觉导航的方法的流程图。
图10解说了根据本公开的各方面的用于运动规划的方法的流程图。
详细描述
以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践本文中所描述的概念的仅有配置。本详细描述包括具体细节以便提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在一些实例中，以框图形式示出众所周知的结构和组件以避免湮没此类概念。
基于本教导，本领域技术人员应领会，本公开的范围旨在覆盖本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可以使用所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。
措辞“示例性”在本文中用于表示“用作示例、实例、或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
尽管本文描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、***配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。
本公开的各方面涉及组合了定位、地图绘制和运动规划的集成解决方案。该集成解决方案基于深度图和定位信息来达成运动规划。定位模块(诸如视觉惯性里程表)可被用于定位。障碍物地图绘制可通过对相继的多视深测量的体积积分来达成。规划可通过基于采样的几何规划结合快速重新规划来达成。
对于可以手动或自主控制的***(诸如机器人)，期望基于整合的深度图来规划机器人的运动。此外，运动规划可包括覆写用户输入。
另外，期望既手动地(例如，控制杆控制)也自主地(例如，航路点控制)来安全领航机器人。操作员进一步期望将在手动操作期间搜集的信息应用于自主操作，并且反之亦然。此外，规划可被指定成防止机器人在手动和自主模式两者中碰撞到障碍物。规划还可被指定成：当机器人正在手动或自主模式中操作时规划最低成本路线。
此外，机器人可以对自身进行定位，以使得机器人不依赖于外部***或信号(例如，全球定位***和信标)来进行定位。在一种配置中，机器人包括改善光和能量使用的传感器。
本公开的各方面涉及一种机器人，该机器人具有机载的基于视觉的定位、地图绘制和规划以使得该机器人能够运动规划到目标位置。在一种配置中，运动规划覆写用户输入。
图1解说了根据本公开的某些方面的由使用片上***(SOC)100的机器人来进行运动规划的前述方法的示例实现，该SOC 100可包括通用处理器(CPU)或多核通用处理器(CPU)102。变量(例如，神经信号和突触权重)、与计算设备相关联的***参数(例如，带有权重的神经网络)、延迟、频率槽信息、以及任务信息可被存储在与神经处理单元(NPU)108相关联的存储器块、与CPU 102相关联的存储器块、与图形处理单元(GPU)104相关联的存储器块、与数字信号处理器(DSP)106相关联的存储器块、专用存储器块118中，或可跨多个块分布。在通用处理器102处执行的指令可从与CPU 102相关联的程序存储器加载或可从专用存储器块118加载。
SOC 100还可包括为具体功能定制的附加处理块(诸如GPU 104、DSP 106、连通性块110(其可包括***长期演进(4G LTE)连通性、无执照Wi-Fi连通性、USB连通性、蓝牙连通性等))以及例如可检测和识别姿势的多媒体处理器112。在一种实现中，NPU实现在CPU、DSP、和/或GPU中。SOC 100还可包括传感器处理器114、图像信号处理器(ISP)、和/或导航120(其可包括全球定位***)。
SOC 100可基于ARM指令集。在本公开的一方面，加载到通用处理器102中的指令可包括用于确定位置的占用水平的概率分布函数(PDF)的代码。加载到通用处理器102中的指令还可包括用于将深度图与定位信息整合以生成三维(3D)地图的代码。加载到通用处理器102中的指令还可包括用于基于3D地图、定位信息和/或用户输入来规划运动的代码。在一种配置中，当预测用户输入要造成碰撞时，运动规划覆写该用户输入。
图2解说了根据本公开的某些方面的***200的示例实现。如图2中所解说的，***200可具有可执行本文所描述的方法的各种操作的多个局部处理单元202。每个局部处理单元202可包括局部状态存储器204和可存储神经网络的参数的局部参数存储器206。另外，局部处理单元202可具有用于存储局部模型程序的局部(神经元)模型程序(LMP)存储器208、用于存储局部学习程序的局部学习程序(LLP)存储器210、以及局部连接存储器212。此外，如图2中所解说的，每个局部处理单元202可与用于为该局部处理单元的各局部存储器提供配置的配置处理器单元214对接，并且与提供各局部处理单元202之间的路由的路由连接处理单元216对接。
在一种配置中，导航模型被配置用于将深度图与定位信息整合以生成三维(3D)地图，并基于3D地图、定位信息和/或用户输入来进行运动规划。在一个方面，前述装置可以是被配置成执行所叙述功能的通用处理器102、与通用处理器102相关联的程序存储器、存储器块118、局部处理单元202、和或路由连接处理单元216。在另一配置中，前述装置可以是被配置成执行由前述装置所叙述的功能的任何模块或任何装置。
根据本公开的某些方面，每个局部处理单元202可被配置成基于模型的一个或多个期望功能特征来确定模型的参数，以及随着所确定的参数被进一步适配、调谐和更新来使这一个或多个功能特征朝着期望的功能特征发展。
自主视觉导航
在常规***中，在手动操作期间，如果机器人与障碍物之间的距离小于阈值，则机器人可使用基于反应性(例如，无记忆)***(诸如声纳或超声波)的虚拟保险杠***来中止机器人。虚拟保险杠在自主操作期间可能没有用，因为虚拟保险杠***是无记忆的。因此，自主机器人不能够基于先前的测量来规划。此外，虚拟保险杠***不整合跨时间和姿态的传感器读数。由此，***具有增大的噪声。此外，由于虚拟保险杠***是反应性的，因此虚拟保险杠***不能够规划新的轨迹和/或速度以避免碰撞。相反，机器人中止操作以避免碰撞并且不会绕过障碍物重新定向。
另外，在用于自主操作的常规***中，基于航标点的方案被指定成允许用户指定基于位置的航标点(诸如，GPS航标点)来进行导航。在该***中，机器人被指定成从一个航标点移至另一航标点。尽管如此，基于航标点的方案使用位置***(诸如GPS)，这在一些位置中可能是不可靠的，诸如室内位置或市区位置。此外，基于航标点的方案不会绕过障碍物重新定向机器人。
因此，期望将不同的组件组合到一个机器人中以改善导航以及对机器人环境的理解。不同的组件可包括：用于确定机器人在环境中的位置的定位模块(诸如视觉惯性里程表)；用于获得多视深测量的地图绘制模块；以及用于与重新规划结合的基于采样的几何规划的规划模块。即，如先前讨论的，本公开的各方面涉及组合定位、地图绘制和运动规划的机器人。更具体而言，运动规划可使用深度图和定位信息。
根据本公开的各方面，经组合的组件可被用于基于从地图绘制模块生成的障碍物地图、从定位模块获得的定位信息、以及基于用户输入和/或规划模块的规划来进行运动规划。在一种配置中，机器人接收针对轨迹和/或速度的用户输入。在该配置中，机器人可覆写用户输入以基于从地图绘制模块确定的障碍物来避免碰撞。机器人还可覆写用户输入以改善路线，诸如选择使用较少燃料的路线和/或选择在距离和/或时间上短的路线。
机器人可包括多个传感器模态，诸如视觉传感器和定位传感器。地图绘制模块可使用立体视觉传感器(诸如多个面朝前的相机)来获得深度图。可在每一时步执行深度测量以确定多个点离机器人的距离。此外，地图绘制模块可被指定用于对相继深度测量(例如，多视深测量)的体积积分。机器人可从惯性测量单元(诸如加速度计和/或陀螺仪)获得定位信息。定位信息还可从传感器(诸如面朝下的传感器)获得。定位是指机器人在环境内的位置。在一种配置中，面朝下的传感器是声纳传感器和/或相机。
在本公开的一个方面，机器人将每个接收到的深度测量与定位模块的测量整合以将深度测量置于地图(诸如三维(3D)地图)中的恰适位置中。例如，机器人可在第一位置获得深度测量并且机器人将该测量与机器人的第一位置进行关联。另外，机器人可从第一位置移至第二位置并获得新的深度测量。此外，机器人可将该新的深度测量与第二位置进行关联。因此，当机器人移动通过环境时，基于深度测量和定位测量来生成地图(诸如三维地图)。
在规划阶段期间，机器人可基于操作模式(诸如手动模式或自主模式)来提供运动控制。例如，在手动操作模式中，自主***将针对速度和/或轨迹的驾驶员命令(例如，用户输入)外插到三维地图中并检查碰撞。此外，机器人可覆写用户输入以避免碰撞或规划改善的路线(例如，更快的路线)。在自主操作模式中，机器人使用累积的地图来规划到达所保存目标的无碰撞路径。此外，如果地图更新使规划不安全，则自主***可沿路线重新规划。
图3是根据本公开的一方面的机器人300的框图。如图3中所示，机器人300包括地图绘制模块302，该地图绘制模块302从深度传感器接收深度测量。深度测量测量了机器人与障碍物的距离。在一种配置中，深度传感器包括多个面朝前的视觉传感器，诸如相机。地图绘制模块302可基于深度测量来生成深度图。此外，深度图可被输入到3D障碍物地图绘制模块304。深度图的输入可以是基本上瞬时的。
如图3中所示，位置模块308接收定位测量和/或惯性测量。定位测量可从面朝下的传感器(诸如面朝下的相机)获得。此外，惯性测量可从惯性测量单元(诸如加速度计和/或陀螺仪)获得。基于接收到的定位测量和/或惯性测量，位置模块308确定机器人的位置并将该位置输出到3D障碍物地图绘制模块304。位置信息的输入可以是基本上瞬时的。
3D障碍物地图绘制模块304将接收到的位置信息与接收到的深度图进行关联以生成机器人的当前位置的3D地图。3D地图可被称为整合的深度图。随着时间推移，当机器人300移至不同位置并从不同位置获得深度测量时，生成所访问位置的3D地图。3D地图被输出到规划模块306。在一种配置中，机器人300接收以特定的速度和/或轨迹来移动机器人300的用户输入。另外，用户输入可设置供机器人300到达的目标。用户输入可从远程设备(诸如计算机或远程控制器)接收。
在一种配置中，当用户输入为机器人300设置目标时，规划模块306规划从机器人的当前位置到该目标的路线。期望路径被输出到运动控制模块310，该运动控制模块310控制机器人的电机以按期望的轨迹和/或速度沿所规划的路线移动。电机可控制运动力组件，诸如引擎、旋转叶片和/或轮子。此外，如图3中所示，位置模块308将所获得的位置传送给规划模块306和运动控制模块310两者，以使得这两个模块都知晓机器人的当前位置。另外，当机器人300的位置改变时，可以更新从3D障碍物地图绘制模块304生成的3D地图。由此，规划模块可以基于对3D地图的更新来更新期望路径。
在另一配置中，如上面讨论的，机器人300接收以特定的速度和/或轨迹来移动机器人300的用户输入。在该配置中，规划模块306覆写用户输入以避免碰撞或基于3D地图中的当前位置来改善所指定的速度和/或轨迹。覆写信息可被输出到运动控制模块310以基于该覆写信息来控制机器人的电机。当然，在一些情形中，规划模块可以不覆写用户输入。由此，用户输入按照期望路径从规划模块306被输出到运动控制模块310。
图4解说了根据本公开的一方面的位置模块400的示例。位置模块400可以是传感器熔合模块，该传感器熔合模块组合了惯性测量单元(IMU)数据和传感器数据以计算全局/世界坐标系中的机器人姿态。在一种配置中，用于位置模块的传感器是面朝下的传感器。尽管如此，本公开的各方面不限于面朝下的传感器。如图4中所示，位置模块400可包括特征检测器402、***406和滤波器404。在一种配置中，滤波器404是扩展的卡尔曼滤波器。根据本公开的一方面，特征检测器从面朝下的传感器(诸如相机)接收帧。在一种配置中，相机是单目相机。
特征检测器402可被配置成检测接收到的帧的特征。此外，***406可跟踪跨接收到的帧所检测到的特征位置变化以估计机器人的移动。例如，特征检测器402可检测到第一帧中的十个特征。另外，在该示例中，***406可在后续帧中跟踪检测到的十个特征。由此，当在特征检测器402处接收到第二帧时，特征检测器402尝试从第二帧中检测第一帧的十个特征，并且***406确定第一帧的该十个特征与第二帧的该十个特征的位置变化。位置的变化提供对机器人移动的估计(例如，机器人已移动多远)。当然，十个特征是一示例并且本公开的各方面不限于检测到特定数目的特征。
另外，如图4中所示，滤波器404可从第一传感器和第二传感器接收输入。第一传感器可以是加速度计以感测由于自运动和重力引起的线性加速度。第二传感器可以是陀螺仪以获得三维全局位置的取向(例如，角度)。对于视觉惯性测程，世界系可以以第一捕捉到的图像的位置为中心。由此，相对于机器人的起始位置，视觉惯性测程提供了对三维全局位置和对应取向的估计。例如，三维全局位置和对应取向信息可被输入到轨迹控制器以用于航标点导航或速度控制。三维全局位置和对应取向信息还可被输入到子***的地图绘制以用于体素地图整合。
在一种配置中，滤波器组合第一传感器、第二传感器的输入、以及来自特征检测器402和***406的特征信息以输出机器人的位置。机器人的位置可被输出作为六自由度(6DOF)姿态。六自由度姿态可以指向前/向后、向上/向下、向左/向右、俯仰、偏航和滚转。在一种配置中，机器人被配置成飞行。当然，本公开的各方面不限于使机器人飞行，并且还构想了用于可以基于陆地和/或海洋的机器人。
图5解说了根据本公开的一方面的深度传感器500的示例。如图5中所示，深度传感器500包括间隔开已知距离506的第一相机502和第二相机504。如图5中所示，相机502、504两者都聚焦在对象514的特定点512上。此外，为第一相机502确定第一图像516中与特定点512相对应的第一像素508的位置，并且为第二相机504确定第二图像518中与特定点512相对应的第二像素510的位置。基于第一像素508和第二像素510的位置，使用三角测量，机器人可确定对象514的特定点512离相机502、504的深度。可针对由相机获得的图像的多个像素(例如，每个像素)重复确定深度的过程以创建机器人的当前位置的深度图。
尽管图5中未示出，但相机502、504可被安装在机器人的鼻端上(例如，前端)。可基于立体深度感知来发展三维重建。在一种配置中，该过程可将世界离散化成三维网格。网格中的每个位置可被称为体素。当机器人围绕环境导航并观测到障碍物时，可将来自立体相机的深度图像和来自定位过程的六自由度姿态组合成三维体素地图。在一种配置中，体素地图基于观测来生成。另外，地图绘制过程可以按立体相机帧率来运行，以使得当相机观测到新信息时地图被更新。该更新可以是基本上瞬时的。此外，体素地图可由运动规划器用于实时地规划安全且可靠的路径。
视觉惯性测程可向规划器提供可实时更新的定位信息。在一种配置中，当为机器人指定目标时，规划器使用最新近状态估计作为起始状态并将该目标作为目的地以生成用于到达该目的地的规划。机器人可通过遵循以闭环方式计算的轨迹来执行该规划。在执行规划时，观测到可以使规划无效的新信息，在这种情形中规划器采用新的规划。
图6A解说了包括已绘制地图的区域602和未绘制地图的区域604的环境600的示例。已绘制地图的区域602可以是基于深度测量和定位的3D已绘制地图的区域。即，如先前讨论的，3D地图可通过将深度图与定位信息整合来生成。可在机器人在手动模式(例如，经由用户输入)或自主模式中***作时获得深度图和定位信息。如图6A中所示，基于深度测量，机器人可确定某些体素被对象608占据。由此，规划模块被指定成：当在手动模式或自主模式中对机器人进行导航时，避开对象608。未绘制地图的区域604可以是还未被机器人探索的区域。
在一种配置中，机器人可以在第一位置606并且可接收自主地导航到目标位置610的用户输入。如图6A中所示，目标位置610可以在未绘制地图的区域604中。响应于用户输入，机器人选择已绘制地图的区域602的未被占用区域中的候选点612。候选点612可以从已绘制地图的区域602的未被占用区域中随机地选择。候选点612可以是已绘制地图的区域602上被认为对于行进是安全的点。由此，候选点612可由规划模块用于选择从第一位置606到目标位置610的无碰撞轨迹。即，机器人规划每个候选点612之间的轨迹614(例如，边)。如图6A中所示，机器人可选择未绘制地图的区域604中的候选点612和轨迹614。尽管如此，由于未绘制地图的区域604还未被探索，因此候选点612和轨迹614是预测的候选点612和预测的轨迹614。
图6B解说了根据本公开的一方面的在第一位置606与目标位置610之间的所选路径602的示例。如图6B中所示，在确定候选点612和轨迹614之后，规划模块可基于所确定的候选点612和轨迹614来搜索第一位置606与目标位置610之间可用的各个路径。该搜索可以是Dykstra搜索。基于对不同路径的搜索，规划模块选择供机器人行进的路径620。所选路径是无碰撞路径。此外，所选路径620与其他路径相比可使用较少的资源，诸如燃气和/或时间。所选路径620可被称为最小成本路径。
图6C解说了根据本公开的一方面的机器人沿所选路径620移动的示例。如图6C中所示，基于所选路径620，机器人沿路径620从第一位置606移至第二位置622。第二位置622是在规划阶段期间选择的候选点612中的一者。另外，如图6C中所示，当机器人沿路径620移动时，未绘制地图的区域604的一部分随着该区域进入机器人的传感器的视野而变成已绘制地图的。即，作为示例，如图6C中所示，先前被包括在未绘制地图的区域604中的区域624基于机器人的移动而变成被包括在已绘制地图的区域602中。由此，当机器人沿路径620移动时，机器人可基于经更新的深度图和位置信息来更改所选路径。
图6D解说了根据本公开的一方面的机器人沿所选路径620移动的示例。如图6D中所示，基于所选路径620，机器人沿路径620从第二位置622移至第三位置626。第三位置626是在规划阶段期间选择的候选点612中的一者。另外，如图6D中所示，当机器人沿路径620移动时，未绘制地图的区域604的一部分随着该区域进入机器人的传感器的视野而变成已绘制地图的区域。在该示例中，基于深度测量，机器人确定对象628占用沿所规划路径620的体素。由此，假如机器人要继续沿所规划路径620，则将发生碰撞。因此，假设对象628与所规划路径620交叠，则机器人的规划模块基于经更新的深度测量和位置信息来选择新路径。
图6E解说了机器人基于经更新的3D地图来选择新路径630的示例。如先前讨论的，机器人的规划模块基于经更新的深度测量和位置信息(例如，经更新的3D地图)来选择新路径。如图6E中所示，当机器人在第三位置626时，给定对象628的知识，规划模块搜索第三位置626与目标位置610之间的新路径。即，当障碍物(诸如对象628)进入视野时，机器人选择新路径。基于对不同路径的搜索，规划模块选择供机器人行进的新路径630。如先前讨论的，所选路径630可被称为最小成本路径。为简洁起见，图6E未解说未绘制地图的区域604。尽管如此，在该示例中，当机器人在第三位置626时，环境600的一部分可能仍然未被绘制地图。此外，当机器人随着该机器人沿路径630的不同点移动时接收到经更新的深度图和位置信息时，可以再次对新路径630进行更新。
图7解说了根据本公开的一方面的已绘制地图的环境700中的机器人702的示例。已绘制地图的环境700可以是基于深度测量和定位的3D已绘制地图的区域。即，如先前讨论的，3D地图可通过将深度图与定位信息整合来生成。可在机器人在手动模式(例如，经由用户输入)或自主模式中***作时获得深度图和定位信息。如图7中所示，基于深度测量，机器人702可确定某些体素被第一对象706和第二对象704占用。由此，规划模块被指定成：当在手动模式或自主模式中对机器人进行导航时，避开第一对象706和第二对象704。
在一种配置中，机器人702接收要沿第一轨迹708移动的用户输入。第一轨迹708可被指定成到达目标720。替换地，第一轨迹708可以不是朝向目标的。附加地或替换地，用户输入可指定速度。基于所生成的3D地图，机器人702知晓经由用户输入接收到的第一轨迹708将造成与第二对象704碰撞。
在一种配置中，规划模块覆写用户输入并规划第二轨迹722以避开第二对象704。可以随机地选择第二轨迹722以避开障碍物。此外，第二轨迹722可以不是朝向目标的。此外，第二轨迹722可使得机器人702的电机在第二轨迹722而非第一轨迹708上导航。附加地或替换地，覆写可调节机器人702的速度。如果环境是3D环境，则规划模块可仍然维持第一轨迹708。然而，规划模块可覆写所规划的海拔，以使得机器人702如果可能的话在第一对象上方或下方行进。
在另一配置中，机器人执行运动规划以避免碰撞。运动规划可包括随机地选择已绘制地图的区域700(例如，3D地图)中的安全点。例如，机器人可随机地选择候选点710作为替换的导航点。随机选择的候选点710可以是地图上被认为对于行进是安全的(例如，地图的无碰撞区域)的点。随机选择的候选点710可以是在用户指定路径(例如，第一轨迹708)的预定邻近度内的候选点。当然，本公开的各方面不限于选择在用户指定路径的预定邻近度内的候选点，因为也可选择该预定邻近度之外的点。
另外，如图7中所示，为了覆写用户输入以避免碰撞，机器人可确定随机选择的候选点710之间的一条或多条无碰撞路径712。为了避免碰撞，机器人可沿从机器人702的初始位置到随机选择的候选点710中的一个候选点的无碰撞路径中的一者行进。另外，在到达随机选择的候选点710中的一个候选点之后，机器人可选择至另一随机选择的候选点710的另一路径，直至机器人702到达目标720或者直至机器人702接收到新的用户输入。
此外，在一种配置中，在确定一条或多条无碰撞路径712之后，机器人可确定初始位置与目标720之间的最小成本路径。最小成本路径与其他路径相比可使用较少的资源，诸如燃气和/或时间。在图7的示例中，机器人选择最小成本路径714以避开从第一轨迹708预测的碰撞。最后，尽管图7中未示出，但假如当机器人正沿无碰撞路径712中的一者(诸如最小成本路径714)行进时突然出现新的障碍物，则机器人可改变所选路径。
图8是解说了采用处理***820的装置800(诸如机器人)的硬件实现的示例的示图。处理***820可用由总线824一般化地表示的总线架构来实现。取决于处理***820的具体应用和总体设计约束，总线824可包括任何数目的互连总线和桥接器。总线824将各种电路链接在一起，包括一个或多个处理器和/或硬件模块(由处理器804、通信模块808、位置模块806、传感器模块802、运动力模块810以及计算机可读介质814表示)。总线824还可链接各种其他电路，诸如定时源、***设备、稳压器和功率管理电路，这些电路在本领域中是众所周知的，且因此将不再进一步描述。
装置800包括耦合到收发机816的处理***820。收发机816耦合到一个或多个天线818。收发机816使得能够在传输介质上与各种其他装置通信。例如，收发机816可经由来自用户的传输来接收用户输入。处理***820包括耦合到计算机可读介质814的处理器804。处理器804负责一般性处理，包括执行存储在计算机可读介质814上的软件。软件在由处理器804执行时使处理***820执行针对任何特定装置描述的各种功能。计算机可读介质814还可被用于存储由处理器804在执行软件时操纵的数据。
传感器模块802可被用于经由第一传感器828和第二传感器826获得测量。第一传感器828可以是用于执行测量的立体视觉传感器，诸如立体景深相机。第二传感器826可以是相机和/或惯性测量单元。当然，本公开的各方面并不限于立体视觉传感器，因为还构想了用于执行测量的其他类型的传感器，诸如举例而言雷达传感器、热传感器、声纳传感器、和/或激光传感器。第一传感器828和第二传感器826的测量可由处理器804、通信模块808、位置模块806、运动力模块810、计算机可读介质814以及其它模块832、834中的一者或多者来处理。如先前讨论的，来自第一传感器828的测量可被用于获得深度测量。此外，来自第二传感器826的测量可被用于定位。例如，来自第二传感器826的测量可由位置模块806用于确定装置800的位置。此外，第一传感器828和第二传感器826的测量可由收发机816传送给外部设备。第一传感器828和第二传感器826不限于被限定在装置800的外部(如图8中所示)，第一传感器828和第二传感器826也可被限定在装置800内。
位置模块806可被用于确定装置800的位置。通信模块808可使用收发机816来向外部设备发送和接收信息，诸如装置800的位置。运动力模块810可被用于向装置800提供运动力。作为示例，运动力可经由旋转叶片812来提供。当然，本公开的各方面不限于经由旋转叶片812来提供运动力，并且还构想了用于提供运动力的任何其它类型的组件，诸如螺旋桨、轮子、履带、翼片和/或喷气引擎。
处理***820包括用于将深度图与定位信息整合以生成三维(3D)地图的整合模块832。处理***820还包括用于至少部分地基于3D地图、定位信息和/或用户输入来规划运动的规划模块834。在一种配置中，当预计(例如，预测)用户输入要造成碰撞时，运动规划覆写用户输入。这些模块可以是在处理器804中运行的软件模块，驻留/存储在计算机可读介质814中的软件模块，耦合到处理器804的一个或多个硬件模块，或者上述各项的某种组合。
图9解说了用于机器人的视觉导航的方法900。在框902中，在可任选配置中，机器人从多个相机确定深度图并从多个传感器获得定位信息。即，机器人可包括多个传感器模态。可在每一时步执行深度测量以确定多个点离机器人的距离。地图绘制模块可使用传感器(诸如立体视觉传感器)来获得深度图。由此，在一种可任选配置中，在框904处，机器人基于从立体相机获得的测量来生成深度图。
此外，机器人可从惯性传感器信息中获得定位信息。由此，在一种可任选配置中，在框906处，机器人从陀螺仪和/或加速度计单元获得惯性传感器信息。定位信息还可从传感器(诸如面朝下的传感器)获得。定位是指机器人在环境内的位置。在一种配置中，面朝下的传感器是声纳传感器和/或相机。
另外，在框908中，机器人将深度图与定位信息整合以生成3D地图。例如，机器人可在第一位置获得深度测量并且机器人将该测量与机器人的第一位置进行关联。另外，机器人可从第一位置移至第二位置并获得新的深度测量。此外，机器人可将该新的深度测量与第二位置进行关联。因此，当机器人移动通过环境时，基于深度测量和定位测量来生成地图(诸如3D地图)。
此外，在框910处，机器人基于3D地图、定位信息和/或用户输入来规划运动。在一种配置中，当为机器人指定目标时，机器人的运动规划器使用最新近状态估计作为起始状态并将目标作为目的地以生成用于到达目的地的规划。机器人可通过以闭环方式遵循计算的轨迹来执行该规划。在执行规划时，观测到可以使规划无效的新信息，在这种情形中规划器采用新的规划。附加地或替换地，当预测用户输入要造成碰撞时，运动规划可覆写用户输入。此外，当预测经由用户输入接收到的轨迹和/或速度要造成碰撞时，运动规划可覆写用户输入。
在可任选配置中，在框912中，当覆写用户输入时机器人选择新的轨迹和/或新的速度。例如，用户输入可指定速度和/或轨迹。基于所生成的3D地图，机器人知晓用户所选的速度和/或轨迹将造成与对象的碰撞。由此，在该配置中，规划模块覆写用户输入并规划新的轨迹和/或速度以避开第二对象。
图10解说了用于运动规划的更详细方法1000。在与图9的框910类似的框1002中，机器人基于3D地图、定位信息和/或用户输入来规划运动。在框1004中，当预测用户输入要造成碰撞时，运动规划覆写用户输入。另外，在可任选配置中，在框1006中，当预测经由用户输入接收到的轨迹和/或速度要造成碰撞时，运动规划覆写用户输入。
在另一可任选配置中，在框1008中，运动规划随机地选择3D地图中的多个无碰撞点并确定该多个无碰撞点中的两个或更多个无碰撞点之间的一条或多条无碰撞路径。另外，在可任选配置中，在框1010中，运动规划进一步基于该一条或多条无碰撞路径来确定到达目标的最小成本路径。此外，在确定最小成本路径之后，在框1012中，当沿最小成本路径看到障碍物时，运动规划可进一步更改最小成本路径。
在又一可任选配置中，在框1014中，运动规划随机地选择未绘制地图的区域中的多个预测的无碰撞点并确定该多个预测的无碰撞点中的两个或更多个预测的无碰撞点之间的一条或多条预测的无碰撞路径。
在一些方面，方法900和1000可由SOC 100(图1)、***200(图2)或装置800(图8)来执行。即，举例而言而非限定，方法900和1000的每个元素可由SOC 100、***200、装置800、或者一个或多个处理器(例如，CPU 102、局部处理单元202、处理器804)和/或其中所包括的其他组件来执行。
以上所描述的方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或(诸)软件组件和/或(诸)模块，包括但不限于电路、专用集成电路(ASIC)、或处理器。一般而言，在附图中有解说的操作的场合，那些操作可具有带相似编号的相应配对装置加功能组件。
如本文所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可包括演算、计算、处理、推导、研究、查找(例如，在表、数据库或其他数据结构中查找)、探知及诸如此类。另外，“确定”可包括接收(例如接收信息)、访问(例如访问存储器中的数据)、及类似动作。此外，“确定”可包括解析、选择、选取、确立及类似动作。
如本文中所使用的，引述一列项目“中的至少一个”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c、以及a-b-c。
结合本公开所描述的各种解说性逻辑框、模块、以及电路可用设计成执行本文中所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何市售的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如，DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其他此类配置。
结合本公开描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。软件模块可驻留在本领域所知的任何形式的存储介质中。可使用的存储介质的一些示例包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动盘、CD-ROM，等等。软件模块可包括单条指令、或许多条指令，且可分布在若干不同的代码段上，分布在不同的程序间以及跨多个存储介质分布。存储介质可被耦合到处理器以使得该处理器能从/向该存储介质读写信息。替换地，存储介质可以被整合到处理器。
本文所公开的方法包括用于达成所描述的方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。
所描述的功能可在硬件、软件、固件或其任何组合中实现。如果以硬件实现，则示例硬件配置可包括设备中的处理***。处理***可以用总线架构来实现。取决于处理***的具体应用和整体设计约束，总线可包括任何数目的互连总线和桥接器。总线可将包括处理器、机器可读介质、以及总线接口的各种电路链接在一起。总线接口可用于尤其将网络适配器等经由总线连接至处理***。网络适配器可用于实现信号处理功能。对于某些方面，用户接口(例如，按键板、显示器、鼠标、操纵杆，等等)也可以被连接到总线。总线还可以链接各种其他电路，诸如定时源、***设备、稳压器、功率管理电路以及类似电路，它们在本领域中是众所周知的，因此将不再进一步描述。
处理器可负责管理总线和一般处理，包括执行存储在机器可读介质上的软件。处理器可用一个或多个通用和/或专用处理器来实现。示例包括微处理器、微控制器、DSP处理器、以及其他能执行软件的电路***。软件应当被宽泛地解释成意指指令、数据、或其任何组合，无论是被称作软件、固件、中间件、微代码、硬件描述语言、或其他。作为示例，机器可读介质可包括随机存取存储器(RAM)、闪存存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦式可编程只读存储器(EPROM)、电可擦式可编程只读存储器(EEPROM)、寄存器、磁盘、光盘、硬驱动器、或者任何其他合适的存储介质、或其任何组合。机器可读介质可被实施在计算机程序产品中。该计算机程序产品可以包括包装材料。
在硬件实现中，机器可读介质可以是处理***中与处理器分开的一部分。然而，如本领域技术人员将容易领会的，机器可读介质或其任何部分可在处理***外部。作为示例，机器可读介质可包括传输线、由数据调制的载波、和/或与设备分开的计算机产品，所有这些都可由处理器通过总线接口来访问。替换地或补充地，机器可读介质或其任何部分可被集成到处理器中，诸如高速缓存和/或通用寄存器文件可能就是这种情形。虽然所讨论的各种组件可被描述为具有特定位置，诸如局部组件，但它们也可按各种方式来配置，诸如某些组件被配置成分布式计算***的一部分。
处理***可以被配置为通用处理***，该通用处理***具有一个或多个提供处理器功能性的微处理器、以及提供机器可读介质中的至少一部分的外部存储器，它们都通过外部总线架构与其他支持电路***链接在一起。替换地，该处理***可以包括一个或多个神经元形态处理器以用于实现本文中所描述的神经元模型和神经***模型。作为另一替换方案，处理***可以用带有集成在单块芯片中的处理器、总线接口、用户接口、支持电路***、和至少一部分机器可读介质的专用集成电路(ASIC)来实现，或者用一个或多个现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、状态机、门控逻辑、分立硬件组件、或者任何其他合适的电路***、或者能执行本公开通篇所描述的各种功能性的电路的任何组合来实现。取决于具体应用和加诸于整体***上的总设计约束，本领域技术人员将认识到如何最佳地实现关于处理***所描述的功能性。
机器可读介质可包括数个软件模块。这些软件模块包括当由处理器执行时使处理***执行各种功能的指令。这些软件模块可包括传送模块和接收模块。每个软件模块可以驻留在单个存储设备中或者跨多个存储设备分布。作为示例，当触发事件发生时，可以从硬驱动器中将软件模块加载到RAM中。在软件模块执行期间，处理器可以将一些指令加载到高速缓存中以提高访问速度。可随后将一个或多个高速缓存行加载到通用寄存器文件中以供处理器执行。在以下述及软件模块的功能性时，将理解此类功能性是在处理器执行来自该软件模块的指令时由该处理器来实现的。此外，应领会，本公开的各方面产生对处理器、计算机、机器或实现此类方面的其它***的机能的改进。
如果以软件实现，则各功能可作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，这些介质包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能用于携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。另外，任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或无线技术(诸如红外(IR)、无线电、以及微波)从web网站、服务器、或其他远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外、无线电、以及微波)就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘、和
Figure GDA0002881950880000191
碟，其中盘(disk)常常磁性地再现数据，而碟(disc)用激光来光学地再现数据。因此，在一些方面，计算机可读介质可包括非瞬态计算机可读介质(例如，有形介质)。另外，对于其他方面，计算机可读介质可包括瞬态计算机可读介质(例如，信号)。上述的组合应当也被包括在计算机可读介质的范围内。
因此，某些方面可包括用于执行本文中给出的操作的计算机程序产品。例如，此类计算机程序产品可包括其上存储(和/或编码)有指令的计算机可读介质，这些指令能由一个或多个处理器执行以执行本文中所描述的操作。对于某些方面，计算机程序产品可包括包装材料。
此外，应当领会，用于执行本文中所描述的方法和技术的模块和/或其它恰适装置能由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如，此类设备能被耦合至服务器以促成用于执行本文中所描述的方法的装置的转移。替换地，本文中所描述的各种方法能经由存储装置(例如，RAM、ROM、诸如压缩碟(CD)或软盘等物理存储介质等)来提供，以使得一旦将该存储装置耦合至或提供给用户终端和/或基站，该设备就能获得各种方法。此外，可利用适于向设备提供本文中所描述的方法和技术的任何其他合适的技术。
将理解，权利要求并不被限定于以上所解说的精确配置和组件。可在以上所描述的方法和装置的布局、操作和细节上作出各种改动、更换和变形而不会脱离权利要求的范围。

Claims (40)

1.一种用于机器人的视觉导航的方法，包括：
至少部分地基于从立体相机模块获得的测量来生成深度图；
将所述深度图与定位信息整合以生成三维3D地图；
基于所述3D地图进行使所述机器人到达未绘制地图区域中的目标的运动规划，所述运动规划基于根据所述3D地图中未被占用位置处的多个第一候选点以及所述未绘制地图区域中多个第二候选点来确定的多条路径；以及
确定所述3D地图中所述多个第一候选点中的至少之一与所述未绘制地图区域中所述多个第二候选点中之一之间的至少一条预测的无碰撞路径。
2.如权利要求1所述的方法，其进一步包括：
从多个传感器获得所述定位信息。
3.如权利要求2所述的方法，其中，所述定位信息包括图像信息、惯性传感器信息或其组合中的至少一者。
4.如权利要求3所述的方法，其进一步包括：
从陀螺仪、加速度计或其组合中的至少一者获得所述惯性传感器信息。
5.如权利要求1所述的方法，其进一步包括：
使所述机器人沿着从所述至少一条预测的无碰撞路径中选择的路径移动。
6.如权利要求5所述的方法，其进一步包括基于更新的深度图和位置信息来更改所选路径。
7.如权利要求1所述的方法，其进一步包括：
接收对所述机器人进行导航的用户输入，以及
在经由所述用户输入接收到的轨迹、速度或其组合中的至少一者经预测会造成碰撞的情形下覆写所述用户输入。
8.如权利要求7所述的方法，进一步包括：
在覆写所述用户输入时，选择新轨迹、新速度或其组合中的至少一项。
9.如权利要求5所述的方法，其中，所选路径是最小成本路径。
10.如权利要求9所述的方法，其中，所述运动规划进一步包括：
当沿所述最小成本路径看到障碍物时，更改所述最小成本路径。
11.一种装置，包括：
存储器；以及
耦合到所述存储器的至少一个处理器，所述至少一个处理器被配置成：
至少部分地基于从立体相机模块获得的测量来生成深度图；
将所述深度图与定位信息整合以生成三维3D地图；
基于所述3D地图进行使机器人到达未绘制地图区域中的目标的运动规划，所述运动规划基于根据所述3D地图中未被占用位置处的多个第一候选点以及所述未绘制地图区域中多个第二候选点来确定的多条路径；以及
确定所述3D地图中所述多个第一候选点中的至少之一与所述未绘制地图区域中所述多个第二候选点中之一之间的至少一条预测的无碰撞路径。
12.如权利要求11所述的装置，其中，所述至少一个处理器被进一步配置成：
从多个传感器获得所述定位信息。
13.如权利要求12所述的装置，其中，所述定位信息包括图像信息、惯性传感器信息或其组合中的至少一者。
14.如权利要求13所述的装置，其中，所述至少一个处理器被进一步配置成：
从陀螺仪、加速度计或其组合中的至少一者获得所述惯性传感器信息。
15.如权利要求11所述的装置，其中，所述至少一个处理器被进一步配置成：
使所述机器人沿着从所述至少一条预测的无碰撞路径中选择的路径移动。
16.如权利要求15所述的装置，其中，所述至少一个处理器被进一步配置成：
基于更新的深度图和位置信息来更改所选路径。
17.如权利要求11所述的装置，其中，所述至少一个处理器被进一步配置成：
接收对所述机器人进行导航的用户输入，以及
在经由所述用户输入接收到的轨迹、速度或其组合中的至少一者经预测会造成碰撞的情形下覆写所述用户输入。
18.如权利要求17所述的装置，其中，所述至少一个处理器被进一步配置成：
在覆写所述用户输入时，选择新轨迹、新速度或其组合中的至少一项。
19.如权利要求15所述的装置，其中，所选路径是最小成本路径。
20.如权利要求19所述的装置，其中，所述至少一个处理器被进一步配置成：
当沿所述最小成本路径看到障碍物时，更改所述最小成本路径。
21.一种设备，包括：
用于至少部分地基于从立体相机模块获得的测量来生成深度图的装置；
用于将所述深度图与定位信息整合以生成三维3D地图的装置；
用于基于所述3D地图进行使机器人到达未绘制地图区域中的目标的运动规划的装置，所述运动规划基于根据所述3D地图中未被占用位置处的多个第一候选点以及所述未绘制地图区域中多个第二候选点来确定的多条路径；以及
用于确定所述3D地图中所述多个第一候选点中的至少之一与所述未绘制地图区域中所述多个第二候选点中之一之间的至少一条预测的无碰撞路径的装置。
22.如权利要求21所述的设备，其进一步包括：
用于从多个传感器获得所述定位信息的装置。
23.如权利要求22所述的设备，其中，所述定位信息包括图像信息、惯性传感器信息或其组合中的至少一者。
24.如权利要求23所述的设备，其进一步包括：
用于从陀螺仪、加速度计或其组合中的至少一者获得所述惯性传感器信息的装置。
25.如权利要求21所述的设备，其进一步包括：
用于使所述机器人沿着从所述至少一条预测的无碰撞路径中选择的路径移动的装置。
26.如权利要求25所述的设备，其进一步包括：
用于基于更新的深度图和位置信息更改所选路径的装置。
27.如权利要求21所述的设备，其进一步包括：
用于接收对所述机器人进行导航的用户输入的装置；以及
用于在经由所述用户输入接收到的轨迹、速度或其组合中的至少一者经预测会造成碰撞的情形下覆写所述用户输入的装置。
28.如权利要求27所述的设备，其进一步包括：
用于在覆写所述用户输入时，选择新轨迹、新速度或其组合中的至少一项的装置。
29.如权利要求25所述的设备，其中，所选路径是最小成本路径。
30.如权利要求29所述的设备，其中，用于进行运动规划的装置进一步包括：
用于当沿所述最小成本路径看到障碍物时更改所述最小成本路径的装置。
31.一种其上记录有用于向机器人提供视觉导航的指令的非瞬态计算机可读介质，所述指令在由处理器执行时使得所述处理器：
至少部分地基于来自立体相机模块的测量来生成深度图；
将所述深度图与定位信息整合以生成三维3D地图；
基于所述3D地图进行使所述机器人到达未绘制地图区域中的目标的运动规划，所述运动规划基于根据所述3D地图中未被占用位置处的多个第一候选点以及所述未绘制地图区域中多个第二候选点来确定的多条路径；以及
确定所述3D地图中所述多个第一候选点中的至少之一与所述未绘制地图区域中所述多个第二候选点中之一之间的至少一条预测的无碰撞路径。
32.如权利要求31所述的非瞬态计算机可读介质，其进一步包括在由所述处理器执行时使得所述处理器执行如下的指令：
从多个传感器获得所述定位信息。
33.如权利要求32所述的非瞬态计算机可读介质，其中，所述定位信息包括图像信息、惯性传感器信息或其组合中的至少一者。
34.如权利要求33所述的非瞬态计算机可读介质，其进一步包括在由所述处理器执行时使得所述处理器：
从陀螺仪、加速度计或其组合中的至少一者获得所述惯性传感器信息。
35.如权利要求31所述的非瞬态计算机可读介质，其进一步包括在由所述处理器执行时使得所述处理器执行如下的指令：
使所述机器人沿着从所述至少一条预测的无碰撞路径中选择的路径移动。
36.如权利要求35所述的非瞬态计算机可读介质，其进一步包括在由所述处理器执行时使得所述处理器执行如下的指令：
基于更新的深度图和位置信息来更改所选路径。
37.如权利要求31所述的非瞬态计算机可读介质，其进一步包括在由所述处理器执行时使得所述处理器执行如下的指令：
接收对所述机器人进行导航的用户输入，以及
在经由所述用户输入接收到的轨迹、速度或其组合中的至少一者经预测会造成碰撞的情形下覆写所述用户输入。
38.如权利要求37所述的非瞬态计算机可读介质，其中，在覆写所述用户输入时，新轨迹、新速度或其组合中的至少一项被选择。
39.如权利要求35所述的非瞬态计算机可读介质，其中，所选路径是最小成本路径。
40.如权利要求39所述的非瞬态计算机可读介质，其进一步包括在由所述处理器执行时使得所述处理器执行如下的指令：
当沿所述最小成本路径看到障碍物时更改所述最小成本路径。
CN201680073157.4A 2015-12-15 2016-10-27 自主视觉导航 Active CN108475059B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562267886P 2015-12-15 2015-12-15
US62/267,886 2015-12-15
US15/249,250 US10705528B2 (en) 2015-12-15 2016-08-26 Autonomous visual navigation
US15/249,250 2016-08-26
PCT/US2016/059171 WO2017105643A1 (en) 2015-12-15 2016-10-27 Autonomous visual navigation

Publications (2)

Publication Number Publication Date
CN108475059A CN108475059A (zh) 2018-08-31
CN108475059B true CN108475059B (zh) 2021-11-09

Family

ID=59020531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680073157.4A Active CN108475059B (zh) 2015-12-15 2016-10-27 自主视觉导航

Country Status (9)

Country Link
US (1) US10705528B2 (zh)
EP (1) EP3391166B1 (zh)
JP (1) JP6882296B2 (zh)
KR (1) KR102226350B1 (zh)
CN (1) CN108475059B (zh)
BR (1) BR112018011944A2 (zh)
CA (1) CA3004262A1 (zh)
TW (1) TW201728876A (zh)
WO (1) WO2017105643A1 (zh)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015072002A1 (ja) * 2013-11-15 2015-05-21 株式会社日立製作所 移動ロボットシステム
US10372968B2 (en) * 2016-01-22 2019-08-06 Qualcomm Incorporated Object-focused active three-dimensional reconstruction
ES2903532T3 (es) 2016-06-10 2022-04-04 Univ Duke Planificación de movimiento para vehículos autónomos y procesadores reconfigurables de planificación de movimiento
US11726485B2 (en) 2016-09-05 2023-08-15 Kubota Corporation Autonomous work vehicle travel system, travel route managing device, travel route generating device, and travel route determining device
US10377484B2 (en) 2016-09-30 2019-08-13 Sony Interactive Entertainment Inc. UAV positional anchors
US10410320B2 (en) 2016-09-30 2019-09-10 Sony Interactive Entertainment Inc. Course profiling and sharing
US10850838B2 (en) 2016-09-30 2020-12-01 Sony Interactive Entertainment Inc. UAV battery form factor and insertion/ejection methodologies
US10416669B2 (en) 2016-09-30 2019-09-17 Sony Interactive Entertainment Inc. Mechanical effects by way of software or real world engagement
US10357709B2 (en) 2016-09-30 2019-07-23 Sony Interactive Entertainment Inc. Unmanned aerial vehicle movement via environmental airflow
US10336469B2 (en) 2016-09-30 2019-07-02 Sony Interactive Entertainment Inc. Unmanned aerial vehicle movement via environmental interactions
US10679511B2 (en) * 2016-09-30 2020-06-09 Sony Interactive Entertainment Inc. Collision detection and avoidance
WO2018101351A1 (ja) * 2016-12-02 2018-06-07 株式会社クボタ 走行経路管理システム及び走行経路決定装置
US10846541B2 (en) * 2017-01-04 2020-11-24 Qualcomm Incorporated Systems and methods for classifying road features
WO2018191818A1 (en) * 2017-04-18 2018-10-25 Clearpath Robotics Inc. Stand-alone self-driving material-transport vehicle
US10303180B1 (en) * 2017-04-20 2019-05-28 X Development Llc Generating and utilizing non-uniform volume measures for voxels in robotics applications
US10949798B2 (en) * 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
WO2018213931A1 (en) 2017-05-25 2018-11-29 Clearpath Robotics Inc. Systems and methods for process tending with a robot arm
US10578453B2 (en) * 2017-07-14 2020-03-03 Rosemount Aerospace Inc. Render-based trajectory planning
WO2019041043A1 (en) 2017-08-31 2019-03-07 Clearpath Robotics Inc. SYSTEMS AND METHODS FOR GENERATING A MISSION FOR A SELF-CONTAINING MATERIAL TRANSPORT VEHICLE
WO2019061062A1 (en) * 2017-09-27 2019-04-04 Intel Corporation AUTONOMOUS ROBOTS AND METHODS OF OPERATION
US10606270B2 (en) 2017-10-18 2020-03-31 Luminar Technologies, Inc. Controlling an autonomous vehicle using cost maps
US10366531B2 (en) * 2017-10-24 2019-07-30 Lowe's Companies, Inc. Robot motion planning for photogrammetry
US9990767B1 (en) 2017-10-24 2018-06-05 Lowe's Companies, Inc. Generation of 3D models using stochastic shape distribution
WO2019084686A1 (en) 2017-10-31 2019-05-09 Clearpath Robotics Inc. Systems and methods for operating robotic equipment in controlled zones
WO2019090417A1 (en) 2017-11-10 2019-05-16 Clearpath Robotics Inc. Systems and methods for updating an electronic map
US11073828B2 (en) * 2017-12-08 2021-07-27 Samsung Electronics Co., Ltd. Compression of semantic information for task and motion planning
CN108242102B (zh) * 2017-12-28 2020-04-24 纳恩博（北京）科技有限公司 信息处理方法及装置、电子设备及存储介质
WO2019139815A1 (en) 2018-01-12 2019-07-18 Duke University Apparatus, method and article to facilitate motion planning of an autonomous vehicle in an environment having dynamic objects
TWI822729B (zh) * 2018-02-06 2023-11-21 美商即時機器人股份有限公司 用於儲存一離散環境於一或多個處理器之一機器人之運動規劃及其改良操作之方法及設備
EP3769174B1 (en) 2018-03-21 2022-07-06 Realtime Robotics, Inc. Motion planning of a robot for various environments and tasks and improved operation of same
CN108955682A (zh) * 2018-04-03 2018-12-07 哈尔滨工业大学深圳研究生院 手机室内定位导航方法
US10802492B2 (en) * 2018-04-05 2020-10-13 Ford Global Technologies, Llc Vehicle path identification
US11407111B2 (en) * 2018-06-27 2022-08-09 Abb Schweiz Ag Method and system to generate a 3D model for a robot scene
WO2020056295A2 (en) 2018-09-13 2020-03-19 The Charles Stark Draper Laboratory, Inc. Controlling robot torque and velocity based on context
CN109582032B (zh) * 2018-10-11 2021-10-12 天津大学 多旋翼无人机在复杂环境下的快速实时避障路径选择方法
US11192253B2 (en) 2018-10-12 2021-12-07 Toyota Research Institute, Inc. Systems and methods for conditional robotic teleoperation
JP6508691B1 (ja) * 2018-10-15 2019-05-08 株式会社Ｍｕｊｉｎ 制御装置、作業ロボット、プログラム、及び、制御方法
JP7241517B2 (ja) * 2018-12-04 2023-03-17 三菱電機株式会社 航法装置、航法パラメータ計算方法およびプログラム
TWI672206B (zh) * 2018-12-19 2019-09-21 財團法人工業技術研究院 機械手臂非接觸式工具中心點校正裝置及其方法以及具有校正功能的機械手臂系統
US10948300B2 (en) * 2018-12-27 2021-03-16 Beijing Voyager Technology Co., Ltd. Systems and methods for path determination
KR102198187B1 (ko) * 2018-12-28 2021-01-04 엘지전자 주식회사 이동 로봇
EP3924868A4 (en) * 2019-02-11 2022-11-30 643AI Ltd. SYSTEMS AND PROCEDURES FOR MANAGEMENT OF MULTIPLE AUTONOMOUS VEHICLES
CN109814574B (zh) * 2019-02-22 2022-07-19 百度在线网络技术（北京）有限公司 自动驾驶车道汇合处的速度规划方法、装置和存储介质
CN109685048A (zh) * 2019-03-04 2019-04-26 上海卓易科技股份有限公司 人体测量方法、装置、终端及存储介质
WO2020206071A1 (en) 2019-04-02 2020-10-08 Brain Corporation Systems, apparatuses, and methods for cost evaluation and motion planning for robotic devices
WO2020214723A1 (en) 2019-04-17 2020-10-22 Real Time Robotics, Inc. Motion planning graph generation user interface, systems, methods and articles
JP7479064B2 (ja) 2019-06-03 2024-05-08 リアルタイム ロボティクス， インコーポレーテッド 動的障害物を有する環境における動作計画を容易にする装置、方法及び物品
JP7124797B2 (ja) * 2019-06-28 2022-08-24 トヨタ自動車株式会社 機械学習方法および移動ロボット
WO2021006134A1 (ja) * 2019-07-08 2021-01-14 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよびカメラモジュール
US11875678B2 (en) * 2019-07-19 2024-01-16 Zoox, Inc. Unstructured vehicle path planner
WO2021041223A1 (en) 2019-08-23 2021-03-04 Realtime Robotics, Inc. Motion planning for robots to optimize velocity while maintaining limits on acceleration and jerk
US11233937B1 (en) * 2019-09-26 2022-01-25 Amazon Technologies, Inc. Autonomously motile device with image capture
CN112818727A (zh) * 2019-11-18 2021-05-18 华为技术有限公司 一种道路约束确定方法及装置
TW202146189A (zh) 2020-01-22 2021-12-16 美商即時機器人股份有限公司 於多機器人操作環境中之機器人之建置
CN111650931B (zh) * 2020-04-26 2023-03-14 广东博智林机器人有限公司 多个移动设备的路径确定的方法、装置与存储介质
US20210346557A1 (en) * 2020-05-08 2021-11-11 Robust AI, Inc. Robotic social interaction
US20220034669A1 (en) * 2020-07-28 2022-02-03 Bae Systems Information And Electronic Systems Integration Inc. Navigation architecture for contested environments
CN112454367B (zh) * 2020-12-10 2022-04-26 北京市商汤科技开发有限公司 一种轨迹规划方法、装置以及计算机存储介质
CN112797986B (zh) * 2021-02-07 2023-03-31 江西省智能产业技术创新研究院 基于无人自主技术的智能物流机器人定位***及方法
CN114742960A (zh) * 2021-02-08 2022-07-12 追觅创新科技(苏州)有限公司 目标对象的躲避方法及装置、存储介质、电子装置
CN112904366B (zh) * 2021-03-19 2023-06-16 北京小狗吸尘器集团股份有限公司 应用于扫地机的重定位方法、装置、电子设备和介质
KR102551275B1 (ko) * 2021-05-14 2023-07-04 (주)로보티즈 자율 주행 로봇을 위한 거리 변환 지도 기반의 반응형 네비게이션
US20230031289A1 (en) * 2021-07-30 2023-02-02 Toyota Research Institute, Inc. Monocular 2d semantic keypoint detection and tracking
US11580690B1 (en) 2021-08-31 2023-02-14 Raytheon Company Horizon-based navigation
WO2023066772A1 (en) * 2021-10-20 2023-04-27 Syddansk Universitet A method and a system for collision avoidance of a 3d robotic concrete printer
CN114384939B (zh) * 2022-03-24 2022-07-29 江苏深瑞光学技术有限公司 一种微型水下探测机器人自主导航***
CN116342827B (zh) * 2023-05-26 2023-08-08 厦门精图信息技术有限公司 一种地图元素三维呈现***及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257200A (ja) * 2006-03-22 2007-10-04 Toyota Motor Corp 移動体及びその制御方法
CN101122800A (zh) * 2007-08-24 2008-02-13 北京航空航天大学 一种复合式视觉导航方法与装置
JP2009193240A (ja) * 2008-02-13 2009-08-27 Toyota Motor Corp 移動ロボット及び環境地図の生成方法
JP2010250536A (ja) * 2009-04-15 2010-11-04 Toyota Motor Corp 移動体及びその制御方法
CN102866706A (zh) * 2012-09-13 2013-01-09 深圳市银星智能科技股份有限公司 一种采用智能手机导航的清扫机器人及其导航清扫方法
CN104714547A (zh) * 2013-12-12 2015-06-17 赫克斯冈技术中心 带有相机的自主园林车辆
CN104865965A (zh) * 2015-05-20 2015-08-26 深圳市锐曼智能装备有限公司 机器人用深度摄像头与超声波结合的避障控制方法及***
CN204695100U (zh) * 2015-05-20 2015-10-07 深圳市锐曼智能装备有限公司 机器人用深度摄像头与超声波结合的避障控制装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6667592B2 (en) * 2001-08-13 2003-12-23 Intellibot, L.L.C. Mapped robot system
US8577538B2 (en) * 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
US8509965B2 (en) * 2006-12-12 2013-08-13 American Gnc Corporation Integrated collision avoidance system for air vehicle
JP4661838B2 (ja) * 2007-07-18 2011-03-30 トヨタ自動車株式会社 経路計画装置及び方法、コスト評価装置、並びに移動体
US8229618B2 (en) 2008-09-11 2012-07-24 Deere & Company Leader-follower fully autonomous vehicle with operator on side
KR101667032B1 (ko) * 2009-10-30 2016-10-17 삼성전자 주식회사 로봇의 경로 계획 장치 및 그 방법
GB2494807B (en) 2010-05-12 2015-11-18 Irobot Corp System and method to remotely control a vehicle
US9213905B2 (en) 2010-10-25 2015-12-15 Trimble Navigation Limited Automatic obstacle location mapping
US8761990B2 (en) * 2011-03-30 2014-06-24 Microsoft Corporation Semi-autonomous mobile device driving with obstacle avoidance
KR101339480B1 (ko) * 2012-12-14 2013-12-10 고려대학교 산학협력단 Ｒｒｔ 기반의 듀얼 트리 구조를 이용한 이동 로봇의 궤적 계획 방법
US9674507B2 (en) 2013-04-30 2017-06-06 Qualcomm Incorporated Monocular visual SLAM with general and panorama camera movements
US20140355869A1 (en) * 2013-06-03 2014-12-04 Elbit Systems Ltd. System and method for preventing aircrafts from colliding with objects on the ground
DE102014226084A1 (de) * 2014-12-16 2016-06-16 Robert Bosch Gmbh Verfahren zur Kartierung einer Bearbeitungsfläche für autonome Roboterfahrzeuge
US10341633B2 (en) * 2015-11-20 2019-07-02 Qualcomm Incorporated Systems and methods for correcting erroneous depth information

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257200A (ja) * 2006-03-22 2007-10-04 Toyota Motor Corp 移動体及びその制御方法
CN101122800A (zh) * 2007-08-24 2008-02-13 北京航空航天大学 一种复合式视觉导航方法与装置
JP2009193240A (ja) * 2008-02-13 2009-08-27 Toyota Motor Corp 移動ロボット及び環境地図の生成方法
JP2010250536A (ja) * 2009-04-15 2010-11-04 Toyota Motor Corp 移動体及びその制御方法
CN102866706A (zh) * 2012-09-13 2013-01-09 深圳市银星智能科技股份有限公司 一种采用智能手机导航的清扫机器人及其导航清扫方法
CN104714547A (zh) * 2013-12-12 2015-06-17 赫克斯冈技术中心 带有相机的自主园林车辆
CN104865965A (zh) * 2015-05-20 2015-08-26 深圳市锐曼智能装备有限公司 机器人用深度摄像头与超声波结合的避障控制方法及***
CN204695100U (zh) * 2015-05-20 2015-10-07 深圳市锐曼智能装备有限公司 机器人用深度摄像头与超声波结合的避障控制装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Real-Time Navigation in 3D Environments Based on Depth Camera Data;Daniel Maier 等;《2012 12th IEEE-RAS International Conference on Humanoid Robots》;20121201;第692-697页 *

Also Published As

Publication number Publication date
EP3391166B1 (en) 2020-02-19
CA3004262A1 (en) 2017-06-22
TW201728876A (zh) 2017-08-16
US10705528B2 (en) 2020-07-07
JP6882296B2 (ja) 2021-06-02
BR112018011944A2 (pt) 2018-11-27
EP3391166A1 (en) 2018-10-24
KR20180093934A (ko) 2018-08-22
KR102226350B1 (ko) 2021-03-12
CN108475059A (zh) 2018-08-31
WO2017105643A1 (en) 2017-06-22
US20170168488A1 (en) 2017-06-15
JP2019500693A (ja) 2019-01-10

Similar Documents

Publication Publication Date Title
CN108475059B (zh) 自主视觉导航
US11592845B2 (en) Image space motion planning of an autonomous vehicle
US20220234733A1 (en) Aerial Vehicle Smart Landing
CN108007452B (zh) 根据障碍物更新环境地图的方法、装置及机器人
WO2018058442A1 (zh) 路径规划的方法、装置、飞行控制***、全方位避障***与无人机
WO2017144350A1 (en) Method for motion planning for autonomous moving objects
JP6527726B2 (ja) 自律移動ロボット
CN111208814B (zh) 用于自动车辆的、利用动态模型的、基于记忆的最优运动规划
JPWO2019098082A1 (ja) 制御装置、および制御方法、プログラム、並びに移動体
JPWO2017221859A1 (ja) 移動体、移動体制御システム、移動体制御方法、インターフェース装置、およびプログラム
JP7032062B2 (ja) 点群データ処理装置、移動ロボット、移動ロボットシステム、および点群データ処理方法
WO2023129890A1 (en) Integrated trajectory forecasting, error estimation, and vehicle handling when detecting an observed scenario
Yigit et al. Visual attitude stabilization of a unmanned helicopter in unknown environments with an embedded single-board computer
US20230150543A1 (en) Systems and methods for estimating cuboid headings based on heading estimations generated using different cuboid defining techniques
US20240228035A1 (en) Image Space Motion Planning Of An Autonomous Vehicle
US20240192369A1 (en) Systems and methods for infant track association with radar detections for velocity transfer
US20230415736A1 (en) Systems and methods for controlling longitudinal acceleration based on lateral objects
US20230415739A1 (en) Systems and methods for controlling longitudinal acceleration based on lateral objects
US20230399026A1 (en) State Identification For Road Actors With Uncertain Measurements Based On Compliant Priors
US20230237793A1 (en) False track mitigation in object detection systems
Zhuang et al. A Robust Robot System via Multi-sensor Fusion Localization and Optimized Path Planning
JP2023102099A (ja) 移動体制御方法、移動体制御システム、及び移動体制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant