CN111094893A - 机器人式运载工具的图像传感器初始化 - Google Patents

机器人式运载工具的图像传感器初始化 Download PDF

Info

Publication number
CN111094893A
CN111094893A CN201780093478.5A CN201780093478A CN111094893A CN 111094893 A CN111094893 A CN 111094893A CN 201780093478 A CN201780093478 A CN 201780093478A CN 111094893 A CN111094893 A CN 111094893A
Authority
CN
China
Prior art keywords
image
processor
robotic vehicle
image sensor
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780093478.5A
Other languages
English (en)
Inventor
刘晓辉
Y·姜
L·徐
任江涛
Y·邹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN111094893A publication Critical patent/CN111094893A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

各个实施例包括用于初始化机器人式运载工具的图像传感器的处理设备和方法。在一些实施例中，机器人式运载工具的处理器可以从目标图像的经捕获的图像中提取第一特征，可以从目标图像的预定义的图像金字塔中提取第二特征，可以将第一特征和第二特征进行匹配，以及可以基于经匹配的特征和目标图像的已知尺寸来估计图像传感器姿态。在一些实施例中，处理器可以基于经匹配的特征以及机器人式运载工具的平移和/或旋转来估计图像传感器姿态。在一些实施例中，处理器可以基于一个或多个图像传感器姿态来确定用于机器人式运载工具的坐标系。

Description

机器人式运载工具的图像传感器初始化
背景技术
正在开发机器人式运载工具以用于广泛的应用。机器人式运载工具可以被配备有能够捕获图像、图像序列或视频的相机。一些机器人式运载工具可以被配备有单目图像传感器，诸如单目相机。
机器人式运载工具可以执行同时定位和地图构建(SLAM)，以构造和更新未知环境的地图，同时跟踪机器人式运载工具在环境内的位置。机器人式运载工具可以使用其图像传感器设备来收集对SLAM有用的数据。然而，对于配备有单目图像传感器的机器人式运载工具，图像传感器可能无法提供足够的信息以使机器人式运载工具能够确定图像传感器位置和方向(姿态)两者以及环境的地图点。此外，对于配备有单目图像传感器的机器人式运载工具，图像传感器的初始化至关重要。单目图像传感器初始化中的错误可能会导致机器人式运载工具的坐标系中的无法纠正的偏差或错误。
发明内容
各个实施例包括可以在机器人式运载工具的处理器上实现的用于机器人式运载工具的图像传感器的图像传感器初始化的方法。
各个实施例可以包括：利用机器人式运载工具的图像传感器来捕获目标图像的图像；从所捕获的图像中提取第一特征；从目标图像的预定义的图像金字塔中提取第二特征；将一个或多个提取出的第一特征与一个或多个提取出的第二特征进行匹配；基于经匹配的特征和目标图像的已知尺寸来估计图像传感器姿态；确定图像传感器姿态是否在一个或多个门限内；以及响应于确定图像传感器姿态不在该一个或多个门限内，将机器人式运载工具操纵到从其处捕获目标图像的另一图像的另一位置。
在一些实施例中，图像传感器初始化可以包括基于单目相机的同时定位和地图构建(SLAM)初始化。一些实施例还可以包括：响应于确定图像传感器姿态在该一个或多个门限内，确定图像传感器初始化成功。
在一些实施例中，将机器人式运载工具操纵到从其处捕获目标图像的另一图像的另一位置可以包括：响应于确定图像传感器姿态不在该一个或多个门限内，计算或确定优选相对姿态；确定与该优选相对姿态相关联的位置；以及将机器人式运载工具操纵到所确定的位置。
在一些实施例中，将机器人式运载工具操纵到从其处捕获目标图像的另一图像的另一位置可以包括：将机器人式运载工具操纵到一个或多个其它位置；从其它位置中的每个位置捕获目标图像的另一图像；从另一图像中提取第三特征；将一个或多个提取出的第三特征与一个或多个提取出的第二特征进行匹配；以及基于经匹配的第二特征和第三特征以及目标图像的已知尺寸来估计第二图像传感器姿态。
各个实施例可以包括：利用机器人式运载工具的图像传感器来捕获图像；从所捕获的图像中提取第一特征；确定提取出的特征的数量是否超过门限特征数量；响应于确定提取出的特征数量超过门限特征数量，将机器人式运载工具操纵到另一位置；获得机器人式运载工具的平移和机器人式运载工具的旋转中的一项或多项；确定机器人式运载工具的角速度是否小于角速度门限；将一个或多个提取出的第一特征与从经捕获的第二图像中提取的一个或多个第二特征进行匹配；以及基于经匹配的特征以及机器人式运载工具的平移和机器人式运载工具的旋转中的一项来估计图像传感器姿态。
在一些实施例中，将一个或多个提取出的第一特征与从经捕获的第二图像中提取的一个或多个第二特征进行匹配可以包括：将机器人式运载工具操纵到另一位置；从另一位置捕获下一图像并且处理该下一图像；从该下一图像中提取该第二特征；以及将来自第一图像的第一特征与来自该下一图像的该第二特征进行匹配。
一些实施例还可以包括：估计在所述图像中的对象的已知物理大小与基于所述图像的所述对象的估计大小之间的比例。在一些实施例中，基于图像的对象的估计大小可以是基于一个或多个提取出的第一特征与一个或多个第二特征的匹配的。一些实施例还可以包括：响应于确定第二图像传感器姿态在该一个或多个门限内，确定图像传感器初始化成功。
各个实施例可以包括：利用机器人式运载工具的图像传感器在第一位置处捕获第一图像；从所捕获的第一图像中提取第一特征；从预定义的图像金字塔中提取第二特征；将一个或多个提取出的第一特征与一个或多个提取出的第二特征进行匹配；基于经匹配的第一特征和第二特征以及目标图像的已知尺寸来估计第一图像传感器姿态；将机器人式运载工具操纵到第二位置并且从第二位置捕获第二图像；从所捕获的第二图像中提取第三特征；将机器人式运载工具操纵到第三位置并且从第三位置捕获第三图像；从所捕获的第三图像中提取第四特征；将一个或多个提取出的第三特征与一个或多个提取出的第四特征进行匹配；基于所匹配的第三特征和第四特征来估计第二图像传感器姿态；以及基于图像传感器姿态和第二图像传感器姿态来确定用于机器人式运载工具的坐标系。在一些实施例中，第一图像可以是目标图像的图像，并且第二特征可以是从预定义的图像金字塔中提取的。
一些实施例还可以包括：基于所述机器人式运载工具的平移和机器人式运载工具的旋转来确定机器人式运载工具已经返回到第一位置；利用机器人式运载工具的图像传感器在第一位置处捕获第四图像；从第四图像中提取第五特征；将一个或多个提取出的第五特征与一个或多个提取出的第二特征进行匹配；以及基于经匹配的第五特征和第二特征来估计第三图像传感器姿态，其中，确定用于机器人式运载工具的坐标系可以包括：基于第一图像传感器姿态、第二图像传感器姿态和第三图像传感器姿态来确定用于机器人式运载工具的坐标系。
在一些实施例中，基于图像传感器姿态和第二图像传感器姿态来确定用于机器人式运载工具的坐标系可以包括：使用第一图像传感器姿态和第二图像传感器姿态来执行捆绑调整。在一些实施例中，使用图像传感器姿态和另一图像传感器姿态来执行捆绑调整可以包括：使用经匹配的第一特征和第二特征来执行捆绑调整。在一些实施例中，使用图像传感器姿态和另一图像传感器姿态来执行捆绑调整可以包括：使用经匹配的第三特征和第四特征来执行捆绑调整。在一些实施例中，使用图像传感器姿态和另一图像传感器姿态来执行捆绑调整可以包括：使用经匹配的第五特征和第二特征来执行捆绑调整。
另外的实施例可以包括机器人式运载工具，其被配置有处理器可执行指令以执行上文概述的方法中的任何方法的操作。另外的实施例可以包括用于在机器人式运载工具中使用的处理设备，其被配置为执行上文概述的方法中的任何方法的操作。另外的实施例可以包括机器人式运载工具，其包括用于执行上文概述的方法中的任何方法的操作的单元。
附图说明
并入本文并且构成该说明书的一部分的附图示出了示例实施例，并且连同以上给出的总体描述以及以下给出的详细描述用于解释各个实施例的特征。
图1是根据各个实施例的在通信***内操作的机器人式运载工具的***框图。
图2是示出根据各个实施例的机器人式运载工具的组件的组件框图。
图3是示出适于在实现各个实施例的机器人式运载工具中使用的处理设备的组件框图。
图4是示出适于与各个实施例一起使用的机器人式运载工具的图像捕获和处理***的组件的组件框图。
图5是示出根据各个实施例的机器人式运载工具中的图像传感器初始化的方法的过程流图。
图6A是示出根据各个实施例的机器人式运载工具中的图像传感器初始化的方法的过程流图。
图6B是示出根据各个实施例的机器人式运载工具中的图像传感器初始化的方法的过程流图。
图6C是示出根据各个实施例的机器人式运载工具中的图像传感器初始化的方法的过程流图。
图7是示出根据各个实施例的机器人式运载工具中的图像传感器初始化的方法的过程流图。
具体实施方式
将参照附图来详细描述各个实施例。在可能的情况下，将贯穿各个图使用相同的附图标记来指代相同或类似的部分。对特定示例和实施例的提及是出于说明性的目的，而并非旨在限制权利要求的范围。
各个实施例包括可以在机器人式运载工具的处理器上实现的用于初始化机器人式运载工具的图像传感器的方法。在一些实施例中，该方法可以包括用于基于单目相机的SLAM初始化的方法。
如本文中所使用的，术语“机器人式运载工具”指代各种类型的运载工具中的一种运载工具，这些类型的运载工具包括被配置为提供一些自主或半自主能力的机载处理设备。机器人式运载工具的示例包括但不限于：飞行器(诸如无人驾驶飞行器(UAV))；地面运载工具(例如，自主式或半自主式汽车、真空机器人等)；水基运载工具(即，被配置用于在水面上或在水下操作的运载工具)；天基运载工具(例如，航天器或航天探测器)；和/或其某种组合。在一些实施例中，机器人式运载工具可以是有人驾驶的。在其它实施例中，机器人式运载工具可以是无人驾驶的。在其中机器人式运载工具是自主式的实施例中，机器人式运载工具可以包括机载计算设备，机载计算设备被配置为在没有例如来自人类操作者员(例如，经由远程计算设备)的远程操作指令的情况下(即，自主地)操纵和/或导引机器人式运载工具。在其中机器人式运载工具是半自主式的实施例中，机器人式运载工具可以包括机载计算设备，机载计算设备被配置为接收例如来自人类操作者(例如，经由远程计算设备)的一些信息或指令，并且与所接收的信息或指令一致地来自主地操纵和/或导引机器人式运载工具。在一些实现中，机器人式运载工具可以是飞行器(无人驾驶或有人驾驶)，其可以是旋翼飞机或有翼飞机。例如，旋翼飞机(也被称为多旋翼飞行器或多旋翼直升机)可以包括多个推进单元(例如，转子/推进器)，其为机器人式运载工具提供推进力和/或提升力。旋翼飞机的特定非限制性示例包括三旋翼直升机(三个转子)、四旋翼直升机(四个转子)、六旋翼直升机(六个转子)和八旋翼直升机(八个转子)。然而，旋翼飞机可以包括任意数量的转子。机器人式运载工具可以包括可以执行各种功能的各种组件和/或有效载荷。
机器人式运载工具可以采用同时定位和地图构建(SLAM)技术来构造和更新未知环境的地图，并即时地跟踪机器人式运载工具在环境中的地点。机器人式运载工具越来越多地被配备有用于捕获图像和视频的图像传感器设备。在一些实施例中，图像传感器设备可以包括单目图像传感器(例如，单目相机)。机器人式运载工具可以使用图像传感器设备来收集对于SLAM有用的数据。
对于被配备有单目图像传感器的机器人式运载工具，图像传感器可能无法提供足够的信息以使处理设备能够确定图像传感器位置和朝向(姿态)以及环境的地图点两者。此外，对于被配备有单目图像传感器的机器人式运载工具，图像传感器的初始化很重要。单目图像传感器的初始化中的错误可能导致机器人式运载工具坐标系中的无法校正的偏差或错误。此外，单目图像传感器的固有局限性(即，仅一个视角等)可能使得出现由环境特性(诸如照明、机器人式运载工具的环境中缺少特征、以及环境中的移动对象)引起的初始化错误。
在各个实施例中，机器人式运载工具的处理器设备可以被配置为执行图像传感器初始化的方法。在一些实施例中，该方法可以包括基于单目相机的SLAM初始化的方法。在一些实施例中，机器人式运载工具的处理器可以从多个位置捕获目标图像的图像，并且可以使用多个图像来更准确地估计图像传感器的姿态。例如，SLAM***中的姿态可以在坐标系中表示，该坐标系可以基于在机器人式运载工具的环境中的参考。然而，仅依赖于目标图像的图像或仅依赖于运动传感器的姿态估计可能包括误差，并且因此可能是不准确的。
在各个实施例中，机器人式运载工具的处理器设备可以执行两个(或更多个)估计，包括基于捕获的目标图像的两个或更多个图像的第一估计(例如，使用图像传感器，诸如单目图像传感器)和使用机器人式运载工具的一个或多个运动传感器(例如，车轮传感器、惯性测量传感器或另一类似传感器)的第二估计。在这样的实施例中，处理器可以组合两个或更多个估计(例如，经由捆绑调整或类似处理)，并且处理器可以基于所组合的估计的结果来生成更准确的坐标系。
在一些实施例中，处理器设备可以目标图像的捕获图像中提取第一特征，并且可以从目标图像的预定义的图像金字塔中提取第二特征。处理器设备可以将第一特征和第二特征进行匹配，并且可以基于经匹配的特征和目标图像的已知尺寸来估计图像传感器姿态。响应于确定图像传感器姿态不在一个或多个门限内，处理器设备可以将机器人式运载工具操纵到一个或多个从其捕获目标图像的另一图像的其它位置。在一些实施例中，机器人式运载工具的处理器设备可以例如从机器人式运载工具的一个或多个其它传感器(例如，车轮传感器、惯性测量单元等)获得机器人式运载工具的平移和/或机器人式运载工具的旋转。在这样的实施例中，处理器设备可以基于经匹配的特征以及机器人式运载工具的平移和机器人式运载工具的旋转中的一项或多项来估计图像传感器姿态。
各个实施例可以是在各种通信***100内操作的机器人式运载工具中实现的，在图1中示出了通信***100的示例。参照图1，通信***100可以包括机器人式运载工具102、基站104、接入点106、通信网络108以及网络单元110。在一些实施例中，机器人式运载工具120可以被配备有图像传感器102a。在一些实施例中，图像传感器102a可以包括单目图像传感器。
基站104和接入点106可以提供无线通信，以分别通过有线和/或无线通信回程116和118来接入通信网络108。基站104可以包括被配置为提供在广域(例如，宏小区)以及小型小区上的无线通信的基站，小型小区可以包括微小区、毫微微小区、微微小区以及其它类似的网络接入点。接入点106可以包括被配置为提供在相对较小区域上的无线通信的接入点。基站和接入点的其它示例也是可能的。
机器人式运载工具102可以在无线通信链路112上与基站104进行通信，以及在无线通信链路114上与接入点106进行通信。无线通信链路112和114可以包括多个载波信号、频率或者频带，其中每一者可以包括多个逻辑信道。无线通信链路112和114可以使用一种或者多种无线接入技术(RAT)。可以在无线通信链路中使用的RAT的示例包括3GPP长期演进(LTE)、3G、4G、5G、全球移动通信***(GSM)、码分多址(CDMA)、宽带码分多址(WCDMA)、全球微波接入互操作(WiMAX)、时分多址(TDMA)、以及其它移动电话通信技术蜂窝RAT。可以在通信***100内的各个无线通信链路中的一个或多个链路中使用的RAT的另外的示例包括中距离协议(例如，Wi-Fi、LTE-U、LTE直连、LAA、MuLTEfire)以及相对短距离RAT(诸如ZigBee(紫蜂)、蓝牙、以及蓝牙低能量(LE))。
网络单元110可以包括网络服务器或者另一类似的网络单元。网络单元110可以在通信链路122上与通信网络108进行通信。机器人式运载工具102和网络单元110可以经由通信网络108进行通信。网络单元110可以向机器人式运载工具102提供多种信息，例如，导航信息、天气信息、关于本地空中、地面和/或海面交通的信息、移动控制指令以及与运载工具102的操作相关的其它信息、指令或者命令。
在各个实施例中，机器人式运载工具102可以在环境120中移动。在一些实施例中，机器人式运载工具可以使用图像传感器102a来捕获环境120中的目标图像125的一个或多个图像。在一些实施例中，目标图像125可以包括测试图像，测试图像可以包括已知特性，诸如高度、宽度、纹理和/或其它特性。
机器人式运载工具可以包括有翼或旋翼飞机种类。图2示出了地面运载工具设计的示例性机器人式运载工具200，其利用由相应的电动机驱动的一个或多个轮子202来为机器人式运载工具200提供运动。机器人式运载工具200被示为可以利用各个实施例的机器人式运载工具的示例，但是并不旨在暗示或要求各个实施例限定于地面机器人式运载工具。例如，各个实施例可以与旋翼或有翼机器人式运载工具、水上机器人式运载工具和天基机器人式运载工具一起使用。
参照图1和2，机器人式运载工具200可以与机器人式运载工具102类似。机器人式运载工具200可以包括多个轮子202、主体204以及图像传感器206。框架204可以为电动机和其相关联的轮子202以及图像传感器206提供结构支撑。为了便于描述和说明，省略了机器人式运载工具200的一些详细的方面，诸如连线、框架结构互连或者本领域技术人员将已知的其它特征。虽然所示出的机器人式运载工具200具有轮子202，但是这仅是示例性的，并且各个实施例可以包括用于提供推进和操纵能力的任何各种组件，诸如履带、桨、滑橇、或其任何组合、或其它组件的任何组合。
机器人式运载工具200还可以包括控制单元210，其可以容纳用于为机器人式运载工具200供电和控制其操作的各种电路和设备。控制单元210可以包括处理器220、功率模块230、传感器240、一个或多个有效载荷固定单元244、一个或多个图像传感器245、输出模块250、输入模块260和无线电模块270。
处理器220可以被配置有处理器可执行指令，以控制机器人式运载工具200的行进和其它操作，包括各个实施例的操作。处理器220可以包括或者耦合到导航单元222、存储器224、陀螺仪/加速计单元226和操纵数据模块228。处理器220和/或导航单元222可以被配置为通过无线连接(例如，蜂窝数据网络)与服务器进行通信，以接收对导航有用的数据，提供实时位置报告以及评估数据。
操纵数据模块228可以耦合到处理器220和/或导航单元222，并且可以被配置为提供与行进控制相关的信息，诸如方向、姿态、速度、航向、以及导航单元222可以用于导航目的的类似信息(诸如全球导航卫星***(GNSS)位置更新之间的航位推算)。陀螺仪/加速计单元226可以包括加速计、陀螺仪、惯性传感器、惯性测量单元(IMU)或其它类似的传感器。操纵数据模块228可以包括或者接收来自陀螺仪/加速计单元226的数据，其提供关于机器人式运载工具200的方向和加速度的数据(其可以用于导航和定位计算)以及提供在各个实施例中用于处理图像的数据。
处理器220还可以从一个或多个图像传感器245(例如相机，可以是单目相机)和/或其它传感器240接收额外信息。在一些实施例中，图像传感器245可以包括具有红外线、紫外线和/或其它波长的光的能力的光学传感器。传感器240还可以包括轮子传感器、射频(RF)传感器、气压计、声纳发射器/检测器、雷达发射器/检测器、麦克风或者另一声学传感器、或者可以提供可由处理器220用于移动操作以及导航和定位计算的信息的另一传感器。传感器240可以包括接触式传感器或压力传感器，其可以提供指示机器人式运载工具200何时已经与表面接触的信号。有效载荷固定单元244可以包括伺服电动机，其驱动抓握和释放机构以及相关的控制装置，它们对控制单元210进行响应，以响应于来自控制单元210的命令来抓握和释放有效载荷。
功率模块230可以包括可以将功率提供给各个组件的一个或多个电池，各个组件包括处理器220、传感器240、有效载荷固定单元244、图像传感器245、输出模块250、输入模块260和无线电模块270。另外，功率模块230可以包括能量储存组件，诸如充电电池。处理器220可以被配置有处理器可执行指令，以控制功率模块230的充电(即，所收集的能量的储存)，诸如通过使用充电控制电路来执行充电控制算法。替代地或者另外，功率模块230可以被配置为管理其自己的充电。处理器220可以耦合到输出模块250，其可以输出控制信号，控制信号用于管理驱动转子202和其它组件的电动机。
当机器人式运载工具200朝向目的地前进时，可以通过对转子202的各个电动机的控制来控制机器人式运载工具200。处理器220可以从导航单元222接收数据，并且使用这样的数据，以便确定机器人式运载工具200的当前位置和方向、以及朝向目的地或中间站点的合适的路线。在各个实施例中，导航单元222可以包括GNSS接收机***(例如，一个或多个全球定位***(GPS)接收机)，其使得机器人式运载工具200能够使用GNSS信号进行导航。替代地或者另外，导航单元222可以被配备有无线电导航接收机，其用于从无线电节点(诸如导航信标(例如，甚高频(VHF)全向范围(VOR)信标)、Wi-Fi接入点、蜂窝网络站点、无线站、远程计算设备、其它机器人式运载工具等)接收导航信标或其它信号。
无线电模块270可以被配置为接收导航信号(诸如来自航空导航设施的信号等)，以及将这样的信号提供给处理器220和/或导航单元222，以辅助机器人式运载工具导航。在各个实施例中，导航单元222可以使用从地面上的可识别RF发射器(例如，AM/FM无线电站、Wi-Fi接入点以及蜂窝网络基站)接收的信号。
无线电模块270可以包括调制解调器274以及发送/接收天线272。无线电模块270可以被配置为与各种无线通信设备(例如，无线通信设备(WCD)290)进行无线通信，这些通信设备的示例包括无线电话基站或小区塔(例如，基站104)、网络接入点(例如，接入点106)、信标、智能电话、平板设备或者机器人式运载工具200可以与其进行通信的另一计算设备(诸如网络单元110)。处理器220可以经由无线电模块270的调制解调器274和天线272以及经由发送/接收天线292和无线通信设备290建立双向无线通信链路294。在一些实施例中，无线电模块270可以被配置为支持使用不同无线接入技术与不同的无线通信设备的多个连接。
在各个实施例中，无线通信设备290可以通过中间接入点连接到服务器。在一个示例中，无线通信设备290可以是机器人式运载工具操作者的服务器、第三方服务(例如包裹递送、计费等)或站点通信接入点。机器人式运载工具200可以通过一个或多个中间通信链路(诸如耦合到广域网(例如，互联网)或其它通信设备的无线电话网络)与服务器通信。在一些实施例中，机器人式运载工具200可以包括并且采用其它形式的无线电通信，诸如与其它机器人式运载工具的网状连接或者与其它信息源(例如，用于收集和/或分发天气或其它数据采集信息的气球或其它站)的连接。
在各个实施例中，控制单元210可以被配备有输入模块260，其可以用于各种应用。例如，输入模块260可以从机载相机或传感器接收图像或数据，或者可以从其它组件(例如，有效载荷)接收电子信号。
虽然在图2中将控制单元210中的各个组件示为单独的组件，但是这些组件(例如，处理器220、输出模块250、无线电模块270以及其它单元)中的一些或者全部组件可以被一起集成在单个处理设备310中，在图3中示出了处理设备310的示例。
参照图1-3，处理设备310被可以配置为在机器人式运载工具中使用，并且可以被配置为片上***(SoC)312或者包括SoC 312。SoC 312可以包括(但是不限于)处理器314、存储器316、通信接口318和存储存储器接口320。处理设备310或SoC 312还可以包括用于建立无线通信链路的通信组件322(诸如有线或无线调制解调器)、存储存储器324、天线326等。处理设备310或SoC 312还可以包括硬件接口328，其被配置为使得处理器314能够与机器人式运载工具的各个组件进行通信并且控制这些组件。处理器314可以包括各种处理设备中的任何处理设备，例如任何数量的处理器核。
术语“片上***(SoC)”在本文中通常但并非排除性地用于指代一组互连的电子电路，其包括一个或多个处理器(例如314)、存储器(例如316)和通信接口(例如318)。SoC 312可以包括各种不同类型的处理器314和处理器核，诸如通用处理器、中央处理单元(CPU)、数字信号处理器(DSP)、图形处理单元(GPU)、加速处理单元(APU)、处理设备的特定组件的子***处理器(诸如用于相机子***的图像处理器或用于显示器的显示处理器)、辅助处理器、单核处理器和多核处理器。SoC 312可以进一步体现其它硬件和硬件组合，诸如现场可编程门阵列(FPGA)、专用集成电路(ASIC)、其它可编程逻辑器件、分立门逻辑、晶体管逻辑、性能监测硬件、看门狗硬件和时间基准。集成电路可以被配置为使得集成电路的组件位于单片的半导体材料(例如，硅)上。
SoC 312可以包括一个或多个处理器314。处理设备310可以包括一个以上的SoC312，从而增加处理器314和处理器核的数量。处理设备310还可以包括与SoC 312不相关联(即在SoC 312外部)的处理器314。各个处理器314可以是多核处理器。处理器314可以分别被配置用于特定目的，其可以与处理设备310或SoC 312的其它处理器314相同或不同。具有相同或不同配置的处理器314和处理器核中的一者或多者可以被分组在一起。一组处理器314或处理器核可以被称为多处理器集群。
SoC 312的存储器316可以是易失性或非易失性存储器，其被配置用于存储用于由处理器314访问的数据和处理器可执行指令。处理设备310和/或SoC 312可以包括被配置用于各种目的的一个或多个存储器316。一个或多个存储器316可以包括易失性存储器，诸如随机存取存储器(RAM)或主存储器或高速缓存存储器。
处理设备310和SoC 312的组件中的一些或全部可以以不同的方式来布置和/或组合，同时仍然提供各个方面的功能。处理设备310和SoC 312可以不限于这些组件中的每个组件之一，并且每个组件的多个实例可以被包括在处理设备310的各种配置中。
图4示出了适于与各个实施例一起使用的机器人式运载工具(例如，图1和2中的102、200)的图像捕获和处理***400。参照图1-4，可以在机器人式运载工具的硬件组件和/或软件组件中实现图像捕获和处理***400，其操作可以由机器人式运载工具的一个或多个处理器(例如，处理器220、处理设备310、SoC 312等)来控制。
图像传感器406可以捕获通过透镜404进入的图像的光线402。透镜404可以包括鱼眼镜头或者可以被配置为提供宽图像捕获角度的另一种类似的透镜。图像传感器406可以将图像数据提供给图像信号处理(ISP)单元408。感兴趣区域(ROI)选择单元410可以将用于选择图像数据内的感兴趣区域的数据提供给ISP 408。在一些实施例中，图像传感器406可以类似于图像传感器102a、245。
ISP 408可以将图像信息和ROI选择信息提供给卷帘式快门校正、图像扭曲和裁剪单元412。图像纠正单元414可以将信息和/或处理函数提供给卷帘式快门校正、图像扭曲和裁剪单元426。在一些实施例中，图像纠正单元414可以提供信息和/或处理函数以校正由透镜404引起的图像失真、由图像传感器406引起的图像失真效果(例如，诸如摆动、歪斜、拖尾等的失真)或其它图像失真。
卷帘式快门校正、图像扭曲和裁剪单元412可以提供经校正的图像416作为输出。在一些实施例中，经校正的图像416可以是基于裁剪、失真校正和/或对变换矩阵的应用的。在一些实施例中，经校正的图像可以包括具有经校正的水平方向或水平旋转的图像。在一些实施例中，经校正的图像可以包括经稳定化的视频输出。经校正的图像416的其它示例是可能的。
图5示出了根据各个实施例的机器人式运载工具中的图像传感器初始化的方法500。参照图1-5，机器人式运载工具的处理器(例如，处理器220、处理设备310、SoC 312等)和机器人式运载工具的硬件组件和/或软件组件可以使用机器人式运载工具的图像传感器(例如，图像传感器245)来捕获和处理图像。
在框502中，机器人式运载工具的处理器可以捕获和处理目标图像的图像。例如，使用图像传感器(例如，图像传感器102a、245)，处理器可以从环境捕获图像，诸如目标图像125。在一些实施例中，处理器可以处理所捕获的图像，例如所生成的表示，诸如图像的金字塔表示。在一些实施例中，处理器可以生成低通金字塔。在一些实施例中，处理器可以生成带通金字塔。在一些实施例中，处理器可以将平滑内核应用于所生成的金字塔，诸如高斯金字塔、拉普拉斯金字塔、可控金字塔、或另一平滑内核或类似的处理技术。
在框504中，处理器可以从处理后的图像中提取多个特征。例如，处理器可以分析或进一步处理所捕获的图像，该图像可以包括非常大和/或非常复杂的数据集，并且从处理后的图像中提取(例如，识别、选择、计算)多个特征。在一些实施例中，特征可以包括图像的属性信息。在一些实施例中，处理器可以分析和/或处理所捕获的图像以生成特征描述符或特征向量(例如，表示所捕获的图像的数字特征的n维向量)。在一些实施例中，除了属性信息之外，处理器还可以生成额外信息，诸如边缘朝向、梯度幅度、边缘检测的极性和/或强度、图像内的相对亮度和/或颜色信息(例如，斑点检测)以及其它类似的额外信息。
在框506中，处理器可以获得预定义的图像金字塔。例如，处理器可以从机器人式运载工具的存储器中获得预存储或预定义的图像金字塔。在一些实施例中，预定义的图像金字塔可以是基于环境中的图像(例如，目标图像125)的。
在框508中，机器人式运载工具的处理器可以从预定义的图像金字塔中提取多个特征。
在各个实施例中，环境中的图像可以包括测试图像，并且处理器可以被配置为捕获测试图像的图像，并且对从测试图像的所捕获的图像中提取的特征和从测试图像的预定义的图像金字塔中提取的特征进行比较。
在各个实施例中，框502和504的操作可以在框506和508的操作之前、之后或与其基本同时地执行。
在框510中，处理器可以将处理后的图像的经提取的特征(例如，来自框504的操作)与预定义的图像金字塔的经提取的特征(例如，来自框508的操作)进行匹配。在一些实施例中，处理器可以通过将处理后的图像中的特征与预定义的图像金字塔中的对应特征进行匹配，来识别相对应的在处理后的图像中的一组点与预定义的图像金字塔中的一组点(例如，它们在两个图像中基本上相同)。在一些实施例中，处理器可以基于度量来确定两个或更多个点相对应，所述度量诸如描述符的错误程度(例如，在门限值或范围内)、两个或更多个点之间的距离处在门限距离内和其它类似度量。在一些实施例中，该对应关系可以包括可以进行比较的两个或更多个点的平移度、旋转度、照明度差异或另一差异、区别、特征或方面。
在框512中，处理器可以基于经匹配的特征和图像的已知尺寸来估计图像传感器的姿态(“图像传感器姿态”)。在一些实施例中，处理器可从机器人式运载工具的存储器中获得图像尺寸(例如，目标图像125的尺寸)。在一些实施例中，处理器可以使用多种方法来执行相对姿态估计。在一些实施例中，处理器可以例如通过基于处理后的图像的经提取的特征与预定义的图像金字塔的经提取的特征之间的关系来确定基本矩阵，从而确定本质矩阵。在一些实施例中，处理器可基于在处理后的图像与预定义的图像金字塔的平面的投影中的特征之间的关系(例如，相关性)来确定单应性(homography)矩阵。在一些实施例中，处理器可以采用几何的(例如，基于关键点的)捆绑调整来将处理后的图像和预定义的图像金字塔的特征进行匹配，诸如基于本质矩阵的方法、基于单应性的方法、捆绑调整等。
在框514中，处理器可以评估图像传感器姿态。在一些实施例中，处理器可以将图像传感器姿态与一个或多个门限进行比较。例如，处理器可以将图像传感器姿态的相对平移与门限相对平移进行比较。在一些实施例中，相对平移可以表示所捕获图像的像素数量。在这样的实施例中，超过门限的相对平移可以包括数量太少以至于不能获得具有足够高质量的图像传感器姿态估计的图片元素(例如，像素)的数量。在一些实施例中，处理器可以将图像传感器姿态的相对旋转(例如，机器人式运载工具与图像之间的相对旋转)与门限相对旋转进行比较。在一些实施例中，相对旋转可以表示所捕获图像的投影角。在这样的实施例中，超过门限的相对旋转可以包括太大以至于不能获得足够高质量的图像传感器姿态估计的投影角。在一些实施例中，处理器可以将图像传感器姿态的相对照明与门限相对照明进行比较。在一些实施例中，相对照明可以表示所捕获的图像的一个或多个像素、像素斑点等的照明水平。
在确定框516中，机器人式运载工具的处理器可以确定图像传感器姿态是否在一个或多个门限内(例如，门限相对平移和/或门限相对旋转)。
响应于确定图像传感器姿态在一个或多个门限内(即，确定框516＝“是”)，在框518中，处理器可以确定图像传感器初始化成功，并且可以存储图像传感器姿态。
响应于确定图像传感器的图像传感器姿态不在一个或多个门限内(即，确定框516＝“否”)，在框520中，处理器可以计算用于初始化的优选相对姿态。在一些实施例中，优选相对姿态可以包括图像(例如，目标图像125)与图像传感器之间的差异。
在框522中，处理器可以确定与优选相对姿态相关联的位置。例如，机器人式运载工具处理器可以基于图像传感器姿态与优选相对姿态之间的距离来计算位置。
在框524中，处理器可以将机器人式运载工具操纵到所确定的位置。
在框502中，处理器可以捕获和处理(例如，目标图像125的)图像。
图6A示出了根据各个实施例的机器人式运载工具中的图像传感器初始化的方法600。参照图1-6A，机器人式运载工具的处理器(例如，处理器220、处理设备310、SoC 312等)和机器人式运载工具的硬件组件和/或软件组件可以使用机器人式运载工具的图像传感器(例如，图像传感器245)来捕获和处理图像。
在框602中，机器人式运载工具的处理器可以捕获和处理图像。例如，使用图像传感器(例如，图像传感器102a、245)，处理器可以从环境捕获图像。在一些实施例中，所捕获的图像可以是环境的任何方面的(例如，任何对象或特征)。在一些实施例中，所捕获的图像可以是目标图像，诸如目标图像125。在一些实施例中，处理器可以处理所捕获的图像，例如，所生成的表示，诸如图像的金字塔表示。在一些实施例中，框602的操作可以类似于方法500的框502的操作。
在框604中，处理器可以从处理后的图像中提取多个特征。例如，处理器可以分析或进一步处理所捕获的图像，该图像可以包括非常大和/或非常复杂的数据集，并且从处理后的图像中提取(例如，识别、选择、计算)多个特征。在一些实施例中，框604的操作可以类似于方法500的框504的操作。
在确定框606中，机器人式运载工具的处理器可以确定经提取的特征数量是否大于门限特征数量。例如，处理器可以确定经提取的特征数量是否足够大(即，超过门限特征数量)以用于确定图像传感器的姿态。
响应于确定经提取的特征数量不大于门限特征数量(即，确定框606＝“否”)，在框602中，处理器可以再次捕获和处理图像。
响应于确定经提取的特征的数量大于门限特征数量(即，确定框606＝“是”)，在框608中，处理器可以将机器人式运载工具操纵到另一位置。
在框610中，处理器可以从机器人式运载工具的传感器获得机器人式运载工具的平移和/或旋转。例如，处理器可以从惯性测量单元、车轮编码器、加速计或另一传感器获得处理器可以用来确定机器人式运载工具的平移和/或旋转的信息。
在确定框612中，处理器可以确定机器人式运载工具的角速度是否小于角速度门限(例如，AV TH)。
响应于确定角速度不小于角速度门限(即，确定框612＝“否”)，在框602中，处理器可以再次捕获和处理图像。
响应于确定角速度小于角速度门限(即，确定框612＝“是”)，在框614中，处理器可以设置初始帧，并且可以存储所获得的平移和/或旋转。
在框616中，处理器可以将机器人式运载工具操纵到另一位置。
在框618中，处理器可以捕获和处理下一图像(例如，另一图像，诸如来自环境的图像)。例如，在稍后的时间，处理器可以捕获和处理第二(或后续)图像(其可以是目标图像125的图像)。
在框620中，处理器可以从处理后的图像中提取特征。
在确定框622中，机器人式运载工具的处理器可以确定从下一图像中提取的特征的数量是否大于门限特征数量。例如，处理器可以确定所提取的特征数量是否足够大(即，超过门限特征数量)以用于确定图像传感器的姿态。
响应于确定经提取的特征数量不大于门限特征数量(即，确定框622＝“否”)，在框618中，处理器可以继续捕获和处理目标图像的图像。
响应于确定经提取的特征数量大于门限特征数量(即，确定框622＝“是”)，在框624中，处理器可以将处理后的图像的经提取的特征(例如，来自框604的操作)与第二(或后续)图像的经提取的特征(例如，来自框620的操作)进行匹配。
在框626中，处理器可以从机器人式运载工具的运动传感器获得机器人式运载工具的平移和/或旋转。在一些实施例中，所获得的机器人式运载工具的平移和/或旋转可以与目标图像的第二图像的捕获和处理(例如，来自框618的操作)有关。
在框628中，处理器可以基于经匹配的特征以及机器人式运载工具的平移和/或旋转来估计图像传感器的姿态(图像传感器姿态)。在一些实施例中，处理器可以基于来自两个或更多个图像(例如，初始帧和一个或多个下一图像)的经匹配的特征的组合来估计图像传感器的姿态。在一些实施例中，处理器可以基于与两个或更多个图像相关联的平移和/或旋转的组合来估计图像传感器的姿态。
在确定框630中，机器人式运载工具的处理器可以确定图像传感器姿态是否在一个或多个门限(例如，门限相对平移和/或门限相对旋转)内。
响应于确定图像传感器姿态不在一个或多个门限内(即，确定框630＝“否”)，处理器可以在框616中将机器人式运载工具操纵到另一位置，并且可以在框618中捕获和处理目标图像的下一图像。
响应于确定图像传感器姿态在一个或多个门限内(即，确定框630＝“是”)，在框632中，处理器可以确定图像传感器初始化成功，并且可以存储图像传感器姿态。
图6B示出了可以在框630(图6A)中执行的方法650。参考图1-6B，方法650的操作可以由机器人式运载工具的处理器(例如，处理器220、处理设备310，SoC 312等和/或机器人式运载工具的硬件组件和/或软件组件)执行。
在框652中，处理器可以从图像传感器获得针对初始帧(例如，目标图像的第一图像)的旋转和平移信息。
在框654中，处理器可以从图像传感器获得针对目标图像的下一图像的旋转和平移信息。
在框656中，处理器可以计算图像信息的相对旋转矩阵(例如，Ra)和平移矩阵(例如，Ta)(例如，基于针对初始帧与针对下一图像的旋转和平移信息的比较或者在其之间的差异)。在各个实施例中，图像信息的相对旋转和平移可以采取矩阵或向量的形式。
在框658中，处理器可以从一个或多个运动传感器获得机器人式运载工具的针对初始帧的旋转和平移信息。
在框660中，处理器可以从一个或多个运动传感器获得机器人式运载工具的针对下一图像的旋转和平移信息。
在框662中，处理器可以计算机器人式运载工具的相对旋转矩阵(例如，Rb)和平移矩阵(例如，Tb)(例如，基于来自一个或多个运动传感器的针对初始帧与针对下一图像的旋转和平移信息的比较或者在其之间的差异)。
在确定框664中，处理器可以确定所计算的图像信息的相对旋转矩阵(例如，Ra)是否近似等于所计算的机器人式运载工具的相对旋转矩阵(例如，Rb)。例如，处理器可以确定所计算的图像信息的相对旋转矩阵或向量(例如，Ra)是否与所计算的机器人式运载工具的相对旋转矩阵或向量(例如，Rb)相差(第三)门限。
响应于确定图像信息的相对旋转不近似等于机器人式运载工具的相对旋转(例如，Ra不是≈Rb)(即，确定框664＝“否”)，处理器可以在框652中从图像传感器再次获得针对初始帧的旋转和平移信息，并且在框658中从一个或多个运动传感器获得针对初始帧的旋转和平移信息。
响应于确定图像信息的相对旋转近似等于机器人式运载工具的相对旋转(例如，Ra≈Rb)(即，确定框664＝“是”)，处理器可以确定图像信息平移矩阵(例如，Ta)等于机器人式运载工具的平移矩阵(例如，Tb)，并且可以在框666中计算针对图像姿态的标量值(例如，比例A)，该标量值等于机器人式运载工具的平移矩阵的行列式(例如，|Tb|)除以在图像信息的平移矩阵的行列式(例如，|Ta|)。在一些实施例中，针对图像姿态的标量值(例如，比例A)可以包括在估算的图像尺寸与目标图像的已知物理尺寸之间的比例。
在一些实施例中，处理器可以通过从多个下一图像获得信息来提高针对图像姿态的标量值的计算准确度。例如，处理器可以将机器人式运载工具操纵到多个位置。处理器可以从多个位置中的一个或多个位置捕获并处理目标图像的图像。处理器可以从这样的图像中提取特征。处理器还可以从一个或多个其它传感器获得针对多个位置中的每个位置的旋转和/或平移信息。处理器可以使用针对从多个位置获得的每个图像的旋转和平移信息的组合以及针对初始帧的旋转和平移，以基于目标图像的图像的旋转和平移信息以及来自一个或多个传感器的来自多个位置的旋转和平移信息来计算针对图像姿态的标量值。
例如，图6C示出了可以被执行以提高图像姿态估计的准确度的方法670。参照图1-6C，方法670的操作可以由机器人式运载工具的处理器(例如，处理器220、处理设备310、SoC312等和机器人式运载工具的硬件组件和/或软件组件)来执行。在框652-666中，设备处理器可以执行方法650的相同编号的框的操作。
在框672中，处理器可以将机器人式运载工具操纵到另一位置。
在框674中，处理器可以捕获和处理另一图像。在一些实施例中，处理器可以捕获和处理目标图像125的另一图像。例如，在稍后的时间，处理器可以捕获和处理第二(或后续)图像。在一些实施例中，所捕获的图像可以是环境的任何方面的(例如，在操作602中捕获的图像的对象或特征)。在一些实施例中，所捕获的图像可以是目标图像的，诸如目标图像125。
在框676中，处理器可以从处理后的图像中提取特征。
在框678中，处理器可以将处理后的图像的提取出的特征与下一图像的提取出的特征进行匹配。
在框680中，处理器可以估计根据下一图像确定的目标图像的估计图像尺寸与目标图像的已知物理尺寸之间的比例(例如，比例C)。
在框682中，处理器可以基于两个或更多个所估计的比例(例如，比例A、比例C)的组合来确定比例。在一些实施例中，处理器可以使用所确定的比例来估计图像传感器姿态。
例如，对于图像传感器和运动传感器两者，处理器可以使用来自图像传感器的信息以及来自一个或多个其它传感器的信息来确定从初始帧到下一帧的相对旋转。在一些实施例中，使用这样的信息，处理器可以计算相对旋转，并且还可以计算与图像传感器相对应的平移和比例。在各个实施例中，处理器可以假设在图像传感器与一个或多个其它传感器之间的相对姿态和采样时间已经被校准，使得其可以在处理器执行的各种计算中被忽略。
图7示出了根据各个实施例的机器人式运载工具中的图像传感器初始化的方法700。参照图1-图7，机器人式运载工具的处理器(例如，处理器220、处理设备310、SoC 312等)和机器人式运载工具的硬件组件和/或软件组件可以使用机器人式运载工具的图像传感器(例如，图像传感器245)来捕获和处理图像。在框502-512中，处理器可以执行方法500的相同编号的框的操作。
在框702中，处理器可以操纵机器人式运载工具。在一些实施例中，处理器可以将机器人式运载工具操纵到不同于第一位置(例如，在框502中从其捕获目标图像的图像的位置，或者在其处执行框502-512的操作的位置)的位置。在一些实施例中，处理器可以根据诸如环、几何形状或另一模式之类的模式来操纵机器人式运载工具。
在框704中，处理器可以捕获并处理另一图像。
在框706中，处理器可以从处理后的图像中提取多个特征。例如，处理器可以分析或进一步处理所捕获的图像，该图像可以包括非常大和/或非常复杂的数据集，并且从处理后的图像中提取(例如，识别、选择、计算)多个特征。
在各个实施例中，处理器可以将框702-706的操作至少重复一次。例如，处理器可以将机器人式运载工具操纵到第一位置，捕获并处理来自第一位置的另一图像，并且从处理后的图像中提取特征，然后，处理器可以将机器人式运载工具操纵到第二位置，以捕获并处理来自第二位置的另一图像，并且从处理后的来自第二位置的图像中提取特征。
在框708中，处理器可以将处理后的图像的提取出的特征(例如，来自框706的操作)与图像金字塔的提取出的特征进行匹配。例如，处理器可以将从在第二位置捕获的处理后的图像中提取出的特征与在第一位置捕获的处理后的图像(例如，图像金字塔)的提取出的特征进行匹配。
在框710中，处理器可以基于经匹配的特征来针对每个处理后的图像来估计图像传感器的第二姿态(“第二图像传感器姿态”)。
在确定框712中，处理器可以确定机器人式运载工具是否已经返回到其起始位置。
响应于确定机器人式运载工具尚未返回到其起始位置(例如，确定框712＝“否”)，在框702中，处理器可以将机器人式运载工具操纵到另一位置。
响应于确定机器人式运载工具已经返回到其起始位置(例如，确定框712＝“是”)，处理器可以捕获并处理目标图像的另一图像。
在框716中，处理器可以从处理后的图像中提取多个特征。
在框718中，处理器可以将处理后的图像的经提取的特征与预定义的图像金字塔的经提取的特征进行匹配。
在框720中，处理器可以基于经匹配的特征和图像的尺寸来估计图像传感器的第三姿态(“第三图像传感器姿态”)。在一些实施例中，处理器可从机器人式运载工具的存储器中获得图像尺寸(例如，测试图像的尺寸)。在一些实施例中，处理器可以基于捕获的图像、经提取的特征、第一图像传感器姿态和/或第二图像传感器姿态来确定第三图像传感器姿态。
在框722中，处理器可以评估第三图像传感器姿态。
在确定框724中，机器人式运载工具的处理器可以确定第三图像传感器姿态是否在一个或多个门限(例如，门限相对平移和/或门限相对旋转)内。
响应于确定第三图像传感器姿态不在一个或多个门限内(即，确定框724＝“否”)，在框714中，处理器可以捕获并处理目标图像的另一图像。
响应于确定第三图像传感器姿态在一个或多个门限内(即，确定框724＝“是”)，在框726中，处理器可以对多个姿态和/或经匹配的特征执行捆绑调整。在一些实施例中，处理器可以使用第一图像传感器姿态和第二图像传感器姿态来执行捆绑调整。在一些实施例中，处理器可以使用第一图像传感器姿态、第二图像传感器姿态和第三图像传感器姿态来执行捆绑调整。在一些实施例中，处理器可以使用处理后的图像的、与预定义的图像金字塔的经提取的特征(例如，来自框508的操作)相匹配的所提取的特征(例如，来自框706的操作)来执行捆绑调整。在一些实施例中，处理器可以使用另一图像的、与预定义的图像金字塔的经提取的特征相匹配的所提取的特征(例如，来自框716的操作)来执行捆绑调整。
在框728中，处理器可以确定用于机器人式运载工具的坐标系。在一些实施例中，处理器可以基于使用第一图像传感器姿态、第二图像传感器姿态和/或第三图像传感器姿态的捆绑调整来确定坐标系。
在框730中，处理器可以存储姿态和经提取的特征(例如，如关于框504、512、706、710、716和722的操作所描述的)。
各个实施例使得机器人式运载工具的处理器能够改善对机器人式运载工具的图像传感器的初始化。各个实施例还使用更准确地初始化的图像传感器来提高机器人式运载工具的SLAM能力的准确度。各个实施例还提高了机器人式运载工具的初始化用于与SLAM确定一起使用的单目图像传感器的能力。
所示出以及描述的各个实施例仅是作为示例来提供的，以示出权利要求的各个特征。然而，关于任何给定实施例所示出并且描述的特征未必限于相关联的实施例，并且可以与示出并且描述的其它实施例一起使用或者相组合。此外，权利要求并不旨在由任何一个示例实施例限制。例如，方法500、600、650、670和700中的操作中的一个或多个操作可以替代方法500、600、650、670和700中的一个或多个操作，或者与其组合，反之亦然。
前述方法描述和过程流程图仅是作为说明性示例来提供的，而并非旨在要求或者暗示各个实施例的操作必须以所给出的次序来执行。如本领域技术人员将明白的，可以以任何次序来执行前述实施例中的操作的次序。诸如“之后”、“然后”、“接下来”等的词语并非旨在限制操作的次序；这些词语用于引导读者通读对这些方法的描述。此外，对单数形式的权利要求要素的任何提及(例如，使用冠词“一(a)”、“一(an)”或者“所述(the)”)并不被解释为将该要素限制为单数。
结合本文公开的实施例描述的各个说明性的逻辑框、模块、电路和算法操作均可以实现成电子硬件、计算机软件或这二者的组合。为了清楚地说明硬件和软件之间的这种可交换性，上文对各个说明性的组件、框、模块、电路和操作均围绕其功能进行了总体描述。至于这种功能是实现为硬件还是实现为软件，取决于特定的应用和对整个***所施加的设计约束。本领域技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是这种实施例决策不应解释为造成对权利要求的范围的脱离。
利用被设计为执行本文所述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑、分立硬件组件或者其任意组合，可以实现或执行用于实现结合本文公开的方面所描述的各个说明性的逻辑单元、逻辑框、模块和电路的硬件。通用处理器可以是微处理器，但是在替代方式中，处理器可以是任何常规的处理器、控制器、微控制器或者状态机。处理器还可以实现为接收机智能对象的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、或者任何其它这种配置。替代地，一些操作或方法可以由特定于给定功能的电路来执行。
在一个或多个方面中，所描述的功能可以用硬件、软件、固件、或者其任意组合来实现。如果用软件来实现，则功能可以作为一个或多个指令或代码存储在非暂时性计算机可读存储介质或者非暂时性处理器可读存储介质上。本文公开的方法或算法的操作可以体现在处理器可执行软件模块或者处理器可执行指令中，其可以驻留在非暂时性计算机可读或处理器可读存储介质上。非暂时性计算机可读或者处理器可读存储介质可以是可以由计算机或处理器访问的任何存储介质。通过举例而非限制的方式，这种非暂时性计算机可读或处理器可读存储介质可以包括RAM、ROM、EEPROM、闪速存储器、CD-ROM或者其它光盘存储、磁盘存储或者其它磁存储智能对象、或者可以用于存储具有指令或数据结构形式的期望程序代码并且可以被计算机访问的任何其它介质。如本文中所使用的，磁盘(disk)和光盘(disc)包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。上述各项的组合也包括在非暂时性计算机可读和处理器可读介质的范围之内。另外，方法或算法的操作可以作为代码和/或指令中的一个或者任意组合或者集合位于非暂时性处理器可读存储介质和/或计算机可读存储介质上，其可以并入计算机程序产品中。
为了使本领域技术人员能够实现或使用权利要求，提供了对所公开的实施例的先前描述。对于本领域技术人员而言，对这些实施例的各种修改将是容易显而易见的，并且在不脱离权利要求的精神或范围的情况下，本文中定义的总体原理可以应用于其它实施例。因此，本公开内容并非旨在限于本文中所示出的实施例，而是被赋予与随后的权利要求和本文公开的原理和新颖特征相一致的最广范围。

Claims (34)

1.一种机器人式运载工具的图像传感器的图像传感器初始化的方法，包括：
利用所述机器人式运载工具的所述图像传感器来捕获目标图像的图像；
由处理器从所捕获的图像中提取第一特征；
由所述处理器从所述目标图像的预定义的图像金字塔中提取第二特征；
由所述处理器将一个或多个提取出的第一特征与一个或多个提取出的第二特征进行匹配；
由所述处理器基于经匹配的特征和所述目标图像的已知尺寸来估计图像传感器姿态；
由所述处理器确定所述图像传感器姿态是否在一个或多个门限内；以及
响应于确定所述图像传感器姿态不在所述一个或多个门限内，将所述机器人式运载工具操纵到从其处捕获所述目标图像的另一图像的另一位置。
2.根据权利要求1所述的方法，其中，所述图像传感器初始化包括基于单目相机的同时定位和地图构建(SLAM)初始化。
3.根据权利要求1所述的方法，还包括：
由所述处理器响应于确定所述图像传感器姿态在所述一个或多个门限内，确定所述图像传感器初始化成功。
4.根据权利要求1所述的方法，其中，将所述机器人式运载工具操纵到从其捕获所述目标图像的另一图像的另一位置包括：
由所述处理器响应于确定所述图像传感器姿态不在所述一个或多个门限内，计算优选相对姿态；
由所述处理器确定与所述优选相对姿态相关联的位置；以及
将所述机器人式运载工具操纵到所确定的位置。
5.根据权利要求4所述的方法，其中，将所述机器人式运载工具操纵到从其处捕获所述目标图像的另一图像的另一位置包括：
将所述机器人式运载工具操纵到一个或多个其它位置；
由所述处理器从所述其它位置中的每个位置捕获所述目标图像的另一图像；
由所述处理器从所述另一图像中提取第三特征；
由所述处理器将一个或多个提取出的第三特征与一个或多个提取出的第二特征进行匹配；以及
由所述处理器基于经匹配的第二特征和第三特征以及所述目标图像的所述已知尺寸来估计第二图像传感器姿态。
6.一种机器人式运载工具的图像传感器的图像传感器初始化的方法，包括：
利用所述机器人式运载工具的所述图像传感器来捕获图像；
由处理器从所捕获的图像中提取第一特征；
由所述处理器确定提取出的特征的数量是否超过门限特征数量；
响应于确定所述提取出的特征的数量超过所述门限特征数量，将所述机器人式运载工具操纵到另一位置；
由所述处理器获得所述机器人式运载工具的平移和所述机器人式运载工具的旋转中的一项或多项；
由所述处理器确定所述机器人式运载工具的角速度是否小于角速度门限；
由所述处理器将一个或多个提取出的第一特征与从经捕获的第二图像中提取的一个或多个第二特征进行匹配；以及
由所述处理器基于经匹配的特征以及所述机器人式运载工具的所述平移和所述机器人式运载工具的所述旋转中的一项来估计图像传感器姿态。
7.根据权利要求6所述的方法，其中，由所述处理器将一个或多个提取出的第一特征与从经捕获的第二图像中提取的一个或多个第二特征进行匹配包括：
将所述机器人式运载工具操纵到另一位置；
由所述处理器从所述另一位置捕获下一图像并且处理所述下一图像；
由所述处理器从所述下一图像中提取所述第二特征；以及
将来自所述第一图像的所述第一特征与来自所述下一图像的所述第二特征进行匹配。
8.根据权利要求6所述的方法，还包括：
估计在所述图像中的对象的已知物理大小与基于所述图像的所述对象的估计大小之间的比例。
9.根据权利要求8所述的方法，其中，基于所述图像的所述对象的所述估计尺寸是基于所述一个或多个提取出的第一特征与所述一个或多个第二特征的匹配的。
10.根据权利要求6所述的方法，还包括：
由所述处理器响应于确定所述第二图像传感器姿态在所述一个或多个门限内，确定所述图像传感器初始化成功。
11.一种机器人式运载工具的图像传感器的图像传感器初始化的方法，包括：
利用所述机器人式运载工具的所述图像传感器在第一位置处捕获第一图像；
由处理器从所捕获的第一图像中提取第一特征；
由所述处理器从预定义的图像金字塔中提取第二特征；
由所述处理器将一个或多个提取出的第一特征与一个或多个提取出的第二特征进行匹配；
由所述处理器基于经匹配的第一特征和第二特征以及所述目标图像的已知尺寸来估计第一图像传感器姿态；
将所述机器人式运载工具操纵到第二位置并且从所述第二位置捕获第二图像；
由所述处理器从所捕获的第二图像中提取第三特征；
将所述机器人式运载工具操纵到第三位置并且从所述第三位置捕获第三图像；
由所述处理器从所捕获的第三图像中提取第四特征；
由所述处理器将一个或多个提取出的第三特征与一个或多个提取出的第四特征进行匹配；
由所述处理器基于所匹配的第三特征和第四特征来估计第二图像传感器姿态；以及
基于所述图像传感器姿态和所述第二图像传感器姿态来确定用于所述机器人式运载工具的坐标系。
12.根据权利要求11所述的方法，其中，所述第一图像是目标图像的图像，并且其中，所述第二特征是从预定义的图像金字塔中提取的。
13.根据权利要求11所述的方法，还包括：
由所述处理器基于所述机器人式运载工具的平移和所述机器人式运载工具的旋转来确定所述机器人式运载工具已经返回到所述第一位置；
利用所述机器人式运载工具的所述图像传感器在第一位置处捕获第四图像；
由所述处理器从所述第四图像中提取第五特征；
由所述处理器将一个或多个提取出的第五特征与一个或多个提取出的第二特征进行匹配；以及
由所述处理器基于所匹配的第五特征和第二特征来估计第三图像传感器姿态，
其中，确定用于所述机器人式运载工具的所述坐标系包括：基于所述第一图像传感器姿态、所述第二图像传感器姿态和所述第三图像传感器姿态来确定用于所述机器人式运载工具的所述坐标系。
14.根据权利要求11所述的方法，其中，基于所述图像传感器姿态和所述第二图像传感器姿态来确定用于所述机器人式运载工具的所述坐标系包括：
使用所述第一图像传感器姿态和所述第二图像传感器姿态来执行捆绑调整。
15.根据权利要求14所述的方法，其中，使用所述图像传感器姿态和所述另一图像传感器姿态来执行所述捆绑调整包括：
使用所匹配的第一特征和第二特征来执行所述捆绑调整。
16.根据权利要求14所述的方法，其中，使用所述图像传感器姿态和所述另一图像传感器姿态来执行所述捆绑调整包括：
使用所匹配的第三特征和第四特征来执行所述捆绑调整。
17.根据权利要求14所述的方法，其中，使用所述图像传感器姿态和所述另一图像传感器姿态来执行所述捆绑调整包括：
使用所匹配的第五特征和第二特征来执行所述捆绑调整。
18.一种机器人式运载工具，包括：
图像传感器；
处理器，其耦合到所述图像传感器并且被配置有用于进行以下操作的处理器可执行指令：
利用所述图像传感器来捕获目标图像的图像；
从所捕获的图像中提取第一特征；
从所述目标图像的预定义的图像金字塔中提取第二特征；
将一个或多个提取出的第一特征与一个或多个提取出的第二特征进行匹配；
基于经匹配的特征和所述目标图像的已知尺寸来估计图像传感器姿态；
确定所述图像传感器姿态是否在一个或多个门限内；以及
响应于确定所述图像传感器姿态不在所述一个或多个门限内，将所述机器人式运载工具操纵到从其处捕获所述目标图像的另一图像的另一位置。
19.根据权利要求18所述的机器人式运载工具，其中，所述处理器还被配置有处理器可执行指令，以使得所述图像传感器初始化包括基于单目相机的同时定位和地图构建(SLAM)初始化。
20.根据权利要求18所述的机器人式运载工具，其中，所述处理器还被配置有用于进行以下操作的处理器可执行指令：
响应于确定所述图像传感器姿态在所述一个或多个门限内，确定所述图像传感器初始化成功。
21.根据权利要求18所述的机器人式运载工具，其中，所述处理器还被配置有用于进行以下操作的处理器可执行指令：
响应于确定所述图像传感器姿态不在所述一个或多个门限内，计算优选相对姿态；
确定与所述优选相对姿态相关联的位置；以及
将所述机器人式运载工具操纵到所确定的位置。
22.根据权利要求21所述的机器人式运载工具，其中，所述处理器还被配置有用于进行以下操作的处理器可执行指令：
将所述机器人式运载工具操纵到一个或多个其它位置；
从所述其它位置中的每个位置捕获所述目标图像的另一图像；
从所述另一图像中提取第三特征；
将一个或多个提取出的第三特征与一个或多个提取出的第二特征进行匹配；以及
基于经匹配的第二特征和第三特征以及所述目标图像的所述已知尺寸来估计第二图像传感器姿态。
23.一种机器人式运载工具，包括：
图像传感器；
处理器，其耦合到所述图像传感器并且被配置有用于进行以下操作的处理器可执行指令：
利用所述图像传感器来捕获第一图像；
从所捕获的图像中提取第一特征；
确定提取出的特征的数量是否超过门限特征数量；
响应于确定所述提取出的特征的数量超过所述门限特征数量，将所述机器人式运载工具操纵到另一位置；
获得所述机器人式运载工具的平移和所述机器人式运载工具的旋转中的一项或多项；
确定所述机器人式运载工具的角速度是否小于角速度门限；
将一个或多个提取出的第一特征与从经捕获的第二图像中提取的一个或多个第二特征进行匹配；以及
基于经匹配的特征以及所述机器人式运载工具的所述平移和所述机器人式运载工具的所述旋转中的一项来估计图像传感器姿态。
24.根据权利要求23所述的机器人式运载工具，其中，所述处理器还被配置有用于进行以下操作的处理器可执行指令：
将所述机器人式运载工具操纵到另一位置；
从所述另一位置捕获下一图像并且处理所述下一图像；
从所述下一图像中提取所述第二特征；以及
将来自所述第一图像的所述第一特征与来自所述下一图像的所述第二特征进行匹配。
25.根据权利要求23所述的机器人式运载工具，其中，所述处理器还被配置有用于进行以下操作的处理器可执行指令：
估计在所述第一图像中的对象的已知物理大小与基于所述第一图像的所述对象的估计大小之间的比例。
26.根据权利要求25所述的机器人式运载工具，其中，所述处理器还被配置有处理器可执行指令，以使得基于所述第一图像的所述对象的所述估计尺寸是基于所述一个或多个提取出的第一特征与所述一个或多个第二特征的匹配的。
27.根据权利要求23所述的机器人式运载工具，其中，所述处理器还被配置有用于进行以下操作的处理器可执行指令：
响应于确定所述第二图像传感器姿态在所述一个或多个门限内，确定所述图像传感器初始化成功。
28.一种机器人式运载工具，包括：
图像传感器；
处理器，其耦合到所述图像传感器并且被配置有用于进行以下操作的处理器可执行指令：
利用所述图像传感器在第一位置处捕获第一图像；
从所捕获的第一图像中提取第一特征；
从预定义的图像金字塔中提取第二特征；
将一个或多个提取出的第一特征与一个或多个提取出的第二特征进行匹配；
基于经匹配的第一特征和第二特征以及所述目标图像的已知尺寸来估计第一图像传感器姿态；
将所述机器人式运载工具操纵到第二位置并且从所述第二位置捕获第二图像；
从所捕获的第二图像中提取第三特征；
将所述机器人式运载工具操纵到第三位置并且从所述第三位置捕获第三图像；
从所捕获的第三图像中提取第四特征；
将一个或多个提取出的第三特征与一个或多个提取出的第四特征进行匹配；
基于所匹配的第三特征和第四特征来估计第二图像传感器姿态；以及
基于所述图像传感器姿态和所述第二图像传感器姿态来确定用于所述机器人式运载工具的坐标系。
29.根据权利要求28所述的机器人式运载工具，其中，所述第一图像是目标图像的图像，并且其中，所述第二特征是从预定义的图像金字塔中提取的。
30.根据权利要求28所述的机器人式运载工具，其中，所述处理器还被配置有用于进行以下操作的处理器可执行指令：
基于所述机器人式运载工具的平移和所述机器人式运载工具的旋转来确定所述机器人式运载工具已经返回到所述第一位置；
利用所述机器人式运载工具的所述图像传感器在第一位置处捕获第四图像；
从所述第四图像中提取第五特征；
将一个或多个提取出的第五特征与一个或多个提取出的第二特征进行匹配；以及
基于所匹配的第五特征和第二特征来估计第三图像传感器姿态，
其中，所述处理器还被配置有用于进行以下操作的处理器可执行指令：基于所述第一图像传感器姿态、所述第二图像传感器姿态和所述第三图像传感器姿态来确定用于所述机器人式运载工具的所述坐标系。
31.根据权利要求28所述的机器人式运载工具，其中，所述处理器还被配置有用于进行以下操作的处理器可执行指令：
使用所述第一图像传感器姿态和所述第二图像传感器姿态来执行捆绑调整。
32.根据权利要求31所述的机器人式运载工具，其中，所述处理器还被配置有用于进行以下操作的处理器可执行指令：
使用所匹配的第一特征和第二特征来执行所述捆绑调整。
33.根据权利要求31所述的机器人式运载工具，其中，所述处理器还被配置有用于进行以下操作的处理器可执行指令：
使用所匹配的第三特征和第四特征来执行所述捆绑调整。
34.根据权利要求31所述的机器人式运载工具，其中，所述处理器还被配置有用于进行以下操作的处理器可执行指令：
使用所匹配的第五特征和第二特征来执行所述捆绑调整。
CN201780093478.5A 2017-07-28 2017-07-28 机器人式运载工具的图像传感器初始化 Pending CN111094893A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/094926 WO2019019157A1 (en) 2017-07-28 2017-07-28 INITIALIZING IMAGE SENSOR IN A ROBOTIC VEHICLE

Publications (1)

Publication Number Publication Date
CN111094893A true CN111094893A (zh) 2020-05-01

Family

ID=65039305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780093478.5A Pending CN111094893A (zh) 2017-07-28 2017-07-28 机器人式运载工具的图像传感器初始化

Country Status (3)

Country Link
US (1) US11080890B2 (zh)
CN (1) CN111094893A (zh)
WO (1) WO2019019157A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10735902B1 (en) * 2014-04-09 2020-08-04 Accuware, Inc. Method and computer program for taking action based on determined movement path of mobile devices
CN110264509B (zh) * 2018-04-27 2022-10-14 腾讯科技（深圳）有限公司 确定图像捕捉设备的位姿的方法、装置及其存储介质
US11520332B1 (en) * 2019-12-03 2022-12-06 Amazon Technologies, Inc. System for automated exploration by an autonomous mobile device using markers based on image features
WO2021155828A1 (en) * 2020-02-05 2021-08-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system for implementing dynamic input resolution for vslam systems
US11397869B2 (en) * 2020-03-04 2022-07-26 Zerofox, Inc. Methods and systems for detecting impersonating social media profiles

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101587591A (zh) * 2009-05-27 2009-11-25 北京航空航天大学 基于双参数阈值分割的视觉精确跟踪技术
US20090295908A1 (en) * 2008-01-22 2009-12-03 Morteza Gharib Method and device for high-resolution three-dimensional imaging which obtains camera pose using defocusing
CN102682292A (zh) * 2012-05-10 2012-09-19 清华大学 基于单目视觉的道路边缘检测及粗定位方法
US20120307085A1 (en) * 2011-06-06 2012-12-06 Mantzel William E Methods and systems for image stabilization
WO2014048590A1 (en) * 2012-09-27 2014-04-03 Metaio Gmbh Image processing method, particularly used in a vision-based localization of a device
US20140129027A1 (en) * 2012-11-02 2014-05-08 Irobot Corporation Simultaneous Localization And Mapping For A Mobile Robot
CN104537709A (zh) * 2014-12-15 2015-04-22 西北工业大学 一种基于位姿变化的实时三维重建关键帧确定方法
EP2894602A1 (en) * 2014-01-13 2015-07-15 Honeywell International Inc. A method of using image warping for geo-registration feature matching in vision-aided positioning
US9201424B1 (en) * 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
US20150363970A1 (en) * 2014-06-16 2015-12-17 Replica Labs, Inc. Model and Sizing Information from Smartphone Acquired Image Sequences
US20150371440A1 (en) * 2014-06-19 2015-12-24 Qualcomm Incorporated Zero-baseline 3d map initialization
CN105783913A (zh) * 2016-03-08 2016-07-20 中山大学 一种融合车载多传感器的slam装置及其控制方法
CN105928505A (zh) * 2016-04-19 2016-09-07 深圳市神州云海智能科技有限公司 移动机器人的位姿确定方法和设备
CN105953798A (zh) * 2016-04-19 2016-09-21 深圳市神州云海智能科技有限公司 移动机器人的位姿确定方法和设备
US20170018086A1 (en) * 2015-07-16 2017-01-19 Google Inc. Camera pose estimation for mobile devices
CN106407974A (zh) * 2015-07-28 2017-02-15 通用汽车环球科技运作有限责任公司 用于感兴趣目标的目标定位和姿态估计的方法
CN106679648A (zh) * 2016-12-08 2017-05-17 东南大学 一种基于遗传算法的视觉惯性组合的slam方法

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1070535A (en) * 1911-09-07 1913-08-19 Stanislaw I Roclawski Condiment-holder.
US7162338B2 (en) * 2002-12-17 2007-01-09 Evolution Robotics, Inc. Systems and methods for computing a relative pose for global localization in a visual simultaneous localization and mapping system
EP2135498B1 (en) * 2008-06-20 2012-06-20 AGROCOM GmbH & Co. Agrarsystem KG A method of navigating an agricultural vehicle and an agricultural vehicle
CN102713779B (zh) * 2009-11-06 2015-12-02 艾罗伯特公司 用于通过自主型机器人完全覆盖表面的方法和***
US9286810B2 (en) * 2010-09-24 2016-03-15 Irobot Corporation Systems and methods for VSLAM optimization
WO2012100829A1 (en) * 2011-01-27 2012-08-02 Metaio Gmbh Method for determining correspondences between a first and a second image, and method for determining the pose of a camera
US8798840B2 (en) * 2011-09-30 2014-08-05 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
KR101926563B1 (ko) * 2012-01-18 2018-12-07 삼성전자주식회사 카메라 추적을 위한 방법 및 장치
US9153073B2 (en) * 2012-05-23 2015-10-06 Qualcomm Incorporated Spatially registered augmented video
US8903163B2 (en) * 2012-08-09 2014-12-02 Trimble Navigation Limited Using gravity measurements within a photogrammetric adjustment
US9237340B2 (en) * 2012-10-10 2016-01-12 Texas Instruments Incorporated Camera pose estimation
US9576183B2 (en) 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
FR3004570B1 (fr) * 2013-04-11 2016-09-02 Aldebaran Robotics Procede d'estimation de la deviation angulaire d'un element mobile relativement a une direction de reference
CN105408937B (zh) 2013-05-02 2018-02-13 高通股份有限公司 用于便于计算机视觉应用程序初始化的方法
US9037396B2 (en) * 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot
US20150103183A1 (en) * 2013-10-10 2015-04-16 Nvidia Corporation Method and apparatus for device orientation tracking using a visual gyroscope
CN110120072B (zh) 2013-12-19 2023-05-09 苹果公司 用于跟踪移动设备的方法和***
US20160327653A1 (en) 2014-02-03 2016-11-10 Board Of Regents, The University Of Texas System System and method for fusion of camera and global navigation satellite system (gnss) carrier-phase measurements for globally-referenced mobile device pose determination
CN110136200B (zh) 2014-04-25 2023-07-04 谷歌技术控股有限责任公司 基于影像的电子设备定位
CN103984037B (zh) * 2014-04-30 2017-07-28 深圳市墨克瑞光电子研究院 基于视觉的移动机器人障碍物检测方法和装置
US10366511B2 (en) * 2014-05-28 2019-07-30 Elbit Systems Land And C4I Ltd. Method and system for image georegistration
US9519289B2 (en) * 2014-11-26 2016-12-13 Irobot Corporation Systems and methods for performing simultaneous localization and mapping using machine vision systems
TWI524758B (zh) * 2014-12-09 2016-03-01 財團法人工業技術研究院 電子裝置及其漸增式姿態估算及攝影方法
WO2016126297A2 (en) * 2014-12-24 2016-08-11 Irobot Corporation Mobile security robot
EP3048558A1 (en) * 2015-01-21 2016-07-27 Application Solutions (Electronics and Vision) Ltd. Object detecting method and object detecting apparatus
US9630319B2 (en) * 2015-03-18 2017-04-25 Irobot Corporation Localization and mapping using physical features
US9984301B2 (en) * 2015-04-20 2018-05-29 Qualcomm Incorporated Non-matching feature-based visual motion estimation for pose determination
EP3309751B1 (en) * 2015-06-12 2022-04-20 Sony Group Corporation Image processing device, method, and program
CN108369420B (zh) * 2015-11-02 2021-11-05 星船科技私人有限公司 用于自主定位的设备和方法
EP3206163B1 (en) * 2016-02-11 2018-12-26 AR4 GmbH Image processing method, mobile device and method for generating a video image database
US10339390B2 (en) * 2016-02-23 2019-07-02 Semiconductor Components Industries, Llc Methods and apparatus for an imaging system
US9946264B2 (en) * 2016-03-22 2018-04-17 Sharp Laboratories Of America, Inc. Autonomous navigation using visual odometry
US9934587B2 (en) * 2016-06-30 2018-04-03 Daqri, Llc Deep image localization
US9964955B2 (en) * 2016-08-04 2018-05-08 Canvas Technology, Inc. System and methods of determining a geometric pose of a camera based on spatial and visual mapping
US10723022B2 (en) * 2016-09-16 2020-07-28 Carbon Robotics, Inc. System and calibration, registration, and training methods
US10584971B1 (en) * 2016-10-28 2020-03-10 Zoox, Inc. Verification and updating of map data
US10309778B2 (en) * 2016-12-30 2019-06-04 DeepMap Inc. Visual odometry and pairwise alignment for determining a position of an autonomous vehicle
US10659768B2 (en) * 2017-02-28 2020-05-19 Mitsubishi Electric Research Laboratories, Inc. System and method for virtually-augmented visual simultaneous localization and mapping
US10268201B2 (en) * 2017-02-28 2019-04-23 Mitsubishi Electric Research Laboratories, Inc. Vehicle automated parking system and method
JP7250709B2 (ja) * 2017-06-28 2023-04-03 マジック リープ， インコーポレイテッド 畳み込み画像変換を使用して同時位置特定およびマッピングを実施する方法およびシステム
US10460471B2 (en) * 2017-07-18 2019-10-29 Kabushiki Kaisha Toshiba Camera pose estimating method and system
US11244468B2 (en) * 2017-07-28 2022-02-08 Qualcomm Incorporated Image output adjustment in a robotic vehicle
WO2019019136A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated SYSTEMS AND METHODS FOR USING SEMANTIC INFORMATION FOR NAVIGATING A ROBOTIC DEVICE
CN111801717A (zh) * 2017-07-28 2020-10-20 高通股份有限公司 机器人式运载工具的自动探索控制
US10778967B2 (en) * 2017-08-24 2020-09-15 Qualcomm Incorporated Systems and methods for improving performance of a robotic vehicle by managing on-board camera defects
US20190068829A1 (en) * 2017-08-24 2019-02-28 Qualcomm Incorporated Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Obstructions
CN111093907B (zh) * 2017-08-30 2023-07-04 高通股份有限公司 机器人式运载工具的稳健导航
CN111247390B (zh) * 2017-10-06 2023-09-01 高通股份有限公司 Vslam的并发的重新定位和重新初始化
US20190243376A1 (en) * 2018-02-05 2019-08-08 Qualcomm Incorporated Actively Complementing Exposure Settings for Autonomous Navigation
KR102557049B1 (ko) * 2018-03-30 2023-07-19 한국전자통신연구원 Slam 기반 카메라 추적에서 라벨된 키프레임을 이용한 이미지 특징 매칭 방법 및 장치
GB2572755B (en) * 2018-04-05 2020-06-10 Imagination Tech Ltd Matching local image feature descriptors
US10462359B1 (en) * 2018-04-13 2019-10-29 Adobe Inc. Image composition instruction based on reference image perspective
US11288412B2 (en) * 2018-04-18 2022-03-29 The Board Of Trustees Of The University Of Illinois Computation of point clouds and joint display of point clouds and building information models with project schedules for monitoring construction progress, productivity, and risk for delays
US10733761B2 (en) * 2018-06-29 2020-08-04 Zoox, Inc. Sensor calibration
US11669086B2 (en) * 2018-07-13 2023-06-06 Irobot Corporation Mobile robot cleaning system
DE102019206036A1 (de) * 2019-04-26 2020-10-29 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung der geografischen Position und Orientierung eines Fahrzeugs

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090295908A1 (en) * 2008-01-22 2009-12-03 Morteza Gharib Method and device for high-resolution three-dimensional imaging which obtains camera pose using defocusing
CN101587591A (zh) * 2009-05-27 2009-11-25 北京航空航天大学 基于双参数阈值分割的视觉精确跟踪技术
US20120307085A1 (en) * 2011-06-06 2012-12-06 Mantzel William E Methods and systems for image stabilization
CN102682292A (zh) * 2012-05-10 2012-09-19 清华大学 基于单目视觉的道路边缘检测及粗定位方法
WO2014048590A1 (en) * 2012-09-27 2014-04-03 Metaio Gmbh Image processing method, particularly used in a vision-based localization of a device
CN104662435A (zh) * 2012-09-27 2015-05-27 Metaio有限公司 确定与用于捕获至少一个图像的捕获装置关联的装置的位置和方向的方法
US20140129027A1 (en) * 2012-11-02 2014-05-08 Irobot Corporation Simultaneous Localization And Mapping For A Mobile Robot
US9201424B1 (en) * 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
EP2894602A1 (en) * 2014-01-13 2015-07-15 Honeywell International Inc. A method of using image warping for geo-registration feature matching in vision-aided positioning
US20150363970A1 (en) * 2014-06-16 2015-12-17 Replica Labs, Inc. Model and Sizing Information from Smartphone Acquired Image Sequences
US20150371440A1 (en) * 2014-06-19 2015-12-24 Qualcomm Incorporated Zero-baseline 3d map initialization
CN104537709A (zh) * 2014-12-15 2015-04-22 西北工业大学 一种基于位姿变化的实时三维重建关键帧确定方法
US20170018086A1 (en) * 2015-07-16 2017-01-19 Google Inc. Camera pose estimation for mobile devices
CN106407974A (zh) * 2015-07-28 2017-02-15 通用汽车环球科技运作有限责任公司 用于感兴趣目标的目标定位和姿态估计的方法
CN105783913A (zh) * 2016-03-08 2016-07-20 中山大学 一种融合车载多传感器的slam装置及其控制方法
CN105928505A (zh) * 2016-04-19 2016-09-07 深圳市神州云海智能科技有限公司 移动机器人的位姿确定方法和设备
CN105953798A (zh) * 2016-04-19 2016-09-21 深圳市神州云海智能科技有限公司 移动机器人的位姿确定方法和设备
CN106679648A (zh) * 2016-12-08 2017-05-17 东南大学 一种基于遗传算法的视觉惯性组合的slam方法

Also Published As

Publication number Publication date
WO2019019157A1 (en) 2019-01-31
US20200167953A1 (en) 2020-05-28
US11080890B2 (en) 2021-08-03

Similar Documents

Publication Publication Date Title
US11080890B2 (en) Image sensor initialization in a robotic vehicle
CN111093907B (zh) 机器人式运载工具的稳健导航
EP3158417B1 (en) Sensor fusion using inertial and image sensors
EP3158412B1 (en) Sensor fusion using inertial and image sensors
US11019322B2 (en) Estimation system and automobile
EP3158293B1 (en) Sensor fusion using inertial and image sensors
CN111247390B (zh) Vslam的并发的重新定位和重新初始化
WO2018053861A1 (en) Methods and system for vision-based landing
US20190243376A1 (en) Actively Complementing Exposure Settings for Autonomous Navigation
US20200117210A1 (en) Auto-Exploration Control of a Robotic Vehicle
WO2019019136A1 (en) SYSTEMS AND METHODS FOR USING SEMANTIC INFORMATION FOR NAVIGATING A ROBOTIC DEVICE
EP3734394A1 (en) Sensor fusion using inertial and image sensors
CN109792484B (zh) 无人自主飞行器中的图像处理
CN110998235B (zh) 在机器人式运载工具中的图像输出调整
WO2019019172A1 (en) ADAPTIVE IMAGE PROCESSING IN A ROBOTIC VEHICLE
WO2023141740A1 (en) Method and system for loop closure detection
WO2024124421A1 (en) Robot rotation matrix estimation using manhattan world assumption
WO2023060461A1 (en) Selecting a frontier goal for autonomous map building within a space
WO2023137744A1 (en) Methods of camera-to-robotic device calibration
WO2019019139A1 (en) IMAGE SENSOR CALIBRATION IN A ROBOTIC VEHICLE

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200501

WD01 Invention patent application deemed withdrawn after publication