CN108369420B - 用于自主定位的设备和方法 - Google Patents

用于自主定位的设备和方法 Download PDF

Info

Publication number
CN108369420B
CN108369420B CN201680062503.9A CN201680062503A CN108369420B CN 108369420 B CN108369420 B CN 108369420B CN 201680062503 A CN201680062503 A CN 201680062503A CN 108369420 B CN108369420 B CN 108369420B
Authority
CN
China
Prior art keywords
robot
camera
sensor
data
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680062503.9A
Other languages
English (en)
Other versions
CN108369420A (zh
Inventor
阿赫蒂·海因拉
卡勒-拉斯穆斯·沃尔科夫
林赛·罗伯茨
因德列克·曼德雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Starship Technologies OU
Original Assignee
Starship Technologies OU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Starship Technologies OU filed Critical Starship Technologies OU
Publication of CN108369420A publication Critical patent/CN108369420A/zh
Application granted granted Critical
Publication of CN108369420B publication Critical patent/CN108369420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/227—Handing over between remote control and on-board control; Handing over between remote control arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G05D1/2435—Extracting 3D information
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/646—Following a predefined trajectory, e.g. a line marked on the floor or a flight path
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/65—Following a desired speed profile
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G06Q10/0833—Tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/245—Arrangements for determining position or orientation using dead reckoning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G05D1/248—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons generated by satellites, e.g. GPS
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/644—Optimisation of travel parameters, e.g. of energy consumption, journey time or distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

公开了移动机器人，该移动机器人包括：包括至少地图数据的至少一个存储器部件；适于拍摄视觉图像的至少两个相机；以及适于从由该至少两个相机拍摄的视觉图像中至少提取直线、并将它们与地图数据相比较以至少定位机器人的至少一个处理部件。还公开了定位方法，该定位方法包括：使用至少两个相机拍摄视觉图像；使用至少一个处理部件从各个视觉图像中提取直线；将所提取的特征与现有地图数据相比较；以及基于所述比较来输出位置假设。

Description

用于自主定位的设备和方法
技术领域
本发明涉及由移动机器人执行的定位。更具体地，本发明涉及使用多个相机拍摄视觉图像来进行定位。
背景技术
由于使得能够用于半自主和自主机器人的机器人技术的发展，移动机器人的定位已经成为活跃的研究领域。移动机器人必须具有至少估计其在空间中的位置以具有目的的继续运动的方法。为了估计它的位置，机器人必须使用可以将它本身放置在其上的某种地图。这样的地图可以预先加载到机器人上，也可以由机器人本身来获得。在后一种情况下，可以与机器人定位同时获得该地图，或者可以首先研发该地图以稍后用作定位的一部分。定位的最新架构包括相对于其完成定位的坐标系和作为位置和定向的组合的姿态。可以相对于绝对坐标系(例如GPS坐标)或者相对坐标系(例如相对于某个已知位置和/或对象的定位)来完成定位。可以任意选择坐标系，只要它是一致的并且可以根据需要转换成某个标准坐标系(例如WGS84)即可。
多个传感器读数可以有助于姿态计算——所述多个传感器读数可以使用GPS接收器、激光雷达(光雷达)传感器、相机、里程计、陀螺仪、加速度计、磁力计、飞行时间相机以及雷达传感器来确定。在定位的背景下存在重要的区别：可以基于现有的地图来完成，或者可以与地图绘制同时完成。后者被称为SLAM(同时定位和地图绘制)，并且是在探索先前未知的环境的同时执行定位的情况下优选的方法。如果地图已经可用，则该任务变得更容易。例如，在室内环境(例如公寓或医院)或者结构化室外环境(例如联合工厂)中的定位更容易，因为很容易获得详细的地图，并且短期内不可能发生显著改变。在非结构化环境(例如城市、郊区和/或村庄)中进行室外定位是比较大的挑战。首先，公开可用的地图对于机器人的自主运动来说不够精确。其次，即使在地图存在的情况下，它们很可能会由于出现了新的障碍以及旧的道路消失而很快过时。可以在定位***例如GPS(全球定位***)、GLONASS(全球导航卫星***)或伽利略的帮助下完成室外定位。然而，这些***(可供公众使用)的精确度为1至10米的量级。这对于用于自主机器人导航的定位来说是不够的。
定位问题的现有解决方案强烈依赖于要定位的对象的预期应用。
US 8,717,545 B2公开了一种使用来自激光雷达***的距离和多普勒速度测量结果和来自视频***的图像来估计目标的六自由度轨迹的***。一旦估计了该目标的运动方面，就可以生成目标的三维图像。
US 7,015,831 B2公开了一种使用视觉传感器和航位推测(dead reckoning)传感器来处理同时定位和地图绘制(SLAM)的方法和装置。有利地，这样的视觉技术可以用于自主地生成和更新地图。与激光测距仪不同，视觉技术在广泛应用中是经济实用的，并且可以用于相对动态的环境例如人们移动的环境中。
所公开的方法可以在室内环境中操作的自动真空清洁器中实现。
US 8,305,430B2公开了一种用于在单目配置中对任意数目的相机进行固定的或已知的校准的视觉测距***和方法。从这种分布式光圈***中的每个相机收集的图像具有可忽略的重叠或者完全无重叠。
该***使用多个相机，但是在比较和细化它们之前分别在每个相机中生成姿态假设。
Schindler等人(3D Data Processing,Visualization,and Transmission,ThirdInternational Symposium，846-853页，IEEE，2006年)讨论了用于恢复来自多个广泛分离的视图的场景中的3D线条结构的新颖方法。在这种方法中，借助基于EM的消失点估计方法在图像中自动检测2D线条，所述基于EM的消失点估计方法假设沿着相互正交的消失方向存在边缘。呈现了基于跨图像手动创建的特征对应的城市场景的3D重建结果。
Murillo,A.C.等人(Robotics and Autonomous Systems 55，第5号(2007年)：372-382)提出了一种用于使用全向相机的全球机器人定位的新的基于视觉的方法。拓扑和度量定位信息被组合在高效的、分层过程中，其中，每个步骤比前一步骤更复杂和准确，但是评估的图像更少。
发明内容
在权利要求以及在下面的描述中说明了本发明。在从属权利要求和各种实施方式的描述中具体地说明了优选的实施方式。
在第一方面，本发明提供了一种移动机器人，其包括(i)包括至少地图数据的至少一个存储器部件；(ii)适于拍摄环境的视觉图像的至少两个相机；以及(iii)适于从由至少两个相机拍摄的视觉图像中至少提取直线、并将它们与地图数据相比较以至少定位机器人的至少一个处理部件。
在第二方面，提供了使用本发明的定位方法。定位方法可以使用本文中所描述的***的任何特征。定位方法可以包括使用至少两个相机拍摄视觉图像。定位方法还可以包括使用至少一个处理部件从各个视觉图像中提取直线。该方法还可以包括将所提取的特征与现有地图数据相比较。该方法还可以包括基于所提取的特征与地图数据之间的比较来输出位置假设。
在一些实施方式中，定位方法还可以包括使用所输出的位置假设来输出移动机器人姿态的步骤。该方法还可以包括使用所获得的姿态来对移动机器人进行导航。在一些实施方式中，机器人可以适于对其本身进行导航，即机器人是自主的和/或半自主的。
在一些实施方式中，将所提取的特征和/或直线与现有地图数据相比较并输出位置假设可以包括使用迭代概率算法来确定在给定所存储的地图数据的情况下的最佳位置假设。在一些优选的实施方式中，可以使用基于粒子滤波的算法。特别地，使用迭代概率算法是有利的，因为地图数据和从相机图像中提取的线条均可以包括与机器人的传感器(例如相机)相关联的误差和/或与生成地图数据的过程相关联的误差。为了处理数据及其相关联的误差，将概率分配给不同的可能的结果或输出并对它们进行迭代处理是可行的。这可以导致更稳健且更可靠的输出、增加定位方法的成功。在另一实施方式中，本发明提供了包括至少两个移动机器人的移动机器人集合，并且每个机器人包括：(i)包括至少地图数据的至少一个存储器部件；(ii)适于拍摄环境的视觉图像的至少两个相机；(iii)适于从由至少一个相机拍摄的视觉图像中至少提取特征、并将它们与地图数据相比较以至少定位机器人的至少一个处理部件；以及(iv)适于在机器人之间发送和接收数据特别是图像和/或地图数据的至少一个通信部件。
在另一实施方式中，提供了使用本发明的地图绘制方法。该地图绘制方法可以使用上文和下文列出的***的任何特征。该地图绘制方法包括：(i)操作包括至少两个相机和至少一个处理部件的至少一个移动机器人；(ii)使用至少一个机器人的至少两个相机拍摄视觉图像；(iii)对通过组合来自至少两个相机的视觉图像而生成的文件执行预处理；(iv)使用至少一个处理部件从各个视觉图像中提取特征；以及(v)使用从视觉图像中所提取的特征来构建地图数据。
在另一实施方式中，提供了使用本发明的定位方法。该定位方法可以使用本文中所描述的***的任何特征。该定位方法包括：(i)操作包括至少两个相机、至少一个存储器部件以及至少一个处理部件的至少一个移动机器人；(ii)使用至少一个机器人的至少两个相机部件拍摄视觉图像；(iii)对通过组合来自至少两个相机的视觉图像而生成的文件执行预处理；(iv)使用至少一个处理部件从各个视觉图像中提取特征；(v)将所提取的特征与存储在至少一个机器人的至少一个存储器部件中的现有地图数据相比较；以及(vi)使用(v)中的比较来定位至少一个机器人。
在另一实施方式中，提供了使用本发明的定位方法。该定位方法可以使用本文中所描述的***的任何特征。该方法包括：(i)提供包括至少一个航位推测部件、至少两个相机、至少一个存储器部件以及至少一个处理部件的至少一个移动机器人；以及(ii)使用至少一个机器人的至少两个相机部件拍摄视觉图像；以及(iii)使用至少一个处理部件从各个视觉图像中提取特征；以及(iv)从(iii)中所提取的特征获得位置相关数据；以及(v)从至少一个航位推测部件接收位置相关数据；以及(vi)将(iv)中从提取自视觉图像的特征获得的位置相关数据与(v)中从至少航位推测部件接收的、基于与它们中的每一个相关联的误差而加权的位置相关数据相组合；以及(vii)基于(vi)中相组合的数据来形成关于机器人的姿态的假设。
移动机器人可以是自主和/或半自主机器人。机器人可以是基于陆地的。机器人可以适于在地面上移动。特别地，机器人可以被轮转并且适于在包括移动和固定障碍物的非结构化城市区域中移动。在一个实施方式中，机器人包括一组安装在框架上的至少4(四)个轮子。机器人还可以包括安装在框架上的本体。机器人还可以包括安装在本体上和/或框架上的灯。该灯可以是LED灯。这些灯可以帮助机器人在短标度内进行定位和/或导航和/或进行障碍物检测。灯可以在黑暗和/或黄昏时照亮机器人在其中操作的环境。附加地或可替选地，机器人可以包括用于与其周围例如城市区域例如行人通道上的行人通信的至少一个麦克风和/或至少一个扬声器。
本文中所描述的相机和其他部件可以安装在机器人的框架上和/或本体上。在一个特定实施方式中，机器人的尺寸为宽度：40至70cm，例如约55cm；高度：40至70cm，例如约60cm；长度：50至80cm，例如约65cm。本发明可以包括多于一个机器人。在一个实施方式中，机器人可以在其大部分操作期间自主操作，例如约95％的时间、约97％的时间、约98％的时间或约99％的时间。机器人可以适于以不超过10km/h、或不超过8km/h、或不超过6km/h的速度行进。在优选的实施方式中，机器人以3km/h与6km/h之间的速度和/或以4km/h与5km/h之间的速度行驶。在优选的实施方式中，机器人可以用于输送目的。机器人可以在其本体内包括在运输期间可以存储至少一个输送物的封闭空间。机器人还可以包括用于提供对空间的访问的安全访问设备。该设备可以是由安全接口控制的锁和/或闭合机构。机器人和输送物可以具有不超过40kg例如不超过35kg、例如不超过30kg、例如不超过25kg的组合重量。在优选的实施方式中，机器人和输送物具有10至25kg的组合重量，更优选地为10至20kg。
移动机器人的存储器部件可以包括随机存取存储器(RAM)器件。它可以是独立部件，或者在优选的实施方式中可以是片上***(SoC)的集成部分。存储器部件优选地存储至少可以与机器人的当前操作区域和/或预期操作区域有关的地图数据。操作区域、也称为操作的区域可以是固定的，或者可以在机器人操作过程期间进行修改。在优选的实施方式中，操作区域包括可以由城市、村庄、社区和/或城市的任意定义部分组成的居住区域。操作区域也可以包括具有独立的人类居住区的区域和/或人类常去的区域。
可以存储在存储器部件内的地图数据可以包括相对于某个坐标系定义的多个矢量、直线、点特征和/或网格特征。地图数据可以包括相对于任意但固定的坐标系定义的两个点和/或点和方向。该坐标系可以绑定至机器人，例如，将相机中的一个用作原点，运动方向用作x轴。坐标系也可以独立于机器人，例如GPS***。坐标系可以是近似球体的一部分的笛卡尔坐标系，使得曲率不会引入显著误差。坐标系可以被转换成GPS坐标系(例如WGS84)和/或其他标准***。因此，地图数据也可以被转换成标准坐标系，例如GPS坐标。网格特征可以包括并非线条的扩展对象例如几何形状。例如，在一些实施方式中，街杆可以被建模为半径随高度变化的几何对象。然后，这些可以被视为网格特征。此外，矩形或基本上矩形的对象可以被视为网格特征。这些可以包括例如门、窗户和/或其他物体。附加地或可替选地，基本上圆形、椭圆形、三角形和不同形状的物体可以包括网格特征。地图数据可以简单地包括与直线和/或物理对象(地标)的位置和/或机器人姿态相对于某个坐标系的位置相对应的数字的集合。还可以存在多个针对地图数据定义的坐标系。地图数据还可以包括基于相机图像线条获得的线条。即，从相机图像中提取的线条可以通过算法运行来验证它们是否属于实际地标(即物理对象)，以及它们中的一些是否可以合并。在这个阶段，可以调整线条相对于彼此和/或相对于机器人的位置，因为如果确定了从不同相机拍摄的和/或在不同时间点拍摄的图像中提取的线条属于相同的地标，则这些线条可以被组合。如果确定某些线条可能属于瞬态物体(例如卡车或汽车)、灯光效果和/或相机效果，则也可以放弃这些线条。然后，地图数据可以包括基于从图像中提取的线条但是通过特定算法处理以主要或仅包括属于地标、组合线和/或具有调整位置的线条的这种线条的集合。地图数据还可以包括与矢量、点特征相关联的误差估计和/或与地标相关联的线条。地图数据还可以包括可见性信息。即，可以看到关于从哪个位置给出地标的信息。换句话说，例如，如果墙壁会阻挡地标或物理对象，则无法从墙后的位置看到该地标或物理对象，该信息也可以包括在地图数据中。这在例如当机器人使用地图进行导航时是可行的，它将不检测附近的但被阻挡的地标或物理对象。可见性信息还可以考虑机器人的相机的高度以确定哪些对象在哪些位置可见。
机器人上的相机通常适于在其操作区域内拍摄机器人周围环境的视觉图像。典型地，周围环境包括紧密定位的视觉对象，例如位于距机器人约1km或更小、500m或更小、300m或更小、200m或更小或100m或更小的半径内的对象。因此，机器人可以适于拍摄和处理在机器人周围约1km或更少、500m或更少、300m或更少、200m或更少或100m或更少的半径内的图像。环境通常是随时间变化的非结构化室外环境和机器人沿着其路径行进的机器人的地理环境。例如，如果机器人经过商场、车库、公寓楼、办公楼等行进，则环境也可以至少部分是室内或屋顶下方。
移动机器人的相机可以例如类似于智能电话相机。它们可以适于每秒捕捉1至10个图像，更优选地每秒捕捉3至5个图像，或更优选地每秒捕捉4个图像。相机视角可以为10°至120°，更优选地为40°至100°，更优选地为60°至80°。机器人可以包括多个相机。在优选的实施方式中，机器人包括至少4(四)个相机。在更优选的实施方式中，机器人包括9(九)个相机。相机可以放置在机器人本体周围的任何地方，优选地在优化不同相机的视角的位置。一些相机可以是立体相机。在优选的实施方式中，一对前部相机是立体相机。在更优选的实施方式中，机器人包括4(四)对立体相机。在该优选的实施方式中，立体相机被定位在机器人的前部、机器人的两侧以及机器人的后部。一个或更多个相机被定位在机器人的前部。立体相机可以用于对视觉图像中捕捉到的物体进行三角测量。立体相机可以改善视觉图像的景深感知。立体相机之间的距离可以为5至20cm。在优选的实施方式中，前部和后部立体相机之间的距离为5至10cm，侧面的立体相机之间的距离为15至20cm。可以将相机放置在机器人上以拍摄横向视觉图像和/或纵向视觉图像。横向视觉图像可以理解为意味着其中较宽的相机捕捉角度大致与地面平行，并且较窄的相机捕捉角度大致与地面垂直的视觉图像。在优选的实施方式中，侧面的相机被纵向放置，并且前部和后部相机被横向放置。在一个实施方式中，相机可以拍摄非结构化室外环境的视觉图像。该环境可以包括以下中的至少一个或任意组合：包括固定和移动障碍物(例如行人、动物、婴儿车、轮椅、邮箱、垃圾桶、街灯等)的行人通道、包括车辆、自行车、交通信号灯等的车辆道路和/或其他可穿过的环境例如停车场、草坪和/或田地。
使用多个相机来定位机器人可以是特别有利的。多个相机可以指向多个方向，因此覆盖机器人周围环境的较大部分。此外，如果一个相机包括缺陷和/或被阻挡，则其他相机可以使得机器人仍然能够执行定位。这可能与室外运行的机器人特别相关，因为天气条件例如阳光、雨、雪、雾、冰雹等可能阻挡相机的视野。多个相机对于当前发明也是特别有利的，因为一些地标和/或物理对象可以在由不同相机拍摄的图像上看到。可以使用算法来确认这些线条确实属于地标和/或属于物理对象。相反，如果只在一个相机上看到线条或若干条线，则这些线条可能是光的伪影和/或仅由一台相机捕捉到的瞬态对象。这在当线条与地标相关联和/或与现有地图相比较时是非常有利的。
处理部件可以是片上***(SoC)的一部分和/或包括片上***(SoC)，例如类似于智能电话处理器。存储器部件可以是同一SoC的一部分。处理部件可以适于使用由相机捕捉到的视觉图像来定位机器人。处理部件还可以优选地适于从相机捕捉到的视觉图像中提取特征。在一个优选的实施方式中，特征可以是直线。可以通过在线条提取算法(例如Hough变换)之后将边缘检测算法(例如Canny算法)应用于预处理的视觉图像来提取直线。预处理可以包括组合图像、锐化图像、平滑图像和/或增加图像对比度。它还可以包括对图像色彩方案进行的任何调整。
所提取的特征可以用于构建机器人操作区域的地图和/或使用现有地图对机器人进行定位。地图可以包括相对于某个坐标系定义的矢量和/或线条和/或线段和/或点特征和/或网格特征的集合。地图可以预先加载至机器人的存储器部件上。可替选地，在操作期间将地图下载至存储器部件上。由于机器人在地理区域之间移动，因此地图可以分段下载。
机器人上的相机可以在机器人在操作区域中徘徊期间拍摄机器人周围的视觉图像。相机可以适于以每秒1至10个图像的频率拍摄图像，例如以每秒2至8个图像、或每秒3至7个图像、或每秒3至5个图像或每秒4至6个图像的频率拍摄图像。在一个实施方式中，相机适于以每秒4个图像的频率拍摄图像。优选地，在机器人操作期间以所描述的频率连续执行图像捕捉，即机器人优选地适于在其操作期间使用相机中的一个、优选地使用全部相机连续地拍摄图像。然后视觉图像可以被组合成一个文件并进行预处理。优选地，来自不同相机的图像被同时拍摄。这可能意味着要处理的不同图像的时间差远小于处理的连续图像之间的时间。在预处理之后，包含预处理图像数据的文件被分成表示不同相机的各个图像文件，并从各个图像中提取直线。然后将直线相组合并用于构建机器人操作区域的地图数据。
在又一实施方式中，机器人已经将地图数据存储在其存储器部件上。然后将所提取的直线与所存储的地图数据相比较，并通过运行粒子滤波来对机器人姿态的概率分布建模。然后基于该比较来选择最佳姿态。以下是对本发明背景中的粒子滤波方法的详细描述。
粒子滤波是在多个应用中使用的以将可能性分配给***的多个概率状态的迭代算法。除了对最可能的状态的估计以外，粒子滤波还会为每种可能性提供误差估计。基本思想是考虑一定固定数目的“粒子”或***的潜在状态。所使用的粒子的数目基于应用和可用计算能力而变化。本文中所描述的发明可以在粒子滤波中使用10至1000个粒子之间的任意值，更优选地在100至1000个，甚至更优选地在约500个。机器人的位置可以被建模为高斯，然后，误差可以由可以写作如下的协方差矩阵给出：
Figure BDA0001640402890000081
其中，R为旋转矩阵，D为方差的对角矩阵(标准偏差的平方)。然后可以推导出概率p的置信域。在二维情况下(M＝2)，这个区域可以包括具有半径
Figure BDA0001640402890000082
和
Figure BDA0001640402890000083
的椭圆。注意，
Figure BDA0001640402890000084
是指逆累积分布函数的平方根，即分位函数的平方根。例如，正态分布的值落入被旋转R且具有半径2σ1和2σ2(因为
Figure BDA0001640402890000093
)的椭圆内的概率为约87％。
每个粒子都可以带有机器人状态的假设，即机器人的位置和定向xi(t)以及指示假设的强度的权重(数wi(t))。权重仅在有其他粒子的情况下才有意义，因此并非其绝对值而是它与其他粒子权重的相对值才是重要的。然后可以(以示意形式)如下计算机器人在某个时间t的位置：
Figure BDA0001640402890000091
其中，N为粒子的总数，wi为粒子i的权重，且xi为粒子的位置。然后，可以以标准方式如下估计机器人位置的误差(标准偏差)：
Figure BDA0001640402890000092
这里，假设
Figure BDA0001640402890000094
。这里还假设粒子云是单模态的，即粒子集中在搜寻空间中的一个独特的位置周围。在优选的实施方式中，本发明还适于检测多模态分布，即粒子集中在两个或更多个独特的位置周围的情况。注意，上面是该方法的示意性示例，并且可以使用更为涉及的方法来计算误差。这是由于机器人定向的误差(涉及3D旋转)更多地涉及机器人x-y位置中的误差并且需要更仔细地处理的事实。实际上，使用这种方法无法适当地估计旋转自由度的误差。例如，旋转(方位角方向)-179°和+179°的两个粒子的算术平均值为0°。这显然不表示现实，因为真正的平均值必须是-180°或+180°。常规地，旋转自由度通常用欧拉角表示。可以涉及计算这些变量的协方差矩阵，并且可以使用其他方法。
粒子滤波中使用的输入可以来自两种类型的传感器输入：控制输入和感测输入。控制输入可以包括里程计读数和/或陀螺仪读数。传感器输入可以包括GPS读数、磁力计读数、加速度计读数和/或视觉相机读数。所有读数都可以首先在机器人的处理部件内进行处理，或者在适当的情况下如所接收的来使用。控制输入可以用于直接地推进粒子的位置。这可能会导致机器人姿态误差估计增加，因为粒子由于误差而漂移。传感器输入可以用于修改粒子的权重，从而降低其位置与传感器读数不符的粒子的权重。这可以有助于减少姿态误差估计。
控制输入可以包括它们的随机误差的估计。它们可以用于为每个粒子生成一组单独的增量运动和旋转值。示意性地，我们有：
ci(t)＝RND(c(t),∑c(t))
xi(t)＝f(xi(t-1)，ci(t))
其中，在第一行中，ci是粒子i的包含误差的控制输入，RND(σc)是随机误差生成器(通常是正态分布)，以及c(t)是具有给定协方差矩阵∑c(t)(控制输入误差估计)的控制输入。第二行指示第i个粒子位置xi(t)可以使用在时间t-1处粒子的位置xi(t-1)以及采样的控制输入经由函数f来计算。增加随机值的目的是对机器人姿态的误差分布建模。因此所有可能的机器人姿态在一个步长可以被覆盖。可以在移动之后从机器人位置的概率分布中进行采样。在许多步长之后，每个粒子最终都会在不同的方向上漂移，并且位置误差的估计将会无限增长。
为了解决这个问题，可以使用感测输入。在下文中，GPS传感器被用作感测输入的示例实施方式。GPS软件提供GPS天线的位置和该位置的误差估计的协方差矩阵。因此，GPS位置可以被建模为高斯。由此可知，可以如下计算机器人在某个区域Ai的准确概率：
Figure BDA0001640402890000101
其中，g(t)为时间t时的GPS位置，∑GPS为给定GPS位置的误差估计的协方差矩阵。这可以简化为
Figure BDA0001640402890000102
其中，k为常数，CGPS为GPS传感器的加权系数。时间增量Δt是测量之间的时间，并且用于体现粒子的“衰减速率”。如果测量是以可变间隔完成的话，这一点尤为重要。然后，可以如下获得相对于GPS传感器在时间步长t处的每个粒子的权重：
Figure BDA0001640402890000103
量
Figure BDA0001640402890000104
不完全是粒子的概率。相反，将其视为关于GPS传感器测量结果的粒子的适应性是有意义的。更靠近GPS位置的粒子得到更大的
Figure BDA0001640402890000105
，因此它们的权重不会减少如具有低适应度的粒子那么多。所有这些都可以以相对的方式即一个粒子相较于另一粒子的方式来看。
注意，GPS传感器可以放置在机器人框架的中心或其他位置，并且在相比较时可以向机器人位置增加该偏移。同样注意，GPS读数可能包含较大的***误差，这里简化了这种处理。除了GPS以外，机器人可以包括另外的传感器例如磁力计、加速度计和/或相机。对于这些传感器中的每一个，可以计算适应度值，并且可以通过下式给出因此得到的粒子权重：
Figure BDA0001640402890000111
其中，
Figure BDA0001640402890000114
是指相对于给定传感器的粒子权重，并且可由下式给出：
Figure BDA0001640402890000112
每个传感器的加权系数
Figure BDA0001640402890000115
决定了每个传感器与其他传感器的比较程度。即，给定传感器影响其他粒子的强度和速度有多快。该系数可以基于测试和传感器质量进行调整。此外，代替使用加权系数，可以直接修改协方差矩阵
Figure BDA0001640402890000116
以对其内的误差更好地建模。例如，对于GPS传感器，可以向协方差矩阵的所有对角元素增加恒定值。
以这种方式，不符合传感器读数的粒子可以比符合传感器读数的粒子获得减少更多的权重。考虑传感器的输入，可以如下将粒子权重标准化：
Figure BDA0001640402890000113
最终，在多个时间步长之后，许多粒子将具有与具有较大权重的一些粒子相比可以忽略不计的权重。在没有任何重采样步骤的情况下，这种影响会逐渐变差。如果该过程继续，则粒子滤波将输出仅具有相对高权重的一些粒子以及具有边缘权重的其余粒子——这是粒子滤波可能失败的一种方式，因为仅一个粒子不能很好地表示机器人姿态概率分布。为了防止这种情况，需要丢弃在机器人姿态的边缘概率区域中的粒子以及在机器人姿态的大概率区域中创建新粒子的方法，同时保持误差估计的分布与之前一样。这被称为重采样步骤。一种可以使用的方法是顺序重要性重采样(SIR)。每个步长均运行SIR就计算资源而言是浪费的，而且实际上可能会导致某些“良好”的粒子丢失。因此，只有在“有效”粒子的数目达到特定条件时才运行SIR。例如，这种情况可能例如与粒子的有效数目低于粒子总数的一半有关(这里有效是指非边缘粒子)。
处理部件适于以至多10cm的误差来定位机器人。在优选的实施方式中，处理部件适于以至多5cm的误差来定位机器人。在更优选的实施方式中，处理部件适于以至多3cm的误差来定位机器人。定位的精度可以取决于相机的数目和/或相机的相对位置的了解和/或***的校准。与位于较远的对象相比，可以更精确地针对位于较近的对象进行定位。
处理部件可以将从不同相机拍摄的视觉图像中提取的特征组合成相干地图和/或使用相组合的提取特征进行定位。处理部件适于通过使用基于所提取的特征的视觉定位以及地图信息和关于机器人的预期目的地的信息来提供关于机器人的导航的指令。导航可以包括通过沿某个方向移动和/或旋转来改变机器人的姿态(6自由度的位置和定向数据)。导航还可以包括做出关于最佳移动过程的决策并根据定位信息来适应性调整这些决策。
机器人还可以包括适于测量与环境和/或机器人的定位相关的不同参数的多个传感器。传感器可以包括以下中的至少一个或任意组合：至少一个GPS部件、至少一个加速度计、至少一个陀螺仪(在优选的实施方式中为4(四)个陀螺仪)、至少一个里程计、至少一个磁力计、至少一个飞行时间相机和/或至少一个激光雷达传感器。优选的实施方式包括所有这些传感器中的至少一个。在优选的实施方式中，传感器测量与机器人姿态相关的数据。处理部件通过首先处理传感器数据以进行大致姿态估计，然后通过使用视觉定位来改善该估计以进行定位。例如，可以通过使用粒子滤波来完成姿态改善。从视觉图像中提取的特征可以与包括与一组不同姿态相对应的特征的地图相比较。然后，粒子滤波可以基于每个姿态的可能性从该组中选择最可能的姿态估计。处理部件可以适于基于以设定的时间间隔基于估计机器人姿态的迭代算法来定位机器人。这种迭代算法可以依赖于粒子滤波方法的应用。关于机器人姿态的假设可以包括来自至少一个传感器的数据，所述至少一个传感器例如至少一个相机、GPS部件、里程计、加速计、飞行时间相机和/或磁力计。传感器的数据还可以是绝对的(例如来自GPS部件的数据和/或从视觉相机图像获得的数据)或相对于先前的机器人姿态(例如来自里程计和/或陀螺仪的数据)。
机器人还可以包括压力传感器。压力传感器可以用于基于精确高度的定位。在一个实施方式中，另一压力传感器可以位于机器人的操作区域内的已知位置处，例如枢纽处。该枢纽可以是物理位置(例如停车场)、物理结构(例如房屋、仓库、集装箱、谷仓、库房和/或车库)、和/或移动结构(例如卡车、拖车和/或火车车厢)。该枢纽可以用作机器人的存储、维护、修理、再充电和再供应站。一个枢纽可以包括一个或更多个机器人。在优选的实施方式中，一个枢纽可以服务多个机器人，例如20至200个机器人。使用放置在枢纽的位置处的压力传感器，可以创建精确的高度参考，并且可以通过将来自机器人压力传感器的数据与来自枢纽的压力传感器的数据相比较来改善机器人的定位。
如上所述，机器人的处理部件还可以适于通过执行估计机器人姿态的迭代算法来定位机器人，优选地，所述算法至少部分地基于粒子滤波算法。然而，也可以使用不同的算法来完成定位，例如迭代优化算法，其中，未知变量包括机器人姿态。
在一些实施方式中，迭代算法可以适于通过处理来自至少一个传感器的数据来生成关于机器人姿态的假设，所述至少一个传感器例如至少一个相机、至少一个GPS部件、至少一个里程计、至少一个陀螺仪、至少一个激光雷达传感器、至少一个飞行时间相机、至少一个超声波传感器、至少一个压力传感器、至少一个航位推测传感器和/或至少一个磁力计。
在一些实施方式中，来自至少一个相机的输入数据和/或图像数据以及来自至少一个另外的传感器的地图相关输入数据可以用于生成机器人姿态的估计。在这样的实施方式中，对估计或优化的每个贡献可以基于与相机的和/或给定传感器的数据相关联的误差来被加权。即，迭代算法可以将若干输入视为机器人姿态优化的一部分。它还可以考虑这些输入及其相应误差。例如，GPS传感器估计通常包括平面上的椭圆误差估计。
机器人还可以包括适于与一个或更多个服务器交换数据特别是图像和/或地图数据的通信部件。服务器可以包括多个服务器和/或服务器群和/或一个或更多个云服务器。在一个优选的实施方式中，服务器是云服务器。在另一实施方式中，服务器包括服务器群，其中一些服务器可以是云服务器。服务器可以存储、分析和/或发送数据例如地图和定位相关数据。服务器还可以针对机器人执行计算，例如与地理地图的生成相关的计算、定位计算和/或路线计算。通信部件可以包括用于订户身份模块(SIM卡)的至少一个槽和/或调制解调器和/或网络设备，优选地，包括用于两个SIM卡的两个槽和/或两个调制解调器和/或两个网络设备。网络设备可以包括eSIM和/或类似的芯片/***。两个SIM卡和/或调制解调器的使用是优点，因为它增加了可靠性并且使得能够经由SIM卡和/或调制解调器同时通信以进行更大的和/或更快的数据传输。在优选的实施方式中，使用两个不同的移动运营商以使用两个SIM卡和/或调制解调器进行操作。在这种情况下，如果一个移动运营商不提供机器人操作区域的某些部分的覆盖，则机器人仍可以通过另一SIM卡和/或调制解调器进行通信。
机器人还可以适于以特定间隔和/或在请求来自服务器的输入之后从服务器接收导航指令。在一个实施方式中，机器人每50至150米接收导航指令。当面临不熟悉的情况时，机器人还可以向服务器发送输入请求。例如在遇到危险情况例如穿过街道时，机器人还可以请求关于其导航的手动输入。在这样的手动操作期间，远程操作员可以向机器人提供导航指令，并将其引导穿过危险区域例如穿过街道。一旦机器人到达安全的环境中，操作员可以指示机器人恢复自主导航。操作员还可以通过可以安装在机器人上的麦克风和扬声器与机器人的紧周围的人通信。然而，机器人可以在手动控制期间继续更新其定位。
在另一实施方式中，本发明公开了包括至少两个移动机器人的移动机器人集合。机器人可以如上所述。机器人可以适于经由通信模块与彼此通信。通信可以经由服务器进行路由。可以将机器人之间和/或机器人与服务器之间发送的数据组合成操作区域和/或多个操作区域的地图。用于每个地图数据的坐标可以是不同的，但它们可以分别转换成标准坐标系和/或组合在一个统一的任意坐标系中。多个操作区域可以例如对应于城市的不同部分。操作区域可以包括一个枢纽和/或多个枢纽。机器人受益于其他机器人经由地图数据交换而收集的地图数据。服务器可以协调地图数据的交换。服务器还可以存储地图数据并将其统一到全球地图中。服务器可以基于机器人的操作区域向机器人发送地图数据。如果由相机拍摄的视觉图像展示提取特征中的一致变化，则还可以由机器人更新地图数据。例如，如果在操作区域内进行新的施工作业，则可以相应地更新该操作区域。
在一些优选的实施方式中，该方法可以被自主和/或半自主移动机器人用作SLAM方法。SLAM是指同时定位和地图绘制。即，在一些实施方式中，当机器人自主地和/或半自主地导航时，该方法可以在机器人上运行。由于该算法还可以产生机器人采取的路径，因此机器人可以对其本身进行定位并且同时构建其周围的地图数据。这可能是特别有利的，因为机器人可以在不熟悉的区域中导航并且构建其地图数据，而无需事先知道该区域是什么样子。
在一些实施方式中，目前描述的方法和/或设备和/或集合可以涉及车辆、汽车和/或自驾车。即，自驾车可以使用该地图绘制方法来构建地图数据、和/或导航和/或执行SLAM。
然而，在其他实施方式中，本文中所描述的设备和/或集合即移动机器人和/或移动机器人集合基本上不同于汽车和/或自驾车。即，在这样的实施方式中，移动机器人远小于比汽车。在这样的实施方式中，机器人的典型尺寸可以如下。宽度：20至100cm，优选地40至70cm，例如约55cm。高度：20至100cm，优选地40至70cm，例如约60cm。长度：30至120cm，优选地50至80cm，例如约65cm。在这样的实施方式中，移动机器人远轻于汽车和/或自驾车。在这样的实施方式中，机器人的重量可以在2至50kg的范围内，优选地在5至40kg的范围内，更优选地在7至25kg的范围内，例如在10至20kg的范围内。在这样的实施方式中，与汽车和/或自驾车不同，机器人还可以适于在人行道上操作。它还可以具有不超过20km/h、例如不超过10km/h、优选地在4km/h与6km/h之间的速度。
即，本发明可以应用于汽车和/或自驾车的实施方式不同于其可以应用于更小和/或更轻和/或更慢的移动机器人的实施方式。
在本领域中已知自驾车可以使用多个传感器以在公共道路上自主导航。通常，自驾车使用激光雷达传感器作为定位的主要装置的主要物或之一。本发明可以提供成本、空间和装备有效的方式来以几厘米的精度定位移动机器人。本发明可以应用于自驾车，然而，目前用于自驾车的技术对于在人行道上操作的移动输送机器人上使用可能是麻烦且不切实际的。
下面，将讨论本发明的另外编号的实施方式。
一种移动机器人，包括：
(a)包括至少地图数据的至少一个存储器部件；
(b)适于拍摄环境的视觉图像的至少两个相机；以及
(c)适于从由所述至少两个相机拍摄的视觉图像中至少提取特征、并将它们与所述地图数据相比较以至少定位所述机器人的至少一个处理部件。
2.根据前一实施方式所述的机器人，其中，所述存储器部件包括至少一个随机存取存储器(RAM)器件。
3.根据前述实施方式中的任一项所述的机器人，其中，包括在所述存储器部件内的所述地图数据涉及机器人的当前操作区域和/或预期操作区域。
4.根据前述实施方式中的任一项所述的机器人，其中，所述地图数据包括相对于坐标系定义的多个矢量、点特征和/或网格特征。
5.根据前述实施方式中的任一项所述的机器人，其中，所述地图数据可以被转换成GPS坐标。
6.根据前述实施方式中的任一项所述的机器人，其中，每个相机适于每秒捕捉3至5个图像，优选地每秒捕捉4个图像。
7.根据前述实施方式中的任一项所述的机器人，其中，所述相机捕捉角为10°至120°。
8.根据前述实施方式中的任一项所述的机器人，包括至少4个相机，优选地包括9个相机。
9.根据前一实施方式所述的机器人，其中，至少一对相机是立体相机。
10.根据前一实施方式所述的机器人，其中，所述立体相机之间的距离为5至20cm。
11.根据前述实施方式中的任一项所述的机器人，其中，至少一个相机适于拍摄横向视觉图像，并且至少一个相机适于拍摄纵向视觉图像。
12.根据前述实施方式中的任一项所述的机器人，其中，所述相机和/或所述处理部件适于在如下环境中拍摄和处理视觉图像，所述环境包括行人通道、固定和/或移动障碍物以及其他可穿过的环境例如停车场、草坪和/或田地中的至少一个或任意组合。
13.根据前述实施方式中的任一项所述的机器人，其中，所述处理部件包括至少一个片上***(SoC)。
14.根据前述实施方式中的任一项所述的机器人，其中，所述处理部件适于以至多10cm、优选地至多5cm、更优选地至多3cm的误差来定位所述机器人。
15.根据前述实施方式中的任一项所述的机器人，其中，所述处理部件适于从所述视觉图像中提取直线。
16.根据前述实施方式中的任一项所述的机器人，其中，所述处理部件适于构建所述机器人的操作区域的地图数据。
17.根据前述实施方式中的任一项所述的机器人，适于使用来自所述处理部件的定位数据进行导航。
18.根据前述实施方式中的任一项所述的机器人，其中，所述处理部件将来自所述多个相机的视觉图像相组合以构建地图数据和/或定位所述机器人。
19.根据前述实施方式中的任一项所述的机器人，还包括适于测量用于定位所述机器人的另外的参数的传感器。
20.根据前一实施方式所述的机器人，其中，所述传感器包括以下中的至少一个或任意组合：至少一个GPS部件、至少一个加速度计、至少一个陀螺仪、至少一个里程计、至少一个磁力计和/或至少一个激光雷达传感器。
21.根据前述两项实施方式所述的机器人，其中，所述处理部件适于通过如下方式确定所述机器人的定位：首先处理来自所述传感器的数据以获得大致位置，然后基于对从所述视觉图像中提取的特征的处理来细化所述定位。
22.根据前述实施方式中的任一项所述的机器人，还包括用于基于精确高度定位的压力传感器。
23.根据前述实施方式中的任一项所述的机器人，还包括适于与一个或更多个服务器交换数据特别是图像和/或地图数据的通信部件。
24.根据前一实施方式所述的机器人，其中，所述通信部件包括用于至少一个订户身份模块(SIM卡)的至少一个槽，优选地包括用于2个SIM卡的2个槽以用于提高可靠性和/或同时使用两个SIM卡来同时通信。
25.根据前述两项实施方式所述的机器人，其中，所述机器人还适于以特定间隔和/或请求输入之后从所述服务器接收导航指令。
26.根据前述实施方式中的任一项所述的机器人，其中，所述机器人是自主的和/或半自主的。
27.根据前述实施方式中的任一项所述的机器人，其中，所述机器人是基于陆地的。
28.根据前述实施方式中的任一项所述的机器人，其中，所述机器人适于以不超过10km/h、或不超过8km/h、或不超过6km/h、优选地在3km/h与6km/h之间、或更优选地在4km/h与5km/h之间的速度行进。
29.根据前述实施方式中的任一项所述的机器人，其中，所述机器人被用于输送的目的。
30.根据前述实施方式中的任一项所述的机器人，其中，所述机器人及其输送物重量不超过40kg，例如不超过35kg，例如不超过30kg，例如不超过25kg，优选地在15kg与25kg之间，更优选在20kg与25kg之间。
31.根据前述实施方式中的任一项所述的机器人，其中，所述机器人还包括轮子机构，所述轮子机构包括适于基于陆地运动的至少4个轮子。
32.根据前述实施方式中的任一项所述的机器人，还包括用于保持至少一个输送物的空间。
33.根据前述实施方式中的任一项所述的机器人，还包括用于保持至少一个输送物的封闭空间。
34.根据前一实施方式所述的机器人，还包括用于提供对所述空间的访问的安全访问设备。
35.根据前一实施方式所述的机器人，其中，所述安全访问设备包括由安全接口控制的闭合机构。
36.根据前述实施方式中的任一项所述的机器人，其中，所述处理部件适于通过以设定时间间隔执行估计机器人姿态的迭代算法来定位所述机器人。
37.根据前一实施方式所述的机器人，其中，所述迭代算法应用粒子滤波方法来估计所述机器人姿态。
38.根据前述两项实施方式所述的机器人，其中，所述粒子滤波适于通过处理来自至少一个传感器的数据来生成关于机器人姿态的假设，所述至少一个传感器例如至少一个相机、GPS部件、里程计、至少一个陀螺仪、加速计和/或磁力计。
39.根据前一实施方式所述的机器人，其中，来自至少两个传感器的数据的输入数据被用来生成机器人姿态的估计，并且每个贡献基于与给定传感器的数据相关联的误差来被加权。
40.一种移动机器人，包括：
(a)包括至少地图数据的至少一个存储器部件；
(b)适于拍摄环境的视觉图像的至少两个相机；以及
(c)适于从由所述至少两个相机拍摄的所述视觉图像中至少提取直线、并将它们与所述地图数据相比较以至少定位所述机器人的至少一个处理部件。
41.根据前一实施方式所述的机器人，其中，所述存储器部件包括至少一个随机存取存储器(RAM)器件。
42.根据前述实施方式40至41中的任一项所述的机器人，其中，包括在所述存储器部件内的所述地图数据涉及机器人的当前操作区域和/或预期操作区域。
43.根据前述实施方式40至42中的任一项所述的机器人，其中，所述地图数据包括相对于坐标系定义的多个矢量、点特征和/或网格特征。
44.根据前述实施方式40至43中的任一项所述的机器人，其中，所述地图数据可以被转换为GPS坐标。
45.根据前述实施方式40至44中的任一项所述的机器人，其中，每个相机适于每秒捕捉3至5个图像，优选地每秒捕捉4个图像。
46.根据前述实施方式40至45中的任一项所述的机器人，其中，所述相机捕捉角为10°至120°。
47.根据前述实施方式40至46中的任一项所述的机器人，包括至少4个相机，优选地包括9个相机。
48.根据前一实施方式所述的机器人，其中，至少一对相机是立体相机。
49.根据前一实施方式所述的机器人，其中，所述立体相机之间的距离为5至20cm。
50.根据前述实施方式40至49中的任一项所述的机器人，其中，至少一个相机适于拍摄横向视觉图像，并且至少一个相机适于拍摄纵向视觉图像。
51.根据前述实施方式40至50中的任一项所述的机器人，其中，所述相机和/或所述处理部件适于在如下环境中拍摄和处理视觉图像，所述环境包括包含固定和/或移动障碍物的行人通道以及其他可穿过的环境例如停车场、草坪和/或田地中的至少一个或任意组合。
52.根据前述实施方式40至51中的任一项所述的机器人，其中，所述处理部件包括至少一个片上***(SoC)。
53.根据前述实施方式40至52中的任一项所述的机器人，其中，所述处理部件适于以至多10cm、优选地至多5cm、更优选地至多3cm的误差来定位所述机器人。
54.根据前述实施方式40至53中的任一项所述的机器人，其中，所述处理部件适于构建所述机器人的操作区域的地图数据。
55.根据前述实施方式40至54中的任一项所述的机器人，适于使用来自所述处理部件的定位数据进行导航。
56.根据前述实施方式40至55中的任一项所述的机器人，其中，所述处理部件将来自所述多个相机的视觉图像相组合以构建地图数据和/或定位所述机器人。
57.根据前述实施方式40至56中的任一项所述的机器人，还包括适于测量用于定位所述机器人的另外的参数的传感器。
58.根据前一实施方式所述的机器人，其中，所述传感器包括以下中的至少一个或任意组合：至少一个GPS部件、至少一个加速计、至少一个陀螺仪、至少一个里程计、至少一个磁力计和/或至少一个激光雷达传感器。
59.根据前述两项实施方式所述的机器人，其中，所述处理部件适于通过如下方式确定所述机器人的定位：首先处理来自所述传感器的数据以获得大致位置，然后基于对从所述视觉图像中提取的特征的处理来细化所述定位。
60.根据前述实施方式40至59中的任一项所述的机器人，还包括用于基于精确高度定位的压力传感器。
61.根据前述实施方式40至60中的任一项所述的机器人，还包括适于与一个或更多个服务器交换数据特别是图像和/或地图数据的通信部件。
62.根据前一实施方式所述的机器人，其中，所述通信部件包括用于至少一个订户身份模块(SIM卡)的至少一个槽，优选地包括用于2个SIM卡的2个槽以用于提高可靠性和/或同时使用两个SIM卡来同时通信。
63.根据前述两项实施方式所述的机器人，其中，所述机器人还适于以特定间隔和/或请求输入之后从所述服务器接收导航指令。
64.根据前述实施方式40至63中的任一项所述的机器人，其中，所述机器人是自主的和/或半自主的。
65.根据前述实施方式40至64中的任一项所述的机器人，其中，所述机器人是基于陆地的。
66.根据前述实施方式40至65中的任一项所述的机器人，其中，所述机器人适于以不超过10km/h、或不超过8km/h、或不超过6km/h、优选地在3km/h与6km/h之间、或更优选地在4km/h与5km/h之间的速度行进。
67.根据前述实施方式40至66中的任一项所述的机器人，其中，所述机器人被用于输送的目的。
68.根据前述实施方式40至67中的任一项所述的机器人，其中，所述机器人及其输送物重量不超过40kg，例如不超过35kg，例如不超过30kg，例如不超过25kg，优选地在15kg与25kg之间，更优选地在20kg与25kg之间。
69.根据前述实施方式40至68中的任一项所述的机器人，其中，所述机器人还包括轮子机构，所述轮子机构包括适于基于陆地运动的至少4个轮子。
70.根据前述实施方式40至69中的任一项所述的机器人，还包括用于保持至少一个输送物的空间。
71.根据前述实施方式40至70中的任一项所述的机器人，还包括用于保持至少一个输送物的封闭空间。
72.根据前一实施方式所述的机器人，还包括用于提供对所述空间的访问的安全访问设备。
73.根据前一实施方式所述的机器人，其中，所述安全访问设备包括由安全接口控制的闭合机构。
74.根据前述实施方式40至73中的任一项所述的机器人，其中，所述处理部件适于通过以设定时间间隔执行估计机器人姿态的迭代算法来定位所述机器人。
75.根据前一实施方式所述的机器人，其中，所述迭代算法应用粒子滤波方法来估计所述机器人姿态。
76.根据前述两项实施方式所述的机器人，其中，所述粒子滤波适于通过处理来自至少一个传感器的数据来生成关于机器人姿态的假设，所述至少一个传感器例如至少一个相机、GPS部件、里程计、至少一个陀螺仪、加速计和/或磁力计。
77.根据前一实施方式所述的机器人，其中，来自至少两个传感器的数据的输入数据被用来生成机器人姿态的估计，并且每个贡献基于与给定传感器的数据相关联的误差来被加权。
78.一种包括至少两个移动机器人的移动机器人集合，所述机器人中的每一个包括：
(a)包括至少地图数据的至少一个存储器部件；
(b)适于拍摄环境的视觉图像的至少两个相机；
(c)适于从由所述至少一个相机拍摄的所述视觉图像中至少提取特征、并将它们与所述地图数据相比较以至少定位所述机器人的至少一个处理部件；以及
(d)适于在所述机器人之间发送和接收数据特别是图像和/或地图数据的至少一个通信部件。
79.根据前一实施方式所述的集合，其中，所述存储器部件包括至少一个随机存取存储器(RAM)器件。
80.根据前述两项实施方式中的任一项所述的集合，其中，包括在所述存储器部件内的所述地图数据涉及所述机器人的当前操作区域和/或预期操作区域。
81.根据前述实施方式78至80中的任一项所述的集合，其中，所述地图数据包括相对于坐标系定义的多个矢量、点特征和/或网格特征。
82.根据前述实施方式78至81中的任一项所述的集合，其中，所述地图数据可以被转换成GPS坐标。
83.根据前述实施方式78至82中的任一项所述的集合，其中，每个相机每秒捕捉3至5个图像，优选地每秒捕捉4个图像。
84.根据前述实施方式78至83中的任一项所述的集合，其中，所述相机捕捉角为10°至120°。
85.根据前述实施方式78至84中的任一项所述的集合，其中，所述机器人包括至少4个相机，优选地包括9个相机。
86.根据前一实施方式所述的集合，其中，至少一对相机是立体相机。
87.根据前一实施方式所述的集合，其中，所述立体相机之间的距离为5至20cm。
88.根据前述实施方式78至87中的任一项所述的集合，其中，至少一个相机适于拍摄横向视觉图像，并且至少一个相机适于拍摄纵向视觉图像。
89.根据前述实施方式78至88中的任一项所述的集合，其中，所述相机和/或所述处理部件适于在如下环境中拍摄和处理视觉图像，所述环境包括行人通道、固定和/或移动障碍物以及其他可穿过的环境例如停车场、草坪和/或田地中的至少一个或任意组合。
90.根据前述实施方式78至89中的任一项所述的集合，其中，所述处理部件包括至少一个片上***(SoC)。
91.根据前述实施方式78至90中的任一项所述的集合，其中，所述处理部件适于以至多10cm、优选地至多5cm、更优选地至多3cm的误差来定位所述机器人。
92.根据前述实施方式78至91中的任一项所述的集合，其中，所述处理部件适于从所述视觉图像中提取直线。
93.根据前述实施方式78至92中的任一项所述的集合，其中，所述处理部件适于构建所述机器人的操作区域的地图数据。
94.根据前述实施方式78至93中的任一项所述的集合，其中，所述机器人适于使用来自所述处理部件的定位数据进行导航。
95.根据前述实施方式78至94中的任一项所述的集合，其中，所述处理部件将来自所述多个相机的视觉图像相组合以构建地图数据和/或定位所述机器人。
96.根据前述实施方式78至95中的任一项所述的集合，其中，所述机器人还包括适于测量用于定位所述机器人的另外的参数的传感器。
97.根据前一实施方式所述的集合，其中，所述传感器包括以下中的至少一个或任意组合：至少一个GPS部件、至少一个加速度计、至少一个陀螺仪、至少一个里程计、至少一个磁力计和/或至少一个激光雷达传感器。
98.根据前述两项实施方式所述的集合，其中，所述处理部件适于通过如下方式确定所述机器人的定位：首先处理来自所述传感器的数据以获得大致位置，然后基于对从所述视觉图像中提取的特征的处理来细化所述定位。
99.根据前述实施方式78至98中的任一项所述的集合，其中，所述机器人还包括用于基于精确高度定位的压力传感器。
100.根据前述实施方式78至99中的任一项所述的集合，其中，在所述机器人之间发送的数据可以被组合成多个操作区域的地图。
101.根据前述实施方式78至100中的任一项所述的集合，其中，所述机器人适于交换地图数据。
102.根据前述实施方式78至101中的任一项所述的集合，还包括至少一个服务器，所述至少一个服务器适于至少经由它们的通信部件与所述机器人通信。
103.根据前一实施方式所述的集合，其中，所述机器人适于经由所述服务器与彼此通信。
104.根据前述两项实施方式中的任一项所述的集合，其中，所述通信部件适于与所述服务器交换数据特别是图像和/或地图数据。
105.根据前述三项实施方式所述的集合，其中，所述服务器可以存储地图数据。
106.根据前述四项实施方式所述的集合，其中，所述服务器适于从所述机器人接收地图数据，对其进行处理，并在请求时将处理后的数据发送回至所述机器人，从而使得机器人能够受益于其他机器人所收集的地图数据。
107.根据前述五项实施方式所述的集合，其中，每个机器人以特定间隔和/或请求输入之后从所述服务器接收导航指令。
108.根据前一实施方式所述的集合，其中，所述通信部件包括用于至少一个订户身份模块(SIM卡)的至少一个槽，优选地包括用于2个SIM卡的2个槽以用于提高可靠性和/或同时使用两个SIM卡来同时通信。
109.根据前述两项实施方式所述的集合，其中，所述机器人还适于以特定间隔和/或请求输入之后从所述服务器接收导航指令。
110.根据前述实施方式78至109中的任一项所述的集合，其中，所述机器人是自主的和/或半自主的。
111.根据前述实施方式78至110中的任一项所述的集合，其中，所述机器人是基于陆地的。
112.根据前述实施方式78至111中的任一项所述的集合，其中，所述机器人适于以不超过10km/h、或不超过8km/h、或不超过6km/h、优选地在3km/h与6km/h之间、或更优选地在4km/h与5km/h之间的速度行进。
113.根据前述实施方式78至112中的任一项所述的集合，其中，所述机器人被用于输送的目的。
114.根据前述实施方式78至113中的任一项所述的集合，其中，所述机器人及其输送物重量不超过40kg，例如不超过35kg，例如不超过30kg，例如不超过25kg，优选地在15kg与25kg之间，更优选地在20kg与25kg之间。
115.根据前述实施方式78至114中的任一项所述的集合，其中，所述机器人还包括轮子机构，所述轮子机构包括适于基于陆地运动的至少4个轮子。
116.根据前述实施方式78至115中的任一项所述的集合，还包括用于保持至少一个输送物的空间。
117.根据前述实施方式78至116中的任一项所述的集合，还包括用于保持至少一个输送物的封闭空间。
118.根据前一实施方式所述的集合，还包括用于提供对所述空间的访问的安全访问设备。
119.根据前一实施方式所述的集合，其中，所述安全访问设备包括由安全接口控制的闭合机构。
120.根据前述实施方式78至119中的任一项所述的集合，其中，每个机器人的处理部件适于通过以设定的时间间隔执行估计机器人姿态的迭代算法来定位所述机器人。
121.根据前一实施方式所述的集合，其中，所述迭代算法应用粒子滤波方法来估计所述机器人姿态。
122.根据前述两项实施方式所述的集合，其中，所述微粒滤波适于通过处理来自至少一个传感器的数据来生成关于机器人姿态的假设，所述至少一个传感器例如至少一个相机、GPS部件、里程计、至少一个陀螺仪、加速计和/或磁力计。
123.根据前一实施方式所述的集合，其中，来自至少两个传感器的数据的输入数据被用来生成机器人姿态的估计，并且每个贡献基于与给定传感器的数据相关联的误差来被加权。
124.一种地图绘制方法，包括：
(a)操作包括至少两个相机和至少一个处理部件的至少一个移动机器人；
(b)使用所述至少一个机器人的至少两个相机拍摄视觉图像；
(c)对通过组合来自所述至少两个相机的视觉图像而生成的文件执行预处理；
(d)使用至少一个处理部件从所述各个视觉图像中提取特征；以及(e)使用从所述视觉图像中提取的特征来构建地图数据。
125.根据前一实施方式所述的方法，其中，所述机器人和/或所述相机和/或所述处理部件如前述实施方式中的任一项所描述的。
126.根据前述两项实施方式所述的方法，其中，用于地图绘制的特征是直线。
127.根据前述三项实施方式所述的方法，其中，提取所述特征是在通过将所述组合的视觉图像分离成各个图像而生成的所述各个图像上完成的。
128.根据前述四项实施方式所述的方法，其中，所述地图数据包括相对于坐标系定义的多个矢量、点特征和/或网格特征。
129.根据前述五项实施方式所述的方法，其中，所述地图数据还可以用于定位所述机器人。
130.根据前述六项实施方式所述的方法，其中，所述移动机器人是如实施方式1至111中的任一项中所描述的机器人或集合。
131.一种定位方法，包括：
(a)操作包括至少两个相机、至少一个存储器部件以及至少一个处理部件的至少一个移动机器人；
(b)使用所述至少一个机器人的至少两个相机部件来拍摄视觉图像；
(c)对通过组合来自所述至少两个相机的视觉图像而生成的文件执行预处理；
(d)使用至少一个处理部件从各个视觉图像中提取特征；
(e)将所提取的特征与存储在所述至少一个机器人的至少一个存储器部件上的现有地图数据相比较；以及
(f)使用(e)中的比较来定位所述至少一个机器人。
132.根据前一实施方式所述的方法，其中，所述机器人和/或所述相机和/或所述存储器部件和/或所述处理部件如前述实施方式中的任一项所描述的。
133.根据前述两项实施方式中的任一项所述的方法，其中，用于定位的所述特征是直线。
134.根据前述三项实施方式中的任一项所述的方法，其中，提取所述特征是在通过将组合的视觉图像分离成各个图像而生成的所述各个图像上完成的。
135.根据前述四项实施方式所述的方法，其中，所述地图数据包括相对于坐标系定义的多个矢量、点特征和/或网格特征。
136.根据前述五项实施方式中的任一项所述的方法，其中，(e)中的比较是使用粒子滤波来完成的。
137.根据前述六项实施方式中的任一项所述的方法，其中，所述移动机器人是如实施方式1至111中的任一项所描述的机器人或集合。
138.一种定位方法，包括：
(a)提供包括至少一个航位推测部件、至少两个相机、至少一个存储器部件以及至少一个处理部件的至少一个移动机器人；以及
(b)使用所述至少一个机器人的至少两个相机部件来拍摄视觉图像；以及
(c)使用所述至少一个处理部件从所述视觉图像中提取特征；以及(d)从(c)中所提取的特征获得位置相关数据；以及
(e)从所述至少一个航位推测部件接收位置相关数据；以及
(f)将从(d)中从所述视觉图像所提取的特征获得的位置相关数据与(e)中从所述至少一个航位推测部件接收的位置相关数据相组合；以及
(g)基于(f)中的组合数据来形成关于机器人姿态的假设。
139.根据实施方式138所述的方法，其中，所述机器人和/或所述相机和/或所述存储器部件和/或所述处理部件如前述实施方式中的任一项所描述的。
140.根据前述实施方式138或139中的任一项所述的方法，其中，所述航位推测部件可以包括至少一个里程计和/或至少一个陀螺仪和/或至少一个加速度计中的至少一个。
141.根据前述实施方式138至140中的任一项所述的方法，其中，基于与其测量结果相关联的误差来对(f)中相组合的来自所述视觉图像特征和所述航位推测部件的位置相关数据进行加权。
142.根据实施方式138至141中的任一项所述的方法，其中，步骤(f)还可以包括将加权的从其他传感器例如GPS部件和/或磁力计获得的位置相关数据相组合。
143.根据实施方式138至142中的任一项所述的方法，其中，步骤(f)和(g)可以使用粒子滤波方法来实现。
144.根据实施方式138至143中的任一项所述的方法，其中，步骤(e)还包括将从所述视觉图像中所提取的特征与存储在所述至少一个机器人的至少一个存储器部件上的现有地图数据相比较。
在下面的示例中来进一步描述上述特征以及本发明的附加细节，这些示例旨在进一步说明本发明，而非旨在以任何方式限制其范围。
附图说明
图1示出了根据本发明的机器人实施方式的透视图；
图2示出了不同相机视角的实施方式；
图3示出了使用所描述的发明从示例性图像中提取的直线的实施方式；
图3b、图3c以及3d描绘了根据本发明的定位的实施方式；
图3e描绘了根据本发明的一方面的执行定位的机器人的示意性俯视图；
图4示出了地图绘制方法的实施方式的示意性描述；
图5示出了定位方法的实施方式的示意性描述；
图6示出了根据本发明的定位方法的一个实施方式。
具体实施方式
在下文中，将参照附图来描述本发明的示例性实施方式。提供这些示例以提供对本发明的进一步理解，而非限制其范围。
在下面的描述中，描述了一系列特征和/或步骤。本领域技术人员将认识到的是，除非上下文要求，否则特征和步骤的顺序对于由此所得的配置及其效果不是关键的。此外，对于本领域技术人员将明显的是，不管特征和步骤的顺序如何，在步骤之间存在或不存在时间延迟都可以存在于所描述的步骤中的一些步骤或全部步骤之间。
图1示出了根据本发明的机器人的实施方式。机器人包括适于基于陆地运动的轮子1。框架2可以安装在轮子1上。本体3可以安装在框架2上。本体3可以包括适合于运输输送物的封闭空间(未示出)。灯4可以布置在本体3和/或框架2周围。灯4可以例如是LED灯并且可以照亮机器人在其中发现其本身的环境。这对于在黑暗中指示机器人的存在和/或通过更好的照明来帮助视觉定位是有用的。多个相机可以放置在本体3周围。在该实施方式中，存在9(九)个相机。
第一相机10可以定位在本体3上机器人的前部附近。第一相机可以提供远离机器人的大致水平的视图。第二相机20和第三相机30被定位在第一相机10的两侧，同样地在机器人的前部附近。
第二相机20和第三相机30可以相对于第一相机10的定向向下成10°至50°的角度，优选地向下成20°至40°的角度，即它们可以相对于水平视图向下成角度。第二相机20和第三相机30可以是立体相机。它们可以分开5至10cm的距离。立体相机通过比较来自立体相机的视觉图像上存在的特征来促进对对象的三角测量。
第四相机40和第五相机50放置在机器人本体3的相对于向前的运动方向的左侧。第四相机40和第五相机50也可以是立体相机。它们可以分开15至20cm的距离。
在机器人本体的相对于运动方向的右侧，第六相机60(未示出)和第七相机70(未示出)被放置在与相机40和相机50的位置互补的位置。第六相机60和第七相机70也可以是立体相机，优选地分开15至20cm的距离。
在机器人的后部，可以放置第八相机80(未示出)和第九相机90。第八相机80和第九相机90也可以是立体相机，优选地分开5至10cm的距离。一个或更多个相机可以纵向排列。这意味着竖直视角可以大于水平视角。在所示出的实施方式中，侧面的相机40、相机50、相机60以及相机70可以纵向放置。其他相机10、相机20、30、相机80以及相机90可以横向放置。这意味着水平视角可以大于竖直视角。
图2示出了根据本发明的机器人的实施方式。图2展示了如图1所示的相机设置的视角。示出了所有相机视角。视角可以在(40至80)°至(60至100)°的范围内，优选地为约60°至80°。视角11对应于第一相机10。视角21和视角31分别对应于相机20和相机30。这两个相机可以以立体的方式来布置，这就是图2展示视角相交的原因。相机80和相机90也可以实现类似的配置——它们也可以是朝向本体3上机器人的后部放置的立体相机。因此，分别对应于相机80和相机90的视角81和视角91也被示出为相交。两对侧面的相机40和50以及60和70可以纵向放置在立***置中。它们的视角41与视角51以及视角61与视角71分别类似地相交。
图3示出了可以在机器人的操作期间提取的直线100的实施方式。直线100可以属于永久对象(例如房屋、围墙、人行道)和/或暂时对象(例如汽车、阴影)。本发明适于使用多个图像测试情况进行校准——提高其检测线条和识别属于永久对象的线条的准确性。
图3b、图3c以及图3d示出了具有叠加的提取线条的示例性相机图像。这些图描绘了两种类型的线条：虚线110和实线120。虚线110是可以属于地标并存储在地图中的3D线条。这些线条可以例如在先前的机器人运行期间作为来自相机图像的2D线条被获得并且例如通过迭代算法被转换成3D地标。实线120是在当前机器人运行期间从相机图像提取的2D线。这些附图展示了机器人定位其本身的示意性表示的快照。迭代地运行基础优化算法以识别属于3D地标110的正确的2D线条120。以这种方式，可以通过将从相机图像提取的线条与存储在地图数据中的线条相比较来获得机器人姿态。
图3e描绘了对其本身执行定位的移动机器人1000的示意性俯视图。机器人1000在中间被示为黑色矩形。还示意性地示出了机器人1000的相机的相机角度。在机器人1000的左下方可以看到前部相机角度11。在机器人1000的右上方可以看到后部相机角度中的一个相机角度81。在该实施方式中，仅指示了一个后部相机角度81。由圆圈200来指示示意性的GPS传感器输出。圆圈200表示机器人的大致位置并且可以例如用作定位过程的起始点。在这样的实施方式中，定位算法可以例如使用GPS读数来开始，然后使用基于相机图像的定位对其进行细化。如前，虚线110指示识别机器人地图上的各种地标的3D线。在这里它们被描绘为相对于机器人1000在地平面上的投影。
图4示出了根据本发明的地图绘制方法的实施方式。第一步骤S1包括使用放置在机器人上的相机拍摄视觉图像。视觉图像可以被同时拍摄。在优选的实施方式中，机器人包括同时拍摄图像的9(九)个相机。第二步骤S2包括将视觉图像组合成用于预处理的一个文件。该步骤可以被执行以加速处理。预处理之后，组合文件可以被再分成各个图像。第三步骤S3包括从各个图像中提取线条。可以首先使用边缘检测算法例如Canny算法，然后对边缘检测算法的结果使用线条提取算法来完成该步骤。线条提取算法可以例如是Hough变换。第四步骤S4包括将所提取的线条相组合以构建拍摄视觉图像的区域的地图数据。
相机在机器人上的精确位置以及相对于彼此的位置可以是已知的，这使得能够在一个坐标***中以相干的方式来组合所提取的线条。该坐标系可以是任意的，只要它是一致的并且可以转换成标准***如GPS坐标即可。每当相机拍摄一组新的视觉图像时，可以重复包括步骤S1、步骤S2、步骤S3以及步骤S4的方法。在优选实施方式中，每秒重复1至10次。因此，机器人可以构建与其操作区域一致的地图数据。如果多个机器人在一个操作区域中操作，则它们可以交换地图数据，并且在检测到变化时对地图数据进行更新。因此，机器人可以受益于由其他机器人得到的地图数据。不同操作区域的地图数据可以被组合成包含所有机器人操作区域的全球地图数据。
图5示出了根据本发明的定位方法的实施方式。步骤S1、步骤S2以及步骤S3可以与图4的地图绘制方法中的相同。当机器人包括存储在其存储器部件内的地图数据时，可以使用定位方法。第五步骤S5包括将从视觉图像中所提取的直线与存储在机器人的存储器部件内的地图数据相比较。存储在存储器部件内的地图数据对应于机器人的不同姿态概率。然后，机器人可以使用粒子滤波算法来评估每个姿态为真正姿态的可能性。在第六步骤S6中，基于对已知姿态概率的概率分析来拾取最可能的姿态。该最可能的姿态将在图像被拍摄时提供机器人的定位。定位是快速的，并且通常在很短的时间内完成，或者至少在处理下一组图像(可以每隔0.1至1秒发生一次)之前完成。
如果出于某些原因，机器人暂时无法执行基于图像的定位，例如在机器人无法访问地图或者无法将地图下载至存储器以在运输期间执行定位的情况下，机器人可以使用同样在机器人上实现的其他定位方法(例如GPS坐标、加速计数据、陀螺仪数据、里程计数据、磁力计数据、飞行时间相机数据和/或激光雷达数据中的一个或更多个)来进行定位。一旦机器人能够恢复基于图像的定位，如果需要的话，可以考虑其预期的导航路线、基于更准确的定位数据来重新调整其行进方向。
图6示出了根据本发明的定位方法的实施方式。步骤S1、步骤S2以及步骤S3可以与图4的地图绘制方法以及图5的定位方法中的相同。当机器人包括存储在其存储器部件内的地图数据时，可以使用定位方法。
第七步骤S7可以包括从一个或更多个航位推测部件接收位置相关数据。这些部件可以包括至少一个里程计、至少一个加速度计和/或至少一个陀螺仪。第八步骤S8可以包括将从提取自视觉图像的线条获得的位置相关数据与从一个或更多个航位推测部件接收的、基于与它们中的每一个相关联的误差而加权的位置相关数据相组合。第九步骤S9可以包括基于组合数据来形成关于机器人姿态的假设。最后两个步骤可以使用例如上述和下述的粒子滤波算法来执行。
在一个实施方式中，机器人可以在每个时间步长从航位推测部件接收位置数据。该位置数据可以包括与其相关的误差估计。最佳时间步长持续时间可以通过校准来确定。在优选的实施方案中，时间步长可以包括0.01至0.1秒，更优选0.01至0.05秒。位置数据可以在每个时间步长处作为机器人姿态估计的起始点。航位推测部件可以包括至少一个里程计和/或至少一个陀螺仪。航位推测部件可以是如在粒子滤波描述中所描述的控制传感器。
机器人还可以使用至少两个相机拍摄视觉图像。然后，机器人的处理部件可以从视觉图像中提取特征。在优选的实施方式中，从视觉图像中提取直线并且包括位置相关数据。可以将在给定图像和/或给定图像组合上看到的线条与基于给定的粒子的姿态(基于地图)应当看到的线条相比较。在数量上，这可以表示为看到给定粒子姿态的特定线条的概率。该概率可以通过适应度函数进行大致计算。它可以应用于前面所述的粒子权重。可以执行标准化以降低相机画面的相关性—(例如像从栅栏)接收许多线条的一个相机不应当优于(例如仅看见几个建筑物角落)仅接收若干线条的另一相机来输入。此外，还应当进一步执行此操作以将误差估计保持在合理的范围内(为了数值稳定性)。在一个实施方式中，适应度函数大致执行以下操作：将来自相机图像的线条与地图上的线条相关联；计算两者之间的误差；总计所有误差(例如使用平方求和方法)；针对某个时间点拍摄的所有图线的总数进行标准化；将它们相加；以及最后取负总数的指数。
然后，处理部件可以将来自航位推测部件的数据和来自基于线条定位的数据与它们相应的误差一起相组合以获得对可能的机器人姿态的估计。这可以使用粒子滤波方法来完成。在该步骤中，可以考虑来自另外的传感器和/或部件的输入。例如，机器人可以考虑由GPS部件、磁力计、飞行时间相机和/或加速度计产生的位置或姿态相关数据。
在每个时间步长，机器人可以更新粒子滤波中所有粒子的权重，并最终得到可能的机器人姿态的分布。当达到某个标准时，可以执行重采样步骤以确保粒子滤波不会失败。
如包括权利要求的本文中所使用的，除非上下文另有指示，否则单数形式的术语应被解释为也包括复数形式，复数形式的术语应被解释为也包括单数形式。因此，应当注意的是，除非上下文另外明确指示，否则如本文所使用的，单数形式的“一”、“一个”以及“该”包括复数形式。
贯穿整个说明书和权利要求书，术语“包含”、“包括”、“具有”以及“含有”及其变型应被理解为意指“包括但不限于”，并且不旨在排除其他部件。
术语“至少一个”应当被理解为意指“一个或更多个”，并且因此包括包含一个或多个部件的实施方式。此外，引用使用“至少一个”描述特征的独立权利要求的从属权利要求在该特征被引用为“所述”和“所述至少一个”时具有相同的含义。
将认识到的是，可以对本发明的前述实施方式进行变型，而其仍落入可以实现的发明的范围内，同时仍落入本发明的范围内。除非另有说明，否则说明书中公开的特征可以由用于相同、等同或类似目的的可替选特征来代替。因此，除非另有说明，否则所公开的每个特征表示一般系列的等同或类似特征的一个示例。
示例性语言例如“比如”、“例如”、“诸如”等的使用仅旨在更好地说明本发明，除非这样要求，否则不指示对本发明的范围的限制。除非上下文另有明确指示，否则可以以任何顺序或同时执行说明书中所描述的任何步骤。
说明书中所公开的所有特征和/或步骤可以以除了至少一些特征和/或步骤是相互排斥的组合方式以外的任何组合方式相组合。特别地，本发明的优选特征适用于本发明的所有方面并且可以以任何组合方式来使用。

Claims (31)

1.一种移动机器人，包括：
(a)包括至少地图数据的至少一个存储器部件；
(b)适于拍摄视觉图像的至少两个相机；以及
(c)适于通过应用边缘检测算法然后应用线条提取算法来从由所述至少两个相机拍摄的所述视觉图像中至少提取直线、并将它们与所述地图数据相比较以至少定位所述机器人的至少一个处理部件，
(d)其中，所述机器人适于在非结构化区域中的地面上移动；并且
(e)其中，将所提取的直线与所述地图数据相比较包括：使用迭代概率算法来确定在给定所述地图数据的情况下的最佳位置假设。
2.根据权利要求1所述的机器人，其中，每个相机适于每秒捕捉3至5个图像。
3.根据权利要求1所述的机器人，包括至少4个相机。
4.根据权利要求1所述的机器人，其中，所述处理部件适于以至多10cm的误差来定位所述机器人。
5.根据权利要求1所述的机器人，适于使用来自所述处理部件的定位数据进行导航。
6.根据权利要求5所述的机器人，其中，所述处理部件适于通过如下方式确定所述机器人的定位：处理来自传感器的数据以获得大致位置，并且基于对从所述视觉图像中提取的特征的处理来细化所述定位，其中所述传感器包括以下中的至少一个或组合：至少一个GPS部件、至少一个加速度计、至少一个陀螺仪、至少一个里程计、至少一个磁力计、至少一个压力传感器、至少一个超声波传感器、至少一个飞行时间相机传感器和/或至少一个激光雷达传感器。
7.根据权利要求1所述的机器人，还包括适于与一个或更多个服务器交换数据的通信部件。
8.根据权利要求7所述的机器人，其中，所述机器人还适于以特定间隔和/或在请求输入之后从所述服务器接收导航指令。
9.根据权利要求1所述的机器人，其中，所述机器人适于自主地和/或半自主地移动。
10.根据权利要求1所述的机器人，其中，所述机器人适于以不超过10km/h的速度行进。
11.根据权利要求1所述的机器人，其中，所述处理部件适于通过执行估计机器人姿态的迭代算法来定位所述机器人。
12.根据权利要求11所述的机器人，其中，所述迭代算法适于通过处理来自至少一个传感器的数据来生成关于机器人的姿态的假设。
13.根据权利要求12所述的机器人，其中，来自至少一个相机和至少一个另外的传感器的输入数据被用来生成机器人的姿态的估计，并且每个贡献基于与所述相机和/或给定传感器的数据相关联的误差来被加权。
14.根据权利要求2所述的机器人，其中，每个相机适于每秒捕捉4个图像。
15.根据权利要求3所述的机器人，包括9个相机。
16.根据权利要求4所述的机器人，其中，所述误差至多为5cm。
17.根据权利要求16所述的机器人，其中，所述误差至多为3cm。
18.根据权利要求7所述的机器人，其中，所述通信部件包括用于至少一个订户身份模块即SIM卡的至少一个槽和/或调制解调器和/或网络设备。
19.根据权利要求18所述的机器人，其中，所述通信部件包括用于两个SIM卡的两个槽和/或两个调制解调器和/或两个网络设备。
20.根据权利要求10所述的机器人，其中，所述速度不超过8km/h。
21.根据权利要求20所述的机器人，其中，所述速度不超过6km/h。
22.根据权利要求21所述的机器人，其中，所述速度在3km/h与6km/h之间。
23.根据权利要求22所述的机器人，其中，所述速度在4km/h与5km/h之间。
24.根据权利要求11所述的机器人，其中，所述迭代算法至少部分地基于粒子滤波算法。
25.根据权利要求7所述的机器人，其中，所述数据是图像和/或地图数据。
26.根据权利要求12所述的机器人，其中，所述至少一个传感器是至少一个相机、至少一个GPS部件、至少一个里程计、至少一个陀螺仪、至少一个加速度计、至少一个激光雷达传感器、至少一个飞行时间相机、至少一个超声波传感器、至少一个压力传感器、至少一个航位推测传感器和/或至少一个磁力计。
27.一种定位方法，包括：
(a)使用至少两个相机拍摄视觉图像；
(b)使用至少一个处理部件、通过应用边缘检测算法然后应用线条提取算法来从各个视觉图像中提取直线；
(c)将所提取的直线与现有地图数据相比较；以及
(d)基于(c)中的比较来输出位置假设，
(e)其中，将所提取的直线与现有地图数据相比较以及输出位置假设包括：使用迭代概率算法来确定在给定所述地图数据的情况下的最佳位置假设。
28.根据权利要求27所述的定位方法，其中，d)中的输出和/或c)中的比较是使用粒子滤波算法来执行的。
29.根据权利要求27所述的定位方法，在步骤d)中进一步包括以下步骤：从所述至少一个传感器提取位置相关数据，并且将从在b)中从所述视觉图像中提取的特征获得的位置相关数据与从所述至少一个传感器接收的位置相关数据相组合以用于更精确的位置输出，其中，所述至少一个传感器包括以下中的至少一个或组合：至少一个GPS部件、至少一个加速度计、至少一个陀螺仪、至少一个里程计、至少一个磁力计、至少一个压力传感器、至少一个超声波传感器、至少一个飞行时间相机传感器和/或至少一个激光雷达传感器。
30.根据权利要求27所述的定位方法，还包括以下步骤：
(f)使用在(d)中输出的所述位置假设来输出移动机器人姿态，
(g)使用在(e)中获得的所述姿态来对移动机器人进行导航。
31.根据权利要求27所述的定位方法，其中，所述方法被自主和/或半自主移动机器人用作同时定位和地图绘制方法。
CN201680062503.9A 2015-11-02 2016-11-02 用于自主定位的设备和方法 Active CN108369420B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15192649 2015-11-02
EP15192649.0 2015-11-02
PCT/EP2016/076467 WO2017076929A1 (en) 2015-11-02 2016-11-02 Device and method for autonomous localisation

Publications (2)

Publication Number Publication Date
CN108369420A CN108369420A (zh) 2018-08-03
CN108369420B true CN108369420B (zh) 2021-11-05

Family

ID=54365169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680062503.9A Active CN108369420B (zh) 2015-11-02 2016-11-02 用于自主定位的设备和方法

Country Status (8)

Country Link
US (7) US10732641B2 (zh)
EP (3) EP3825807A1 (zh)
JP (2) JP7147119B2 (zh)
KR (1) KR20180079428A (zh)
CN (1) CN108369420B (zh)
AU (1) AU2016348568A1 (zh)
CA (1) CA3002308A1 (zh)
WO (2) WO2017076928A1 (zh)

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430744B2 (en) * 2015-08-21 2019-10-01 Autodesk, Inc. Robot service platform
WO2017129804A1 (en) * 2016-01-29 2017-08-03 Kiwisecurity Software Gmbh Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras
US10216188B2 (en) 2016-07-25 2019-02-26 Amazon Technologies, Inc. Autonomous ground vehicles based at delivery locations
US20180079591A1 (en) * 2016-09-19 2018-03-22 Jackson State University Automated trash cart
US10514690B1 (en) 2016-11-15 2019-12-24 Amazon Technologies, Inc. Cooperative autonomous aerial and ground vehicles for item delivery
US11263579B1 (en) 2016-12-05 2022-03-01 Amazon Technologies, Inc. Autonomous vehicle networks
US10310499B1 (en) 2016-12-23 2019-06-04 Amazon Technologies, Inc. Distributed production of items from locally sourced materials using autonomous vehicles
US10308430B1 (en) 2016-12-23 2019-06-04 Amazon Technologies, Inc. Distribution and retrieval of inventory and materials using autonomous vehicles
US10310500B1 (en) 2016-12-23 2019-06-04 Amazon Technologies, Inc. Automated access to secure facilities using autonomous vehicles
US10664502B2 (en) * 2017-05-05 2020-05-26 Irobot Corporation Methods, systems, and devices for mapping wireless communication signals for mobile robot guidance
WO2019018695A1 (en) 2017-07-20 2019-01-24 Nuro, Inc. REPOSITIONING AN AUTONOMOUS VEHICLE
US11009868B2 (en) 2017-07-20 2021-05-18 Nuro, Inc. Fleet of autonomous vehicles with lane positioning and platooning behaviors
US11348269B1 (en) * 2017-07-27 2022-05-31 AI Incorporated Method and apparatus for combining data to construct a floor plan
US20190034857A1 (en) 2017-07-28 2019-01-31 Nuro, Inc. Food and beverage delivery system on autonomous and semi-autonomous vehicle
CN111094893A (zh) * 2017-07-28 2020-05-01 高通股份有限公司 机器人式运载工具的图像传感器初始化
CN109388093B (zh) * 2017-08-02 2020-09-15 苏州珊口智能科技有限公司 基于线特征识别的机器人姿态控制方法、***及机器人
DE102017213577A1 (de) * 2017-08-04 2019-02-07 Robert Bosch Gmbh Verfahren zur Lagebestimmung eines Roboters, Lagebestimmungsvorrichtung eines Roboters und Roboter
US11222299B1 (en) * 2017-08-31 2022-01-11 Amazon Technologies, Inc. Indoor deliveries by autonomous vehicles
WO2019048332A1 (en) 2017-09-05 2019-03-14 Starship Technologies Oü MOBILE ROBOT HAVING A COLLISION AVOIDANCE SYSTEM FOR CROSSING A ROAD FROM A PEDESTRIAN PATH
WO2019057179A1 (zh) * 2017-09-22 2019-03-28 华为技术有限公司 一种基于点线特征的视觉slam方法和装置
DE102017008917A1 (de) * 2017-09-22 2019-03-28 Kuka Deutschland Gmbh Verfahren zum Lokalisieren eines mobilen Roboters
WO2019089018A1 (en) 2017-10-31 2019-05-09 Hewlett-Packard Development Company, L.P. Mobile robots to generate reference maps for localization
WO2019086465A1 (en) 2017-11-02 2019-05-09 Starship Technologies Oü Visual localization and mapping in low light conditions
US10824862B2 (en) 2017-11-14 2020-11-03 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals
IL255671B (en) * 2017-11-14 2021-09-30 Everysight Ltd System and method for determining an image position using one or more anchors
CN109840448A (zh) * 2017-11-24 2019-06-04 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的信息输出方法和装置
JP1612118S (zh) * 2017-12-21 2018-08-27
KR102024094B1 (ko) * 2017-12-21 2019-09-23 엘지전자 주식회사 인공지능을 이용한 이동 로봇 및 그 제어방법
US11772717B1 (en) * 2018-01-03 2023-10-03 AI Incorporated Autonomous versatile vehicle system
US11815894B1 (en) * 2017-12-22 2023-11-14 AI Incorporated Autonomous versatile vehicle system
DE102018104779A1 (de) * 2018-03-02 2019-09-05 Sick Ag Verfahren zur Positionsermittlung eines beweglichen Objekts, Verfahren zur Wegplanung für ein bewegliches Objekt, Vorrichtung hierfür, Datenträger
EP3797339A1 (en) 2018-05-22 2021-03-31 Starship Technologies OÜ Method and system for automatic autonomous road crossing
EP3797377A1 (en) 2018-05-22 2021-03-31 Starship Technologies OÜ Method and system for analyzing robot surroundings
KR102420476B1 (ko) * 2018-05-25 2022-07-13 에스케이텔레콤 주식회사 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
KR102047303B1 (ko) * 2018-06-01 2019-11-21 엘지전자 주식회사 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법
JP2021142572A (ja) * 2018-06-12 2021-09-24 ソニーグループ株式会社 制御装置、制御方法及びプログラム
CN111094895B (zh) * 2018-06-29 2023-08-22 百度时代网络技术（北京）有限公司 用于在预构建的视觉地图中进行鲁棒自重新定位的***和方法
WO2020038699A1 (en) 2018-08-22 2020-02-27 Starship Technologies Oü Method and system for traffic light signal detection and usage
WO2020048623A1 (en) * 2018-09-07 2020-03-12 Huawei Technologies Co., Ltd. Estimation of a pose of a robot
KR102075844B1 (ko) * 2018-10-10 2020-02-10 한국로봇융합연구원 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
KR102627453B1 (ko) 2018-10-17 2024-01-19 삼성전자주식회사 위치 추정 장치 및 방법
US11287824B2 (en) * 2018-11-19 2022-03-29 Mobile Industrial Robots A/S Detecting a location of an autonomous device
CN209224071U (zh) * 2018-11-19 2019-08-09 炬星科技（深圳）有限公司 机器人的传感器布局***
US11331801B2 (en) * 2018-11-28 2022-05-17 Mitsubishi Electric Research Laboratories, Inc. System and method for probabilistic multi-robot positioning
US11164326B2 (en) 2018-12-18 2021-11-02 Samsung Electronics Co., Ltd. Method and apparatus for calculating depth map
CN111358364B (zh) * 2018-12-26 2021-09-07 珠海市一微半导体有限公司 基于视觉机器人的死角清扫方法、装置、芯片及机器人
KR102198187B1 (ko) * 2018-12-28 2021-01-04 엘지전자 주식회사 이동 로봇
WO2020146352A1 (en) * 2019-01-08 2020-07-16 R-Go Robotics Ltd. System and method for monitoring movements
CN109739239B (zh) * 2019-01-21 2021-09-21 天津迦自机器人科技有限公司 一种用于巡检机器人的不间断仪表识别的规划方法
CN109798897B (zh) * 2019-01-22 2022-07-01 广东工业大学 一种通过环境模型完整度评估以提高单目视觉定位可靠性的方法
CN111486842B (zh) * 2019-01-29 2022-04-15 深圳市优必选科技有限公司 重定位方法及装置、机器人
EP3919335A4 (en) * 2019-02-01 2022-10-12 Evar Co., Ltd. ELECTRIC TROLLEY
CN210119230U (zh) * 2019-03-08 2020-02-28 深圳市有光图像科技有限公司 一种室内视觉定位***及移动机器人
DE102019203202A1 (de) * 2019-03-08 2020-09-10 Zf Friedrichshafen Ag Lokalisierungssystem für ein fahrerloses Fahrzeug
US20210216079A1 (en) * 2019-03-12 2021-07-15 Lg Electronics Inc. Cart moving in parallel with installed object and method of moving same
KR102143349B1 (ko) * 2019-03-27 2020-08-11 엘지전자 주식회사 이동 로봇의 제어 방법
USD932368S1 (en) * 2019-05-17 2021-10-05 DoorDash, Inc. Automated delivery vehicle
USD931756S1 (en) * 2019-05-17 2021-09-28 DoorDash, Inc. Automated delivery vehicle
EP3973327A1 (en) 2019-05-21 2022-03-30 Starship Technologies OÜ System and method for robot localisation in reduced light conditions
WO2021012248A1 (en) * 2019-07-25 2021-01-28 Lingdong Technology (Beijing) Co., Ltd Self-driving system with rfid reader and built-in printer
KR20210015211A (ko) * 2019-08-01 2021-02-10 엘지전자 주식회사 실시간으로 클라우드 슬램을 수행하는 방법 및 이를 구현하는 로봇과 클라우드 서버
US11964627B2 (en) 2019-09-30 2024-04-23 Nuro, Inc. Methods and apparatus for supporting compartment inserts in autonomous delivery vehicles
JP7226240B2 (ja) * 2019-10-16 2023-02-21 トヨタ自動車株式会社 物品搬送ロボット
JP7255458B2 (ja) * 2019-11-14 2023-04-11 トヨタ自動車株式会社 提供システム
CN111192235B (zh) * 2019-12-05 2023-05-26 中国地质大学（武汉） 一种基于单目视觉模型和透视变换的图像测量方法
CN111076733B (zh) * 2019-12-10 2022-06-14 亿嘉和科技股份有限公司 一种基于视觉与激光slam的机器人室内建图方法及***
CN110900610B (zh) * 2019-12-11 2022-04-22 哈尔滨工业大学 一种基于lm算法和粒子滤波算法优化的工业机器人标定方法
US20210200237A1 (en) * 2019-12-31 2021-07-01 Lyft, Inc. Feature coverage analysis
EP4118632A4 (en) * 2020-03-13 2024-02-21 Brain Corporation SYSTEMS AND METHODS FOR ROUTE SYNCHRONIZATION FOR ROBOTIC DEVICES
DE102020107108A1 (de) * 2020-03-16 2021-09-16 Kopernikus Automotive GmbH Verfahren und System zum autonomen Fahren eines Fahrzeugs
JP1683884S (zh) * 2020-03-23 2021-04-19
EP4128100A1 (en) 2020-03-23 2023-02-08 Nuro, Inc. Methods and apparatus for automated deliveries
US11685049B2 (en) 2020-04-22 2023-06-27 Boston Dynamics, Inc. Robot localization using variance sampling
US11600017B2 (en) * 2020-04-29 2023-03-07 Naver Corporation Adversarial scene adaptation for camera pose regression
DE102020206355A1 (de) * 2020-05-20 2021-11-25 BSH Hausgeräte GmbH Erstellen einer Umgebungskarte
US12017116B2 (en) * 2020-06-23 2024-06-25 Electronics And Telecommunications Research Institute Apparatus and method for evaluating human motion using mobile robot
US11687086B2 (en) * 2020-07-09 2023-06-27 Brookhurst Garage, Inc. Autonomous robotic navigation in storage site
DE102020211507A1 (de) * 2020-09-14 2022-03-17 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Bewerten einer Kamerakalibrierung
CN112258571B (zh) * 2020-09-25 2023-05-30 上海数川数据科技有限公司 一种基于单目视觉的室内行人定位方法
US11609583B2 (en) 2020-10-09 2023-03-21 Ford Global Technologies, Llc Systems and methods for nighttime delivery mobile robot with hybrid infrared and flash lighting
US11835949B2 (en) 2020-11-24 2023-12-05 Mobile Industrial Robots A/S Autonomous device safety system
US11769409B2 (en) * 2020-12-15 2023-09-26 Charter Communications Operating, Llc Automated parking lot digital map generation and use thereof
KR102469164B1 (ko) * 2020-12-21 2022-11-21 한국해양과학기술원 무인 수상선의 지구물리적 내비게이션 장치 및 방법
US11964398B2 (en) * 2021-01-28 2024-04-23 Micropharmacy Corporation Systems and methods for autonomous robot distributed processing
US20220317691A1 (en) * 2021-04-02 2022-10-06 Ladybug Robotics Inc. Systems, methods, and apparatuses for automated crop monitoring
US11810050B2 (en) 2021-08-20 2023-11-07 Ford Global Technologies, Llc Robotic package delivery with ad-hoc network fusion localization
US11527085B1 (en) * 2021-12-16 2022-12-13 Motional Ad Llc Multi-modal segmentation network for enhanced semantic labeling in mapping
DE102022208089A1 (de) 2022-08-03 2024-02-08 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Steuern eines Roboters
WO2024043772A1 (en) * 2022-08-23 2024-02-29 Samsung Electronics Co., Ltd. Method and electronic device for determining relative position of one or more objects in image
US11967112B2 (en) * 2022-09-07 2024-04-23 AitronX Inc. Method and apparatus for detecting calibration requirement for image sensors in vehicles
CN116817903B (zh) * 2023-08-24 2023-11-21 湖南大学 一种基于先验视觉引导的智能机器人全局定位方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102435188A (zh) * 2011-09-15 2012-05-02 南京航空航天大学 一种用于室内环境的单目视觉/惯性全自主导航方法
CN102460074A (zh) * 2009-06-01 2012-05-16 罗伯特·博世有限公司 用于组合三维位置和二维强度地图绘制进行定位的方法和装置
CN104166400A (zh) * 2014-07-11 2014-11-26 杭州精久科技有限公司 基于多传感器融合的视觉导引agv***
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6094508A (en) * 1997-12-08 2000-07-25 Intel Corporation Perceptual thresholding for gradient-based local edge detection
US20030081564A1 (en) * 2001-10-29 2003-05-01 Chan James C. K. Wireless transmission and recording of images from a video surveillance camera
WO2004052597A1 (ja) 2002-12-10 2004-06-24 Honda Motor Co.,Ltd. ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
US7145478B2 (en) 2002-12-17 2006-12-05 Evolution Robotics, Inc. Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system
JP4377665B2 (ja) * 2003-12-01 2009-12-02 本田技研工業株式会社 位置検出用マーク、並びに、マーク検出装置、その方法及びそのプログラム
US7689321B2 (en) * 2004-02-13 2010-03-30 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
JP4300199B2 (ja) 2005-06-13 2009-07-22 株式会社東芝 移動ロボット、移動ロボットの位置姿勢算出方法、移動ロボットの自律走行システム
US7765029B2 (en) * 2005-09-13 2010-07-27 Neurosciences Research Foundation, Inc. Hybrid control device
US8305430B2 (en) 2005-09-16 2012-11-06 Sri International System and method for multi-camera visual odometry
WO2008013568A2 (en) 2005-12-30 2008-01-31 Irobot Corporation Autonomous mobile robot
US20140277900A1 (en) * 2006-03-17 2014-09-18 Raj V. Abhyanker Mapping search engine offering sidewalk maps
US9373149B2 (en) * 2006-03-17 2016-06-21 Fatdoor, Inc. Autonomous neighborhood vehicle commerce network and community
US20080011996A1 (en) * 2006-07-11 2008-01-17 Johannes Georg Bednorz Multi-layer device with switchable resistance
KR100809352B1 (ko) * 2006-11-16 2008-03-05 삼성전자주식회사 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치
JP5043133B2 (ja) 2007-03-13 2012-10-10 リサーチ インスティチュート オブ インダストリアル サイエンス アンド テクノロジー 移動ロボットの位置認識用ランドマーク、並びにこれを利用した位置認識装置及び方法
KR100877071B1 (ko) 2007-07-18 2009-01-07 삼성전자주식회사 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치
KR100926760B1 (ko) 2007-12-17 2009-11-16 삼성전자주식회사 이동 로봇의 위치 인식 및 지도 작성 방법
JP5249577B2 (ja) 2007-12-20 2013-07-31 三菱重工業株式会社 追尾システム及びその方法並びに車両
NZ567986A (en) 2008-05-02 2010-08-27 Auckland Uniservices Ltd Real-time stereo image matching system
KR101503904B1 (ko) 2008-07-07 2015-03-19 삼성전자 주식회사 이동 로봇의 지도 구성 장치 및 방법
WO2010141120A2 (en) 2009-02-20 2010-12-09 Digital Signal Corporation System and method for generating three dimensional images using lidar and video measurements
KR101072876B1 (ko) 2009-03-18 2011-10-17 연세대학교 산학협력단 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치
JP5618569B2 (ja) 2010-02-25 2014-11-05 キヤノン株式会社 位置姿勢推定装置及びその方法
JP2011209203A (ja) 2010-03-30 2011-10-20 Sony Corp 自己位置推定装置および自己位置推定方法
US8532367B2 (en) * 2010-08-17 2013-09-10 Raytheon Company System and method for 3D wireframe reconstruction from video
KR101207535B1 (ko) 2010-12-31 2012-12-03 한양대학교 산학협력단 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법
US9317037B2 (en) * 2011-10-03 2016-04-19 Vocollect, Inc. Warehouse vehicle navigation system and method
US9245194B2 (en) * 2012-02-06 2016-01-26 Apple Inc. Efficient line detection method
US9372088B2 (en) 2012-08-03 2016-06-21 Robotic Research, Llc Canine handler operations positioning system
US9953618B2 (en) 2012-11-02 2018-04-24 Qualcomm Incorporated Using a plurality of sensors for mapping and localization
US9037396B2 (en) 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot
US9746330B2 (en) 2013-08-03 2017-08-29 Robotic Research, Llc System and method for localizing two or more moving nodes
JP6241172B2 (ja) * 2013-09-25 2017-12-06 日産自動車株式会社 自車位置推定装置及び自車位置推定方法
US20150202770A1 (en) * 2014-01-17 2015-07-23 Anthony Patron Sidewalk messaging of an autonomous robot
US9563205B2 (en) 2014-02-10 2017-02-07 Savioke, Inc. Sensor configurations and methods for mobile robot
CN103984037B (zh) 2014-04-30 2017-07-28 深圳市墨克瑞光电子研究院 基于视觉的移动机器人障碍物检测方法和装置
US9731713B2 (en) * 2014-09-10 2017-08-15 Volkswagen Ag Modifying autonomous vehicle driving by recognizing vehicle characteristics
US9519289B2 (en) 2014-11-26 2016-12-13 Irobot Corporation Systems and methods for performing simultaneous localization and mapping using machine vision systems
EP3156873B2 (en) 2015-10-15 2023-04-05 Honda Research Institute Europe GmbH Autonomous vehicle with improved simultaneous localization and mapping function

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102460074A (zh) * 2009-06-01 2012-05-16 罗伯特·博世有限公司 用于组合三维位置和二维强度地图绘制进行定位的方法和装置
CN102435188A (zh) * 2011-09-15 2012-05-02 南京航空航天大学 一种用于室内环境的单目视觉/惯性全自主导航方法
CN104166400A (zh) * 2014-07-11 2014-11-26 杭州精久科技有限公司 基于多传感器融合的视觉导引agv***
CN104851094A (zh) * 2015-05-14 2015-08-19 西安电子科技大学 一种基于rgb-d的slam算法的改进方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Vision-Based Localization Algorithm Based on Landmark Matching,Triangulation,Reconstruction,and Comparison;David C. K. Yuen等;《TRANSACTIONS ON ROBOTICS》;20050430;第21卷(第2期);全文 *

Also Published As

Publication number Publication date
US11579623B2 (en) 2023-02-14
KR20180079428A (ko) 2018-07-10
US20190354110A1 (en) 2019-11-21
US20180253107A1 (en) 2018-09-06
EP3371671A1 (en) 2018-09-12
EP3371670A1 (en) 2018-09-12
CA3002308A1 (en) 2017-05-11
US10386850B2 (en) 2019-08-20
JP2018532204A (ja) 2018-11-01
US20200319654A1 (en) 2020-10-08
US11989028B2 (en) 2024-05-21
US10732641B2 (en) 2020-08-04
US20180253108A1 (en) 2018-09-06
JP7147119B2 (ja) 2022-10-05
EP3825807A1 (en) 2021-05-26
WO2017076928A1 (en) 2017-05-11
US20210302989A1 (en) 2021-09-30
US20230195131A1 (en) 2023-06-22
US11048267B2 (en) 2021-06-29
EP3371671B1 (en) 2020-10-21
EP3371670B1 (en) 2024-05-22
CN108369420A (zh) 2018-08-03
JP2022106924A (ja) 2022-07-20
US11042165B2 (en) 2021-06-22
AU2016348568A1 (en) 2018-06-14
US11747822B2 (en) 2023-09-05
US20210302990A1 (en) 2021-09-30
WO2017076929A1 (en) 2017-05-11

Similar Documents

Publication Publication Date Title
CN108369420B (zh) 用于自主定位的设备和方法
US11852729B2 (en) Ground intensity LIDAR localizer
CN107144285B (zh) 位姿信息确定方法、装置和可移动设备
CN110859044B (zh) 自然场景中的集成传感器校准
CN110945320B (zh) 车辆定位方法和***
US11846520B2 (en) Method and device for determining a vehicle position
CN112805766A (zh) 用于更新详细地图的装置和方法
Vora et al. Aerial imagery based lidar localization for autonomous vehicles
Fang et al. Self-localization of intelligent vehicles based on environmental contours
Jiménez et al. LiDAR-based SLAM algorithm for indoor scenarios
JP7329079B2 (ja) 汎用的に使用可能な特徴マップを生成する方法
CN116558532A (zh) 用于自主车辆的可视和无线联合三维映射和高级驾驶员辅助***
Bao et al. Vehicle Localization System in Urban Scenario with Three-Dimensional City Map

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant