CN107907131A - 定位***、方法及所适用的机器人 - Google Patents

定位***、方法及所适用的机器人 Download PDF

Info

Publication number
CN107907131A
CN107907131A CN201711104306.1A CN201711104306A CN107907131A CN 107907131 A CN107907131 A CN 107907131A CN 201711104306 A CN201711104306 A CN 201711104306A CN 107907131 A CN107907131 A CN 107907131A
Authority
CN
China
Prior art keywords
feature
robot
posture
correspondence
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711104306.1A
Other languages
English (en)
Other versions
CN107907131B (zh
Inventor
崔彧玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Akobert Robot Co ltd
Original Assignee
Shan Kou (shanghai) Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shan Kou (shanghai) Intelligent Technology Co Ltd filed Critical Shan Kou (shanghai) Intelligent Technology Co Ltd
Priority to CN201711104306.1A priority Critical patent/CN107907131B/zh
Priority to EP17931779.7A priority patent/EP3708954A4/en
Priority to PCT/CN2017/112412 priority patent/WO2019090833A1/zh
Publication of CN107907131A publication Critical patent/CN107907131A/zh
Priority to US16/043,746 priority patent/US10436590B2/en
Application granted granted Critical
Publication of CN107907131B publication Critical patent/CN107907131B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本申请提供一种定位***、方法及所适用的机器人。所述定位***至少包括：存储装置，存储有图像坐标系与物理空间坐标系的对应关系；摄像装置，用于在机器人移动期间摄取图像帧；处理装置，与所述摄像装置和存储装置相连，用于获取当前时刻图像帧和上一时刻图像帧中相匹配特征的位置，并依据所述对应关系和所述位置确定机器人的位置及姿态。本申请借助摄像装置自两图像帧中所匹配的特征点的位置偏移信息来确定机器人的位置及姿态，可有效减少机器人中传感器所提供移动信息的误差。

Description

定位***、方法及所适用的机器人
技术领域
本申请涉及室内定位技术领域，特别是涉及一种定位***、方法及所适用的机器人。
背景技术
移动机器人是自动执行工作的机器装置。它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。这类移动机器人可用在室内或室外，可用于工业或家庭，可用于取代保安巡视、取代人们清洁地面，还可用于家庭陪伴、辅助办公等。受不同移动机器人所应用的领域差别，各领域所使用的移动机器人的移动方式有所差异，例如，移动机器人可采用轮式移动、行走式移动、链条式移动等。随着移动机器人的移动技术的更新迭代，利用传感器所提供的移动信息进行即时定位与地图构建(简称SLAM)，以便为移动机器人提供更精准的导航能力，使得移动机器人能更有效地自主移动。然而，以扫地机器人为例，滚轮在不同材质的地面上移动所能行进的距离并不相同，这使得SLAM技术在该领域中所构建的地图与实际物理空间的地图可能出现较大差异。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种定位***、方法及所适用的机器人，用于解决现有技术中利用传感器所提供数据对机器人的定位不准确的问题。
为实现上述目的及其他相关目的，本申请的第一方面提供一种机器人的定位***，包括：存储装置，存储有图像坐标系与物理空间坐标系的对应关系；摄像装置，用于在机器人移动期间摄取图像帧；处理装置，与所述摄像装置和存储装置相连，用于获取当前时刻图像帧和上一时刻图像帧中相匹配特征的位置，并依据所述对应关系和所述位置确定机器人的位置及姿态。
在所述第一方面的某些实施方式中，所述摄像装置的视野光学轴相对于垂线为±30°或水平线为60-120°。
在所述第一方面的某些实施方式中，所述处理装置包括跟踪模块，与所述摄像装置相连，用于跟踪两幅图像帧中包含相同特征的位置。
在所述第一方面的某些实施方式中，所述定位***还包括移动传感装置，与所述处理装置相连，用于获取机器人的移动信息。
在所述第一方面的某些实施方式中，所述处理装置包括初始化模块，用于基于两幅图像帧中相匹配特征的位置和自所述上一时刻至所述当前时刻所获取的移动信息，构建所述对应关系。
在所述第一方面的某些实施方式中，所述处理装置包括：第一定位模块，用于依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态；第一定位补偿模块，用于基于所获取的移动信息补偿所确定的位置及姿态中的误差。
在所述第一方面的某些实施方式中，所述存储装置还存储基于所匹配的特征而构建的地标信息。
在所述第一方面的某些实施方式中，所述处理装置包括：第二定位模块，用于依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态；第二定位补偿模块，用于基于所存储的对应相匹配特征的地标信息补偿所确定的位置及姿态中的误差。
在所述第一方面的某些实施方式中，所述处理装置包括更新模块，用于基于相匹配的特征更新所存储的地标信息。
本申请的第二方面提供一种机器人的定位***，包括：移动传感装置，用于获取机器人的移动信息；摄像装置，用于在机器人移动期间摄取图像帧；处理装置，与所述图像摄取装置和移动传感装置相连，用于获取上一时刻和当前时刻的两幅图像帧，并依据两幅所述图像帧中相匹配特征的位置和在该两时刻期间所获取的移动信息，构建图像坐标系与物理空间坐标系对应关系，以及利用所述对应关系确定机器人的位置及姿态；存储装置，与所述处理装置相连，用于存储所述对应关系。
在所述第二方面的某些实施方式中，所述摄像装置的视野光学轴相对于垂线为±30°或水平线为60-120°。
在所述第二方面的某些实施方式中，所述处理装置用于获取当前时刻图像帧和上一时刻图像帧中相匹配特征的位置，并依据所述对应关系和所述位置确定机器人的位置及姿态。
在所述第二方面的某些实施方式中，所述处理装置包括跟踪模块，与所述摄像装置相连，用于跟踪两幅图像帧中包含相同特征的位置。
在所述第二方面的某些实施方式中，所述处理装置包括：第一定位模块，用于依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态；第一定位补偿模块，用于基于所获取的移动信息补偿所确定的位置及姿态中的误差。
在所述第二方面的某些实施方式中，所述存储装置还存储基于所匹配的特征而构建的地标信息。
在所述第二方面的某些实施方式中，所述处理装置包括：第二定位模块，用于依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态；第二定位补偿模块，用于基于所存储的对应相匹配特征的地标信息补偿所确定的位置及姿态中的误差。
在所述第二方面的某些实施方式中，所述处理装置包括更新模块，用于基于相匹配的特征更新所存储的地标信息。
本申请的第三方面提供一种机器人，包括：如上述第一方面所提供的任一定位***；或者如上述第二方面所提供的任一定位***；移动装置；控制装置，用于基于所述定位***所提供的位置及姿态控制所述移动装置进行移动操作。
本申请的第四方面提供一种机器人定位方法，包括：获取当前时刻图像帧和上一时刻图像帧中相匹配特征的位置；依据所述对应关系和所述位置确定机器人的位置及姿态；其中，所述对应关系包括：图像坐标系与物理空间坐标系的对应关系。
在所述第四方面的某些实施方式中，所述获取当前时刻图像帧和上一时刻图像帧中相匹配特征的位置的方式包括跟踪两幅图像帧中包含相同特征的位置。
在所述第四方面的某些实施方式中，还包括获取机器人的移动信息的步骤。
在所述第四方面的某些实施方式中，还包括基于两幅图像帧中相匹配特征的位置和自所述上一时刻至所述当前时刻所获取的移动信息，构建所述对应关系的步骤。
在所述第四方面的某些实施方式中，所述依据对应关系和所述位置确定机器人的位置及姿态的方式包括：依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态；基于所获取的移动信息补偿所确定的位置及姿态中的误差。
在所述第四方面的某些实施方式中，所述依据对应关系和所述位置确定机器人的位置及姿态的方式包括：依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态；基于预存储的对应相匹配特征的地标信息补偿所确定的位置及姿态中的误差。
在所述第四方面的某些实施方式中，所述定位方法还包括基于相匹配的特征更新所存储的地标信息的步骤。
本申请的第五方面还提供一种机器人的定位方法，包括：获取机器人在移动期间的移动信息和多幅图像帧；获取上一时刻和当前时刻的两幅图像帧，并依据两幅所述图像帧中相匹配特征的位置和在该两时刻期间所获取的移动信息，构建图像坐标系与物理空间坐标系对应关系；利用所述对应关系确定机器人的位置及姿态。
在所述第五方面的某些实施方式中，所述利用对应关系确定机器人的位置及姿态的方式包括：获取当前时刻图像帧和上一时刻图像帧中相匹配特征的位置；依据所述对应关系和所述位置确定机器人的位置及姿态。
在所述第五方面的某些实施方式中，所述获取当前时刻图像帧和上一时刻图像帧中相匹配特征的位置的方式包括：跟踪两幅图像帧中包含相同特征的位置。
在所述第五方面的某些实施方式中，所述依据对应关系和所述位置确定机器人的位置及姿态的方式包括：依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态；基于所获取的移动信息补偿所确定的位置及姿态中的误差。
在所述第五方面的某些实施方式中，所述依据对应关系和所述位置确定机器人的位置及姿态的方式包括：依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态；基于预存储的对应相匹配特征的地标信息补偿所确定的位置及姿态中的误差。
在所述第五方面的某些实施方式中，所述定位方法还包括基于相匹配的特征更新所存储的地标信息的步骤。
如上所述，本申请的定位***、方法及所适用的机器人，具有以下有益效果：借助摄像装置自两图像帧中所匹配的特征点的位置偏移信息来确定机器人的位置及姿态，可有效减少机器人中传感器所提供移动信息的误差。另外，利用两图像帧中所匹配的特征点的位置偏移信息和传感器所提供的移动信息来初始化图像坐标系与物理空间坐标系的对应关系，既实现了利用单目摄像装置进行定位的目标，又有效解决了传感器误差累积的问题。
附图说明
图1显示为本申请的定位***在一种实施方式中的结构示意图。
图2显示为本申请的定位***中两幅图像帧中特征匹配的示意图。
图3显示为本申请的定位***在又一种实施方式中的结构示意图。
图4显示为本申请的机器人在一种实施方式中的结构示意图。
图5显示为本申请的机器人在又一种实施方式中的结构示意图。
图6显示为本申请的定位方法在一种实施方式中的流程图。
图7显示为本申请的定位方法在又一种实施方式中的流程图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。
在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变.下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定.这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
虽然在一些实例中术语第一、第二等在本文中用来描述各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一预设阈值可以被称作第二预设阈值，并且类似地，第二预设阈值可以被称作第一预设阈值，而不脱离各种所描述的实施例的范围。第一预设阈值和预设阈值均是在描述一个阈值，但是除非上下文以其他方式明确指出，否则它们不是同一个预设阈值。相似的情况还包括第一音量与第二音量。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示.应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加.此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合.因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
移动机器人基于不断定位的积累并结合其他预设的或所获取的与移动相关的信息，一方面能够构建机器人所在场地的地图数据，另一方面，还可基于已构建的地图数据提供路线规划、路线规划调整及导航服务。这使得移动机器人的移动效率更高。以扫地机器人为例，例如，室内扫地机器人可结合已构建的室内地图和定位技术，预判当前位置相距室内地图上标记的障碍物的距离，并便于及时调整清扫策略。其中，所述障碍物可由单一标记描述，或基于对形状、尺寸等特征而被标记成墙、桌、沙发、衣柜等。又如，室内扫地机器人可基于定位技术累积所定位的各位置和姿态，并根据累积的位置及姿态的变化构建室内地图。以巡逻机器人为例，巡逻机器人通常应用于厂区、工业园区等场景，巡逻机器人可结合已构建的厂区地图和定位技术，预判当前位置相距转弯处、路口、充电桩等位置的距离，由此便于根据所获取的其他监控数据及时控制机器人的移动装置进行移动。
基于上述移动机器人的示例而推及至其他应用场景下所使用的移动机器人，为了提高移动机器人的定位精度，减少传感器的误差累积，本申请提供一种机器人的定位***。所述定位***可配置于扫地机器人中。请参见图1，其显示为所述定位***的结构示意图。所述定位***1包含存储装置12、摄像装置11、处理装置13。
在此，所述存储装置12包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中，存储装置12还可以包括远离一个或多个处理器的存储器，例如，经由RF电路或外部端口以及通信网络(未示出)访问的网络附加存储器，其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WLAN)、存储局域网(SAN)等，或其适当组合。存储器控制器可控制机器人的诸如CPU和外设接口之类的其他组件对存储装置的访问。
所述摄像装置11包括但不限于：照相机、视频摄像机、集成有光学***或CCD芯片的摄像模块、集成有光学***和CMOS芯片的摄像模块等。所述摄像装置的供电***可受机器人的供电***控制，当机器人上电移动期间，所述摄像装置11即开始摄取图像帧，并提供给处理装置13。例如，扫地机器人中的摄像装置将所摄取的室内图像帧以预设视频格式缓存在存储装置中，并由处理装置获取。所述摄像装置11用于在机器人移动期间摄取图像帧。在此，所述摄像装置11可设置于机器人的顶部。例如，扫地机器人的摄像装置设置于其顶盖的中部、或边缘上。摄像装置的视野光学轴相对于垂线为±30°或水平线为60-120°。例如，扫地机器人的摄像装置的光学轴相对于垂线的夹角为-30°、-29°、-28°、-27°……-1°、0°、1°、2°……29°、或30°。又如，扫地机器人的摄像装置的光学轴相对于水平线的夹角为60°、61°、62°……119°、120°。需要说明的是，本领域技术人员应该理解，上述光学轴与垂线或水平线的夹角仅为举例，而非限制其夹角精度为1°的范围内，根据实际机器人的设计需求，所述夹角的精度可更高，如达到0.1°、0.01°以上等，在此不做无穷尽的举例。
所述处理装置13包括一个或多个处理器。处理装置13可操作地与存储装置12中的易失性存储器和/或非易失性存储器耦接。处理装置13可执行在存储器和/或非易失性存储设备中存储的指令以在机器人中执行操作，诸如提取图像帧中的特征以及基于特征在地图中进行定位等。如此，处理器可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个数字信号处理器(DSP)、一个或多个现场可编程逻辑阵列(FPGA)、或它们的任何组合。所述处理装置还与I/O端口和输入结构可操作地耦接，该I/O端口可使得机器人能够与各种其他电子设备进行交互，该输入结构可使得用户能够与计算设备进行交互。因此，输入结构可包括按钮、键盘、鼠标、触控板等。所述其他电子设备可以是所述机器人中移动装置中的移动电机，或机器人中专用于控制移动装置和清扫装置的从处理器，如微控制单元(Microcontroller Unit，简称MCU)。
在一种示例中，所述处理装置13通过数据线分别连接存储装置12和摄像装置11。所述处理装置13通过数据读写技术与存储装置12进行交互，所述处理装置13通过接口协议与摄像装置11进行交互。其中，所述数据读写技术包括但不限于：高速/低速数据接口协议、数据库读写操作等。所述接口协议包括但不限于：HDMI接口协议、串行接口协议等。
所述存储装置12存储有图像坐标系与物理空间坐标系的对应关系。其中，所述图像坐标系是基于图像像素点而构建的图像坐标系，摄像装置11所摄取的图像帧中各图像像素点的二维坐标参数可由所述图像坐标系描述。所述图像坐标系可为直角坐标系或极坐标系等。所述物理空间坐标系及基于实际二维或三维物理空间中各位置而构建的坐标系，其物理空间位置可依据预设的图像像素单位与单位长度(或单位角度)的对应关系而被描述在所述物理空间坐标系中。所述物理空间坐标系可为二维直角坐标系、极坐标系、球坐标系、三维直角坐标系等。
对于所使用场景的地面复杂度不高的机器人来说，该对应关系可在出厂前预存在所述存储装置中。然而，对于使用场景的地面复杂度较高的机器人，例如扫地机器人来说，可利用在所使用的场地进行现场测试的方式得到所述对应关系并保存在所述存储装置中。在一些实施方式中，所述机器人还包括移动传感装置(未予图示)，用于获取机器人的移动信息。其中，所述移动传感装置包括但不限于：位移传感器、陀螺仪、速度传感器、测距传感器、悬崖传感器等。在机器人移动期间，移动传感装置不断侦测移动信息并提供给处理装置。所述位移传感器、陀螺仪、速度传感器等可被集成在一个或多个芯片中。所述测距传感器和悬崖传感器可设置在机器人的体侧。例如，扫地机器人中的测距传感器被设置在壳体的边缘；扫地机器人中的悬崖传感器被设置在机器人底部。根据机器人所布置的传感器的类型和数量，处理装置所能获取的移动信息包括但不限于：位移信息、角度信息、与障碍物之间的距离信息、速度信息、行进方向信息等。
为了构建所述对应关系，在一些实施方式中，所述处理装置中的初始化模块基于两幅图像帧中相匹配特征的位置和自所述上一时刻至所述当前时刻所获取的移动信息，构建所述对应关系。在此，所述初始化模块可以是一种程序模块，其程序部分存储在存储装置中，并经由处理装置的调用而被执行。当所述存储装置中未存储所述对应关系时，所述处理装置调用初始化模块以构建所述对应关系。
在此，初始化模块在机器人移动期间获取移动传感装置所提供的移动信息以及获取摄像装置所提供的各图像帧。为了减少移动传感装置的累积误差，所述初始化模块可在机器人移动的一小段时间内获取所述移动信息和至少两幅图像帧。例如，所述初始化模块在监测到机器人处于直线移动时，获取所述移动信息和至少两幅图像帧。又如，所述初始化模块在监测到机器人处于转弯移动时，获取所述移动信息和至少两幅图像帧。
接着，初始化模块对各图像帧中的特征进行识别和匹配并得到相匹配特征在各图像帧中的图像位置。其中特征包括但不限于角点特征、边缘特征、直线特征、曲线特征等。例如，所述初始化模块可依据所述处理装置中的跟踪模块来获取相匹配特征的图像位置。所述跟踪模块用于跟踪两幅图像帧中包含相同特征的位置。
所述初始化模块再根据所述图像位置和移动信息所提供的物理空间位置来构建所述对应关系。在此，所述初始化模块可通过构建物理空间坐标系和图像坐标系的特征坐标参数来建立所述对应关系。例如，所述初始化模块可依据所拍摄上一时刻图像帧所在物理空间位置为物理空间坐标系的坐标原点，并将该坐标原点与图像帧中相匹配的特征在图像坐标系中的位置进行对应，从而构建两个坐标系的对应关系。
需要说明的是，所述初始化模块的工作过程可以基于用户的指令来执行，或对用户透明。例如，所述初始化模块的执行过程是基于所述存储装置中未存储所述对应关系、或所述对应关系需要被更新时而启动的。在此不做限制。
所述对应关系可由对应算法的程序、数据库等方式保存在所述存储装置中。为此，存储在存储器中的软件组件包括操作***、通信模块(或指令集)、接触/运动模块(或指令集)、图形模块(或指令集)、以及应用(或指令集)。此外，存储装置还保存有包含摄像装置所拍摄的图像帧、处理装置在进行定位运算时所得到的位置及姿态在内的临时数据或持久数据。
在构建了所述对应关系后，所述处理装置获取当前时刻图像帧和上一时刻图像帧中相匹配的特征，并依据所述对应关系和所述特征确定机器人的位置及姿态。
在此，所述处理装置13可按照预设的时间间隔或图像帧数量间隔获取上一时刻t1和当前时刻t2的两幅图像帧，识别并匹配两幅图像帧中的特征。其中，根据所述定位***所使用的硬件和软件处理能力的设计，所述时间间隔可在几毫秒至几百毫秒之间选择，所述图像帧数量间隔可在0帧至几十帧之间选择。所述特征包括但不限于：形状特征、和灰度特征等。所述形状特征包括但不限于：角点特征、直线特征、边缘特征、曲线特征等。所述灰度色特征包括但不限于：灰度跳变特征、高于或低于灰度阈值的灰度值、图像帧中包含预设灰度范围的区域尺寸等。
为了能够准确定位，所匹配特征的数量通常为多个，例如在10个以上。为此，所述处理装置13根据所识别的特征在各自图像帧中位置，从所识别出的特征中寻找能够匹配的特征。例如，请参阅图2，其显示为在t1时刻和t2时刻所获取的两幅图像帧中相匹配特征的位置变化关系示意图。所述处理装置13在识别出各图像帧中的特征后，确定图像帧P1中包含特征a1和a2，图像帧P2中包含特征b1、b2和b3，且特征a1与b1和b2均属于同一特征，特征a2与b3属于同一特征，所述处理装置13可先确定在图像帧P1中的特征a1位于特征a2的左侧且间距为d1像素点；同时还确定在图像帧P2中的特征b1位于特征b3的左侧且间距为d1’像素点，以及特征b2位于特征b3右侧且间距为d2’像素点。处理装置13根据特征b1与b3的位置关系、特征b2与b3的位置关系分别与特征a1与a2的位置关系，以及特征b1与b3的像素间距、特征b2与b3的像素间距分别与特征a1与a2的像素间距进行匹配，从而得到图像帧P1中特征a1与图像帧P2中特征b1相匹配，特征a2与特征b3相匹配。以此类推，处理装置13将所匹配的各特征，以便于依据各所述特征所对应的图像像素的位置变化来定位机器人的位置及姿态。其中，所述机器人的位置可依据在二维平面内的位移变化而得到，所述姿态可依据在二维平面内的角度变化而得到。
在此，处理装置13可以根据所述对应关系，确定两幅图像帧中多个特征的图像位置偏移信息、或确定多个特征在物理空间中的物理位置偏移信息，并综合所得到的任一种位置偏移信息来计算机器人自t1时刻至t2时刻的相对位置及姿态。例如，通过坐标变换，所述处理装置13得到机器人从摄取图像帧P1时刻t1至摄取图像帧P2时刻t2的位置和姿态为：在地面上移动了m长度以及向左旋转了n度角。以扫地机器人为例，当扫地机器人已建立地图时，依据所述处理装置13得到的位置及姿态可帮助机器人确定是否在导航的路线上。当扫地机器人未建立地图时，依据所述处理装置13得到的位置及姿态可帮助机器人确定相对位移和相对转角，并借此数据进行地图绘制。
在某些实施方式中，所述处理装置13包括：跟踪模块和定位模块。其中，所述跟踪模块和定位模块可共用处理装置13中的处理器等硬件电路，并基于程序接口实现数据交互和指令调用。
其中，所述跟踪模块与所述摄像装置11相连，用于跟踪两幅图像帧中包含相同特征的位置。
在一些实施方式中，所述跟踪模块可利用视觉跟踪技术对上一时刻的图像帧中的特征在当前时刻的图像帧中进行追踪以得相匹配的特征。例如，以上一时刻图像帧P1中识别出的特征ci在该图像帧P1中的位置为基准，所述跟踪模块在当前时刻图像帧P2中对应位置附近的区域中是否包含相应特征ci进行判断，若找到相应特征ci，则获取该特征ci在图像帧P2中的位置，若未找到相应特征ci，则认定该特征ci不在图像帧P2中。如此当收集到所跟踪的多个特征、和各特征在各自图像帧中的位置时，将各所述特征及其各位置提供给定位模块。
在又一些实施方式中，所述跟踪模块还利用机器人中的移动传感装置所提供的移动信息来跟踪两幅图像帧中包含相同特征的位置。例如，所述跟踪模块的硬件电路通过数据线连接移动传感装置，并从所述移动传感装置获取与两幅图像帧P1和P2的获取时刻t1和t2相对应的移动信息，利用所述对应关系和上一时刻图像帧P1中所识别的各特征ci及其在图像帧P1中的位置，估计经过所述移动信息所描述的位置变化对应特征ci在当前时刻图像帧P2中的候选位置，并在所估计的候选位置附近识别对应特征ci，若找到相应特征ci，则获取该特征ci在图像帧P2中的位置，若未找到相应特征ci，则认定该特征ci不在图像帧P2中。如此当收集到所跟踪的特征(即相匹配的特征)及其各位置时，将各所述特征及其位置提供给定位模块。
所述定位模块用于依据所述对应关系及所述位置确定机器人自所述上一时刻至所述当前时刻的位置偏移信息以得到所述机器人的位置及姿态。
在此，所述定位模块可由多个程序模块组合而成，也可为单一的程序模块。例如，为了快速得到机器人的相对位置及姿态变化，则可仅由所述定位模块依据所述对应关系对同一特征在两幅图像帧中的位置进行坐标变换，即能得到自上一时刻至当前时刻的位置偏移信息，该位置偏移信息反映了所述机器人自上一时刻至当前时刻的相对位置及姿态变化。该种定位方式可用于在相匹配的特征充足的定位中。例如，在对机器人移动的导航期间，利用上述方式获取相对位置及姿态变化能够快速确定机器人当前的移动路线是否发生偏移，并基于判断结果来进行后续导航调整。
为了防止摄像装置11的误差在本方案中的累积，在一种实施方式中，所述处理装置13还结合移动传感装置所提供的移动信息以确定机器人的位置及姿态。所述处理装置13包括：第一定位模块和第一定位补偿模块。其中，所述第一定位模块和第一定位补偿模块可属于前述定位模块中的程序模块。所述第一定位模块用于依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态。所述第一定位补偿模块用于基于所获取的移动信息补偿所确定的位置及姿态中的误差。
例如，所述第一定位模块自t1时刻至t2时刻获取两图像帧，同时还获取了移动信息，第一定位模块依据前述特征识别和匹配方式得到两幅图像帧中可用于定位的多个特征及其在各自图像帧中的位置，并利用所述对应关系确定机器人的第一位置及姿态。所述第一定位补偿模块根据所获取的位移信息和角度信息，确定机器人沿所述角度信息所指示的偏转方向及偏转角度移动了由所述位移信息所提供的距离，如此得到机器人的第二位置及姿态。
受两种计算方式和硬件设备的误差影响，所得到的第一位置及姿态和第二位置及姿态之间必然存在误差。为了减少所述误差，所述第一定位补偿模块还基于所述第一位置及姿态和第二位置及姿态之间的误差确定所述机器人的位置及姿态。在此，所述第一定位补偿模块可基于第一和第二位置及姿态各自所对应的位移信息及角度信息进行基于权重的均值处理，从而得到补偿了误差后的位置及姿态。例如，第一定位补偿模块取第一候选位置及姿态中的位移信息和第二候选位置及姿态中位移信息进行加权平均处理，得到补偿后的位置及姿态中位移信息。第一定位补偿模块取第一候选位置及姿态中的角度变化信息和第二候选位置及姿态中角度变化信息进行加权平均处理，得到补偿后的位置及姿态中角度变化信息。
在另一种实施方式中，所述处理装置13还可以结合基于所匹配的特征而构建的地标信息来补偿仅基于前后两时刻的图像帧中相匹配特征的位置而确定的位置及姿态中的误差。对应地，所述存储装置12中存储有所述地标信息。其中所述地标信息包括但不限于：历次匹配的特征、历次拍摄到所述特征时在物理空间的地图数据、历次拍摄到所述特征时在相应图像帧中的位置、拍摄相应特征时的位置及姿态等属性信息。所述地标信息可与地图数据一并保存在所述存储装置12。
所述处理装置13包括：第二定位模块和第二定位补偿模块。所述第二定位模块用于依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态。所述第二定位补偿模块用于基于所存储的对应相匹配特征的地标信息补偿所确定的位置及姿态中的误差。其中，所述第二定位模块和第二定位补偿模块可属于前述定位模块中的程序模块。
例如，所述第二定位模块依据前述特征识别和匹配方式得到前后两时刻所获取的两幅图像帧中可用于定位的多个特征及其在各自图像帧中的位置，并利用所述对应关系确定从前一时刻t1至当前时刻t2机器人的第一位置及姿态。第二定位补偿模块分别将该两幅图像帧中相匹配的特征与预存的地标信息中的特征进行单独匹配，并利用各自所匹配的特征所对应的地标信息中的其他属性信息来确定机器人在每一拍摄时刻的位置及姿态，进而得到从前一时刻t1至当前时刻t2机器人的第二位置及姿态。接着，第二定位补偿模块还根据第一位置及姿态和第二位置及姿态之间的误差确定所述机器人的位置及姿态。例如，第二定位补偿模块取第一位置及姿态中的位移信息和第二位置及姿态中位移信息进行加权平均处理，得到补偿后的位置及姿态中位移信息。第二定位补偿模块还取第一位置及姿态中的角度变化信息和第二位置及姿态中角度变化信息进行加权平均处理，得到补偿后的位置及姿态中角度变化信息。
需要说明的是，所述处理装置13还可以结合包含上述任一种或多种的误差补偿方式进行误差补偿。或者，所述处理装置13可在上述任一种或多种误差补偿方式基础上进行改进及拓展应视为基于本申请的定位技术而产生的示例。
另外，被收录为地标信息的特征通常为固定不变的，然而在实际应用中，被收录为地标信息的特征并非一定如此。比如，被收录为地标信息的特征为灯的轮廓特征，当灯被更换后其相应的特征消失。当机器人需要借助该特征进行定位时，将无法找到用于补偿误差的特征。为此，所述处理装置13还包括更新模块，用于基于相匹配的特征更新所存储的地标信息。
在此，所述更新模块可获取包括：相匹配的特征，相匹配特征在至少一个图像帧中的位置，如前述定位模块、第一定位补偿模块、或第二定位补偿模块等所确定的位置及姿态等信息。
所述更新模块可通过比存储装置12中保存的各地标信息与所获取的信息来确定是否更新所保存的地标信息。例如，当更新模块基于相似或相同的位置及姿态查找到存储装置12中未曾存储的特征时，将最新的特征对应补充保存到相应地标信息中。又如，当更新模块基于相似或相同的位置及姿态查找到存储装置12中已存储的但无法与新匹配的特征相匹配的特征时，删除相应地标信息中所保存的多余特征。
所述更新模块还可以基于当前匹配的特征数量高于预设门限时添加新的地标信息。其中所述门限可以是固定值、或基于地图中所标记位置处对应的特征数量而设定。例如，当更新模块基于相似或相同的位置及姿态查找到新匹配的特征数量多于相应位置处存储装置中所保存的特征数量时，可将新的特征添加到已构建的地标信息中。
需要说明的是，本领域技术人员应该理解，上述基于位置而调整地标信息中的特征的方式仅为举例，而非对本申请的限制。事实上，更新模块也可以基于特征来调整地图中的位置等。
请参阅图3，其显示为本申请又一种定位***的结构示意图。所述定位***可配置于扫地机器人中。其中，所述定位***2包括：移动传感装置24、摄像装置21、处理装置23和存储装置22。
在此，所述移动传感装置24包括但不限于：位移传感器、陀螺仪、速度传感器、测距传感器、悬崖传感器等。在机器人移动期间，移动传感装置24不断侦测移动信息并提供给处理装置。所述位移传感器、陀螺仪、速度传感器等可被集成在一个或多个芯片中。所述测距传感器和悬崖传感器可设置在机器人的体侧。例如，扫地机器人中的测距传感器被设置在壳体的边缘；扫地机器人中的悬崖传感器被设置在机器人底部。根据机器人所布置的传感器的类型和数量，处理装置所能获取的移动信息包括但不限于：位移信息、角度信息、与障碍物之间的距离信息、速度信息、行进方向信息等。
所述存储装置22包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中，存储装置22还可以包括远离一个或多个处理器的存储器，例如，经由RF电路或外部端口以及通信网络(未示出)访问的网络附加存储器，其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WLAN)、存储局域网(SAN)等，或其适当组合。存储器控制器可控制机器人的诸如CPU和外设接口之类的其他组件对存储装置的访问。
所述摄像装置21包括但不限于：照相机、视频摄像机、集成有光学***或CCD芯片的摄像模块、集成有光学***和CMOS芯片的摄像模块等。所述摄像装置21的供电***可受机器人的供电***控制，当机器人上电移动期间，所述摄像装置即开始摄取图像帧，并提供给处理装置。例如，扫地机器人中的摄像装置将所摄取的室内图像帧以预设视频格式缓存在存储装置中，并由处理装置获取。
所述摄像装置21用于在机器人移动期间摄取图像帧。在此，所述摄像装置21可设置于机器人的顶部。例如，扫地机器人的摄像装置设置于其顶盖的中部、或边缘上。摄像装置的视野光学轴相对于垂线为±30°或水平线为60-120°。例如，扫地机器人的摄像装置的光学轴相对于垂线的夹角为-30°、-29°、-28°、-27°……-1°、0°、1°、2°、…、29°、或30°。又如，扫地机器人的摄像装置的光学轴相对于水平线的夹角为60°、61°、62°……119°、120°。需要说明的是，本领域技术人员应该理解，上述光学轴与垂线或水平线的夹角仅为举例，而非限制其夹角精度为1°的范围内，根据实际机器人的设计需求，所述夹角的精度可更高，如达到0.1°、0.01°以上等，在此不做无穷尽的举例。
为了提高移动机器人的定位精度，减少传感器的误差累积，在机器人移动期间，所述处理装置23自所述摄像装置21获取上一时刻和当前时刻的两幅图像帧，并依据两幅所述图像帧中相匹配特征的位置和在该两时刻期间自移动传感装置所获取的移动信息，构建图像坐标系与物理空间坐标系对应关系并保存在存储装置中。
在此，所述处理装置23包括一个或多个处理器。处理装置23可操作地与存储装置222中的易失性存储器和/或非易失性存储器耦接。处理装置23可执行在存储器和/或非易失性存储设备中存储的指令以在机器人中执行操作，诸如提取图像帧中的特征以及基于特征在地图中进行定位等。如此，处理器可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个数字信号处理器(DSP)、一个或多个现场可编程逻辑阵列(FPGA)、或它们的任何组合。所述处理装置还与I/O端口和输入结构可操作地耦接，该I/O端口可使得机器人能够与各种其他电子设备进行交互，该输入结构可使得用户能够与计算设备进行交互。因此，输入结构可包括按钮、键盘、鼠标、触控板等。所述其他电子设备可以是所述机器人中移动装置中的移动电机，或机器人中专用于控制移动装置和清扫装置的从处理器，如微控制单元。
在一种示例中，所述处理装置23通过数据线分别连接存储装置22、摄像装置21和移动传感装置24。所述处理装置23通过数据读写技术与存储装置进行交互，所述处理装置23通过接口协议分别与摄像装置21和移动传感装置24进行交互。其中，所述数据读写技术包括但不限于：高速/低速数据接口协议、数据库读写操作等。所述接口协议包括但不限于：HDMI接口协议、串行接口协议等。
为了构建所述对应关系，在一些实施方式中，所述处理装置23中的初始化模块基于两幅图像帧中相匹配特征的位置和自所述上一时刻至所述当前时刻所获取的移动信息，构建所述对应关系。在此，所述初始化模块可以是一种程序模块，其程序部分存储在存储装置中，并经由处理装置的调用而被执行。当所述存储装置中未存储所述对应关系时，所述处理装置调用初始化模块以构建所述对应关系。
在此，初始化模块在机器人移动期间获取移动传感装置所提供的移动信息以及获取摄像装置所提供的各图像帧。为了减少移动传感装置的累积误差，所述初始化模块可在机器人移动的一小段时间内获取所述移动信息和至少两幅图像帧。在此，所述处理装置可按照预设的时间间隔或图像帧数量间隔获取上一时刻t1和当前时刻t2的两幅图像帧。其中，根据所述定位***所使用的硬件和软件处理能力的设计，所述时间间隔可在几毫秒至几百毫秒之间选择，所述图像帧数量间隔可在0帧至几十帧之间选择。例如，所述初始化模块在监测到机器人处于直线移动时，获取所述移动信息和至少两幅图像帧。又如，所述初始化模块在监测到机器人处于转弯移动时，获取所述移动信息和至少两幅图像帧。
接着，初始化模块对各图像帧中的特征进行识别和匹配并得到相匹配特征在各图像帧中的图像位置。其中特征包括但不限于角点特征、边缘特征、直线特征、曲线特征等。例如，所述初始化模块可依据所述处理装置中的跟踪模块来获取相匹配特征的图像位置。所述跟踪模块用于跟踪两幅图像帧中包含相同特征的位置。
所述初始化模块再根据所述图像位置和移动信息所提供的物理空间位置来构建所述对应关系。在此，所述初始化模块可通过构建物理空间坐标系和图像坐标系的特征坐标参数来建立所述对应关系。例如，所述初始化模块可依据所拍摄上一时刻图像帧所在物理空间位置为物理空间坐标系的坐标原点，并将该坐标原点与图像帧中相匹配的特征在图像坐标系中的位置进行对应，从而构建两个坐标系的对应关系。
需要说明的是，所述初始化模块的工作过程可以基于用户的指令来执行，或对用户透明。例如，所述初始化模块的执行过程是基于所述存储装置22中未存储所述对应关系、或所述对应关系需要被更新时而启动的。在此不做限制。
所述对应关系可由对应算法的程序、数据库等方式保存在所述存储装置22中。为此，存储在存储器中的软件组件包括操作***、通信模块(或指令集)、接触/运动模块(或指令集)、图形模块(或指令集)、以及应用(或指令集)。此外，存储装置22还保存有包含摄像装置21所拍摄的图像帧、处理装置23在进行定位运算时所得到的位置及姿态在内的临时数据或持久数据。
在构建了所述对应关系后，所述处理装置23还利用所述对应关系确定机器人的位置及姿态。在此，所述处理装置23可获取所述摄像装置21所摄取的图像帧，并从所述图像帧中识别特征，借助所述对应关系确定在图像帧中特征的位置对应到物理空间中的位置，利用多帧图像的累积，能够确定机器人的位置及姿态。
在一种实施方式中，所述处理装置23获取当前时刻图像帧和上一时刻图像帧中相匹配的特征，并依据所述对应关系和所述特征确定机器人的位置及姿态。
在此，所述处理装置23可按照预设的时间间隔或图像帧数量间隔获取上一时刻t1和当前时刻t2的两幅图像帧，识别并匹配两幅图像帧中的特征。其中，根据所述定位***所使用的硬件和软件处理能力的设计，所述时间间隔可在几毫秒至几百毫秒之间选择，所述图像帧数量间隔可在0帧至几十帧之间选择。所述特征包括但不限于：形状特征、和灰度特征等。所述形状特征包括但不限于：角点特征、直线特征、边缘特征、曲线特征等。所述灰度色特征包括但不限于：灰度跳变特征、高于或低于灰度阈值的灰度值、图像帧中包含预设灰度范围的区域尺寸等。
为了能够准确定位，所匹配特征的数量通常为多个，例如在10个以上。为此，所述处理装置23根据所识别的特征在各自图像帧中位置，从所识别出的特征中寻找能够匹配的特征。例如，如图2所示，所述处理装置23在识别出各图像帧中的特征后，确定图像帧P1中包含特征a1和a2，图像帧P2中包含特征b1、b2和b3，且特征a1与b1和b2均属于同一特征，特征a2与b3属于同一特征，所述处理装置23可先确定在图像帧P1中的特征a1位于特征a2的左侧且间距为d1像素点；同时还确定在图像帧P2中的特征b1位于特征b3的左侧且间距为d1’像素点，以及特征b2位于特征b3右侧且间距为d2’像素点。处理装置23根据特征b1与b3的位置关系、特征b2与b3的位置关系分别与特征a1与a2的位置关系，以及特征b1与b3的像素间距、特征b2与b3的像素间距分别与特征a1与a2的像素间距进行匹配，从而得到图像帧P1中特征a1与图像帧P2中特征b1相匹配，特征a2与特征b3相匹配。以此类推，处理装置23将所匹配的各特征，以便于依据各所述特征所对应的图像像素的位置变化来定位机器人的位置及姿态。其中，所述机器人的位置可依据在二维平面内的位移变化而得到，所述姿态可依据在二维平面内的角度变化而得到。
在此，处理装置23可以根据所述对应关系，确定两幅图像帧中多个特征的图像位置偏移信息、或确定多个特征在物理空间中的物理位置偏移信息，并综合所得到的任一种位置偏移信息来计算机器人自t1时刻至t2时刻的相对位置及姿态。例如，通过坐标变换，所述处理装置23得到机器人从摄取图像帧P1时刻t1至摄取图像帧P2时刻t2的位置和姿态为：在地面上移动了m长度以及向左旋转了n度角。以扫地机器人为例，当扫地机器人已建立地图时，依据所述处理装置23得到的位置及姿态可帮助机器人确定是否在导航的路线上。当扫地机器人未建立地图时，依据所述处理装置23得到的位置及姿态可帮助机器人确定相对位移和相对转角，并借此数据进行地图绘制。
在某些实施方式中，所述处理装置23包括：跟踪模块和定位模块。其中，所述跟踪模块和定位模块可共用处理装置23中的处理器等硬件电路，并基于程序接口实现数据交互和指令调用。
其中，所述跟踪模块与所述摄像装置21相连，用于跟踪两幅图像帧中包含相同特征的位置。
在一些实施方式中，所述跟踪模块可利用视觉跟踪技术对上一时刻的图像帧中的特征在当前时刻的图像帧中进行追踪以得相匹配的特征。例如，以上一时刻图像帧P1中识别出的特征ci在该图像帧P1中的位置为基准，所述跟踪模块在当前时刻图像帧P2中对应位置附近的区域中是否包含相应特征ci进行判断，若找到相应特征ci，则获取该特征ci在图像帧P2中的位置，若未找到相应特征ci，则认定该特征ci不在图像帧P2中。如此当收集到所跟踪的多个特征、和各特征在各自图像帧中的位置时，将各所述特征及其各位置提供给定位模块。
在又一些实施方式中，所述跟踪模块还利用机器人中的移动传感装置24所提供的移动信息来跟踪两幅图像帧中包含相同特征的位置。例如，所述跟踪模块的硬件电路通过数据线连接移动传感装置24，并从所述移动传感装置24获取与两幅图像帧P1和P2的获取时刻t1和t2相对应的移动信息，利用所述对应关系和上一时刻图像帧P1中所识别的各特征ci及其在图像帧P1中的位置，估计经过所述移动信息所描述的位置变化对应特征ci在当前时刻图像帧P2中的候选位置，并在所估计的候选位置附近识别对应特征ci，若找到相应特征ci，则获取该特征ci在图像帧P2中的位置，若未找到相应特征ci，则认定该特征ci不在图像帧P2中。如此当收集到所跟踪的特征(即相匹配的特征)及其各位置时，将各所述特征及其位置提供给定位模块。
所述定位模块用于依据所述对应关系及所述位置确定机器人自所述上一时刻至所述当前时刻的位置偏移信息以得到所述机器人的位置及姿态。
在此，所述定位模块可由多个程序模块组合而成，也可为单一的程序模块。例如，为了快速得到机器人的相对位置及姿态变化，则可仅由所述定位模块依据所述对应关系对同一特征在两幅图像帧中的位置进行坐标变换，即能得到自上一时刻至当前时刻的位置偏移信息，该位置偏移信息反映了所述机器人自上一时刻至当前时刻的相对位置及姿态变化。该种定位方式可用于在相匹配的特征充足的定位中。例如，在对机器人移动的导航期间，利用上述方式获取相对位置及姿态变化能够快速确定机器人当前的移动路线是否发生偏移，并基于判断结果来进行后续导航调整。
为了防止摄像装置21的误差在本方案中的累积，在一种实施方式中，所述处理装置23还结合移动传感装置24所提供的移动信息以确定机器人的位置及姿态。所述处理装置23包括：第一定位模块和第一定位补偿模块。其中，所述第一定位模块和第一定位补偿模块可属于前述定位模块中的程序模块。所述第一定位模块用于依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态。所述第一定位补偿模块用于基于所获取的移动信息补偿所确定的位置及姿态中。
例如，所述第一定位模块自t1时刻至t2时刻获取两图像帧，同时还获取了移动信息，第一定位模块依据前述特征识别和匹配方式得到两幅图像帧中可用于定位的多个特征及其在各自图像帧中的位置，并利用所述对应关系确定机器人的第一位置及姿态。所述第一定位补偿模块根据所获取的位移信息和角度信息，确定机器人沿所述角度信息所指示的偏转方向及偏转角度移动了由所述位移信息所提供的距离，如此得到机器人的第二位置及姿态。
受两种计算方式和硬件设备的误差影响，所得到的第一位置及姿态和第二位置及姿态之间必然存在误差。为了减少所述误差，所述第一定位补偿模块还基于所述第一位置及姿态和第二位置及姿态之间的误差确定所述机器人的位置及姿态。在此，所述第一定位补偿模块可基于第一和第二位置及姿态各自所对应的位移信息及角度信息进行基于权重的均值处理，从而得到补偿了误差后的位置及姿态。例如，第一定位补偿模块取第一候选位置及姿态中的位移信息和第二候选位置及姿态中位移信息进行加权平均处理，得到补偿后的位置及姿态中位移信息。第一定位补偿模块取第一候选位置及姿态中的角度变化信息和第二候选位置及姿态中角度变化信息进行加权平均处理，得到补偿后的位置及姿态中角度变化信息。
在另一种实施方式中，所述处理装置23还可以结合基于所匹配的特征而构建的地标信息来补偿仅基于前后两时刻的图像帧中相匹配特征的位置而确定的位置及姿态中的误差。对应地，所述存储装置22中存储有所述地标信息。其中所述地标信息包括但不限于：历次匹配的特征、历次拍摄到所述特征时在物理空间的地图数据、历次拍摄到所述特征时在相应图像帧中的位置、拍摄相应特征时的位置及姿态等属性信息。所述地标信息可与地图数据一并保存在所述存储装置22。
所述处理装置23包括：第二定位模块和第二定位补偿模块。所述第二定位模块用于依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态。所述第二定位补偿模块用于基于所存储的对应相匹配特征的地标信息补偿所确定的位置及姿态中的误差。其中，所述第二定位模块和第二定位补偿模块可属于前述定位模块中的程序模块。
例如，所述第二定位模块依据前述特征识别和匹配方式得到前后两时刻所获取的两幅图像帧中可用于定位的多个特征及其在各自图像帧中的位置，并利用所述对应关系确定从前一时刻t1至当前时刻t2机器人的第一位置及姿态。第二定位补偿模块分别将该两幅图像帧中相匹配的特征与预存的地标信息中的特征进行单独匹配，并利用各自所匹配的特征所对应的地标信息中的其他属性信息来确定机器人在每一拍摄时刻的位置及姿态，进而得到从前一时刻t1至当前时刻t2机器人的第二位置及姿态。接着，第二定位补偿模块还根据第一位置及姿态和第二位置及姿态之间的误差确定所述机器人的位置及姿态。例如，第二定位补偿模块取第一位置及姿态中的位移信息和第二位置及姿态中位移信息进行加权平均处理，得到补偿后的位置及姿态中位移信息。第二定位补偿模块还取第一位置及姿态中的角度变化信息和第二位置及姿态中角度变化信息进行加权平均处理，得到补偿后的位置及姿态中角度变化信息。
需要说明的是，所述处理装置23还可以结合包含上述任一种或多种的误差补偿方式进行误差补偿。或者，所述处理装置23可在上述任一种或多种误差补偿方式基础上进行改进及拓展应视为基于本申请的定位技术而产生的示例。
另外，被收录为地标信息的特征通常为固定不变的，然而在实际应用中，被收录为地标信息的特征并非一定如此。比如，被收录为地标信息的特征为灯的轮廓特征，当灯被更换后其相应的特征消失。当机器人需要借助该特征进行定位时，将无法找到用于补偿误差的特征。为此，所述处理装置23还包括更新模块，用于基于相匹配的特征更新所存储的地标信息。
在此，所述更新模块可获取包括：相匹配的特征，相匹配特征在至少一个图像帧中的位置，如前述定位模块、第一定位补偿模块、或第二定位补偿模块等所确定的位置及姿态等信息。
所述更新模块可通过比存储装置22中保存的各地标信息与所获取的信息来确定是否更新所保存的地标信息。例如，当更新模块基于相似或相同的位置及姿态查找到存储装置22中未曾存储的特征时，将最新的特征对应补充保存到相应地标信息中。又如，当更新模块基于相似或相同的位置及姿态查找到存储装置22中已存储的但无法与新匹配的特征相匹配的特征时，删除相应地标信息中所保存的多余特征。
所述更新模块还可以基于当前匹配的特征数量高于预设门限时添加新的地标信息。其中所述门限可以是固定值、或基于地图中所标记位置处对应的特征数量而设定。例如，当更新模块基于相似或相同的位置及姿态查找到新匹配的特征数量多于相应位置处存储装置22中所保存的特征数量时，可将新的特征添加到已构建的地标信息中。
需要说明的是，本领域技术人员应该理解，上述基于位置而调整地标信息中的特征的方式仅为举例，而非对本申请的限制。事实上，更新模块也可以基于特征来调整地图中的位置等。
请参阅图4，其显示为可移动的机器人在一种实施方式中的结构示意图。所述机器人包括：定位***31、移动装置33、和控制装置32。所述机器人包括但不限于：扫地机器人等。
所述移动装置33用于带动机器人在地面移动。以扫地机器人为例，所述移动装置33包括但不限于：轮组、与轮组相连的减震组件、驱动所述滚轮的驱动电机等。
所述控制装置32可以包含专用于控制移动装置33的一个或多个处理器(CPU)或微处理单元(MCU)。例如，所述控制装置32作为从处理设备，所述定位***31中的处理装置313作为主设备，控制装置32基于定位***31的定位进行移动控制。或者所述控制装置32与所述定位***31中的处理器相共用，该处理器通过如总线等方式连接至移动装置33中的驱动电机。控制装置32通过程序接口接收定位***31所提供的数据。所述控制装置32用于基于所述定位***31所提供的位置及姿态控制所述移动装置33进行移动操作。
在此，所述控制装置32控制移动装置33进行移动操作的方式包括但不限于：基于当前定位的位置及姿态确定导航路线并按照所确定的导航路线控制移动装置行进；基于前后两次所定位的位置及姿态确定绘制地图数据和地标信息，同时按照随机路线或基于已定位的各位置及姿态估计后续路线并按照所确定的路线控制移动装置33行进等。其中，所述移动操作包括但不限于：移动方向、移动速度等。例如，所述移动装置33包含两个驱动电机，每个驱动电机对应驱动一组滚轮，所述移动操作包含分别以不同速度和转角驱动该两个驱动电机，以使两组滚轮带动机器人向某一方向转动。
在一种实施方式中，所述定位***可如图1所示并结合前述基于该图1所对应的说明进行定位处理，在此不再详述。其中，图4中所示的摄像装置311可对应于图1中所述的摄像装置11；图4中所示的存储装置312可对应于图1中所述的存储装置12；图4中所示的处理装置313可对应于图1中所述的处理装置13。以图4中所示的定位***包含存储装置312、摄像装置311和处理装置313，所述处理装置31连接控制装置32，控制装置32连接移动装置33为例，对所述机器人基于所述定位***31的位置及姿态定位而进行移动的工作过程予以描述：
所述存储装置312存储有图像坐标系与物理空间坐标系的对应关系。在机器人移动期间，摄像装置311实时摄取图像帧并暂存于存储装置312中。处理装置313按照预设的时间间隔或图像帧数量间隔获取上一时刻t1和当前时刻t2的两幅图像帧P1和P2，并利用视觉跟踪算法得到两幅图像帧中相匹配的特征的位置。基于所得到的各图像帧中的特征位置及所述对应关系，处理装置313进行特征位置在物理空间中的坐标转换，由此得到机器人自上一时刻t1至当前时刻t2的相对位置及姿态。处理装置313通过对所得到的位置及姿态进行误差补偿，可得到机器人的相对位置及姿态；同时，处理装置313还可以累积所得到的相对位置及姿态以确定机器人在地图数据中定位的位置及姿态。处理装置313可将所得到的各位置及姿态提供给控制装置32。对于扫地机器人来说，控制装置32可基于所接收的位置及姿态计算用于控制机器人沿预设路线行进时所需的控制数据，如移动速度、转向及转角等，并按照所述控制数据控制移动装置33中的驱动电机以便轮组移动。
在另一些实施方式中，请参阅图5，其显示为机器人在另一实施方式中的结构示意图。所述定位***41可如图3所示并结合前述基于该图3所对应的说明进行定位处理，在此不再详述。其中，图5中所示的摄像装置411可对应于图3中所述的摄像装置21；图5中所示的存储装置412可对应于图3中所述的存储装置22；图5中所示的处理装置413可对应于图3中所述的处理装置23；图5中所示的移动装置414可对应于图3中所述的移动装置24。
以图5所述定位***包含存储装置412、移动传感装置414、摄像装置411和处理装置413，所述处理装置413连接控制装置43，控制装置43连接移动装置42为例，对所述机器人基于所述定位***的位置及姿态定位而进行移动的工作过程予以描述：
在机器人移动期间，移动传感装置414实时获取机器人的移动信息并暂存于存储装置412中，以及摄像装置411实时摄取图像帧并暂存于存储装置412中。处理装置413按照预设的时间间隔或图像帧数量间隔获取上一时刻和当前时刻的两幅图像帧P1和P2，以及该两时刻期间的移动信息。处理装置413可通过跟踪两幅图像帧P1和P2中的特征来得到所述特征的图像位置。所述处理装置413再根据所述图像位置和移动信息所提供的物理空间位置来构建图像坐标系与物理空间坐标系的对应关系。接着，处理装置413可利用视觉跟踪算法匹配后续各图像帧Pi中的特征及其位置。基于所得到的各图像帧中特征的位置及所述对应关系，处理装置413进行特征位置在物理空间中的坐标转换，由此得到机器人自两帧图像的获取时刻间隔期间的相对位置及姿态。处理装置413通过对所得到的位置及姿态进行误差补偿，可得到机器人的相对位置及姿态；同时，处理装置413还可以累积所得到的相对位置及姿态以确定机器人在地图数据中定位的位置及姿态。处理装置413可将所得到的各位置及姿态提供给控制装置43。对于扫地机器人来说，控制装置43可基于所接收的位置及姿态计算用于控制机器人沿预设路线行进时所需的控制数据，如移动速度、转向及转角等，并按照所述控制数据控制移动装置42中的驱动电机以便轮组移动。
请参考图6，其显示为本申请机器人的定位方法在一实施方式的流程图。所述定位方法主要由定位***来执行。所述定位***可配置于扫地机器人中。所述定位***可如图1及其描述所示，或其他能够执行所述定位方法的定位***。
在步骤S110中，获取当前时刻图像帧和上一时刻图像帧中相匹配特征的位置。
在此，可利用处理装置按照预设的时间间隔或图像帧数量间隔获取上一时刻t1和当前时刻t2的两幅图像帧，识别并匹配两幅图像帧中的特征。其中，根据定位***所使用的硬件和软件处理能力的设计，所述时间间隔可在几毫秒至几百毫秒之间选择，所述图像帧数量间隔可在0帧至几十帧之间选择。所述特征包括但不限于：形状特征、和灰度特征等。所述形状特征包括但不限于：角点特征、直线特征、边缘特征、曲线特征等。所述灰度色特征包括但不限于：灰度跳变特征、高于或低于灰度阈值的灰度值、图像帧中包含预设灰度范围的区域尺寸等。
为了能够准确定位，所匹配特征的数量通常为多个，例如在10个以上。为此，所述处理装置根据所识别的特征在各自图像帧中位置，从所识别出的特征中寻找能够匹配的特征。例如，如图2所示，所述处理装置在识别出各图像帧中的特征后，确定图像帧P1中包含特征a1和a2，图像帧P2中包含特征b1、b2和b3，且特征a1与b1和b2均属于同一特征，特征a2与b3属于同一特征，所述处理装置可先确定在图像帧P1中的特征a1位于特征a2的左侧且间距为d1像素点；同时还确定在图像帧P2中的特征b1位于特征b3的左侧且间距为d1’像素点，以及特征b2位于特征b3右侧且间距为d2’像素点。处理装置根据特征b1与b3的位置关系、特征b2与b3的位置关系分别与特征a1与a2的位置关系，以及特征b1与b3的像素间距、特征b2与b3的像素间距分别与特征a1与a2的像素间距进行匹配，从而得到图像帧P1中特征a1与图像帧P2中特征b1相匹配，特征a2与特征b3相匹配。以此类推，处理装置将所匹配的各特征，以便于依据各所述特征所对应的图像像素的位置变化来定位机器人的位置及姿态。其中，所述机器人的位置可依据在二维平面内的位移变化而得到，所述姿态可依据在二维平面内的角度变化而得到。
在某些实施方式中，所述步骤S110中确定相匹配特征位置的方式可通过跟踪两幅图像帧中包含相同特征的位置的步骤来实现。
在此，可利用处理装置中的跟踪模块来执行。在一些实施方式中，所述跟踪模块利用视觉跟踪技术对上一时刻的图像帧中的特征在当前时刻的图像帧中进行追踪以得相匹配的特征。例如，以上一时刻图像帧P1中识别出的特征ci在该图像帧P1中的位置为基准，所述跟踪模块在当前时刻图像帧P2中对应位置附近的区域中是否包含相应特征ci进行判断，若找到相应特征ci，则获取该特征ci在图像帧P2中的位置，若未找到相应特征ci，则认定该特征ci不在图像帧P2中。如此当收集到所跟踪的多个特征、和各特征在各自图像帧中的位置时，执行步骤S120。
在又一些实施方式中，所述跟踪模块还利用机器人中的移动传感装置所提供的移动信息来跟踪两幅图像帧中包含相同特征的位置。例如，所述跟踪模块的硬件电路通过数据线连接移动传感装置，并从所述移动传感装置获取与两幅图像帧P1和P2的获取时刻t1和t2相对应的移动信息，利用所述对应关系和上一时刻图像帧P1中所识别的各特征ci及其在图像帧P1中的位置，估计经过所述移动信息所描述的位置变化对应特征ci在当前时刻图像帧P2中的候选位置，并在所估计的候选位置附近识别对应特征ci，若找到相应特征ci，则获取该特征ci在图像帧P2中的位置，若未找到相应特征ci，则认定该特征ci不在图像帧P2中。如此当收集到所跟踪的特征(即相匹配的特征)及其各位置时，执行步骤S120。
在步骤S120中，依据所述对应关系和所述位置确定机器人的位置及姿态。其中，所述对应关系包括：图像坐标系与物理空间坐标系的对应关系。在此，所述对应关系可在出厂前存储在机器人中。
在一些实施方式中，所述对应关系可利用在所使用的场地进行现场测试的方式得到所述对应关系并保存。为此，所述机器人还包括移动传感装置。对应的，所述定位方法在执行步骤S120之前还获取机器人的移动信息，以及基于两幅图像帧中相匹配特征的位置和自所述上一时刻至所述当前时刻所获取的移动信息，构建所述对应关系。
其中，所述移动传感装置包括但不限于：位移传感器、陀螺仪、速度传感器、测距传感器、悬崖传感器等。在机器人移动期间，移动传感装置不断侦测移动信息并提供给处理装置。所述位移传感器、陀螺仪、速度传感器等可被集成在一个或多个芯片中。所述测距传感器和悬崖传感器可设置在机器人的体侧。例如，扫地机器人中的测距传感器被设置在壳体的边缘；扫地机器人中的悬崖传感器被设置在机器人底部。根据机器人所布置的传感器的类型和数量，处理装置所能获取的移动信息包括但不限于：位移信息、角度信息、与障碍物之间的距离信息、速度信息、行进方向信息等。
在此，处理装置在机器人移动期间获取移动传感装置所提供的移动信息以及获取摄像装置所提供的各图像帧。为了减少移动传感装置的累积误差，所述处理装置可在机器人移动的一小段时间内获取所述移动信息和至少两幅图像帧。例如，所述处理装置在监测到机器人处于直线移动时，获取所述移动信息和至少两幅图像帧。又如，所述处理装置在监测到机器人处于转弯移动时，获取所述移动信息和至少两幅图像帧。
接着，处理装置对各图像帧中的特征进行识别和匹配并得到相匹配特征在各图像帧中的图像位置。其中特征包括但不限于角点特征、边缘特征、直线特征、曲线特征等。例如，所述处理装置可利用视觉跟踪技术来获取相匹配特征的图像位置。
所述处理装置再根据所述图像位置和移动信息所提供的物理空间位置来构建所述对应关系。在此，所述处理装置可通过构建物理空间坐标系和图像坐标系的特征坐标参数来建立所述对应关系。例如，所述处理装置可依据所拍摄上一时刻图像帧所在物理空间位置为物理空间坐标系的坐标原点，并将该坐标原点与图像帧中相匹配的特征在图像坐标系中的位置进行对应，从而构建两个坐标系的对应关系。
在所述对应关系确定之后，所述定位***执行步骤S120，即依据所述对应关系及所述位置确定机器人自所述上一时刻至所述当前时刻的位置偏移信息以得到所述机器人的位置及姿态。
在此，为了快速得到机器人的相对位置及姿态变化，则可仅由所述处理装置依据所述对应关系对同一特征在两幅图像帧中的位置进行坐标变换，即能得到自上一时刻至当前时刻的位置偏移信息，该位置偏移信息反映了所述机器人自上一时刻至当前时刻的相对位置及姿态变化。该种定位方式可用于在相匹配的特征充足的定位中。例如，在对机器人移动的导航期间，利用上述方式获取相对位置及姿态变化能够快速确定机器人当前的移动路线是否发生偏移，并基于判断结果来进行后续导航调整。
为了防止摄像装置的误差在本方案中的累积，在一种实施方式中，所述处理装置在执行步骤S120时还结合移动传感装置所提供的移动信息以确定机器人的位置及姿态。所述步骤S120包括：依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态；以及基于所获取的移动信息补偿所确定的位置及姿态中的误差两步骤。
例如，所述处理装置自t1时刻至t2时刻获取两图像帧，同时还获取了移动信息，处理装置依据前述特征识别和匹配方式得到两幅图像帧中可用于定位的多个特征及其在各自图像帧中的位置，并利用所述对应关系确定机器人的第一位置及姿态。所述处理装置根据所获取的位移信息和角度信息，确定机器人沿所述角度信息所指示的偏转方向及偏转角度移动了由所述位移信息所提供的距离，如此得到机器人的第二位置及姿态。
受两种计算方式和硬件设备的误差影响，所得到的第一位置及姿态和第二位置及姿态之间必然存在误差。为了减少所述误差，所述处理装置还基于所述第一位置及姿态和第二位置及姿态之间的误差确定所述机器人的位置及姿态。在此，所述处理装置可基于第一和第二位置及姿态各自所对应的位移信息及角度信息进行基于权重的均值处理，从而得到补偿了误差后的位置及姿态。例如，处理装置取第一候选位置及姿态中的位移信息和第二候选位置及姿态中位移信息进行加权平均处理，得到补偿后的位置及姿态中位移信息。处理装置取第一候选位置及姿态中的角度变化信息和第二候选位置及姿态中角度变化信息进行加权平均处理，得到补偿后的位置及姿态中角度变化信息。
在另一种实施方式中，所述处理装置可基于所匹配的特征而构建的地标信息来补偿仅基于前后两时刻的图像帧中相匹配特征的位置而确定的位置及姿态中的误差。对应地，所述定位***中存储有所述地标信息。其中所述地标信息包括但不限于：历次匹配的特征、历次拍摄到所述特征时在物理空间的地图数据、历次拍摄到所述特征时在相应图像帧中的位置、拍摄相应特征时的位置及姿态等属性信息。所述地标信息可与地图数据一并保存。
所述步骤S120包括：依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态；以及基于所存储的对应相匹配特征的地标信息补偿所确定的位置及姿态中的误差的两步骤。
例如，所述处理装置依据前述特征识别和匹配方式得到前后两时刻所获取的两幅图像帧中可用于定位的多个特征及其在各自图像帧中的位置，并利用所述对应关系确定从前一时刻t1至当前时刻t2机器人的第一位置及姿态。处理装置分别将该两幅图像帧中相匹配的特征与预存的地标信息中的特征进行单独匹配，并利用各自所匹配的特征所对应的地标信息中的其他属性信息来确定机器人在每一拍摄时刻的位置及姿态，进而得到从前一时刻t1至当前时刻t2机器人的第二位置及姿态。接着，处理装置还根据第一位置及姿态和第二位置及姿态之间的误差确定所述机器人的位置及姿态。例如，处理装置取第一位置及姿态中的位移信息和第二位置及姿态中位移信息进行加权平均处理，得到补偿后的位置及姿态中位移信息。处理装置还取第一位置及姿态中的角度变化信息和第二位置及姿态中角度变化信息进行加权平均处理，得到补偿后的位置及姿态中角度变化信息。
需要说明的是，所述处理装置还可以结合包含上述任一种或多种的误差补偿方式进行误差补偿。或者，所述处理装置可在上述任一种或多种误差补偿方式基础上进行改进及拓展应视为基于本申请的定位技术而产生的示例。
另外，被收录为地标信息的特征通常为固定不变的，然而在实际应用中，被收录为地标信息的特征并非一定如此。比如，被收录为地标信息的特征为灯的轮廓特征，当灯被更换后其相应的特征消失。当机器人需要借助该特征进行定位时，将无法找到用于补偿误差的特征。为此，所述定位方法还包括基于相匹配的特征更新所存储的地标信息的步骤。
在此，所述处理装置可获取包括：相匹配的特征，相匹配特征在至少一个图像帧中的位置，以及由步骤S120所确定的位置及姿态等信息。
所述处理装置可通过比存储装置中保存的各地标信息与所获取的信息来确定是否更新所保存的地标信息。例如，当处理装置基于相似或相同的位置及姿态查找到存储装置中未曾存储的特征时，将最新的特征对应补充保存到相应地标信息中。又如，当处理装置基于相似或相同的位置及姿态查找到存储装置中已存储的但无法与新匹配的特征相匹配的特征时，删除相应地标信息中所保存的多余特征。
所述处理装置还可以基于当前匹配的特征数量高于预设门限时添加新的地标信息。其中所述门限可以是固定值、或基于地图中所标记位置处对应的特征数量而设定。例如，当处理装置基于相似或相同的位置及姿态查找到新匹配的特征数量多于相应位置处存储装置中所保存的特征数量时，可将新的特征添加到已构建的地标信息中。
需要说明的是，本领域技术人员应该理解，上述基于位置而调整地标信息中的特征的方式仅为举例，而非对本申请的限制。事实上，处理装置也可以基于特征来调整地图中的位置等。
请参阅图7，其显示为本申请定位方法在又一实施方式中的流程图。所述定位方法可由如3所示的定位***来执行，或其他能够执行以下步骤的定位***。所述定位方法可用于扫地机器人中。
在步骤S210中，获取机器人在移动期间的移动信息和多幅图像帧。
在此，机器人的移动传感设备和摄像设备在机器人移动期间实时获取移动信息和图像帧。本步骤可利用处理装置在机器人移动的一小段时间内获取所述移动信息和至少两幅图像帧。
在步骤S220中，获取上一时刻和当前时刻的两幅图像帧，并依据两幅所述图像帧中相匹配特征的位置和在该两时刻期间所获取的移动信息，构建图像坐标系与物理空间坐标系对应关系。
在此，处理装置对各图像帧中的特征进行识别和匹配并得到相匹配特征在各图像帧中的图像位置。其中特征包括但不限于角点特征、边缘特征、直线特征、曲线特征等。例如，所述处理装置可利用视觉跟踪技术来获取相匹配特征的图像位置。
接着，再根据所述图像位置和移动信息所提供的物理空间位置来构建所述对应关系。在此，所述处理装置可通过构建物理空间坐标系和图像坐标系的特征坐标参数来建立所述对应关系。例如，所述处理装置可依据所拍摄上一时刻图像帧所在物理空间位置为物理空间坐标系的坐标原点，并将该坐标原点与图像帧中相匹配的特征在图像坐标系中的位置进行对应，从而构建两个坐标系的对应关系。
在所述对应关系确定之后，所述定位***执行步骤S230，即利用所述对应关系确定机器人的位置及姿态。在此，所述处理装置可获取所述摄像装置所摄取的图像帧，并从所述图像帧中识别特征，借助所述对应关系确定在图像帧中特征的位置对应到物理空间中的位置，利用多帧图像的累积，能够确定机器人的位置及姿态。
在一种实施方式中，所述步骤S230包括获取当前时刻图像帧和上一时刻图像帧中相匹配的特征，并依据所述对应关系和所述特征确定机器人的位置及姿态的步骤。
在此，处理装置可按照预设的时间间隔或图像帧数量间隔获取上一时刻t1和当前时刻t2的两幅图像帧，识别并匹配两幅图像帧中的特征。其中，根据所述定位***所使用的硬件和软件处理能力的设计，所述时间间隔可在几毫秒至几百毫秒之间选择，所述图像帧数量间隔可在0帧至几十帧之间选择。所述特征包括但不限于：形状特征、和灰度特征等。所述形状特征包括但不限于：角点特征、直线特征、边缘特征、曲线特征等。所述灰度色特征包括但不限于：灰度跳变特征、高于或低于灰度阈值的灰度值、图像帧中包含预设灰度范围的区域尺寸等。
为了能够准确定位，所匹配特征的数量通常为多个，例如在10个以上。为此，所述处理装置根据所识别的特征在各自图像帧中位置，从所识别出的特征中寻找能够匹配的特征。例如，如图2所示，所述处理装置在识别出各图像帧中的特征后，确定图像帧P1中包含特征a1和a2，图像帧P2中包含特征b1、b2和b3，且特征a1与b1和b2均属于同一特征，特征a2与b3属于同一特征，所述处理装置可先确定在图像帧P1中的特征a1位于特征a2的左侧且间距为d1像素点；同时还确定在图像帧P2中的特征b1位于特征b3的左侧且间距为d1’像素点，以及特征b2位于特征b3右侧且间距为d2’像素点。处理装置根据特征b1与b3的位置关系、特征b2与b3的位置关系分别与特征a1与a2的位置关系，以及特征b1与b3的像素间距、特征b2与b3的像素间距分别与特征a1与a2的像素间距进行匹配，从而得到图像帧P1中特征a1与图像帧P2中特征b1相匹配，特征a2与特征b3相匹配。以此类推，处理装置将所匹配的各特征，以便于依据各所述特征所对应的图像像素的位置变化来定位机器人的位置及姿态。其中，所述机器人的位置可依据在二维平面内的位移变化而得到，所述姿态可依据在二维平面内的角度变化而得到。
在此，处理装置可以根据所述对应关系，确定两幅图像帧中多个特征的图像位置偏移信息、或确定多个特征在物理空间中的物理位置偏移信息，并综合所得到的任一种位置偏移信息来计算机器人自t1时刻至t2时刻的相对位置及姿态。例如，通过坐标变换，所述处理装置得到机器人从摄取图像帧P1时刻t1至摄取图像帧P2时刻t2的位置和姿态为：在地面上移动了m长度以及向左旋转了n度角。以扫地机器人为例，当扫地机器人已建立地图时，依据所述处理装置得到的位置及姿态可帮助机器人确定是否在导航的路线上。当扫地机器人未建立地图时，依据所述处理装置得到的位置及姿态可帮助机器人确定相对位移和相对转角，并借此数据进行地图绘制。
在一些实施方式中，所述步骤S230包括：依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态；以及基于所获取的移动信息补偿所确定的位置及姿态中的误差的步骤。
例如，所述处理装置自t1时刻至t2时刻获取两图像帧，同时还获取了移动信息，处理装置依据前述特征识别和匹配方式得到两幅图像帧中可用于定位的多个特征及其在各自图像帧中的位置，并利用所述对应关系确定机器人的第一位置及姿态。所述处理装置根据所获取的位移信息和角度信息，确定机器人沿所述角度信息所指示的偏转方向及偏转角度移动了由所述位移信息所提供的距离，如此得到机器人的第二位置及姿态。
受两种计算方式和硬件设备的误差影响，所得到的第一位置及姿态和第二位置及姿态之间必然存在误差。为了减少所述误差，所述处理装置还基于所述第一位置及姿态和第二位置及姿态之间的误差确定所述机器人的位置及姿态。在此，所述处理装置可基于第一和第二位置及姿态各自所对应的位移信息及角度信息进行基于权重的均值处理，从而得到补偿了误差后的位置及姿态。例如，处理装置取第一候选位置及姿态中的位移信息和第二候选位置及姿态中位移信息进行加权平均处理，得到补偿后的位置及姿态中位移信息。处理装置取第一候选位置及姿态中的角度变化信息和第二候选位置及姿态中角度变化信息进行加权平均处理，得到补偿后的位置及姿态中角度变化信息。
在另一种实施方式中，所述处理装置还可以结合基于所匹配的特征而构建的地标信息来补偿仅基于前后两时刻的图像帧中相匹配特征的位置而确定的位置及姿态中的误差。对应地，所述存储装置中存储有所述地标信息。其中所述地标信息包括但不限于：历次匹配的特征、历次拍摄到所述特征时在物理空间的地图数据、历次拍摄到所述特征时在相应图像帧中的位置、拍摄相应特征时的位置及姿态等属性信息。所述地标信息可与地图数据一并保存在所述存储装置。
所述步骤S230还包括：依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态；以及基于所存储的对应相匹配特征的地标信息补偿所确定的位置及姿态中的误差的步骤。
例如，所述处理装置依据前述特征识别和匹配方式得到前后两时刻所获取的两幅图像帧中可用于定位的多个特征及其在各自图像帧中的位置，并利用所述对应关系确定从前一时刻t1至当前时刻t2机器人的第一位置及姿态。处理装置分别将该两幅图像帧中相匹配的特征与预存的地标信息中的特征进行单独匹配，并利用各自所匹配的特征所对应的地标信息中的其他属性信息来确定机器人在每一拍摄时刻的位置及姿态，进而得到从前一时刻t1至当前时刻t2机器人的第二位置及姿态。接着，处理装置还根据第一位置及姿态和第二位置及姿态之间的误差确定所述机器人的位置及姿态。例如，处理装置取第一位置及姿态中的位移信息和第二位置及姿态中位移信息进行加权平均处理，得到补偿后的位置及姿态中位移信息。处理装置还取第一位置及姿态中的角度变化信息和第二位置及姿态中角度变化信息进行加权平均处理，得到补偿后的位置及姿态中角度变化信息。
需要说明的是，所述处理装置还可以结合包含上述任一种或多种的误差补偿方式进行误差补偿。或者，所述处理装置可在上述任一种或多种误差补偿方式基础上进行改进及拓展应视为基于本申请的定位技术而产生的示例。
另外，被收录为地标信息的特征通常为固定不变的，然而在实际应用中，被收录为地标信息的特征并非一定如此。比如，被收录为地标信息的特征为灯的轮廓特征，当灯被更换后其相应的特征消失。当机器人需要借助该特征进行定位时，将无法找到用于补偿误差的特征。为此，所述定位方法还包括基于相匹配的特征更新所存储的地标信息的步骤。
在此，所述处理装置可获取包括：相匹配的特征，相匹配特征在至少一个图像帧中的位置，如前述步骤S230所确定的位置及姿态等信息。
所述处理装置可通过比存储装置中保存的各地标信息与所获取的信息来确定是否更新所保存的地标信息。例如，当处理装置基于相似或相同的位置及姿态查找到存储装置中未曾存储的特征时，将最新的特征对应补充保存到相应地标信息中。又如，当处理装置基于相似或相同的位置及姿态查找到存储装置中已存储的但无法与新匹配的特征相匹配的特征时，删除相应地标信息中所保存的多余特征。
所述处理装置还可以基于当前匹配的特征数量高于预设门限时添加新的地标信息。其中所述门限可以是固定值、或基于地图中所标记位置处对应的特征数量而设定。例如，当处理装置基于相似或相同的位置及姿态查找到新匹配的特征数量多于相应位置处所保存的特征数量时，可将新的特征添加到已构建的地标信息中。
需要说明的是，本领域技术人员应该理解，上述基于位置而调整地标信息中的特征的方式仅为举例，而非对本申请的限制。事实上，处理装置也可以基于特征来调整地图中的位置等。
综上所述，本申请借助摄像装置自两图像帧中所匹配的特征点的位置偏移信息来确定机器人的位置及姿态，可有效减少机器人中传感器所提供移动信息的误差。另外，利用两图像帧中所匹配的特征点的位置偏移信息和传感器所提供的移动信息来初始化图像坐标系与物理空间坐标系的对应关系，既实现了利用单目摄像装置进行定位的目标，又有效解决了传感器误差累积的问题。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (31)

1.一种机器人的定位***，其特征在于，包括：
存储装置，存储有图像坐标系与物理空间坐标系的对应关系；
摄像装置，用于在机器人移动期间摄取图像帧；
处理装置，与所述摄像装置和存储装置相连，用于获取当前时刻图像帧和上一时刻图像帧中相匹配特征的位置，并依据所述对应关系和所述位置确定机器人的位置及姿态。
2.根据权利要求1所述的机器人的定位***，其特征在于，所述摄像装置的视野光学轴相对于垂线为±30°或水平线为60-120°。
3.根据权利要求1所述的机器人的定位***，其特征在于，所述处理装置包括跟踪模块，与所述摄像装置相连，用于跟踪两幅图像帧中包含相同特征的位置。
4.根据权利要求1所述的机器人的定位***，其特征在于，还包括移动传感装置，与所述处理装置相连，用于获取机器人的移动信息。
5.根据权利要求4所述的机器人的定位***，其特征在于，所述处理装置包括初始化模块，用于基于两幅图像帧中相匹配特征的位置和自所述上一时刻至所述当前时刻所获取的移动信息，构建所述对应关系。
6.根据权利要求4所述的机器人的定位***，其特征在于，所述处理装置包括：
第一定位模块，用于依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态；
第一定位补偿模块，用于基于所获取的移动信息补偿所确定的位置及姿态中的误差。
7.根据权利要求1所述的机器人的定位***，其特征在于，所述存储装置还存储基于所匹配的特征而构建的地标信息。
8.根据权利要求7所述的机器人的定位***，其特征在于，所述处理装置包括：
第二定位模块，用于依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态；
第二定位补偿模块，用于基于所存储的对应相匹配特征的地标信息补偿所确定的位置及姿态中的误差。
9.根据权利要求7所述的机器人的定位***，其特征在于，所述处理装置包括更新模块，用于基于相匹配的特征更新所存储的地标信息。
10.一种机器人的定位***，其特征在于，包括：
移动传感装置，用于获取机器人的移动信息；
摄像装置，用于在机器人移动期间摄取图像帧；
处理装置，与所述图像摄取装置和移动传感装置相连，用于获取上一时刻和当前时刻的两幅图像帧，并依据两幅所述图像帧中相匹配特征的位置和在该两时刻期间所获取的移动信息，构建图像坐标系与物理空间坐标系对应关系，以及利用所述对应关系确定机器人的位置及姿态；
存储装置，与所述处理装置相连，用于存储所述对应关系。
11.根据权利要求10所述的机器人的定位***，其特征在于，所述摄像装置的视野光学轴相对于垂线为±30°或水平线为60-120°。
12.根据权利要求10所述的机器人的定位***，其特征在于，所述处理装置用于获取当前时刻图像帧和上一时刻图像帧中相匹配特征的位置，并依据所述对应关系和所述位置确定机器人的位置及姿态。
13.根据权利要求12所述的机器人的定位***，其特征在于，所述处理装置包括跟踪模块，与所述摄像装置相连，用于跟踪两幅图像帧中包含相同特征的位置。
14.根据权利要求10所述的机器人的定位***，其特征在于，所述处理装置包括：
第一定位模块，用于依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态；
第一定位补偿模块，用于基于所获取的移动信息补偿所确定的位置及姿态中的误差。
15.根据权利要求10所述的机器人的定位***，其特征在于，所述存储装置还存储基于所匹配的特征而构建的地标信息。
16.根据权利要求15所述的机器人的定位***，其特征在于，所述处理装置包括：
第二定位模块，用于依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态；
第二定位补偿模块，用于基于所存储的对应相匹配特征的地标信息补偿所确定的位置及姿态中的误差。
17.根据权利要求15所述的机器人的定位***，其特征在于，所述处理装置包括更新模块，用于基于相匹配的特征更新所存储的地标信息。
18.一种机器人，其特征在于，包括：
如权利要求1-8中任一所述的定位***；或者如权利要求10-17中任一所述的定位***；
移动装置；
控制装置，用于基于所述定位***所提供的位置及姿态控制所述移动装置进行移动操作。
19.一种机器人定位方法，其特征在于，包括：
获取当前时刻图像帧和上一时刻图像帧中相匹配特征的位置；
依据所述对应关系和所述位置确定机器人的位置及姿态；其中，所述对应关系包括：图像坐标系与物理空间坐标系的对应关系。
20.根据权利要求19所述的机器人的定位方法，其特征在于，所述获取当前时刻图像帧和上一时刻图像帧中相匹配特征的位置的方式包括跟踪两幅图像帧中包含相同特征的位置。
21.根据权利要求19所述的机器人的定位方法，其特征在于，还包括获取机器人的移动信息的步骤。
22.根据权利要求21所述的机器人的定位方法，其特征在于，还包括基于两幅图像帧中相匹配特征的位置和自所述上一时刻至所述当前时刻所获取的移动信息，构建所述对应关系的步骤。
23.根据权利要求21所述的机器人的定位方法，其特征在于，所述依据对应关系和所述位置确定机器人的位置及姿态的方式包括：
依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态；
基于所获取的移动信息补偿所确定的位置及姿态中的误差。
24.根据权利要求19所述的机器人的定位方法，其特征在于，所述依据对应关系和所述位置确定机器人的位置及姿态的方式包括：
依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态；
基于预存储的对应相匹配特征的地标信息补偿所确定的位置及姿态中的误差。
25.根据权利要求24所述的机器人的定位方法，其特征在于，还包括基于相匹配的特征更新所存储的地标信息的步骤。
26.一种机器人的定位方法，其特征在于，包括：
获取机器人在移动期间的移动信息和多幅图像帧；
获取上一时刻和当前时刻的两幅图像帧，并依据两幅所述图像帧中相匹配特征的位置和在该两时刻期间所获取的移动信息，构建图像坐标系与物理空间坐标系对应关系；
利用所述对应关系确定机器人的位置及姿态。
27.根据权利要求26所述的机器人的定位方法，其特征在于，所述利用对应关系确定机器人的位置及姿态的方式包括：
获取当前时刻图像帧和上一时刻图像帧中相匹配特征的位置；
依据所述对应关系和所述位置确定机器人的位置及姿态。
28.根据权利要求27所述的机器人的定位方法，其特征在于，所述获取当前时刻图像帧和上一时刻图像帧中相匹配特征的位置的方式包括：跟踪两幅图像帧中包含相同特征的位置。
29.根据权利要求27所述的机器人的定位方法，其特征在于，所述依据对应关系和所述位置确定机器人的位置及姿态的方式包括：
依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态；
基于所获取的移动信息补偿所确定的位置及姿态中的误差。
30.根据权利要求27所述的机器人的定位方法，其特征在于，所述依据对应关系和所述位置确定机器人的位置及姿态的方式包括：
依据所述对应关系和相匹配特征的位置确定机器人的位置及姿态；
基于预存储的对应相匹配特征的地标信息补偿所确定的位置及姿态中的误差。
31.根据权利要求30所述的机器人的定位方法，其特征在于，还包括基于相匹配的特征更新所存储的地标信息的步骤。
CN201711104306.1A 2017-11-10 2017-11-10 定位***、方法及所适用的机器人 Expired - Fee Related CN107907131B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711104306.1A CN107907131B (zh) 2017-11-10 2017-11-10 定位***、方法及所适用的机器人
EP17931779.7A EP3708954A4 (en) 2017-11-10 2017-11-22 POSITIONING SYSTEM AND METHOD AND ROBOTS WITH USE THEREOF
PCT/CN2017/112412 WO2019090833A1 (zh) 2017-11-10 2017-11-22 定位***、方法及所适用的机器人
US16/043,746 US10436590B2 (en) 2017-11-10 2018-07-24 Localization system and method, and robot using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711104306.1A CN107907131B (zh) 2017-11-10 2017-11-10 定位***、方法及所适用的机器人

Publications (2)

Publication Number Publication Date
CN107907131A true CN107907131A (zh) 2018-04-13
CN107907131B CN107907131B (zh) 2019-12-13

Family

ID=61844667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711104306.1A Expired - Fee Related CN107907131B (zh) 2017-11-10 2017-11-10 定位***、方法及所适用的机器人

Country Status (3)

Country Link
EP (1) EP3708954A4 (zh)
CN (1) CN107907131B (zh)
WO (1) WO2019090833A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108514389A (zh) * 2018-06-04 2018-09-11 赵海龙 一种智能清洁设备的控制方法
CN108665508A (zh) * 2018-04-26 2018-10-16 腾讯科技（深圳）有限公司 一种即时定位与地图构建方法、装置及存储介质
CN109116845A (zh) * 2018-08-17 2019-01-01 华晟（青岛）智能装备科技有限公司 自动导引运输车定位方法、定位***及自动导引运输***
CN109151440A (zh) * 2018-10-15 2019-01-04 盎锐（上海）信息科技有限公司 影像定位装置及方法
CN109643127A (zh) * 2018-11-19 2019-04-16 珊口（深圳）智能科技有限公司 构建地图、定位、导航、控制方法及***、移动机器人
CN109756750A (zh) * 2019-01-04 2019-05-14 中国科学院大学 视频流中动态图像动态特性识别方法和装置
CN109822568A (zh) * 2019-01-30 2019-05-31 北京镁伽机器人科技有限公司 机器人控制方法、***及存储介质
CN109993793A (zh) * 2019-03-29 2019-07-09 北京易达图灵科技有限公司 视觉定位方法及装置
CN110207537A (zh) * 2019-06-19 2019-09-06 赵天昊 基于计算机视觉技术的火控装置及其自动瞄准方法
CN110531445A (zh) * 2019-09-05 2019-12-03 中国科学院长春光学精密机械与物理研究所 一种日照时长测量装置及设备
CN110914867A (zh) * 2018-07-17 2020-03-24 深圳市大疆创新科技有限公司 位姿确定方法、设备、计算机可读存储介质
CN111220148A (zh) * 2020-01-21 2020-06-02 珊口（深圳）智能科技有限公司 移动机器人的定位方法、***、装置及移动机器人
CN111583338A (zh) * 2020-04-26 2020-08-25 北京三快在线科技有限公司 用于无人设备的定位方法、装置、介质及无人设备
CN112338910A (zh) * 2020-09-22 2021-02-09 北京无线体育俱乐部有限公司 空间地图确定方法、机器人、存储介质及***
CN112406608A (zh) * 2019-08-23 2021-02-26 国创新能源汽车能源与信息创新中心(江苏)有限公司 充电桩及其自动充电装置和方法
US11204247B2 (en) 2019-05-09 2021-12-21 Ankobot (Shenzhen) Smart Technologies Co., Ltd. Method for updating a map and mobile robot
WO2022166330A1 (zh) * 2021-02-05 2022-08-11 深圳市优必选科技股份有限公司 位置调整方法、装置、终端设备及可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417924A (zh) * 2019-08-20 2021-02-26 北京地平线机器人技术研发有限公司 一种标志杆的空间坐标获取方法及装置
CN112650207B (zh) * 2019-10-11 2024-06-14 杭州萤石软件有限公司 机器人的定位校正方法、设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101598556A (zh) * 2009-07-15 2009-12-09 北京航空航天大学 一种未知环境下无人机视觉/惯性组合导航方法
CN102506830A (zh) * 2011-11-21 2012-06-20 奇瑞汽车股份有限公司 视觉定位方法及装置
US20140118536A1 (en) * 2012-11-01 2014-05-01 Novatel Inc. Visual positioning system
CN104552341A (zh) * 2014-12-29 2015-04-29 国家电网公司 移动工业机器人单点多视角挂表位姿误差检测方法
CN106338289A (zh) * 2016-08-11 2017-01-18 张满仓 基于机器人的室内定位导航***及其方法
CN106352877A (zh) * 2016-08-10 2017-01-25 纳恩博（北京）科技有限公司 一种移动装置及其定位方法
CN106370188A (zh) * 2016-09-21 2017-02-01 旗瀚科技有限公司 一种基于3d摄像机的机器人室内定位与导航方法
US20170151675A1 (en) * 2014-06-17 2017-06-01 Yujin Robot Co., Ltd. Apparatus for recognizing position of mobile robot using edge based refinement and method thereof
CN106990776A (zh) * 2017-02-27 2017-07-28 广东省智能制造研究所 机器人归航定位方法与***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7145478B2 (en) * 2002-12-17 2006-12-05 Evolution Robotics, Inc. Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system
US20120300020A1 (en) * 2011-05-27 2012-11-29 Qualcomm Incorporated Real-time self-localization from panoramic images
CN103292804B (zh) * 2013-05-27 2015-07-15 浙江大学 一种单目自然视觉路标辅助的移动机器人定位方法
CN104180818B (zh) * 2014-08-12 2017-08-11 北京理工大学 一种单目视觉里程计算装置
CN109765936A (zh) * 2016-08-19 2019-05-17 杭州零智科技有限公司 移动终端的定位和控制方法、装置及无人机
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101598556A (zh) * 2009-07-15 2009-12-09 北京航空航天大学 一种未知环境下无人机视觉/惯性组合导航方法
CN102506830A (zh) * 2011-11-21 2012-06-20 奇瑞汽车股份有限公司 视觉定位方法及装置
US20140118536A1 (en) * 2012-11-01 2014-05-01 Novatel Inc. Visual positioning system
US20170151675A1 (en) * 2014-06-17 2017-06-01 Yujin Robot Co., Ltd. Apparatus for recognizing position of mobile robot using edge based refinement and method thereof
CN104552341A (zh) * 2014-12-29 2015-04-29 国家电网公司 移动工业机器人单点多视角挂表位姿误差检测方法
CN106352877A (zh) * 2016-08-10 2017-01-25 纳恩博（北京）科技有限公司 一种移动装置及其定位方法
CN106338289A (zh) * 2016-08-11 2017-01-18 张满仓 基于机器人的室内定位导航***及其方法
CN106370188A (zh) * 2016-09-21 2017-02-01 旗瀚科技有限公司 一种基于3d摄像机的机器人室内定位与导航方法
CN106990776A (zh) * 2017-02-27 2017-07-28 广东省智能制造研究所 机器人归航定位方法与***

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665508A (zh) * 2018-04-26 2018-10-16 腾讯科技（深圳）有限公司 一种即时定位与地图构建方法、装置及存储介质
CN108665508B (zh) * 2018-04-26 2022-04-05 腾讯科技（深圳）有限公司 一种即时定位与地图构建方法、装置及存储介质
US11238605B2 (en) 2018-04-26 2022-02-01 Tencent Technology (Shenzhen) Company Limited Simultaneous localization and mapping method, computer device, and storage medium
WO2019205819A1 (zh) * 2018-04-26 2019-10-31 腾讯科技（深圳）有限公司 即时定位与地图构建方法、计算机设备及存储介质
CN108514389A (zh) * 2018-06-04 2018-09-11 赵海龙 一种智能清洁设备的控制方法
CN110914867A (zh) * 2018-07-17 2020-03-24 深圳市大疆创新科技有限公司 位姿确定方法、设备、计算机可读存储介质
CN109116845A (zh) * 2018-08-17 2019-01-01 华晟（青岛）智能装备科技有限公司 自动导引运输车定位方法、定位***及自动导引运输***
CN109151440A (zh) * 2018-10-15 2019-01-04 盎锐（上海）信息科技有限公司 影像定位装置及方法
WO2020102946A1 (zh) * 2018-11-19 2020-05-28 珊口（深圳）智能科技有限公司 构建地图、定位、导航、控制方法及***、移动机器人
CN109643127A (zh) * 2018-11-19 2019-04-16 珊口（深圳）智能科技有限公司 构建地图、定位、导航、控制方法及***、移动机器人
CN109643127B (zh) * 2018-11-19 2022-05-03 深圳阿科伯特机器人有限公司 构建地图、定位、导航、控制方法及***、移动机器人
US11320834B2 (en) 2018-11-19 2022-05-03 Ankobot (Shenzhen) Smart Technologies Co., Ltd. Methods and systems for mapping, localization, navigation and control and mobile robot
CN109756750B (zh) * 2019-01-04 2022-01-28 中国科学院大学 视频流中动态图像动态特性识别方法和装置
CN109756750A (zh) * 2019-01-04 2019-05-14 中国科学院大学 视频流中动态图像动态特性识别方法和装置
CN109822568A (zh) * 2019-01-30 2019-05-31 北京镁伽机器人科技有限公司 机器人控制方法、***及存储介质
CN109993793A (zh) * 2019-03-29 2019-07-09 北京易达图灵科技有限公司 视觉定位方法及装置
US11204247B2 (en) 2019-05-09 2021-12-21 Ankobot (Shenzhen) Smart Technologies Co., Ltd. Method for updating a map and mobile robot
CN110207537A (zh) * 2019-06-19 2019-09-06 赵天昊 基于计算机视觉技术的火控装置及其自动瞄准方法
CN112406608A (zh) * 2019-08-23 2021-02-26 国创新能源汽车能源与信息创新中心(江苏)有限公司 充电桩及其自动充电装置和方法
CN110531445A (zh) * 2019-09-05 2019-12-03 中国科学院长春光学精密机械与物理研究所 一种日照时长测量装置及设备
CN111220148A (zh) * 2020-01-21 2020-06-02 珊口（深圳）智能科技有限公司 移动机器人的定位方法、***、装置及移动机器人
CN111583338A (zh) * 2020-04-26 2020-08-25 北京三快在线科技有限公司 用于无人设备的定位方法、装置、介质及无人设备
CN111583338B (zh) * 2020-04-26 2023-04-07 北京三快在线科技有限公司 用于无人设备的定位方法、装置、介质及无人设备
CN112338910A (zh) * 2020-09-22 2021-02-09 北京无线体育俱乐部有限公司 空间地图确定方法、机器人、存储介质及***
WO2022166330A1 (zh) * 2021-02-05 2022-08-11 深圳市优必选科技股份有限公司 位置调整方法、装置、终端设备及可读存储介质

Also Published As

Publication number Publication date
EP3708954A4 (en) 2020-12-30
EP3708954A1 (en) 2020-09-16
WO2019090833A1 (zh) 2019-05-16
CN107907131B (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN107907131A (zh) 定位***、方法及所适用的机器人
CN104204721B (zh) 单个相机距离估计
CN107680135B (zh) 定位方法、***及所适用的机器人
Tamaazousti et al. Nonlinear refinement of structure from motion reconstruction by taking advantage of a partial knowledge of the environment
EP3550513B1 (en) Method of generating panorama views on a mobile mapping system
Saeedi et al. Vision-based 3-D trajectory tracking for unknown environments
US9613420B2 (en) Method for locating a camera and for 3D reconstruction in a partially known environment
CN109074083A (zh) 移动控制方法、移动机器人及计算机存储介质
CN109671115A (zh) 使用深度值估计的图像处理方法和装置
US20170124693A1 (en) Pose Estimation using Sensors
US20120121131A1 (en) Method and apparatus for estimating position of moving vehicle such as mobile robot
CN105606092B (zh) 一种室内机器人定位方法及***
CN108780319A (zh) 软件更新方法、***、移动机器人及服务器
Martín-Martín et al. Jrdb: A dataset and benchmark for visual perception for navigation in human environments
CN110088702A (zh) 为处理设备建立环境地图的方法
Yuan et al. Fast localization and tracking using event sensors
Hadviger et al. Feature-based event stereo visual odometry
CN111780744B (zh) 移动机器人混合导航方法、设备及存储装置
Huber et al. Real-time photo-realistic visualization of 3D environments for enhanced tele-operation of vehicles
CN113470121B (zh) 自主移动平台、外参优化方法、装置及存储介质
Saeedi et al. 3D localization and tracking in unknown environments
Pollefeys et al. Flexible 3D acquisition with a monocular camera
Gemeiner et al. Real-time slam with a high-speed cmos camera
Ito et al. Free-viewpoint image synthesis from multiple-view images taken with uncalibrated moving cameras
de la Puente et al. Extraction of geometrical features in 3d environments for service robotic applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: No.888, Huanhu West 2nd Road, Lingang New District, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201306

Patentee after: Shanghai akobert robot Co.,Ltd.

Address before: 201306 Shanghai Pudong New Area Nanhui new town 888 West Road two

Patentee before: ANKOBOT (SHANGHAI) SMART TECHNOLOGIES Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191213