CN108717710B - 室内环境下的定位方法、装置及*** - Google Patents

室内环境下的定位方法、装置及*** Download PDF

Info

Publication number
CN108717710B
CN108717710B CN201810482202.2A CN201810482202A CN108717710B CN 108717710 B CN108717710 B CN 108717710B CN 201810482202 A CN201810482202 A CN 201810482202A CN 108717710 B CN108717710 B CN 108717710B
Authority
CN
China
Prior art keywords
map
unit
determining
positioning
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810482202.2A
Other languages
English (en)
Other versions
CN108717710A (zh
Inventor
李月
刘童
许景涛
赵凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810482202.2A priority Critical patent/CN108717710B/zh
Publication of CN108717710A publication Critical patent/CN108717710A/zh
Priority to PCT/CN2019/087411 priority patent/WO2019219077A1/zh
Priority to US16/641,359 priority patent/US11295472B2/en
Application granted granted Critical
Publication of CN108717710B publication Critical patent/CN108717710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种室内环境下的定位方法、装置及***，涉及定位技术领域，主要目的在于实现室内环境下的精准定位。本发明的主要技术方案包括：接收移动终端发送的当前室内图像信息，并提取所述当前室内图像信息中的视觉特征；将所述视觉特征与离线地图数据库中的关键帧进行匹配，确定与所述视觉特征相似的候选关键帧；确定所述候选关键帧对应的位姿，将所述位姿转化为坐标值，并将所述坐标值发送至所述移动终端。

Description

室内环境下的定位方法、装置及***
技术领域
本发明涉及定位技术领域，特别是涉及一种室内环境下的定位方法、装置及***。
背景技术
传统的定位的方式多需通过GPS卫星定位对用户进行定位。随着城市的发展，建筑的规模越来越大，人们对室内定位的需求越来越大。
目前，由于室内接收GPS信号的能力较差，导致GPS定位不准确或者无法使用GPS定位***。因此，GPS定位数据的真实性和准确性无法满足室内的商业需求。
发明内容
有鉴于此，本发明提供的一种室内环境下的定位方法、装置及***，主要目的在于实现室内环境下的精准定位。
为了解决上述问题，本发明主要提供如下技术方案：
第一方面，本发明提供了一种室内环境下的定位方法，所述方法包括：
接收移动终端发送的当前室内图像信息，并提取所述当前室内图像信息中的视觉特征；
将所述视觉特征与离线地图数据库中的关键帧进行匹配，确定与所述视觉特征相似的候选关键帧；
确定所述候选关键帧对应的位姿，将所述位姿转化为坐标值，并将所述坐标值发送至所述移动终端。
可选的，所述方法还包括：
启动激光雷达构建全局栅格地图；
启动视觉***构建视觉地图；
根据所述全局栅格地图及所述视觉地图生成离线地图。
可选的，启动激光雷达构建全局栅格地图包括：
将激光雷达建图的坐标系初始化为全局坐标系；
预估激光雷达扫描到的室内区域的第一定位信息，并将所述第一定位信息作为粒子滤波采样的输入，得到粒子的先验分布；
根据粒子的先验分布生成粒子，并根据粒子滤波算法，以及融合里程计位姿变换更新粒子位姿和地图数据，生成全局栅格地图。
可选的，启动视觉***构建视觉地图包括：
对摄像装置进行初始化，并根据所述摄像装置与所述激光雷达的相对安装位置，得到视觉地图坐标系与全局栅格地图坐标系的转换关系；
根据摄像装置获取的图像帧的帧间特征确定关键帧，并根据所述转换关系确定关键帧的第二定位信息；
根据所述激光雷达以及所述摄像装置的定位信息确定修正后的尺度因子；
根据所述修正后的尺度因子以及所述关键帧建立稀疏地图。
可选的，所述方法还包括：
采用回环检测对关键帧对应的坐标值进行优化。
可选的，所述方法还包括：
在将所述视觉特征与离线地图数据库中的关键帧进行匹配时，无法确定与所述视觉特征相似的候选关键帧，则通过移动终端中的传感器获取当前室内图像信息的前后相邻帧的速度信息以及角度信息，并根据所述速度信息以及角度信息推算当前室内图像信息的坐标值。
第二方面，本发明还提供一种室内环境下的定位装置，包括：
接收单元，用于接收移动终端发送的当前室内图像信息；
提取单元，用于提取所述当前室内图像信息中的视觉特征；
匹配单元，用于将所述提取单元提取的所述视觉特征与离线地图数据库中的关键帧进行匹配；
第一确定单元，用于在所述匹配单元匹配视觉特征与离线地图数据库中的关键帧的过程中，确定与所述视觉特征相似的候选关键帧；
第二确定单元，用于确定所述第一确定单元确定的所述候选关键帧对应的位姿；
转化单元，用于将所述第二确定单元确定的所述位姿转化为坐标值；
发送单元，用于将所述转化单元转化后的所述坐标值发送至所述移动终端。
可选的，所述装置还包括：
第一构建单元，用于启动激光雷达构建全局栅格地图；
第二构建单元，用于启动视觉***构建视觉地图；
生成单元，用于根据所述第一构建单元构建的所述全局栅格地图及所述第二构建单元构建的所述视觉地图生成离线地图。
可选的，所述第一构建单元包括：
初始化模块，用于将激光雷达建图的坐标系初始化为全局坐标系；
预估模块，用于预估激光雷达扫描到的室内区域的第一定位信息；
输入模块，用于将所述预估模块预估的所述第一定位信息作为粒子滤波采样的输入，得到粒子的先验分布；
生成模块，用于根据粒子的先验分布生成粒子，并根据粒子滤波算法，以及融合里程计位姿变换更新粒子位姿和地图数据，生成全局栅格地图。
可选的，所述第二构建单元包括：
初始化模块，用于对摄像装置进行初始化；
第一确定模块，用于根据所述摄像装置与所述激光雷达的相对安装位置，得到视觉地图坐标系与全局栅格地图坐标系的转换关系；
第二确定模块，用于根据摄像装置获取的图像帧的帧间特征确定关键帧；
第三确定模块，用于根据所述第二确定模块确定的所述转换关系确定关键帧的第二定位信息；
第四确定模块，用于根据所述激光雷达以及所述摄像装置的定位信息确定修正后的尺度因子；
生成模块，用于根据所述第四确定模块确定的所述修正后的尺度因子以及所述关键帧建立稀疏地图。
可选的，所述第二构建单元还包括：
优化模块，用于采用回环检测对关键帧对应的坐标值进行优化。
可选的，所述装置还包括：
处理单元，用于在将所述视觉特征与离线地图数据库中的关键帧进行匹配时，无法确定与所述视觉特征相似的候选关键帧，则通过移动终端中的传感器获取当前室内图像信息的前后相邻帧的速度信息以及角度信息，并根据所述速度信息以及角度信息推算当前室内图像信息的坐标值。
第三方面，本发明还提供一种室内环境下的定位装置，所述***包括移动终端及服务器，其中，所述服务器包括第二方面中任一项所述的装置。
第四方面，本发明还提供一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面中任意一项所述的室内环境下的定位方法。
第五方面，本发明还提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行第一方面中任意一项所述的室内环境下的定位方法。
借由上述技术方案，本发明提供的技术方案至少具有下列优点：
本发明提供的室内环境下的定位方法、装置及***，服务器接收移动终端发送的当前室内图像信息，并提取所述当前室内图像信息中的视觉特征，将所述视觉特征与离线地图数据库中的关键帧进行匹配，确定与所述视觉特征相似的候选关键帧，确定所述候选关键帧对应的位姿，将所述位姿转化为坐标值，并将所述坐标值发送至所述移动终端，与现有技术相比，本发明通过对当前室内图像信息的分析，确定其对应的室内坐标值，实现室内精准定位。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种室内环境下的定位方法的流程图；
图2示出了本发明实施例提供的另一种室内环境下的定位方法的流程图；
图3示出了本发明实施例提供的一种机器人平台的示意图；
图4示出了本发明实施例提供的一种室内环境下的定位装置的组成框图；
图5示出了本发明实施例提供的另一种室内环境下的定位装置的组成框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供一种室内环境下的定位方法，如图1所示，所述方法包括：
101、服务器接收移动终端发送的当前室内图像信息，并提取所述当前室内图像信息中的视觉特征。
用户通过移动终端设备中的应用程序，将其拍摄的当前室内图像信息发送至后端服务器，在执行拍摄时，可手持移动设备或者将其固定于购物车上，拍摄过程中确保与水平面有一定的仰角，其目的在于，若摄像头与水平面保持平行，其拍摄的当前室内图像信息可能会拍摄到流动的人群，会对定位信息的准确性产生影响。本发明实施例所述的移动终端可以为手机、平板等。
服务器接收发送的当前室内图像信息，对当前室内图像信息进行分析，并提取当前室内图像信息中的视觉特征，在进行视觉特征提取时，可以采用但不局限于以下方法实现，例如：ORB(Oriented FAST and Rotated BRIEF)特征，有关ORB特征的具体实现方法可参考现有技术中的相关描述，本发明实施例在此不再进行一一赘述。
102、服务器将所述视觉特征与离线地图数据库中的关键帧进行匹配，确定与所述视觉特征相似的候选关键帧。
在构建离线地图时，将室内环境下的所有关键帧进行存储，如商场中，会存储每个楼层中图像信息的关键帧，每条路中图像信息的关键帧。在步骤101提取视觉特征后，服务器将视觉特征与离线大地图数据库中的关键帧进行匹配，确定含有相似视觉特征的候选关键帧。
在实施视觉特征对应的候选关键帧时，可以采用但不局限于以下方式执行，排除法：即根据视觉特征排除最不相关或者最不相似的关键帧，缩小搜索范围，再在较小范围内匹配候选关键帧。首次确定的候选关键帧可能存在多个，但是，最终确认的候选关键帧只有一个，该候选关键帧也是与视觉特征最想似，或者相同的关键帧。
在具体实施过程中，通过视觉词袋模型匹配当前视觉特征和每一个候选关键帧，如果匹配数量足够，则利用RANSAC框架下特征点匹配迭代求解位姿，如果该关键帧有足够多的内点，则选取该关键帧优化出的位姿作为用户终端当前的位姿。
103、服务器确定所述候选关键帧对应的位姿，将所述位姿转化为坐标值，并将所述坐标值发送至所述移动终端。
在具体实施过程中，通过视觉词袋模型匹配当前视觉特征和每一个候选关键帧，如果匹配数量足够，则利用RANSAC框架下特征点匹配迭代求解位姿，如果该关键帧有足够多的内点，则选取该关键帧优化出的位姿作为用户终端当前的位姿。服务器端将求出的位姿的平面投影坐标值无线回传至用户终端设备。
本发明提供的室内环境下的定位方法，服务器接收移动终端发送的当前室内图像信息，并提取所述当前室内图像信息中的视觉特征，将所述视觉特征与离线地图数据库中的关键帧进行匹配，确定与所述视觉特征相似的候选关键帧，确定所述候选关键帧对应的位姿，将所述位姿转化为坐标值，并将所述坐标值发送至所述移动终端，与现有技术相比，本发明通过对当前室内图像信息的分析，确定其对应的室内坐标值，实现室内精准定位。
进一步的，作为对上述实施例的细化及扩展，在生成离线地图时，可以采用但不局限于以下方式实现，例如：启动激光雷达构建全局栅格地图，启动视觉***构建视觉地图，根据所述全局栅格地图及所述视觉地图生成离线地图。
本发明实施例中离线地图是作为实时室内定位的依据，离线地图包括两部分：全局栅格地图及视觉地图。以下将详细说明全局栅格地图及视觉地图的构建方法。
(1)启动激光雷达构建全局栅格地图包括：将激光雷达建图的坐标系初始化为全局坐标系；其目的在于，激光雷达建图的坐标系与摄像装置的坐标系可能存在差异，将两者进行全局坐标系的初始化，能够将全局栅格地图及视觉地图采用同样的坐标位置进行统一。
预估激光雷达扫描到的室内区域的第一定位信息，并将所述第一定位信息作为粒子滤波采样的输入，得到粒子的先验分布；根据粒子的先验分布生成粒子，并根据粒子滤波算法，以及融合里程计位姿变换更新粒子位姿和地图数据，生成全局栅格地图。
在具体实施过程中，将激光雷达和摄像头安装在可自主或者遥控移动的机器人***上，并利用机器人***的里程计信息，如图3所示，激光雷达的扫描面与水平面平行，摄像头安装位置与水平面有一定角度的仰角，如在超市中朝向较高处货架和/或天花板方向，目的是避开人群密集的动态区域，对空间环境变化较小的区域建立地图。机器人需要在室内空间不断运动直至覆盖整个区域，从而构建融合三维视觉地图数据和二维栅格地图的离线地图。
通过机器人运动过程中激光雷达扫描的数据进行匹配，得到激光雷达的粗略定位结果，将该定位结果作为粒子滤波采样环节的输入，即产生粒子的先验分布，基于上述先验分布生成粒子，基于粒子滤波算法，通过融合里程计位姿变换来更新粒子位姿和地图数据，不断重复粒子滤波采样的输入，得到粒子的先验分布；根据粒子的先验分布生成粒子，并根据粒子滤波算法，以及融合里程计位姿变换更新粒子位姿和地图数据，最终对生成的全局二维栅格地图数据进行保存。
(2)启动视觉***构建视觉地图包括：对摄像装置进行初始化，机器人***保持静止状态，直至位于机器人***上的摄像装置坐标系的初始化与激光雷达坐标系初始化均已完成；根据所述摄像装置与所述激光雷达的相对安装位置，得到视觉地图坐标系与全局栅格地图坐标系的转换关系；根据摄像装置获取的图像帧的帧间特征确定关键帧，并根据所述转换关系确定关键帧的第二定位信息；根据所述激光雷达以及所述摄像装置的定位信息确定修正后的尺度因子；根据所述修正后的尺度因子以及所述关键帧建立稀疏地图。
在具体实施过程中，由于大多数的移动终端为单目相机，因此，需要对单目相机的定位结果进行修正，具体修正办法包括：设初始运动过程Δt，利用激光雷达定位结果得到的运动变化为(Δx_1,Δy_1)，利用视觉定位结果得到的运动变化为(Δx_2,Δy_2)，修正后的尺度因子为：
Figure BDA0001666121860000081
根据修正后的尺度因子对已得到的关键帧进行位置更新。
在本发明实施例中，作为对局部稀疏地图的优化，采用回环检测对关键帧对应的坐标值进行优化，最终得到在全局坐标系下的关键帧位置坐标和三维的稀疏点地图数据。
需要说明的是，激光雷达建图与视觉建图是作为两个线程同步进行的，如此一来便能提高建图的速度。
需要说明的是，构建离线地图的步骤仅需要在***生成的最开始运行一次用于离线地图的生成，或者，在环境发生变化时再运行一次用于离线地图的更新。在后续进行室内定位时直接使用已生成的离线地图，或已更新的离线地图即可。
作为对上述实施例的细化，本发明实施例还提供另一种室内环境下的定位方法，如图2所示，所述方法包括：
201、服务器接收移动终端发送的当前室内图像信息，并提取所述当前室内图像信息中的视觉特征(同步骤101)。
202、将所述视觉特征与离线地图数据库中的关键帧进行匹配，确定与所述视觉特征相似的候选关键帧(同步骤102)。
203、确定所述候选关键帧对应的位姿，将所述位姿转化为坐标值，并将所述坐标值发送至所述移动终端(同步骤103)。
204、在将所述视觉特征与离线地图数据库中的关键帧进行匹配时，无法确定与所述视觉特征相似的候选关键帧，则通过移动终端中的传感器获取当前室内图像信息的前后相邻帧的速度信息以及角度信息，并根据所述速度信息以及角度信息推算当前室内图像信息的坐标值。
由于移动终端设备一般为普通的卷帘快门的摄像头，当运动速度过快或者快速旋转时容易产生图像模糊，导致服务器在执行关键帧提取时的匹配失败，从而导致定位跟踪失败，因此需要重新初始化匹配定位。
为了解决上述问题，本发明实施例结合终端设备的加速度和陀螺仪等传感器信息，在当前第k帧图像匹配失败时，利用最近第k-1帧获取的位置坐标、第k-1帧和第k帧的加速度信息和角度信息，对第k和k+1帧位置坐标进行推算预测，同时，基于第k+1帧推算的位置坐标，对与该帧进行匹配的相似候选帧进行筛选，即将与该帧推算的位置坐标距离大于一定阈值的候选帧进行排除，从而加快图像定位初始化的速度；
在通过图像信息匹配进行定位的过程中，本发明结合移动终端自带的惯性传感器(加速度传感器及陀螺仪)，缩小在定位初始化阶段的匹配候选关键帧的筛选范围，从而提高初始化阶段的定位精度。
综上，为了降低大范围环境下视觉定位的计算量，提高计算实时性，本发明实施例将激光雷达构建的二维栅格地图和稀疏的视觉地图相结合，构建离线地图，其中，栅格地图用于室内环境下的路径规划，并为单目视觉定位与建图提供尺度修正，而稀疏的视觉离线地图用于与用户手机端所拍摄的图像相匹配，从而获取用户当前的位置信息。相比于仅基于激光雷达或者仅基于视觉的定位方法，本发明提出的离线地图构建方法，既能实现快速匹配获取实时位置信息、又能够满足室内导航的地图需求。
进一步的，作为对上述图1及图2所示方法的实现，本发明另一实施例还提供了一种室内环境下的定位装置。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。
本发明实施例还提供一种室内环境下的定位装置，如图4所示，包括：
接收单元31，用于接收移动终端发送的当前室内图像信息；
提取单元32，用于提取所述当前室内图像信息中的视觉特征；
匹配单元33，用于将所述提取单元32提取的所述视觉特征与离线地图数据库中的关键帧进行匹配；
第一确定单元34，用于在所述匹配单元33匹配视觉特征与离线地图数据库中的关键帧的过程中，确定与所述视觉特征相似的候选关键帧；
第二确定单元35，用于确定所述第一确定单元34确定的所述候选关键帧对应的位姿；
转化单元36，用于将所述第二确定单元35确定的所述位姿转化为坐标值；
发送单元37，用于将所述转化单元36转化后的所述坐标值发送至所述移动终端。
进一步的，如图5所示，所述装置还包括：
第一构建单元38，用于启动激光雷达构建全局栅格地图；
第二构建单元39，用于启动视觉***构建视觉地图；
生成单元310，用于根据所述第一构建单元38构建的所述全局栅格地图及所述第二构建单元39构建的所述视觉地图生成离线地图。
进一步的，如图5所示，所述第一构建单元38包括：
初始化模块381，用于将激光雷达建图的坐标系初始化为全局坐标系；
预估模块382，用于预估激光雷达扫描到的室内区域的第一定位信息；
输入模块383，用于将所述预估模块382预估的所述第一定位信息作为粒子滤波采样的输入，得到粒子的先验分布；
生成模块384，用于根据粒子的先验分布生成粒子，并根据粒子滤波算法，以及融合里程计位姿变换更新粒子位姿和地图数据，生成全局栅格地图。
进一步的，如图5所示，所述第二构建单元39包括：
初始化模块391，用于对摄像装置进行初始化；
第一确定模块392，用于根据所述摄像装置与所述激光雷达的相对安装位置，得到视觉地图坐标系与全局栅格地图坐标系的转换关系；
第二确定模块393，用于根据摄像装置获取的图像帧的帧间特征确定关键帧；
第三确定模块394，用于根据所述第二确定模块393确定的所述转换关系确定关键帧的第二定位信息；
第四确定模块395，用于根据所述激光雷达以及所述摄像装置的定位信息确定修正后的尺度因子；
生成模块396，用于根据所述第四确定模块395确定的所述修正后的尺度因子以及所述关键帧建立稀疏地图。
进一步的，如图5所示，所述第二构建单元39还包括：
优化模块397，用于采用回环检测对关键帧对应的坐标值进行优化。
进一步的，如图5所示，所述装置还包括：
处理单元311，用于在将所述视觉特征与离线地图数据库中的关键帧进行匹配时，无法确定与所述视觉特征相似的候选关键帧，则通过移动终端中的传感器获取当前室内图像信息的前后相邻帧的速度信息以及角度信息，并根据所述速度信息以及角度信息推算当前室内图像信息的坐标值。
进一步的，本发明实施例还提供一种室内环境下的定位***，所述***包括移动终端及服务器，其中，所述服务器包括图4或图5中任一幅所述的装置。
本发明提供的室内环境下的定位装置及***，服务器接收移动终端发送的当前室内图像信息，并提取所述当前室内图像信息中的视觉特征，将所述视觉特征与离线地图数据库中的关键帧进行匹配，确定与所述视觉特征相似的候选关键帧，确定所述候选关键帧对应的位姿，将所述位姿转化为坐标值，并将所述坐标值发送至所述移动终端，与现有技术相比，本发明通过对当前室内图像信息的分析，确定其对应的室内坐标值，实现室内精准定位。
所述室内环境下的定位装置包括处理器和存储器，上述接收单元、提取单元、匹配单元、第一确定单元和第二确定单元、转化单元、发送单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现室内换下的位置精准定位。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现室内环境下的定位方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述室内环境下的定位方法。
本发明实施例提供了一种电子设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：
接收移动终端发送的当前室内图像信息，并提取所述当前室内图像信息中的视觉特征；
将所述视觉特征与离线地图数据库中的关键帧进行匹配，确定与所述视觉特征相似的候选关键帧；
确定所述候选关键帧对应的位姿，将所述位姿转化为坐标值，并将所述坐标值发送至所述移动终端。
可选的，所述方法还包括：
启动激光雷达构建全局栅格地图；
启动视觉***构建视觉地图；
根据所述全局栅格地图及所述视觉地图生成离线地图。
可选的，启动激光雷达构建全局栅格地图包括：
将激光雷达建图的坐标系初始化为全局坐标系；
预估激光雷达扫描到的室内区域的第一定位信息，并将所述第一定位信息作为粒子滤波采样的输入，得到粒子的先验分布；
根据粒子的先验分布生成粒子，并根据粒子滤波算法，以及融合里程计位姿变换更新粒子位姿和地图数据，生成全局栅格地图。
可选的，启动视觉***构建视觉地图包括：
对摄像装置进行初始化，并根据所述摄像装置与所述激光雷达的相对安装位置，得到视觉地图坐标系与全局栅格地图坐标系的转换关系；
根据摄像装置获取的图像帧的帧间特征确定关键帧，并根据所述转换关系确定关键帧的第二定位信息；
根据所述激光雷达以及所述摄像装置的定位信息确定修正后的尺度因子；
根据所述修正后的尺度因子以及所述关键帧建立稀疏地图。
可选的，所述方法还包括：
采用回环检测对关键帧对应的坐标值进行优化。
可选的，所述方法还包括：
在将所述视觉特征与离线地图数据库中的关键帧进行匹配时，无法确定与所述视觉特征相似的候选关键帧，则通过移动终端中的传感器获取当前室内图像信息的前后相邻帧的速度信息以及角度信息，并根据所述速度信息以及角度信息推算当前室内图像信息的坐标值。
本文中的设备可以是PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：
接收移动终端发送的当前室内图像信息，并提取所述当前室内图像信息中的视觉特征；
将所述视觉特征与离线地图数据库中的关键帧进行匹配，确定与所述视觉特征相似的候选关键帧；
确定所述候选关键帧对应的位姿，将所述位姿转化为坐标值，并将所述坐标值发送至所述移动终端。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种室内环境下的定位方法，其特征在于，包括：
接收移动终端发送的当前室内图像信息，并提取所述当前室内图像信息中的视觉特征；
将所述视觉特征与离线地图数据库中的关键帧进行匹配，确定与所述视觉特征相似的候选关键帧；
确定所述候选关键帧对应的位姿，将所述位姿转化为坐标值，并将所述坐标值发送至所述移动终端；
所述方法还包括：
启动激光雷达构建全局栅格地图；
启动视觉***构建视觉地图，具体为，对摄像装置进行初始化，并根据所述摄像装置与所述激光雷达的相对安装位置，得到视觉地图坐标系与全局栅格地图坐标系的转换关系；
根据摄像装置获取的图像帧的帧间特征确定关键帧，并根据所述转换关系确定关键帧的第二定位信息；
根据所述激光雷达以及所述摄像装置的定位信息确定修正后的尺度因子；
根据所述修正后的尺度因子以及所述关键帧建立稀疏地图；
根据所述全局栅格地图及所述视觉地图生成离线地图。
2.根据权利要求1所述的方法，其特征在于，启动激光雷达构建全局栅格地图包括：
将激光雷达建图的坐标系初始化为全局坐标系；
预估激光雷达扫描到的室内区域的第一定位信息，并将所述第一定位信息作为粒子滤波采样的输入，得到粒子的先验分布；
根据粒子的先验分布生成粒子，并根据粒子滤波算法，以及融合里程计位姿变换更新粒子位姿和地图数据，生成全局栅格地图。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
采用回环检测对关键帧对应的坐标值进行优化。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：
在将所述视觉特征与离线地图数据库中的关键帧进行匹配时，无法确定与所述视觉特征相似的候选关键帧，则通过移动终端中的传感器获取当前室内图像信息的前后相邻帧的速度信息以及角度信息，并根据所述速度信息以及角度信息推算当前室内图像信息的坐标值。
5.一种室内环境下的定位装置，其特征在于，包括：
接收单元，用于接收移动终端发送的当前室内图像信息；
提取单元，用于提取所述当前室内图像信息中的视觉特征；
匹配单元，用于将所述提取单元提取的所述视觉特征与离线地图数据库中的关键帧进行匹配；
第一确定单元，用于在所述匹配单元匹配视觉特征与离线地图数据库中的关键帧的过程中，确定与所述视觉特征相似的候选关键帧；
第二确定单元，用于确定所述第一确定单元确定的所述候选关键帧对应的位姿；
转化单元，用于将所述第二确定单元确定的所述位姿转化为坐标值；
发送单元，用于将所述转化单元转化后的所述坐标值发送至所述移动终端；
所述装置还包括：第一构建单元，用于启动激光雷达构建全局栅格地图；
第二构建单元，用于启动视觉***构建视觉地图，具体为，
初始化模块，用于对摄像装置进行初始化；
第一确定模块，用于根据所述摄像装置与所述激光雷达的相对安装位置，得到视觉地图坐标系与全局栅格地图坐标系的转换关系；
第二确定模块，用于根据摄像装置获取的图像帧的帧间特征确定关键帧；
第三确定模块，用于根据所述第二确定模块确定的所述转换关系确定关键帧的第二定位信息；
第四确定模块，用于根据所述激光雷达以及所述摄像装置的定位信息确定修正后的尺度因子；
生成模块，用于根据所述第四确定模块确定的所述修正后的尺度因子以及所述关键帧建立稀疏地图；
生成单元，用于根据所述第一构建单元构建的所述全局栅格地图及所述第二构建单元构建的所述视觉地图生成离线地图。
6.根据权利要求5中所述的装置，其特征在于，所述装置还包括：
处理单元，用于在将所述视觉特征与离线地图数据库中的关键帧进行匹配时，无法确定与所述视觉特征相似的候选关键帧，则通过移动终端中的传感器获取当前室内图像信息的前后相邻帧的速度信息以及角度信息，并根据所述速度信息以及角度信息推算当前室内图像信息的坐标值。
7.一种室内环境下的定位***，其特征在于，所述***包括移动终端及服务器，其中，所述服务器包括权利要求5至权利要求6中任一项所述的装置。
8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求4中任意一项所述的室内环境下的定位方法。
9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至权利要求4中任意一项所述的室内环境下的定位方法。
CN201810482202.2A 2018-05-18 2018-05-18 室内环境下的定位方法、装置及*** Active CN108717710B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810482202.2A CN108717710B (zh) 2018-05-18 2018-05-18 室内环境下的定位方法、装置及***
PCT/CN2019/087411 WO2019219077A1 (zh) 2018-05-18 2019-05-17 定位方法、定位装置、定位***、存储介质及离线地图数据库的构建方法
US16/641,359 US11295472B2 (en) 2018-05-18 2019-05-17 Positioning method, positioning apparatus, positioning system, storage medium, and method for constructing offline map database

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810482202.2A CN108717710B (zh) 2018-05-18 2018-05-18 室内环境下的定位方法、装置及***

Publications (2)

Publication Number Publication Date
CN108717710A CN108717710A (zh) 2018-10-30
CN108717710B true CN108717710B (zh) 2022-04-22

Family

ID=63899999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810482202.2A Active CN108717710B (zh) 2018-05-18 2018-05-18 室内环境下的定位方法、装置及***

Country Status (3)

Country Link
US (1) US11295472B2 (zh)
CN (1) CN108717710B (zh)
WO (1) WO2019219077A1 (zh)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717710B (zh) 2018-05-18 2022-04-22 京东方科技集团股份有限公司 室内环境下的定位方法、装置及***
CN109682368B (zh) * 2018-11-30 2021-07-06 上海肇观电子科技有限公司 机器人及地图构建方法、定位方法、电子设备、存储介质
US10611028B1 (en) 2018-11-30 2020-04-07 NextVPU (Shanghai) Co., Ltd. Map building and positioning of robot
CN109612455A (zh) * 2018-12-04 2019-04-12 天津职业技术师范大学 一种室内定位方法及***
CN109885714A (zh) * 2019-01-18 2019-06-14 上海扩博智能技术有限公司 线下零售商品信息推送方法、***、设备及存储介质
CN111765888A (zh) * 2019-04-01 2020-10-13 阿里巴巴集团控股有限公司 设备定位方法、装置、电子设备及可读存储介质
CN110095752B (zh) * 2019-05-07 2021-08-10 百度在线网络技术（北京）有限公司 定位方法、装置、设备和介质
CN112013844B (zh) * 2019-05-31 2022-02-11 北京小米智能科技有限公司 建立室内环境地图的方法及装置
CN110561416B (zh) * 2019-08-01 2021-03-02 深圳市银星智能科技股份有限公司 一种激光雷达重定位方法及机器人
CN110686676A (zh) * 2019-09-12 2020-01-14 深圳市银星智能科技股份有限公司 机器人重定位方法、装置及机器人
CN110672102B (zh) * 2019-10-18 2021-06-08 劢微机器人科技(深圳)有限公司 视觉辅助机器人初始化定位方法、机器人及可读存储介质
CN110796706A (zh) * 2019-11-08 2020-02-14 四川长虹电器股份有限公司 视觉定位方法及***
CN110887490B (zh) * 2019-11-29 2023-08-29 上海有个机器人有限公司 一种激光定位导航的关键帧选取方法、介质、终端和装置
CN111025364B (zh) * 2019-12-17 2023-05-16 南京航空航天大学 一种基于卫星辅助的机器视觉定位***及方法
CN111113415B (zh) * 2019-12-19 2023-07-25 上海点甜农业专业合作社 一种基于二维码路标、摄像头和陀螺仪的机器人定位方法
CN113256715B (zh) * 2020-02-12 2024-04-05 北京京东乾石科技有限公司 机器人的定位方法和装置
CN111340887B (zh) * 2020-02-26 2023-12-29 Oppo广东移动通信有限公司 视觉定位方法、装置、电子设备和存储介质
CN111652103B (zh) * 2020-05-27 2023-09-19 北京百度网讯科技有限公司 室内定位方法、装置、设备以及存储介质
CN111664866A (zh) * 2020-06-04 2020-09-15 浙江商汤科技开发有限公司 定位展示方法及装置、定位方法及装置和电子设备
CN111783849B (zh) * 2020-06-15 2022-10-28 清华大学 一种室内定位方法、装置、电子设备及存储介质
CN111862672B (zh) * 2020-06-24 2021-11-23 北京易航远智科技有限公司 基于顶视图的停车场车辆自定位及地图构建方法
CN112179330B (zh) * 2020-09-14 2022-12-06 浙江华睿科技股份有限公司 移动设备的位姿确定方法及装置
WO2022007367A1 (en) * 2020-07-09 2022-01-13 Zhejiang Dahua Technology Co., Ltd. Systems and methods for pose determination
CN111964665B (zh) * 2020-07-23 2022-07-12 武汉理工大学 基于车载环视图像的智能车定位方法、***及存储介质
CN111862214B (zh) * 2020-07-29 2023-08-25 上海高仙自动化科技发展有限公司 计算机设备定位方法、装置、计算机设备和存储介质
CN111862215B (zh) * 2020-07-29 2023-10-03 上海高仙自动化科技发展有限公司 一种计算机设备定位方法、装置、计算机设备和存储介质
CN111784776B (zh) * 2020-08-03 2023-09-26 Oppo广东移动通信有限公司 视觉定位方法及装置、计算机可读介质和电子设备
CN111986261B (zh) * 2020-08-13 2023-08-18 清华大学苏州汽车研究院（吴江） 一种车辆定位方法、装置、电子设备及存储介质
CN111814752B (zh) * 2020-08-14 2024-03-12 上海木木聚枞机器人科技有限公司 室内定位实现方法、服务器、智能移动设备、存储介质
CN111897365B (zh) * 2020-08-27 2022-09-02 中国人民解放军国防科技大学 一种等高线引导线的自主车三维路径规划方法
CN112025709B (zh) * 2020-08-31 2021-08-27 东南大学 一种基于车载摄像头视觉的移动机器人定位***及方法
CN114102577B (zh) * 2020-08-31 2023-05-30 北京极智嘉科技股份有限公司 一种机器人及应用于机器人的定位方法
CN114184193A (zh) * 2020-09-14 2022-03-15 杭州海康威视数字技术股份有限公司 定位方法及***
CN112129282B (zh) * 2020-09-30 2021-06-18 杭州海康机器人技术有限公司 一种不同导航方式之间定位结果的转换方法、转换装置
CN112683262A (zh) * 2020-11-30 2021-04-20 浙江商汤科技开发有限公司 定位方法及装置、电子设备和存储介质
CN112596064B (zh) * 2020-11-30 2024-03-08 中科院软件研究所南京软件技术研究院 激光与视觉融合的一体化室内机器人全局定位方法
CN112396039B (zh) * 2021-01-12 2022-06-24 之江实验室 一种基于邻域关系的火星栅格地形地图生成方法
CN114859370A (zh) * 2021-01-20 2022-08-05 京东科技信息技术有限公司 定位方法和装置、计算机装置和计算机可读存储介质
CN113763468B (zh) * 2021-01-21 2023-12-05 北京京东乾石科技有限公司 一种定位方法、装置、***及存储介质
CN113189613B (zh) * 2021-01-25 2023-01-10 广东工业大学 一种基于粒子滤波的机器人定位方法
CN112859874B (zh) * 2021-01-25 2024-04-30 上海思岚科技有限公司 用于移动机器人的动态环境区域运维方法与设备
CN112907644B (zh) * 2021-02-03 2023-02-03 中国人民解放军战略支援部队信息工程大学 一种面向机器地图的视觉定位方法
CN112509053B (zh) * 2021-02-07 2021-06-04 深圳市智绘科技有限公司 机器人位姿的获取方法、装置及电子设备
CN113052906A (zh) * 2021-04-01 2021-06-29 福州大学 基于单目相机与里程计的室内机器人定位方法
US20220374947A1 (en) * 2021-05-07 2022-11-24 Tina Anne Sebastian Artificial intelligence-based system and method for grading collectible trading cards
CN113329333B (zh) * 2021-05-27 2022-12-23 中国工商银行股份有限公司 一种室内定位的方法、装置、计算机设备及存储介质
CN113325433A (zh) * 2021-05-28 2021-08-31 上海高仙自动化科技发展有限公司 一种定位方法、装置、电子设备及存储介质
CN113340293A (zh) * 2021-05-28 2021-09-03 上海高仙自动化科技发展有限公司 一种定位方法、装置、电子设备及存储介质
WO2023280274A1 (en) * 2021-07-07 2023-01-12 The Hong Kong University Of Science And Technology Geometric structure aided visual localization method and system
CN113503876B (zh) * 2021-07-09 2023-11-21 深圳华芯信息技术股份有限公司 多传感器融合的激光雷达定位方法、***以及终端
CN113447026B (zh) * 2021-07-14 2024-06-18 深圳亿嘉和科技研发有限公司 适应动态环境变化的amcl定位方法
CN113570663A (zh) * 2021-07-20 2021-10-29 上海云易航空科技有限公司 基于单线激光雷达和顶视摄像头融合的室内定位方法
CN114088104B (zh) * 2021-07-23 2023-09-29 武汉理工大学 一种自动驾驶场景下的地图生成方法
CN113591847B (zh) * 2021-07-28 2022-12-20 北京百度网讯科技有限公司 一种车辆定位方法、装置、电子设备及存储介质
CN113625296B (zh) * 2021-07-30 2023-11-21 深圳市优必选科技股份有限公司 基于反光板的机器人定位方法、装置及机器人
CN113838129B (zh) * 2021-08-12 2024-03-15 高德软件有限公司 一种获得位姿信息的方法、装置以及***
CN113686332A (zh) * 2021-09-08 2021-11-23 上海快仓智能科技有限公司 移动机器人及其导航方法、装置、设备和存储介质
CN113804222B (zh) * 2021-11-16 2022-03-04 浙江欣奕华智能科技有限公司 一种定位精度的测试方法、装置、设备及存储介质
CN113984068A (zh) * 2021-11-16 2022-01-28 浙江商汤科技开发有限公司 定位方法、定位装置和计算机可读存储介质
CN114167866B (zh) * 2021-12-02 2024-04-12 桂林电子科技大学 一种智能物流机器人及控制方法
CN114216452B (zh) * 2021-12-06 2024-03-19 北京云迹科技股份有限公司 一种机器人的定位方法及装置
CN114608569B (zh) * 2022-02-22 2024-03-01 杭州国辰机器人科技有限公司 三维位姿估计方法、***、计算机设备及存储介质
CN114563795B (zh) * 2022-02-25 2023-01-17 湖南大学无锡智能控制研究院 基于激光里程计和标签融合算法的定位追踪方法及***
CN115439536B (zh) * 2022-08-18 2023-09-26 北京百度网讯科技有限公司 视觉地图更新方法、装置及电子设备
CN115267725B (zh) * 2022-09-27 2023-01-31 上海仙工智能科技有限公司 一种基于单线激光雷达的建图方法及装置、存储介质
CN115375870B (zh) * 2022-10-25 2023-02-10 杭州华橙软件技术有限公司 回环检测优化方法、电子设备及计算机可读存储装置
CN116662600B (zh) * 2023-06-08 2024-05-14 北京科技大学 一种基于轻量结构化线地图的视觉定位方法
CN117191021B (zh) * 2023-08-21 2024-06-04 深圳市晅夏机器人有限公司 室内视觉循线导航方法、装置、设备及存储介质
CN117112043B (zh) * 2023-10-20 2024-01-30 深圳市智绘科技有限公司 视觉惯性***的初始化方法、装置、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070120780A (ko) * 2006-06-20 2007-12-26 삼성전자주식회사 이동 로봇의 격자지도 작성 방법 및 장치와 이를 이용한영역 분리 방법 및 장치
CN105865449A (zh) * 2016-04-01 2016-08-17 深圳杉川科技有限公司 基于激光和视觉的移动机器人的混合定位方法
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建***
CN107677279A (zh) * 2017-09-26 2018-02-09 上海思岚科技有限公司 一种定位建图的方法及***

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7689321B2 (en) * 2004-02-13 2010-03-30 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
US8427472B2 (en) * 2005-02-08 2013-04-23 Seegrid Corporation Multidimensional evidence grids and system and methods for applying same
KR101682175B1 (ko) * 2010-01-20 2016-12-02 삼성전자주식회사 그리드 맵 생성 장치 및 방법
WO2016050290A1 (en) * 2014-10-01 2016-04-07 Metaio Gmbh Method and system for determining at least one property related to at least part of a real environment
GB2541884A (en) * 2015-08-28 2017-03-08 Imp College Of Science Tech And Medicine Mapping a space using a multi-directional camera
US10788836B2 (en) * 2016-02-29 2020-09-29 AI Incorporated Obstacle recognition method for autonomous robots
CN106352877B (zh) * 2016-08-10 2019-08-23 纳恩博（北京）科技有限公司 一种移动装置及其定位方法
US10739142B2 (en) * 2016-09-02 2020-08-11 Apple Inc. System for determining position both indoor and outdoor
US10482619B2 (en) * 2017-07-27 2019-11-19 AI Incorporated Method and apparatus for combining data to construct a floor plan
CN107742311B (zh) * 2017-09-29 2020-02-18 北京易达图灵科技有限公司 一种视觉定位的方法及装置
US11210804B2 (en) * 2018-02-23 2021-12-28 Sony Group Corporation Methods, devices and computer program products for global bundle adjustment of 3D images
US10657691B2 (en) * 2018-03-27 2020-05-19 Faro Technologies, Inc. System and method of automatic room segmentation for two-dimensional floorplan annotation
CN108717710B (zh) 2018-05-18 2022-04-22 京东方科技集团股份有限公司 室内环境下的定位方法、装置及***
US11334082B2 (en) * 2018-08-08 2022-05-17 The Toro Company Autonomous machine navigation and training using vision system
BR112021004229A2 (pt) * 2018-09-07 2021-05-25 Huawei Technologies Co., Ltd. dispositivo e método para realizar localização e mapeamento simultâneos
US20210042958A1 (en) * 2019-08-09 2021-02-11 Facebook Technologies, Llc Localization and mapping utilizing visual odometry

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070120780A (ko) * 2006-06-20 2007-12-26 삼성전자주식회사 이동 로봇의 격자지도 작성 방법 및 장치와 이를 이용한영역 분리 방법 및 장치
CN105865449A (zh) * 2016-04-01 2016-08-17 深圳杉川科技有限公司 基于激光和视觉的移动机器人的混合定位方法
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建***
CN107677279A (zh) * 2017-09-26 2018-02-09 上海思岚科技有限公司 一种定位建图的方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Visual Localization within LIDAR maps for automated urban driving》;RYan W.Wolcott；et al;《2014 IEEE RSJ International Conference on Intelligent Robots and Systems》;20140918;第176-183页 *
《室外无人车自主导航方法研究》;张高明;《中国优秀硕士学位论文数据库 信息科技辑》;20170815(第8期);第2.3.4小节 *

Also Published As

Publication number Publication date
US11295472B2 (en) 2022-04-05
WO2019219077A1 (zh) 2019-11-21
CN108717710A (zh) 2018-10-30
US20200226782A1 (en) 2020-07-16

Similar Documents

Publication Publication Date Title
CN108717710B (zh) 室内环境下的定位方法、装置及***
US10339387B2 (en) Automated multiple target detection and tracking system
JP7326720B2 (ja) 移動***置推定システムおよび移動***置推定方法
Chen et al. Crowd map: Accurate reconstruction of indoor floor plans from crowdsourced sensor-rich videos
US11549817B2 (en) Distributed device mapping
CN111337947A (zh) 即时建图与定位方法、装置、***及存储介质
CN112785702A (zh) 一种基于2d激光雷达和双目相机紧耦合的slam方法
CN111429574A (zh) 基于三维点云和视觉融合的移动机器人定位方法和***
CN107784671B (zh) 一种用于视觉即时定位与建图的方法与***
Solin et al. PIVO: Probabilistic inertial-visual odometry for occlusion-robust navigation
CN111083633B (zh) 移动终端定位***及其建立方法、移动终端的定位方法
Cattaneo et al. Cmrnet++: Map and camera agnostic monocular visual localization in lidar maps
WO2022062854A1 (zh) 一种图像处理方法、装置、设备和存储介质
CN114185073A (zh) 一种位姿显示方法、装置及***
Hong et al. Visual inertial odometry using coupled nonlinear optimization
US11561553B1 (en) System and method of providing a multi-modal localization for an object
US11763492B1 (en) Apparatus and methods to calibrate a stereo camera pair
CN112184906B (zh) 一种三维模型的构建方法及装置
Su et al. Accurate Pose Tracking for Uncooperative Targets via Data Fusion of Laser Scanner and Optical Camera
CN115019167B (zh) 基于移动终端的融合定位方法、***、设备及存储介质
SHI et al. Local Scenario Perception and Web AR Navigation
Sumikura et al. Scale Estimation of Monocular SfM for a Multi-modal Stereo Camera
CN117953050A (zh) 一种视觉定位方法及相关装置
LU et al. Scene Visual Perception and AR Navigation Applications
Murray Unmanned Aerial Vehicle Trajectory Reconstruction Using Un-synchronized, Multi-camera Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant