CN113284240A - 地图构建方法及装置、电子设备和存储介质 - Google Patents

地图构建方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113284240A
CN113284240A CN202110678480.7A CN202110678480A CN113284240A CN 113284240 A CN113284240 A CN 113284240A CN 202110678480 A CN202110678480 A CN 202110678480A CN 113284240 A CN113284240 A CN 113284240A
Authority
CN
China
Prior art keywords
feature point
image
grid
scene
spatial feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110678480.7A
Other languages
English (en)
Other versions
CN113284240B (zh
Inventor
张展鹏
邓文钧
龙有炼
赵扬波
于行尧
成慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202110678480.7A priority Critical patent/CN113284240B/zh
Publication of CN113284240A publication Critical patent/CN113284240A/zh
Priority to PCT/CN2021/122715 priority patent/WO2022262152A1/zh
Application granted granted Critical
Publication of CN113284240B publication Critical patent/CN113284240B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)

Abstract

本公开涉及一种地图构建方法及装置、电子设备和存储介质，所述方法包括：获取移动设备采集的目标场景的场景图像以及深度图像，并获取移动设备在当前时刻下的相对位姿；根据场景图像与所述深度图像，确定目标场景在先时刻的第一空间特征点以及当前时刻的第二空间特征点，在先时刻的时序在所述当前时刻之前，第一空间特征点与所述第二空间特征点相匹配；根据第一空间特征点与第二空间特征点，对相对位姿进行优化，得到移动设备在当前时刻下的定位信息；根据定位信息以及深度图像，确定目标场景对应的栅格地图，栅格地图用于指示目标场景中的可行驶区域，以使移动设备根据栅格地图进行导航作业。本公开实施例可实现提高地图构建精度和效率。

Description

地图构建方法及装置、电子设备和存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种地图构建方法及装置、电子设备和存储介质。
背景技术
扫地机器人在室内清扫中运用得越来越多，目前，扫地机器人上通常设置有多种传感器，如激光雷达、单目相机、惯性测量单元(Inertial Measurement Unit，IMU)、轮式里程计等，以综合利用各个传感器进行自定位、建图等，以实现自主导航。其中，自主导航可理解为，利用构建的地图以及自定位信息提前进行路径规划、障碍物分析等，使智能扫地机器人进行移动清扫。
然而相关技术中，利用惯性测量单元、轮式里程计等进行自定位的精度不高，利用单目相机采集的图像数据结合三维地图构建技术，构建三维地图的实时性和效率不高。
发明内容
本公开提出了一种地图构建技术方案。
根据本公开的一方面，提供了一种地图构建方法，包括：获取移动设备采集的目标场景的场景图像以及深度图像，并获取所述移动设备在当前时刻下的相对位姿；根据所述场景图像与所述深度图像，确定所述目标场景在先时刻的第一空间特征点以及当前时刻的第二空间特征点，所述在先时刻的时序在所述当前时刻之前，所述第一空间特征点与所述第二空间特征点相匹配；根据所述第一空间特征点与所述第二空间特征点，对所述相对位姿进行优化，得到所述移动设备在当前时刻下的定位信息；根据所述定位信息以及所述深度图像，确定所述目标场景对应的栅格地图，所述栅格地图用于指示所述目标场景中的可行驶区域，以使所述移动设备根据所述栅格地图进行导航作业。
在一种可能的实现方式中，所述场景图像是由所述移动设备上设置的图像采集组件采集的，所述深度图像是由所述移动设备上设置的深度传感组件采集的，其中，根据所述场景图像与所述深度图像，确定所述目标场景在先时刻的第一空间特征点以及当前时刻的第二空间特征点，包括：对在先时刻采集的场景图像进行特征点提取，得到第一图像特征点；根据所述第一图像特征点，确定当前时刻采集的场景图像中与所述第一图像特征点匹配的第二图像特征点；根据所述场景图像与所述深度图像之间的映射关系，确定与所述第一图像特征点对应的第一深度值，以及与所述第二图像特征点对应的第二深度值；根据所述第一图像特征点、所述第一深度值以及所述图像采集组件的相机内参，确定所述第一空间特征点；根据所述第二图像特征点、所述第二深度值以及所述图像采集组件的相机内参，确定所述第二空间特征点。
在一种可能的实现方式中，所述相对位姿为多个，所述根据所述第一空间特征点与所述第二空间特征点，对所述相对位姿进行优化，得到所述移动设备在当前时刻下的定位信息，包括：针对任一相对位姿，根据所述相对位姿，将所述第一空间特征点变换至所述当前时刻下的第三空间特征点；根据所述第二空间特征点与所述第三空间特征点之间的第一误差，和/或所述相对位姿与其它相对位姿之间的第二误差，优化所述相对位姿，得到优化后的相对位姿，其中，所述其它相对位姿包括多个相对位姿中除所述相对位姿以外的相对位姿；根据所述优化后的相对位姿，确定所述移动设备在当前时刻下的定位信息；其中，所述多个相对位姿包括所述移动设备上设置的惯性传感组件测量的相对位姿，以及所述移动设备上设置的轮式里程计测量的相对位姿。
在一种可能的实现方式中，根据所述定位信息以及所述深度图像，确定所述目标场景对应的栅格地图，包括：确定所述目标场景对应的二维平面，并对所述二维平面进行栅格划分，得到栅格平面；根据所述定位信息以及所述深度图像，确定所述目标场景中障碍物的位置信息；根据所述障碍物的位置信息，确定并标记所述障碍物在所述栅格平面中的所属栅格，得到所述目标场景对应的栅格地图。
在一种可能的实现方式中，所述根据所述定位信息以及所述深度图像，确定所述目标场景对应的栅格地图，包括：根据所述定位信息以及所述深度图像，确定所述目标场景对应的初始栅格地图；对所述场景图像进行识别，确定所述目标场景的场景类别以及所述目标场景中障碍物的障碍物类别；根据所述场景类别、所述障碍物类别以及所述初始栅格地图，生成所述栅格地图。
在一种可能的实现方式中，所述方法还包括：根据所述目标场景中不可行驶区域对应的障碍物类别，对所述栅格地图中表征所述不可行驶区域的栅格设置调整系数以及预设常数，其中，所述调整系数用于指示所述预设常数的衰减速度或增长速度；根据所述调整系数以及所述预设常数，更新所述栅格地图，得到更新后的栅格地图，以使所述移动设备根据所述更新后的栅格地图进行导航作业。
在一种可能的实现方式中，根据所述调整系数以及所述预设常数，更新所述栅格地图，得到更新后的栅格地图，包括：针对所述栅格地图中表征所述不可行驶区域的任一栅格，根据所述栅格的调整系数指示的衰减速度，递减所述栅格的预设常数，或者，根据所述栅格的调整系数指示的增长速度，递增所述栅格的预设常数；在所述预设常数递减至小于第一预设阈值，或所述预设常数递增至大于第二预设阈值的情况下，将所述栅格设置为可行驶区域，得到更新后的栅格地图。
在一种可能的实现方式中，所述相对位姿包括：所述移动设备在当前时刻相对于在先时刻的相对位置以及航向角；所述移动设备的图像采集组件、深度传感组件以及惯性传感组件组成信息采集模组，所述信息采集模组设置在所述移动设备的前端，所述信息采集模组的朝向与所述移动设备的移动方向一致；所述移动设备的轮式里程计设置在所述移动设备的底端。
根据本公开的一方面，提供了一种地图构建装置，包括：获取模块，用于获取移动设备采集的目标场景的场景图像以及深度图像，并获取所述移动设备在当前时刻下的相对位姿；确定模块，用于根据所述场景图像与所述深度图像，确定所述目标场景在先时刻的第一空间特征点以及当前时刻的第二空间特征点，所述在先时刻的时序在所述当前时刻之前，所述第一空间特征点与所述第二空间特征点相匹配；优化模块，用于根据所述第一空间特征点与所述第二空间特征点，对所述相对位姿进行优化，得到所述移动设备在当前时刻下的定位信息；构建模块，用于根据所述定位信息以及所述深度图像，确定所述目标场景对应的栅格地图，所述栅格地图用于指示所述目标场景中的可行驶区域，以使所述移动设备根据所述栅格地图进行导航作业。
在一种可能的实现方式中，所述场景图像是由所述移动设备上设置的图像采集组件采集的，所述深度图像是由所述移动设备上设置的深度传感组件采集的，其中，确定模块，包括：提取子模块，用于对在先时刻采集的场景图像进行特征点提取，得到第一图像特征点；匹配子模块，用于根据所述第一图像特征点，确定当前时刻采集的场景图像中与所述第一图像特征点匹配的第二图像特征点；映射子模块，用于根据所述场景图像与所述深度图像之间的映射关系，确定与所述第一图像特征点对应的第一深度值，以及与所述第二图像特征点对应的第二深度值；第一确定子模块，用于根据所述第一图像特征点、所述第一深度值以及所述图像采集组件的相机内参，确定所述第一空间特征点；第二确定子模块，用于根据所述第二图像特征点、所述第二深度值以及所述图像采集组件的相机内参，确定所述第二空间特征点。
在一种可能的实现方式中，所述相对位姿为多个，所述优化模块，包括：变换子模块，用于针对任一相对位姿，根据所述相对位姿，将所述第一空间特征点变换至所述当前时刻下的第三空间特征点；优化子模块，用于根据所述第二空间特征点与所述第三空间特征点之间的第一误差，和/或所述相对位姿与其它相对位姿之间的第二误差，优化所述相对位姿，得到优化后的相对位姿，其中，所述其它相对位姿包括多个相对位姿中除所述相对位姿以外的相对位姿；定位信息确定子模块，用于根据所述优化后的相对位姿，确定所述移动设备在当前时刻下的定位信息；其中，所述多个相对位姿包括所述移动设备上设置的惯性传感组件测量的相对位姿，以及所述移动设备上设置的轮式里程计测量的相对位姿。
在一种可能的实现方式中，构建模块，包括：栅格平面确定子模块，用于确定所述目标场景对应的二维平面，并对所述二维平面进行栅格划分，得到栅格平面；位置信息确定子模块，用于根据所述定位信息以及所述深度图像，确定所述目标场景中障碍物的位置信息；第一栅格地图确定子模块，用于根据所述障碍物的位置信息，确定并标记所述障碍物在所述栅格平面中的所属栅格，得到所述目标场景对应的栅格地图。
在一种可能的实现方式中，所述构建模块，包括：初始栅格地图确定子模块，用于根据所述定位信息以及所述深度图像，确定所述目标场景对应的初始栅格地图；识别子模块，用于对所述场景图像进行识别，确定所述目标场景的场景类别以及所述目标场景中障碍物的障碍物类别；第二栅格地图确定子模块，根据所述场景类别、所述障碍物类别以及所述初始栅格地图，生成所述栅格地图。
在一种可能的实现方式中，所述装置还包括：设置模块，用于根据所述目标场景中不可行驶区域对应的障碍物类别，对所述栅格地图中表征所述不可行驶区域的栅格设置调整系数以及预设常数，其中，所述调整系数用于指示所述预设常数的衰减速度或增长速度；更新模块，用于根据所述调整系数以及所述预设常数，更新所述栅格地图，得到更新后的栅格地图，以使所述移动设备根据所述更新后的栅格地图进行导航作业。
在一种可能的实现方式中，更新模块，包括：调整子模块，用于针对所述栅格地图中表征所述不可行驶区域的任一栅格，根据所述栅格的调整系数指示的衰减速度，递减所述栅格的预设常数，或者，根据所述栅格的调整系数指示的增长速度，递增所述栅格的预设常数；更新子模块，用于在所述预设常数递减至小于第一预设阈值，或所述预设常数递增至大于第二预设阈值的情况下，将所述栅格设置为可行驶区域，得到更新后的栅格地图。
在一种可能的实现方式中，所述相对位姿包括：所述移动设备在当前时刻相对于在先时刻的相对位置以及航向角；所述移动设备的图像采集组件、深度传感组件以及惯性传感组件组成信息采集模组，所述信息采集模组设置在所述移动设备的前端，所述信息采集模组的朝向与所述移动设备的移动方向一致；所述移动设备的轮式里程计设置在所述移动设备的底端。
根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
在本公开实施例中，能够利用场景图像与深度图像确定出的空间特征点，对移动设备当前时刻下的相对位姿进行优化，从而可以得到较高精度的定位信息；进而利用较高精度的定位信息以及深度图像确定出的栅格地图，能够精准地指示目标场景中的可行使区域，不仅能够满足路径规划、障碍物分析等导航作业需求，还有效提高地图构建效率，有助于移动设备执行合理高效的自主导航作业。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1a示出根据本公开实施例的一种移动设备侧视图的示意图。
图1b示出根据本公开实施例的一种移动设备俯视图的示意图。
图1c示出根据本公开实施例的地图构建方法的示意图。
图2示出根据本公开实施例的地图构建方法的流程图。
图3示出根据本公开实施例的平面坐标系的示意图。
图4示出根据本公开实施例的栅格平面的平面坐标系的示意图。
图5示出根据本公开实施例的地图构建装置的框图。
图6示出根据本公开实施例的一种电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1a示出根据本公开实施例的一种移动设备侧视图的示意图，图1b示出根据本公开实施例的一种移动设备俯视图的示意图。如图1a和1b所示，移动设备上可设置RGBD-IMU模组和轮式里程计，其中，RGBD-IMU模组包括RGB相机、深度(Depth)相机、惯性测量单元(Inertial Measurement Unit，IMU)。
其中，RGB相机用于采集移动设备所在场景的场景图像；深度相机用于采集移动设备所在场景的深度图像；惯性测量单元和轮式里程计用于测量移动设备的相对位姿。通过该方式，不仅可实现移动设备的自主导航，同时可以满足移动设备的成本控制需求。
如图1a和图1b所示，RGBD-IMU模组可设置在移动设备的前端，该RGBD-IMU模组的朝向与移动设备的移动方向一致，从而便于RGB相机采集场景图像、深度相机采集深度图像；以及便于惯性测量单元测量移动设备的相对位姿，也可便于实现场景图像、深度图像与相对位姿之间的时间同步；轮式里程计可设置在移动设备的底端，以便于轮式里程计测量移动设备的相对位姿。
其中，可综合利用RGB相机采集的场景图像、深度相机采集的深度图像以及惯性测量单元和轮式里程计测量的相对位姿，实现移动设备针对所在场景的自定位、障碍物分析、地图构建、路径规划等作业。
图1c示出根据本公开实施例的地图构建方法的示意图，如图1c所示，所述方法可应用于上述移动设备，所述方法包括：
对移动设备上设置的RGBD-IMU模组采集的RGB图像进行场景识别，得到移动设备所处场景的语义信息，语义信息包括场景的场景类别和场景中障碍物的障碍物类别；其中，例如可通过神经网络对RGB图像进行场景识别，对于神经网络的网络结构、网络类型以及训练方式，本公开实施例不作限制；
根据RGBD-IMU模组采集的深度图像，进行可行使区域分析(也即障碍物分析)，得到所处场景的可行驶区域(或障碍物位置)；可理解的是，深度图像包含场景中障碍物的深度信息，根据障碍物的深度信息可得到场景中障碍物的位置信息，进而根据障碍物的位置信息可得到场景中的可行使区域，也即实现可行使区域分析；
根据RGBD-IMU模组采集的RGB图像、深度图像、IMU信息(即惯性测量单元测量的相对位姿)，以及移动设备上设置的轮式里程计测量的里程计信息(即轮式里程计测量的相对位姿)，进行自定位和建图，得到自定位信息和所处场景的栅格地图；
将上述语义信息、所处场景的可行驶区域(或障碍物位置)、自定位信息以及所处场景的栅格地图进行信息融合，得到带语义的栅格地图。
在本公开实施例中，能够融合RGBD-IMU模组和轮式里程计采集的各种信息，构建带语义的栅格地图，使上述移动设备基于带语义的栅格地图进行更智能化地避障、路径规划等自主导航作业。
相关技术中，通常在移动设备上设置激光雷达，以采集场景的三维点云数据，但激光雷达的引入会使得移动设备(如智能扫地机器人)的机械结构上突出一定的高度，影响移动设备的可通过性(例如有些家具下面钻不进去或者容易被卡住)。在本公开实施例中，与含激光雷达的移动设备相比，由于未引入激光雷达，因此移动设备可以设计得更矮小，在所处场景中的通过性更高；而且深度相机采集的深度图像可以用于避开较为低矮的障碍物；还可利用朝前设置的RGB相机拍摄的图像，对所处场景进行语义分析，能够实现更智能化的自主导航作业。
应理解的是，地图构建是实现自主导航作业的一项关键技术。相关技术中通常是利用三维地图构建技术，例如运动恢复结构(Structure from motion，SFM)技术，根据场景图像，构建出场景的三维地图，并利用惯性测量单元和/或轮式里程计测量的相对位姿进行自定位；进而结合自定位信息与三维地图进行障碍物分析、路径规划等导航作业。
可理解的是，该种方式中，构建三维地图的所需的运算量和存储量较大，由于移动设备所处场景会实时变化，地图构建需要循环多次执行，对于一些处理器和存储器能力有限的移动设备，可能无法有效应对实时性较高的地图构建需求；以及，惯性测量单元和轮式里程计测量的相对位姿，会随着移动设备的持续运行，产生较大的累计误差，使得移动设备的自定位精度降低。
根据本公开实施例的地图构建方法，能够利用RGB相机采集的场景图像与深度相机采集的深度图像所确定出的空间特征点，对惯性测量单元和/或轮式里程计测量的相对位姿进行优化，有利于降低累计误差对自定位精度的影响，得到较高精度的定位信息；进而根据较高精度的定位信息与深度图像确定出的栅格地图，能够精准地指示目标场景中的可行驶区域，不仅能够满足障碍物分析、路径规划等导航作业需求，还有效提高地图构建效率，使移动设备执行合理高效的自主导航。
根据本公开实施例的地图构建方法，可由移动设备执行，移动设备可包括：智能扫地机器人、智能清洁机器人、智能割草机器人、智能送货运输机器人等各类移动机器人、自动驾驶车辆等需要自主导航的设备。通过该方式，能够使移动设备基于更高精度的定位信息以及栅格地图，进行更高效合理地自主导航作业。
根据本公开实施例的地图构建方法，还可由处理器(如移动设备的处理器)，调用存储器中存储的计算机可读指令的方式来实现。可理解的是，移动设备上设置的RGB相机、深度相机、惯性测量单元和/或轮式里程计等可与处理器进行通信，以将采集的场景图像、深度图像以及相对位姿等数据，发送至处理器和/或存储器中，从而实现本公开实施例的地图构建方法。
图2示出根据本公开实施例的地图构建方法的流程图，如图2所示，所述地图构建方法包括：
在步骤S11中，获取移动设备采集的目标场景的场景图像以及深度图像，并获取移动设备在当前时刻下的相对位姿。
移动设备上可设置有图像采集组件、深度传感组件、惯性传感组件和/或轮式里程计。目标场景的场景图像可是由移动设备上设置的图像采集组件采集的；深度图像是由所述移动设备上设置的深度传感组件采集的；相对位姿可是由移动设备上设置的惯性传感组件和/或轮式里程计测量的。
其中，图像采集组件可包括：单目RGB相机、双目RGB相机中的任意一种；深度传感组件包括深度相机，也可称为深度传感器、TOF(Time of flight，飞行时间)相机等；惯性传感组件包括惯性测量单元IMU，也可称为惯性传感器。
在一种可能的实现方式中，图像采集组件、深度传感组件以及惯性传感组件可组成信息采集模组，信息采集模组可设置在移动设备的前端，信息采集模组的朝向与移动设备的移动方向一致，轮式里程计可设置在所述移动设备的底端，以便于各个组件和轮式里程计各自采集相关信息，同时有利于降低移动设备的机械高度。
需要说明的是，以上图像采集组件、深度传感组件、惯性传感组件以及轮式里程计在移动设备上的设置方式，是本公开实施例提供的一种实现方式，实际上，本领域技术人员可根据实际需求，设计各个组件和轮式里程计在移动设备上的位置布局，对此本公开实施例不作限制。
在步骤S12中，根据场景图像与深度图像，确定目标场景在先时刻的第一空间特征点以及当前时刻的第二空间特征点，在先时刻的时序在当前时刻之前，第一空间特征点与第二空间特征点相匹配。
其中，空间特征点可理解为空间中的三维特征点，也即目标场景中的三维特征点。可理解的是，深度图像中可包含目标场景中物体的深度信息，利用深度图像中物体的深度信息与场景图像中物体的像素位置信息，可得到场景中物体的三维特征点的位置信息。
可理解的是，场景图像与深度图像可以是实时采集的数据，针对任一时刻采集的场景图像与深度图像，可利用该时刻采集的场景图像与深度图像，得到该时刻下的三维点云，基于此，可对当前时刻的三维点云与在先时刻的三维点云进行特征点匹配，得到两三维点云中相匹配的三维特征点对，也即得到在先时刻的第一空间特征点，以及当前时刻的第二空间特征点。
在一种可能的实现方式中，例如可通过公式(1)实现针对任一时刻采集的场景图像与深度图像，利用该时刻采集的场景图像与深度图像，得到该时刻下的三维点云。
Figure BDA0003121803560000081
其中，(Mx，My，Mz)代表三维点云的三维坐标，(mx、my)分别代表场景图像中像素点的像素坐标，d代表深度图像中与像素点对应的深度值，fx、fy分别代表图像采集部件在成像平面的横轴x和纵轴y方向上的焦距。
在一种可能的实现方式中，对当前时刻的三维点云与在先时刻的三维点云进行特征点匹配，例如可包括：提取当前时刻的三维点云中的多个第一空间特征点，以及在先时刻的三维点云中的多个第二空间特征点；针对任一第一空间特征点，计算该第一空间特征点与各第二空间特征点之间的距离；将距离最小所对应的第二空间特征点作为与第一空间特征点相匹配的空间特征点。
应理解的是，可采用本领域已知的特征点提取方式，例如，点特征直方图(PointFeature Histogram，PFH)、简单点特征直方图(Simple Point Feature Histograms，SPFH)实现对各三维点云进行特征点提取，得到各三维点云的空间特征点，对此本公开实施例不作限制。
其中，第一空间特征点与第二空间特征点相匹配，可理解为，在先时刻下的第一空间特征点与当前时刻下的第二空间特征点，共同指示目标场景中同一物体上的同一点。应理解的是，不同时刻下移动设备的位姿不同，第一空间特征点与第二空间特征点是基于移动设备不同位姿下所确定出的空间特征点。
在步骤S13中，根据第一空间特征点与第二空间特征点，对相对位姿进行优化，得到移动设备在当前时刻下的定位信息。
其中，相对位姿可包括：移动设备在当前时刻相对于在先时刻的相对位置以及航向角。也即，相对位姿，可理解为当前时刻下移动设备的位置与在先时刻下移动设备的位置之间的相对值，以及当前时刻下的航向角。
如上所述，在先时刻的第一空间特征点与当前时刻的第二空间特征点相匹配，那么理论上，基于当前时刻下的相对位姿，对第一空间特征点进行映射变换所得到的空间特征点，应该与第二空间特征点重合，而由于惯性传感组件和/或轮式里程计测量的相对位姿，与移动设备的实际位姿之间存在误差，因此，对第一空间特征点进行映射变换所得到的空间特征点，与第二空间特征点之前也存在误差。
在一种可能的实现方式中，根据第一空间特征点与第二空间特征点，对相对位姿进行优化，得到移动设备在当前时刻下的定位信息，可包括：根据相对位姿对第一空间特征点进行映射变换得到第三空间特征点；根据第三空间特征点与第二空间特征点之前的误差，对相对位姿进行优化，得到移动设备在当前时刻下的定位信息。
可理解的是，通过步骤S13可得到任意时刻下的相对位姿，利用任意时刻下的相对位姿，可得到移动设备相对于初始时刻(例如扫地机器人开始作业的时刻)的位姿(即位置与航向角)，或者说相对于初始位置(例如目标场景的空间坐标系的原点)的位姿，也即得到移动设备在目标场景中的实际位姿。其中，考虑到移动设备通常在地面移动，移动设备的位置可用二维坐标表征，移动设备的姿态可用航向角表征，航向角可理解为移动设备基于水平方向的移动方位。
图3示出根据本公开实施例的平面坐标系的示意图。为便于理解，以图3示出的平面坐标系，举例说明确定移动设备的定位信息的一种方式，如图3所示，假设坐标系的原点为初始位置，t1时刻下的相对位姿包括航向角θ1和相对位置(x1，y1)，t2时刻下的相对位姿包括航向角θ2和相对位置(x2，y2)，t1时刻下移动设备的实际位姿也即该t1时刻下的相对位姿，t2时刻下移动设备的实际位姿包括：位置(x1+x2，y1+y2)和航向角θ2。
应理解的是，也可以用三维坐标表征移动设备的位置，用三自由度的姿态角表征移动设备的姿态，具体可根据目标场景的实际情况决定，对此本公开实施例不作限制，例如，针对室内的智能扫地机器人，地面较为平整，二维坐标与航向角作为移动设备的位姿即可满足自定位需求；针对某些室外的移动机器人，地面起伏较大，可能需要三维坐标与三自由度的姿态角来表征移动设备的位姿。
在步骤S14中，根据定位信息以及深度图像，确定目标场景对应的栅格地图，栅格地图用于指示目标场景中的可行驶区域，以使移动设备根据栅格地图进行导航作业。
其中，对于目标场景中物体，大部分可理解为移动设备的障碍物，障碍物在目标场景中所占的区域，可称为不可行驶区域。相应的，目标场景中除不可行驶区域以外的区域，可称为移动设备的可行驶区域，也即移动设备可以在可行驶区域内移动。
可理解的是，目标场景例如客厅、卧室等，目标场景的面积、形状(如室内面积、形状)通常是固定的。在一种可能的实现方式中，可在移动设备首次进入目标场景时，对目标场景进行全方位扫描，例如采集全景的深度图像，利用全景的深度图像，确定目标场景的整体轮廓(例如室内的整体轮廓)或者说目标场景的区域范围；进而可利用确定出的整体轮廓，得到目标场景对应的二维平面，应理解的是，二维平面的面积与形状可与目标场景一致。
其中，可按照一定的栅格尺寸，对目标场景的二维平面进行栅格划分，得到栅格平面。应理解的是，栅格尺寸可根据实际需求设置，栅格平面中栅格的粒度与数量，与栅格尺寸以及目标场景的面积相关，对此本公开实施例不作限制。
如上所述，深度图像中包含目标场景中物体的深度信息，该深度信息也可理解为目标场景中物体与移动设备之间的距离。那么根据移动设备的定位信息，与深度图像中包含的目标场景中障碍物的深度信息，可得到障碍物在目标场景中的位置信息；进而可利用障碍物的位置信息，在上述目标场景的栅格平面中，确定并标记障碍物的所属栅格，得到目标场景的栅格地图。
应理解的是，深度图像中可包含各类高度的障碍物的深度信息，通过该方式，在基于深度图像生成的栅格地图进行导航作业时，能够增加移动设备的避障能力，尤其是针对低矮障碍物(如掉到地面上的袜子)的避障能力。
考虑到，目标场景中的障碍物可是会发生变化的，例如，随时移动的人和宠物，室内桌椅板凳的位置调整等，因此，目标场景的栅格地图是会发生变化的。基于此，可循环执行上述步骤S11-S14的地图构建方法，从而实时更新目标场景的栅格地图。
在一种可能的实现方式中，可将基于栅格地图进行导航作业的导航逻辑部署在移动设备上，也即可在移动设备上实现根据栅格地图规划移动路径、分析障碍物等导航作业；还可将栅格地图发送至后端服务器，也即将导航逻辑部署在服务器中，在服务器实现根据栅格地图规划移动路径、分析障碍物，并将规划结果和分析结果返回给移动设备，以控制移动设备移动，对此本公开实施例不作限制。
在本公开实施例中，能够利用场景图像与深度图像确定出的空间特征点，对移动设备当前时刻下的相对位姿进行优化，从而可以得到较高精度的定位信息；进而利用较高精度的定位信息以及深度图像确定出的栅格地图，能够精准地指示目标场景中的可行使区域，同时由于栅格地图是二维地图，针对在平面移动的移动设备，不仅能够满足路径规划、障碍物分析等导航作业需求，还有效降低地图构建所需的运算量和存储量，提高地图构建效率，使移动设备执行合理高效的自主导航作业，且有利于降低移动设备的机械高度，增大移动设备的可移动区域和可通过性。
可理解的是，栅格地图还可是三维地图。如上所述，可在移动设备首次进入目标场景时，对目标场景进行全方位扫描，例如采集全景的深度图像，利用全景的深度图像，确定目标场景的整体轮廓(例如室内的整体轮廓)或者说目标场景的空间区域范围；进而可利用确定出的整体轮廓，得到目标场景对应的三维空间，应理解的是，三维空间的体积与形状可与目标场景一致。
其中，可按照一定的三维栅格尺寸(即长宽高)，对目标场景的三维空间进行栅格划分，得到三维栅格空间。应理解的是，三维栅格尺寸可根据实际需求设置，三维栅格空间中三维栅格的粒度与数量，与三维栅格尺寸以及目标场景的体积相关，对此本公开实施例不作限制。
如上所述，深度图像中包含目标场景中物体的深度信息，该深度信息也可理解为目标场景中物体与移动设备之间的距离。在一种可能的实现方式中，在步骤S14中，根据定位信息以及深度图像，确定目标场景对应的栅格地图，可包括：根据移动设备的定位信息，与深度图像中包含的目标场景中障碍物的深度信息，可得到障碍物在目标场景中的三维位置信息；进而利用障碍物的三维位置信息，在上述目标场景的三维栅格空间中，确定并标记障碍物的所属栅格，得到目标场景的栅格地图。
在本公开实施例中，三维的栅格地图能够指示场景中三维立体的可行驶区域，从而使移动设备能够基于三维立体的可行驶区域，执行更合理的导航作业，例如，可规划更为合理和准确的移动路径。
如上所述，场景图像是由移动设备上设置的图像采集组件采集的，深度图像是由移动设备上设置的深度传感组件采集的，在一种可能的实现方式中，在步骤S12中，根据场景图像与深度图像，确定目标场景在先时刻的第一空间特征点以及当前时刻的第二空间特征点，可包括：
步骤S121：对在先时刻采集的场景图像进行特征点提取，得到第一图像特征点。
其中，可采用本领域已知的图像特征点提取技术，例如，尺度不变特征变换(Scale-invariant feature transform，SIFT)算法、快速特征点提取和描述(OrientedFAST and Rotated BRIEF，ORB)算法等，实现对在先时刻采集的场景图像进行特征点提取，对此本公开实施例不作限制。
步骤S122：根据第一图像特征点，确定当前时刻采集的场景图像中与第一图像特征点匹配的第二图像特征点。
其中，可采用本领域已知的跟踪算法，例如，特征点跟踪算法(即利用特征点的相似度进行跟踪)、光流跟踪算法(即利用特征点的运动轨迹进行跟踪)，实现根据第一图像特征点，确定当前时刻采集的场景图像中与第一图像特征点匹配的第二图像特征点，对此本公开实施例不作限制。
步骤S123：根据场景图像与深度图像之间的映射关系，确定与第一图像特征点对应的第一深度值，以及与第二图像特征点对应的第二深度值。
应理解的是，图像采集组件(如单目RGB相机)与深度传感组件(如深度相机)，在移动设备上的位置是固定的，由此可知晓图像采集组件与深度传感组件之间的相对位置关系，基于该相对位置关系，可得到图像采集组件的图像坐标系(即场景图像)与深度传感组件的图像坐标系(及深度图像)之间的映射关系。
其中，映射关系可用映射矩阵表征，映射矩阵可包括旋转矩阵与平移矩阵，对此本公开实施例不作限制。
应理解的是，根据场景图像与深度图像之间的映射关系，可对任一时刻下采集的深度图像或场景图像进行映射变换，以将深度图像与场景图像变换至同一图像坐标系中，例如，将深度图像变换至场景图像对应的图像坐标系中；进而可在同一图像坐标系中，实现根据场景图像中任一图像特征点的位置，从对应的深度图像中确定出对应的深度值。
也即，实现根据在先时刻的场景图像中第一图像特征点的位置，从在先时刻的深度图像中确定出第一深度值，以及根据当前时刻的场景图像中第二图像特征点的位置，从当前时刻的深度图像中确定出第二深度值。
步骤S124：根据第一图像特征点、第一深度值以及图像采集组件的相机内参，确定第一空间特征点。
可知晓的是，相机内参可包括在横轴x和纵轴y方向上的焦距fx、fy。其中，在不考虑相机畸变与光心偏移基础上，可采用上述公式(1)实现根据第一图像特征点、第一深度值以及图像采集组件的相机内参，确定第一空间特征点，也即，将第一图像特征点的位置作为(mx、my)，将第一深度值作为d，可得到第一空间特征点的三维坐标。
步骤S125：根据第二图像特征点、第二深度值以及图像采集组件的相机内参，确定第二空间特征点。
如上所述，相机内参可包括在横轴x和纵轴y方向上的焦距fx、fy。同样的，在不考虑相机畸变与光心偏移基础上，可采用上述公式(1)实现根据第二图像特征点、第二深度值以及图像采集组件的相机内参，确定第二空间特征点。
在本公开实施例中，能够高效地确定出场景图像与深度图像中相匹配的图像特征点，进而确定出对应匹配的第一空间特征点和第二空间特征点。
如上所述，移动设备可设置惯性传感组件和轮式里程计，惯性传感组件和轮式里程计各自可测量移动设备的相对位姿，由于惯性传感组件和轮式里程计各自测量的相对位姿，都会存在累计误差导而致定位精度不高的问题，在一种可能的实现方式中，可综合利用上述第一空间特征点与第二空间特征点、以及惯性传感组件和轮式里程计分别测量的两个相对位姿之间的误差，对其中任一相对位姿进行优化，得到更高精度的定位信息。
在一种可能的实现方式中，相对位姿可为多个，多个相对位姿可包括移动设备上设置的惯性传感组件测量的相对位姿，以及移动设备上设置的轮式里程计测量的相对位姿。
其中，可知晓的是，惯性传感组件(即惯性测量单元)中包括加速度计和陀螺仪，通过加速度及和陀螺仪，可测量移动设备的角速度和加速度，进而对角速度和加速度进行预积分，可计算出从在先时刻到当前时刻，移动设备的移动距离(也即相对位置)和移动方向(也即航向角)，得到惯性传感组件测量的相对位姿。
其中，可知晓的是，轮式里程计可测量移动设备的驱动轮的转动速度(即驱动轮的角速度、线速度)，进而根据驱动轮的转动速度和驱动轮的机械结构信息(如驱动轮的半径和轴距)，可以计算出从在先时刻到当前时刻，移动设备的移动距离(也即相对位置)和移动方向(也即航向角)，得到轮式里程计测量的相对位姿。
在一种可能的实现方式中，在步骤S13中，根据第一空间特征点与第二空间特征点，对相对位姿进行优化，得到移动设备在当前时刻下的定位信息，包括：
步骤S131：针对任一相对位姿，根据相对位姿，将第一空间特征点变换至当前时刻下的第三空间特征点；
可理解的是，轮式里程计测量的相对位姿和惯性传感组件测量的相对位姿，均可表征当前时刻下移动设备的相对位姿，由此，可选择其中任一相对位姿作为优化对象，也即作为优化的初始值。例如，可选择轮式里程计测量的相对位姿作为优化对象，对此本公开实施例不作限制。
其中，根据相对位姿，将第一空间特征点变换至当前时刻下的第三空间特征点，可包括：根据相对位姿，对第一空间特征点进行映射变换，得到第三空间特征点。例如可通过公式(2)实现根据相对位姿对第一空间特征点进行映射变换。
X*＝RX+t (2)
其中，X代表第一空间特征点，X*代表第三空间特征点，R和t代表相对位姿，R代表旋转矩阵(即由航向角确定的矩阵)，t代表平移矩阵(即由相对位置确定的矩阵)。
步骤S132：根据第二空间特征点与第三空间特征点之间的第一误差，和/或相对位姿与其它相对位姿之间的第二误差，优化相对位姿，得到优化后的相对位姿，其中，其它相对位姿包括多个相对位姿中除该相对位姿以外的相对位姿。
可理解的是，若选择轮式里程计测量的相对位姿作为优化对象，则其它相对位姿可是惯性传感组件测量的相对位姿；相应的，若选择惯性传感组件测量的相对位姿作为优化对象，则其它相对位姿可是轮式里程计测量的相对位姿。
如上所述，在先时刻的第一空间特征点与当前时刻的第二空间特征点相匹配，那么理论上，根据当前时刻下的相对位姿，对第一空间特征点进行映射变换所得到的空间特征点，应该与第二空间特征点重合，而由于惯性传感组件和轮式里程计测量的相对位姿，与移动设备的实际位姿之间存在误差，由此，对第一空间特征点进行映射变换所得到的空间特征点，与第二空间特征点之前也存在误差。
可理解的是，由于轮式里程计与惯性传感组件测量相对位姿的原理不同、精度不同等，轮式里程计测量的相对位姿和惯性传感组件测量的相对位姿之间也存在误差。
在一种可能的实现方式中，可利用本领域已知的迭代优化算法，例如高斯牛顿算法、列文伯格-马夸尔特算法等，实现根据第一误差和/或第二误差，优化相对位姿，得到优化后的相对位姿。其中，根据第一误差和第二误差优化相对位姿，能够使优化后的相对位姿的精度更高。
其中，通过高斯牛顿算法优化相对位姿，可例如包括：将相对位姿作为待优化的初始值；将相对位姿、第一误差和第二误差带入泰勒级数展开式，得到非线性回归模型；利用最小二乘法，求解非线性回归模型，得到修正系数；通过修正系数对初始值进行修正，得到修正值；可再将修正值作为待优化的初始值，按照上述过程迭代执行多轮，至修正值收敛，得到优化后的相对位姿。
应理解的是，采用不同的迭代优化算法，迭代优化过程可不同，本领域技术人员可选择任意已知的迭代优化算法，只要是根据第一误差和/或第二误差优化相对位姿，可均在本公开的保护范围内。
步骤S133：根据优化后的相对位姿，确定移动设备在当前时刻下的定位信息。
其中，可参照上述本公开实施例中公开的定位信息的确定方式，例如图3示出的定位信息的确定方式，实现根据优化后的相对位姿，确定移动设备在当前时刻下的定位信息，在此不做赘述。
在本公开实施例中，能够综合利用第一空间特征点与第二空间特征点、以及惯性传感组件和轮式里程计分别测量的两个相对位姿之间的误差，对其中任一相对位姿进行优化，得到更高精度的定位信息。
在一种可能的实现方式中，在步骤S14中，根据定位信息以及深度图像，确定目标场景对应的栅格地图，包括：
步骤S141：确定目标场景对应的二维平面，并对二维平面进行栅格划分，得到栅格平面；
如上所述，可在移动设备首次进入目标场景时，对目标场景进行全方位扫描，例如采集全景的深度图像，利用全景的深度图像，确定目标场景的整体轮廓(例如室内的整体轮廓)或者说目标场景的区域范围；进而可利用确定出的整体轮廓，得到目标场景对应的二维平面，应理解的是，二维平面的面积与形状可与目标场景一致。
其中，可按照一定的栅格尺寸，对目标场景的二维平面进行栅格划分，得到栅格平面。应理解的是，栅格尺寸可根据实际需求设置，栅格平面中栅格的粒度与数量，与栅格尺寸以及目标场景的面积相关，对此本公开实施例不作限制。
步骤S142：根据定位信息以及深度图像，确定目标场景中障碍物的位置信息；
如上所述，深度图像中包含目标场景中物体的深度信息，该深度信息也可理解为目标场景中物体与移动设备之间的距离。那么根据移动设备的定位信息，与深度图像中包含的目标场景中障碍物的深度信息，可得到障碍物在目标场景中的位置信息。
举例来说，图4示出根据本公开实施例的栅格平面的平面坐标系的示意图。如图4所示，移动设备的定位信息用二维坐标(x,y)和航向角θ表征，障碍物的深度信息用d0表征，障碍物的位置信息用(x0,y0)表征，可通过联立方程组(3)得到障碍物的位置信息。
Figure BDA0003121803560000141
步骤S143：根据障碍物的位置信息，确定并标记障碍物在栅格平面中的所属栅格，得到目标场景对应的栅格地图。
可理解的是，栅格平面对应于目标场景，根据障碍物在目标场景中的位置信息，可得到障碍物在栅格平面中的所属栅格，进而可按照预设的标记方式，在该所属栅格中进行标记，如可标记数字、填充颜色等，以表征该栅格是障碍物的所属栅格，也代表该栅格指示的区域是不可行驶区域。其中，对于栅格地图中障碍物所属栅格的标记方式，本公开实施例不作限制。
在本公开实施例中，能够便捷有效地生成目标场景的栅格地图，并且生成的栅格地图，不仅能够满足路径规划、障碍物分析等导航作业需求，还有效降低地图构建所需的运算量和存储量，提高地图构建效率。
考虑到，目标场景包含多种障碍物，例如随时移动的人和宠物，不经常移动的家具等，不同目标场景中障碍物也不同，例如客体与卧室中的障碍物不同。为了使移动设备执行更智能的导航作业，可对目标场景中的障碍物进行识别，得到目标场景中障碍物的语义信息，进而可结合障碍物的语义信息和上述栅格地图，使移动设备执行更智能化的导航作业，例如，针对智能扫地机器人，可以更加智能化地制定合理的清扫路线。
在一种可能的实现方式中，在步骤S14中，根据定位信息以及深度图像，确定目标场景对应的栅格地图，包括：
步骤S144：根据定位信息以及深度图像，确定目标场景对应的初始栅格地图。
其中，可参照上述步骤S141至步骤S143生成栅格地图的过程，得到本公开实施例中的初始栅格地图，在此不做赘述。
步骤S145：对场景图像进行识别，确定目标场景的场景类别以及目标场景中障碍物的障碍物类别。
其中，可采用本领域已知的图像识别技术，例如，用于图像识别的神经网络，对场景图像进行识别，得到目标场景的场景类别以及目标场景中障碍物的障碍物类别，也即得到目标场景的语义信息和障碍物的语义信息。
其中，目标场景的场景类别可表征不同的目标场景，例如，卧室、客厅、厨房等；障碍物的障碍物类别可表征不同的障碍物，例如，人、宠物、沙发、桌子、凳子等。
步骤S146：根据场景类别、障碍物类别以及初始栅格地图，生成栅格地图。
在一种可能的实现方式中，根据场景类别、障碍物类别以及初始栅格地图，生成栅格地图，可包括：将场景类别作为一个属性值填写到初始栅格地图的一个或多个栅格中；将障碍物类别作为一个属性值填写到对应障碍物的所属栅格中。
其中，例如可通过任意字符、数字等，表征不同场景类别和不同障碍物类别，从而可用表征不同场景类别和不同障碍物类别的字符、数字等，作为属性值填写到栅格中，对此本公开实施例不作限制。
通过该方式，栅格地图中的每个栅格可表征：该栅格指示的区域是否为可行驶区域；若为不可行驶区域，该不可行驶区域包含什么类别的障碍物，例如是未知障碍物(如房间轮廓)，还是特定类型障碍物(如宠物)等；以及还可知晓该栅格或该栅格地图属于的场景类型，例如是属于客厅，还是卧室等。
在一种可能的实现方式中，移动设备根据包含丰富语义信息的栅格地图，不仅可执行更智能化的导航作业，还可进行一些智能化的导航决策，例如，针对智能扫地机器人，可根据上述栅格地图制定清扫路线；还可根据栅格地图中的语义信息例如发现房间有人，则先不清扫该房间；发现移动路径上有鞋子，则避开鞋子并提示用户收拾鞋子等。
在本公开实施例中，能够使生成的栅格地图包含目标场景中丰富的语义信息，以便于移动设备执行更智能化的导航作业。
应理解的是，移动设备所处的目标场景中障碍物的位置可能会实时变化，相应的，栅格地图也是会随时变化。同时，移动设备可在不同目标场景中移动，也可在同一目标场景中的不同区域内移动。
基于此，针对移动设备处于目标场景内，或者说目标场景中障碍物处于移动设备的视野范围内的障碍物的位置变化情况，可实时根据确定出的障碍物位置、障碍物类别等对栅格地图进行更新。而针对移动设备已处于目标场景外，例如智能扫地机器人从卧室移动到客厅，或者说目标场景中障碍物已处于移动设备的视野范围外的情况下，便无法感知已处于移动设备的视野范围外的障碍物的位置变化情况。
为了使移动设备能够在目标场景中障碍物已处于移动设备的视野范围外的情况下，也可实现更智能化的导航作业、导航决策等，在一种可能的实现方式中，所述方法还包括：
步骤S16：根据不可行驶区域对应的障碍物类别，对栅格地图中表征不可行驶区域的栅格设置调整系数以及预设常数，其中，调整系数用于指示预设常数的衰减速度或增长速度。
其中，可根据障碍物类别预设不同的调整系数，或者说可以预设障碍物类别与调整系数之间的对应关系，进而可实现根据障碍物类别，对表征不可行驶区域的栅格设置调整系数。预设常数可根据障碍物类别设置不同的常数，也可设置同一个常数，对此本公开实施例不作限制。
可理解的是，不同障碍物移动位置的概率不同，例如，针对人和宠物，可认为移动位置的概率较大；针对椅子、鞋子等，可认为移动位置的概率适中；而针对沙发、床、书柜等，可认为移动位置的概率偏小。由此，可根据不同障碍物移动位置的概率，预设障碍物类别与调整系数之间的对应关系，例如，针对移动位置的概率较大的障碍物，可设置较大的调整系数；而针对移动位置的概率较小的障碍物，可设置较小的调整系数，对此本公开实施例不作限制。
如上所述，调整系数用于指示预设常数的衰减速度或增长速度，其中，可以设置调整系数与衰减速度或增长速度正相关，例如，调整系数越大，预设常数的衰减速度或增长速度越快，代表障碍物实时变化位置的可能性越高；反之，调整系数越小，预设常数的衰减速度或增长速度越慢，代表障碍物实时变化位置的可能性越低。当然，也可设置调整系数与衰减速度或增长速度负相关，对此本公开实施例不作限制。
在一种可能的实现方式中，可以在栅格地图中的栅格被首次标记为不可行驶区域时，对该栅格设置调整系数以及预设常数；还可在目标场景中的不可行驶区域已处于移动设备的视野范围外时，对表征该不可行驶区域的栅格设置调整系数以及预设常数，对此本公开实施例不作限制。
其中，目标场景中的不可行驶区域处于移动设备的视野范围外，也即，目标场景中的障碍物处于移动设备的视野范围外；该障碍物处于移动设备的视野范围外，可理解为，障碍物处于图像采集部件和深度传感部件的拍摄范围(视场角)外，也即，图像采集部件和深度传感部件采集的场景图像和深度图像中已不包含该障碍物。
通过该方式，利用调整系数以及预设常数，能够反映障碍物位置变化的可能性，或者说能够对障碍物的位置变化进行预测，以便于更新栅格地图，尤其针对已处于移动设备的视野范围外的障碍物所对应栅格的进行更新。
步骤S17：根据调整系数以及预设常数，更新栅格地图，得到更新后的栅格地图，以使移动设备根据更新后的栅格地图进行导航作业。
在一种可能的实现方式中，根据调整系数以及预设常数，更新栅格地图，得到更新后的栅格地图，包括：针对栅格地图中表征不可行驶区域的任一栅格，根据栅格的调整系数指示的衰减速度，递减栅格的预设常数，或者，根据栅格的调整系数指示的增长速度，递增栅格的预设常数；在预设常数递减至小于第一预设阈值，或预设常数递增至大于第二预设阈值的情况下，将栅格设置为可行驶区域，得到更新后的栅格地图。通过该方式，能够实现高效地根据调整系数以及预设常数更新栅格地图。
其中，可根据预设常数和调整系数的数值，以及历史经验等，设置第一预设阈值及第二预设阈值的数值，对此本公开实施例不作限制。
其中，预设常数递减至小于第一预设阈值，或预设常数递增至大于第二预设阈值，可认为是，随着时间的流逝，障碍物已离开原来的占据的位置。此时，可将该障碍物的所属栅格设置为可行驶区域，例如，将用于标记不可行驶区域的数字，修改为用于标记可行驶区域的数字等，得到更新后的栅格地图。
可理解的是，通过根据调整系数以及预设常数更新栅格地图的方式，是对障碍物位置变化的预测，并不体现实际障碍物的位置变化。若针对表征障碍物的任一栅格，该栅格的预设常数递减至小于第一预设阈值，或预设常数递增至大于第二预设阈值的情况发生，但该障碍物一直处于移动设备的视野范围内；或者，该障碍物从视野范围外又重新处于视野范围内，此时，仍以上述本公开实施例实际确定的障碍物位置，更新栅格地图。
在一种可能的实现方式中，移动设备可根据更新后的栅格地图进行智能化的导航作业，导航决策，例如，针对智能扫地机器人，若发现某房间有人，则先不清扫该房间，那么当人对应的预设常数随着调整系数衰减至小于第一预设阈值时，此时可认为人已不再该房间中，则可根据更新后的栅格地图，规划去该房间清扫的移动路径；或者，当房间的地面上有鞋子，可避开该鞋子进行清扫，当鞋子对应的预设常数随着调整系数递增至大于第二预设阈值时，此时可认为鞋子已不在原来位置，则可根据更新后的栅格地图，规划清扫鞋子原来所占区域的移动路径等。
在本公开实施例，通过根据调整系数以及预设常数更新栅格地图，尤其针对目标场景中的障碍物处于移动设备的视野范围外的情况，能够实现预测处于移动设备的视野范围外障碍物的位置变化，进而可使移动设备实现更智能化的导航作业、导航决策等。
根据本公开的实施例，移动设备(如智能扫地机器人)既具有现有规划式移动设备的优势，同时不需要引入激光雷达结构，从而增加移动设备在所处场景中的可通过性；还可增加移动设备的避障能力，实现对低矮障碍物的规避；引入朝前的深度相机与RGB相机，可以对室内物体以及场景进行拍摄，结合视觉感知算法(识别场景图像的场景类别和障碍物类别)，实现对所处场景的语义理解，从而使得移动设备可以进行更智能化的导航任务。
根据本公开的实施例，移动设备上设置的信息采集模组(即RGBD-IMU模组)中，深度图像由TOF相机获得，相较于使用双目相机获取深度信息的方式，TOF相机获取深度信息的精度更高，计算开销更低。并且由于RGBD-IMU是一个整体的模组，RGB图像以及深度图像可以进行良好的时间同步，因此，可将深度图像中的深度信息也用到移动设备的自定位中(也即确定移动设备的定位信息)。
根据本公开的实施例，与含激光雷达的移动设备相比，由于未引入激光雷达，因此移动设备可以设计得更矮小，在所处场景中通过性更高；而且深度相机采集的深度图像可以用于避开低矮的障碍物；与含朝上设置摄像头且不含激光雷达的移动设备相比，可利用朝前设置的RGB相机所采集的图像，对所处场景进行语义分析；与仅含深度相机的移动设备相比，除了避障、路径规划等作业，还可对所处场景进行语义分析，从而进行更智能化的导航任务。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
此外，本公开还提供了地图构建装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种地图构建方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
图5示出根据本公开实施例的地图构建装置的框图，如图5所示，所述装置包括：
获取模块101，用于获取移动设备采集的目标场景的场景图像以及深度图像，并获取所述移动设备在当前时刻下的相对位姿；
确定模块102，用于根据所述场景图像与所述深度图像，确定所述目标场景在先时刻的第一空间特征点以及当前时刻的第二空间特征点，所述在先时刻的时序在所述当前时刻之前，所述第一空间特征点与所述第二空间特征点相匹配；
优化模块103，用于根据所述第一空间特征点与所述第二空间特征点，对所述相对位姿进行优化，得到所述移动设备在当前时刻下的定位信息；
构建模块104，用于根据所述定位信息以及所述深度图像，确定所述目标场景对应的栅格地图，所述栅格地图用于指示所述目标场景中的可行驶区域，以使所述移动设备根据所述栅格地图进行导航作业。
在一种可能的实现方式中，所述场景图像是由所述移动设备上设置的图像采集组件采集的，所述深度图像是由所述移动设备上设置的深度传感组件采集的，其中，确定模块102，包括：提取子模块，用于对在先时刻采集的场景图像进行特征点提取，得到第一图像特征点；匹配子模块，用于根据所述第一图像特征点，确定当前时刻采集的场景图像中与所述第一图像特征点匹配的第二图像特征点；映射子模块，用于根据所述场景图像与所述深度图像之间的映射关系，确定与所述第一图像特征点对应的第一深度值，以及与所述第二图像特征点对应的第二深度值；第一确定子模块，用于根据所述第一图像特征点、所述第一深度值以及所述图像采集组件的相机内参，确定所述第一空间特征点；第二确定子模块，用于根据所述第二图像特征点、所述第二深度值以及所述图像采集组件的相机内参，确定所述第二空间特征点。
在一种可能的实现方式中，所述相对位姿为多个，所述优化模块103，包括：变换子模块，用于针对任一相对位姿，根据所述相对位姿，将所述第一空间特征点变换至所述当前时刻下的第三空间特征点；优化子模块，用于根据所述第二空间特征点与所述第三空间特征点之间的第一误差，和/或所述相对位姿与其它相对位姿之间的第二误差，优化所述相对位姿，得到优化后的相对位姿，其中，所述其它相对位姿包括多个相对位姿中除所述相对位姿以外的相对位姿；定位信息确定子模块，用于根据所述优化后的相对位姿，确定所述移动设备在当前时刻下的定位信息；其中，所述多个相对位姿包括所述移动设备上设置的惯性传感组件测量的相对位姿，以及所述移动设备上设置的轮式里程计测量的相对位姿。
在一种可能的实现方式中，构建模块104，包括：栅格平面确定子模块，用于确定所述目标场景对应的二维平面，并对所述二维平面进行栅格划分，得到栅格平面；位置信息确定子模块，用于根据所述定位信息以及所述深度图像，确定所述目标场景中障碍物的位置信息；第一栅格地图确定子模块，用于根据所述障碍物的位置信息，确定并标记所述障碍物在所述栅格平面中的所属栅格，得到所述目标场景对应的栅格地图。
在一种可能的实现方式中，所述构建模块104，包括：初始栅格地图确定子模块，用于根据所述定位信息以及所述深度图像，确定所述目标场景对应的初始栅格地图；识别子模块，用于对所述场景图像进行识别，确定所述目标场景的场景类别以及所述目标场景中障碍物的障碍物类别；第二栅格地图确定子模块，根据所述场景类别、所述障碍物类别以及所述初始栅格地图，生成所述栅格地图。
在一种可能的实现方式中，所述装置还包括：设置模块，用于根据所述目标场景中不可行驶区域对应的障碍物类别，对所述栅格地图中表征所述不可行驶区域的栅格设置调整系数以及预设常数，其中，所述调整系数用于指示所述预设常数的衰减速度或增长速度；更新模块，用于根据所述调整系数以及所述预设常数，更新所述栅格地图，得到更新后的栅格地图，以使所述移动设备根据所述更新后的栅格地图进行导航作业。
在一种可能的实现方式中，更新模块，包括：调整子模块，用于针对所述栅格地图中表征所述不可行驶区域的任一栅格，根据所述栅格的调整系数指示的衰减速度，递减所述栅格的预设常数，或者，根据所述栅格的调整系数指示的增长速度，递增所述栅格的预设常数；更新子模块，用于在所述预设常数递减至小于第一预设阈值，或所述预设常数递增至大于第二预设阈值的情况下，将所述栅格设置为可行驶区域，得到更新后的栅格地图。
在一种可能的实现方式中，所述相对位姿包括：所述移动设备在当前时刻相对于在先时刻的相对位置以及航向角；所述移动设备的图像采集组件、深度传感组件以及惯性传感组件组成信息采集模组，所述信息采集模组设置在所述移动设备的前端，所述信息采集模组的朝向与所述移动设备的移动方向一致；所述移动设备的轮式里程计设置在所述移动设备的底端。
在本公开实施例中，能够利用场景图像与深度图像确定出的空间特征点，对移动设备当前时刻下的相对位姿进行优化，从而可以得到较高精度的定位信息；进而利用较高精度的定位信息以及深度图像确定出的栅格地图，能够精准地指示目标场景中的可行使区域，不仅能够满足路径规划、障碍物分析等导航作业需求，还有效提高地图构建效率，使移动设备执行合理高效的自主导航作业。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。
电子设备可以被提供为终端设备、移动设备或其它形态的设备。
图6示出根据本公开实施例的一种电子设备800的框图。例如，电子设备800可以是移动设备，或移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端设备。
参照图6，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理***，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如互补金属氧化物半导体(CMOS)或电荷耦合装置(CCD)图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如无线网络(WiFi)，第二代移动通信技术(2G)或第三代移动通信技术(3G)，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
本公开可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (11)

1.一种地图构建方法，其特征在于，包括：
获取移动设备采集的目标场景的场景图像以及深度图像，并获取所述移动设备在当前时刻下的相对位姿；
根据所述场景图像与所述深度图像，确定所述目标场景在先时刻的第一空间特征点以及当前时刻的第二空间特征点，所述在先时刻的时序在所述当前时刻之前，所述第一空间特征点与所述第二空间特征点相匹配；
根据所述第一空间特征点与所述第二空间特征点，对所述相对位姿进行优化，得到所述移动设备在当前时刻下的定位信息；
根据所述定位信息以及所述深度图像，确定所述目标场景对应的栅格地图，所述栅格地图用于指示所述目标场景中的可行驶区域，以使所述移动设备根据所述栅格地图进行导航作业。
2.根据权利要求1所述的方法，其特征在于，所述场景图像是由所述移动设备上设置的图像采集组件采集的，所述深度图像是由所述移动设备上设置的深度传感组件采集的，
其中，根据所述场景图像与所述深度图像，确定所述目标场景在先时刻的第一空间特征点以及当前时刻的第二空间特征点，包括：
对在先时刻采集的场景图像进行特征点提取，得到第一图像特征点；
根据所述第一图像特征点，确定当前时刻采集的场景图像中与所述第一图像特征点匹配的第二图像特征点；
根据所述场景图像与所述深度图像之间的映射关系，确定与所述第一图像特征点对应的第一深度值，以及与所述第二图像特征点对应的第二深度值；
根据所述第一图像特征点、所述第一深度值以及所述图像采集组件的相机内参，确定所述第一空间特征点；
根据所述第二图像特征点、所述第二深度值以及所述图像采集组件的相机内参，确定所述第二空间特征点。
3.根据权利要求1或2所述的方法，其特征在于，所述相对位姿为多个，所述根据所述第一空间特征点与所述第二空间特征点，对所述相对位姿进行优化，得到所述移动设备在当前时刻下的定位信息，包括：
针对任一相对位姿，根据所述相对位姿，将所述第一空间特征点变换至所述当前时刻下的第三空间特征点；
根据所述第二空间特征点与所述第三空间特征点之间的第一误差，和/或所述相对位姿与其它相对位姿之间的第二误差，优化所述相对位姿，得到优化后的相对位姿，其中，所述其它相对位姿包括多个相对位姿中除所述相对位姿以外的相对位姿；
根据所述优化后的相对位姿，确定所述移动设备在当前时刻下的定位信息；
其中，所述多个相对位姿包括所述移动设备上设置的惯性传感组件测量的相对位姿，以及所述移动设备上设置的轮式里程计测量的相对位姿。
4.根据权利要求1至3任一项所述的方法，其特征在于，根据所述定位信息以及所述深度图像，确定所述目标场景对应的栅格地图，包括：
确定所述目标场景对应的二维平面，并对所述二维平面进行栅格划分，得到栅格平面；
根据所述定位信息以及所述深度图像，确定所述目标场景中障碍物的位置信息；
根据所述障碍物的位置信息，确定并标记所述障碍物在所述栅格平面中的所属栅格，得到所述目标场景对应的栅格地图。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述定位信息以及所述深度图像，确定所述目标场景对应的栅格地图，包括：
根据所述定位信息以及所述深度图像，确定所述目标场景对应的初始栅格地图；
对所述场景图像进行识别，确定所述目标场景的场景类别以及所述目标场景中障碍物的障碍物类别；
根据所述场景类别、所述障碍物类别以及所述初始栅格地图，生成所述栅格地图。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
根据所述目标场景中不可行驶区域对应的障碍物类别，对所述栅格地图中表征所述不可行驶区域的栅格设置调整系数以及预设常数，其中，所述调整系数用于指示所述预设常数的衰减速度或增长速度；
根据所述调整系数以及所述预设常数，更新所述栅格地图，得到更新后的栅格地图，以使所述移动设备根据所述更新后的栅格地图进行导航作业。
7.根据权利要求6所述的方法，其特征在于，根据所述调整系数以及所述预设常数，更新所述栅格地图，得到更新后的栅格地图，包括：
针对所述栅格地图中表征所述不可行驶区域的任一栅格，根据所述栅格的调整系数指示的衰减速度，递减所述栅格的预设常数，或者，根据所述栅格的调整系数指示的增长速度，递增所述栅格的预设常数；
在所述预设常数递减至小于第一预设阈值，或所述预设常数递增至大于第二预设阈值的情况下，将所述栅格设置为可行驶区域，得到更新后的栅格地图。
8.根据权利要求1-6任一项所述的方法，其特征在于，
所述相对位姿包括：所述移动设备在当前时刻相对于在先时刻的相对位置以及航向角；
所述移动设备的图像采集组件、深度传感组件以及惯性传感组件组成信息采集模组，所述信息采集模组设置在所述移动设备的前端，所述信息采集模组的朝向与所述移动设备的移动方向一致；
所述移动设备的轮式里程计设置在所述移动设备的底端。
9.一种地图构建装置，其特征在于，包括：
获取模块，用于获取移动设备采集的目标场景的场景图像以及深度图像，并获取所述移动设备在当前时刻下的相对位姿；
确定模块，用于根据所述场景图像与所述深度图像，确定所述目标场景在先时刻的第一空间特征点以及当前时刻的第二空间特征点，所述在先时刻的时序在所述当前时刻之前，所述第一空间特征点与所述第二空间特征点相匹配；
优化模块，用于根据所述第一空间特征点与所述第二空间特征点，对所述相对位姿进行优化，得到所述移动设备在当前时刻下的定位信息；
构建模块，用于根据所述定位信息以及所述深度图像，确定所述目标场景对应的栅格地图，所述栅格地图用于指示所述目标场景中的可行驶区域，以使所述移动设备根据所述栅格地图进行导航作业。
10.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至8中任意一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至8中任意一项所述的方法。
CN202110678480.7A 2021-06-18 2021-06-18 地图构建方法及装置、电子设备和存储介质 Active CN113284240B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110678480.7A CN113284240B (zh) 2021-06-18 2021-06-18 地图构建方法及装置、电子设备和存储介质
PCT/CN2021/122715 WO2022262152A1 (zh) 2021-06-18 2021-10-08 地图构建方法及装置、电子设备、存储介质和计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110678480.7A CN113284240B (zh) 2021-06-18 2021-06-18 地图构建方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113284240A true CN113284240A (zh) 2021-08-20
CN113284240B CN113284240B (zh) 2022-05-31

Family

ID=77284994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110678480.7A Active CN113284240B (zh) 2021-06-18 2021-06-18 地图构建方法及装置、电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN113284240B (zh)
WO (1) WO2022262152A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113848943A (zh) * 2021-10-18 2021-12-28 追觅创新科技(苏州)有限公司 栅格地图的修正方法及装置、存储介质及电子装置
CN114004874A (zh) * 2021-12-30 2022-02-01 贝壳技术有限公司 占用栅格地图的获取方法和装置
CN114061586A (zh) * 2021-11-10 2022-02-18 北京有竹居网络技术有限公司 用于生成电子设备的导航路径的方法和产品
CN114187384A (zh) * 2021-12-17 2022-03-15 深圳Tcl数字技术有限公司 地图构建方法、装置、电子设备及存储介质
CN114935341A (zh) * 2022-07-25 2022-08-23 深圳市景创科技电子股份有限公司 一种新型slam导航计算视频识别方法及装置
CN115205461A (zh) * 2022-07-15 2022-10-18 小米汽车科技有限公司 场景重建方法、装置、可读存储介质及车辆
WO2022262152A1 (zh) * 2021-06-18 2022-12-22 深圳市商汤科技有限公司 地图构建方法及装置、电子设备、存储介质和计算机程序产品
CN115752481A (zh) * 2022-12-09 2023-03-07 广东车卫士信息科技有限公司 基于图像识别的ar导航方法、ar眼镜、介质、设备
WO2023088125A1 (zh) * 2021-11-22 2023-05-25 珠海一微半导体股份有限公司 一种机器人提升障碍物标注精度的方法
CN116342827A (zh) * 2023-05-26 2023-06-27 厦门精图信息技术有限公司 一种地图元素三维呈现***及方法
CN116704074A (zh) * 2023-08-03 2023-09-05 松灵机器人(深圳)有限公司 边界地图构建方法、装置、***和可读存储介质
CN116687274A (zh) * 2023-06-19 2023-09-05 深圳市毫准科技有限公司 一种基于手机的可插拔式扫地机器人及扫地清洁控制方法
CN117068207A (zh) * 2023-10-17 2023-11-17 合肥焕智科技有限公司 一种基于激光slam导航的车载控制***
WO2024005707A1 (en) * 2022-07-01 2024-01-04 Grabtaxi Holdings Pte. Ltd. Method, device and system for detecting dynamic occlusion
CN117804449A (zh) * 2024-02-29 2024-04-02 锐驰激光(深圳)有限公司 割草机地面感知方法、装置、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132590B (zh) * 2023-10-24 2024-03-01 威海天拓合创电子工程有限公司 一种基于图像的多板卡缺陷检测方法及装置
CN118279876A (zh) * 2024-05-23 2024-07-02 陕西交通职业技术学院 一种基于图像处理的清洁车自动避障方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045263A (zh) * 2015-07-06 2015-11-11 杭州南江机器人股份有限公司 一种基于Kinect的机器人自定位方法
WO2020034903A1 (zh) * 2018-08-17 2020-02-20 北京京东尚科信息技术有限公司 一种基于拓扑图的智能导航的方法和***
CN111486855A (zh) * 2020-04-28 2020-08-04 武汉科技大学 一种具有物体导航点的室内二维语义栅格地图构建方法
CN111881239A (zh) * 2020-07-17 2020-11-03 上海高仙自动化科技发展有限公司 构建方法、构建装置、智能机器人及可读存储介质
CN112284393A (zh) * 2020-10-23 2021-01-29 苏州大学 一种智能移动机器人全局路径规划方法和***
CN112327888A (zh) * 2021-01-07 2021-02-05 中智行科技有限公司 路径规划方法、装置、电子设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20170161546A1 (en) * 2015-12-08 2017-06-08 Mitsubishi Electric Research Laboratories, Inc. Method and System for Detecting and Tracking Objects and SLAM with Hierarchical Feature Grouping
CN107369183A (zh) * 2017-07-17 2017-11-21 广东工业大学 面向mar的基于图优化slam的跟踪注册方法及***
CN107845114B (zh) * 2017-11-10 2024-03-22 北京三快在线科技有限公司 地图的构建方法、装置及电子设备
CN110264509B (zh) * 2018-04-27 2022-10-14 腾讯科技（深圳）有限公司 确定图像捕捉设备的位姿的方法、装置及其存储介质
CN109993793B (zh) * 2019-03-29 2021-09-07 北京易达图灵科技有限公司 视觉定位方法及装置
CN113284240B (zh) * 2021-06-18 2022-05-31 深圳市商汤科技有限公司 地图构建方法及装置、电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045263A (zh) * 2015-07-06 2015-11-11 杭州南江机器人股份有限公司 一种基于Kinect的机器人自定位方法
WO2020034903A1 (zh) * 2018-08-17 2020-02-20 北京京东尚科信息技术有限公司 一种基于拓扑图的智能导航的方法和***
CN111486855A (zh) * 2020-04-28 2020-08-04 武汉科技大学 一种具有物体导航点的室内二维语义栅格地图构建方法
CN111881239A (zh) * 2020-07-17 2020-11-03 上海高仙自动化科技发展有限公司 构建方法、构建装置、智能机器人及可读存储介质
CN112284393A (zh) * 2020-10-23 2021-01-29 苏州大学 一种智能移动机器人全局路径规划方法和***
CN112327888A (zh) * 2021-01-07 2021-02-05 中智行科技有限公司 路径规划方法、装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
段建民 等: "《改进贝叶斯推理的栅格地图更新与障碍物检测》", 《激光杂志》 *
郑国贤等: "机器人室内环境自主探索与地图构建方法", 《控制工程》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022262152A1 (zh) * 2021-06-18 2022-12-22 深圳市商汤科技有限公司 地图构建方法及装置、电子设备、存储介质和计算机程序产品
CN113848943A (zh) * 2021-10-18 2021-12-28 追觅创新科技(苏州)有限公司 栅格地图的修正方法及装置、存储介质及电子装置
CN113848943B (zh) * 2021-10-18 2023-08-08 追觅创新科技(苏州)有限公司 栅格地图的修正方法及装置、存储介质及电子装置
CN114061586A (zh) * 2021-11-10 2022-02-18 北京有竹居网络技术有限公司 用于生成电子设备的导航路径的方法和产品
WO2023088125A1 (zh) * 2021-11-22 2023-05-25 珠海一微半导体股份有限公司 一种机器人提升障碍物标注精度的方法
CN114187384A (zh) * 2021-12-17 2022-03-15 深圳Tcl数字技术有限公司 地图构建方法、装置、电子设备及存储介质
CN114004874A (zh) * 2021-12-30 2022-02-01 贝壳技术有限公司 占用栅格地图的获取方法和装置
WO2024005707A1 (en) * 2022-07-01 2024-01-04 Grabtaxi Holdings Pte. Ltd. Method, device and system for detecting dynamic occlusion
CN115205461B (zh) * 2022-07-15 2023-11-14 小米汽车科技有限公司 场景重建方法、装置、可读存储介质及车辆
CN115205461A (zh) * 2022-07-15 2022-10-18 小米汽车科技有限公司 场景重建方法、装置、可读存储介质及车辆
CN114935341A (zh) * 2022-07-25 2022-08-23 深圳市景创科技电子股份有限公司 一种新型slam导航计算视频识别方法及装置
CN115752481B (zh) * 2022-12-09 2023-09-01 广东车卫士信息科技有限公司 基于图像识别的ar导航方法、ar眼镜、介质、设备
CN115752481A (zh) * 2022-12-09 2023-03-07 广东车卫士信息科技有限公司 基于图像识别的ar导航方法、ar眼镜、介质、设备
CN116342827A (zh) * 2023-05-26 2023-06-27 厦门精图信息技术有限公司 一种地图元素三维呈现***及方法
CN116342827B (zh) * 2023-05-26 2023-08-08 厦门精图信息技术有限公司 一种地图元素三维呈现***及方法
CN116687274A (zh) * 2023-06-19 2023-09-05 深圳市毫准科技有限公司 一种基于手机的可插拔式扫地机器人及扫地清洁控制方法
CN116687274B (zh) * 2023-06-19 2024-04-16 深圳市毫准科技有限公司 一种基于手机的可插拔式扫地机器人及扫地清洁控制方法
CN116704074A (zh) * 2023-08-03 2023-09-05 松灵机器人(深圳)有限公司 边界地图构建方法、装置、***和可读存储介质
CN117068207A (zh) * 2023-10-17 2023-11-17 合肥焕智科技有限公司 一种基于激光slam导航的车载控制***
CN117068207B (zh) * 2023-10-17 2024-01-12 合肥焕智科技有限公司 一种基于激光slam导航的车载控制***
CN117804449A (zh) * 2024-02-29 2024-04-02 锐驰激光(深圳)有限公司 割草机地面感知方法、装置、设备及存储介质
CN117804449B (zh) * 2024-02-29 2024-05-28 锐驰激光(深圳)有限公司 割草机地面感知方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2022262152A1 (zh) 2022-12-22
CN113284240B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN113284240B (zh) 地图构建方法及装置、电子设备和存储介质
JP7236565B2 (ja) 位置姿勢決定方法、装置、電子機器、記憶媒体及びコンピュータプログラム
CN111340766B (zh) 目标对象的检测方法、装置、设备和存储介质
US9886774B2 (en) Photogrammetric methods and devices related thereto
CN110268225B (zh) 一种多设备之间协同操作的方法、服务端及电子设备
CN111968229B (zh) 高精度地图制图方法及装置
US11810376B2 (en) Method, apparatus and storage medium for detecting small obstacles
US9646384B2 (en) 3D feature descriptors with camera pose information
CN113205549B (zh) 深度估计方法及装置、电子设备和存储介质
CN113436270B (zh) 传感器标定方法及装置、电子设备和存储介质
US20230057965A1 (en) Robot and control method therefor
CN111220148A (zh) 移动机器人的定位方法、***、装置及移动机器人
US20220084249A1 (en) Method for information processing, electronic equipment, and storage medium
Guizilini et al. Semi-parametric learning for visual odometry
US20180350216A1 (en) Generating Representations of Interior Space
WO2022246812A1 (zh) 定位方法、装置、电子设备及存储介质
WO2022128896A1 (en) Method and apparatus for multiple robotic devices in an environment
Zhou et al. Information-efficient 3-D visual SLAM for unstructured domains
JP7354528B2 (ja) 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム
KR20220169472A (ko) 센서 캘리브레이트 방법 및 장치, 전자 기기와 저장 매체
CN116136408A (zh) 室内导航方法、服务器、装置和终端
CN113065392A (zh) 一种机器人的跟踪方法和装置
Høilund et al. Improving stereo camera depth measurements and benefiting from intermediate results
Arukgoda Vector Distance Transform Maps for Autonomous Mobile Robot Navigation
CN117315015A (zh) 机器人位姿确定方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40049282

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant