CN112017259A - 一种基于深度相机与热像仪的室内定位与建图方法 - Google Patents

一种基于深度相机与热像仪的室内定位与建图方法 Download PDF

Info

Publication number
CN112017259A
CN112017259A CN202010876432.4A CN202010876432A CN112017259A CN 112017259 A CN112017259 A CN 112017259A CN 202010876432 A CN202010876432 A CN 202010876432A CN 112017259 A CN112017259 A CN 112017259A
Authority
CN
China
Prior art keywords
image
depth
human body
images
thermal imager
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010876432.4A
Other languages
English (en)
Other versions
CN112017259B (zh
Inventor
张建华
张霖
赵岩
李辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202010876432.4A priority Critical patent/CN112017259B/zh
Publication of CN112017259A publication Critical patent/CN112017259A/zh
Application granted granted Critical
Publication of CN112017259B publication Critical patent/CN112017259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明一种基于深度相机与热像仪的室内定位与建图方法，包括以下步骤：步骤一、将深度相机和热像仪固连，并对深度相机和热像仪进行内外参标定；步骤二、使用深度相机和热像仪采集图像，对热像图根据人体区域的灰度值阈值进行处理，得到人体mask图；步骤三、将RGB图像与对应的人体mask图进行融合，得到RGB图像的感兴趣区域；构建相邻帧图像之间的位姿关系，并通过非线性优化算法迭代求解该位姿关系，得到彩色镜头的位姿；步骤四、提取关键帧图像，将与关键帧图像对应的深度图像、人体mask图送入建图线程，构建全局Octomap地图。本发明充分利用热像仪感知温度的特性提取这些动态特征，使得建图时能够有效避开这些动态特征，提高定位与建图的精度。

Description

一种基于深度相机与热像仪的室内定位与建图方法
技术领域
本发明属于机器人智能感知与环境建模技术领域，具体是一种基于深度相机和热像仪的室内定位与建图方法。
背景技术
目前，服务机器人未能得到很好的量产及普及使用，制约其发展的一个重要因素是鲁棒的定位与建图(SLAM)方法。现有的SLAM方法均是基于静态场景的基本假设，即假设机器人所处的空间是静态的，因此提取到的特征均是静态的，利用这些特征进行环境建模与机器人的位姿估计。然而在实际使用环境中，行走的人以及宠物等均为动态对象，当提取到此类特征进行位姿估计时，显然会引起严重的定位误差。
目前虽然有一些方法在解决动态SLAM问题，比如DS-SLAM，但是这些方法大多是基于深度学习的神经网络与辅助算法搭建起来的***；神经网络用于目标检测，从而在算法层面剔除掉动态对象特征，神经网络采用彩色图提取特征，存在漏检、误检的情况；而辅助算法则可以对神经网络的漏检、误检情况进行补偿，但是这种方法复杂，而且计算量大，需要强有力的GPU加速才能实现实时处理，成本高，适用性较低。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于深度相机和热像仪的室内定位与建图方法。
本发明解决所述技术问题采用的技术方案是：
一种基于深度相机与热像仪的室内定位与建图方法，其特征在于，包括以下步骤：
步骤一、将深度相机和热像仪固连，并对深度相机和热像仪进行内外参标定，使得同一视野的RGB图像、深度图像与热像图逐像素配准；
步骤二、使用深度相机和热像仪采集图像，得到连续的RGB图像、深度图像与热像图，并对热像图根据人体区域的灰度值阈值进行处理，得到人体mask图；
步骤三、将RGB图像与对应的人体mask图进行融合，得到RGB图像的感兴趣区域，并对感兴趣区域进行特征提取；构建相邻帧图像之间的位姿关系，并通过非线性优化算法迭代求解该位姿关系，得到彩色镜头的位姿；
步骤四、提取关键帧图像，将与关键帧图像对应的深度图像、人体mask图送入建图线程，构建全局Octomap地图。
步骤三的具体操作过程是：
3-1根据人体mask图，设定对应的RGB图像的感兴趣区域为人体范围之外的区域；采用ORB特征提取算法对RGB图像的感兴趣区域进行特征提取，并得到感兴趣区域的ORB特征；然后将下一帧图像的ORB特征与上一帧图像的ORB特征进行特征匹配，并剔除误匹配，得到一组相匹配的优质特征点，并将得到的优质特征点存入局部特征图中；
3-2从对应的深度图像上获取每帧图像的优质特征点的深度值，并计算这些优质特征点的3D点云，同时得到上一帧图像与下一帧图像相匹配的一组特征3D点云；然后利用ICP算法进行相邻两帧图像之间的位姿估计；相邻两帧图像的任意两个匹配的特征3D点之间的位姿变换关系为R、t，R和t分别表示两个匹配的特征3D点之间的旋转和平移，且满足公式(4)；
Figure BDA0002652713420000021
利用彩色镜头的位姿构建如公式(5)的最小二乘损失函数，并通过不断迭代求解得到使公式(5)达到极小值时的R、t，此时R、t即为下一帧图像对应的彩色镜头的位姿；
Figure BDA0002652713420000022
式(4)和(5)中，
Figure BDA0002652713420000023
分别表示上一帧图像中的任意一个特征3D点的坐标以及下一帧图像与上一帧图像的
Figure BDA0002652713420000024
相匹配的特征3D点的坐标；
Figure BDA0002652713420000025
表示根据上一帧图像对应的彩色镜头的位姿估计到的
Figure BDA0002652713420000026
在下一帧图像中的点。
步骤四的具体操作过程是：
4-1将步骤二采集的所有RGB图像都通过步骤三的操作进行位姿估计，从完成位姿估计的RGB图像中提取关键帧图像；将关键帧图像对应的深度图像和人体mask图进行融合，并根据人体mask图将深度图像上人体范围内的深度值置为0，得到滤除人体后的深度图像；
4-2遍历关键帧图像的所有像素点，假定某个像素点k在彩色镜头坐标系下的坐标为
Figure BDA0002652713420000027
在世界坐标系下的坐标为
Figure BDA0002652713420000028
根据公式(6)将像素点k在彩色镜头坐标系下的坐标转换为世界坐标下的坐标，用于构建全局Octomap地图；
Figure BDA0002652713420000029
4-3从关键帧图像对应的滤除人体后的深度图像上观测所有像素点的深度值，并根据像素点的深度值判定该像素点对应的空间点是否被占据，得到关键帧对应的局部Octomap地图；对所有的局部Octomap地图进行拼接，完成全局Octomap地图的构建；在机器人行走过程中，利用彩色镜头、深度镜头以及热像仪采集的数据，实时更新整个全局Octomap地图。
步骤二的具体操作过程是：
对热像图进行处理，确定人体所处像素范围的灰度值范围，并以这个灰度值范围作为图像二值化的阈值；遍历热像图上的所有像素点，将阈值范围内的像素点的灰度值置为255，其余像素点的灰度值置为0，得到二值图像；然后对二值图像进行滤波处理，再使用OpenCV库对人体区域放大至1.05倍，得到人体mask图。
与现有技术相比，本发明有益效果在于：
(1)目前热像仪通常都运用在人像分割、工程检测等目标检测领域，本发明将热像仪应用在定位与建图领域，由于场景中的动态特征主要是人，而人与其他场景特征存在明显的温度差异，本发明充分利用热像仪感知温度的特性提取这些动态特征，从而使得建图时能够有效避开这些动态特征，提高建图的精度，同时也为定位和建图提供了一种新思路。
(2)本发明将RGB图像、深度图像和热像图这三种模态数据进行结合，实现了图像数据之间的互补；由于直接采用RGB图像进行人体检测，容易出现漏检、误检等情况，而热像图对人体敏感，且成像稳定，不存在漏检的情况，有助于RGB图像分割人体从而提取感兴趣区域；深度图像则为RGB图像提供深度信息，有助于构建地图。
(3)本发明根据人体mask图将RGB图像的感兴趣区域设为人体范围之外的区域，仅对感兴趣区域进行特征提取，这将有效地避开人体对机器人定位的干扰，仅利用静态特征来求解彩色镜头的位姿，使得定位更加精准；除此之外，在建图时将关键帧图像对应的深度图像和人体mask图进行融合，将深度图像中人体区域的深度值置为0，这就意味着观测到人体区域内的空间点始终未被占据，人体不会出现的地图上，如此能够达到对人体视而不见的效果，在建图时就可以忽略人体，使得建图更加准确。
(4)本发明对于图像的操作均是对像素值的修改，操作简单，计算量小，处理速度较快，能够实时完成定位与建图，同时有助于移植到家庭室内服务机器人平台等轻量级计算平台上。
(5)本发明的Octomap地图采用概率对数值表示像素点是否被占据，有助于实时更新地图，而且存储量较小。
附图说明
图1为本发明的整体流程图；
图2(a)为本发明采集的深度图像示例；
图2(b)为本发明采集的热像图示例；
图3为本发明的图2(b)经过处理后得到的人体mask图示例；
图4为本发明的图2(a)经过处理后得到的滤除人体后的深度图像示例。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步说明。
本发明提供了一种基于深度相机与热像仪的室内定位与建图方法(简称方法，参见图1-4)，包括以下步骤：
步骤一、首先将深度相机和热像仪固连，使深度相机和热像仪包含大部分共同视野，再将深度相机和热像仪一起固定在机器人上；并对深度相机和热像仪进行内外参标定，使得同一视野的RGB图像、深度图像与热像图逐像素配准；
深度相机(型号为Kinect v2)上设有彩色镜头和深度镜头，能够获取场景的彩色图像和深度图像；彩色图像用于获取场景的颜色信息和提取特征；深度图像用于获取图像上每个像素点的深度值，构建3D点云；热像仪(型号为FLIR T1040)用于获取场景的热像图，热像图用于人体定位，便于确定RGB图像上的感兴趣区域；
1-1采用棋盘格，通过张正友标定算法对深度镜头、彩色镜头和热像仪进行内参标定，并获得深度镜头、彩色镜头和热像仪的内参矩阵；
使用隔热材料做成棋盘格，将棋盘格上的黑色方格去掉形成镂空区域，并将去掉黑色方格的棋盘格粘贴至黑色标定板上，形成棋盘格标定板；将棋盘格标定板放置在场景内，并将深度镜头、彩色镜头和热像仪的镜头对准棋盘格标定板；
取棋盘格标定板上的一点M，点M在空间中的坐标均满足公式(1)；
Figure BDA0002652713420000041
式(1)中，
Figure BDA0002652713420000042
表示点M在空间坐标系下的坐标，Zq表示点M在各个镜头坐标系下Z轴方向的坐标；
Figure BDA0002652713420000043
表示点M在各个镜头成像平面上的投影点的坐标；
Figure BDA0002652713420000044
表示将非齐次坐标转换为齐次坐标；KQ表示各个镜头的内参矩阵；
根据公式(1)计算得到深度镜头的内参矩阵KD，此时Q取D；同时根据公式(1)计算得到彩色镜头的内参矩阵KC，此时Q取C；
对棋盘格标定板进行加热升温，在热像图中找到点M，并根据公式(1)计算得到热像仪的内参矩阵KT，此时Q取T；至此完成所有的内参标定工作；
1-2对深度镜头、彩色镜头和热像仪进行外参标定，获得深度镜头与彩色镜头、深度镜头与热像仪之间的空间位置关系，方便进行RGB图像、深度图像以及热像图的逐像素配准；
根据点M在深度镜头成像平面上的投影点的坐标和深度镜头的内参矩阵KD，按照公式(1)计算得到点M在深度镜头坐标系下坐标的
Figure BDA0002652713420000045
此时Q取D，q取d；点M在彩色镜头成像平面上的投影点的坐标和彩色镜头的内参矩阵KC，按照公式(1)计算得到点M在彩色镜头坐标系下的坐标
Figure BDA0002652713420000046
此时Q取C，q取c；然后利用公式(2)计算深度镜头与彩色镜头之间的空间位置关系[RCD,tCD]，完成深度镜头与彩色镜头之间的外参标定；
Figure BDA0002652713420000047
式中，RCD和tCD分别表示深度镜头坐标系相对于彩色镜头坐标系的旋转和平移；
根据点M在热像仪成像平面上的投影点的坐标和热像仪的内参矩阵KT，按照公式(1)得到点M在热像仪坐标系下的坐标为
Figure BDA0002652713420000051
此时Q取T，q取t；并利用公式(3)计算得到深度镜头与热像仪之间的空间位置关系[RTD,tTD]，完成深度镜头与热像仪之间的外参标定，至此完成所有的外参标定工作；
Figure BDA0002652713420000052
式中，RTD和tTD分别表示热像仪坐标系相对于深度镜头坐标系的旋转和平移；
1-3对RGB图像、深度图像与热像图进行逐像素配准；
使用深度相机采集一张深度图像，并计算深度图像的3D点云，然后根据步骤1-2得到的深度镜头与彩色镜头之间的空间位置关系[RCD,tCD]以及深度镜头与热像仪之间的空间位置关系[RTD,tTD]，将深度图像的3D点云分别转换到彩色镜头坐标系下和热像仪坐标系下的3D点云，从而得到与深度图像对应的RGB图像和热像图，完成三种图像在空间上的逐像素配准；
步骤二、使用深度相机和热像仪采集图像，得到连续的RGB图像、深度图像与热像图，并对热像图根据灰度值阈值进行二值化处理，得到人体mask图；
使用深度相机和热像仪分别以30FPS帧率采集1280x 720分辨率的场景图像，获取实时的场景信息，并形成连续的图像；
对热像图进行处理，确定人体所处像素范围的灰度值范围，并以这个灰度值范围作为图像二值化的阈值，灰度值范围为(130，231)；遍历热像图上的所有像素点，将阈值内的像素点的灰度值置为255，其余像素点的灰度值置为0，得到二值图像；然后使用高斯牛顿法对二值图像进行滤波处理，去除噪声；最后使用OpenCV库对人体区域放大至1.05倍，以确保二值图像中的白色区域略大于实际人体范围，进而得到人体mask图；重复此步骤，直到处理完所有帧热像图，得到各帧图像对应的人体mask图；
步骤三、将RGB图像与对应的人体mask图进行融合，首先将人体mask图进行颜色取反，即黑色区域变为白色区域，白色区域变为黑色区域，然后将取反得到的人体mask图与对应的RGB图像进行逻辑与操作，得到RGB图像的感兴趣区域，完成图像融合；使用ORB特征提取算法对感兴趣区域进行特征提取；利用ICP算法构建相邻帧图像之间的位姿关系，并通过非线性优化算法迭代求解该位姿关系，得到彩色镜头的位姿，完成机器人的定位；
3-1根据人体mask图，设定对应的RGB图像的感兴趣区域(ROI)为人体范围之外的区域；采用ORB特征提取算法对RGB图像的感兴趣区域进行特征提取，并得到感兴趣区域的ORB特征；此处避开了动态特征，以排除动态对象对定位的干扰，仅利用静态特征来求解彩色镜头的位姿；然后将下一帧图像的ORB特征与上一帧图像的ORB特征进行特征匹配，并使用RANSAC算法剔除误匹配，得到一组相匹配的优质特征点，并将得到的优质特征点存入局部特征图中；每一帧RGB图像都得到一组优质特征点，每处理一帧RGB图像都将得到的优质特征点加入局部特征图中，用于下一帧RGB图像的特征匹配；重复此操作，直到处理完所有帧RGB图像，全局特征图也随完成；
3-2从对应的深度图像上获取每帧图像的优质特征点的深度值，并计算这些优质特征点的3D点云，同时得到上一帧图像与下一帧图像相匹配的一组特征3D点云；然后利用ICP算法进行相邻两帧图像之间的位姿估计，记上一帧图像的一组特征3D点为
Figure BDA0002652713420000061
Figure BDA0002652713420000062
下一帧图像与上一帧图像相匹配的一组特征3D点
Figure BDA0002652713420000063
Figure BDA0002652713420000064
j∈n，且n为匹配到的特征对数；相邻两帧图像的任意两个匹配的特征3D点之间的位姿变换关系为R、t，R和t分别表示两个匹配的特征3D点之间的旋转和平移，且满足公式(4)；
Figure BDA0002652713420000065
采用非线性优化算法迭代求解彩色镜头的位姿R、t，即利用彩色镜头的位姿构建如公式(5)的最小二乘损失函数，并通过不断迭代求解得到使公式(5)达到极小值时的R、t，表示匹配误差最小，此时R、t即为下一帧图像对应的彩色镜头的位姿；
Figure BDA0002652713420000066
式(5)和(6)中，
Figure BDA0002652713420000067
分别表示上一帧图像中的任意一个特征3D点的坐标以及下一帧图像与上一帧图像的
Figure BDA0002652713420000068
相匹配的特征3D点的坐标；
Figure BDA0002652713420000069
表示
Figure BDA00026527134200000610
根据上一帧图像对应的彩色镜头的位姿估计到的下一帧图像中的点；估计的点与实际匹配点之间有误差，通过非线性优化算法不断调整R，t，使得这个误差最小；
步骤四、提取关键帧图像，将与关键帧图像对应的深度图像、人体mask图送入建图线程，构建全局Octomap地图；
4-1将步骤二采集的所有RGB图像都通过步骤三的操作进行位姿估计，设定关键帧图像提取的时间阈值，并根据时间阈值从完成位姿估计的RGB图像中提取关键帧图像；将关键帧图像对应的深度图像和人体mask图进行融合，并根据人体mask图将深度图像上人体范围内的深度值置为0，得到滤除人体后的深度图像；依次处理完所有的关键帧图像，得到各个关键帧图像对应的滤除人体后的深度图像；
4-2遍历关键帧图像的所有像素点，假定某个像素点k在彩色镜头坐标系下的坐标为
Figure BDA0002652713420000071
在世界坐标系下的坐标为
Figure BDA0002652713420000072
根据公式(6)将像素点k在彩色镜头坐标系下的坐标转换为世界坐标下的坐标，用于构建全局Octomap地图；
Figure BDA0002652713420000073
4-3从关键帧图像对应的滤除人体后的深度图像上观测所有像素点的深度值，并根据像素点的深度值判定该像素点对应的空间点是否被占据，完成全局Octomap地图的构建；
Octomap地图采用概率对数值动态实时更新某个像素点是否被占据，当观测到某个像素点被占据时，增加该像素点的概率对数值，否则降低该像素点的概率对数值；以实数x表示概率对数值，y∈[0，1]表示某像素点被占据的概率，概率对数值x越大，则对应的概率y越高，表明该像素点被占据的可能性越高，x、y之间的变换由logit变换描述：
Figure BDA0002652713420000074
对公式(7)进行反变换得到：
Figure BDA0002652713420000075
观测关键帧图像对应的滤除人体后的深度图像上所有像素点的深度值，当观测到某个像素点有深度值，则表示这个像素点对应的空间点被占据，说明从彩色镜头的中心到这个空间点之间的线段没有被遮挡，该空间点处没有障碍物；重复此步骤，直到观测完所有的滤除人体后的深度图像，得到所有关键帧对应的局部Octomap地图，对所有的局部Octomap地图进行拼接，以完成全局Octomap地图的构建；在机器人行走过程中，利用彩色镜头、深度镜头以及热像仪采集的数据，根据公式(8)实时更新整个全局Octomap地图。
由图2(a)可知，人体轮廓周围存在与人体深度值相当的其他场景特征，因此直接从这张深度图像上观测人体，容易导致结果不准确，不能进行精确的位姿估计；图4是将图2(a)与对应的人体mask图进行融合，并根据人体mask图将深度图像上人体范围内的深度值置为0，得到滤除人体后的深度图像，因此从图4上观测人体区域的深度值始终为0，说明人体区域内的空间点未被占据，因此建图时就不会将人体显示在地图上，如此能够达到对人体视而不见的效果，从而达到了在地图中去除动态特征的目的，提高了建图准确度。
本发明未述及之处适用于现有技术。

Claims (4)

1.一种基于深度相机与热像仪的室内定位与建图方法，其特征在于，包括以下步骤：
步骤一、将深度相机和热像仪固连，并对深度相机和热像仪进行内外参标定，使得同一视野的RGB图像、深度图像与热像图逐像素配准；
步骤二、使用深度相机和热像仪采集图像，得到连续的RGB图像、深度图像与热像图，并对热像图根据人体区域的灰度值阈值进行处理，得到人体mask图；
步骤三、将RGB图像与对应的人体mask图进行融合，得到RGB图像的感兴趣区域，并对感兴趣区域进行特征提取；构建相邻帧图像之间的位姿关系，并通过非线性优化算法迭代求解该位姿关系，得到彩色镜头的位姿；
步骤四、提取关键帧图像，将与关键帧图像对应的深度图像、人体mask图送入建图线程，构建全局Octomap地图。
2.根据权利要求1所述的基于深度相机与热像仪的室内定位与建图方法，其特征在于，步骤三的具体操作过程是：
3-1根据人体mask图，设定对应的RGB图像的感兴趣区域为人体范围之外的区域；采用ORB特征提取算法对RGB图像的感兴趣区域进行特征提取，并得到感兴趣区域的ORB特征；然后将下一帧图像的ORB特征与上一帧图像的ORB特征进行特征匹配，并剔除误匹配，得到一组相匹配的优质特征点，并将得到的优质特征点存入局部特征图中；
3-2从对应的深度图像上获取每帧图像的优质特征点的深度值，并计算这些优质特征点的3D点云，同时得到上一帧图像与下一帧图像相匹配的一组特征3D点云；然后利用ICP算法进行相邻两帧图像之间的位姿估计；相邻两帧图像的任意两个匹配的特征3D点之间的位姿变换关系为R、t，R和t分别表示两个匹配的特征3D点之间的旋转和平移，且满足公式(4)；
Figure FDA0002652713410000011
利用彩色镜头的位姿构建如公式(5)的最小二乘损失函数，并通过不断迭代求解得到使公式(5)达到极小值时的R、t，此时R、t即为下一帧图像对应的彩色镜头的位姿；
Figure FDA0002652713410000012
式(4)和(5)中，
Figure FDA0002652713410000013
分别表示上一帧图像中的任意一个特征3D点的坐标以及下一帧图像与上一帧图像的
Figure FDA0002652713410000014
相匹配的特征3D点的坐标；
Figure FDA0002652713410000015
表示根据上一帧图像对应的彩色镜头的位姿估计到的
Figure FDA0002652713410000016
在下一帧图像中的点。
3.根据权利要求1所述的基于深度相机与热像仪的室内定位与建图方法，其特征在于，步骤四的具体操作过程是：
4-1将步骤二采集的所有RGB图像都通过步骤三的操作进行位姿估计，从完成位姿估计的RGB图像中提取关键帧图像；将关键帧图像对应的深度图像和人体mask图进行融合，并根据人体mask图将深度图像上人体范围内的深度值置为0，得到滤除人体后的深度图像；
4-2遍历关键帧图像的所有像素点，假定某个像素点k在彩色镜头坐标系下的坐标为
Figure FDA0002652713410000021
在世界坐标系下的坐标为
Figure FDA0002652713410000022
根据公式(6)将像素点k在彩色镜头坐标系下的坐标转换为世界坐标下的坐标，用于构建全局Octomap地图；
Figure FDA0002652713410000023
4-3从关键帧图像对应的滤除人体后的深度图像上观测所有像素点的深度值，并根据像素点的深度值判定该像素点对应的空间点是否被占据，得到关键帧对应的局部Octomap地图；对所有的局部Octomap地图进行拼接，完成全局Octomap地图的构建；在机器人行走过程中，利用彩色镜头、深度镜头以及热像仪采集的数据，实时更新整个全局Octomap地图。
4.根据权利要求1所述的基于深度相机与热像仪的室内定位与建图方法，其特征在于，步骤二的具体操作过程是：
对热像图进行处理，确定人体所处像素范围的灰度值范围，并以这个灰度值范围作为图像二值化的阈值；遍历热像图上的所有像素点，将阈值内的像素点的灰度值置为255，其余像素点的灰度值置为0，得到二值图像；然后对二值图像进行滤波处理，再使用OpenCV库对人体区域放大至1.05倍，得到人体mask图。
CN202010876432.4A 2020-08-27 2020-08-27 一种基于深度相机与热像仪的室内定位与建图方法 Active CN112017259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010876432.4A CN112017259B (zh) 2020-08-27 2020-08-27 一种基于深度相机与热像仪的室内定位与建图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010876432.4A CN112017259B (zh) 2020-08-27 2020-08-27 一种基于深度相机与热像仪的室内定位与建图方法

Publications (2)

Publication Number Publication Date
CN112017259A true CN112017259A (zh) 2020-12-01
CN112017259B CN112017259B (zh) 2023-08-01

Family

ID=73503686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010876432.4A Active CN112017259B (zh) 2020-08-27 2020-08-27 一种基于深度相机与热像仪的室内定位与建图方法

Country Status (1)

Country Link
CN (1) CN112017259B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113751365A (zh) * 2021-09-28 2021-12-07 西南科技大学 基于双光相机的核废物检测分拣***及方法
CN114199205A (zh) * 2021-11-16 2022-03-18 河北大学 基于改进四叉树orb算法的双目测距方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104618863A (zh) * 2014-12-29 2015-05-13 财团法人电信技术中心 区域性定位***与方法
US20180211399A1 (en) * 2017-01-26 2018-07-26 Samsung Electronics Co., Ltd. Modeling method and apparatus using three-dimensional (3d) point cloud
CN110706248A (zh) * 2019-08-20 2020-01-17 广东工业大学 一种基于slam的视觉感知建图算法及移动机器人

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104618863A (zh) * 2014-12-29 2015-05-13 财团法人电信技术中心 区域性定位***与方法
US20180211399A1 (en) * 2017-01-26 2018-07-26 Samsung Electronics Co., Ltd. Modeling method and apparatus using three-dimensional (3d) point cloud
CN110706248A (zh) * 2019-08-20 2020-01-17 广东工业大学 一种基于slam的视觉感知建图算法及移动机器人

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
詹文强;陈绪兵;陈凯;王盛兴;余良伟;韩桂荣;: "基于深度相机的机器人室内定位技术研究", 信息通信, no. 01 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113751365A (zh) * 2021-09-28 2021-12-07 西南科技大学 基于双光相机的核废物检测分拣***及方法
CN114199205A (zh) * 2021-11-16 2022-03-18 河北大学 基于改进四叉树orb算法的双目测距方法
CN114199205B (zh) * 2021-11-16 2023-09-05 河北大学 基于改进四叉树orb算法的双目测距方法

Also Published As

Publication number Publication date
CN112017259B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN106651752B (zh) 三维点云数据配准方法及拼接方法
Koch et al. Evaluation of cnn-based single-image depth estimation methods
CN107767400B (zh) 基于层次化显著性分析的遥感图像序列动目标检测方法
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN112801074B (zh) 一种基于交通摄像头的深度图估计方法
Wu et al. Passive measurement method of tree diameter at breast height using a smartphone
CN108171715B (zh) 一种图像分割方法及装置
CN109919975B (zh) 一种基于坐标标定的广域监控运动目标关联方法
CN112132874B (zh) 无标定板异源图像配准方法、装置、电子设备及存储介质
Moussa et al. An automatic procedure for combining digital images and laser scanner data
CN111640158A (zh) 基于对应掩模的端到端的摄像头与激光雷达外参标定方法
CN110006444B (zh) 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法
CN113642463B (zh) 一种视频监控和遥感图像的天地多视图对齐方法
CN112929626A (zh) 一种基于智能手机影像的三维信息提取方法
CN112017259B (zh) 一种基于深度相机与热像仪的室内定位与建图方法
CN113096183A (zh) 一种基于激光雷达与单目相机的障碍物检测与测量方法
CN116188558B (zh) 基于双目视觉的立体摄影测量方法
Peng et al. Binocular-vision-based structure from motion for 3-D reconstruction of plants
Shen et al. Depth map enhancement method based on joint bilateral filter
Paudel et al. 2D-3D camera fusion for visual odometry in outdoor environments
CN117132737A (zh) 一种三维建筑模型构建方法、***及设备
CN116878524A (zh) 一种基于金字塔l-k光流与多视角几何约束的动态slam稠密地图构建方法
CN116128919A (zh) 基于极线约束的多时相图像异动目标检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant