CN112017259A - 一种基于深度相机与热像仪的室内定位与建图方法 - Google Patents
一种基于深度相机与热像仪的室内定位与建图方法 Download PDFInfo
- Publication number
- CN112017259A CN112017259A CN202010876432.4A CN202010876432A CN112017259A CN 112017259 A CN112017259 A CN 112017259A CN 202010876432 A CN202010876432 A CN 202010876432A CN 112017259 A CN112017259 A CN 112017259A
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- human body
- images
- thermal imager
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000010276 construction Methods 0.000 claims abstract description 6
- 238000005457 optimization Methods 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims description 9
- 238000009616 inductively coupled plasma Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000001931 thermography Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004387 environmental modeling Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 239000011810 insulating material Substances 0.000 description 1
- 239000011541 reaction mixture Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明一种基于深度相机与热像仪的室内定位与建图方法,包括以下步骤:步骤一、将深度相机和热像仪固连,并对深度相机和热像仪进行内外参标定;步骤二、使用深度相机和热像仪采集图像,对热像图根据人体区域的灰度值阈值进行处理,得到人体mask图;步骤三、将RGB图像与对应的人体mask图进行融合,得到RGB图像的感兴趣区域;构建相邻帧图像之间的位姿关系,并通过非线性优化算法迭代求解该位姿关系,得到彩色镜头的位姿;步骤四、提取关键帧图像,将与关键帧图像对应的深度图像、人体mask图送入建图线程,构建全局Octomap地图。本发明充分利用热像仪感知温度的特性提取这些动态特征,使得建图时能够有效避开这些动态特征,提高定位与建图的精度。
Description
技术领域
本发明属于机器人智能感知与环境建模技术领域,具体是一种基于深度相机和热像仪的室内定位与建图方法。
背景技术
目前,服务机器人未能得到很好的量产及普及使用,制约其发展的一个重要因素是鲁棒的定位与建图(SLAM)方法。现有的SLAM方法均是基于静态场景的基本假设,即假设机器人所处的空间是静态的,因此提取到的特征均是静态的,利用这些特征进行环境建模与机器人的位姿估计。然而在实际使用环境中,行走的人以及宠物等均为动态对象,当提取到此类特征进行位姿估计时,显然会引起严重的定位误差。
目前虽然有一些方法在解决动态SLAM问题,比如DS-SLAM,但是这些方法大多是基于深度学习的神经网络与辅助算法搭建起来的***;神经网络用于目标检测,从而在算法层面剔除掉动态对象特征,神经网络采用彩色图提取特征,存在漏检、误检的情况;而辅助算法则可以对神经网络的漏检、误检情况进行补偿,但是这种方法复杂,而且计算量大,需要强有力的GPU加速才能实现实时处理,成本高,适用性较低。
发明内容
针对现有技术的不足,本发明拟解决的技术问题是,提供一种基于深度相机和热像仪的室内定位与建图方法。
本发明解决所述技术问题采用的技术方案是:
一种基于深度相机与热像仪的室内定位与建图方法,其特征在于,包括以下步骤:
步骤一、将深度相机和热像仪固连,并对深度相机和热像仪进行内外参标定,使得同一视野的RGB图像、深度图像与热像图逐像素配准;
步骤二、使用深度相机和热像仪采集图像,得到连续的RGB图像、深度图像与热像图,并对热像图根据人体区域的灰度值阈值进行处理,得到人体mask图;
步骤三、将RGB图像与对应的人体mask图进行融合,得到RGB图像的感兴趣区域,并对感兴趣区域进行特征提取;构建相邻帧图像之间的位姿关系,并通过非线性优化算法迭代求解该位姿关系,得到彩色镜头的位姿;
步骤四、提取关键帧图像,将与关键帧图像对应的深度图像、人体mask图送入建图线程,构建全局Octomap地图。
步骤三的具体操作过程是:
3-1根据人体mask图,设定对应的RGB图像的感兴趣区域为人体范围之外的区域;采用ORB特征提取算法对RGB图像的感兴趣区域进行特征提取,并得到感兴趣区域的ORB特征;然后将下一帧图像的ORB特征与上一帧图像的ORB特征进行特征匹配,并剔除误匹配,得到一组相匹配的优质特征点,并将得到的优质特征点存入局部特征图中;
3-2从对应的深度图像上获取每帧图像的优质特征点的深度值,并计算这些优质特征点的3D点云,同时得到上一帧图像与下一帧图像相匹配的一组特征3D点云;然后利用ICP算法进行相邻两帧图像之间的位姿估计;相邻两帧图像的任意两个匹配的特征3D点之间的位姿变换关系为R、t,R和t分别表示两个匹配的特征3D点之间的旋转和平移,且满足公式(4);
利用彩色镜头的位姿构建如公式(5)的最小二乘损失函数,并通过不断迭代求解得到使公式(5)达到极小值时的R、t,此时R、t即为下一帧图像对应的彩色镜头的位姿;
步骤四的具体操作过程是:
4-1将步骤二采集的所有RGB图像都通过步骤三的操作进行位姿估计,从完成位姿估计的RGB图像中提取关键帧图像;将关键帧图像对应的深度图像和人体mask图进行融合,并根据人体mask图将深度图像上人体范围内的深度值置为0,得到滤除人体后的深度图像;
4-2遍历关键帧图像的所有像素点,假定某个像素点k在彩色镜头坐标系下的坐标为在世界坐标系下的坐标为根据公式(6)将像素点k在彩色镜头坐标系下的坐标转换为世界坐标下的坐标,用于构建全局Octomap地图;
4-3从关键帧图像对应的滤除人体后的深度图像上观测所有像素点的深度值,并根据像素点的深度值判定该像素点对应的空间点是否被占据,得到关键帧对应的局部Octomap地图;对所有的局部Octomap地图进行拼接,完成全局Octomap地图的构建;在机器人行走过程中,利用彩色镜头、深度镜头以及热像仪采集的数据,实时更新整个全局Octomap地图。
步骤二的具体操作过程是:
对热像图进行处理,确定人体所处像素范围的灰度值范围,并以这个灰度值范围作为图像二值化的阈值;遍历热像图上的所有像素点,将阈值范围内的像素点的灰度值置为255,其余像素点的灰度值置为0,得到二值图像;然后对二值图像进行滤波处理,再使用OpenCV库对人体区域放大至1.05倍,得到人体mask图。
与现有技术相比,本发明有益效果在于:
(1)目前热像仪通常都运用在人像分割、工程检测等目标检测领域,本发明将热像仪应用在定位与建图领域,由于场景中的动态特征主要是人,而人与其他场景特征存在明显的温度差异,本发明充分利用热像仪感知温度的特性提取这些动态特征,从而使得建图时能够有效避开这些动态特征,提高建图的精度,同时也为定位和建图提供了一种新思路。
(2)本发明将RGB图像、深度图像和热像图这三种模态数据进行结合,实现了图像数据之间的互补;由于直接采用RGB图像进行人体检测,容易出现漏检、误检等情况,而热像图对人体敏感,且成像稳定,不存在漏检的情况,有助于RGB图像分割人体从而提取感兴趣区域;深度图像则为RGB图像提供深度信息,有助于构建地图。
(3)本发明根据人体mask图将RGB图像的感兴趣区域设为人体范围之外的区域,仅对感兴趣区域进行特征提取,这将有效地避开人体对机器人定位的干扰,仅利用静态特征来求解彩色镜头的位姿,使得定位更加精准;除此之外,在建图时将关键帧图像对应的深度图像和人体mask图进行融合,将深度图像中人体区域的深度值置为0,这就意味着观测到人体区域内的空间点始终未被占据,人体不会出现的地图上,如此能够达到对人体视而不见的效果,在建图时就可以忽略人体,使得建图更加准确。
(4)本发明对于图像的操作均是对像素值的修改,操作简单,计算量小,处理速度较快,能够实时完成定位与建图,同时有助于移植到家庭室内服务机器人平台等轻量级计算平台上。
(5)本发明的Octomap地图采用概率对数值表示像素点是否被占据,有助于实时更新地图,而且存储量较小。
附图说明
图1为本发明的整体流程图;
图2(a)为本发明采集的深度图像示例;
图2(b)为本发明采集的热像图示例;
图3为本发明的图2(b)经过处理后得到的人体mask图示例;
图4为本发明的图2(a)经过处理后得到的滤除人体后的深度图像示例。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步说明。
本发明提供了一种基于深度相机与热像仪的室内定位与建图方法(简称方法,参见图1-4),包括以下步骤:
步骤一、首先将深度相机和热像仪固连,使深度相机和热像仪包含大部分共同视野,再将深度相机和热像仪一起固定在机器人上;并对深度相机和热像仪进行内外参标定,使得同一视野的RGB图像、深度图像与热像图逐像素配准;
深度相机(型号为Kinect v2)上设有彩色镜头和深度镜头,能够获取场景的彩色图像和深度图像;彩色图像用于获取场景的颜色信息和提取特征;深度图像用于获取图像上每个像素点的深度值,构建3D点云;热像仪(型号为FLIR T1040)用于获取场景的热像图,热像图用于人体定位,便于确定RGB图像上的感兴趣区域;
1-1采用棋盘格,通过张正友标定算法对深度镜头、彩色镜头和热像仪进行内参标定,并获得深度镜头、彩色镜头和热像仪的内参矩阵;
使用隔热材料做成棋盘格,将棋盘格上的黑色方格去掉形成镂空区域,并将去掉黑色方格的棋盘格粘贴至黑色标定板上,形成棋盘格标定板;将棋盘格标定板放置在场景内,并将深度镜头、彩色镜头和热像仪的镜头对准棋盘格标定板;
取棋盘格标定板上的一点M,点M在空间中的坐标均满足公式(1);
根据公式(1)计算得到深度镜头的内参矩阵KD,此时Q取D;同时根据公式(1)计算得到彩色镜头的内参矩阵KC,此时Q取C;
对棋盘格标定板进行加热升温,在热像图中找到点M,并根据公式(1)计算得到热像仪的内参矩阵KT,此时Q取T;至此完成所有的内参标定工作;
1-2对深度镜头、彩色镜头和热像仪进行外参标定,获得深度镜头与彩色镜头、深度镜头与热像仪之间的空间位置关系,方便进行RGB图像、深度图像以及热像图的逐像素配准;
根据点M在深度镜头成像平面上的投影点的坐标和深度镜头的内参矩阵KD,按照公式(1)计算得到点M在深度镜头坐标系下坐标的此时Q取D,q取d;点M在彩色镜头成像平面上的投影点的坐标和彩色镜头的内参矩阵KC,按照公式(1)计算得到点M在彩色镜头坐标系下的坐标此时Q取C,q取c;然后利用公式(2)计算深度镜头与彩色镜头之间的空间位置关系[RCD,tCD],完成深度镜头与彩色镜头之间的外参标定;
式中,RCD和tCD分别表示深度镜头坐标系相对于彩色镜头坐标系的旋转和平移;
根据点M在热像仪成像平面上的投影点的坐标和热像仪的内参矩阵KT,按照公式(1)得到点M在热像仪坐标系下的坐标为此时Q取T,q取t;并利用公式(3)计算得到深度镜头与热像仪之间的空间位置关系[RTD,tTD],完成深度镜头与热像仪之间的外参标定,至此完成所有的外参标定工作;
式中,RTD和tTD分别表示热像仪坐标系相对于深度镜头坐标系的旋转和平移;
1-3对RGB图像、深度图像与热像图进行逐像素配准;
使用深度相机采集一张深度图像,并计算深度图像的3D点云,然后根据步骤1-2得到的深度镜头与彩色镜头之间的空间位置关系[RCD,tCD]以及深度镜头与热像仪之间的空间位置关系[RTD,tTD],将深度图像的3D点云分别转换到彩色镜头坐标系下和热像仪坐标系下的3D点云,从而得到与深度图像对应的RGB图像和热像图,完成三种图像在空间上的逐像素配准;
步骤二、使用深度相机和热像仪采集图像,得到连续的RGB图像、深度图像与热像图,并对热像图根据灰度值阈值进行二值化处理,得到人体mask图;
使用深度相机和热像仪分别以30FPS帧率采集1280x 720分辨率的场景图像,获取实时的场景信息,并形成连续的图像;
对热像图进行处理,确定人体所处像素范围的灰度值范围,并以这个灰度值范围作为图像二值化的阈值,灰度值范围为(130,231);遍历热像图上的所有像素点,将阈值内的像素点的灰度值置为255,其余像素点的灰度值置为0,得到二值图像;然后使用高斯牛顿法对二值图像进行滤波处理,去除噪声;最后使用OpenCV库对人体区域放大至1.05倍,以确保二值图像中的白色区域略大于实际人体范围,进而得到人体mask图;重复此步骤,直到处理完所有帧热像图,得到各帧图像对应的人体mask图;
步骤三、将RGB图像与对应的人体mask图进行融合,首先将人体mask图进行颜色取反,即黑色区域变为白色区域,白色区域变为黑色区域,然后将取反得到的人体mask图与对应的RGB图像进行逻辑与操作,得到RGB图像的感兴趣区域,完成图像融合;使用ORB特征提取算法对感兴趣区域进行特征提取;利用ICP算法构建相邻帧图像之间的位姿关系,并通过非线性优化算法迭代求解该位姿关系,得到彩色镜头的位姿,完成机器人的定位;
3-1根据人体mask图,设定对应的RGB图像的感兴趣区域(ROI)为人体范围之外的区域;采用ORB特征提取算法对RGB图像的感兴趣区域进行特征提取,并得到感兴趣区域的ORB特征;此处避开了动态特征,以排除动态对象对定位的干扰,仅利用静态特征来求解彩色镜头的位姿;然后将下一帧图像的ORB特征与上一帧图像的ORB特征进行特征匹配,并使用RANSAC算法剔除误匹配,得到一组相匹配的优质特征点,并将得到的优质特征点存入局部特征图中;每一帧RGB图像都得到一组优质特征点,每处理一帧RGB图像都将得到的优质特征点加入局部特征图中,用于下一帧RGB图像的特征匹配;重复此操作,直到处理完所有帧RGB图像,全局特征图也随完成;
3-2从对应的深度图像上获取每帧图像的优质特征点的深度值,并计算这些优质特征点的3D点云,同时得到上一帧图像与下一帧图像相匹配的一组特征3D点云;然后利用ICP算法进行相邻两帧图像之间的位姿估计,记上一帧图像的一组特征3D点为 下一帧图像与上一帧图像相匹配的一组特征3D点 j∈n,且n为匹配到的特征对数;相邻两帧图像的任意两个匹配的特征3D点之间的位姿变换关系为R、t,R和t分别表示两个匹配的特征3D点之间的旋转和平移,且满足公式(4);
采用非线性优化算法迭代求解彩色镜头的位姿R、t,即利用彩色镜头的位姿构建如公式(5)的最小二乘损失函数,并通过不断迭代求解得到使公式(5)达到极小值时的R、t,表示匹配误差最小,此时R、t即为下一帧图像对应的彩色镜头的位姿;
式(5)和(6)中,分别表示上一帧图像中的任意一个特征3D点的坐标以及下一帧图像与上一帧图像的相匹配的特征3D点的坐标;表示根据上一帧图像对应的彩色镜头的位姿估计到的下一帧图像中的点;估计的点与实际匹配点之间有误差,通过非线性优化算法不断调整R,t,使得这个误差最小;
步骤四、提取关键帧图像,将与关键帧图像对应的深度图像、人体mask图送入建图线程,构建全局Octomap地图;
4-1将步骤二采集的所有RGB图像都通过步骤三的操作进行位姿估计,设定关键帧图像提取的时间阈值,并根据时间阈值从完成位姿估计的RGB图像中提取关键帧图像;将关键帧图像对应的深度图像和人体mask图进行融合,并根据人体mask图将深度图像上人体范围内的深度值置为0,得到滤除人体后的深度图像;依次处理完所有的关键帧图像,得到各个关键帧图像对应的滤除人体后的深度图像;
4-2遍历关键帧图像的所有像素点,假定某个像素点k在彩色镜头坐标系下的坐标为在世界坐标系下的坐标为根据公式(6)将像素点k在彩色镜头坐标系下的坐标转换为世界坐标下的坐标,用于构建全局Octomap地图;
4-3从关键帧图像对应的滤除人体后的深度图像上观测所有像素点的深度值,并根据像素点的深度值判定该像素点对应的空间点是否被占据,完成全局Octomap地图的构建;
Octomap地图采用概率对数值动态实时更新某个像素点是否被占据,当观测到某个像素点被占据时,增加该像素点的概率对数值,否则降低该像素点的概率对数值;以实数x表示概率对数值,y∈[0,1]表示某像素点被占据的概率,概率对数值x越大,则对应的概率y越高,表明该像素点被占据的可能性越高,x、y之间的变换由logit变换描述:
对公式(7)进行反变换得到:
观测关键帧图像对应的滤除人体后的深度图像上所有像素点的深度值,当观测到某个像素点有深度值,则表示这个像素点对应的空间点被占据,说明从彩色镜头的中心到这个空间点之间的线段没有被遮挡,该空间点处没有障碍物;重复此步骤,直到观测完所有的滤除人体后的深度图像,得到所有关键帧对应的局部Octomap地图,对所有的局部Octomap地图进行拼接,以完成全局Octomap地图的构建;在机器人行走过程中,利用彩色镜头、深度镜头以及热像仪采集的数据,根据公式(8)实时更新整个全局Octomap地图。
由图2(a)可知,人体轮廓周围存在与人体深度值相当的其他场景特征,因此直接从这张深度图像上观测人体,容易导致结果不准确,不能进行精确的位姿估计;图4是将图2(a)与对应的人体mask图进行融合,并根据人体mask图将深度图像上人体范围内的深度值置为0,得到滤除人体后的深度图像,因此从图4上观测人体区域的深度值始终为0,说明人体区域内的空间点未被占据,因此建图时就不会将人体显示在地图上,如此能够达到对人体视而不见的效果,从而达到了在地图中去除动态特征的目的,提高了建图准确度。
本发明未述及之处适用于现有技术。
Claims (4)
1.一种基于深度相机与热像仪的室内定位与建图方法,其特征在于,包括以下步骤:
步骤一、将深度相机和热像仪固连,并对深度相机和热像仪进行内外参标定,使得同一视野的RGB图像、深度图像与热像图逐像素配准;
步骤二、使用深度相机和热像仪采集图像,得到连续的RGB图像、深度图像与热像图,并对热像图根据人体区域的灰度值阈值进行处理,得到人体mask图;
步骤三、将RGB图像与对应的人体mask图进行融合,得到RGB图像的感兴趣区域,并对感兴趣区域进行特征提取;构建相邻帧图像之间的位姿关系,并通过非线性优化算法迭代求解该位姿关系,得到彩色镜头的位姿;
步骤四、提取关键帧图像,将与关键帧图像对应的深度图像、人体mask图送入建图线程,构建全局Octomap地图。
2.根据权利要求1所述的基于深度相机与热像仪的室内定位与建图方法,其特征在于,步骤三的具体操作过程是:
3-1根据人体mask图,设定对应的RGB图像的感兴趣区域为人体范围之外的区域;采用ORB特征提取算法对RGB图像的感兴趣区域进行特征提取,并得到感兴趣区域的ORB特征;然后将下一帧图像的ORB特征与上一帧图像的ORB特征进行特征匹配,并剔除误匹配,得到一组相匹配的优质特征点,并将得到的优质特征点存入局部特征图中;
3-2从对应的深度图像上获取每帧图像的优质特征点的深度值,并计算这些优质特征点的3D点云,同时得到上一帧图像与下一帧图像相匹配的一组特征3D点云;然后利用ICP算法进行相邻两帧图像之间的位姿估计;相邻两帧图像的任意两个匹配的特征3D点之间的位姿变换关系为R、t,R和t分别表示两个匹配的特征3D点之间的旋转和平移,且满足公式(4);
利用彩色镜头的位姿构建如公式(5)的最小二乘损失函数,并通过不断迭代求解得到使公式(5)达到极小值时的R、t,此时R、t即为下一帧图像对应的彩色镜头的位姿;
3.根据权利要求1所述的基于深度相机与热像仪的室内定位与建图方法,其特征在于,步骤四的具体操作过程是:
4-1将步骤二采集的所有RGB图像都通过步骤三的操作进行位姿估计,从完成位姿估计的RGB图像中提取关键帧图像;将关键帧图像对应的深度图像和人体mask图进行融合,并根据人体mask图将深度图像上人体范围内的深度值置为0,得到滤除人体后的深度图像;
4-2遍历关键帧图像的所有像素点,假定某个像素点k在彩色镜头坐标系下的坐标为在世界坐标系下的坐标为根据公式(6)将像素点k在彩色镜头坐标系下的坐标转换为世界坐标下的坐标,用于构建全局Octomap地图;
4-3从关键帧图像对应的滤除人体后的深度图像上观测所有像素点的深度值,并根据像素点的深度值判定该像素点对应的空间点是否被占据,得到关键帧对应的局部Octomap地图;对所有的局部Octomap地图进行拼接,完成全局Octomap地图的构建;在机器人行走过程中,利用彩色镜头、深度镜头以及热像仪采集的数据,实时更新整个全局Octomap地图。
4.根据权利要求1所述的基于深度相机与热像仪的室内定位与建图方法,其特征在于,步骤二的具体操作过程是:
对热像图进行处理,确定人体所处像素范围的灰度值范围,并以这个灰度值范围作为图像二值化的阈值;遍历热像图上的所有像素点,将阈值内的像素点的灰度值置为255,其余像素点的灰度值置为0,得到二值图像;然后对二值图像进行滤波处理,再使用OpenCV库对人体区域放大至1.05倍,得到人体mask图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010876432.4A CN112017259B (zh) | 2020-08-27 | 2020-08-27 | 一种基于深度相机与热像仪的室内定位与建图方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010876432.4A CN112017259B (zh) | 2020-08-27 | 2020-08-27 | 一种基于深度相机与热像仪的室内定位与建图方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112017259A true CN112017259A (zh) | 2020-12-01 |
CN112017259B CN112017259B (zh) | 2023-08-01 |
Family
ID=73503686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010876432.4A Active CN112017259B (zh) | 2020-08-27 | 2020-08-27 | 一种基于深度相机与热像仪的室内定位与建图方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112017259B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113751365A (zh) * | 2021-09-28 | 2021-12-07 | 西南科技大学 | 基于双光相机的核废物检测分拣***及方法 |
CN114199205A (zh) * | 2021-11-16 | 2022-03-18 | 河北大学 | 基于改进四叉树orb算法的双目测距方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104618863A (zh) * | 2014-12-29 | 2015-05-13 | 财团法人电信技术中心 | 区域性定位***与方法 |
US20180211399A1 (en) * | 2017-01-26 | 2018-07-26 | Samsung Electronics Co., Ltd. | Modeling method and apparatus using three-dimensional (3d) point cloud |
CN110706248A (zh) * | 2019-08-20 | 2020-01-17 | 广东工业大学 | 一种基于slam的视觉感知建图算法及移动机器人 |
-
2020
- 2020-08-27 CN CN202010876432.4A patent/CN112017259B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104618863A (zh) * | 2014-12-29 | 2015-05-13 | 财团法人电信技术中心 | 区域性定位***与方法 |
US20180211399A1 (en) * | 2017-01-26 | 2018-07-26 | Samsung Electronics Co., Ltd. | Modeling method and apparatus using three-dimensional (3d) point cloud |
CN110706248A (zh) * | 2019-08-20 | 2020-01-17 | 广东工业大学 | 一种基于slam的视觉感知建图算法及移动机器人 |
Non-Patent Citations (1)
Title |
---|
詹文强;陈绪兵;陈凯;王盛兴;余良伟;韩桂荣;: "基于深度相机的机器人室内定位技术研究", 信息通信, no. 01 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113751365A (zh) * | 2021-09-28 | 2021-12-07 | 西南科技大学 | 基于双光相机的核废物检测分拣***及方法 |
CN114199205A (zh) * | 2021-11-16 | 2022-03-18 | 河北大学 | 基于改进四叉树orb算法的双目测距方法 |
CN114199205B (zh) * | 2021-11-16 | 2023-09-05 | 河北大学 | 基于改进四叉树orb算法的双目测距方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112017259B (zh) | 2023-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
CN106651752B (zh) | 三维点云数据配准方法及拼接方法 | |
Koch et al. | Evaluation of cnn-based single-image depth estimation methods | |
CN107767400B (zh) | 基于层次化显著性分析的遥感图像序列动目标检测方法 | |
CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
CN112801074B (zh) | 一种基于交通摄像头的深度图估计方法 | |
Wu et al. | Passive measurement method of tree diameter at breast height using a smartphone | |
CN108171715B (zh) | 一种图像分割方法及装置 | |
CN109919975B (zh) | 一种基于坐标标定的广域监控运动目标关联方法 | |
CN112132874B (zh) | 无标定板异源图像配准方法、装置、电子设备及存储介质 | |
Moussa et al. | An automatic procedure for combining digital images and laser scanner data | |
CN111640158A (zh) | 基于对应掩模的端到端的摄像头与激光雷达外参标定方法 | |
CN110006444B (zh) | 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法 | |
CN113642463B (zh) | 一种视频监控和遥感图像的天地多视图对齐方法 | |
CN112929626A (zh) | 一种基于智能手机影像的三维信息提取方法 | |
CN112017259B (zh) | 一种基于深度相机与热像仪的室内定位与建图方法 | |
CN113096183A (zh) | 一种基于激光雷达与单目相机的障碍物检测与测量方法 | |
CN116188558B (zh) | 基于双目视觉的立体摄影测量方法 | |
Peng et al. | Binocular-vision-based structure from motion for 3-D reconstruction of plants | |
Shen et al. | Depth map enhancement method based on joint bilateral filter | |
Paudel et al. | 2D-3D camera fusion for visual odometry in outdoor environments | |
CN117132737A (zh) | 一种三维建筑模型构建方法、***及设备 | |
CN116878524A (zh) | 一种基于金字塔l-k光流与多视角几何约束的动态slam稠密地图构建方法 | |
CN116128919A (zh) | 基于极线约束的多时相图像异动目标检测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |