CN110349250A - 一种基于rgbd相机的室内动态场景的三维重建方法 - Google Patents

Abstract

本发明公开了一种基于RGBD相机的室内动态场景的三维重建方法，包括标定RGBD相机、采集场景图像、提取特征点、动态点检测与剔除、利用卷积神经网络和多视图几何法相结合的方式来进行动态点的剔除、再跟踪、***新关键帧、局部地图优化、回环检测等步骤，使用该方法有效的解决了三维重建在动态场景下相机位姿估计不准确以及动态物体重影的问题，本发明对动态区域检测步骤进行了时间上的优化，可以实现实时重建的效果。在TUM的数据集上我们用相机轨迹绝对误差进行衡量，其均方根误差由先前的0.752提高至0.025。

Description

一种基于RGBD相机的室内动态场景的三维重建方法

技术领域

本发明属于三维成像领域，具体的说，是一种基于RGBD相机的室内动态场景的三维重建方法。

背景技术

在近些年的计算机技术的进步，AR、VR技术逐渐成为研究的热点领域之一，在智能家居领域，在虚拟购物领域有着重要的应用，如何有效的重建周围的场景是其中的研究的方向之一。随着人工智能技术的进步，在汽车自动驾驶领域，无人机自主飞行领域同样需要解决周围场景的构建以及自身的定位问题。

SLAM(同时定位与地图构建)技术的出现很好的解决了以上的问题。SLAM***利用搭载于物体上传感器(例如视觉SLAM中的单目、双目相机)来获得外界信息，利用这些信息对自身的位置和姿态进行估计,根据需要构建出地图。

与此同时，近几年深度学习的神经网络在图像识别和分割领域的表现令人惊艳，Alex-Net，Google-Net，VGG，Res-Net等网络不断刷新着目标识别数据集的准确率。因此与深度学习相结合的语义SLAM***有了新的发展。语义SLAM***在对周围场景进行重建的同时能够对场景中的物体进行识别，将其应用在机器人领域可以提高机器人对周围场景的理解与认知，可以为机器人完成更加复杂的任务提供可能。将其应用在自动驾驶领域可以实现主动避障，危险预警等功能，因此语义SLAM有着广阔的应用前景。

传统的SLAM方法很好的解决了静态场景下的定位和建图问题，但是在有动态物体的场景中，这些方法的定位和建图的准确度很差，因为传统的SLAM方法难以区分出动态物体和静态物体，而它们进行相同的处理。但实际上，动态物体提取的特征点与静态背景的特征点运动时不一致的，这会严重影响相机位置的定位，从而影响建图的结果。在实际应用中，消除动态物体也是很有必要的，例如在扫地机器人的路径规划和导航中，如果不能消除人，狗，猫等动态物体，会使机器人的导航路径产生偏差。

本发明解决了SLAM***中在动态场景下轨迹估计不准确，地图重建时产生重影的问题。本发明在SLAM***中加入了卷积神经网络，利用卷积神经网络对物体进行分割，利用先验知识和多视图几何法对动态点进行判断，从而消除了动态点对场景的影响。

发明内容

本发明的目的是针对现有三维重建方法在动态场景下存在的问题提出了一种基于RGBD相机和卷积神经网络的三维重建方法，是利用深度相机和彩色相机对室内场景进行三维重建，利用语义分割的方法消除了动态物体对最终重建效果的影响。

本发明是通过以下技术方案来实现的：

本发明公开了一种基于RGBD相机和卷积神经网络的三维重建方法，三维重建方法所用的装置主要包括RGBD相机，带有GPU的PC机，具体步骤如下：

1)、标定RGBD相机：得到RGBD相机的彩色相机内参值和深度相机的内参值以及深度相机和彩色相机的转移矩阵；

2)、采集场景图像：每一帧包括一张彩色图和深度图，利用RGBD相机的SDK将彩色图与深度图对齐；

3)、提取特征点：利用ORB特征点算法提取出彩色图像中的特征点；

4)、动态点检测与剔除：利用卷积神经网络和多视图几何法相结合的方式来进行动态点的剔除；

5)、再跟踪：在利用多视图几何法进一步剔除动态点后，重新利用速度模型和参考帧模型进行对当前帧位姿进行估计，在得到初始位姿后在局部地图中进行更精确的跟踪；

6)、***新关键帧：判断***新关键帧的依据是，距离上一次***关键帧超过了20帧以上，当前帧追踪到了到的地图点少于50个，当前帧与参考帧的重合比例少于90％；

7)、局部地图优化：对新加入的关键帧、新加入关键帧的所有共视帧及所有共视帧中的地图点进行BA优化；

8)、回环检测：利用当前关键帧的词袋模型判断是否与之前帧构成闭环，若过闭环一致性检，则计算闭环帧之间的相似变换，相邻帧进行闭环矫正。

作为进一步地改进，本发明所述的步骤4)中，动态点检测与剔除包括如下步骤：

a)、图像分割与识别：利用重新训练的SegNet网络(一种基于卷积神经网络的语义分割网络)对彩色图像进行分割，得到每个像素的标签，得到的人和其他动物的区域属于动态区域，其内的特征点属于动态点，对这些动态点进行剔除操作；

b)、跟踪：将当前帧剔除后的特征点和上一帧或者上一个参考帧做特征点匹配，将利用速度模型或参考帧模型估计出当前帧的一个初始位姿；

c)、多视图几何法判断动态点：通过比较某一空间特征点投影到当前帧上深度估计值与该点的深度测量值来进行判断，当其差值大于一定阈值是认为该点为动态点；

d)、对多视图几何法得到动态点，对其在深度图上进行区域生长操作，得到动态区域；

e)、将卷积神经网络和多视图几何法得到的两个动态区域进行融合，融合的具体操作方法是对两个区域取并集。

f)、作为进一步的改进，为了提高检测速度，每5帧进行一次动态区域检测,即每5帧重复以上a)-e)步骤。

作为进一步地改进，本发明所述的步骤c)中的具体判断的原理如下：将空间点X的坐标投影到当前帧上可以获得图像点x′，同时可以估计它的深度信息z_proj,如果一个动态物体对X进行了遮挡，则实际测量得到的深度信息z′会小于z_proj，因此当某个点的′Δz＝z_proj-z′大于某个阈值τ时，将其归类为动态点。

作为进一步地改进，本发明所述的τ值为0.5m。

作为进一步地改进，本发明所述的步骤6)后，步骤7)前还包括如下步骤：送入建图线程，建图线程负责将相机位姿，彩色图，深度图生成点云图。

作为进一步地改进，本发明所述的RGBD相机为Kinect V2(微软第二代3D体感摄影机)。

本发明的有益效果如下：

本发明提出了一种语义分割相结合的三维重建方法，使用该方法有效的解决了三维重建在动态场景下相机位姿估计不准确以及动态物体重影的问题，利用SegNet网络对图像进行分割，利用先验知识排除属于动态区域的点，再利用多视图几何法进一步判断图像中属于动态部分的其他点，最后利用所有静态点进行相机位姿估计和三维场景重建。本发明对动态区域检测步骤进行了时间上的优化，可以实现实时重建的效果。在TUM的数据集上我们用相机轨迹绝对误差进行衡量，其均方根误差由先前的0.752提高至0.025。

附图说明

图1是本发明***的流程示意图；

图2是多视图几何法判断动态点原理示意图。

具体实施方法

本发明公开了一种基于RGBD相机的室内三维重建方法，，着重解决室内场景中的动态物体，装置主要由RGBD相机，带有GPU的PC机组成，RGBD相机为Kinect,图1是本发明***的流程示意图；具体步骤如下：

标定Kinect相机，得到Kinect的彩色相机内参值和深度相机的内参值以及深度相机和彩色相机的转移矩阵。

采集场景图像：每一帧包括一张彩色图和深度图，利用Kinect的SDK将彩色图与深度图对齐。

提取特征点：利用ORB特征点算法提取出彩色图像中的特征点。

动态点剔除：本发明利用卷积神经网络和多视图几何法相结合的方式来进行动态点的剔除。具体方法如下：

1、利用重新训练的SegNet网络对彩色图像进行分割，得到每个像素的标签，得到的人和其他动物的区域属于动态区域，其内的特征点属于动态点，对这些动态点进行剔除操作。

2、跟踪：将当前帧剔除后的特征点和上一帧或者上一个参考帧做特征点匹配，将利用速度模型或参考帧模型估计出当前帧的一个初始位姿

3、多视图几何法判断动态点：通过比较某一空间特征点投影到当前帧上深度估计值与该点的深度测量值来进行判断，当其差值大于一定阈值是认为该点为动态点。

4、对多视图几何法得到动态点，对其在深度图上进行区域生长操作，得到动态区域。

5、将卷积神经网络和多视图几何法得到的两个动态区域进行融合：融合的具体操作方法是对两个区域取并集。

6、为了提高检测速度，每5帧进行一次动态区域检测。

再跟踪：在剔除动态点后，重新利用速度模型和参考帧模型进行对当前帧位姿进行估计，在得到初始位姿后在局部地图中进行更精确的跟踪。

***新关键帧：判断***新关键帧的依据是：距离上一次***关键帧超过了20帧以上，当前帧追踪到了到的地图点少于50个，当前帧与参考帧的重合比例少于90％。

送入建图线程，建图线程负责将相机位姿，彩色图，深度图生成点云图。

局部地图优化：对于新加入的关键帧，找出其共视帧和这些共视帧可以观察到的地图点，进行BA优化。

回环检测：利用当前关键帧的词袋模型判断是否能与之前帧构成闭环，如果通过闭环一致性检，则计算闭环帧之间的相似变换，并对相邻帧进行闭环矫正。

下面通过具体实施例对本发明的技术方案作进一步地说明：

作为一种优选RGBD相机采用了KinectV2，具体步骤如下：

步骤一：使用棋盘格对KinectV2进行标定，通过标定算法得到得到Kinect的彩色相机内参值和深度相机的内参值以及深度相机和彩色相机的转移矩阵R，T；

步骤二：可以手持Kinect或者将Kinect置于移动机器人上，对室内场景进行采集，其中Kinect得到每一帧信息包括一张彩色图和深度图，需要利用Kinect的SDK将彩色图与深度图对齐。

步骤三：对输入的每一帧图像进行跟踪，这一步包含了动态点部分的剔除以及对相机位姿的初始跟踪。

1、提取特征点：利用ORB特征点算法提取出彩色图像中的特征点。

2、动态点检测与剔除：

a)图像分割与识别：利用重新训练的SegNet网络对彩色图像进行分割，得到每个像素的标签，得到的人和其他动物的区域属于动态区域，其内的特征点属于动态点，对这些动态点进行剔除操作。

b)跟踪：将当前帧剔除后的特征点和上一帧或者上一个参考帧做特征点匹配，将利用速度模型或参考帧模型估计出当前帧的一个初始估计位姿

c)多视图几何法判断动态点：图2是多视图几何法判断动态点原理示意图；利用上一步求得的初始估计位姿对特征点进行判断是否属于动态点，具体判断的原理如下：将空间点X的坐标投影到当前帧上可以获得图像点x′，同时可以估计它的深度信息z_proj,如果一个动态物体对X进行了遮挡，则实际测量得到的深度信息z′会小于z_proj，如图2所示。因此当某个点的′Δz＝z_proj-z′大于某个阈值τ时，将其归类为动态点。经过多次实验我们将τ设置为0.5m。

d)对多视图几何法得到动态点，对其在深度图上进行区域生长操作，得到动态区域。

e)将卷积神经网络和多视图几何法得到的两个动态区域进行融合：融合的具体操作方法是对两个区域取并集。

f)为了提高检测速度，每5帧进行一次动态区域检测，对于未进行动态区域检测的帧，需要同已经进行动态区域检测的帧进行特征点匹配。利用匹配后落在动态区域外的特征点进行相机位姿估计。

3、再跟踪：在利用多视图几何法进一步剔除动态点后，重新利用速度模型和参考帧模型进行对当前帧位姿进行估计，在得到初始位姿后在局部地图中进行更精确的跟踪。

4、***新关键帧：判断***新关键帧的依据是：距离上一次***关键帧超过了20帧以上，当前帧追踪到了到的地图点少于50个，当前帧与参考帧的重合比例少于90％。

步骤四：局部地图优化：对新加入的关键帧、新加入关键帧的所有共视帧及所有共视帧中的地图点进行BA优化。

如果设观测方程为z＝h(ξ，p)，这里ξ是相机位姿的李代数表示，p表示路标点的世界坐标，而观测数据z表示像素坐标z＝[u_s，v_s]^T，因此投影误差表示为e＝z-h(ξ，p)，对于BA优化是要将共视帧和共视帧中的地图点考虑进来，因此总的误差项写为

也就是让上述误差项最小，其中e_ij表示在第i个位姿观测第j个特征点的误差。

步骤五：回环检测，利用当前关键帧的词袋模型判断是否与之前帧构成闭环，如果通过闭环一致性检，则计算闭环帧之间的相似变换，相邻帧进行闭环矫正。

本发明最终的重建结果是：可以完整的还原出室内静态场景，并输出室内场景的彩色点云地图，点云地图中有效地消除了人等动态物体产生的残影。

以上所述并非是对本发明的限制，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明实质范围的前提下，还可以做出若干变化、改型、添加或替换，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于RGBD相机和卷积神经网络的三维重建方法，其特征在于，三维重建方法所用的装置主要包括RGBD相机，带有GPU的PC机，具体步骤如下：

1)、标定RGBD相机：得到RGBD相机的彩色相机内参值和深度相机的内参值以及深度相机和彩色相机的转移矩阵；

2)、采集场景图像：每一帧包括一张彩色图和深度图，利用RGBD相机的SDK将彩色图与深度图对齐；

3)、提取特征点：利用ORB特征点算法提取出彩色图像中的特征点；

4)、动态点检测与剔除：利用卷积神经网络和多视图几何法相结合的方式来进行动态点的剔除；

5)、再跟踪：在利用多视图几何法进一步剔除动态点后，重新利用速度模型和参考帧模型进行对当前帧位姿进行估计，在得到初始位姿后在局部地图中进行更精确的跟踪；

6)、***新关键帧：判断***新关键帧的依据是，距离上一次***关键帧超过了20帧以上，当前帧追踪到了到的地图点少于50个，当前帧与参考帧的重合比例少于90％；

7)、局部地图优化：对新加入的关键帧、新加入关键帧的所有共视帧及所有共视帧中的地图点进行BA优化；

8)、回环检测：利用当前关键帧的词袋模型判断是否与之前帧构成闭环，若过闭环一致性检，则计算闭环帧之间的相似变换，相邻帧进行闭环矫正。

2.根据权利要求1所述的基于RGBD相机和卷积神经网络的三维重建方法，其特征在于，所述的步骤4)中，动态点检测与剔除包括如下步骤：

a)、图像分割与识别：利用重新训练的SegNet网络(一种基于卷积神经网络的语义分割网络)；

对彩色图像进行分割，得到每个像素的标签，得到的人和其他动物的区域属于动态区域，其内的特征点属于动态点，对这些动态点进行剔除操作；

b)、跟踪：将当前帧剔除后的特征点和上一帧或者上一个参考帧做特征点匹配，将利用速度模型或参考帧模型估计出当前帧的一个初始位姿；

c)、多视图几何法判断动态点：通过比较某一空间特征点投影到当前帧上深度估计值与该点的深度测量值来进行判断，当其差值大于一定阈值是认为该点为动态点；

d)、对多视图几何法得到动态点，对其在深度图上进行区域生长操作，得到动态区域；

e)、将卷积神经网络和多视图几何法得到的两个动态区域进行融合，融合的具体操作方法是对两个区域取并集。

f)、作为进一步的改进，为了提高检测速度，每5帧进行一次动态区域检测,即每5帧重复以上a)-e)步骤。

3.根据权利要求2所述的基于RGBD相机和卷积神经网络的三维重建方法，其特征在于，所述的步骤c)中的具体判断的原理如下：将空间点X的坐标投影到当前帧上可以获得图像点x′，同时可以估计它的深度信息z_proj,如果一个动态物体对X进行了遮挡，则实际测量得到的深度信息z′会小于z_proj，因此当某个点的′Δz＝z_proj-z′大于某个阈值τ时，将其归类为动态点。

4.根据权利要求3所述的基于RGBD相机和卷积神经网络的三维重建方法，其特征在于，所述的ττ值为0.5m。

5.根据权利要求1所述的基于RGBD相机和卷积神经网络的三维重建方法，其特征在于，所述的步骤6)后，步骤7)前还包括如下步骤：送入建图线程，建图线程负责将相机位姿，彩色图，深度图生成点云图。

6.根据权利要求1或2或3或4或5所述的基于RGBD相机和卷积神经网络的三维重建方法，其特征在于，所述的RGBD相机为KinectV2(微软第二代3D体感摄影机)。