CN106548519A - 基于orb‑slam和深度相机的真实感的增强现实方法 - Google Patents

Abstract

一种基于ORB SLAM和深度相机的真实感的增强现实方法，包括以下步骤：1)、利用Marker‑less技术确定初始坐标平面，并初始化具有真实尺度的slam坐标系；2)、导入地图，根据提取的特征点，将直接表示的地图和特征地图相结合；3)、单目SLAM构建真实尺度地图，并保存地图；4)、在场景中放置虚拟物体，并通过三维引擎计算虚拟物体和相机之间的距离；5)、利用深度相机，获取场景深度数据；根据三维引擎中获得的虚拟物体距离数据进行深度融合，从而达到遮挡的效果，让真实的物体和虚拟模型直接具有很强的交互感。本发明具有很强的鲁棒性、实现真实物体和虚拟数据能够遮挡交互。

Description

基于ORB-SLAM和深度相机的真实感的增强现实方法

技术领域

本发明属于将SLAM感知环境信息技术与深度相机获取场景三维信息技术融合到AR(Augmented Reality，增强现实)技术领域，涉及一种真实感的增强现实方法。

背景技术

SLAM(simultaneous localization and mapping，即时定位与地图构建)指的是机器人在自身位置不确定的条件下，在完全未知环境中创建地图，同时利用地图进行自主定位和导航。ORB-SLAM(a real-time accurate monocular SLAM system based on ORBfeatures，基于ORB特征点的SLAM***)，ORB指的是一种旋转不变性特征，整个算法均是基于ORB特征实现的，最新的ORB-SLAM的进展是基于ORB-SLAM的关键帧做了半稠密场景重建。增强现实是通过计算机***提供的信息应用到真实世界，并将计算机生成的虚拟物体、场景或***提示信息叠加到真实场景中，从而实现对现实的增强。AR技术可应用于医疗、军事、工业维修、游戏娱乐等诸多领域。

目前基于SLAM技术开发的代表性产品有微软的Hololens和谷歌的ProjectTango。微软的HoloLens使用了AR技术，在现实世界中叠加一层虚拟影像。近期风靡全球的Pokemon Go游戏，展现了AR技术在游戏应用中的广阔市场，也从另外一个角度诠释了SLAM技术在未来游戏中的重要性。随着AR概念的普及以及相关的需求逐渐明晰，SLAM算法已经被认为是AR技术中理解现实世界的最优选择之一，越来越多的AR应用将SLAM类算法的表现作为评价的重要参考指标。

然而目前AR***中虚实结合方面仍存在一定的缺陷，主要表现在虚拟物体无法很好的融合到真实场景中。由于AR***通过相机看到的真实场景往往都是通过二维视频进行展现，三维虚拟物体永远放置在视频前面。即使用户想让三维虚拟物体存在与二维视频中两个真实物体之间，但是当这真实物体与虚拟物体之间存在其它物体时，用户仍然会感觉到虚拟物体漂浮在真实场景之外。造成这种现象的主要原因是由于在实际物***于虚拟模型之前时，无法实现遮挡虚拟模型的功能。

发明内容

为了克服现有AR技术不能准确计算物体三维信息，导致遮挡物体不能被正确的理解和构造、鲁棒性较差的不足，本发明提供一种鲁棒性较好的基于ORB-SLAM和深度相机的真实感的增强现实方法，靠SLAM感知物体的三维环境，深度相机获取场景距离信息，将真实物体与虚拟模型深度融合，达到像人眼一样的“视差”效果，使得姿态识别、视角跟踪、场景重建更加的精确，从而实现真实物体能够遮挡虚拟模型的功能。

本发明解决其技术问题所采用的技术方案是：

一种基于ORB-SLAM和深度相机的真实感的增强现实方法，所述方法包括以下步骤：

1)、利用Marker-less(一种基于少量标记的增强现实技术)技术确定初始坐标平面，并初始化具有真实尺度的slam坐标系；Marker-less通过先提取orb特征点，利用knnmatch(K最近邻匹配算法)进行匹配，求得单应矩阵，再根据透视变换，求得四个顶点的坐标，再求得旋转平移矩阵；

2)、导入地图，根据提取的特征点，将直接表示的地图和特征地图相结合。进行SLAM定位导航，把真实相机位置和姿态传给三维引擎中虚拟相机的位置和姿态；

3)、单目SLAM构建真实尺度地图，并保存地图；

4)、在场景中放置虚拟物体，并通过三维引擎计算虚拟物体和相机之间的距离；

5)、利用深度相机，获取场景深度数据；根据三维引擎中获得的虚拟物体距离数据进行深度融合，从而达到遮挡的效果，让真实的物体和虚拟模型直接具有很强的交互感。

进一步，所述步骤1)中，Marker-less是一个四边形，多边形近似结果满足以下条件：

1.1)只有四个顶点；

1.2)一定是凸多边形；

1.3)每一个边的长度不能过小。

1.4)因为marker图片的尺度可以事先得知，那么利用他的真实尺寸使得slam构建的坐标系具有真实的尺度；

通过以上条件，排除大部分轮廓，找到最有可能为Marker-less的部分，找到这样的候选轮廓后，将它的多边形四个顶点保存下来，并做调整，然后从这些候选区域中进一步筛选出真正的Marker-less，要对候选区进行透视变换，得到Marker-less的正视图；

得到四个顶点的坐标后，根据公式x＝K[R|T]X求得旋转平移矩阵，其中：X是空间某点的坐标，该坐标相对于世界坐标系，[R|T]是摄像机外参矩阵，用于将某点的世界坐标变换为摄像机坐标，K是摄像机内参，用于将摄像机坐标中的某点投影的像平面上，x即为投影后的像素坐标。

再进一步，所述步骤3)中，通过摄像头感知环境，对获得的信息进行分析，提取环境中的特征并保存，建立环境地图，即通过概率统计的方法，通过多特征匹配来达到定位。

更进一步，所述步骤4)中，通过Unity3D三维引擎计算三维虚拟物体与相机之间的实时深度信息。

所述步骤5)中，数据融合过程如下：

5.1)利用深度相机获取当前帧的真实深度数据；

5.2)因为slam计算得到真实尺度的坐标系，应用到三维引擎后，三维引擎的虚拟坐标系能够和真实世界的坐标系比较好的重合，从而得到的虚拟相机的深度数据也具有真实的尺度；

5.3)将真实的深度数据和虚拟的深度数据进行一个深度比较，深度值在模型前面的点所对应的彩色图的点就渲染到模型前面，而深度值在模型后面的点所对应的彩色图的点就渲染到模型后面。

本发明的有益效果主要表现在：具有很强的鲁棒性，可以很好地处理剧烈运动图像、有比较大的余地自由处理闭环控制、重定位、甚至全自动位置初始化；结合深度相机，将相机获取的真实数据与三维引擎中获得的虚拟深度数据进行深度融合，实现真实物体和虚拟数据能够遮挡交互，使得AR场景有更加真实的体验和运用。

具体实施方式

下面对本发明作进一步描述。

一种基于ORB-SLAM和深度相机的真实感的增强现实方法，包括以下步骤：

1)利用Marker-less技术确定初始坐标平面，提取ORB特征点，求得旋转平移矩阵，并初始化具有真实尺度的slam坐标系。

由于Marker-less是一个四边形，其多边形近似结果应该满足以下条件：

1.1)只有四个顶点；

1.2)一定是凸多边形；

1.3)每一个边的长度不能过小。

1.4)因为marker图片的尺度可以事先得知，那么就可以利用他的真实尺寸使得slam构建的坐标系具有真实的尺度。

通过以上几个条件，可以排除大部分轮廓，从而找到最有可能为Marker-less的部分，找到这样的候选轮廓后，将它的多边形四个顶点保存下来，并做适当的调整，然后从这些候选区域中进一步筛选出真正的Marker-less。为了方便提取Marker-less中的信息，要对候选区进行透视变换，得到Marker-less的正视图。

知道四个顶点的坐标，根据公式x＝K[R|T]X求得旋转平移矩阵。其中：X是空间某点的坐标(相对于世界坐标系)，[R|T]是摄像机外参矩阵，用于将某点的世界坐标变换为摄像机坐标，K是摄像机内参，用于将摄像机坐标中的某点投影的像平面上，x即为投影后的像素坐标；

2)SLAM定位导航。

根据提取的特征点，将直接表示的地图与构建的特征地图相结合，在构建环境的同时估计相机的轨迹，把真实相机位置和姿态传给三维引擎中虚拟相机的位置和姿态；

3)单目SLAM构建真实尺度地图。

通过视觉(摄像头)感知环境，对获得的信息进行分析，提取环境中的特征并保存，建立环境地图。SLAM的基本原理是通过概率统计的方法，通过多特征匹配来达到定位和减少定位误差。视觉SLAM方法通过观测模型及完成准确的帧间运动参数估计，降低了算法高复杂度的限制要求；

4)根据设计需求，将三维虚拟物体放置在合适位置，通常是放置在第三步所确定的平面位置。通过Unity3D三维引擎计算三维虚拟物体与相机之间的实时深度信息。可以通过函数“UNITY_SAMPLE_DEPTH”获取深度信息，但是此深度信息是非线性深度信息，不能直接与真实场景深度信息融合，还需要通过处理获得虚拟物体线性深度。过程伪代码如下：

4.1)通过_DepthPower设定非线性深度转换到线性深度的参数；

4.2)使用函数UNITY_SAMPLE_DEPTH计算虚拟物体的非线性深度d；

4.3)使用函数pow和4.1)中参数将d转换为线性深度；

5)利用深度相机，将深度数据映射到真实环境中，达到虚拟物体与真实物体相互遮挡的效果。

深度相机能够快速完成对目标的识别与追踪，可通过距离信息获取物体之间更加丰富的位置关系，即区分前景与后景，实时获取场景中深度数据。然后在三维引擎中获得的虚拟物体深度数据与相机获取的场景深度数据进行融合，实现虚拟物体与真实物体之间相互遮挡的效果，从而使得AR场景具有更强的真实感。

数据融合步骤：

5.1)利用深度相机获取当前帧的真实深度数据；

5.2)因为slam计算得到真实尺度的坐标系，应用到三维引擎后，三维引擎的虚拟坐标系能够和真实世界的坐标系比较好的重合，从而得到的虚拟相机的深度数据也具有真实的尺度；

5.3)将真实的深度数据和虚拟的深度数据进行一个深度比较，深度值在模型前面的点所对应的彩色图的点就渲染到模型前面，而深度值在模型后面的点所对应的彩色图的点就渲染到模型后面。

Claims (5)

1.一种基于ORB SLAM和深度相机的真实感的增强现实方法，其特征在于：所述方法包括以下步骤：

1)、利用Marker-less技术确定初始坐标平面，并初始化具有真实尺度的slam坐标系；Marker-less通过先提取orb特征点，利用knnmatch进行匹配，求得单应矩阵，再根据透视变换，求得四个顶点的坐标，再求得旋转平移矩阵；

2)、导入地图，根据提取的特征点，将直接表示的地图和特征地图相结合，进行SLAM定位导航，把真实相机位置和姿态传给三维引擎中虚拟相机的位置和姿态；

3)、单目SLAM构建真实尺度地图，并保存地图；

4)、在场景中放置虚拟物体，并通过三维引擎计算虚拟物体和相机之间的距离；

5)、利用深度相机，获取场景深度数据；根据三维引擎中获得的虚拟物体距离数据进行深度融合，从而达到遮挡的效果，让真实的物体和虚拟模型直接具有很强的交互感。

2.如权利要求1所述的基于ORB SLAM和深度相机的真实感的增强现实方法，其特征在于：所述步骤1)中，Marker-less是一个四边形，多边形近似结果满足以下条件：

1.1)只有四个顶点；

1.2)一定是凸多边形；

1.3)每一个边的长度不能过小；

1.4)因为marker图片的尺度可以事先得知，那么利用他的真实尺寸使得slam构建的坐标系具有真实的尺度；

通过以上条件，排除大部分轮廓，找到最有可能为Marker-less的部分，找到这样的候选轮廓后，将它的多边形四个顶点保存下来，并做调整，然后从这些候选区域中进一步筛选出真正的Marker-less，要对候选区进行透视变换，得到Marker-less的正视图；

得到四个顶点的坐标后，根据公式x＝K[R|T]X求得旋转平移矩阵，其中：X是空间某点的坐标，该坐标相对于世界坐标系，[R|T]是摄像机外参矩阵，用于将某点的世界坐标变换为摄像机坐标，K是摄像机内参，用于将摄像机坐标中的某点投影的像平面上，x即为投影后的像素坐标。

3.如权利要求1或2所述的基于ORB SLAM和深度相机的真实感的增强现实方法，其特征在于：所述步骤3)中，通过摄像头感知环境，对获得的信息进行分析，提取环境中的特征并保存，建立环境地图，即通过概率统计的方法，通过多特征匹配来达到定位。

4.如权利要求1或2所述的基于ORB SLAM和深度相机的真实感的增强现实方法，其特征在于：所述步骤4)中，通过Unity3D三维引擎计算三维虚拟物体与相机之间的实时深度信息。

5.如权利要求1或2所述的基于ORB SLAM和深度相机的真实感的增强现实方法，其特征在于：所述步骤5)中，数据融合过程如下：

5.1)利用深度相机获取当前帧的真实深度数据；

5.2)因为slam计算得到真实尺度的坐标系，应用到三维引擎后，三维引擎的虚拟坐标系能够和真实世界的坐标系比较好的重合，从而得到的虚拟相机的深度数据也具有真实的尺度；

5.3)将真实的深度数据和虚拟的深度数据进行一个深度比较，深度值在模型前面的点所对应的彩色图的点就渲染到模型前面，而深度值在模型后面的点所对应的彩色图的点就渲染到模型后面。