CN104392045B - 一种基于智能移动终端的实时增强虚拟现实***及方法 - Google Patents

Abstract

本发明涉及一种基于智能移动终端的实时增强虚拟现实***及方法，包括：处理器、深度信息采集卡、RGB信息采集卡、存储单元以及显示屏，利用深度信息采集卡获得客观环境的三维深度信息；利用RGB信息采集卡获得客观环境基本信息；将上述三维深度信息和客观环境基本信息输入处理器进行处理，创建客观世界的三维模型；将处理的结果数据即客观世界的三维模型数据存储在存储单元中；利用接口电路进行增强虚拟现实的显示，实现人机交互。本发明***设计合理，结构简单，实时性高，所需设备少，场景信息丢失少，可操作性强，应用范围广，成本较低等，能使用户真正体会到增强虚拟现实给人们带了的无穷魅力，构建的三维模型与实际客观环境模型误差小。

Description

一种基于智能移动终端的实时增强虚拟现实***及方法

技术领域

本发明涉及一种虚拟现实***生成技术，具体的说是一种基于智能移动终端的实时增强虚拟现实***及方法。

背景技术

增强现实技术（Augmented Reality，AR），是通过电脑技术将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实提供了生成一种逼真的视、听、力、触和动等感觉的虚拟环境，不同于人类可以感知的信息。它不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。增强现实借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象，并通过传感技术将虚拟对象有机融入真实环境中，借助显示设备将虚拟对象与真实环境融为一体，实现用户和环境直接进行自然交互。它是一种全新的人机交互技术，利用这样一种技术，可以模拟真实的现场景观，它是以交互性和构想为基本特征的计算机高级人机界面。使用者不仅能够通过虚拟现实***感受到在客观物理世界中所经历的“身临其境”的逼真性，而且能够突破空间、时间以及其它客观限制，感受到在真实世界中无法亲身经历的体验。因此，AR具有三个基本要素，即现实与虚拟的结合、实时互动和三维定位。

要达到AR的虚实结合，用户需要通过某种装置来观看。目前流行的技术主要有透明装置和不透明装置两类，前者是利用透明装置，如3D眼镜和3D投影等装置，将虚拟影像投影到装置上，使用户感受增强虚拟现实的场景，但需要多个特殊设备配合使用，使用的场所、环境等都受到限制，已经逐渐不能满足人们随时随地进行增强虚拟现实要求的需要；后者是利用计算机等处理器将处理好的已经虚拟现实结合的影像，如智能手机、平板电脑等智能移动终端。由于智能移动终端具有复杂计算能力、录影、影像显示，还有GPS、网路连线、触控、倾斜度侦测等的多项功能，价格也逐渐降低，于是在智能移动终端为平台的AR研究越来越多。

目前基于不透明装置的增强虚拟现实技术主流方法是通过图像视频采集卡进行客观环境信息的采集，主要有单目、双目和多目摄像机进行同一场景的采集，然后利用图像处理技术对不同摄像机采集到的同一场景进行特征提取，再利用特征匹配等算法进行场景匹配，得到客观环境的三维信息，进行三维重建得到客观环境的三维模型，最后再进行增强虚拟现实的实现。这样的方法缺点是：计算量巨大，需要进行大量的云数据处理与计算，三维信息的获取对于处理器的能力要求非常高，且该方法几乎不能进行实时三维建模，且在场景特征提取和三维重构过程中要丢失很多客观环境中有用的信息。

为了进行实时三维模型建立，本发明采用RGB+D模型进行三维模型构建，直接利用深度信息采集卡获取客观环境的三维深度信息（Depth Information），利用CCD视频图像采集卡获取客观环境的基本信息（如色彩（RGB，Red，Green and Blue）、纹理信息、灰度信息和强度信息等），这样将客观环境信息中的三维深度信息的计算从处理器中解放出来，大大提高了增强虚拟现实的实时性。

在增强现实的环境中，使用者可以在看到周围真实环境的同时，还可以看到计算机产生的增强信息。由于增强现实在虚拟现实与真实世界之间的沟壑上架起了一座桥梁，因此，增强现实的应用潜力是相当巨大的，它可以广泛应用于智能机器人导航与避障、军事、模式驾驶、三维导航、医学、制造与维修、游戏与娱乐等众多领域。

发明内容

针对现有技术中三维信息的获取及计算对于处理器的能力要求非常高且、几乎不能进行实时三维建模，且在场景特征提取和三维重构过程中会丢失很多客观环境中有用的信息等不足，本发明要解决的技术问题是提供一种可将客观环境信息中的三维深度信息的计算从处理器中解放出来，大大提高增强虚拟现实的实时性的基于智能移动终端的实时增强虚拟现实***及方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种基于智能移动终端的实时增强虚拟现实***包括：

处理器、深度信息采集卡、RGB信息采集卡、存储单元以及显示屏，其中处理器接收由深度信息采集卡和RGB信息采集卡采集的客观环境的三维深度信息和客观环境基本信息进行处理、三维模型构建，将处理的结果数据存储至存储单元中；处理器通过接口电路连接显示屏。

所述深度信息采集卡为具有深度信息直接运算能力的摄像头，能够直接读取客观环境的三维深度信息。

本发明一种基于智能移动终端的实时增强虚拟现实方法包括以下步骤：

利用深度信息采集卡获得客观环境的三维深度信息；

利用RGB信息采集卡获得客观环境基本信息；

将上述三维深度信息和客观环境基本信息输入处理器进行处理，创建客观世界的三维模型；

将处理的结果数据即客观世界的三维模型数据存储在存储单元中；

利用接口电路进行增强虚拟现实的显示，实现人机交互。

创建客观世界的三维模型包括以下步骤：

信息滤波：对三维深度信息和客观环境基本信息即RGB+D图像即同时进行滤波，去除噪声图像；

信息的跟踪算法：基于去噪后的RGB+ D信息的全部信息进行下一图像的估计；

基于RGB+ D信息的三维重构：利用三维世界信息的估计参数和典型的三角拼接法对进行插值拼接，得到最终的客观世界三维模型。

对RGB+D图像同时进行滤波通过以下公式实现：

(1)

其中，为滤波去噪后的RGB+D图像；为图像像素的邻域，为滤波器的权重系数；为含噪声的RGB+D图像，m,n分别为邻域中每一点的坐标值。

采用典型高斯滤波器，即

(2)

其中，为图像每个像素点坐标，为滤波器在像素点采用邻域的集合，为高斯函数的标准差。

对于去噪后的三维世界信息的全部信息进行下一图像的估计为：

采用极大似然估计，即

(3)

式中， (4)

(5)

其中，为当前RGB+D图像；为估计新RGB+D图像；为当前图像和估计图像的李群代数算子；为图像元素，；为位姿估计模型；为深度信息采集卡获取的深度信息；为的标准差；为范数，且定义

(6)

其中，为参数，s为变量，式中，。

通过以下公式进行基于RGB+ D信息的三维重构：

(7)

其中，(p)为三维重构的最小单元；为能量函数，且满足最小；为智能移动终端三维重构的地平面估计，这里采用简单的低通滤波器，即利用RGB+D信息的进行地平面估计；为能量函数的估计参数，为的梯度，为RGB+D信息集合。

本发明方法还包括以下步骤：

若移动终端的处理器的数据处理能力不足，则通过移动网络或者wifi将全部处理过程上传到网络服务器或者个人PC机中处理，然后将处理后得到的数据再通过移动网络或者wifi下载到移动智能终端。

本发明方法还包括以下步骤：

若多个用户使用移动智能终端，则用户利用联网功能共享AR数据，多个用户在任何地点、任何时间享受增强虚拟现实的应用。

本发明具有以下有益效果及优点：

1.本发明***设计合理，结构简单，实时性高，所需设备少，可操作性强，应用范围广，成本较低等，能使用户真正体会到增强虚拟现实给人们带了的无穷魅力。

2. 本发明采用RGB+D模型进行三维模型构建，直接利用深度信息采集卡获取客观环境的三维深度信息（Depth Information），利用CCD视频图像采集卡获取客观环境的基本信息，将客观环境信息中的三维深度信息的计算从处理器中解放出来，实时性高，场景信息丢失少，构建的三维模型与实际客观环境模型误差小。

3. 本发明可以广泛应用于智能机器人导航与避障、军事、模式驾驶、三维导航、医学、制造与维修、游戏与娱乐等众多领域。

附图说明

图1为本发明***结构示意图；

图2为 基于智能移动终端的实时增强虚拟现实***功能框图；

图3为本发明方法主流程图；

图4为本发明方法中三维重构算法流程图。

其中，101为移动终端；102为处理器；103为存储单元；104为接口电路；105为RGB视频图像采集卡；106为深度信息采集卡；107为光源；108为显示屏。

具体实施方式

下面结合说明书附图对本发明作进一步阐述。

如图1、2所示，本发明基于智能移动终端的实时增强虚拟现实***包括：处理器、深度信息采集卡、RGB信息采集卡、存储单元以及显示屏，其中处理器接收由深度采信息集卡和RGB信息采集卡采集的客观环境的三维深度信息和客观环境基本信息进行处理、三维模型构建，将处理的结果数据存储至存储单元中；处理器通过接口电路连接显示屏。

本实施例中，移动终端101可以是智能手机、平板电脑、掌上电脑等，处理器102、存储单元103、接口电路104采用智能终端的内部元件，本发明对数据处理和计算的能力要求不高，因此，目前大多数智能终端处理器的运算能力都达到要求。105为RGB视频图像采集卡，普通CCD式摄像头即可满足要求，深度信息采集卡106采用具有深度信息直接运算能力的Kinect摄像头，能够直接读取客观环境的三维深度信息。光源107用于补偿自然光线不足对客观环境信息的影响。

本发明利用处理器102进行数据的计算处理，实时构建环境三维模型，且实现增强虚拟现实的应用，将处理的结果数据存储在存储单元103中，利用接口电路104进行增强虚拟现实的显示屏108，实现人机交互。

如图3所示，本发明一种基于智能移动终端的实时增强虚拟现实方法包括以下步骤：

利用深度信息采集卡获得客观环境的三维深度信息；

利用RGB信息采集卡获得客观环境基本信息；

将上述三维深度信息和客观环境基本信息输入处理器进行处理，创建客观世界的三维模型；

将处理的结果数据即客观世界的三维模型数据存储在存储单元中；

利用接口电路进行增强虚拟现实的显示，实现人机交互。

为了进行实时三维模型建立，本发明采用RGB+D模型进行三维模型构建，直接利用深度信息采集卡获取客观环境的三维深度信息（Depth Information），利用CCD视频图像采集卡获取客观环境的基本信息（如色彩（RGB，Red，Green and Blue）、纹理信息、灰度信息和强度信息等），这样将客观环境信息中的三维深度信息的计算从处理器中解放出来，提高了增强虚拟现实的实时性。

本发明方法的主要步骤有：

步骤1：利用图2中深度信息采集卡和RGB信息采集卡获得三维世界信息，以后采用RGB+D来表示；

步骤2：将RGB+D信息输入智能移动终端处理器进行处理，对于由深度信息采集卡和RGB信息采集卡采集到的客观世界RGB+D信息进行处理，最终得到客观世界的三维模型，如图4所示：

（1）RGB+D信息滤波：对强度图像和深度图像同时进行滤波去噪：

(1)

其中，为滤波去噪后的RGB+D图像；为图像像素的邻域，为滤波器的权重系数；为含噪声RGB+D图像，为图像邻域的坐标集合，m,n分别为邻域中每一点的坐标值。这里采用典型高斯滤波器，即

(2)

其中，为图像每个像素点坐标，为滤波器在像素点采用邻域的集合，为高斯函数的标准差。

（2）基于RGB+D的跟踪算法：利用深度信息采集卡、RGB信息采集卡采集到的当前图像RGB+D全部信息进行下一图像的估计，采用极大似然估计，即

(3)

式中， (4)

(5)

其中，为当前RGB+D图像；为估计新RGB+D图像；为当前图像和估计图像的李群代数算子；为图像元素，为RGB+D图像的信息集合，即；为位姿估计模型；为深度信息采集卡获取的深度信息；为的标准差；为范数，且定义

(6)

其中，为参数，s为变量，式中，

通过上述算法，可以估计出采集卡深度信息采集卡、RGB信息采集卡实时获得的客观世界视频帧是否为关键帧，如果是关键帧，则将该帧RGB+D图像更新到三维重构模型中，如果不是关键帧，则重新跟踪，直到捕捉到关键帧，最后，本发明是利用深度信息采集卡、RGB信息采集卡捕捉到的客观世界关键帧进行三维模型重构，而关键帧中包含的是全部客观世界信息，即RGB+D信息，进而保证客观世界重构三维模型信息完整性。这样，利用本算法可以估计客观世界的三维信息，其特征在于采用客观世界的全部信息，且没有进行特征提取和特征匹配，包含了客观世界中的所有信息，其运算效率高，实时性高，而现在流行的算法是基于图像特征，这需要对图像进行特征提取、特征匹配等过程，其缺点是运算量大、效率低、实时性差，另外在特征提取过程中会丢失很多客观世界信息。

（3）基于RGB+D信息的三维重构算法：

(7)

其中，为三维重构的最小单元；为能量函数，且满足最小；为智能移动终端三维重构的地平面估计，这里采用简单的低通滤波器，即利用RGB+D信息的进行估计地平面估计；为为能量函数的估计参数，为的梯度，为RGB+D信息集合。

最后利用典型的三角拼接法对进行插值拼接，得到最终的三维客观世界模型。

步骤3：将基于步骤1、2处理后得到的数据可以存储于存储单元。

步骤4：将基于智能移动终端的实时增强虚拟现实应用在智能移动终端显示屏进行显示。

若移动终端的处理器的数据处理能力不足，则可以通过移动网络或者wifi将步骤1、2、3的处理过程上传到网络服务器或者个人PC机中处理，然后将处理后得到的数据再通过移动网络或者wifi下载到移动智能终端，这样可以提高***的数据处理能力，如图2中的扩展存储单元和扩展处理器（如网络服务器或PC机）所示。

若移动智能终端的存储单元容量有限，则将数据处理结果通过移动网络或者wifi上传到扩展存储单元中，提高信息存储容量。

若多个用户的移动智能终端，则用户可以利用联网功能共享AR数据，这样，多个用户可以在任何地点，任何时间享受增强虚拟现实的应用。

Claims (5)

1.一种基于智能移动终端的实时增强虚拟现实方法，其特征在于包括以下步骤：

利用深度信息采集卡获得客观环境的三维深度信息；

利用RGB信息采集卡获得客观环境基本信息；

将上述三维深度信息和客观环境基本信息输入处理器进行处理，创建客观世界的三维模型；

将处理的结果数据即客观世界的三维模型数据存储在存储单元中；

利用接口电路进行增强虚拟现实的显示，实现人机交互；

创建客观世界的三维模型包括以下步骤：

信息滤波：对三维深度信息和客观环境基本信息即RGB+D图像即同时进行滤波，去除噪声图像；

信息的跟踪算法：基于去噪后的RGB+D信息的全部信息进行下一图像的估计；

基于RGB+D信息的三维重构：利用三维世界信息的估计参数和典型的三角拼接法对三维重构的最小单元进行插值拼接，得到最终的客观世界三维模型；

对RGB+D图像同时进行滤波通过以下公式实现：

其中，I′(x,y)为滤波去噪后的RGB+D图像；ε为图像像素(x,y)的邻域，w(m,n)为滤波器的权重系数；I(m,n)为含噪声的RGB+D图像，m,n分别为邻域ε中每一点的坐标值；

通过以下公式进行基于RGB+D信息的三维重构：

其中，u(p)为三维重构的最小单元，为图像元素，E(u)为能量函数，且u满足E(u)最小；π(p)为智能移动终端三维重构的地平面估计，这里采用简单的低通滤波器，即利用RGB+D信息的进行地平面估计；α和V_π为能量函数E(u)的估计参数，为u的梯度，Ω_D为RGB+D信息集合。

2.按权利要求1所述的基于智能移动终端的实时增强虚拟现实方法，

其特征在于：采用典型高斯滤波器，即

其中，(x,y)为图像每个像素点坐标，(m,n)为滤波器在像素点(x,y)采用邻域ε的集合，σ²为高斯函数的标准差。

3.按权利要求1所述的基于智能移动终端的实时增强虚拟现实方法，其特征在于：对于去噪后的三维世界信息的全部信息进行下一图像的估计为：

采用极大似然估计，即

式中，r_p(p,ξ_j,i)＝I_i(p)-I_j(ω(p,D_i(p),ξ_j,i)) (4)

其中，I_i为当前RGB+D图像；I_j为新估计RGB+D图像；ξ_j,i为当前图像和估计图像的李群代数算子；为图像元素，ω为位姿估计模型；D_i为深度信息采集卡获取的深度信息；V_i为D_i的标准差；||·||_δ为范数，且定义

其中，δ为参数，s为变量，式中，

4.按权利要求1所述的基于智能移动终端的实时增强虚拟现实方法，其特征在于：还包括以下步骤：

若移动终端的处理器的数据处理能力不足，则通过移动网络或者wifi将全部处理过程上传到网络服务器或者个人PC机中处理，然后将处理后得到的数据再通过移动网络或者wifi下载到移动智能终端。

5.按权利要求1所述的基于智能移动终端的实时增强虚拟现实方法，其特征在于：还包括以下步骤：

若多个用户使用移动智能终端，则用户利用联网功能共享AR数据，多个用户在任何地点、任何时间享受增强虚拟现实的应用。