CN104504671A - 一种用于立体显示的虚实融合图像生成方法 - Google Patents

Abstract

本发明公开了一种用于立体显示的虚实融合图像生成方法，包括：(1)利用单目RGB-D摄像机获取真实场景的深度图和彩色图；(2)重建三维场景表面模型，计算摄像机参数；(3)映射得到虚拟视点位置的深度图和彩色图；(4)完成虚拟物体的三维注册，渲染得到虚拟物体的深度图和彩色图，进行虚实融合，得到用于立体显示的虚实融合内容。本发明采用单目RGB-D摄像机拍摄，逐帧重建三维场景模型，模型被同时用于摄像机追踪和虚拟视点映射，能获取较高的摄像机追踪精度和虚拟物体注册精度，能较好的应对基于图像的虚拟视点绘制技术中出现的空洞，能实现虚实场景的遮挡判断和碰撞检测，利用立体显示设备可以获得逼真的立体显示效果。

Description

一种用于立体显示的虚实融合图像生成方法

技术领域

本发明属于三维立体成像技术领域，具体涉及一种用于立体显示的虚实融合图像生成方法。

背景技术

立体显示技术已成为IT、通信、广电领域的主旋律，也成为人们耳熟能详的名词。随着立体显示技术的日臻完善，人们对3D内容的热情与期待也越来越高。随着市场需求的不断增加，人们正在寻求更加方便快捷低成本的3D内容生成方式。虚实融合是指通过电脑技术将虚拟信息融入到真实世界的技术，在医学、娱乐和军事等领域均有广泛的应用前景。立体显示技术与虚实融合的结合是大势所趋，一方面立体显示技术为虚实融合提供了更佳的展示方式，另一方面虚实融合则为3D内容制作带来了新的方法。

对于单目摄像机而言，3D内容制作的关键在于虚拟视点的生成算法。虚拟视点生成算法可被分为两大类：基于模型的虚拟视点绘制技术和基于图像的虚拟视点绘制技术。

基于模型的虚拟视点绘制技术指的是先采用计算机视觉知识重建拍摄场景的三维模型，然后通过计算机三维图形渲染技术绘制得到新的虚拟视点图像的技术。这种方法在结构简单的场景中可以获得较好的虚拟视点绘制效果，但是对于复杂场景，精确三维模型建立的难度极高，而且所需的运算资源和数据量也非常大，因此并不适用于现实世界中自然场景的虚拟视点绘制。

基于图像的虚拟视点绘制技术指的是不需要精确的三维场景模型，直接利用摄像机拍摄的真实图像，通过双目或多目摄像机模型，映射出新的虚拟视点图像的一类技术。相比基于模型的虚拟视点绘制技术，其具有输入数据量小，图像数据获取简单，绘制速度快等诸多优点，非常适合自然三维场景的绘制应用，但是在视差较大的区域由于遮挡而产生的空洞填补问题难以解决。

摄像机追踪技术是虚实融合中最为关键的技术，它是指***应该能够实时精确的计算摄像机所处的位置。在虚实融合***中，摄像机追踪技术直接关系到虚拟物体能否始终正确的被安放到正确的位置，将决定虚实融合效果的稳定性和真实感。最初的虚实融合***采用基于标记的方法进行摄像机追踪，使用特殊图形作为标记来估计摄像机的运动姿态，这种方法相对比较简单，但是由于追踪依赖特殊标记物完成，因此使用场景并不广泛。

上世纪九十年代，Smith和Cheeseman等人给出了即时定位与地图构建(SLAM)的基于估计理论的解决方案，通过提取图像特征点构建稀疏的特征点云，再利用特征点云进行摄像机追踪。在此基础之上，不断涌现出许多基于单目RGB摄像机的摄像机追踪方案，如Davision提出的MonoSLAM***，Klein等人提出的PTAM(并行跟踪和定位)算法，使研究者可以进行灵活的无需标记的三维注册，但是追踪精度仍然不够高。

发明内容

针对现有技术所存在的上述技术问题，本发明提供了一种用于立体显示的虚实融合图像生成方法，能获取较高的摄像机追踪精度和虚拟物体注册精度，能较好的应对基于图像的虚拟视点绘制技术中出现的空洞。

一种用于立体显示的虚实融合图像生成方法，包括如下步骤：

(1)利用单目RGB-D(红绿蓝三原色加距离深度)摄像机采集获取单目RGB-D摄像机视点关于场景当前帧的深度图D_{r_k}和色彩图C_{r_k}；

(2)利用前一帧的三维场景重建模型确定当前帧的单目RGB-D摄像机参数，并利用深度图D_{r_k}和色彩图C_{r_k}对所述的三维场景重建模型进行更新，得到当前帧的三维场景重建模型；

(3)根据采集到的深度图D_{r_k}和色彩图C_{r_k}以当前帧的三维场景重建模型作为指导，利用双目摄像机模型通过映射得到虚拟摄像机视点关于场景当前帧的深度图D_{v_k}和色彩图C_{v_k}；

(4)对虚拟物体进行三维注册并渲染得到单目RGB-D摄像机视点和虚拟摄像机视点关于虚拟物体的深度图和彩色图；利用两个视点关于场景和虚拟物体的深度图进行遮挡判断和碰撞检测以对两个视点关于场景和虚拟物体的色彩图进行融合，得到用于立体显示的虚实融合图像。

所述步骤(2)的具体过程如下：

2.1从前一帧的三维场景重建模型中提取出单目RGB-D摄像机视点关于场景前一帧的深度图D_{r_k-1}；

2.2对当前帧深度图D_{r_k}和前一帧深度图D_{r_k-1}进行匹配，计算出当前帧的单目RGB-D摄像机参数；

2.3从匹配过程的局外点中滤波得到运动物体区域，以运动物体区域作为模板从当前帧的深度图D_{r_k}和色彩图C_{r_k}中分离出运动物体和静态背景；

2.4根据当前帧的单目RGB-D摄像机参数利用当前帧静态场景的深度信息和色彩信息，采用体集成算法对前一帧的三维场景重建模型进行更新，得到当前帧的三维场景重建模型。

优选地，利用Raycast算法从前一帧的三维场景重建模型中提取出单目RGB-D摄像机视点关于场景前一帧的深度图D_{r_k-1}。

优选地，采用ICP(迭代最近点)算法对深度图D_{r_k}和深度图D_{r_k-1}进行匹配。

所述的局外点为当前帧深度图D_{r_k}中与前一帧深度图D_{r_k-1}未匹配上的像素点。

所述的步骤2.3中，从当前帧深度图D_{r_k}的局外点中滤除掉属于场景中物体边缘上的局外点、单目RGB-D摄像机无法获取到深度值的局外点以及零星小块聚集的局外点，从而得到运动物体区域。

所述步骤(3)的具体过程如下：

3.1将当前帧的单目RGB-D摄像机参数代入双目摄像机模型中计算得到当前帧的虚拟摄像机参数，根据所述的虚拟摄像机参数从当前帧的三维场景重建模型中提取出虚拟摄像机视点关于场景当前帧的深度图D_{v1_k}和色彩图C_{v1_k}；

3.2根据双目摄像机模型，从当前帧深度图D_{r_k}映射得到虚拟摄像机视点关于场景当前帧的深度图D_{v2_k}；

3.3对映射得到的当前帧深度图D_{v2_k}中的重采样空洞进行填补；

3.4根据填补后的深度图D_{v2_k}和双目摄像机模型，从当前帧色彩图C_{r_k}映射得到虚拟摄像机视点关于场景当前帧的色彩图C_{v2_k}；

3.5利用提取得到的当前帧深度图D_{v1_k}和色彩图C_{v1_k}对映射得到的当前帧的深度图D_{v2_k}和色彩图C_{v2_k}进行遮挡空洞填补，最终得到虚拟摄像机视点关于场景当前帧的深度图D_{v_k}和色彩图C_{v_k}。

优选地，利用Raycast算法从当前帧的三维场景重建模型中提取出虚拟摄像机视点关于场景当前帧的深度图D_{v1_k}和色彩图C_{v1_k}。

本发明采用单目RGB-D摄像机拍摄，逐帧重建三维场景模型，模型被同时用于摄像机追踪和虚拟视点映射，能获取较高的摄像机追踪精度和虚拟物体注册精度，能较好的应对基于图像映射的虚拟视点绘制技术中出现的空洞，能实现虚实场景的遮挡判断和碰撞检测，利用3D立体显示设备可以获得逼真的立体显示效果。

附图说明

图1为本发明摄像机追踪模块的处理流程示意图。

图2为本发明虚拟视点绘制模块的处理流程示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

本发明用于立体显示的虚实融合图像生成方法，包括如下步骤：

(1)利用单目RGB-D摄像机进行场景深度信息和颜色信息的获取。

(2)利用摄像机追踪模块根据三维场景重建模型确定每帧的摄像机参数，同时逐帧将场景深度信息和颜色信息融入三维场景重建模型中。

2.1利用Raycast算法，根据保存的上一帧的摄像机姿态从三维场景重建模型中提取出上一帧的深度图；

2.2对当前帧的深度图进行预处理。利用ICP算法，对上一帧和当前帧的深度图进行匹配，计算从上一帧到当前帧的摄像机运动，进而计算出当前帧的摄像机参数；

2.3从匹配过程的局外点中滤波得到运动物体区域，以运动物体区域作为模板在当前帧深度图D_{r_k}和当前帧色彩图C_{r_k}中分离出运动物体和静态背景；

2.4利用体集成算法，根据当前帧的摄像机参数，将当前帧中静态场景的深度信息和彩色信息融入三维场景重建模型。该模型是一个三维空间中的正方体，该模型由许多大小均匀的小正方体组成，每个小正方体存储其所代表的空间位置的加权TSDF值和加权颜色值。

如图1所示，摄像机追踪模块采用的是基于模型的摄像机追踪方法，利用逐帧重建的三维场景表面模型作为匹配对象，并从匹配局外点中分离出运动物体，提高摄像机抗干扰追踪能力。本实施方式采用单目RGB-D摄像机作为采集设备，摄像机追踪过程仅适用深度信息进行匹配。首先需要对摄像机进行标定，以获取摄像机内参。每帧深度信息获取之后需要对深度图进行降噪处理，本实施方式采用双边滤波器进行滤波。根据摄像机内参，可以将深度图映射成为摄像机坐标系下的三维点云。假设摄像机运动平缓，可以利用ICP算法对当前帧的点云和前一帧的点云进行快速匹配，获得前一帧和当前帧摄像机的相对运动，进而根据前一帧摄像机参数计算出当前帧摄像机参数，其中ICP算法采用的是点面距能量公式如下：

$E{\left(}_{Tg,k}=\underset{u\∈U}{\mathrm{\Σ}}{\left|\right|{(T_{g,k}{V}_k\left(u\right)-V_{k-1}\left(u\right))}^T{N}_{k-1}\left(u\right)\left|\right|}_2$

其中：V_k，V_k-1分别是当前帧和前一帧三维点云的顶点图，N_k-1是前一帧三维点云的法向量图，T_g,k是两帧之间的摄像机运动矩阵。

另外，匹配过程中的局外点可以通过形态学操作过滤出运动物***置，以此为模板可以得到滤除运动干扰的场景深度图。通过获得的摄像机参数，可将当前帧深度图再次映射到空间中，即获得当前帧拍摄到的场景表面各点在空间中的位置，将这些深度信息融入三维场景表面模型。该模型是一个三维空间中的正方体，该模型由许多大小均匀的小正方体组成，每个小正方体存储其所代表的空间位置的加权TSDF值和加权颜色值。其中TSDF值代表的是这一空间位置到离它最近的实体表面的距离，小正方体中存储的值由各帧TSDF值加权得到，加权方式如下：

$d_k=\frac{w_{k-1}{d}_{k-1}+w_{k^{\′}}{d}_{k^{\′}}}{w_{k-1}+w_{k^{\′}}}$

w_k＝w_k-1+w_k′

其中：_k-1，_k，d_k′分别是前一帧加权TSDF值，当前帧加权TSDF值和当前帧TSDF值，w_k-1，w_k分别是前一帧和当前帧权重，w_k′为每帧增加权重，本方法中设为常量1。颜色加权方式与TSDF加权方式相同。

(3)利用虚拟视点绘制模块根据每帧采集到的深度图和彩色图，使用三维场景重建模型作为指导，利用双目摄像机模型映射得到虚拟视点位置的深度图和彩色图。

3.1根据双目摄像机模型的摄像机参数，利用Raycast算法，从三维场景重建模型中提取得到拍摄位置的深度图，虚拟视点位置的深度图和彩色图；

3.2使用提取得到的拍摄位置的深度图对当前帧的深度图进行填补，根据双目摄像机模型，从填补后的当前帧的深度图映射得到虚拟视点位置的深度图；

3.3对映射得到的虚拟视点位置的深度图中的重采样空洞进行填补；

3.4使用虚拟视点位置填补后的深度图，根据双目摄像机的摄像机参数，从当前帧的彩色图映射得到虚拟视点位置的彩色图；

3.5利用模型中提取的深度图和彩色图再次对虚拟视点位置的深度图和彩色图进行空洞填补，得到最终的虚拟视点位置的深度图和彩色图。

如图2所示，虚拟视点绘制模块采用的方法结合了基于图像的虚拟视点绘制技术和基于模型的虚拟视点绘制技术。模块包含遮挡空洞填补单元，深度图映射单元，重采样空洞填补单元，彩色图逆映射单元。获取到一帧的深度图后，首先利用Raycast算法从三维场景重建模型中提取出当前帧的深度图作为辅助深度图，空洞填补单元以这副辅助深度图作为参考，对当前帧深度图进行空洞填补。接下来深度图映射单元利用双目摄像机模型将当前帧深度图映射到虚拟视点位置，从而获取虚拟视点深度图。然后重采样空洞填补单元需要对虚拟视点深度图中因重采样所产生的空洞进行填补操作。当前帧的彩色图利用填补后的虚拟视点深度图所确定的逆映射关系，经过彩色图逆映射单元，得到虚拟视点彩色图。最后遮挡空洞填补单元从三维场景重建模型中提取出虚拟摄像机位置的深度图和彩色图作为参考，对带有遮挡空洞的虚拟视点深度图和彩色图进行填补，至此获得了没有空洞的虚拟视点位置的深度图和彩色图。

(4)利用虚实融合模块进行虚拟物体的三维注册，并渲染得到拍摄位置和虚拟摄像机位置的虚拟物体深度图和彩色图。对虚实图像进行融合，并利用深度信息进行遮挡判断和碰撞检测，得到用于立体显示的虚实融合内容。

虚实融合模块是将真实拍摄位置和虚拟摄像机位置两个视点的虚拟物体和真实场景的深度图和彩色图进行融合的模块。模块包括三维注册单元，遮挡判断单元，碰撞检测单元和虚拟物体控制单元，各单元的操作都是同时针对两个视点进行的。虚拟物体控制单元可以监听键盘输入，使虚拟物体在世界坐标系中进行放缩，移动，旋转等运动。三维注册单元根据虚拟物体在世界坐标系中的空间位置以及两个视点的摄像机参数，计算出虚拟物体在两个视点投影平面中所呈现的彩色图和深度图。遮挡判断单元通过监测虚拟物体和真实场景在同一位置的深度值来判断应该显示虚拟物体还是真实场景，以获取真实的遮挡效果。本方法同时获取了摄像机视线方向上的虚拟物体正面和背面的深度图，碰撞检测单元通过判断虚拟物体正面和背面的深度图，以及真实场景深度图之间的关系判断是否发生了碰撞，对于碰撞发生的位置以红色标明。最终根据实际应用，可决定将虚实融合结果以各种立体格式显示。

Claims (8)

1.一种用于立体显示的虚实融合图像生成方法，包括如下步骤：

(1)利用单目RGB-D摄像机采集获取单目RGB-D摄像机视点关于场景当前帧的深度图D_{r_k}和色彩图C_{r_k}；

(2)利用前一帧的三维场景重建模型确定当前帧的单目RGB-D摄像机参数，并利用深度图D_{r_k}和色彩图C_{r_k}对所述的三维场景重建模型进行更新，得到当前帧的三维场景重建模型；

(3)根据采集到的深度图D_{r_k}和色彩图C_{r_k}以当前帧的三维场景重建模型作为指导，利用双目摄像机模型通过映射得到虚拟摄像机视点关于场景当前帧的深度图D_{v_k}和色彩图C_{v_k}；

(4)对虚拟物体进行三维注册并渲染得到单目RGB-D摄像机视点和虚拟摄像机视点关于虚拟物体的深度图和彩色图；利用两个视点关于场景和虚拟物体的深度图进行遮挡判断和碰撞检测以对两个视点关于场景和虚拟物体的色彩图进行融合，得到用于立体显示的虚实融合图像。

2.根据权利要求1所述的虚实融合图像生成方法，其特征在于：所述步骤(2)的具体过程如下：

2.1从前一帧的三维场景重建模型中提取出单目RGB-D摄像机视点关于场景前一帧的深度图D_{r_k-1}；

2.2对当前帧深度图D_{r_k}和前一帧深度图D_{r_k-1}进行匹配，计算出当前帧的单目RGB-D摄像机参数；

2.3从匹配过程的局外点中滤波得到运动物体区域，以运动物体区域作为模板从当前帧的深度图D_{r_k}和色彩图C_{r_k}中分离出运动物体和静态背景；

2.4根据当前帧的单目RGB-D摄像机参数利用当前帧静态场景的深度信息和色彩信息，采用体集成算法对前一帧的三维场景重建模型进行更新，得到当前帧的三维场景重建模型。

3.根据权利要求2所述的虚实融合图像生成方法，其特征在于：利用Raycast算法从前一帧的三维场景重建模型中提取出单目RGB-D摄像机视点关于场景前一帧的深度图D_{r_k-1}。

4.根据权利要求2所述的虚实融合图像生成方法，其特征在于：采用ICP算法对深度图D_{r_k}和深度图D_{r_k-1}进行匹配。

5.根据权利要求2所述的虚实融合图像生成方法，其特征在于：所述的局外点为当前帧深度图D_{r_k}中与前一帧深度图D_{r_k-1}未匹配上的像素点。

6.根据权利要求2所述的虚实融合图像生成方法，其特征在于：所述的步骤2.3中，从当前帧深度图D_{r_k}的局外点中滤除掉属于场景中物体边缘上的局外点、单目RGB-D摄像机无法获取到深度值的局外点以及零星小块聚集的局外点，从而得到运动物体区域。

7.根据权利要求1所述的虚实融合图像生成方法，其特征在于：所述步骤(3)的具体过程如下：

3.1将当前帧的单目RGB-D摄像机参数代入双目摄像机模型中计算得到当前帧的虚拟摄像机参数，根据所述的虚拟摄像机参数从当前帧的三维场景重建模型中提取出虚拟摄像机视点关于场景当前帧的深度图D_{v1_k}和色彩图C_{v1_k}；

3.2根据双目摄像机模型，从当前帧深度图D_{r_k}映射得到虚拟摄像机视点关于场景当前帧的深度图D_{v2_k}；

3.3对映射得到的当前帧深度图D_{v2_k}中的重采样空洞进行填补；

3.4根据填补后的深度图D_{v2_k}和双目摄像机模型，从当前帧色彩图C_{r_k}映射得到虚拟摄像机视点关于场景当前帧的色彩图C_{v2_k}；

3.5利用提取得到的当前帧深度图D_{v1_k}和色彩图C_{v1_k}对映射得到的当前帧的深度图D_{v2_k}和色彩图C_{v2_k}进行遮挡空洞填补，最终得到虚拟摄像机视点关于场景当前帧的深度图D_{v_k}和色彩图C_{v_k}。

8.根据权利要求7所述的虚实融合图像生成方法，其特征在于：利用Raycast算法从当前帧的三维场景重建模型中提取出虚拟摄像机视点关于场景当前帧的深度图D_{v1_k}和色彩图C_{v1_k}。