CN105072433A - 应用于头跟踪虚拟现实***的感知深度映射方法 - Google Patents

Abstract

本发明公开了应用于头跟踪虚拟现实***的感知深度映射方法，包括步骤一：获取场景物体的立体图像，判断场景物体的立体图像的头部状态是否发生变化，若未发生变化，则采用与用户双眼距离相同的相机轴距的双相机拍摄场景物体的立体图像；若发生变化，则进入下一步；步骤二：调整双相机的0视差投影面到双相机中点位置的距离，使双相机中点到投影面的距离与物理显示屏幕到用户双眼中心的距离相同；步骤三：根据屏幕尺寸和视点位置确定感知深度适宜区，将投影面两侧场景物体沿深度方向进行缩放变换且向投影面做挤压，使场景深度范围位于确定的感知深度适宜区内；步骤四：根据透视投影几何对场景物体进行斜切变换，利用双相机拍摄场景物体的立体图像。

Description

应用于头跟踪虚拟现实***的感知深度映射方法

技术领域

本发明涉及计算机多媒体领域，尤其涉及一种应用于头跟踪虚拟现实***的感知深度映射方法。

背景技术

立体显示是通过模拟人类双眼视觉的图像视差，使观看者在观看图像时形成纵深的视觉感知。在虚拟现实***中，立体显示可有效的增强真实感和沉浸性。但是在立体显示中，由于人眼辐辏和聚焦的冲突，也会造成视觉疲劳。在软件上解决视觉疲劳的最好方法是通过减小双眼图像的视差来来减少辐辏和聚焦的冲突。视差减少意味着感知深度也会减少。因此当观看者在观看立体图像时，有一个适宜的感知深度范围。将感知深度压缩到适宜的感知深度范围之内的方法称为深度映射。

在虚拟现实***中，传统的深度压缩方法是通过减小双眼相机的轴距来实现深度映射。但是由于深度映射会导致感知物体产生两个方向上的变形：一是沿观看方向产生挤压变形是物体看起来趋于扁平；二是感知物体以双眼相机的中心线作为基准位置发生斜切变形。在头跟踪***中，由于拍摄立体图像的双眼相机随着头部的运动而运动，感知物体的斜切变形的基准线也会随着头部的运动而运动，从而导致感知图像会随着头部的运动而移动，这种图像的移动称之为“图像漂移”。

发明内容

为了解决传统的深度映射方法在头跟踪***中产生的图像漂移问题，本发明提供了一种应用于头跟踪虚拟现实***的感知深度映射方法。该方法利用与实际双眼距离相同的相机轴距来拍摄图像，利用固定的斜切变形基准线对虚拟场景进行深度压缩变换。该方法不仅可以消除头跟踪虚拟现实***中的图像漂移问题，还可以灵活的实现线性和非线性深度映射。

为了实现上述目的，本发明采用以下技术方案：

一种应用于头跟踪虚拟现实***的感知深度映射方法，包括：

步骤一：获取场景物体的立体图像，并判断场景物体的立体图像的头部状态是否发生变化，若未发生变化，则采用与用户双眼距离相同的相机轴距的双相机拍摄场景物体的立体图像；若发生变化，则进入下一步；

步骤二：调整双相机的0视差投影面到双相机中点位置的距离，使双相机中点到投影面的距离与物理显示屏幕到用户双眼中心的距离相同；

步骤三：根据屏幕尺寸和视点位置来确定感知深度适宜区，将投影面两侧场景物体沿深度方向进行缩放变换且向投影面做挤压，使场景深度范围位于确定的感知深度适宜区内；

步骤四：根据透视投影几何对场景物体进行斜切变换，利用双相机进行拍摄场景物体的立体图像。

所述步骤四中，以双相机中点在垂直于投影面并穿过投影面中心的轴线上的投影作为计算斜切变换的透视参考点。

所述步骤三中将投影面两侧场景物体沿深度方向进行缩放变换的方法包括线性缩放变换映射和非线性缩放变换映射。

以透视参考点为坐标原点，以投影面的中垂线为Z轴，以水平方向为X轴，竖直方向为Y轴建立坐标系，模型顶点坐标从(x,y,z)经过缩放和斜切变换后被变换到(x’,y’,z’)；

在该坐标空间内对模型进行沿深度方向上进行线性缩放变换映射，深度方向上的缩放变换为：

$z^{\′}=\frac{F-f^{\′}}{F-f}(z+F)-F$

其中，f为相机的远裁剪面距离，f'为感知深度适宜区的远边界到相机距离，F为双相机中点距离投影平面。

投影面两侧场景物体在水平和垂直方向上的斜切变换为：

$\begin{array}{cc}{x}^{\′}=\frac{{\mathrm{xz}}^{\′}}{z},& y^{\′}=\frac{{\mathrm{yz}}^{\′}}{z}\end{array}.$

当投影面两侧场景物体沿深度方向进行非线性缩放变换映射时，在不同的深度采用不同的压缩比率。

当投影面两侧场景物体沿深度方向进行非线性缩放变换映射时，压缩比率随着投影面两侧场景物体与投影面距离的缩小而减小。

以透视参考点为坐标原点，以投影面的中垂线为Z轴，以水平方向为X轴，竖直方向为Y轴建立坐标系，模型顶点坐标从(x,y,z)经过缩放和斜切变换后被变换到(x’,y’,z’)；

在该坐标空间内对模型沿深度方向上进行非线性缩放变换映射，深度方向上的缩放变换为：

$z^{\′}=\frac{(F-f^{\′})(F-n^{\′})(2F-f-n)(z+F)}{\left(\right(F-f^{\′}\left)\right(F-n)-(F-n^{\′}\left)\right(F-f\left)\right)\left|z+F\right|+(2F-f^{\′}-n^{\′})(F-f)(F-n)}-F$

其中，f为相机的远裁剪面距离，n为近裁剪面距离，f',n'分别为感知深度适宜区的远近边界到相机距离，F为双相机中点到投影平面的距离。

投影面两侧场景物体在水平和垂直方向上的斜切变换为：

$\begin{array}{cc}{x}^{\′}=\frac{{\mathrm{xz}}^{\′}}{z},& y^{\′}=\frac{{\mathrm{yz}}^{\′}}{z}\end{array}.$

本发明的有益效果：

(1)当实际观看者双眼距离和拍摄立体图像的相机轴距相等时，感知物体不产生变形，因此在头跟踪***中，本发明采用和实际用户的双眼距离相同的相机轴距来拍摄立体图像可以消除图像漂移现象。

(2)为了实现深度压缩，本发明将虚拟场景进行缩放和斜切变换来减少感知深度，同时采用和用户双眼距离相同的相机轴距来拍摄立体图像，这样可以在消除图像漂移的情况下减少感知深度，减轻视觉疲劳。

附图说明

图1是本发明的应用于头跟踪虚拟现实***的感知深度映射方法流程示意图；

图2是模型在深度方向上的缩放和水平方向上的斜切变换示意图。

具体实施方式

下面结合附图与实施例对本发明做进一步说明：

如图1所示，本发明的应用于头跟踪虚拟现实***的感知深度映射方法，包括：

步骤一：获取场景物体的立体图像，并判断场景物体的立体图像的头部状态是否发生变化，若未发生变化，则采用与用户双眼距离相同的相机轴距的双相机拍摄场景物体的立体图像；若发生变化，则进入下一步；

步骤二：调整双相机的0视差投影面到双相机中点位置的距离，使双相机中点到投影面的距离与物理显示屏幕到用户双眼中心的距离相同；

步骤三：根据屏幕尺寸和视点位置来确定感知深度适宜区，将投影面两侧场景物体沿深度方向进行缩放变换且向投影面做挤压，使场景深度范围位于确定的感知深度适宜区内；

步骤四：根据透视投影几何对场景物体进行斜切变换，利用双相机进行拍摄场景物体的立体图像。

进一步地，步骤三中将投影面两侧场景物体沿深度方向进行缩放变换的方法包括线性缩放变换映射和非线性缩放变换映射。

以被拍摄的物体为图2中所示的动物模型为例：

采用用户双眼距离相同的相机轴距的双相机来分别拍摄图2中所示的动物的左右眼图像进行立体显示该动物的图像，这样感知物体也就是被拍摄的物体为图2中所示的动物模型不产生变形，这样可以达到消除图像漂移现象的目的。其中，本实施例中将动物模型线性缩放变换映射和非线性缩放变换映射的具体过程为：

首先，以透视参考点为坐标原点，以投影面的中垂线为Z轴，以水平方向为X轴，竖直方向为Y轴建立坐标系；

然后，该动物模型的顶点坐标从(x,y,z)经过缩放和斜切变换后被变换到(x’,y’,z’)；以双相机中点在垂直于投影面并穿过投影面中心的轴线上的投影点为透视参考点，并依据该参考点来计算物体的斜切变换；

在该坐标空间内对图2中所示的动物模型进行沿深度方向上进行线性缩放变换映射，深度方向上的缩放变换为：

$z^{\′}=\frac{F-f^{\′}}{F-f}(z+F)-F$

投影面两侧场景物体在水平和垂直方向上的斜切变换为：

$\begin{array}{cc}{x}^{\′}=\frac{{\mathrm{xz}}^{\′}}{z},& y^{\′}=\frac{{\mathrm{yz}}^{\′}}{z}\end{array}$

其中，f为相机的远裁剪面距离，f'为感知深度适宜区的远边界到相机距离，F为双相机中点距离投影平面；

当投影面两侧场景物体沿深度方向进行非线性缩放变换映射时，在不同的深度处采用不同的压缩比率进行非线性缩放变换映射；当投影面两侧场景物体沿深度方向进行非线性缩放变换映射时，压缩比率随着投影面两侧场景物体与投影面距离的缩小而减小。

以透视参考点为坐标原点，以投影面的中垂线为Z轴，以水平方向为X轴，竖直方向为Y轴建立坐标系，模型顶点坐标从(x,y,z)经过缩放和斜切变换后被变换到(x’,y’,z’)；

在该坐标空间内对模型进行沿深度方向上进行非线性缩放变换映射，深度方向上的缩放变换为：

$z^{\′}=\frac{(F-f^{\′})(F-n^{\′})(2F-f-n)(z+F)}{\left(\right(F-f^{\′}\left)\right(F-n)-(F-n^{\′}\left)\right(F-f\left)\right)\left|z+F\right|+(2F-f^{\′}-n^{\′})(F-f)(F-n)}-F$

投影面两侧场景物体在水平和垂直方向上的斜切变换为：

$\begin{array}{cc}{x}^{\′}=\frac{{\mathrm{xz}}^{\′}}{z},& y^{\′}=\frac{{\mathrm{yz}}^{\′}}{z}\end{array}$

其中，f为相机的远裁剪面距离，n为近裁剪面距离，f',n'为感知深度适宜区的远近边界到相机距离，F为双相机中点到投影平面的距离。

本实施例中实现深度压缩，将虚拟场景进行缩放和斜切变换来减少感知深度，在消除图像漂移的情况下，最终达到减少感知深度，减轻视觉疲劳的目的。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种应用于头跟踪虚拟现实***的感知深度映射方法，其特征在于，包括：

步骤一：获取场景物体的立体图像，并判断场景物体的立体图像的头部状态是否发生变化，若未发生变化，则采用与用户双眼距离相同的相机轴距的双相机拍摄场景物体的立体图像；若发生变化，则进入下一步；

步骤二：调整双相机的0视差投影面到双相机中点位置的距离，使双相机中点到投影面的距离与物理显示屏幕到用户双眼中心的距离相同；

步骤三：根据屏幕尺寸和视点位置来确定感知深度适宜区，将投影面两侧场景物体沿深度方向进行缩放变换且向投影面做挤压，使场景深度范围位于确定的感知深度适宜区内；

步骤四：根据透视投影几何对场景物体进行斜切变换，利用双相机进行拍摄场景物体的立体图像。

2.如权利要求1所述的一种应用于头跟踪虚拟现实***的感知深度映射方法，其特征在于，所述步骤四中，以双相机中点在垂直于投影面并穿过投影面中心的轴线上的投影作为计算斜切变换的透视参考点。

3.如权利要求1所述的一种应用于头跟踪虚拟现实***的感知深度映射方法，其特征在于，所述步骤三中将投影面两侧场景物体沿深度方向进行缩放变换的方法包括线性缩放变换映射和非线性缩放变换映射。

4.如权利要求3所述的一种应用于头跟踪虚拟现实***的感知深度映射方法，其特征在于，以透视参考点为坐标原点，以投影面的中垂线为Z轴，以水平方向为X轴，竖直方向为Y轴建立坐标系，模型顶点坐标从(x,y,z)经过缩放和斜切变换后被变换到(x’,y’,z’)；

在该坐标空间内对模型进行沿深度方向上进行线性缩放变换映射，深度方向上的缩放变换为：

$z^{\′}=\frac{F-f^{\′}}{F-f}(z+F)-F$

其中，f为相机的远裁剪面距离，f'为感知深度适宜区的远边界到相机距离，F为双相机中点距离投影平面。

5.如权利要求4所述的一种应用于头跟踪虚拟现实***的感知深度映射方法，其特征在于，投影面两侧场景物体在水平和垂直方向上的斜切变换为：

$\begin{array}{cc}{x}^{\′}=\frac{{\mathrm{xz}}^{\′}}{z},& y^{\′}=\frac{{\mathrm{yz}}^{\′}}{z}\end{array}.$

6.如权利要求3所述的一种应用于头跟踪虚拟现实***的感知深度映射方法，其特征在于，当投影面两侧场景物体沿深度方向进行非线性缩放变换映射时，在不同的深度采用不同的压缩比率。

7.如权利要求6所述的一种应用于头跟踪虚拟现实***的感知深度映射方法，其特征在于，当投影面两侧场景物体沿深度方向进行非线性缩放变换映射时，压缩比率随着投影面两侧场景物体与投影面距离的缩小而减小。

8.如权利要求6所述的一种应用于头跟踪虚拟现实***的感知深度映射方法，其特征在于，以透视参考点为坐标原点，以投影面的中垂线为Z轴，以水平方向为X轴，竖直方向为Y轴建立坐标系，模型顶点坐标从(x,y,z)经过缩放和斜切变换后被变换到(x’,y’,z’)；

在该坐标空间内对模型沿深度方向上进行非线性缩放变换映射，深度方向上的缩放变换为：

$z^{\′}=\frac{(F-f^{\′})(F-n^{\′})(2F-f-n)(z+F)}{\left(\right(F-f^{\′}\left)\right(F-n)-(F-n^{\′}\left)\right(F-f\left)\right)\left|z+F\right|+(2F-f^{\′}-n^{\′})(F-f)(F-n)}-F$

其中，f为相机的远裁剪面距离，n为近裁剪面距离，f',n'分别为感知深度适宜区的远近边界到相机距离，F为双相机中点到投影平面的距离。

9.如权利要求8所述的一种应用于头跟踪虚拟现实***的感知深度映射方法，其特征在于，投影面两侧场景物体在水平和垂直方向上的斜切变换为：

$\begin{array}{cc}{x}^{\′}=\frac{{\mathrm{xz}}^{\′}}{z},& y^{\′}=\frac{{\mathrm{yz}}^{\′}}{z}\end{array}.$