CN105072433A - 应用于头跟踪虚拟现实***的感知深度映射方法 - Google Patents
应用于头跟踪虚拟现实***的感知深度映射方法 Download PDFInfo
- Publication number
- CN105072433A CN105072433A CN201510519808.5A CN201510519808A CN105072433A CN 105072433 A CN105072433 A CN 105072433A CN 201510519808 A CN201510519808 A CN 201510519808A CN 105072433 A CN105072433 A CN 105072433A
- Authority
- CN
- China
- Prior art keywords
- prime
- camera
- distance
- perspective plane
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了应用于头跟踪虚拟现实***的感知深度映射方法,包括步骤一:获取场景物体的立体图像,判断场景物体的立体图像的头部状态是否发生变化,若未发生变化,则采用与用户双眼距离相同的相机轴距的双相机拍摄场景物体的立体图像;若发生变化,则进入下一步;步骤二:调整双相机的0视差投影面到双相机中点位置的距离,使双相机中点到投影面的距离与物理显示屏幕到用户双眼中心的距离相同;步骤三:根据屏幕尺寸和视点位置确定感知深度适宜区,将投影面两侧场景物体沿深度方向进行缩放变换且向投影面做挤压,使场景深度范围位于确定的感知深度适宜区内;步骤四:根据透视投影几何对场景物体进行斜切变换,利用双相机拍摄场景物体的立体图像。
Description
技术领域
本发明涉及计算机多媒体领域,尤其涉及一种应用于头跟踪虚拟现实***的感知深度映射方法。
背景技术
立体显示是通过模拟人类双眼视觉的图像视差,使观看者在观看图像时形成纵深的视觉感知。在虚拟现实***中,立体显示可有效的增强真实感和沉浸性。但是在立体显示中,由于人眼辐辏和聚焦的冲突,也会造成视觉疲劳。在软件上解决视觉疲劳的最好方法是通过减小双眼图像的视差来来减少辐辏和聚焦的冲突。视差减少意味着感知深度也会减少。因此当观看者在观看立体图像时,有一个适宜的感知深度范围。将感知深度压缩到适宜的感知深度范围之内的方法称为深度映射。
在虚拟现实***中,传统的深度压缩方法是通过减小双眼相机的轴距来实现深度映射。但是由于深度映射会导致感知物体产生两个方向上的变形:一是沿观看方向产生挤压变形是物体看起来趋于扁平;二是感知物体以双眼相机的中心线作为基准位置发生斜切变形。在头跟踪***中,由于拍摄立体图像的双眼相机随着头部的运动而运动,感知物体的斜切变形的基准线也会随着头部的运动而运动,从而导致感知图像会随着头部的运动而移动,这种图像的移动称之为“图像漂移”。
发明内容
为了解决传统的深度映射方法在头跟踪***中产生的图像漂移问题,本发明提供了一种应用于头跟踪虚拟现实***的感知深度映射方法。该方法利用与实际双眼距离相同的相机轴距来拍摄图像,利用固定的斜切变形基准线对虚拟场景进行深度压缩变换。该方法不仅可以消除头跟踪虚拟现实***中的图像漂移问题,还可以灵活的实现线性和非线性深度映射。
为了实现上述目的,本发明采用以下技术方案:
一种应用于头跟踪虚拟现实***的感知深度映射方法,包括:
步骤一:获取场景物体的立体图像,并判断场景物体的立体图像的头部状态是否发生变化,若未发生变化,则采用与用户双眼距离相同的相机轴距的双相机拍摄场景物体的立体图像;若发生变化,则进入下一步;
步骤二:调整双相机的0视差投影面到双相机中点位置的距离,使双相机中点到投影面的距离与物理显示屏幕到用户双眼中心的距离相同;
步骤三:根据屏幕尺寸和视点位置来确定感知深度适宜区,将投影面两侧场景物体沿深度方向进行缩放变换且向投影面做挤压,使场景深度范围位于确定的感知深度适宜区内;
步骤四:根据透视投影几何对场景物体进行斜切变换,利用双相机进行拍摄场景物体的立体图像。
所述步骤四中,以双相机中点在垂直于投影面并穿过投影面中心的轴线上的投影作为计算斜切变换的透视参考点。
所述步骤三中将投影面两侧场景物体沿深度方向进行缩放变换的方法包括线性缩放变换映射和非线性缩放变换映射。
以透视参考点为坐标原点,以投影面的中垂线为Z轴,以水平方向为X轴,竖直方向为Y轴建立坐标系,模型顶点坐标从(x,y,z)经过缩放和斜切变换后被变换到(x’,y’,z’);
在该坐标空间内对模型进行沿深度方向上进行线性缩放变换映射,深度方向上的缩放变换为:
其中,f为相机的远裁剪面距离,f'为感知深度适宜区的远边界到相机距离,F为双相机中点距离投影平面。
投影面两侧场景物体在水平和垂直方向上的斜切变换为:
当投影面两侧场景物体沿深度方向进行非线性缩放变换映射时,在不同的深度采用不同的压缩比率。
当投影面两侧场景物体沿深度方向进行非线性缩放变换映射时,压缩比率随着投影面两侧场景物体与投影面距离的缩小而减小。
以透视参考点为坐标原点,以投影面的中垂线为Z轴,以水平方向为X轴,竖直方向为Y轴建立坐标系,模型顶点坐标从(x,y,z)经过缩放和斜切变换后被变换到(x’,y’,z’);
在该坐标空间内对模型沿深度方向上进行非线性缩放变换映射,深度方向上的缩放变换为:
其中,f为相机的远裁剪面距离,n为近裁剪面距离,f',n'分别为感知深度适宜区的远近边界到相机距离,F为双相机中点到投影平面的距离。
投影面两侧场景物体在水平和垂直方向上的斜切变换为:
本发明的有益效果:
(1)当实际观看者双眼距离和拍摄立体图像的相机轴距相等时,感知物体不产生变形,因此在头跟踪***中,本发明采用和实际用户的双眼距离相同的相机轴距来拍摄立体图像可以消除图像漂移现象。
(2)为了实现深度压缩,本发明将虚拟场景进行缩放和斜切变换来减少感知深度,同时采用和用户双眼距离相同的相机轴距来拍摄立体图像,这样可以在消除图像漂移的情况下减少感知深度,减轻视觉疲劳。
附图说明
图1是本发明的应用于头跟踪虚拟现实***的感知深度映射方法流程示意图;
图2是模型在深度方向上的缩放和水平方向上的斜切变换示意图。
具体实施方式
下面结合附图与实施例对本发明做进一步说明:
如图1所示,本发明的应用于头跟踪虚拟现实***的感知深度映射方法,包括:
步骤一:获取场景物体的立体图像,并判断场景物体的立体图像的头部状态是否发生变化,若未发生变化,则采用与用户双眼距离相同的相机轴距的双相机拍摄场景物体的立体图像;若发生变化,则进入下一步;
步骤二:调整双相机的0视差投影面到双相机中点位置的距离,使双相机中点到投影面的距离与物理显示屏幕到用户双眼中心的距离相同;
步骤三:根据屏幕尺寸和视点位置来确定感知深度适宜区,将投影面两侧场景物体沿深度方向进行缩放变换且向投影面做挤压,使场景深度范围位于确定的感知深度适宜区内;
步骤四:根据透视投影几何对场景物体进行斜切变换,利用双相机进行拍摄场景物体的立体图像。
进一步地,步骤三中将投影面两侧场景物体沿深度方向进行缩放变换的方法包括线性缩放变换映射和非线性缩放变换映射。
以被拍摄的物体为图2中所示的动物模型为例:
采用用户双眼距离相同的相机轴距的双相机来分别拍摄图2中所示的动物的左右眼图像进行立体显示该动物的图像,这样感知物体也就是被拍摄的物体为图2中所示的动物模型不产生变形,这样可以达到消除图像漂移现象的目的。其中,本实施例中将动物模型线性缩放变换映射和非线性缩放变换映射的具体过程为:
首先,以透视参考点为坐标原点,以投影面的中垂线为Z轴,以水平方向为X轴,竖直方向为Y轴建立坐标系;
然后,该动物模型的顶点坐标从(x,y,z)经过缩放和斜切变换后被变换到(x’,y’,z’);以双相机中点在垂直于投影面并穿过投影面中心的轴线上的投影点为透视参考点,并依据该参考点来计算物体的斜切变换;
在该坐标空间内对图2中所示的动物模型进行沿深度方向上进行线性缩放变换映射,深度方向上的缩放变换为:
投影面两侧场景物体在水平和垂直方向上的斜切变换为:
其中,f为相机的远裁剪面距离,f'为感知深度适宜区的远边界到相机距离,F为双相机中点距离投影平面;
当投影面两侧场景物体沿深度方向进行非线性缩放变换映射时,在不同的深度处采用不同的压缩比率进行非线性缩放变换映射;当投影面两侧场景物体沿深度方向进行非线性缩放变换映射时,压缩比率随着投影面两侧场景物体与投影面距离的缩小而减小。
以透视参考点为坐标原点,以投影面的中垂线为Z轴,以水平方向为X轴,竖直方向为Y轴建立坐标系,模型顶点坐标从(x,y,z)经过缩放和斜切变换后被变换到(x’,y’,z’);
在该坐标空间内对模型进行沿深度方向上进行非线性缩放变换映射,深度方向上的缩放变换为:
投影面两侧场景物体在水平和垂直方向上的斜切变换为:
其中,f为相机的远裁剪面距离,n为近裁剪面距离,f',n'为感知深度适宜区的远近边界到相机距离,F为双相机中点到投影平面的距离。
本实施例中实现深度压缩,将虚拟场景进行缩放和斜切变换来减少感知深度,在消除图像漂移的情况下,最终达到减少感知深度,减轻视觉疲劳的目的。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (9)
1.一种应用于头跟踪虚拟现实***的感知深度映射方法,其特征在于,包括:
步骤一:获取场景物体的立体图像,并判断场景物体的立体图像的头部状态是否发生变化,若未发生变化,则采用与用户双眼距离相同的相机轴距的双相机拍摄场景物体的立体图像;若发生变化,则进入下一步;
步骤二:调整双相机的0视差投影面到双相机中点位置的距离,使双相机中点到投影面的距离与物理显示屏幕到用户双眼中心的距离相同;
步骤三:根据屏幕尺寸和视点位置来确定感知深度适宜区,将投影面两侧场景物体沿深度方向进行缩放变换且向投影面做挤压,使场景深度范围位于确定的感知深度适宜区内;
步骤四:根据透视投影几何对场景物体进行斜切变换,利用双相机进行拍摄场景物体的立体图像。
2.如权利要求1所述的一种应用于头跟踪虚拟现实***的感知深度映射方法,其特征在于,所述步骤四中,以双相机中点在垂直于投影面并穿过投影面中心的轴线上的投影作为计算斜切变换的透视参考点。
3.如权利要求1所述的一种应用于头跟踪虚拟现实***的感知深度映射方法,其特征在于,所述步骤三中将投影面两侧场景物体沿深度方向进行缩放变换的方法包括线性缩放变换映射和非线性缩放变换映射。
4.如权利要求3所述的一种应用于头跟踪虚拟现实***的感知深度映射方法,其特征在于,以透视参考点为坐标原点,以投影面的中垂线为Z轴,以水平方向为X轴,竖直方向为Y轴建立坐标系,模型顶点坐标从(x,y,z)经过缩放和斜切变换后被变换到(x’,y’,z’);
在该坐标空间内对模型进行沿深度方向上进行线性缩放变换映射,深度方向上的缩放变换为:
其中,f为相机的远裁剪面距离,f'为感知深度适宜区的远边界到相机距离,F为双相机中点距离投影平面。
5.如权利要求4所述的一种应用于头跟踪虚拟现实***的感知深度映射方法,其特征在于,投影面两侧场景物体在水平和垂直方向上的斜切变换为:
6.如权利要求3所述的一种应用于头跟踪虚拟现实***的感知深度映射方法,其特征在于,当投影面两侧场景物体沿深度方向进行非线性缩放变换映射时,在不同的深度采用不同的压缩比率。
7.如权利要求6所述的一种应用于头跟踪虚拟现实***的感知深度映射方法,其特征在于,当投影面两侧场景物体沿深度方向进行非线性缩放变换映射时,压缩比率随着投影面两侧场景物体与投影面距离的缩小而减小。
8.如权利要求6所述的一种应用于头跟踪虚拟现实***的感知深度映射方法,其特征在于,以透视参考点为坐标原点,以投影面的中垂线为Z轴,以水平方向为X轴,竖直方向为Y轴建立坐标系,模型顶点坐标从(x,y,z)经过缩放和斜切变换后被变换到(x’,y’,z’);
在该坐标空间内对模型沿深度方向上进行非线性缩放变换映射,深度方向上的缩放变换为:
其中,f为相机的远裁剪面距离,n为近裁剪面距离,f',n'分别为感知深度适宜区的远近边界到相机距离,F为双相机中点到投影平面的距离。
9.如权利要求8所述的一种应用于头跟踪虚拟现实***的感知深度映射方法,其特征在于,投影面两侧场景物体在水平和垂直方向上的斜切变换为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510519808.5A CN105072433B (zh) | 2015-08-21 | 2015-08-21 | 应用于头跟踪虚拟现实***的感知深度映射方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510519808.5A CN105072433B (zh) | 2015-08-21 | 2015-08-21 | 应用于头跟踪虚拟现实***的感知深度映射方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105072433A true CN105072433A (zh) | 2015-11-18 |
CN105072433B CN105072433B (zh) | 2017-03-22 |
Family
ID=54501701
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510519808.5A Expired - Fee Related CN105072433B (zh) | 2015-08-21 | 2015-08-21 | 应用于头跟踪虚拟现实***的感知深度映射方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105072433B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106228530A (zh) * | 2016-06-12 | 2016-12-14 | 深圳超多维光电子有限公司 | 一种立体摄影方法、装置及立体摄影设备 |
CN106251403A (zh) * | 2016-06-12 | 2016-12-21 | 深圳超多维光电子有限公司 | 一种虚拟立体场景实现的方法、装置和*** |
WO2018133312A1 (zh) * | 2017-01-19 | 2018-07-26 | 华为技术有限公司 | 一种处理的方法及设备 |
GB2565140A (en) * | 2017-08-04 | 2019-02-06 | Nokia Technologies Oy | Virtual reality video processing |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1897715A (zh) * | 2006-05-31 | 2007-01-17 | 北京航空航天大学 | 立体视觉半实物仿真***及方法 |
EP2615580A1 (en) * | 2012-01-13 | 2013-07-17 | Softkinetic Software | Automatic scene calibration |
CN103260015A (zh) * | 2013-06-03 | 2013-08-21 | 程志全 | 基于RGB-Depth摄像头的三维可视监控*** |
-
2015
- 2015-08-21 CN CN201510519808.5A patent/CN105072433B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1897715A (zh) * | 2006-05-31 | 2007-01-17 | 北京航空航天大学 | 立体视觉半实物仿真***及方法 |
EP2615580A1 (en) * | 2012-01-13 | 2013-07-17 | Softkinetic Software | Automatic scene calibration |
US20150181198A1 (en) * | 2012-01-13 | 2015-06-25 | Softkinetic Software | Automatic Scene Calibration |
CN103260015A (zh) * | 2013-06-03 | 2013-08-21 | 程志全 | 基于RGB-Depth摄像头的三维可视监控*** |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106228530A (zh) * | 2016-06-12 | 2016-12-14 | 深圳超多维光电子有限公司 | 一种立体摄影方法、装置及立体摄影设备 |
CN106251403A (zh) * | 2016-06-12 | 2016-12-21 | 深圳超多维光电子有限公司 | 一种虚拟立体场景实现的方法、装置和*** |
CN106251403B (zh) * | 2016-06-12 | 2018-02-16 | 深圳超多维光电子有限公司 | 一种虚拟立体场景实现的方法、装置和*** |
WO2018133312A1 (zh) * | 2017-01-19 | 2018-07-26 | 华为技术有限公司 | 一种处理的方法及设备 |
GB2565140A (en) * | 2017-08-04 | 2019-02-06 | Nokia Technologies Oy | Virtual reality video processing |
US10681276B2 (en) | 2017-08-04 | 2020-06-09 | Nokia Technologies Oy | Virtual reality video processing to compensate for movement of a camera during capture |
Also Published As
Publication number | Publication date |
---|---|
CN105072433B (zh) | 2017-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7983477B2 (en) | Method and apparatus for generating a stereoscopic image | |
JP4918689B2 (ja) | メッシュマップを用いて二次元画像から立体画像を生成する立体画像生成方法及び立体画像生成装置 | |
CN103941851B (zh) | 一种实现虚拟触摸校准的方法以及*** | |
US11190756B2 (en) | Head-mountable display system | |
US20150339844A1 (en) | Method and apparatus for achieving transformation of a virtual view into a three-dimensional view | |
AU2018249563B2 (en) | System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display | |
KR102564479B1 (ko) | 사용자의 눈을 위한 3d 렌더링 방법 및 장치 | |
KR101697181B1 (ko) | 사용자의 시선 추적을 이용한 영상 처리 장치 및 방법 | |
CN105072433A (zh) | 应用于头跟踪虚拟现实***的感知深度映射方法 | |
CN114022565A (zh) | 用于显示设备的对齐方法及对齐装置、车载显示*** | |
EP4068768A1 (en) | 3d display apparatus and 3d image display method | |
CN111275801A (zh) | 一种三维画面渲染方法及装置 | |
CN104599308B (zh) | 一种基于投射的动态贴图方法 | |
CN104134235A (zh) | 真实空间和虚拟空间的融合方法和融合*** | |
WO2020048461A1 (zh) | 三维立体显示方法、终端设备及存储介质 | |
CN103747236A (zh) | 结合人眼跟踪的立体视频处理***及方法 | |
CN110622106B (zh) | 用于音频处理的装置和方法 | |
KR102113285B1 (ko) | 평행축 방식의 양안 카메라 시스템에서 근거리 물체의 입체영상을 위한 영상처리 방법 및 장치 | |
CN102510503B (zh) | 一种立体显示方法及立体显示设备 | |
US10296098B2 (en) | Input/output device, input/output program, and input/output method | |
GB2566276A (en) | A method of modifying an image on a computational device | |
JP6168597B2 (ja) | 情報端末装置 | |
US10110876B1 (en) | System and method for displaying images in 3-D stereo | |
CN106484850B (zh) | 全景地图显示方法和装置 | |
Kurka et al. | Automatic estimation of camera parameters from a solid calibration box |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170322 Termination date: 20180821 |