CN102802015A - 一种立体图像视差优化方法 - Google Patents

Abstract

本发明提出了一种立体图像视差优化方法，其包括如下步骤：首先，在世界坐标系下，确定最小视差值Pmin和最大视差值Pmax；然后，将世界坐标系下的最小视差值Pmin和最大视差值Pmax转换成立体显示屏屏幕坐标系下的最小视差值P1min和最大视差值P1max；再后，计算虚拟物体距离观看者最近时的视差值所对应的偏移像素数目PNmin和虚拟物体距离观看者最远时的视差值所对应的偏移像素数目PNmax；最后，根据深度图计算左右视图中对应点之间偏移的像素个数PN，设置零深度层并对视差进行优化。本发明结合立体移动终端显示性能和人眼感知立体的生理机能，推导出了最佳视差范围，并将现有立体视频的视差按照该范围进行调节优化，提高了在移动终端上观看立体视频的舒适度。

Description

一种立体图像视差优化方法

技术领域

本发明属于视频成像技术领域，涉及视差优化方法，特别涉及一种在移动终端设备上裸眼观看立体视频时能够增加立体逼真效果的立体图像视差优化方法。

背景技术

2009年底3D电影《阿凡达》的热映，点燃了人们对3D电影的热情，接下来的几年间，3D电影无疑是大众和传媒领域关注的焦点，影片数量逐年递增。而随着市场对立体影视内容的渴求，也促使越来越多的公司制作立体视频，研发立体视频显示***及相关设备，在这期间各种具有立体显示功能的移动终端也应运而生，比如立体手机、立体数码相机、立体游戏机等。

目前，具有立体显示功能的移动终端有以下特点：一是裸眼3D不需要配戴眼镜，移动终端按分光法可分为狭缝式立体显示移动终端和透镜式立体显示移动终端；二是移动终端的显示屏幕的物理尺寸较小，并由此导致的观赏角度和距离较小；三是不同品牌的移动终端的裸眼立体显示屏的光学参数、显示屏幕尺寸，支持视频的分辨率都不相同。

从以上特点可知，移动终端立体显示范围小并且规格灵活多样。但是，目前3D片源的规格都是统一的，而且基本上是为了满足3D电视或者3D电脑显示器等大尺寸显示设备制作的立体视频。这样的立体视频的视差参数范围，在大尺寸的显示设备上观看会有很好的效果。而如果把大尺寸立体片源进行简单的大比例下采样后，放在较小的立体移动终端上欣赏，视差信息不会随着下采样的比例线性变化，会发生错乱，立体失真的现象，从而影响立体图像的显示质量和观看舒适度。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种立体图像视差优化方法。

为了实现本发明的上述目的，本发明提供了一种立体图像视差优化方法，其包括如下步骤：

S1：在世界坐标系下，确定最小视差值Pmin和最大视差值Pmax，所述最小视差值Pmin是与最小辐辏距离Lmin对应的视差值，所述最大视差值Pmax是与最大辐辏距离Lmax对应的视差值；

S2：将世界坐标系下的最小视差值Pmin和最大视差值Pmax转换成立体显示屏屏幕坐标系下的最小视差值P1min和最大视差值P1max；

S3：计算虚拟物体距离观看者最近时的视差值所对应的偏移像素数目PNmin和虚拟物体距离观看者最远时的视差值所对应的偏移像素数目PNmax；

S4：根据深度图计算左右视图中对应点之间偏移的像素个数PN，设置零深度层并对视差进行优化。

本发明结合立体移动终端显示性能和人眼感知立体的生理机能，推导出了最佳视差范围，并将现有立体视频的视差按照该范围进行调节优化，提高了在移动终端上观看立体视频的舒适度。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是现有技术中辐辏和焦点调节的两种情况；

图2是处于最佳观赏距离时最大视差与最小视差的对比图；

图3是本发明立体图像视差优化方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

为了更好的理解本发明，首先对人眼感知立体的原理和视疲劳的原因作一介绍。人眼间距大约65mm，观看物体时，双眼从稍有不同的两个角度去观看客观三维世界的景物，由于光学的投影，离观察者不同距离的像点落在左右眼视网膜相应的不同位置上，通过神经网络的融合在人脑中形成立体视觉，而双眼视网膜上的水平位差即为双目视差。

双眼所具有的辐辏和调节功能给视觉***对事物深度和空间感知提供了极其细微的分辨能力，而辐辏与焦点调节不一致是产生视疲劳的主要原因，在现实世界中，辐辏与焦点调节是一致的，如图1左图所示。而在观看立体图像时，如图1的右图所示，如果视差的大小在视神经网络能够融合的范围内，辐辏和焦点调节虽然不一致，仍可以把左右眼视差图像融合成一幅立体图像，使观看者感受到立体深度感，但辐辏和焦点调节不一致所引起的视疲劳是不可消除的，只能尽可能减小。

如图2所示，当改变一幅立体图像的尺寸时，相对视差也随着图像的尺寸变化而变化，然而由于人双眼间的距离不变，在大屏幕、远距离观看立体视频的视差范围与小屏幕、近距离通过移动终端观看立体视频时的视差范围不同。

为了得出立体视频的最佳观赏视差范围，本发明提出了一种立体图像视差优化方法，如图3所示，该立体图像视差优化方法包括如下步骤：

S1：在世界坐标系下，确定最小视差值Pmin和最大视差值Pmax，所述最小视差值Pmin是与最小辐辏距离Lmin对应的视差值，所述最大视差值Pmax是与最大辐辏距离Lmax对应的视差值；

S2：将世界坐标系下的最小视差值Pmin和最大视差值Pmax转换成立体显示屏屏幕坐标系下的最小视差值P1min和最大视差值P1max；

S3：计算虚拟物体距离观看者最近时的视差值所对应的偏移像素数目PNmin和虚拟物体距离观看者最远时的视差值所对应的偏移像素数目PNmax；

S4：根据深度图计算左右视图中对应点之间偏移的像素个数PN，设置零深度层并对视差进行优化。

在世界坐标系下，当人们在移动终端观看立体视频时，常常会被设备提示，距离屏幕30厘米至40厘米观赏为佳。在实施方式中，假设最佳观赏距离是40厘米，即调节距离H=40cm，最小辐辏距离Lmin为28cm，最大辐辏距离Lmax为80cm。取两眼之间的距离O=6.5cm，与最小辐辏距离和最大辐辏距离对应的视差值分别记为Pmin和Pmax，视差值为左视点坐标减去右视点坐标，规定左视点到右视点为正方向。在本实施方式中，最小视差值Pmin取为-2.7cm，最大视差值Pmax为取3.25cm，即用如下公式计算，如图2所示：

$P\min =(H-L\min )*\frac{O}{L\min }=-2.7\mathrm{cm}---\left(1\right)$

$P\max =(L\max -H)*\frac{O}{L\max }=3.25\mathrm{cm}---\left(2\right)$

当视差值为负值时，感觉虚拟物体在屏幕前方；当视差为正值时，感觉虚拟物体在屏幕的后方。当视差值为零时，感觉虚拟物体在屏幕表面。当视差值在最小视差和最大视差值之间时，人们能够舒适的观看立体视频，体验到较好的立体效果。

根据立体视觉双目视差原理，从真实物体到人眼感受到的虚拟物体间的映射关系包含四步坐标系变换，即，首先，从真实物体的空间坐标系转换到摄像机空间坐标系；其次，从摄像机空间坐标系转换到摄像机二维坐标系，即CCD坐标系接着，从摄像机二维坐标系转换到立体显示器的屏幕坐标系；最后，从屏幕坐标系转换到人眼感受到的立体虚拟物体坐标系。

利用坐标系转换方法将世界坐标系下的视差值转换到立体显示屏的屏幕坐标系，在转换的过程中，结合移动终端屏幕的宽度W和高度H的尺寸，将世界坐标系下的最小视差值Pmin和最大视差值Pmax转换成立体显示屏屏幕坐标系下的最小视差值P1min和最大视差值P1max。

这样不同尺寸的显示屏幕就会得到不同大小的视差范围，这就为不同显示尺寸的移动终端，确定了一个最佳的视差范围，给后续视差调节，提供了依据，在本实施方式中，根据不同移动终端显示性能，得到虚拟物体距离观看者最近时的视差值所对应的同一像素在左右视图中的偏移像素数目PNmin和虚拟物体距离观看者最远时的视差值所对应的同一像素在左右视图中的偏移像素数目PNmax。

具体计算方法为：

$\frac{P1\min }{\mathrm{PN}\min }=\frac{W}{\mathrm{Wpic}}---\left(3\right)$

$\frac{P1\max }{\mathrm{PN}\max }=\frac{W}{\mathrm{Wpic}}---\left(4\right)$

其中，W为移动终端显示屏物理尺寸的宽度；

Wpic为移动终端的图像分辨率的宽度，为图像宽度的像素个数；

为移动终端像素的密度，即为每厘米包含的像素个数。。

根据以上结果，利用深度图计算左右视图中对应点之间偏移像素数目：

$\mathrm{PN}={\mathrm{PN}}_{\min }+\frac{\mathrm{di}({\mathrm{PN}}_{\max }-{\mathrm{PN}}_{\min })}{255}---\left(5\right)$

其中，PN为与视差对应的偏移像素数目，di为每个像素对应的深度值，该值的范围是0至255，0代表物体距离人最远，255代笔物体距离人最近。

观看立体手机，距离较近，越近的观赏距离，使人的眼睛难受。因此应该减少负视差，降低突出屏幕的立体效果。

本发明取深度空间的参数125，作为零深度层，位于该深度层的像素的视差值设为零，处于零深度层之前的像素是突出的效果；处于零深度层之后的像素是凹陷的效果。将左视图根据式（5）所得的视差值，整体减小PN_O。

${\mathrm{PN}}_O={\mathrm{PN}}_{\min }+\frac{125\×({\mathrm{PN}}_{\max }-{\mathrm{PN}}_{\min })}{255}---\left(6\right)$

PN_O是视差优化之前，零深度层应该偏移的视差值所对应的偏移像素数目。

本发明结合立体移动终端的动终端的长度、宽度和像素点数量等显示性能和人眼感知立体的生理机能，推导出了最佳视差范围，并将现有立体视频的视差按照该范围进行调节优化，提高了在移动终端上观看立体视频的舒适度。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (6)

1.一种立体图像视差优化方法，其特征在于，包括如下步骤：

S1：在世界坐标系下，确定最小视差值Pmin和最大视差值Pmax，所述最小视差值Pmin是与最小辐辏距离Lmin对应的视差值，所述最大视差值Pmax是与最大辐辏距离Lmax对应的视差值；

S2：将世界坐标系下的最小视差值Pmin和最大视差值Pmax转换成立体显示屏屏幕坐标系下的最小视差值P1min和最大视差值P1max；

S3：计算虚拟物体距离观看者最近时的视差值所对应的偏移像素数目PNmin和虚拟物体距离观看者最远时的视差值所对应的偏移像素数目PNmax；

S4：根据深度图计算左右视图中对应点之间偏移的像素个数PN，设置零深度层并对视差进行优化。

2.如权利要求1所述的立体图像视差优化方，其特征在于，所述最小辐辏距离Lmin为28cm，所述最大辐辏距离Lmax为80cm。

3.如权利要求1所述的立体图像视差优化方，其特征在于，所述最小视差值Pmin为-2.7cm，所述最大视差值Pmax为3.25cm。

4.如权利要求1所述的立体图像视差优化方，其特征在于，计算虚拟物体距离观看者最近时的视差值所对应的偏移像素数目PNmin和虚拟物体距离观看者最远时的视差值所对应的偏移像素数目PNmax的方法为：

$\frac{P1\min }{\mathrm{PN}\min }=\frac{W}{\mathrm{Wpic}}$

$\frac{P1\max }{\mathrm{PN}\max }=\frac{W}{\mathrm{Wpic}}$

其中，W为移动终端的宽度；Wpic为移动终端的立体视频的分辨率，即视频宽度方向的像素点数量。

5.如权利要求1所述的立体图像视差优化方，其特征在于，根据深度图计算左右视图中对应点之间偏移的像素点个数PN的方法为：

$\mathrm{PN}={\mathrm{PN}}_{\min }+\frac{\mathrm{di}({\mathrm{PN}}_{\max }-{\mathrm{PN}}_{\min })}{255}$

其中，di是立体视频中第i个像素的深度值。

6.如权利要求5所述的立体图像视差优化方，其特征在于，所述立体视频中第i个像素的深度值di的取值范围为0≤di≤255。

Images