CN103813153A - 一种基于加权求和的裸眼3d多视点图像合成方法 - Google Patents

Abstract

一种基于加权求和的裸眼3D多视点图像合成方法涉及裸眼3D显示领域。本发明首先确定2D显示屏上给定的RGB子像素应该取自哪个视点的RGB分量，得到的视点子像素映射矩阵应保持其非整特性。将各幅视差图像进行放大插值，使各视差图像的分辨率与合成图像的相同。根据得到的视点子像素映射矩阵Q，利用加权求和思想，对所有RGB子像素的灰度值进行加权计算。因在裸眼3D显示中主要关心水平方向的视差量，因此本发明中涉及的加权求和过程仅考虑在水平方向上进行。本发明可有效消除立体显示中物体边缘的锯齿现象，解决相邻视点间过渡生硬的问题，有效改善观看者在平行于屏幕水平移动时的运动视差感受，提高立体观看舒适度。

Description

一种基于加权求和的裸眼3D多视点图像合成方法

技术领域

本发明涉及裸眼3D显示领域，尤其涉及裸眼3D显示中的多视点图像合成方法。

背景技术

裸眼3D显示是不需要辅助设备（如佩戴红蓝、偏振、快门眼镜或者液晶头盔等）的一种显示技术，它在航空航天、军事、医学、广告设计和娱乐互动等领域均有广泛的应用背景。

目前，裸眼3D显示的主流技术有两种：狭缝光栅和柱镜光栅。狭缝光栅是由透光和挡光的光栅条组成，通过对光线的遮挡作用，来实现不同视点图像的空间分离；而柱镜光栅是利用柱面透镜对光线的折射作用，使光线在空间发生偏转，从而实现与狭缝光栅相似的效果，这两种方式都属于空间复用的裸眼3D显示技术。

但是，为了实现观看者的左右眼能看到来自于不同视点图像的信息，需要对2D显示屏上的图像进行视差图像合成。图像合成是指将多幅视差图像的子像素按照光栅与显示屏之间的光学结构，以一定规律排列生成图像的过程。对于每个视点的视图，在融合生成一幅立体图像时，并非所有像素都对融合后的立体图像有贡献，图像融合处理只选取了每个视点视图中的一部分信息，并将其提取出来，最后融合成一幅立体图像。

只有观看者左右眼从不同角度透过光栅观看显示在2D显示屏上的合成图像时，由于狭缝光栅的遮挡作用或者柱镜光栅的折射作用，才使得左右眼分别接收到来自于不同视差图像的信息，进而通过大脑的融合机制产生立体视觉。

发明内容

本发明给出了一种基于加权求和的裸眼3D视差图像合成方法，包括如下步骤：

1.首先确定2D显示屏上给定的RGB子像素应该取自哪个视点的RGB分量，式（1）给出了视点子像素映射矩阵的计算公式：

$Q=\frac{(k+k_{\mathrm{off}}-3l\tan \mathrm{\α})\mathrm{mod}X}{X}{N}_{\mathrm{tot}}---\left(1\right)$

其中，(k,l)为RGB子像素的坐标位置，k_off表示2D显示屏左上边缘与光栅单元边缘点的水平位移量，α为光栅轴相对于LCD显示屏垂直轴的倾斜夹角，X为一个光栅周期在水平方向上覆盖RGB子像素的个数，mod为取余操作，N_tot表示总视点个数，也就是参与合成的视差图像数量。

那么，根据公式（1）可计算出2D显示屏上的每个子像素的灰度值应该取自哪幅视差图像的相应坐标位置的灰度值。值得注意的是，得到的每个子像素所对应的视点数Q通常并非整数，但研究学者均先对视点数Q进行四舍五入的取整操作，再进行后续的采样操作。然而，本发明认为对视点子像素映射矩阵进行取整操作是人为损失了立体图像信息，会导致物体边缘发生锯齿效应，且会使视点间过渡生硬，影响观看者的运动视差感受。本发明认为视点子像素映射矩阵应保持其非整特性，且可利用其小数所蕴含的权重信息，针对某个子像素的灰度值，对相应的两视点灰度进行加权求和，具体将在第3步中给出。

2.将各幅视差图像进行放大插值，使各视差图像的分辨率与合成图像的相同。

3.根据第1步中得到的视点子像素映射矩阵Q，利用加权求和思想，对所有RGB子像素的灰度值进行加权计算。因在裸眼3D显示中主要关心水平方向的视差量，因此本发明中涉及的加权求和过程仅考虑在水平方向上进行。那么，2D显示屏上每个子像素的灰度值可有如下公式：

R(k,l)=I(k,l,i)×(1-ξ)+I(k,l,i+1)×ξ       （2）

其中，R为合成图像中坐标位置为(k,l)的子像素灰度值，I为某幅视差图像（I中的第三个变量i为视点数）在相应位置的灰度值，ξ为权重系数，且可有以下关系成立：

$\left\{\begin{array}{c}i=\mathrm{floor}\left(Q\right)\\ \mathrm{\ξ}=Q-i\end{array}\right.---\left(3\right)$

其中，floor()为下取整函数，若i=0，则令i=N_tot。

公式（3）中，根据视点数Q的小数值并按照线性关系来分配相邻视点图像在给定子像素位置分别应该贡献的灰度值。除此之外，凡在本发明创造的精神和原则之内对权重系数所作的任何修改和改进等，均应包含在本发明创造的保护范围之内。

为了便于理解，下面举例说明，若计算某子像素所对应的视点数Q=6.4，那么，根据公式（2）可得该子像素的灰度值应为：

灰度值=第6个视点的灰度值×0.6+第7个视点的灰度值×0.4   （4）

而不是传统的：

灰度值=第6个视点的灰度值×1      （5）

本发明的有益效果：

本发明可有效消除立体显示中物体边缘的锯齿现象，解决相邻视点间过渡生硬的问题，有效改善观看者在平行于屏幕水平移动时的运动视差感受，提高立体观看舒适度。

附图说明

下面结合附图对本发明进一步说明。

图1是本发明的流程图。

图2是视点子像素映射关系示意图。

图3是传统方法得到的视点子像素映射矩阵实施例。

图4是本发明得到的视点子像素映射矩阵实施例。

图5是传统方法的合成图像实施例。

图6是本发明的合成图像实施例。

图7是传统方法的立体图像实际拍摄效果图。

图8是图7中的矩形框区域放大图。

图9是本发明获得的立体图像的实际拍摄效果图。

图10是图9中的矩形框区域放大图。

具体实施方式

图1为本发明的流程图，可分为三个步骤：1）计算视点子像素映射矩阵，保持视点数的非整特性；2）将各幅视差图像进行缩放，使其与合成图像的分辨率一致；3）利用加权求和思想，对2D显示屏上的子像素灰度值进行依次赋值。

图2为视点子像素映射关系示意图，其中，1为2D显示屏左上边缘与光栅单元边缘点的水平位移量k_off，2为一个光栅周期在水平方向上所覆盖的RGB子像素个数X，3为光栅轴相对于LCD显示屏垂直轴的倾斜夹角α，4为RGB子像素的坐标位置(k,l)。

下面结合具体实施例对本发明做进一步说明：当α=arctan(0.2468)，N_tot=8，X=8.0025时，图3和图4分别给出了按照传统方法和按照本发明的方法获得的视点子像素映射矩阵。其中，图中的细长方格代表一个子像素，每个细长方格中的数字为该子像素所对应的视点数，也就是矩阵Q中的值。图3是经过对图4中的值进行四舍五入取整后得到的。

图5和图6分别给出了按照传统方法和本发明涉及的方法，计算得到的8视点的合成图像，其中，物体为奥迪车标。在获得合成图像之后，便可以将其输入到裸眼3D显示***中，观察者在显示屏前方便可以看到立体效果。

为了说明本发明相比于传统合成方法的优势，图7和图9分别给出了传统合成方式和本发明的合成方法所拍摄的立体图像显示效果。这里值得说明的是，因裸眼3D显示***是基于双目视差原理，即通过人双眼所看到的具有不同水平视差的图像，进而在大脑中融合出立体图像。因此，这里采用相机拍摄到的图像仅能近似表示单眼的视网膜上所看到的图像信息。图8和图10分别是对图7和图9的矩形框区域放大后的效果图。对比图8和图10，可以明显发现，利用本发明涉及的方法进行合成后，显示效果有明显改善，表现为：物体边缘的锯齿现象减轻，彩色颗粒感减弱，图像变得平滑。这样的话，在观看者水平移动时可以看到不同视点图像的平滑过渡，从而提高运动视差感受，提高立体观看舒适度

以上所述仅为本发明创造的较佳实施例，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。

Claims (3)

1.一种基于加权求和的裸眼3D视差图像合成方法，包括如下步骤：

1)首先确定2D显示屏上给定的RGB子像素取自哪个视点的RGB分量，式（1）给出了视点子像素映射矩阵的计算公式：

$Q=\frac{(k+k_{\mathrm{off}}-3l\tan \mathrm{\α})\mathrm{mod}X}{X}{N}_{\mathrm{tot}}---\left(1\right)$

其中，(k,l)为RGB子像素的坐标位置，k_off表示2D显示屏左上边缘与光栅单元边缘点的水平位移量，α为光栅轴相对于LCD显示屏垂直轴的倾斜夹角，X为一个光栅周期在水平方向上覆盖RGB子像素的个数，mod为取余操作，N_tot表示总视点个数，也就是参与合成的视差图像数量；

2)将各幅视差图像进行放大插值，使各视差图像的分辨率与合成图像的相同；

3)根据第1）步中得到的视点子像素映射矩阵Q水平方向上进行加权求和；那么，2D显示屏上每个子像素的灰度值有如下公式：

R(k,l)=I(k,l,i)×(1-ξ)+I(k,l,i+1)×ξ        （2）

其中，R为合成图像中坐标位置为(k,l)的子像素灰度值，I为某幅视差图像在相应位置的灰度值，I中的第三个变量i为视点数，ξ为权重系数，且有以下关系成立：

$\left\{\begin{array}{c}i=\mathrm{floor}\left(Q\right)\\ \mathrm{\ξ}=Q-i\end{array}\right.---\left(3\right)$

其中，floor()为下取整函数。

2.如权利要求1所述的基于加权求和的裸眼3D视差图像合成方法，其特征在于：2D显示屏为LCD液晶显示屏，或者为三拼一LED显示屏，其中三拼一LED显示屏的R、G、B子像素的排列特征与LCD显示屏一致。

3.如权利要求1所述的基于加权求和的裸眼3D视差图像合成方法，其特征在于：光栅为狭缝光栅，或者为柱镜光栅。

Images