CN106991715A - 基于光场采集的光栅棱柱三维显示渲染方法 - Google Patents

Abstract

本发明涉及一种基于光场采集的光栅棱柱三维显示渲染方法，在LCD面板上均匀地预设多个视点，用飞利浦研究实验室提出的多视点渲染方法，分别渲染出各视点的初始合成索引图；将相机移动到每个视点，并依次显示上述初始合成索引图，进行图像的光场采集，合并成为一个实际的光场；优化所述实际光场使之最大化接近理想光场，并根据LCD面板上显示的初始合成索引图到观看平面的映射法则，反向搜索得到目标合成索引图。针对不同规格的三维显示器，利用上述标定方法获得目标合成索引图。对将要显示在该显示设备上的三维图像，利用对应的目标合成索引图进行渲染，能够有效减轻串扰，还可以渲染出超多视角的三维显示，无需增加硬件设备。

Description

基于光场采集的光栅棱柱三维显示渲染方法

技术领域

本发明涉及图像的三维显示优化技术领域，具体涉及一种基于光场采集的光栅棱柱三维显示渲染方法。

背景技术

三维显示技术因其更为贴近人类实际感知而具有广阔的前景。光场三维显示***的研究目的就是探索如何将光场进行还原，亦即如何控制每一根光线的出射方向和角度。

光栅棱柱显示设备包括LCD显示屏(Liquid Crystal Display，液晶显示器)、透明有机玻璃和柱镜光栅板。通过在LCD显示屏和柱镜光栅板中间加装透明有机玻璃，使得两者的距离为柱镜光栅单元的焦距。N个视点的像素会被全部放大投射到观察者眼前，只要观察者的目光落在任意两个相邻视点，就可以分别观看到对应视点的图像进而形成立体视觉。高质量的虚拟视点合成与显示正是目前3D技术的关键和难点，真三维显示目前存在的问题：

1、光栅棱柱显示仍存在相邻视点之间串扰(crosstalk)的问题；

2、光栅棱柱显示视点个数较少，影响3D显示的最终效果。

其中，串扰是由于相邻视点光线不完全分离传输至观看者的双眼所导致的，观看者的左眼会接收到部分本应该传输至右眼的光线，同样地，右眼也会接收到部分本应该传输至左眼的光线。串扰现象已经成为影响高质量光栅棱柱三维显示技术的一个很大的因素，目前的解决方案一般可以归纳成两种：一个是基于设备的方法，例如用视差屏障技术或时控的方式；另一种是基于子像素(每个像素由RGB三原色组成，每个像素上的每种颜色叫一个“子像素”)值修正的方式，例如计算串扰因子的方式。虽然这些方法在一定程度上解决了视点串扰问题，但是硬件成本的开销较大，或者计算量较大。

发明内容

为了解决现有技术中的上述问题，本发明提出了一种基于光场采集的光栅棱柱三维显示渲染方法，在不增加硬件成本的前提下，优化效果更佳，并且能够渲染出超多视角的三维显示(super multiview display)。

本发明提出一种基于光场采集的光栅棱柱三维显示渲染方法，利用所生成的目标合成索引图对三维图像进行渲染；

所述目标合成索引图，与当前显示三维图像的显示器规格相匹配；

所述目标合成索引图由以下标定方法生成，具体包括：

步骤S1，利用多视点图像渲染方法，分别渲染出各预设视点的初始合成索引图；

步骤S2，相机移动到每一个预设视点，在LCD面板上依次显示所述各预设视点的初始合成索引图，并用相机捕获图像；将相机在各预设视点上捕获到的图像，进行预处理，包括：反畸变、感兴趣区域提取、2D投影变化、滤波操作；将预处理后的图像通过非线性映射得到对应的各预设视点的光场图像；

步骤S3，合并步骤S2中得到的各预设视点上的光场图像，得到实际光场；根据捕获时的相机标定关系，计算出实际相机位置上的理想光场；

步骤S4，建立从LCD面板上显示的初始合成索引图到观看平面的映射法则，记录到查找表中；

步骤S5，通过最小化||L-wL^～||²求得优化矩阵w；利用所述优化矩阵w，对所述实际光场L^～进行优化，得到wL^～；其中，L为理想光场；

步骤S6，根据优化后的所述实际光场，利用所述查找表，反向搜索得到目标合成索引图。

优选地，步骤S1中对每个视角图的渲染方法为：

将第i个视角图置为白色，其余视角图置为黑色，利用多视点图像渲染方法，渲染出第i个预设视点的初始合成索引图；其中，i＝1,2,3,...,N，N为预设视点的数量。

优选地，步骤S2具体为：

步骤S21，令m＝1；其中，m为预设视点的序号；

步骤S22，移动相机到第m个预设视点，依次显示第1个、第2个、…、第N个视点对应的初始合成索引图，并用相机捕获每一幅初始合成索引图的图像；

步骤S23，m＝m+1；若m≤N，则转至步骤S22；否则，转至步骤S24；其中，N为预设视点的数量；

步骤S24，对捕获的图像进行预处理，包括：反畸变、感兴趣区域提取、2D投影变化、滤波操作；

步骤S25，对预处理后的图像进行非线性映射，得到对应的各预设视点的光场图像。

优选地，步骤S4中所述映射法则为光线从LCD面板上的各子像素点到观看平面的一一映射。

优选地，所述感兴趣区域提取的方法为：对捕获图像进行反畸变处理后，提取图像上的3D显示屏所在区域作为感兴趣区域；

所述2D投影变化的方法：提取所述感兴趣区域的4个顶点以及对应视点反畸变后的光场图像的4个顶点，计算得到单应矩阵；通过所述单应矩阵对捕获图像进行2D投影变化。

优选地，步骤S2中，用相机捕获图像时，将标定板放置在3D显示屏和相机之间。

优选地，步骤S2中所述非线性映射为：

X＝M_{r_sp} ^-1(V_sub)；

用于从预处理后的图像子像素值V_sub恢复出对应光线的亮度值X。

优选地，步骤S3中，理想光场根据一个无串扰残留的理想的预设视点数量的光亮分布图得到。

优选地，所述利用所生成的目标合成索引图对三维图像进行渲染，具体为：

其中，II_m为第m个视点上的目标合成索引图，View_m为通过OpenGL(Open GraphicsLibrary，开放图形库)或3d Max(3D Studio Max，常简称为3d Max或3ds Max，是Discreet公司开发的基于PC***的三维动画渲染和制作软件)渲染出的三维模型的第m个视角图，II_display为最终显示在3D显示器上的合成图。

本发明提出的基于光场采集的光栅棱柱三维显示标定方法，在LCD面板上均匀地预设多个视点，用多视点渲染方法，分别渲染出各预设视点的初始合成索引图；将相机移动到每个视点，并依次显示上述初始合成索引图，进行图像的光场采集；将各视点上得到的光场合并成为一个实际的光场，利用采集图像时的相机标定关系，计算得到理想光场；建立从LCD面板上显示的初始合成索引图到观看平面的映射法则，记录到查找表中；再对所述实际光场进行优化，使之最大化地接近所述理想光场；根据优化后的所述实际光场，利用所述查找表，反向搜索得到目标合成索引图。通过上述标定方法，我们得到了针对当前显示设备的目标合成索引图。

本发明提出的基于光场采集的光栅棱柱三维显示渲染方法，对将要显示在3D显示设备上的三维图像，利用事先生成的与该3D显示设备相匹配的所述目标合成索引图进行渲染，就能够有效减轻串扰，与传统的优化方式相比，无需增加硬件设备，优化效果更佳，并且可以渲染出超多视角的三维显示(super multiview display)。

附图说明

图1为本实施例中，光线最终落于观看平面上时经过的路径示意图；

图2为本实施例中，基于光场采集的光栅棱柱三维显示标定方法流程示意图；

图3为本实施例中，生成实际光场并建立映射法则的示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

以光学的角度看待光栅棱柱三维显示，例如一个硬件参数为9视点的光栅棱柱三维显示器，在裸眼观看时，若两眼目光正好落于两个相邻的视点区，两眼将会分别接受到来自两个不同视点的光线，在大脑中形成三维感知，产生立体视觉。当人的目光落于非视点区域，会接受到部分来自一个视点的光线，部分来自相邻视点的光线。这个视点串扰现象，在视点区域也存在，在非视点区域更为明显。串扰现象已经成为影响高质量光栅棱柱三维显示技术的一个很大的因素。

人通过眼睛接受光的信息，通过大脑处理后得到对周边环境的感知。周围环境的任何可见的物体都是通过不断地自身发光或者通过光源照射后反射出光线，进入人的眼睛后得以被人看见。这些光源和物体发出的光线在空间中形成了一个光线的集合，称为光场。理论上，如果一个***能够根据某个物体的光场完全还原，则人将无法通过眼睛区分出是该***重构的物体光场，还是物体本身。光场三维显示***的研究目的就是探索如何将光场进行还原，亦即如何控制每一条光线的出射方向和角度。能够用于产生光线和控制光线方向和信息的光学器件有许多种，如激光器、显示屏、透镜等，光场三维显示的研究在于如何用现有器件实现光线的方向和信息控制，或是制作出新的器件。

在真实世界中，一个物体发出的光场是连续的，而在实际计算中我们只能用离散的光场来近似模拟连续的光场，即呈现在人眼前的是N张光场图片。我们回到之前所说的光栅棱柱显示，我们的目的是在距离硬件参数为9视点的显示器的最佳观看位置上为观看者在视点区域上渲染出N个视点图像，当人的目光落于该视点上时能够接受到全部来自该视点的光线，就好像这幅视点图放在人眼前一样。视点个数N的取值范围为：

其中，Z⁺表示正整数，即N为9的正整数倍，并且开平方后仍为正整数，如：9、36、81、…。在我们的实验中，N＝9或36，当N＝36，就叫做超多视角三维显示(super multiviewdisplay)，如图1所示，光线从LCD面板上的子像素出发，经过光栅板上的光栅单元，最终在最佳观看平面上结束。

本发明提出一种基于光场采集的光栅棱柱三维显示标定方法，在最佳观看位置上我们接收到的是来自N个视点图像的光线的集合，它们从LCD面板上的H×W×3个子像素(H和W分别为LCD面板的高度和宽度，每个像素分为红、绿、蓝3个子像素)发射出来，经过透镜后，分散于各个视点上。我们需要分配的是LCD面板上的H×W×3个子像素的值。我们分别用II^～、II、L^～、L来代表初始合成索引图、目标合成索引图、相机捕获得到的实际光场以及理想光场。我们的目的就是计算出实际光场L^～，并优化使其最大化地与理想光场接近。

本实施例中，我们取N＝36，首先在9视点硬件设备的最佳观看平面上确定好9个视点的位置，并将相邻两视点平分为N/9份，于是得到36个预设的视点。显示***的硬件参数如表1所示：

表1

显示***的硬件参数	规格
		LCD大小	21.5英寸
LCD分辨率(H×W)	1080×1920
		光栅单元的横向长度p	0.5046mm
光栅单元倾斜角α	15.524°
		视点个数M	9

在每个预设视点上，利用飞利浦研究实验室提出的多视点渲染方法，生成对应的初始合成索引图；将相机移动到每个预设视点，并依次显示上述初始合成索引图，进行图像的光场采集；将各视点上得到的光场合并成为一个实际的光场，利用采集图像时的相机标定关系，计算得到理想光场；建立从LCD面板上显示的初始合成索引图到观看平面的映射法则，记录到查找表中；再对所述实际光场进行优化，使之最大化地接近所述理想光场；根据优化后的所述实际光场，利用所述查找表，反向搜索得到目标合成索引图。

本发明提出一种基于光场采集的光栅棱柱三维显示渲染方法，就是利用上述标定方法得到当前三维LCD显示器所对应的目标合成索引图，然后利用所述目标合成索引图，对将要显示在同样规格的LCD显示器上的三维图像进行渲染。

本实施例中，如图2所示，所述目标合成索引图由以下标定方法生成，具体包括：

步骤S1，将第i个视角图置为白色，其余视角图置为黑色，利用飞利浦研究实验室提出的多视点渲染方法，渲染出第i个预设视点的初始合成索引图II_i ^～；按此方法分别渲染出各预设视点的初始合成索引图II_i ^～(i＝1,2,3,...,N)；组成一个集合：N为预设视点的数量(本实施例中为36)；

步骤S2，相机移动到每一个预设视点，在LCD面板上依次显示所述各预设视点的初始合成索引图II_i ^～(i＝1,2,3,...,N)，并用相机捕获图像；将相机在各预设视点上捕获到的图像，进行预处理，包括：反畸变、感兴趣区域提取、2D投影变化、滤波操作；将预处理后的图像通过非线性映射得到对应的各预设视点的光场图像；

用相机捕获图像时，将相机标定板放置在3D显示器和相机之间，在捕获的过程中共移动相机N-1次；

步骤S3，合并步骤S2中得到的各预设视点上的光场图像，得到实际光场L^～；根据捕获时的相机标定关系，计算出实际相机位置上的理想光场L；

实际光场L^～被集合为：其中，均表示集合；

由于预先设定的相机视角位置与实际移动的位置是有偏差的，我们通过相机标定得到实际获取光场图像时的相机位置。当相机水平移动获取每个视点的光场图片时，标定板被放置在3D显示器和相机之间；在实际相机位置的理想光场L可以根据一个无串扰残留的理想的N视点的光亮分布图得到；两眼在任意位置能同时接受到两个(并且只有两个)不同的视角图；

步骤S4，建立从LCD面板上显示的初始合成索引图到观看平面的映射法则，记录到查找表中；所述映射法则，为光线从LCD面板上的各子像素点到观看平面的一一映射；

步骤S5，通过最小化||L-wL^～||²求得优化矩阵w；利用所述优化矩阵w，对所述实际光场L^～进行优化，得到wL^～；其中，L为理想光场；

步骤S6，根据优化后的所述实际光场，利用所述查找表，反向搜索得到目标合成索引图其中，II_m第m个视点的目标合成索引图II_m，表示N个视点的目标合成索引图的集合。

本实施例中，步骤S2具体为：

步骤S21，令m＝1；其中，m为预设视点的序号；

步骤S22，移动相机到第m个预设视点，依次显示第1个、第2个、…、第N个视点对应的初始合成索引图II_i ^～(i＝1,2,...,N)，并用相机捕获每一幅初始合成索引图的图像；

步骤S23，m＝m+1；若m≤N，则转至步骤S22；否则，转至步骤S24；其中，N为预设视点的数量；

步骤S24，对捕获的图像进行预处理，包括：反畸变、感兴趣区域提取、2D投影变化、滤波操作；预处理后得到图像其中，m为视点的序号，m＝1,2,...,N；n为在第m个视点上捕获的图像的序号，n＝1,2,...,N；

步骤S25，对预处理后的图像进行非线性映射，得到对应的各预设视点的光场图像

本实施例中，优化矩阵w的计算方法如下：

如图3所示，由于对于一个固定的显示设备来说，光栅面板和LCD面板的物理位置是不变的，所以显示II₁ ^～时，从LCD面板上射出的H×W×3条光线到N个捕获视点的光路，和显示II₂ ^～时，从LCD面板上射出的H×W×3条光线的光路是一样的。所有的光路都可以通过反向映射方法计算得到。我们用一个查找表LUT₁来保存从LCD面板上的子像素点到观看平面的映射关系，如公式(1)所示：

L^～＝LUT₁(II^～) (1)

在我们的算法中，实际光场L^～被表示成一个维度为(H×W×3，N)的二维矩阵。相应地，查找表从LUT₁变成了LUT₂。对于矩阵的每一列来说，记录的是第m个视角点的光场， 记录的是捕获后计算得到的光场图片。

我们希望找到一个优化矩阵w使得min||L-wL^～||²，引入一个高斯白噪向量v，其方差为σ²，寻找一个w使得似然方程P(L|w)最大化。l_m和分别表示的是L和L^～的第m列。由于l_m是相互独立的，所以似然方程如公式(2)所示：

又由于所以公式(2)可以由公式(3)所示的方法计算出来：

其中，代表第m个视点的光场，我们从100次相机光场捕获中估计一个的概率分布。用函数来近似的概率分布β可以通过参数估计的方法得到，于是公式(3)可以改写为公式(4)：

其中，c和c′代表的是两个不同的常数。于是整个问题变成求公式(5)所示的最小值：

我们用迭代的方法来解决公式(5)，如公式(6)所示：

一旦优化矩阵w被计算出来，优化后的合成索引图II可以通过反向搜索的方法获得，如公式(7)所示：

本实施例中，所述感兴趣区域提取的方法为：对捕获图像进行反畸变处理后，提取图像上的3D显示屏所在区域作为感兴趣区域；

所述2D投影变化的方法：提取所述感兴趣区域的4个顶点以及对应视点反畸变后的光场图像(正规矩形)的4个顶点：(0,0)、 计算得到单应矩阵；通过所述单应矩阵对捕获图像进行2D投影变化。

本实施例中，步骤S2中所述非线性映射，如公式(8)所示：

X＝M_{r_sp} ^-1(V_sub) (8)

用于从预处理后的图像子像素值V_sub恢复出对应光线的亮度值X。

本实施例中，非线性映射函数M_{r_sp}的拟合方法如下：

在该部分中我们将介绍从光线亮度值(光场图像)到相机捕获图像子像素值M_{r_sp}映射函数的恢复算法，即公式(9)：

我们对同一个场景进行同曝光度的相机采集(光线的变化可以忽略)。在采集过后，我们得到每张捕获图像的子像素数值z_i。我们可以对每一条原始光线亮度值l_i写出非线性方程如公式(10)所示：

z_i＝M_{r_sp}(l_i) (10)

假设M_{r_sp}是光滑的，i为从0开始的所有子像素的序号，z_i和l_i是已知的，未知的是方程M_{r_sp}。我们希望能够估计一个M_{r_sp}函数，使其最大化地满足公式(10)。因此，最小化如公式(11)所示的二次目标函数(非线性方程的参数估计，找到一个M_{r_sp}，使得E最小)：

其中，N代表的是子像素的个数，α是相对于数据拟合项对平滑项进行的加权。我们用一个三参函数t(x)＝a+bx^c去近似刻画M_{r_sp}。参数a、b、c的具体数值根据相机采集时的光照环境、相机参数(如色相、饱和度等有关)，用非线性最小二乘法估计得到，在本实施例中，a＝0.13，b＝1.24，c＝0.92。

由于在取值范围中部的像素值更可靠，并且M_{r_sp}在饱和值附近变为单一的。我们增加一个加权函数k(z)，k(z)在像素值范围的两头衰减为0，其中z_min＝0，z_max＝255，如公式(12)所示：

将其加入到(11)中可以得到公式(13)：

其中，γ₁和γ₂为权重系数。计算出满足公式(13)的M_{r_sp}函数，即为我们所需要的非线性映射函数。

本实施例中，所述利用所生成的目标合成索引图对三维图像进行渲染，如公式(14)所示：

其中，II_m为第m个视点上的目标合成索引图，View_m为通过OpenGL或3d Max渲染出的三维模型的第m个视角图，II_display为最终显示在3D显示器上的合成图。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于光场采集的光栅棱柱三维显示渲染方法，其特征在于，利用所生成的目标合成索引图对三维图像进行渲染；

所述目标合成索引图，与当前显示三维图像的显示器规格相匹配；

所述目标合成索引图由以下标定方法生成，具体包括：

步骤S1，利用多视点图像渲染方法，分别渲染出各预设视点的初始合成索引图；

步骤S2，相机移动到每一个预设视点，在LCD面板上依次显示所述各预设视点的初始合成索引图，并用相机捕获图像；将相机在各预设视点上捕获到的图像，进行预处理，包括：反畸变、感兴趣区域提取、2D投影变化、滤波操作；将预处理后的图像通过非线性映射得到对应的各预设视点的光场图像；

步骤S3，合并步骤S2中得到的各预设视点上的光场图像，得到实际光场；根据捕获时的相机标定关系，计算出实际相机位置上的理想光场；

步骤S4，建立从LCD面板上显示的初始合成索引图到观看平面的映射法则，记录到查找表中；

步骤S5，通过最小化||L-wL^～||²求得优化矩阵w；利用所述优化矩阵w，对所述实际光场L^～进行优化，得到wL^～；其中，L为理想光场；

步骤S6，根据优化后的所述实际光场，利用所述查找表，反向搜索得到目标合成索引图。

2.根据权利要求1所述的方法，其特征在于，步骤S1中对每个视角图的渲染方法为：

将第i个视角图置为白色，其余视角图置为黑色，利用多视点图像渲染方法，渲染出第i个预设视点的初始合成索引图；其中，i＝1,2,3,...,N，N为预设视点的数量。

3.根据权利要求1所述的方法，其特征在于，步骤S2具体为：

步骤S21，令m＝1；其中，m为预设视点的序号；

步骤S22，移动相机到第m个预设视点，依次显示第1个、第2个、...、第N个视点对应的初始合成索引图，并用相机捕获每一幅初始合成索引图的图像；

步骤S23，m＝m+1；若m≤N，则转至步骤S22；否则，转至步骤S24；其中，N为预设视点的数量；

步骤S24，对捕获的图像进行预处理，包括：反畸变、感兴趣区域提取、2D投影变化、滤波操作；

步骤S25，对预处理后的图像进行非线性映射，得到对应的各预设视点的光场图像。

4.根据权利要求1所述的方法，其特征在于，步骤S4中所述映射法则为光线从LCD面板上的各子像素点到观看平面的一一映射。

5.根据权利要求3所述的方法，其特征在于，

所述感兴趣区域提取的方法为：对捕获图像进行反畸变处理后，提取图像上的3D显示屏所在区域作为感兴趣区域；

所述2D投影变化的方法：提取所述感兴趣区域的4个顶点以及对应视点反畸变后的光场图像的4个顶点，计算得到单应矩阵；通过所述单应矩阵对捕获图像进行2D投影变化。

6.根据权利要求1所述的方法，其特征在于，步骤S2中，用相机捕获图像时，将标定板放置在3D显示屏和相机之间。

7.根据权利要求1所述的方法，其特征在于，步骤S2中所述非线性映射为：

X＝M_{r_sp} ^-1(V_sub)；

用于从预处理后的图像子像素值V_sub恢复出对应光线的亮度值X。

8.根据权利要求1所述的方法，其特征在于，步骤S3中，理想光场根据一个无串扰残留的理想的预设视点数量的光亮分布图得到。

9.根据权利要求1所述的方法，其特征在于，所述利用所生成的目标合成索引图对三维图像进行渲染，具体为：

${\mathrm{II}}_{display}=\underset{m=1}{\overset{N}{\Σ}}{\mathrm{View}}_m\×{\mathrm{II}}_m;$

其中，II_m为第m个视点上的目标合成索引图，View_m为通过OpenGL或3dMAX渲染出的三维模型的第m个视角图，II_display为最终显示在3D显示器上的合成图。