CN104156916A - 一种用于场景光照恢复的光场投影方法 - Google Patents

Abstract

本发明公开了一种用于场景光照恢复的光场投影方法，属于虚拟现实技术领域。本方法设计了一种使用投影仪和透镜阵列进行光场投影的装置，将光照数据转化为光场进行投射，恢复场景光照，具体方法包括：首先，将采样得到的光测图序列转化为场景光照的四维光场表示；然后，对光源平面上的点光源进行聚类，为聚类后的每个点光源生成投影子图像，并进行畸变校正和图像拼接；最后，在经过几何标定和亮度标定后，使用投影仪将投影图像投射到透镜阵列上，光线经过透镜折射在另一侧形成一个平面光场恢复了原始场景的光照。本方法所恢复的光照具有较高真实性；较高的空间自由度和较高的实用性。本方法适用于影视特效，舞台灯光控制等光照应用领域。

Description

一种用于场景光照恢复的光场投影方法

技术领域

本发明涉及场景光照的恢复方法和光场投影装置，属于虚拟现实技术领域。

背景技术

光照一直是计算机图形学研究的重要主题，真实感的光照对于表现物体和场景的真实性具有重要作用，真实感光照技术被广泛应用于游戏动画、影视特效、舞台灯光等工业领域。

从传统的基于虚拟光源的光照到基于图像的光照，光照技术不断地向更高效、更真实的方向发展：虚拟光源的几何信息和放光特性较为简单，难以重现真实场景的复杂光照；基于图像的光照技术利用环境映照图等图像数据，从中提取光照信息对场景进行渲染，提高了光照效果的真实性，然而由于单一的图像信息缺乏空间变化性，限制了这种光照技术的灵活性。

光场是用于描述空间中光线传播的数据表示方法，随着简化的光场模型被引入计算机图形学领域，基于光场的光照算法可以有效地解决空间变化的光照问题。而且，由于光场的合成通常使用真实场景的高动态范围图像，因此基于光场的光照技术同样可以具有很高的真实感。

目前基于光场的光照恢复方法很少，相近的工作是南加州大学Paul Debevec等提出的Light Stage3使用环境映照图驱动球形架上密布的LED射灯来实现光照恢复。该方案使用了单点的环境映照图来表达整个场景的光照信息，所以只能用于恢复球形架中心点的光照，而且将中心点物体抽象为空间的一个点，因此该方案不能表示场景光照的空间变化，不足以表达大部分真实光照情况，如非均匀光照、光照衰减、存在阴影等情况。

另外，视频会议和增强现实领域也引入了一些光照重现技术来增强沉浸感。Gross构建了一个视频摄取和投影装置blue-c，使用32个LED灯为用户提供光照来营造沉浸感，可以实现远程用户的协同工作。Ghosh等发明了一种可控的照明***为室内的虚拟环境提供光照，该***使用四散分布的24个LED灯向视点打光来模拟环境映照图的效果。Sheng等人在建筑采光设计领域提出了一种光照模拟方法，将渲染好的图像用投影仪直接投射到模型上。以上方法使用LED等或少量投影仪作为光源，这类方法的明显缺点是所重现光照的精度较差，空间分辨率很低。

发明内容

本发明的目的是解决实现具有高自由度的真实感光照问题，设计了一种由投影仪和透镜阵列组成的光场投影装置，提出了一种用于场景光照恢复的光场投影方法，将真实场景的光照在区域内以光场的形式进行恢复，并使光场区域具有较大的空间范围，较高的空间和角度分辨率。

为完成本发明的目的，本发明采用的技术方案是：设计一种包括投影仪和透镜阵列的光场投影装置，发明一种用于场景光照恢复的光场投影方法，包括以下步骤：对包含场景光照数据的光探测图序列进行光线重投影，生成空间光场的四维表示结构；对四维光场中的光源平面进行划分和光源聚类，生成投影子图像，经过畸变矫正和图像拼接后得到最终投影图像；对投影装置进行几何标定和亮度标定，使用投影仪将合成的光场图像投射到透镜阵列平面上，在透镜另一侧恢复原始场景光场。

所述的光场投影装置由多个投影仪和一个透镜阵列组成，透镜阵列由凸透镜粘合在平面透光介质上而成。投影仪将合成的输入图像投射到透镜阵列上，投影仪的光圈经各个凸透镜所成的像在透镜阵列另一侧形成了一个各向异性点光源阵列，该平面模拟了四维光场的光源平面，从而在一定的空间范围内恢复了输入图像所表示的场景光照。

所述的光探测图到四维光场结构的表示，进一步分为一下子步骤：

(1)对各个像素进行图像空间到三维空间的坐标变换；

(2)每个像素所代表的光线进行重投影；

(3)对每条光线分别与光场的光源和图像两个平面进行求交，用两个交点共同记录每条光线的信息，建立起四维光场表示结构。

所述的投影图像生成，进一步分为以下子步骤：

(1)将光源平面均匀划分为正方形网格；

(2)将同一个网格内的所有点光源聚类为一个代表点光源，对网格内所有点光源发出的光线进行差值，差值后由此代表点光源发出；

(3)将每个代表点光源发出的光线与四维光场图像平面的交点组成一副子图像；

(4)对所有子图进行反转和畸变校正后拼接为需要投影的图像。

所述的***标定进一步分为以下子步骤：

(1)对投影***进行几何标定，使用相机分别对透镜阵列平面和投影图像进行拍照，间接建立投影仪投影图像的像素和透镜阵列上点位置之间的一一对应关系；

(2)对投影***进行亮度标定，建立高动态范围图像的像素值到投影仪投影图像的像素值的映射关系，建立投影仪输入亮度到理想的输出像素亮度之间的映射关系；

(3)根据标定结果对输入图像进行处理，生成最终投影图像，输入至投影仪进行投射，在透镜阵列另一侧恢复场景光照。

与现有技术相比，本发明的有益效果是：

(1)本发明装置需求低，价格便宜，容易实现；

(2)本发明使用原始场景的光探测图作为光照数据来源，所恢复的光照具有较高真实性；

(3)本发明利用光场的多维特性进行光照恢复，同单点的环境映照图作为光源驱动数据相比，光照区域有较广阔的空间范围，光源具有较高的空间和角度分辨率。

附图说明

图1为本发明的光场投影***投影原理图；

图2为本发明的光测图序列到四维光场表示转换示意图；

图3为本发明的光源聚类和投影子图生成原理示意图

图4本发明的方法流程图

具体实施方式

以下结合附图和实施例对本发明作进一步的描述。

本方法所使用的光照采样数据为真实场景的光测图，光测图是高动态全景图，它描述了光测图采样位置的入射光照情况，图上的每一个像素代表一条采样光线，像素值即为光线强度，光线方向由光测图的全景模型所决定，通常采用角度图全景模型。一副光测图记录了一个采样位置在一个时刻点的入射光照情况，针对原始场景选择若干个采样点，在每个采样点都采样一组时间轴上的光测图序列，即可完成对原始场景的空间动态光场数据采集。

采样得到的光探测图为角度图，必需将每个像素的图像坐标转化为三维空间坐标。根据全景相机成像模型，图像坐标到空间坐标的转换关系如公式(1)所示。

其中，u,v为像素的图像坐标，θ∈[0,π]为空间坐标系下的方位角，为空间坐标系下的极角。进而可以得到像素对应的光线的方向向量(x,y,z)，如公式(2)所示：

对光测图上的像素完成坐标变换后，所有像素在本光测图的局部三维坐标系内行成半球形点阵，从光测图球心发出的每一条经过图像像素的射线即为原始场景中该光测图采样到的光线。如图2所示，根据光测图序列在原始采样平面的相对位置，将每条射线的局部坐标转化到全局坐标系下，将所有光线重投影到光源区域，即在这个区域内恢复了原始场景的光照信息。

根据最终所需要投影的光场的范围，在光源区域内确定两个平面，分别作为四维光场的光源平面和图像平面，如图2所示，将所有的重投光线与两个平面分别求交，对每一组交点记录每条光线的交点坐标、颜色和强度值，即完成了光测图光照数据到四维光场表示结构的转换，四维光场可以表达为以下形式：

L(u,v,s,t)→RGB   (3)

(u,v)为光源在光源平面坐标，(s,t)为图像平面坐标，两个坐标所确定的空间方向上的光线强度用RGB颜色值表示。

得到的四维光场其光源平面上的点光源随机离散分布，不利于对其进行投影模拟，因此必须将点光源聚类为均匀分布的代表点。如图3所示，将光源平面均匀划分为若干方形区域，代表点选在该方形区域中心，区域个数由透镜阵列个数确定，即为最终投影形成的各向异性点光源的个数。划分的每个区域内包含一些点光源，将其中发出相同方向光线的点光源归为一组，对每组内点光源的发光亮度进行双线性差值，得到代表点处该方向上的发光亮度，进而将每组点光源发出的光线替换为代表点发出的光线,代表点即代表了该区域内所有点光源，是一个各向异性点光源。

然后为聚类后的点光源生成投影子图，每个代表点发出的光线与图像平面产生若干交点，以这些交点的坐标作为像素坐标，产生交点的光线的颜色作为像素值，所有交点可以拼接成一幅图像，对应着最终投影图像中覆盖某一个透镜的子图像。

由于投影时图像经过凸透镜折射会产生径向畸变，需要对所有子图进行畸变校正，径向畸变除法模型如公式(4)所示：

$r_u=\frac{r_d}{1+{\mathrm{\λ}}_1{r_d}^2+{\mathrm{\λ}}_2{r_d}^4+\·\·\·}---\left(4\right)$

其中r_u和r_d分别为畸变前和畸变后像素位置到畸变中心的距离，λ_i为与透镜自身的畸变系数。直线投影到透镜上所成的像会畸变为曲线，将直线上的特征点在畸变前后的坐标带入公式(4)可求得透镜的一次畸变系数λ₁，一次畸变系数已足够准确模拟透镜的径向畸变。求得透镜的畸变系数后，将投影子图的所有像素带入公式(4)，得到反向畸变子图，反向畸变子图经过透镜所成的像经过径向畸变后畸变效果抵消，得到没有畸变的图像，此反向畸变子图即为畸变校正后的子图。此外，子图经过凸透镜的折射在目标光场区域内会形成倒立的像，因此需要对所有子图进行反转，最终，将所有子图按照其对应光源的位置关系进行拼接，即可得到完整的投影图像。

投影仪将投影图像投射到透镜阵列上，阵列上的每个透镜将其对应子图代表的光线进行折射，在另一侧形成一个各向异性点光源，因此，为了将每个子图准确的投射到对应的透镜上，需要建立投影图像的像素坐标与透镜阵列平面上点的坐标的一一对应关系，这个对应关系可以用一个三维单应矩阵表示，这个矩阵的求解过程称为***的几何标定。几何标定可以借助空间中位置固定的相机完成，其数学表示为：

H_lp＝H_cpH_lc   (5)

其中，H_lp为透镜阵列到投影仪的单应矩阵，H_cp为相机到投影仪的单应矩阵，H_lc为透镜阵列到相机的单应矩阵，H_lp由H_cp和H_lc直接相乘得到。H_lp的建立方法是，在透镜阵列平面上覆盖一张白色幕布，幕布的四个角作为基准点，包围透镜阵列上的投影区域，相机对覆盖着幕布的透镜阵列平面拍照，根据幕布上基准点的坐标和照片中基准点的像素坐标，就可以求得透镜阵列到相机的单应矩阵H_lc，H_cp可以用类似方法求解：对投影仪投射到幕布上的图像进行拍照，利用幕布上特征点的图像坐标和照片中特征点的像素坐标求得起相机到投影仪的单应矩阵H_cp。最终，H_cp和H_lc直接相乘得到透镜阵列到投影仪的单应矩阵，从而建立起投影图像像素坐标和透镜平面坐标之间的一一对应关系，利用这个关系可以准确地将投影图像投射到对应的透镜上。

由于投影仪光学部件衰老等原因，投影仪输入图像与投影输出之间存在色差，需要经过亮度标定对投影输入进行修正，保证颜色一致性，方法是对RGB三通道分别建立输入到输出像素的亮度转移函数(ITF),求解亮度转移系数，ITF的其数学定义为：

$r_c=(x,y,i_c)=\frac{L_c(x,y,i_c)-B(x,y)}{W_c(x,y)-B(x,y)}---\left(6\right)$

其中，c为RGB中的某一个通道，(x,y)为透镜阵列的平面坐标，W_c(x,y)为c通道达到最大值255、其它两通道值为0时，(x,y)位置的最大亮度值，B(x,y)为输入三通道均为0时(x,y)位置的亮度值。W_c(x,y)-B(x,y)为投影仪在c通道上的投影亮度范围，L_c(x,y,i_c)为输入i_c时(x,y)位置的输出亮度，亮度转移系数r_c(x,y,i_c)即定义为输入为i_c时(x,y)位置的输出亮度在亮度范围的中比率。由于ITF在整个投影平面上具有位置无关性，因此根据投影平面中心的少量像素集合即可通过加权求解得到整个投影平面在该亮度下的亮度转移系数，进而可以通过曲线拟合由离散的采样亮度下的亮度转移系数得到整个亮度范围内的ITF曲线。建立起亮度转移系数与目标亮度的关系后，对每个要投影的像素值，其输入可以从ITF曲线直接得到。

此外，本方法使用高动态范围的光测图作为光照输入数据，由于高动态范围图像所能表示的亮度范围要远远大于投影仪所能投影的图像的亮度范围，因此亮度标定的另一个目的是将高动态范围图像的亮度范围压缩到投影仪所能投影的亮度范围，本方法使用一种非线性的映射方法实现这种压缩，映射函数为：

$R_c(x,y)=\frac{{\log }_b(P_c(x,y)+1)}{{\log }_b(P_{\mathrm{cMax}}+1)}---\left(7\right)$

对于给定的通道c，P_c(x,y)为(x,y)处的图像像素值，P_cMax为所有位置的最大像素值，那么映射系数R_c(x,y)范围为0到1.0，底数b可以通过Drago提出的方法进行迭代调整。

每个通道和像素的映射系数均求解完成后，目标投影输出L_c(x,y)可以公式(8)得到：

L_c(x,y)＝B_Max+R_c(x,y)·(W_cMin-B_Max)   (8)

其中W_cMin为c通道输入为最大值时输出亮度的最小值，B_Max为三通道输入均为0时输出亮度的最大值，则W_cMin-B_Max为投影仪每个像素在c通道的输出范围。

最终，经过亮度标定和几何标定，可以求得目标投影输出所对应的最终投影输入图像。将此投影输入图像投射到透镜阵列平面上，经过透镜阵列的成像，在透镜阵列另一侧的区域内形成了由各向异性点光源阵列组成的平面光源，此光源发出的光线恢复了原始场景的光照。

本发明未详细阐述的部分属于本领域的技术人员公知技术。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种用于场景光照恢复的光场投影方法，其特征在于包括： 

(1)设计一种包括投影仪和透镜阵列的光场投影装置； 

(2)通过对包含场景光照数据的光测图序列进行光线重投影，建立空间光场的四维表示结构； 

(3)通过对四维光场中的光源平面进行划分和光源聚类，为每个光源生成投影子图像，并经过畸变矫正和图像拼接得到最终投影图像； 

(4)通过对投影装置进行几何标定和亮度标定，确定投影仪输入与输出的像素位置和亮度关系，使用投影仪将投影图像投射到透镜阵列平面上，在透镜另一侧恢复原始场景光场。 

2.根据权利要求1所述的方法，其特征在于：所述的光场投影装置由多个投影仪和一个透镜阵列组成，透镜阵列是由凸透镜粘合在平面透光介质上而成；投影仪将合成的输入图像投射到透镜阵列上，投影仪的光圈经各个凸透镜所成的像在透镜阵列另一侧组成了一个各向异性点光源阵列，该平面模拟了光场的光源平面，从而在一定空间范围内恢复了输入图像所表示的场景光照；各向异性点光源的空间分辨率由投影仪个数和透镜个数决定，角度分辨率由投影图像像素数和透镜个数决定。 

3.根据权利要求1所述的方法，其特征在于：光探测图为对原始场景采样得到的高动态范围全景图，光探测图上每一个像素是对原始场景某一方向光线的采样；对各个像素进行图像空间到三维空间的坐标变换，然后对每个像素所代表的光线进行重新投射，并与虚拟的光源平面和图像平面分别求交，交点分别记为(u,v)和(s,t)，两个交点共同记录了每条光线的信息，这样就把原始场景的光照信息转化为了由图像平面和光源平面组成的四维光场结构L(u,v,s,t)。 

4.根据权利要求1所述的方法，其特征在于：将光源平面均匀划分为正方形网格，每个网格内包含了若干点光源，把同一个网格内的所有点光源聚类为一个代表点光源，网格内所有点光源发出的光线经过差值由此代表点光源发出，从而将光源平面表示为均匀分布的各向异性点光源阵列；每个代表点光源发出的光线与四维光场图像平面的交点组成一副子图像，对所有子图进行反转和畸变校正，最后拼接完整的投影图像，畸变校正使用径向畸变的除法模型，如以下公式所示： 

其中r_u和r_d分别为畸变前和畸变后像素位置到畸变中心的距离，λ_i为与透镜自身的畸变系数。 

5.根据权利要求1所述的方法，其特征在于：对投影装置进行几何标定，借助一个固定位置的相机，分别求解相机与投影仪和相机与透镜阵列的位置关系单应矩阵H_cp和H_lc，进而间接得到投影图像的像素坐标与透镜阵列平面上点的坐标的一一对应关系，即单应矩阵H_lp，三者之间的关系为： 

Hl_p＝H_cpH_lc

对投影仪进行亮度标定，包括建立高动态范围图像的像素值与投影仪可投射的像素值的映射关系： 

其中，c为RGB中的某一个通道，(x,y)为透镜阵列的平面坐标，W_c(x,y)为c通道达到最大值255、其它两通道值为0时，(x,y)位置的最大亮度值，B(x,y)为输入三通道均为0时(x,y)位置的亮度值；W_c(x,y)-B(x,y)为投影仪在c通道上的投影亮度范围，L_c(x,y,i_c)为输入i_c时(x,y)位置的输出亮度，亮度转移系数r_c(x,y,i_c)即定义为输入为i_c时(x,y)位置的输出亮度在亮度范围的中比率； 

以及建立投影仪输入图像像素亮度与输出图像像素亮度的关系： 

L_c(x,y)＝B_Max+R_c(x,y)·(W_cMin-B_Max) 

其中W_cMin为c通道输入为最大值时输出亮度的最小值，B_Max为三通道输入均为0时输出亮度的最大值，则W_cMin-B_Max为投影仪每个像素在c通道的输出范围； 

根据几何和亮度标定的结果，确定理想的投影结果所对应的输入图像，将此图像投射到透镜阵列平面上，实现原始场景的光照恢复。