CN101430426A - 用于获取场景的4d光场的设备和方法 - Google Patents

Abstract

本发明提供了用于获取场景的4D光场的设备和方法。相机获取场景的4D光场。该相机包括透镜和传感器。透镜与传感器之间的笔直光路中设置有遮光板。该遮光板包括用于对传感器获取的场景的4D光场进行空间调制的衰减图案。当遮光板被布置得靠近透镜时，图案的空间频率低，当遮光板被布置得靠近传感器时，图案的空间频率高。

Description

用于获取场景的4D光场的设备和方法

技术领域

本发明总体上涉及图像处理和计算式摄影(computationalphotography)，更具体地涉及用相机获取场景的4D光场。

背景技术

图像处理和计算式摄影的趋势是在获取图像时获取额外的光学信息。这使得能够进行更多的获取后图像处理应用，例如去模糊、重聚焦和新图像。

关键理念是获取经由镜头进入相机并入射在相机传感器上的整个4D光场。光场是描述了通过空间中的每个点在每个方向上穿过的光量的函数，参见由Moon等人翻译的“The Light Field”，Gershun，Journal ofMathematics and Physics，Vol.XVIII，MIT，1939，pp.51-151，1939。在常规相机中，感测出的2D图像只是4D光场的2D投影。因此，不可能重构出整个4D光场。因此，可以对常规图像进行有意义的改变的方式非常有限。

通过利用光学元件的复杂布置，例如，多个透镜、反射镜、分束器和/或传感器，可以使用2D传感器重新组合(re-bin)并获取4D射线，参见Georgiev et al.，“Spatio-angular resolution trade-offs in integralphotography”，EGSR，pp.263-272，2006。目前存在一种以多个光路来执行光场的两个平面参数化的光学实施的透镜阵列，参见Levoy et al.，“Light field rendering”，SIGGRAPH 96，pp.31-42，1996和Gortler et al.，“The lumigraph”，SIGGRAPH，pp.43-54，1996。然而，光线的光学重新组合通过透镜阵列在空间分辨率与角度分辨率之间强加了固定且永久的折衷。

光场获取：积分(integral)摄像

大约在一个世纪以前，最先将光场获取描述为“撤销(undo)”到达4D胶片或传感器平面上一点的所有光线的方向积分，而不是单独测量每个进入方向从而估计整个4D光场函数。Okano et al.，“Three dimensionalvideo system based on integral photography”，Optical Engineering 38，pp.1072-1077，1999中描述了最初的积分相机及其变型的综览。

Levoy等和Gortler等将4D光场的概念描述为自由空间中所有光线的表示。虽然都是从虚拟观点出发而创建的图像，但是Levoy等也描述了通过虚拟孔径获得的计算式图像。然而，直到Isaksen et al.，“Dynamically reparameterized light fields”，SIGGRAPH，pp.297-306，2000中对4D***和滤波进行全面研究之后，才论证了计算这种图像的实际方法。类似方法也被称为合成孔径摄像，Varish et al.，“Using plane+parallaxfor calibrating dense camera arrays”，Proc.Conf.Computer Vision andPattern Recognition，pp.2-9，2004。

为了通过2D传感器来获取4D光场，最经常使用的是以下两种技术。第一种技术使用透镜阵列来从视点网格(grid of viewpoint)获取场景的光场。在每个透镜之后形成的图像提供了角度样本的有序网格，从而提供了与积分摄像类似的结果。除了固定透镜阵列，也可以使用单个相机的光学等效配置。其中，借助于棱镜在常规相机前方放置凸透镜阵列。

第二种技术在微镜阵列前方放置单个大透镜并将每个微镜都视为空间样本。那些全视相机在微镜阵列上形成了图像，每个全视相机都生成了对该点的辐射角度分布进行采样的图像。该技术使空间样本和角度样本在图像平面上的放置互换。

以上两种技术都是用空间分辨率来交换分辨角度差异的能力。它们要求微镜和光路相对于传感器非常精确的对准。显然，这些技术不适于只有透镜、孔径和传感器的简单常规(数字)相机。

编码成像

在天文学中，编码孔径成像被用来克服针孔相机的缺陷，Skinner，“X-Ray Imaging with Coded Masks”，Scientific American 259 p.84，August1988。修正的均匀冗余阵列(MURA)已用来对远距星的光分布进行编码。然而，孔径成像排除了对常规相机中使用的透镜的使用。

编码曝光相机可以在运动模糊图像中保留高空间频率，并使得去模糊处理很好地执行，参见Raskar et al.，“Coded exposure photography：motion deblurring using fluttered shutter”，ACM Trans.Graph.25，3，pp.795-804，2006和2006年5月8日Raskar提交的名称为“Method andApparatus for Deblurring Images”的美国专利申请No.11/430233，在此通过引用将二者并入。该技术使用时间调制来最小化图像中的运动模糊。

涉及透镜和编码遮光板的现有光学***非常有限。一种***在主透镜前方放置带有四个针孔的遮光板并通过捕获四个图像来估计距离离焦的深度，Hiura et al.，“Depth measurement by the multi-focus camera”，CVPR’98：Proceedings of the IEEE Computer Society Conference onComputer Vision and Pattern Recognition，IEEE Computer Society，Washington DC，USA，p.953，1998。然而，人们希望只用单个图像来获取光场。

波前编码是另一种实现使用非球面镜而产生具有与景深无关的模糊的图像的扩展景深(DOF)的技术，Dowski et al.，“Wavefront coding：Amodern method of achieving high performance and/or low cost imagingsystems”，SPIE Annual Meeting，1999。虽然其结果扩展了图像中的景深，但是其设计并不能提供光场。

发明内容

本发明的实施方式提供了一种用于获取并重构场景的4D光场的方法和设备。将带图案的平面遮光板布置在相机的镜头与传感器之间的光路中，通过相机的2D数字传感器来获取场景的光场。在感测到4D光场之前，透射式遮光板对4D光场进行空间调制。可以从2D传感器图像重构出4D光场。

现有技术光场相机需要多个透镜，(和/或)多个传感器，(和/或)多个图像，或多个光路。

遮光板可以具有高频图案或宽带图案。带图案的遮光板部分地衰减了相机内的光线，而不是像现有技术光场相机那样使它们弯曲。衰减可重构地将4D光场调制并编码到2D传感器上，作为2D输入图像。可以正如用来在全传感器分辨率下获取常规2D图像的常规相机那样对相机进行聚焦。即，相机可以获取“静止”拍摄或视频。

对于根据本发明实施方式的相机，像素强度也可以分辨(resolve)经调制的4D光场。可以通过将传感器像素值的2D傅里叶变换的拼接块重新布置成4D平面并确定用于解调该4D光场的逆傅里叶变换，来重构出光场。

当将宽带遮光板设置在靠近透镜处，例如孔径中时，该方法可以在全传感器分辨率下对分层朗伯场景(Lambertian scene)的图像进行重聚焦。这种对4D光场的部分调制和编码使得能够按深度对图像内容进行编辑，以除去或抑制不希望的遮蔽物(occluder)。

本发明的实施方式利用了易于调整的混合成像/光场相机设计。用户可以仅改变单个衰减遮光板而不是透镜阵列。

本发明利用了光线可以线性组合的事实。我们的设计与光线的加权总和无关地进行线性感测，而不是在其本身的像素传感器上感测每条4D光线。随后可以将这些光线组合在编码图像中。随后可以对该编码图像进行解码或解调，以重构出4D光场的光线。在傅里叶域而不是光线空间中进行这些操作。

从4D光线空间到2D传感器阵列的映射也可以利用在频域中描述得最好的外差法。通过利用频域中的调制和卷积理论，可以确定简单的衰减遮光板。可以将遮光板置于相机的光路中，来获取傅里叶域重新映射。不需要额外的透镜，并且可以根据需要通过软件来计算经解码的光线。

附图说明

图1是根据本发明一个实施方式的被构造用于获取场景的4D光场的相机的示意性侧视图；

图2是根据本发明另一个实施方式的被构造用于获取场景的4D光场的相机的示意性侧视图；

图3是图1和2的相机的光路的示意图；

图4是根据本发明实施方式的光场、遮光板调制函数和经调制的光场的示意图；

图5是外差光场相机的光谱分割的示意图；

图6是根据本发明实施方式的被卷积从而形成光谱副本的光场和遮光板光谱的示意图；

图7是根据本发明实施方式的对传感器切片进行解调来重构光场的的示意图；

图8是遮光板相对于相机传感器的放置的示意图；

图9是在传感器上投射软阴影的余弦遮光板的示意图；

图10是根据本发明实施方式的傅里叶域中的光谱拼接块的示意图；

图11A是根据本发明实施方式的高频遮光板的图；

图11B是现有技术二元遮光板的图；

图11C是根据本发明实施方式的连续宽带遮光板的图；

图12是带有遮光板控制器的相机的顶视图；

图13A是包括对焦栅栏和离焦人物的输入图像；

图13B是与图13A相对应的去模糊图像；

图13C是图13A中的栅栏的遮光板；

图13D是根据本发明实施方式的栅栏和人物都对焦的输出图像；

图14A是倾斜书本的输入图像，部分离焦；而

图14B是根据本发明实施方式的书本整体对焦的输出图像。

具体实施方式

光场相机

如图1和2所示，本发明的实施方式提供了用于获取并重构场景102的4D光场101的相机100和200。相机100包括常规镜头110、常规孔径115和常规传感器120。镜头可以包括多个元件(如复合透镜中那样)，来校正像差、彗差和失真。然而，应当理解只有一个光路103。扫描仪可以是CCD行扫描仪。

相机还包括微处理器(μP)140，其可用来实现这里描述的方法。基本上是这样的，微处理器接收2D输入图像101(其对4D光场进行了编码)，并且可以生成输出图像104(其是光场的重构)。输出图像104是输入图像的解调结果。

因为输入图像对光场进行了编码，所以输出图像可以重聚焦在不同或更大景深处，就像使用了更小的孔径或针孔一样。输出图像104也可以被去模糊，或者是新颖图像，参见图13和14。

相机还包括设置在透镜与传感器之间的笔直光路中的带图案的遮光板130。图案使光场部分地衰减。图案可以是空间低频、空间高频或二者之间。实际上，图案对传感器120获取的场景102的4D光场进行空间调制。图案也可以是解析2D函数、二元函数或连续2D函数。还应当理解，可以在光路中设置多个遮光板。

在相机100中，在从透镜到传感器的光路103中设置了空间连续高频2D遮光板130，参见图11A。如图1中所示的相机100，遮光板130设置在传感器120的前表面上或靠近传感器120的前表面，来产生外差光场101。图2中的相机具有设置在靠近镜头或孔径115中的空间连续低频遮光板230，参见图11C。除了遮光板和微处理器中运行的方法之外，该相机都是常规的。

在传感器120检测到经衰减的4D光线之后，本发明的基本目的得以实现。传感器，即传感器元或像素，现在存储了4D光场的经调制的2D“图像”，其足以重构出入射的4D光场。

本发明的实施方式还描述了对所获取的4D光场的某些部分进行编码和处理的方法。我们描述了这样一类4D光场相机，它们将4D光线空间的傅里叶变换重新映射到2D传感器上。

相反，现有技术4D相机使用2D透镜阵列来投影4D光线空间本身，而不是光线空间的傅里叶变换。

我们使用单个透射式遮光板来实现这种频域重新映射，并且我们的方法并不需要额外的光学元件，例如现有技术中的透镜阵列。换句话说，我们的相机中的笔直单个光路全都是常规的。

我们的分析引出了两种相机设计。图1示出了外差光场相机100。该设计基于4D频域中的调制理论，参见Fessenden，“Wireless telephony”Trans.American Institute of Electrical Engineers 27，pp.553-629，1908，在此通过引用将其并入。

我们使用在无线电信令领域被称为“外差”的方法的光学4D光学版本来获取光场。外差通过以非线性方式混合两个或更多个信号来生成新频率。两个频率的混合得到的是作为这两个频率之和的第一频率，以及作为这两个频率之差的第二频率。我们的相机中的外差是通过透射式遮光板130产生的。我们通过在设置在相机的透镜与传感器之间的光路中的遮光板130上形成高频正弦图案(参见图11A)，而在4D频域中生成光场的光谱拼接块。

为了重构出4D光场，参见图5-7，我们计算传感器所感测到的2D信号的傅里叶变换，将2D拼接块重新汇集成平面的4D堆，并对拼接块的堆应用逆傅里叶变换。

与依靠透镜阵列的现有技术4D光场相机不同，我们的混合成像/光场相机并不对场景102的对焦部分强加分辨率折衷。当光线沿着从场景到传感器的笔直光路移动时，遮光板并不使它们弯曲。遮光板只以类似阴影的方式来衰减光线。衰减提供了对光场的空间调制。如果我们对该阴影进行补偿，则我们保留了场景的全分辨率2D图像。此外，我们可以通过傅里叶域解码或解调来重构出4D光场。

图2中示出的相机200基于频域中的卷积理论，Oppenheim et al.，“Discrete-Time Signal Processing”，Prentice-Hall，1999，此处通过引用将其并入。通过将低频遮光板230置于其他部分都为常规的2D相机的镜头孔径115附近或镜头孔径115中，我们对离焦模糊进行编码以保留高空间频率。随后可以通过图像去模糊技术来重构出该高空间频率，参见图13和14。

我们描述了如何对分层朗伯场景通过计算将全分辨率图像重聚焦为不同深度。这种计算的重聚焦是不需要测量整个4D光场的频域中的4D重新映射的特殊情况。它避免了分辨率劣化。

对于两种相机设计，我们都描述了遮光板130和230的最优设计标准，并且都描述了一种生成非常有效的遮光板的方法。

光场

图3和8示出了我们的发明的实施方式的基本操作。图3示出了编码模糊相机200的光学***。图8示出了外差光场相机100的光学***。

在光线空间中，来自场景点310的4D光场的聚焦场景光线(l)通过透镜和遮光板会聚为传感器120上的点(像素)320。离焦光线在传感器图像上盖印了(imprint)遮光板图案。

在如图4所示的傅里叶域中，朗伯场景中的光场410缺少角度维度θ的变化，从而形成了水平光谱。置于孔径处的遮光板缺少x平面的变化，从而形成了垂直光谱。由于遮光板调制函数420，经调制的光场430的光谱是两个光谱的卷积。聚焦传感器对离焦时发生倾斜的水平光谱切片进行测量。

我们考虑2D光场空间(LS)，该空间包括：x平面301中的一个空间维度；θ平面302中的一个角度维度；以及1D传感器120，我们认为其可以光学地根据焦点而移动到位置S_near、S₀(对焦)和S_far。我们用小写字母来表示变量，用大写字母来表示其相应的傅里叶域表示。令l(x，θ)表示由如图3所示的双平面参数化进行了参数化的2D光场。选择θ平面302作为主透镜，或者具有复合透镜的相机的孔径的平面。对于平面朗伯场景的情况，我们假定x平面301与场景平面重合。

光学元件对光场的影响

我们现在讨论各种光学元件(例如传感器、透镜和孔径)对频域中的2D光场的影响，频域在这里被我们称为傅里叶域光场空间(FLS)。(x，θ)空间被称为原始域。

传感器：形成在1D(2D)传感器上的图像是进入相机的2D(4D)光场的1D(2D)投影，其还对应于傅里叶域中的光场的切片440，参见图4。对于不同焦点设定，参见图3，获得的图像对应于不同角度/路线的切片。

透镜：薄透镜将光场的x平面移动到由薄透镜公式1/x+1/v＝1/f给定的共轭平面，其中x是从场景到透镜中心的距离，v是从透镜中心到传感器的距离，而f是透镜的焦距。透镜还对光场的x平面进行颠倒。

孔径：相机的孔径充当限光器，只允许通过孔径的光线进入相机。通过孔径之后的光场l由以下公式给出

l_a(x，θ)＝l(x，θ)α(x，θ)，                             (1)

其中α(x，θ)是由α(x，θ)＝rect(θ/2 θ₀)给出的孔径(矩形)调制函数，而2 θ₀是孔径的尺寸。

通过公式(1)，孔径之后的光场的傅里叶变换由以下公式给出

$L_A(f_x,f_{\mathrm{\θ}})=L(f_x,f_{\mathrm{\θ}})\⊗A(f_x,f_{\mathrm{\θ}})---\left(2\right)$

其中

表示卷积。L和A分别是(孔径之前的)光场的傅里叶变换和孔径调制函数。因为α(x，θ)是rect函数，所以

A(f_x，f_θ)＝2α₀sinc(2α₀f_θ).           (3)

FLS和光场中的信息内容

光场是自由空间中光线的4D表示。2D传感器仅可以对该光场的一个2D切片进行采样。根据场景的不同，光场中的信息内容集中于光场的不同部分。

平面朗伯场景

让我们假定要成像的场景包括x平面301中的平面朗伯场景410。因为来自朗伯场景的光线辐射中没有角度变化，所以其光场410的信息内容局限于沿f_x轴。因此，对于所有不等于零的f_θ，都有L(f_x，f_θ)＝0。因为L(f_x，f_θ)与f_θ无关，并且A(f_x，f_θ)与f_x无关，所以我们通过公式(2)和(3)得到，

$L_A(f_x,f_{\mathrm{\θ}})=L(f_x,f_{\mathrm{\θ}})\⊗A(f_x,f_{\mathrm{\θ}})---\left(4\right)$

        $=L(f_x,0)A(0,f_{\mathrm{\θ}})---\left(5\right)$

        $={2a}_0(f_x,0)\sin c\left({2a}_0{f}_{\mathrm{\θ}}\right)---\left(6\right)$

感测到的图像是该调制光场430的切片440，参见图4。

当传感器对焦—图3中的(S₀)—时，来自场景点的所有光线都会聚在传感器像素上。因此，对焦图像与沿f_x(f_θ＝0)的L_A(f_x，f_θ)的切片相对应。令y(s)和Y(f_s)分别表示传感器观测及其傅里叶变换。对于对焦传感器

Y(f_s)＝L_A(f_s，0)＝2α₀L(f_s，0).         (7)

因此，当朗伯平面对焦时，没有丢失任何信息。因此，Y(f_s)＝L_A(f_scosβ，f_ssinβ)

   ＝2a₀L(f_scosβ，0)sinc(2a₀f_ssinβ)               (8)

因此，对于离焦设定(S_near和S_far)，光场因遮光板调制函数420的频率变换而衰减，遮光板调制函数420的频率变换是对于全开孔径的正弦基函数(sine cardinal)(sinc)函数。这解释了当场景离焦时所获取的信号中的高空间频率的衰减。

因此，我们对孔径进行修改，使得最终的孔径调制函数420具有宽带频率响应，从而确保当图像离焦时保留光场中的高空间频率。

顺便提及，对于针孔相机，孔径函数是Dirac δ函数，孔径调制函数在f_θ中是宽带的。这解释了为什么针孔相机获取的图像总是对焦。

然而，具有极小孔径的针孔相机的光损耗非常严重，从而降低了图像的信噪比(SNR)。

如下所述，人们可以使用精心选择的遮光板来执行f_θ中的光场的宽带调制器的功能，并实现针对朗伯场景的更大的自由度，然而与针孔相机比较却需要增大捕获的光量。

频带受限光场

如图5所示，对一般场景，我们假定光场被频带限制为f_x0和f_θ0

对于所有|f_x|≥f_x0，|f_θ|≥f_θ0，都有L(f_x，f_θ)＝0。

常规相机仅可以采用2D(4D)光场的1D(2D)切片。为了重构出光场的全部信息内容，我们对进入的光场进行调制，从而将来自4D FLS空间的能量重新分配到2D传感器空间。

图5示出了外差光场相机100中的光谱分割。在傅里叶域中，传感器仅沿水平轴(f_θ＝0)测量光谱。在没有遮光板的情况下，传感器120不能获取整个2D光场光谱。遮光板光谱形成了以角度α倾斜的脉冲序列。

如图6所示，根据我们的调制理论，沿传感器的宽平面f_θ＝0放置光场光谱切片，传感器光场和遮光板光谱卷积从而形成光谱副本。

如图7所示，为了重构出光场光谱，如箭头所示，我们通过对传感器切片进行解调来将传感器光谱段移回它们初始的f_x和f₀位置从而重构出光场101。

外差光场相机

如图8所示，可以利用设置在透镜与传感器之间的适当位置的适当选择的2D遮光板来在频域中实现所需的调制。该遮光板只是2D调制器。然而，非常显著的是，与透镜110串联便可以实现所希望的4D调制。

我们相信根据本发明实施方式的相机是不使用任何额外透镜或其它光线弯曲光学器件的“单个快照”光场相机的第一种设计。

调制理论及其含义

Oppenherm等人的调制理论指出，用基带信号s(x)乘以频率f0的余弦，所得结果是该频率下的信号的副本：

$F\left(\cos \left(2\mathrm{\π}{f}_{0}x\right)s\left(x\right)\right)=\frac{1}{2}(F(f_x-f_0)+F(f_x+f_0)),---\left(9\right)$

其中F(f_x)表示s(x)的傅里叶变换。该原理已广泛用于电信和无线电***。其中，利用频率高得多的载波信号对基带信号进行调制，从而可以在没有显著的能量损耗的情况下对基带信号进行远距离传输。接收器对接收到的信号进行解调，以重构出基带信号。实质上，我们希望在光域中实现类似的结果。

我们希望将光场(f_θ频率)的角度变化的信息调制到f_x中的较高频率，从而高分辨率传感器120可以检测到该信息。

图5示出了频域中的理想频带受限光场501。为简单起见，我们假定x平面是共轭平面，从而传感器图像与沿f_x的切片，即，水平切片相对应。现在考虑如图5-6所示的频率响应由排列在斜线503上的脉冲组成的调制函数502。

如果光场经这样的调制函数调制，则这些脉冲中的每一个都在其中心频率处生成光场的光谱副本。因此，该卷积的结果是沿该斜线的理想光场的几个光谱副本，参见图6。

该特定调制的优点是经调制的光场光谱的水平切片610(虚线框)此时捕获了原始光场中的所有信息。要注意，角度α 503是根据θ和x维度上需要的频率分辨率以及进入光场的带宽而设计的。

电信***中的外差接收器对进入信号进行解调，以重构出基带信号。在如图7所示我们的情况下，解调也将1D信号重新分配到2D光场空间中。如图7所示，解调处理对传感器的频率响应Y(f_s)进行重新排列，以重构出频带受限光场L(f_x，f_θ)101。

基于遮光板的外差

可以通过将适当选择的衰减遮光板置于透镜与传感器之间的光路中，来实现图5-6中所示的调制。

作为光场调制器的遮光板

如图8所示，我们的遮光板实质上是置于透镜与传感器之间的光路中的特殊1D码c(y)(对于4D光场410是2D)。虽然该遮光板是1D的，但是其调制函数420是2D的，示于图9-10中用于设置我们的外差光场相机。如图8所示，在光线空间中，d处的余弦遮光板在传感器上投影了软阴影。

在如图10所示的傅里叶域中，与由脉冲组成的遮光板光谱进行了卷积的场景光谱生成了偏置光谱拼接块910。遮光板光谱脉冲在d＝0处是水平的，在d＝v处是垂直或倾斜的。

遮光板根据其沿相机中的光路放置的位置而对光场产生不同影响。如果遮光板置于孔径115处，即，θ平面处，则遮光板的影响是将孔径调制函数乘以遮光板调制函数410。遮光板调制函数m(x，θ)由m(x，θ)＝c(y＝θ)给出，即，该调制函数与x无关。当置于θ平面处时，遮光板与光线所来自的场景点无关地以类似方式在角度θ下对所有光线产生影响。

如果将遮光板置于共轭平面处，则遮光板针对同一x与θ无关地对所有光线进行同等的衰减。这是因为在共轭平面处，来自焦平面上的点的所有光线都会聚为单个点。因此，遮光板调制函数变为m(x，θ)＝c(y＝x)。

因此，将置于孔径和共轭平面的相同要求(码)所对应的调制函数通过在2D光场空间中旋转90°而产生关联。而且，如图所示，随着1D码从孔径平面向传感器平面移动，所得遮光板调制函数在2D中旋转。在频域中，如果将遮光板c(y)置于距离共轭平面d处，则遮光板调制函数由以下公式给出

M(f_x，f_θ)＝C(f_xcsc(α))δ(f_θ-f_xtanα)     (10)

其中C表示1D遮光板的傅里叶变换，v是取决于透镜110的焦距的孔径与共轭平面之间的距离。

旋转角α由以下公式给出

$\mathrm{\α}=\frac{d}{v}\frac{\mathrm{\π}}{2},---\left(11\right)$

换句话说，遮光板调制函数将所有能量都集中于2D FLS空间中的直线上。直线503相对于f_x轴的角度α取决于遮光板的位置。当遮光板被置于共轭平面(d＝0)处时，角度α等于0。如图10所示，当遮光板从共轭平面向孔径移动时，该角度在孔径平面内线性增大到90°。

用于外差的最优遮光板位置

为了获取2D光场，在角度α的一系列脉冲的调制函数M(f_x，f_θ)由以下公式给定

$\mathrm{\α}=\arctan \frac{{2f}_{x0}}{f_{\mathrm{\θR}}},---\left(12\right)$

其中，f_x0是光场在f_x轴上的带宽，f_θR表示f_θ轴上的理想频率分辨率，如图6所示。

例如，在图6中，将频率分辨率绘制为等于f_θR＝(2/5)f_θ0，其中f_θ0是光场在f_θ轴上的带宽。因此，为了获取给定带宽的光场，可以通过公式(12)和(11)来确定遮光板的物理位置。

实际上，因为空间分辨率远大于角度分辨率，所以角度α非常小，因此要将遮光板放置得靠近用于外差光场相机的传感器。

最优遮光板图案

为了将M(f_x，f_θ)实现为倾斜2D线的一组1D脉冲，1D遮光板的傅里叶变换C(f)应当是一组脉冲。令2p+1为M(f_x，f_θ)中的脉冲数。于是，1D遮光板的傅里叶变换由以下公式给出

$C\left(f\right)=\underset{k=-p}{\overset{k=p}{\mathrm{\Σ}}}\mathrm{\δ}(f-{\mathrm{kf}}_0),---\left(13\right)$

其中基频是

$f_0=\sqrt{{2f_{x0}}^2+{f_{\mathrm{\θR}}}^2}.$

从图5可以得到，(2p+1)f_θR＝2f_θ0。f_θ中的带宽被f_θR进行了离散。因此，光场中获得的角度采样数等于

$\frac{{2f}_{\mathrm{\θ}}}{f_{\mathrm{\θR}}}=2p+1.$

因为最优遮光板的傅里叶变换是一组对称Dirac δ函数(与DC一起)，所以这表示物理遮光板是给定基频f₀的一组余弦及其谐波的总和。

所需的谐波数实际上是p，其取决于光场在f_θ轴上的带宽和理想频率分辨率f_θR。

重构2D光场

为了从1D传感器图像重构出2D光场，我们确定传感器图像的傅里叶变换，如图7所示将1D傅里叶变换整形(reshape)为2D，并确定逆傅里叶变换。因此，

l(x，θ)＝IFT(reshape(y(s)))，                (14)

其中FT和IFT表示傅里叶变换和逆傅里叶变换，y(s)是观察到的传感器图像。

关于4D光场捕获的注意事项

尽管针对2D光场说明了用于获取光场的基于遮光板的外差的分析和结构，但是过程对于利用2D传感器来获取4D光场是相同的。可以直接扩展到4D情况。

在4D光场的情况下，利用置于透镜与传感器之间的2D遮光板将4D光场中的信息内容外差到2D传感器空间。2D遮光板的傅里叶变换包含2D平面上的一组脉冲。

$C(f_1,f_2)=\underset{k_1={-p}_1}{\overset{k_1=p_1}{\mathrm{\Σ}}}\underset{k_2={-p}_2}{\overset{k_2=p_2}{\mathrm{\Σ}}}\mathrm{\δ}(f_1-k_1{f}_{01},f_2-k_2{f}_{02})---\left(15\right)$

因为我们不能按照要求在遮光板中实现负值，所以我们提高C(f₁，f₂)的DC成分，从而自始至终使遮光板为正。

图11A示出了放大的高频2D余弦遮光板，放大倍率很高。该2D遮光板在两个维度上均具有四个谐波(p₁＝4，p₂＝4)，且基频f₀₁和f₀₂等于1个循环/mm。这样就能够实现4D光场中的9×9角度分辨率。

如图7所示，为了重构出4D光场，解调涉及在4D中对传感器傅里叶变换进行整形。光场中的角度采样数是

t₁＝2p₁+1，以及t₂＝2p₂+1

2D传感器图像有N×N个像素。我们首先确定传感器图像的2DFFT。然后，我们将2D傅里叶变换的t₁×t₂个拼接块重新排列成4D平面，以获得(N/t₁)×(N/t₂)×t₁×t₂的4D傅里叶变换。该4D傅里叶变换的逆FFT提供了所述4D光场。

用于光场相机的应用

基于光场的数字重聚焦

可以通过采用适当的切片，从重构出的光场的傅里叶变换获得重聚焦的图像，参见以上通过引用并入的Ng.2005。通过使用重构出的光场101，我们能够显著地增强图像中的景深。基于重构光场的数字重聚焦使得我们即使在复杂场景的情况下也能够重聚焦。

此外，我们可以对来自重构光场101的新颖图像和视图进行合成。例如，新颖图像可以来自不同的视角。

为场景的对焦部分生成高分辨率图像

我们的光场相机拥有其他优点。我们可以生成朗伯场景的对焦部分的高分辨率图像。考虑锐聚焦的场景点。来自该场景点的所有光线都到达同一传感器像素，但是由于遮光板而程度不同地被衰减。因此，传感器像素值是场景辐照度和遮光板在到达该像素的光线的锥形内的平均值的乘积。该衰减γ(x，y)对于每个像素都不同，并且可以通过分析被确定，或通过获取均匀强度朗伯场景的单个标定(calibration)图像而被重构。

我们可以如下来重构对焦场景点的高分辨率图像I(x，y)

I(x，y)＝s(x，y)/γ(x，y)，                         (16)

其中s(x，y)是获取的传感器图像。场景的未对焦部分在I(x，y)中具有空间变化的模糊。我们使用均匀强度朗伯灯箱的图像作为γ。

编码模糊相机

以上，我们描述了使用衰减遮光板的光场相机。在这一部分中，我们来描述光场的特定子类，例如由分层朗伯场景得到的光场。对于这样的场景，我们表明了使用位于孔径处的低频遮光板是实现全分辨率数字重聚焦的非常有效方式。

在常规相机中，摄影者只能通过控制孔径的尺寸(f-stop)来控制景深(DOF)。随着孔径尺寸减小，相机的DOF成比例地增大，但是SNR由于光损耗而成比例地降低。

以上我们描述了全开孔径抑制了离焦图像中的高空间频率。为了保留高空间频率，我们在孔径处放置了频率响应是宽带的物理遮光板。对于放置在孔径处的遮光板，通过公式(10)可知，M(f_x，f_θ)的所有能量都沿f_θ方向集中。因此，对于所有不为零的f_x，都有M(f_x，f_θ)＝0。遮光板调制光场的频率变换是

$L_M(f_x,f_{\mathrm{\θ}})=L(f_x,f_{\mathrm{\θ}})\⊗M(f_x,f_{\mathrm{\θ}}).---\left(17\right)$

因为对于朗伯场景，L(f_x，f_θ)＝0，所以上式简化为

L_M(f_x，f_θ)＝L(fx，0)M(0，f_θ).

因此，用光场的频率变换乘以遮光板调制函数。在原始域中，这相当于遮光板与场景的清晰图像的卷积。遮光板的标度取决于离焦模糊的程度。可以利用所标定的遮光板对模糊图像进行解卷积而重构出清晰图像。可以从捕获图像的基于光线的分析而得到相同的结果。

用于编码离焦模糊的最优遮光板

因为将光场的频率变换乘以了遮光板调制函数，所以最优遮光板在频域中具有宽带响应。宽带遮光板也被广泛称作修正的均匀冗余阵列(MURA)编码，其已应用于编码孔径天文学中。

然而，我们的基于透镜的编码孔径与不使用透镜的天文学中所用的常规编码孔径有显著的区别。在常规编码孔径中，用遮光板循环地卷积每个场景元。

与我们的基于透镜的编码相反，观察到的图像是清晰图像与离焦点扩散函数(PSF)的线性卷积。因为线性卷积等价于与补零核的循环卷积，所以对于基于透镜的编码孔径的最优遮光板与MURA不同。

而且，天文学中的编码孔径只能对诸如恒星的银河源的点提高SNR，而对于区域光源来说采用多个针孔并未提供额外的优点。因此，这些技术不适于自然世界场景的摄影。

以上，Raskar等人描述了针对运动模糊问题的根据对补零码的DFT大小的最小值进行最大化来搜索最佳二元码的强力线性搜索。

这里，我们表明了连续值码与二元码相比可以提供更优越的性能，优点在于显著缩短了搜索时间。为了得到连续码，我们根据对补零码的DFT幅度的最小值进行最大化来进行连续值优化。

可以提供次优二元码，例如MURA码，作为初始猜测。图11B示出了在计算搜索10小时之后获得的常规7×7二元遮光板。图11C示出了在优化的几分钟之内获得的连续宽带遮光板。与针对二元码的0.003相反，针对连续码，DFT的最小幅度等于0.013(在补零到128之后)。利用下述的噪音分析，与二元遮光板相比，连续值码的解卷积噪音小了7.3dB。

为了捕获光场，我们要使用与传感器的分辨率相匹配的遮光板。这对于像素变得越来越小以实现更高分辨率的数字相机的未来趋势很理想。可以在例如具有1024个灰度的25、50和100纳米分辨率的像素分辨率下打印RGB Bayer马赛克。这样的高分辨率遮光板支持单遮光板中的外差以及Bayer马赛克操作。我们的遮光板在4D空间中实际上是2D的，但是我们也可以使用与全息图类似的以角度和位置设置的遮光板，来实现完全4D效果。我们的宽带和余弦遮光板也可以是彩色的，并利用起偏效应来估计场景性质。

另选的是，遮光板可以是活动的，从而用户或相机可以根据应用或场景来改变遮光板的位置和遮光板上的图案。这样，遮光板的空间频率就连续地从低变到高。如图12所示，可以用与“缩放”透镜控制类似的组件对遮光板进行操作。移入和移出1201桶状控制件将在连续范围内改变遮光板的位置(d)，而旋转1202该控制件将在连续范围内改变遮光板的空间频率。

如果遮光板是靠近传感器的高频，则结果是2D(4D)光场的傅里叶变换与遮光板的傅里叶变换的卷积。遮光板的傅里叶变换总是沿2D(4D)空间中的直线(平面)的1D(2D)变换。如果遮光板靠近透镜，则直线沿θ轴，而如果靠近传感器则沿x轴。

遮光板在透镜处是低频的原因在于衍射。衍射随着传感器与限制孔径的距离而增大。所以当遮光板靠近传感器时，衍射不是问题，因而我们可以使用高频遮光板。靠近传感器来使用余弦遮光板的原因在于我们希望实现的特定调制。

将遮光板置于透镜存在衍射问题，所以我们优选低频遮光板。我们在透镜处使用宽带遮光板而不是余弦遮光板的原因在于，我们希望在离焦图像中保留高空间频率，从而我们可以去模糊并重聚焦。有趣的是，如果我们在透镜附近放置余弦遮光板，则我们可以精确地感测深度。

基于解卷积的数字重聚焦

我们利用图像解卷积技术，实现了从单编码离焦图像的全分辨率数字重聚焦。获取的图像中的离焦模糊与场景的深度有关。虽然已知离焦的深度，但是如果不假定关于场景的先验知识，或者不使用基于学习的方式，则根据单离焦图像来确定深度映射还是很具有挑战性的。

相反，我们假定场景102由n个不同层组成，其中n是很小的数，每层内的离焦点扩散函数(PSF)是空间不变的。该假定对各种场景都非常适用。我们还假定图像中的最大模糊直径可以是T个像素。

我们以两步来实现重聚焦。首先，我们自动分析场景并估计层数和每层的PSF的标度(scale)。然后，我们通过用所估计的模糊核对获取的模糊图像进行解卷积来生成n个去模糊图像I1、...、I_n。

为了在层i重聚焦，我们根据n-1个图像(I₁、...、I_i-1、I_i+1...、I_n)的模糊与层I的模糊的差异来对它们进行重新模糊，然后将I_i与重新模糊的图像进行复合以获得重聚焦的图像。

PSF估计

我们假定整个图像为一层，离焦模糊直径为k个像素。获取的图像B通过如下卷积与清晰图像I产生关联

B(x，y)＝I(x，y)*h^k(x，y)+η，                   (18)

其中η表示测量噪音，h^k是标度k下的PSF。给定图像I和h^k，可以将似然率误差(likelihood error)写为

e_l(x，y)＝(B(x，y)-I(x，y)*h^k(x，y))².         (19)

然而，该误差本身不足以唯一地确定I和h^k，因为可以通过假定B等于I来使e_l(x，y)等于零。

为了解决这种不确定性，我们利用了自然图像的统计数据。已知真实世界图像在其梯度中遵守重尾分布。在模糊图像中，高梯度受到抑制，因此抑制了该分布的尾部。我们使用梯度的四阶矩(峰度)作为用于描绘梯度分布的特征的统计数据。

在每个像素处，将梯度误差e_g(x，y)定义为像素周围的小邻域R内的梯度的峰度，例如

e_g(x，y)＝-(kurtosis({I_x(x，y)}_R)+kurtosis({I_y(x，y)}R)，   (20)

其中I_x、I_y表示x梯度和y梯度。

然而，在高于正确标度k的错误标度下进行去模糊引入了可能降低e_g的高频解卷积伪影(artifact)。要注意，e_l对于k的低值很小，同一像素p的e_g对于模糊图像很高。因此，两个误差测量彼此竞争。为了定位正确的标度，我们使用了组合误差e(x，y)＝e_l(x，y)+βe_g(x，y)，其中β是常量。

在有多个(n)层的情况下，我们使用不同尺寸(范围从1到T个像素)的模糊核对图像进行去模糊。对于这T个去模糊图像中的每一个，我们都确定误差映射e(x，y)。对于具有正确标度k的层，第k个误差映射在与该层相对应的区域具有最小值。这等价于对具有T个标记的每个像素进行离散标记的问题。在给定标记k的每个像素处进行标记的成本由第k个误差映射e^k(x，y)给出。

我们通过对α扩展图片剪切程序进行改写而解决了该标记问题，参见Boykov et al.，“Fast approximate energy minimization using graph cuts”IEEE Trans.Pattern Anal.Machine Intell.23，pp.1222-1239，2001，此处通过引用将其并入。因为图像中的均匀区域不包含任何模糊信息，所以我们将均匀区域的数据成本设为零，从而它们在图片剪切最优化期间对于每一层都被填充。

相反，我们在图像中除去像素数少于像素总数10％的假层，并在标记上进行简单形态操作，例如，填孔。该程序就层和相应标度而言产生了场景的段(segmentation)。没有获得层之间的精确边界，但是对层的内部进行了正确标记。

合成重聚焦的图像

因为场景有n层，所以我们只需要考虑相应标度下的n个去模糊图像(I₁、...、I_n)。我们使用来自先前步骤的内部标定，根据相应的去模糊图像来为每一层(单独处理每个通道)构建彩色直方图。我们还利用给定的模糊图像来为所有层外部的均匀区域构建直方图。

为了重聚焦到层i上，我们根据n-1个图像中的每一个的标度与层i的差异对其进行重新模糊。重聚焦的图像由I_i和n-1个重新模糊的图像组成。可以将此再视为标记问题。我们使用Agarwala et al.，“Interactivedigital photomontage”，ACM Trans.Graph.23，3，pp.294-302，2004(此处通过引用将其并入)中描述的程序来生成复合图像。使用彩色直方图选择每个像素处的数据成本作为“最大似然率”，并且场景基于匹配颜色和梯度。

有部分遮蔽物的情况下的重聚焦

图像填充和其它幻觉技术可以用来填充图像的丢失或不想要的区域。然而，这样的技术可能对离焦模糊图像无效。因为幻觉像素值不是根据离焦模糊来建模的，所以对这样的图像进行去模糊会产生伪影。

图13A示出了前方的栅栏处于锐聚焦状态而栅栏后的人物处于离焦状态的场景。在不考虑遮蔽物的情况下对该图像进行去模糊会产生如图13B所示的伪影。然而，因为模糊将信息分布到相邻像素，所以如果模糊尺寸大于遮蔽物尺寸，我们就可以恢复出清晰图像。

如图13C所示，我们利用局部方差分析来识别被栅栏遮蔽的像素。然后，我们通过求解下式来进行图像的加权解卷积

WAx＝Wb，                                       (21)

其中W是将与模糊图像中的遮蔽像素相对应的权重设为零的加权矩阵，b是向量化模糊图像，而A是表示2D模糊的块-Toeplitz矩阵。如图13D所示，在获得对焦图像之后，我们将该对焦图像与栅栏的对焦图像进行复合，从而使人物和栅栏同时对焦。要注意，只要模糊足够大，就可以过高估计遮蔽物的遮罩(matte)。

空间变化的PSF

图14A-14B示出了由于倾斜书本造成的空间变化离焦模糊的例子。为了获得对焦图像，我们将去模糊图像I₁、...、I_T合并(fuse)。我们使用模糊图像上的四个点来估计书本的单应性(homography)，并利用端点处的标度来估计每个像素处的PSF标度以及单应性参数。然后根据空间变化标度对去模糊图像进行组合，来获得图14B中所示的全对焦图像。注意，词“ARCHITECTURE”在图14A所示的模糊图像中无法看清，但是在图14B所示的输出图像中却很清晰。

例如，通过在时间[2006年Raskar等人]和空间中同时进行编码，可以将我们的宽带编码改写为更高维度。遮光板与透镜相比的优点是缺少依赖于波长的对焦和色差。该事实普遍用于天文学中。因此，遮光板对于超光谱成像可能是理想的。场的阴影深度是医学和科学显微镜学中的严重障碍。在保持全分辨率的同时来重聚焦的设备具有很多益处。与共焦编码孔径照明相结合，我们可以在焦平面的较少递增步骤中捕获数字重聚焦的图像。

本发明的效果

本发明提供了设置在除此以外均为常规的相机的光路中的编码遮光板，使得能够对相机获取的图像实现不同类型的计算改善。我们可以将精细、窄带遮光板放置在传感器前方附近。然后，我们可以通过计算来重构出进入相机镜头的4D光场。遮光板保留了我们的相机在用于捕获4D光场的同一次曝光中在传感器的全分辨率下捕获图像的聚焦部分的能力。

另选的是，我们将粗糙、宽带遮光板放置在镜头孔径处。然后，我们可以通过计算在全分辨率下对离焦图像进行重聚焦。因为该重聚焦依靠解卷积，所以我们可以对需要恒定或分段平面聚焦的图像的聚焦进行校正。其它遮光板位置和空间频率也是可以的。

我们描述了对4D光场的有用部分进行编码和操作的方法。我们识别了将4D光线空间的傅里叶变换重新映射到2D传感器上的一类4D相机。常规4D光场相机使用2D透镜阵列来对4D光线空间本身而不是光线的傅里叶变换进行投影。我们利用单个透射式遮光板实现了这种频域重新映射，并且我们的方法不需要额外的光学元件，例如常规4D光场相机中的透镜阵列。

外差光场相机设计根据的是4D频域中的调制理论。我们利用在无线电领域中被称为“外差”的方法的4D版本来获取光场。我们通过将高频正弦曲线图案置于相机的镜头与传感器之间，而在4D频域中生成光场的光谱拼接块。为了重构出4D光场，我们对2D感测信号进行傅里叶变换、将2D拼接块重新汇集为平面的4D堆，并进行逆傅里叶变换。

与依靠透镜阵列的常规4D相机相反，我们的混合成像/光场设计并未对场景的对焦部分强加分辨率折衷。当光线从场景向传感器行进时，遮光板并不使它们弯曲，而只是以细微、类似阴影的方式来衰减光线。如果我们补偿该阴影，则我们保留了场景的全分辨率2D图像，以及我们通过傅里叶域解码而重构出的低分辨率4D光场。

编码模糊相机设计根据的是频域中的卷积理论。通过将宽带遮光板放置在除此以外均为常规的2D相机的孔径中，我们对散焦模糊进行编码，以保留随后可以通过图像去模糊而来重构出的高空间频率。我们表明了如何通过计算针对分层朗伯场景在不同深度下对全分辨率图像进行重聚焦。这种计算出的重聚焦是频域中的4D重新映射的不需要测量整个4D光场的特殊情况，使得我们可以避免其严重的分辨率劣化。对于这两种设计，我们都描述了遮光板图案的最优化标准，并描述了计算高效遮光板的方法。

我们的基于遮光板的混合成像/光场相机提供了几个较之先前方法的优点。衰减遮光板与多相机或透镜阵列相比要简单得多且成本更低，并且避免了例如球差、色差、彗差和失准的误差。更简单的安装和灵活的遮光板实现了提供用户可选择的遮光板的相机设计。摄影者可以选择角度分辨率对空间分辨率的任何希望的折衷。

虽然以优选实施方式为例描述了本发明，但是应当理解，可以在本发明的精神和范围内进行各种其它改动和变型。因此，所附权利要求的目的是涵盖落入本发明的真实精神和范围内的所有这种改动和变型。

Claims (56)

1、一种用于获取场景的4D光场的设备，该设备包括：

透镜；

传感器；以及

设置在所述透镜与所述传感器之间的笔直光路中的遮光板，该遮光板包括用于对传感器获取的场景的4D光场进行空间调制的衰减图案。

2、根据权利要求1所述的设备，其中所述衰减图案的空间频率低并被设置得靠近所述透镜。

3、根据权利要求1所述的设备，其中所述衰减图案的空间频率高并被设置得靠近所述传感器。

4、根据权利要求3所述的设备，其中所述遮光板对所述4D光场进行外差。

5、根据权利要求1所述的设备，其中所述传感器产生输入图像，并且该设备还包括：

用于从所述输入图像重构出所述4D光场的装置。

6、根据权利要求5所述的设备，其中通过傅里叶域解码来重构所述4D光场。

7、根据权利要求2所述的设备，其中所述传感器产生散焦模糊输入图像。

8、根据权利要求2所述的设备，其中可以在没有分辨率损耗的情况下实现数字重聚焦，经重聚焦的图像的分辨率等于所述传感器的像素分辨率。

9、根据权利要求1所述的设备，其中所述衰减图案打印在所述遮光板上。

10、根据权利要求1所述的设备，其中所述遮光板是活动的，并且该设备还包括：

用于连续改变所述遮光板的位置和所述衰减图案的空间频率的装置。

11、根据权利要求5所述的设备，该设备还包括：

用于在没有分辨率损耗的情况下，根据重构出的4D光场对所述输入图像进行重聚焦以产生对焦输出图像的装置。

12、根据权利要求11所述的设备，其中所述输出图像具有增大的景深。

13、根据权利要求5所述的设备，该设备还包括：

用于根据重构出的4D光场来合成新的重聚焦图像的装置。

14、根据权利要求5所述的设备，该设备还包括：

用于根据重构出的4D光场来生成高分辨率图像的装置。

15、根据权利要求1所述的设备，其中所述衰减图案包括颜色。

16、根据权利要求1所述的设备，其中所述遮光板被放置为相对于所述笔直光路成一角度。

17、根据权利要求1所述的设备，其中所述遮光板具有余弦图案。

18、根据权利要求1所述的设备，其中所述遮光板利用了起偏效应。

19、根据权利要求1所述的设备，其中所述衰减图案的空间频率高，并被设置得靠近所述透镜以精确地感测场景的深度。

20、根据权利要求7所述的设备，该设备还包括：

用于对所述输入图像进行去模糊以除去离焦模糊的装置。

21、根据权利要求1所述的设备，其中所述传感器产生对所述4D光场进行了编码的输入图像，并且该设备还包括：

连接到所述传感器，用于根据所述输入图像来生成输出图像的微处理器。

22、根据权利要求1所述的设备，其中所述传感器获取场景的一系列图像。

23、一种用于获取场景的4D光场的方法，该方法包括以下步骤：

沿笔直光路通过透镜将所述4D光场传递到传感器；以及

利用设置在所述透镜与所述传感器之间的笔直光路中的衰减遮光板对所述4D光场进行调制。

24、根据权利要求23所述的方法，其中所述衰减遮光板的空间频率低并被设置得靠近所述透镜。

25、根据权利要求23所述的方法，其中所述衰减遮光板的空间频率高并被设置得靠近所述传感器。

26、根据权利要求25所述的方法，其中所述衰减遮光板对所述4D光场进行外差。

27、根据权利要求23所述的方法，其中所述传感器产生输入图像，并且该方法还包括以下步骤：

根据所述输入图像来重构所述4D光场。

28、根据权利要求27所述的方法，其中通过傅里叶域解码来重构所述4D光场。

29、根据权利要求24所述的方法，其中所述传感器产生散焦模糊输入图像。

30、根据权利要求29所述的方法，其中通过对所述输入图像进行去模糊而获取的重聚焦图像具有与所述传感器的像素分辨率相同的分辨率。

31、根据权利要求23所述的方法，其中所述衰减遮光板上打印有图案。

32、根据权利要求23所述的方法，其中所述衰减遮光板是活动的，并且该方法还包括以下步骤：

连续改变所述衰减遮光板的位置和图案的空间频率。

33、根据权利要求27所述的方法，该方法还包括以下步骤：

根据重构出的4D光场对所述输入图像进行重聚焦，以产生对焦输出图像。

34、根据权利要求33所述的方法，其中所述输出图像具有增大的景深。

35、根据权利要求27所述的方法，该方法还包括以下步骤：

根据重构出的4D光场来合成新的图像。

36、根据权利要求27所述的方法，该方法还包括以下步骤：

根据重构出的4D光场来生成高分辨率图像。

37、根据权利要求23所述的方法，其中所述衰减遮光板包括颜色。

38、根据权利要求23所述的方法，其中所述衰减遮光板被放置为相对所述笔直光路成一角度。

39、根据权利要求23所述的方法，其中所述衰减遮光板具有余弦图案。

40、根据权利要求23所述的方法，其中所述衰减遮光板利用了起偏效应。

41、根据权利要求23所述的方法，其中所述衰减遮光板的空间频率高，并被设置得靠近所述透镜以精确感测场景的深度。

42、根据权利要求29所述的方法，该方法还包括以下步骤：

对所述输入图像进行去模糊。

43、根据权利要求23所述的方法，其中所述传感器产生对所述4D光场进行了编码的输入图像，并且该方法还包括以下步骤：

根据所述传感器产生的输入图像来生成输出图像。

44、根据权利要求23所述的方法，其中所述传感器获取所述场景的一系列图像。

45、根据权利要求23所述的方法，该方法还包括以下步骤：

对所述传感器感测到的2D信号应用傅里叶变换，以获取2D拼接块；

将所述2D拼接块重新汇集为平面的4D堆；以及

对所述平面的4D堆应用逆傅里叶变换，以重构出所述4D光场。

46、根据权利要求23所述的方法，其中所述衰减遮光板设置在孔径中，并且其中场景的4D光场的光谱缺少角度维度的变化，所述衰减遮光板的光谱缺少空间维度的变化，并且所述传感器感测到这两个光谱的卷积。

47、根据权利要求45所述的方法，其中通过以下调制来实现穿过孔径后的4D光场l的所述傅里叶变换：以孔径调制函数的傅里叶变换对进入光场进行傅里叶变换。

48、根据权利要求27所述的方法，该方法还包括以下步骤：

根据所述输入图像来确定不同深度下的重聚焦图像。

49、根据权利要求27所述的方法，该方法还包括以下步骤：

根据重构出的4D光场来合成不同视角的新图像。

50、根据权利要求23所述的方法，其中所述笔直光路中设置有多个遮光板。

51、根据权利要求23所述的方法，其中所述衰减遮光板的图案是解析2D函数。

52、根据权利要求23所述的方法，其中所述衰减遮光板的图案是二元函数。

53、根据权利要求23所述的方法，其中所述衰减遮光板的图案是连续2D函数。

54、根据权利要求50所述的方法，其中所述传感器利用多个所述遮光板来获取场景的一系列图像。

55、一种用于获取场景的4D光场的方法，该方法包括以下步骤：

利用设置在透镜与传感器之间的笔直光路中的衰减遮光板对4D光场进行调制；以及

通过所述传感器来感测经调制的4D光场，以产生对所述4D光场进行了编码的输入图像。

56、根据权利要求55所述的方法，该方法还包括以下步骤：

对所述输入图像进行解调，以恢复所述4D光场。

Images