CN102595171A - 一种多通道空时编码孔径的动态光场成像方法和成像*** - Google Patents

Abstract

本发明公开了一种多通道空时编码孔径的动态光场成像方法和成像***，建立空时编码孔径的5维动态光场成像模型，在4维光场的基础上将曝光时间作为时间维度引入编码孔径，实现光圈孔径模式的空时联合编码，实现基于多路复用的正交空时编码孔径；运动场估计和消除运动模糊，实现基于曝光时间编码的运动模糊图像的复原；多通道深度超分辨率重建；实现运动场和深度场的解耦，并恢复全焦点图像。多路复用可提高图像信噪比，减弱快门噪声影响，提高光场成像质量；曝光时间编码的频率响应特性和运动模糊图像复原能够提高复原后图像的清晰度，深度超分辨率重建提高了深度分辨率，并修正了低分辨率深度图中的估计误差。

Description

一种多通道空时编码孔径的动态光场成像方法和成像***

技术领域

本发明涉及立体视像中的光场成像技术，特别是指一种多通道空时编码孔径的动态光场成像方法和成像***。 

背景技术

立体视像作为全球下一代数字影视和数字娱乐行业的核心支柱，逐渐形成了以三维影像/立体视频为基础的新产业增长点和新产业链。三维实景捕获为三维模型绘制和立体显示提供三维内容支撑，是整个产业链中必不可少的前端和基础环节。 

近年发展起来的光场成像技术可获取传统成像模型无法捕获的场景几何等额外信息。这一特性有效扩展了成像应用的能力，通过结合成像几何模型，避免了传统视觉计算模型中的病态性逆问题求解。为三维信息采集和处理开辟了新的理论框架和途径。但是，目前这方面的技术还处于理论探索和实验室原型的初期阶段，面临着诸多挑战。 

长期以来，以Marr视觉理论为核心的视觉计算理论体系一直是以传统的光学积分成像模型作为信息获取的唯一方式，取得了大量令人瞩目的研究成果。然而传统成像模型只是简单地将三维场景投影到二维图像，在光积分期间不可避免地丢失场景几何和深度等重要信息，使得传统的视觉研究往往面临着从二维图像恢复三维信息的病态逆问题求解，难以有效解决其一般性、鲁棒性和实时性等问题。 

随着计算摄影学在近年来取得的突破性进展，光场成像作为一种广义光学信息采集的新技术，通过捕获额外的光场信息，可获得传统成像模型无法捕获的场景几何等额外信息，为视觉信息采集和处理开辟了革新性的理论框架和途径。 

光场捕获的最直接方法是采用像机阵列或单像机运动。美国斯坦福大学M. Levoy在1996年构建了由128个像机组成的4维光场采集平台[1]。美国南加州大学P. Debevec在2000年首次实现了用于人脸采集的4维静态变光照采集***[2]，但该***只能进行固定视角的静态采集。2005年A. Wenger和P. Debevec针对前***的缺点，采用156个LED灯和一台12bit的CMOS高速像机，将高速变化的动态光场和高速像机相结合，实现变光照条件下动态人脸采集[3]。2006年P. Einarsson和P. Debevec采用像机阵列代替高速像机，实现了普通像机阵列在变光照条件下的动态人体采集[4]。该***将14维的反射场函数降维到7维函数处理。此外，美国麻省理工W. Matusik[5]，英国莎里大学J. Starck[6]等也都提出了多像机光场采集***。然而这类方法的主要局限在于***体积庞大，有效采集范围有限；此外需要完成复杂的颜色和几何标定，以及多像机间的严格同步等步骤；同时还面临着海量数据压缩和有限带宽传输等方面的挑战。 

为克服像机阵列或单像机运动方法的局限性，美国麻省理工E.H. Adelson首次提出了全光像机[7]的概念，并在2005年由美国斯坦福大学R. Ng[8]进一步完善。该方法在传统像机的成像平面处***微透镜阵列，用以记录入射光的辐射角分布，并通过一个额外的中继透镜传递到光电传感器上实现4维光场成像。其核心思想在于以微透镜阵列取代像机阵列，以牺牲成像空间分辨率换取辐射角分辨率，因而不可避免地存在空间分辨率低的缺陷，且微透镜间微小的基线长度及衍射导致深度分辨率降低。近期T. Georgiev等人采用超分辨率重建技术实现具有较高空间分辨率的Plenoptic 2.0全光像机[9, 10]。J.P. Luke又在T. Georgiev等人的基础上，提出一种基于多视点深度估计的超分辨率焦点栈变换技术[11]，在提高最终图像的空间分辨率的同时，可获得超分辨率深度图和全焦距图像。虽然全光像机在近年来取得了显著进展，但空间和深度分辨率仍然较低，难以达到百万级像素的分辨率，并且全光像机无法实现传统二维图像拍摄。 

近期A. Levin[12]和A. Veeraraghavan[13]等人提出了基于编码孔径的光场捕获技术，它在传统像机的镜头光圈处***模式遮光片，利用透镜模型推导出目标到焦平面的距离与散焦模糊间的关系，并结合概率模型恢复深度信息和全焦点图像。与全光像机相比，编码孔径技术可获得与光电传感器相同的像素分辨率，无需额外的光学设备，只需对传统像机略加改动，且可以很容易地实现与传统二维像机间的功能转换。但该方法需要较长的曝光时间且图像信噪比较低。C. Liang等人结合编码孔径和多次曝光技术提出一种可直接捕获4维光场和估计深度图的可编程孔径技术[14]，并采用光照复用技术提高图像信噪比。虽然A. Levin等人已证明了编码孔径方法的可行性[12]，但现有原型***都隐含着许多理想化的假设，以简化***复杂度，并未考虑实际摄影过程中Bayer模式滤波器、快门噪声、运动模糊等诸多因素的影响。 

我国在光场成像和计算摄影学研究中起步较晚，但也取得了较大的进展。清华大学戴琼海教授冲破了发达国家对动态光场相关技术的研究垄断，搭建了国内首个直径6米，包含40台像机和310个LED光源的变光照动态光场穹隆采集***[15]，以及8×8的光场像机阵列[16]。上海大学安平教授建立了基于光线空间的自由视点实验平台[17]。中科院长春光机所搭建了基于微透镜阵列的三维成像实验平台并验证其有效性[18]。中科院上海光机所设计并实现一种适于远距离大尺度三维物体成像的编码孔径方法[19]。北京航空航天大学袁艳教授建立了光场成像与数字对焦的数理模型[20]。此外北京大学、哈尔滨工业大学、浙江大学、西安电子科技大学、中国科技大学、合肥工业大学、宁波大学等院校也在光场成像等方面展开了卓有成效的探索和研究。 

综上所述，目前国际上对光场成像的研究已初具规模，提出并成功研制了多种光场采集方法及相应的硬件原型。但从总体而言仍处于起步阶段，主要表现在：1）光场采集及表示理论尚未成熟和完善。基于像机阵列或单像机运动的相关研究往往局限于静态或周期性运动的单目标捕获。全光相机或编码孔径方法仅初步实现理论和实验原型论证，恢复出的深度图和全焦点图像较为粗略。2）现有硬件原型尚处于实验室阶段，受限于理论上的缺陷，在空间和深度分辨率、实时性、便携性、以及与传统像机的兼容性等方面都存在不足，与像机阵列或全光像机等其他光场成像技术相比，编码孔径方法在空间/深度分辨率、实时性、便携性、以及与传统像机的兼容性等方面的均衡中更具优势。 

近两年编码孔径方法在理论研究和原型实践上都取得了重大进展。例如： 

中国专利文献（公开日： 2008年7月23日，公开号CN101228460A）公开了一种编码孔径成像设备和方法。在一个方面，编码孔径成像器具有至少一个检测器阵列和可重新配置的编码孔径掩模装置。可重新配置的编码孔径掩模装置可以显示多个编码孔径掩模，以便跨越不同的视场和/或以不同的分辨率提供成像，而无需任何移动部件或庞大的光学组件。可以使用多于一个检测器阵列来提供大面积成像而无需无缝拼接，并且这代表本发明的另一方面。上述发明还涉及到在可见波段、紫外波段或红外波段内使用编码孔径成像。教导了使用编码孔径成像来通过弯曲的光学元件进行成像，因为图像解码可以自动去除由该弯曲元件引入的任何像差。

但仍存在许多关键问题有待进一步探索。主要表现为：1）现有理论和原型***局限于 4维静态光场采集。2）需较长的曝光时间且图像信噪比低。3）长曝光时间引起的运动模糊对光场后处理算法有较大影响。4）缺乏对图像传感器Bayer输出模式、快门噪声等实际因素的考虑。 

因此，有必要结合计算机摄影学和光场理论的最新研究成果，提出一种在Bayer输出模式和动态环境下基于编码孔径的深度超分辨率重建和全焦点图像恢复的技术方案，将编码孔径方法推广到更一般化情况。 

发明内容

本发明的目的旨在解决实际光场捕获过程中存在的图像传感器快门噪声和Bayer输出模式，以及动态场景引起的运动模糊等因素影响，克服现有光场成像中深度分辨率低且精度不高的缺点而建立一个基于多通道空时编码孔径的动态光场成像模型。 

为了实现上述目的，本发明的技术方案是：一种多通道空时编码孔径的动态光场成像方法，包括以下步骤： 

a.建立空时编码孔径的5维动态光场成像模型，在4维光场的基础上将曝光时间作为时间维度引入编码孔径，实现光圈孔径模式的空时联合编码，实现基于多路复用的正交空时编码孔径，建立空时编码孔径的5维动态光场成像模型，所述的多路复用的正交空时编码孔径是将曝光时间编码和光场多路复用引入编码孔径中来实现的；该原型是通过对普通数码单反相机稍作改动实现：在像机镜头处放置一块开关液晶，通过对开关液晶的不同区域加不同电压可控制该区域透光或遮光，从而实现编码孔径。在一次光积分期间根据曝光时间编码控制电子快门的打开和关闭，在快门关闭时切换不同的编码孔径模式。这些编码孔径模式为一组正交编码孔径。在每个编码孔径模式下采集一路光场信息，从而实现通过曝光时间编码和一组正交孔径编码实现光场多路复用采集。

b.运动场估计和消除运动模糊，实现基于曝光时间编码的运动模糊图像的复原，所述的曝光时间编码的运动模糊图像的复原是通过曝光时间编码与运动模糊消除的统一，建立宽带频率响应的曝光时间编码来实现的；该过程中，在满足开关液晶切换编码的响应时间基础上，选择具有宽带频率响应的曝光时间编码序列，以保留图像中高频空间细节信息。通过前景目标运动解码和背景估计消除运动模糊，并实现运动估计。曝光时间编码的采用短-长-短曝光时间交替的编码方式，通过短曝光时间捕获目标，长曝光时间捕获目标的运动模糊。假定在运动目标在短-长-短曝光时间编码过程中匀速运动，根据前后短曝光时间成像，可大致估计出运动速度，并建立匀速的运动模糊核，实现运动模糊复原。对于已知运动速度实现运动模糊复原为成熟方法。 

c.多通道深度超分辨率重建，所述的多通道深度超分辨率重建是将超分辨率技术从二维扩展到三维焦点堆栈，在图像传感器Bayer模式输出下实现的；通过正交编码解调从已消除运动模糊的图像中提取不同编码孔径成像结果，完成Bayer模式下的多通道深度估计。并将二维超分辨率重建技术推广到三维，建立超分辨率焦点堆叠，同时恢复全焦点图像。 

d.实现运动场和深度场的解耦，并恢复全焦点图像。曝光时间编码的频率响应特性和运动模糊图像复原的实现，保证了积分图像中运动模糊和散焦模糊解耦，从而使得动态光场后处理过程中复原后的图像的清晰度得到了保障，实现了全焦点图像的恢复。 

作为优选，所述的空时编码孔径的5维动态光场成像包括空时编码孔径的光积分过程，光圈孔径的正交编码构建和光场多路复用的孔径模式构建过程； 

所述的空时编码孔径的光积分过程是一个时间和空间的投影过程，在积分过程中对动态场景或像机抖动引起的运动模糊和焦平面位置外场景引起的散焦模糊，在频域建立两类模糊的级联混合模型；在积分过程中不可避免地存在两类模糊，一类是动态场景或像机抖动引起运动模糊，另一类是焦平面位置外场景点引起的散焦模糊。这两类模糊都是模糊核在空间域的卷积，为简化计算而在频域建立两类模糊的级联混合模型。

所述的光圈孔径的正交编码构建是根据电子快门切换状态，采用相应的二维正交编码序列对光圈孔径进行调制，使得光场采集后，通过正交编码解调重新恢复不同编码孔径的成像结果。为避免光积分过程中丢失入射角度等重要的光场信息，在每次光积分期间，根据电子快门切换状态，采用不同的二维正交编码序列对光圈孔径进行调制，使得光场采集后，通过正交编码解调可重新恢复不同编码孔径的成像结果。 

所述的光场多路复用的孔径模式构建过程是在每次曝光期间同时采集多路光场，最终图像为积分期间N帧光场图像的线性组合： 

                                              

为第k次曝光采集的光场图像权值，将矢量

作为多路复用模式。通过解复用可从积分图像

中重新恢复各曝光时刻的光场图像

。为提高图像信噪比和减少快门噪声，采用光场多路复用方法，即在每次曝光期间同时采集多路光场。

作为优选，所述的最佳正交编码序列是在二维正交集中同时满足A.Levin提出的最大KL散度以及最优多路复用模式的一个子集；本发明中采用光场多路复用设计以提高成像质量，因此最佳正交编码序列应是在二维正交集中同时满足A.Levin提出的最大KL散度以及最优多路复用模式的一个子集。 

作为优选，所述的最优或近似最优的多路复用模式是通过定义代价函数，其中，选择合适的优化算法最小化该代价函数，来获得。当噪声符合独立同分布时，Hadamard码是一种最佳的解复用模式。但图像传感器噪声往往是与输入信号相关（如快门噪声），Hadamard码反而会导致数据质量退化。本发明通过定义代价函数选择合适的优化算法最小化该代价函数，以获得最优或近似最优的多路复用模式。 

作为优选，所述的运动场估计包括宽带频率响应的曝光时间编码的实现，所述的宽带频率响应的曝光时间编码的实现是根据硬件条件约束和代价设定合适的编码长度，然后采用：离散傅立叶变换的最小幅度最大，以及离散傅立叶变换具有最小方差的线性搜索方式，确定最优的曝光时间编码；本发明根据硬件条件约束和代价设定合适的编码长度，然后采用线性随机搜索方式寻找近似最优的曝光时间编码。本发明采用的搜索策略为：离散傅立叶变换的最小幅度最大，以及离散傅立叶变换具有最小方差。 

作为优选，所述的基于曝光时间编码的运动模糊图像复原，包括动态目标运动解码和静态背景估计两部分，对于动态目标运动解码采用线性代数方式描述模糊核卷积，采用最小二乘估计实现动态目标的运动模糊复原，而运动目标区域提取是通过背景差或帧差法获取；在静态背景估计中是根据目标和背景特性进行分类，进而从模糊目标的边缘处恢复未知背景。本发明是针对不同场景区域具有不同点扩散函数的情况，围绕动态目标运动解码和静态背景估计两部分展开。 

作为优选，所述的多通道深度超分辨率重建包括多通道编码孔径的深度和基于运动估计的深度超分辨率重建； 

所述的多通道编码孔径的深度是将A.Levin单通道算法首先转换到Bayer模式下，然后转换到多通道，最后采用基底变换方法将其推广到更一般化情况；大多数图像传感器都是采用Bayer模式输出，本本发明将A.Levin单通道算法首先推广到Bayer模式下，然后转换到多通道，从而将A.Levin单通道算法推广到多通道，本发明基于多通道零均值重尾分布先验，以及滤波器选取和深度估计的理论，通过原型实验，同时采用基底变换方法将其推广到更一般化情况，如YUV和CYMK等多通道情况。

所述的基于运动估计的深度超分辨率重建是结合空时编码孔径的动态光场特点，分别估计光积分期间不同孔径编码模式下的深度图并建立相应的离散焦点堆栈，经运动估计进行目标配准后，将超分辨率重建技术从二维推广到包含时间轴的三维的焦点堆栈，通过光场插值和线积分获得超分辨率焦点堆栈，根据深度图和超分辨率焦点堆栈实现全焦点图像恢复。本发明根据全光像机的离散焦点堆叠方法，将其概念应用到本发明中动态光场的深度估计，以提高深度方向分辨率。该方法是结合空时编码孔径的动态光场特点，分别估计光积分期间不同孔径编码模式下的深度图并建立相应的离散焦点堆栈。经运动估计进行目标配准后，将超分辨率重建技术从二维推广到包含时间轴三维的焦点堆栈，通过光场插值和线积分获得超分辨率焦点堆栈。根据深度图和超分辨率焦点堆栈可进一步实现全焦点图像恢复。 

一种多通道空时编码孔径的动态光场成像***，包括数码单反像机和电脑，所述的数码单反像机内设有实现基于FPGA的开关液晶和电子快门控制电路，所述的电脑内部设置有在Visual C++环境下完成光场处理算法和软件平台编写的软件***。本成像***是通过对数码单反像机进行改装，设计并实现基于FPGA的开关液晶和电子快门控制电路，构建空时编码孔径的动态光场成像原型***和采用个人电脑在Visual C++环境下完成光场处理算法和软件平台编写，实现运动模糊图像复原和运动估计，以及深度超分辨率重建和全焦点图像恢复。 

本发明的有益效果是：（1）是将曝光时间编码和光场多路复用引入编码孔径中，构成一种基于多路复用的正交空时编码孔径；多路复用可提高图像信噪比，减弱快门噪声影响，提高光场成像质量。 

（2）是曝光时间编码与运动模糊消除的统一，建立宽带频率响应的曝光时间编码，构建基于曝光时间编码的运动模糊图像复原方法；曝光时间编码的频率响应特性和运动模糊图像复原能够提高复原后图像的清晰度，实现积分图像中运动模糊和散焦模糊解耦合。 

（3）将超分辨率技术从二维扩展到三维焦点堆栈，在图像传感器Bayer模式输出下，构成多通道深度超分辨率重建模块；深度超分辨率重建将光积分期间的多幅低分辨率深度图进行融合和优化，提高了深度分辨率，并修正了低分辨率深度图中的估计误差。 

（4）建立空时编码孔径的5维动态光场成像模型，实现运动场和深度场的解耦估计，并恢复全焦点图像。 

附图说明

图1是本发明多通道空时编码孔径的动态光场成像方法和成像***的一种示意图； 

图2是本发明多通道空时编码孔径的动态光场成像方法和成像***中空时编码孔径的光积分过程示意图；

图3是本发明多通道空时编码孔径的动态光场成像方法和成像***中的空时编码孔径的动态光场采集模型；

图4是本发明多通道空时编码孔径的动态光场成像方法和成像***中曝光时间编码短-长-短曝光时间交替的编码方式示意图。

具体实施方式

下面结合附图对本发明做进上步详细说明。本发明是针对现有技术中的不足，将曝光时间作为“时间”维度引入编码孔径，实现光圈孔径和曝光时间的空时编码设计，建立基于空时编码孔径的5维动态光场成像模型。 

本发明一种多通道空时编码孔径的动态光场成像方法和成像***如图1所示，它是在4维光场的基础上将曝光时间作为“时间”维度引入编码孔径，实现光圈孔径模式的空时联合编码，建立空时编码孔径的5维动态光场成像模型，实现运动场和深度场的解耦，并恢复全焦点图像，主要包含了：空时编码孔径的动态光场采集，以及运动场估计和深度超分辨率重建两个后处理过程。 

空时编码孔径的动态光场采集模块的建立：是将曝光时间编码和光场多路复用引入编码孔径中，实现一种基于多路复用的正交空时编码孔径；本实施例中的原型是通过对普通数码单反相机稍作改动实现，在像机镜头处放置一块开关液晶，通过对开关液晶的不同区域加不同电压可控制该区域透光或遮光，从而实现编码孔径。在一次光积分期间根据曝光时间编码控制电子快门的打开和关闭，在快门关闭时切换不同的编码孔径模式。这些编码孔径模式为一组正交编码孔径。在每个编码孔径模式下采集一路光场信息，从而实现通过曝光时间编码和一组正交孔径编码实现光场多路复用采集（见图3）。 

运动场估计模块的建立：是曝光时间编码与运动模糊消除的统一，建立宽带频率响应的曝光时间编码，构建基于曝光时间编码的运动模糊图像复原方法；该过程中，在满足开关液晶切换编码的响应时间基础上，选择具有宽带频率响应的曝光时间编码序列，以保留图像中高频空间细节信息。通过前景目标运动解码和背景估计消除运动模糊，并实现运动估计。曝光时间编码的采用短-长-短曝光时间交替的编码方式，通过短曝光时间捕获目标，长曝光时间捕获目标的运动模糊。假定在运动目标在短-长-短曝光时间编码过程中匀速运动，根据前后短曝光时间成像，可大致估计出运动速度，并建立匀速的运动模糊核，实现运动模糊复原（见图4）。 

深度超分辨率重建模块的建立：是将超分辨率技术从二维扩展到三维焦点堆栈，在图像传感器Bayer模式输出下，构成多通道深度超分辨率重建模块。通过正交编码解调从已消除运动模糊的图像中提取不同编码孔径成像结果，完成Bayer模式下的多通道深度估计。并将二维超分辨率重建技术推广到三维，建立超分辨率焦点堆叠，同时恢复全焦点图像。 

空时编码孔径的动态光场采集包括空时编码孔径的光积分过程，光圈孔径的正交编码构建和光场多路复用的孔径模式构建过程； 

空时编码孔径的光积分过程（见图2）是一个时间和空间的投影过程，在光积分过程中不可避免地存在两类模糊，一类是动态场景或像机抖动引起运动模糊，另一类是焦平面位置外场景点成像引起的散焦模糊。

光圈孔径的正交编码构建是根据电子快门切换状态，采用不同的二维正交编码序列对光圈孔径进行调制，使得光场采集后，通过正交编码解调重新恢复不同编码孔径的成像结果。为避免光积分过程中丢失入射角度等重要的光场信息，在每次光积分期间，根据电子快门切换状态，采用不同的二维正交编码序列对光圈孔径进行调制，使得光场采集后，通过正交编码解调可重新恢复不同编码孔径的成像结果。本发明中采用光场多路复用设计以提高成像质量，因此最佳正交编码序列应是在二维正交集中同时满足A.Levin提出的最大KL散度以及最优多路复用模式的一个子集。所述最佳正交编码序列可以是满足上述要求的任意一个子集。 

光场多路复用的孔径模式构建过程是在每次曝光期间同时采集多路光场，最终图像为积分期间N帧光场图像的线性组合。所述的最优或近似最优的多路复用模式是通过定义代价函数来获得。为提高图像信噪比和减少快门噪声，采用光场多路复用方法，即在每次曝光期间同时采集多路光场。最终图像为积分期间N帧光场图像的线性组合： 

                                       (1)

为第k次曝光采集的光场图像权值，将矢量

作为多路复用模式。通过解复用可从积分图像

中重新恢复各曝光时刻的光场图像

。

当噪声符合独立同分布时，Hadamard码是一种最佳的解复用模式。但图像传感器噪声往往是与输入信号相关（如快门噪声），Hadamard码反而会导致数据质量退化。本发明通过定义代价函数

，其中

，选择合适的优化算法最小化该代价函数，以获得最优或近似最优的多路复用模式。所述优化算法可采用目前已成熟的求解函数最小算法。 

运动场估计模块包括宽带频率响应的曝光时间编码设计和基于曝光时间编码的运动模糊图像复原； 

宽带频率响应的曝光时间编码设计是根据硬件条件约束和代价设定合适的编码长度，然后采用：离散傅立叶变换的最小幅度最大，以及离散傅立叶变换具有最小方差的线性搜索方式，确定最优的曝光时间编码。对曝光时间进行编码的主要目的是尽可能地保留图像中高频空间细节信息，以确保运动模糊图像复原的清晰度，因此曝光时间编码应具有宽且平坦的频率响应特性。虽然修正的均匀冗余阵列编码（MURA码）具有平坦的频率响应特性，但在与点扩散函数（PSF）的圆周卷积过程中需要补零，使得MURA码的频率响应在补零处急剧下降并存在过零点，因此MURA码不是最佳的曝光时间编码。本发明根据硬件条件约束和代价设定合适的编码长度，然后采用线性随机搜索方式寻找近似最优的曝光时间编码。本发明采用的搜索策略为：离散傅立叶变换的最小幅度最大，以及离散傅立叶变换具有最小方差。

基于曝光时间编码的运动模糊图像复原：包括动态目标运动解码和静态背景估计两部分，对于动态目标运动解码采用线性代数方式描述模糊核卷积，采用最小二乘估计实现动态目标的运动模糊复原，而运动目标区域提取是通过背景差或帧差法获取；在静态背景估计中是根据目标和背景特性进行分类，进而从模糊目标的边缘处恢复未知背景。本发明针对不同场景区域具有不同点扩散函数的情况，围绕动态目标运动解码和静态背景估计两部分展开。采用线性代数方式描述模糊核卷积，则运动模糊的模型为： 

        (2)

I _object 和I _bg 为模糊目标图和模糊背景图的列矢量，J _object 和J _bg 为清晰目标图和清晰背景图的列矢量。H为由点扩散函数构成的周期性循环矩阵。η为噪声，k为点扩散矢量的长度。

根据公式(2)，采用最小二乘估计实现动态目标的运动模糊复原，运动目标区域提取通过背景差或帧差法获取。所述的背景差和帧差法为成熟技术。 

深度超分辨率重建模块包括多通道编码孔径的深度和基于运动估计的深度超分辨率重建； 

多通道编码孔径的深度是将A.Levin单通道算法首先转换到Bayer模式下，然后转换到多通道，最后采用基底变换方法将其推广到更一般化情况；大多数图像传感器都是采用Bayer模式输出，本本发明将A.Levin单通道算法首先推广到Bayer模式下。根据Bayer模式，图像传感器的输出图像重写为：

              (3)

其中，

,

 , 

为深度k在r, g, b通道的卷积核。将公式(3)转换到频域，并采用列矢量表示（用表示矩阵F的列矢量），有：

             (4)

其中，

，

，

, 

将公式(4)改写为与A.Levin单通道算法一致的形式：

, 其中

   (5)

从而将A.Levin单通道算法推广到多通道，本发明基于多通道零均值重尾分布先验，以及滤波器选取和深度估计的理论，通过原型实验，同时采用基底变换方法将其推广到更一般化情况，如YUV和CYMK等多通道情况。

基于运动估计的深度超分辨率重建是结合空时编码孔径的动态光场特点，分别估计光积分期间不同孔径编码模式下的深度图并建立相应的离散焦点堆栈，将超分辨率重建技术从二维推广到包含时间轴的三维焦点堆栈，通过光场插值和线积分获得超分辨率焦点堆栈，根据深度图和超分辨率焦点堆栈实现全焦点图像恢复。所述的离散焦点堆栈建立方法、超分辨率焦点堆栈获取、以及全焦点图像恢复方法为J.P. Luke等人所提出的成熟技术[11]。 

一种多通道空时编码孔径的动态光场成像***，包括数码单反像机和电脑，所述的数码单反像机内设有实现基于FPGA的开关液晶和电子快门控制电路，所述的电脑内部设置有在Visual C++环境下完成光场处理算法和软件平台编写的软件***。本成像***是通过对数码单反像机进行改装，设计并实现基于FPGA的开关液晶和电子快门控制电路，构建空时编码孔径的动态光场成像原型***；和采用个人电脑在Visual C++环境下完成光场处理算法和软件平台编写，实现运动模糊图像复原和运动估计，以及深度超分辨率重建和全焦点图像恢复。 

参考文献: 

[1] M. Levoy, P. Hanrahan. Light Field Rendering: [C]. San Diego, Clifornia USA: ACM, SIGGRAPH. 1996: 31-42. doi: 10.1145 /237170.237199.

[2] P. Debevec, T. Hawkins, C. Tchou, et al. Acquiring the Reflectance Field of a Human Face:[C]. New Orleans, Louisiana USA: ACM SIGGRAPH. 2000 : 145-156. doi:10.1145/344779.344855.

[3] A.Wenger, A.Gardner, C. Tchou, et al. Performance Relighting and Reflectance Transformation with Time-Multiplexed Illumination [J]. ACM Transactions on Graphics, 2005, 24(3): 756-764. doi:10.1145/ 1186822.1073258

[4] C. Chabert, P. Einarsson, A. Jones, et al. Relighting Human Locomotion with Flowed Reflectance Fields: [C]. Boston, Massachusetts: ACM, SIGGRAPH. 2006. doi:10.1145/1179849.1179944.

[5] W. Matusik, H. Pfister, A. Ngan, et al. Image-based 3D Photography using Opacity Hulls [C]. San Antonio, Texas: Proceedings of the 29th annual conference on Computer graphics and interactive techniques. 2002,  doi:10.1145/566570.566599.

[6] J. Starck, A. Hilton. Towards a 3D Virtual Studio for Human Appearance Capture: [C]. IMA International Conference on Vision, Video and Graphics. 2003.

[7] E.H. Adelson, J.Y. Wang, Single Lens Stereo with a Plenoptic Camera [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(2): 99-106. doi:10.1109/34.121783.

[8] R. Ng, M. Levoy, M. Brédif, G. Duval, M. Horowitz, and P. Hanrahan. Light field photography with a hand-held plenoptic camera :[R]. Technical Report CSTR 2005-02, Stanford University, April 2005.

[9] T. Georgiev, A. Lumsdaine. Resolution in Plenoptic Cameras: [C]. San Jose, California: Computational Optical Sensing and Imaging (COSI 2009). 2009, paper CTuB3.

[10] T. G. Georgiev and A. Lumsdaine. Superresolution with Plenoptic 2.0 Cameras:[C]. Signal Recovery and Synthesis, OSA Technical Digest (CD) (Optical Society of America, 2009), paper STuA6. http://www. opticsinfobase .org/abstract.cfm?URI=SRS-2009-STuA6

[11] J.P. Luke, F.P. Nava. Near Real-Time Estimation of Super-Resolved Depth and All-In- Focus Images from a Plenoptic Camera Using Graphics Processing Units [J]. International Journal of Digital Multimedia Broadcasting. 2010, 1-12. doi:10.1155/2010/942037.

[12] A. Levin, R. Fergus, F. Durand, et al. Image and Depth from a Conventional Camera with a Coded Aperture: [J]. ACM Transactions on Graphics, 2007,26(3). doi:10.1145/1276377.1276464

[13] A. Veeraraghavan, R. Raskar, A. Agrawal, et al.: Dappled photography: Mask Enhanced Cameras for Heterodyned Light Fields and Coded Aperture: [C]. San Diego, Clifornia USA: ACM SIGGRAPH. 2007. doi:10.1145/1276377.1276463

[14] C. Liang, T. Lin, B. Wong, et al. Programmable Aperture Photography: Multiplexed Light Field Acquisition [J]. ACM Transactions on Graphics, 2008, 27(3): 55:1-55:10. doi:10.1145/1360612.1360654

[15] G. Yang, Y. Liu. 3D Object Relighting based on Multi-View Stereo and Image based Lighting Techniques [C]. New York City, NY, USA: IEEE International Conference on Multimedia and Expo. 2009. doi:10.1109/ ICME.2009.5202649

[16] X. Cao, Y. Liu, Q. Dai. A Flexible Client-Driven 3DTV Systemfor Real-Time Acquisition, Transmission, and Display of Dynamic Scenes [J]. EURASIP Journal on Advances in Signal Processing. 2009, (5). Doi: 10.1155/ 2009/351452.

[17] Z.Y.Zhang, P.An. 3D Multi-view Stereoscopic Display and its Key Technologies [J]. Asia Display, 2007. 1: 460-465.

[18] 张健, 辛悦, 刘伟奇等. 基于微透镜阵列的三维数字成像[J]. 光学精密工程, 2009, 17(7): 1701-1706.

[19] 郎海涛, 刘立人, 阳庆国. 一种基于编码孔径成像原理的三维成像方法[J]. 光学学报, 2006, 26(1): 34-38. 

[20] 周宇. 基于频域的数字对焦图像重构技术研究: [D]. 北京: 北京航空航天大学. 硕士论文. 2008。

Claims (8)

1.一种多通道空时编码孔径的动态光场成像方法，其特征在于：包括以下步骤：

建立空时编码孔径的5维动态光场成像模型，在4维光场的基础上将曝光时间作为时间维度引入编码孔径，实现光圈孔径模式的空时联合编码，实现基于多路复用的正交空时编码孔径，建立空时编码孔径的5维动态光场成像模型，所述的多路复用的正交空时编码孔径是将曝光时间编码和光场多路复用引入编码孔径中来实现的；

运动场估计和消除运动模糊，实现基于曝光时间编码的运动模糊图像的复原，所述的曝光时间编码的运动模糊图像的复原是通过曝光时间编码与运动模糊消除的统一，建立宽带频率响应的曝光时间编码来实现的；

c.多通道深度超分辨率重建，所述的多通道深度超分辨率重建是将超分辨率技术从二维扩展到三维焦点堆栈，在图像传感器Bayer模式输出下实现的；

d.实现运动场和深度场的解耦，并恢复全焦点图像。

2.根据权利要求1所述的一种多通道空时编码孔径的动态光场成像方法，其特征在于：所述的空时编码孔径的5维动态光场成像包括空时编码孔径的光积分过程，光圈孔径的正交编码构建和光场多路复用的孔径模式构建过程；

所述的空时编码孔径的光积分过程是一个时间和空间的投影过程，在积分过程中对动态场景或像机抖动引起的运动模糊和焦平面位置外场景引起的散焦模糊，在频域建立两类模糊的级联混合模型；

所述的光圈孔径的正交编码构建是根据电子快门切换状态，采用相应的二维正交编码序列对光圈孔径进行调制，使得光场采集后，通过正交编码解调重新恢复不同编码孔径的成像结果；

所述的光场多路复用的孔径模式构建过程是在每次曝光期间同时采集多路光场，最终图像为积分期间N帧光场图像的线性组合：

  

为第k次曝光采集的光场图像权值，将矢量

作为多路复用模式，通过解复用可从积分图像

中重新恢复各曝光时刻的光场图像。

3.根据权利要求2所述的一种多通道空时编码孔径的动态光场成像方法，其特征在于：所述的最佳正交编码序列是在二维正交集中同时满足A.Levin提出的最大KL散度以及最优多路复用模式的一个子集。

4.根据权利要求2所述的一种多通道空时编码孔径的动态光场成像方法，其特征在于：所述的最优或近似最优的多路复用模式是通过定义代价函数

，其中

，选择合适的优化算法最小化该代价函数，来获得。

5.根据权利要求1所述的一种多通道空时编码孔径的动态光场成像方法，其特征在于：所述的运动场估计包括宽带频率响应的曝光时间编码的实现，所述的宽带频率响应的曝光时间编码的实现是根据硬件条件约束和代价设定合适的编码长度，然后采用：离散傅立叶变换的最小幅度最大，以及离散傅立叶变换具有最小方差的线性搜索方式，确定最优的曝光时间编码。

6.根据权利要求1所述的一种多通道空时编码孔径的动态光场成像方法，其特征在于：所述的基于曝光时间编码的运动模糊图像复原，包括动态目标运动解码和静态背景估计两部分，对于动态目标运动解码采用线性代数方式描述模糊核卷积，采用最小二乘估计实现动态目标的运动模糊复原，而运动目标区域提取是通过背景差或帧差法获取；在静态背景估计中是根据目标和背景特性进行分类，进而从模糊目标的边缘处恢复未知背景。

7.根据权利要求1所述的一种多通道空时编码孔径的动态光场成像方法，其特征在于：所述的多通道深度超分辨率重建包括多通道编码孔径的深度和基于运动估计的深度超分辨率重建；

所述的多通道编码孔径的深度是将A.Levin单通道算法首先转换到Bayer模式下，然后转换到多通道，最后采用基底变换方法将其推广到更一般化情况；

所述的基于运动估计的深度超分辨率重建是结合空时编码孔径的动态光场特点，分别估计光积分期间不同孔径编码模式下的深度图并建立相应的离散焦点堆栈，经运动估计进行目标配准后，将超分辨率重建技术从二维推广到包含时间轴的三维的焦点堆栈，通过光场插值和线积分获得超分辨率焦点堆栈，根据深度图和超分辨率焦点堆栈实现全焦点图像恢复。

8.一种多通道空时编码孔径的动态光场成像***，其特征在于：包括：数码单反像机和电脑，所述的数码单反像机内设有实现基于FPGA的开关液晶和电子快门控制电路，所述的电脑内部设置有在Visual C++环境下完成光场处理算法和软件平台编写的软件***。

Images