CN102314683B - 一种非平面图像传感器的计算成像方法和成像装置 - Google Patents

Abstract

本发明公开了一种基于图像传感器的计算成像方法和装置，所述图像传感器的采光表面采用非平面方式排列，所述成像方法包括以下步骤：提取非平面方式排列的采光表面通过单次曝光所采集的图像信息，根据所述图像信息形成聚焦于不同深度的图像；联合从聚焦估计深度DFF的方法和从散焦估计深度DFD的方法，对所述聚焦于不同深度的图像进行深度估计以获得深度图；基于所述聚焦于不同深度的图像和所述深度图生成一幅全聚焦图像，基于所获得的深度图和全聚焦图像生成聚焦于特定位置具有特定景深的重聚焦图像。根据本发明的方法和***，能够使用单曝光有效地采集场景深度信息，能够使用单张图像来恢复场景深度及进行景深控制。

Description

一种非平面图像传感器的计算成像方法和成像装置

技术领域

本发明涉及计算摄像学领域，尤其涉及计算传感领域，具体地说，是涉及一种非平面图像传感器的计算成像方法和***。

背景技术

传统的数字摄影实质上是获取三维世界中的场景在二维平面上的投影，使用所得到的单张图像不能准确的恢复出三维场景的深度和结构信息，无法给人眼带来深度感、立体感。传统的相机成像模型需要在景深和信噪比之间进行权衡，通过光圈来调整景深，当光圈越大，景深越小，光圈越小，则景深越大但信噪比很低。如果要增大信噪比就需要进行长曝光，而长曝光又会引入图像的运动模糊，因此，传统的相机成像模型无法同时满足景深和信噪比的需求。此外，传统相机也无法进行大景深成像。综上，传统的单曝光数字摄影无法获取对场景的全面认识。

在计算机视觉领域中，通常利用多张图像来恢复场景的深度和结构，常用的方法包括：使用多视角的图像、利用不同相机参数设置所获得的图像，向场景打主动光等方式。但是采用这些方法通常需要多视角相机、增加额外的主动光源设备或者需要单相机多次曝光。

近几年兴起的计算摄像学通过设计新型的采集机制以采集更多的视觉信息。基于光场理论，设计单相机的光场采集，如经典的光场相机可以通过牺牲空间分辨率在单次曝光内采集传统相机所丢失的角度信息，利用所采集到的光场可以进行重聚焦、景深扩展，并且可以推断场景的深度和结构。此外，基于其它方式的单曝光景深控制也受到了广泛的关注，如通过编码光圈的方式使得不同深度的模糊核更具有区分性，从而可以有效的进行景深控制和进行粗略的深度估计。

但是目前的采集方式都无法有效的采集到场景的深度信息。基于光场理论的采集***实质上只采集到了场景的角度信息，而没有真正采集到场景的深度信息，而且使用空间分辨率换取的角度信息存在着很大的冗余性。其它的单曝光采集***也只能通过采集得到的图像中的深度线索推断场景的深度信息，而无法精确有效的恢复场景的深度和结构信息。因此，需要探索使用单曝光有效的进行深度信息采集的方法，进而进行精确的深度估计和景深控制。

发明内容

本发明目的是提供一种非平面图像传感器的计算成像方法和***，来解决传统成像无法有效采集场景深度信息的问题，并在单次曝光的情况下能解耦出聚焦在场景不同深度的图像序列，从而能有效的恢复场景的深度与进行景深控制。

为了解决上述技术问题，本发明提供了一种基于图像传感器的计算成像方法，其特征在于，所述图像传感器的采光表面采用非平面方式排列，所述成像方法包括以下步骤：图像信息采集步骤，提取非平面方式排列的采光表面通过单次曝光所采集的图像信息，根据所述图像信息形成聚焦于不同深度的图像；深度图生成步骤，联合从聚焦估计深度的方法和从散焦估计深度的方法，对所述聚焦于不同深度的图像进行深度估计以获得深度图；图像景深控制步骤，基于所述聚焦于不同深度的图像和所述深度图生成一幅全聚焦图像，基于所获得的深度图和全聚焦图像生成聚焦于特定位置具有特定景深的重聚焦图像。

进一步，该方法还包括：所述采光表面采用非平面排列方式为：所述采光表面为传感器像素，将所述图像传感器的像素设置在不同的高度级别。

进一步，该方法还包括：所述采光表面采用非平面排列方式为：设置光纤面板来引导光线到传感器平面，所述光纤面板背对于所述传感器平面的一端设置为按不同高度级别分布的非平面。

进一步，该方法还包括：所述采光表面分为多个局部区域，每个局部区域中包含所有高度级别，每个高度级别对应于场景的一个焦平面，在每个高度级别上所采集的图像信息组成聚焦于一个深度的图像。

进一步，该方法还包括：在所述深度图生成步骤中，通过从聚焦估计深度的方式得到初始深度信息，将所述初始深度信息作为从散焦估计深度的方式的初始数据，通过从散焦估计深度的方式得出所述深度图。

进一步，该方法还包括：在所述深度图生成步骤中，通过从散焦估计深度的方式得到初始深度信息，将所述初始深度信息作为从聚焦估计深度的方式的初始数据，通过从聚焦估计深度的方式得出所述深度图。

进一步，该方法还包括：在所述图像景深控制步骤中，将图像序列中对应像素间相对最清晰聚焦的像素中的图像信息取出组成一幅全聚焦图像，或者采用反卷积的方式获得清晰全聚焦的图像。

进一步，该方法还包括：在所述图像景深控制步骤中，计算出重聚焦图像全局不一致的模糊核，根据所述模糊核和所述全聚焦图像得出重聚焦图像。

本发明还提供了一种基于图像传感器的计算成像装置，其特征在于，包括以下单元：图像传感器单元，其采光表面采用非平面方式排列，提取非平面方式排列的采光表面通过单次曝光所采集的图像信息，根据所述图像信息形成聚焦于不同深度的图像；深度图生成单元，其联合从聚焦估计深度的方法和从散焦估计深度的方法，对所述聚焦于不同深度的图像进行深度估计以获得深度图；图像景深控制单元，其基于所述聚焦于不同深度的图像和所述深度图生成一幅全聚焦图像，基于所获得的深度图和全聚焦图像生成聚焦于特定位置具有特定景深的重聚焦图像。

进一步，该***还包括：所述采光表面采用非平面排列方式为：所述采光表面为传感器像素，将所述图像传感器的像素设置在不同的高度级别。

进一步，该***还包括：所述采光表面采用非平面排列方式为：设置光纤面板来引导光纤到像素平面，所述光纤面板背对于所述像素平面的一端设置为按不同高度级别分布的非平面。

进一步，该***还包括：所述采光表面分为多个局部区域，每个局部区域中包含所有高度级别，每个高度级别对应于场景的一个焦平面，在每个高度级别上所采集的图像信息组成一个深度的图像。

与现有技术相比，本发明具有以下优点：

本发明实现了一种非平面图像传感器的计算成像方法和成像装置，使用单曝光有效地采集场景深度信息，对于使用单张图像来恢复场景深度及进行景深控制算法具有重要的意义。相比将空间分辨率换取角度分辨率进而推断深度的光场采集方法，利用非平面的传感器牺牲空间分辨率来直接换取深度分辨率，使空间分辨率的利用更加有效。设计传感器的特定非平面采光表面排列模式，通过由该非平面传感器成像装置采集获取的单张图像解耦所得到的图像序列，采用从散焦估计深度的方法和从聚焦估计深度的方法联合估计深度，从而可以获得比传统单张图像进行深度估计结果更加精确，从而可以进行更加精确的景深控制。

进一步，只用单次曝光便可以获取聚焦于不同深度的图像，使得传统的从聚焦估计深度DFF和从散焦估计深度DFD算法可以应用于动态场景。

进一步，在不改变原有相机硬件***的情况下在传感器前加入所制作的非平面光纤面板来获得非平面传感器采光表面的效果，能够较大程度的节约成本。而深度估计和景深控制算法可以在普通PC机或工作站等硬件***上实现，使用方便、灵活。

本发明所使用的光纤面板广泛应用于军事、刑侦、监控、航天，航海、采矿行业，医疗等领域的CCD耦合、图像增强耦合，以及高清晰度电视成像和先进的办公设备图像应用等方面。利用一个端面为非平面的光纤面板和传感器耦合，所获得的非平面传感器成像装置，可应用于需要大景深成像领域、需要进行景深控制领域、需要场景三维结构恢复的领域。因此，本发明具有广泛的应用领域。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是根据本发明实施例一的基于图像传感器的计算成像方法的流程图；

图2是根据本发明实施例一的分不同高度级别的传感器表面像素排列实例；

图3是根据本发明实施例一的非平面光纤面板实例及利用其与传感器耦合的示意图；

图4是根据本发明实施例一的其它方式的非平面光纤面板示意图；

图5是根据本发明实施例一的用于从散焦估计深度和聚焦估计深度的成像模型示意图；

图6是根据本发明实施例一的用于形成重聚焦图像的成像模型示意图；

图7是根据本发明实施例二的基于图像传感器的计算成像装置的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

图1是根据本发明实施例一的基于图像传感器的计算成像方法的流程图，下面结合图1详细说明该方法的步骤。

步骤S110，提取非平面排列的采光表面所采集的图像信息，根据该图像信息形成聚焦于不同深度的图像。

本实施例的计算成像方法中涉及的图像传感器采用了非平面的采光表面排列方式。一般情况下，传感器的采光表面为传感器像素，为实现在单曝光采集中获取场景在不同聚焦面下的成像结果，对于非平面传感器表面的像素排列方式优选为分特定数量的高度级别，选取不同的高度级别的个数对应场景不同聚焦面的个数，也可以根据所需要换取的场景深度分辨率的精度确定。优选的，将图像传感器以行为单位平均划分为多个局部区域，每一个局部区域中均包含预先设定的所有高度级别的像素，每个高度级别对应一行或多行像素，每一局部区域中所设定的不同高度级别的像素认为是对应三维场景的同一个位置。图2为一种分不同高度级别的传感器表面像素排列的实例示意图，将图像传感器表面像素分为局部区域1、2、3...，每个局部区域包含3行像素，像素行1.1、2.1、3.1...在一个高度上，像素行1.2、2.2、3.2...在一个高度上，像素行1.3、2.3、3.3...在一个高度上，其分别对应场景的三个不同深度，并且认为局部像素行1.1、1.2、1.3对应着场景中的同一个点，局部像素行2.1、2.2、2.3以及局部像素行3.1、3.2、3.3同样对应着场景的同一个点。按照此方式，在成像时，只需要一次曝光，即可根据不同高度级别的像素来对不同聚焦平面上的场景进行成像，以获得不同景深的图像。

由于直接制作具有不同高度级别像素排列的传感器成本较高。优选的，通过紧贴传感器像素平面放置光纤面板作为传感器的采光表面，并在光纤面板背对像素平面的端面上制作如图2所示的非平面，光纤面板引导光线至传感器，因此便等效于获得了非平面的传感器。该光纤面板可设置为一系列整齐紧密排列的光纤，优选的，纤维的中心距离最小可以达到3um，数值孔径可以做到大于等于1。

优选的，制作光纤直径和像素大小相同的光纤面板，在光纤面板表面制作的非平面光纤排列精度可以达到逐个光纤，则某一非平面光纤面板实例并利用其与传感器耦合的示意图如图3所示。图3中光纤截面在成像平面上，引导可见光至传感器像素平面上，光纤截面等效于原来的传感器平面。图中标号为1的光纤截面在一个平面上，其对应着场景中的一个聚焦平面a。标号为2和3的光纤截面在另外两个平面上，对应着另外两个聚焦平面上b和c。

在成像时，恢复不同聚焦的图像序列，把图3中所有标注为1的像素取出组成一幅图像就可以获取一幅聚焦在a平面上的图像。同理，将图中所有标注为2和3的像素分别取出组成一幅图像就可以分别获取聚焦在b和c平面上的图像。由此可以获得一系列低分辨率的聚焦于场景不同深度的图像序列。作为优选的，也可以设置非平面光纤面板的不同深度级别个数和光纤的不同的排列方式，如图4所示。同样，非平面排列的像素表面也可以使用图4所示的方式。

根据成像模型1/f＝1/v+1/u(其中f为焦距，u、v分别为物距和像距)，当焦距为毫米级别时，像距的微小变化将导致物距的较大变化，对于本实施例来说，非平面传感器表面微小的深度变化可对应于聚焦平面的较大的变化。假设焦距为9mm，若场景的聚焦平面由1m移至无穷，则对应传感器的移动距离只需要81.7um；若场景的聚焦平面由0.5m移至无穷，则对应传感器的移动距离只需要164.9um。因此，根据成像模型理论，在传感器的尺寸上能够保证本实施例的可行性。

步骤S120，联合从聚焦估计深度DFF的方法和从散焦估计深度DFD的方法，对所述聚焦于不同深度的图像进行深度估计以获得深度图。

通过步骤S110获得聚焦于不同深度下的图像序列后，在本步骤中，采用从聚焦估计深度(DFF)和从散焦估计深度(DFD)两种方法估计场景深度(深度图)。如图5所示，假设非平面传感获得5个等效成像平面1、2、3、4、5，所得到的5张图像分别聚焦于场景1’、2’、3’、4’、5’处。

使用从聚焦估计深度(DFF)的方法获取初始深度图，具体过程如下：

从聚焦估计深度主要是通过测量图像序列的聚焦程度来推测场景的深度。对于获得的每一幅图，用原始图像和经过局部非均值滤波后的原始图像做差来获得图像像素的聚焦程度的初步衡量；然后用分割算法(如mean shift)对每张图像进行分割得到图像块，对每一个图像块的内部聚焦程度值取平均值作为该块内部像素的聚焦程度值。获得所有图像序列每一个像素的聚焦程度值之后，将图像之间对应像素的聚焦程度关于像距的变化用高斯函数进行拟合，获取高斯函数峰值，即每个像素聚焦程度最大时所对应的像距大小，例如图5中某特定像素在聚焦点d时的像距大小v，根据透镜成像模型可获得场景对应点d′的物距大小，即获取了场景对应点的深度s。

实际应用中，如果对深度估计的结果的精度要求不高则可直接使用DFF估计的深度图。如果需要获取更高精度的深度图，在传感器采光表面高度级别较少的情况下，可以将DFF估计的深度图作为初始深度，并采用散焦估计深度(DFD)的进行优化。

使用从散焦估计深度(DFD)的方法优化深度图，具体过程如下：

从散焦估计深度主要是通过测量图像序列之间的相对模糊程度来推测场景的深度。

假设整个场景都清晰聚焦的图像(全聚焦)为I，则聚焦于某一深度下特定景深的散焦图像为：

其中，x和y均表示特定的二维像素坐标，

表示像素坐标x的取值范围，h_σ(y，x)为模糊核可用高斯模型近似：

$h_{\mathrm{\σ}}(y,x)=\frac{1}{2{\mathrm{\π\σ}}^2\left(y\right)}\exp (-\frac{{\left|\right|y-x\left|\right|}_2}{2{\mathrm{\σ}}^2\left(y\right)})---\left(2\right)$

其中σ(y)为对应像素y和深度相关的模糊量：

$\mathrm{\σ}\left(y\right)=\mathrm{\γ}\frac{\mathrm{Dv}}{2}|\frac{1}{F}-\frac{1}{v}-\frac{1}{s\left(y\right)}|---\left(3\right)$

其中F为焦距，D为光圈直径，v为像距，s为物距(深度)，γ为校准参数。

利用上述的卷积模型可以获得对于两幅聚焦于不同深度的图像I₁、I₂之间的相对模糊卷积模型为：

当

时，和深度相关的相对模糊

$I_1\left(y\right)=\∫h_{{\mathrm{\σ}}_1}(y,x)I\left(x\right)\mathrm{dx}\≈{\hat{I}}_1\left(y\right)=\∫h_{\mathrm{\Δ}{\mathrm{\σ}}_{12}}(y,x)I_2\left(x\right)\mathrm{dx}---\left(4\right)$

当

时，和深度相关的相对模糊

$I_2\left(y\right)=\∫h_{{\mathrm{\σ}}_2}(y,x)I\left(x\right)\mathrm{dx}\≈{\hat{I}}_2\left(y\right)=\∫h_{\mathrm{\Δ}{\mathrm{\σ}}_{12}}(y,x)I_1\left(x\right)\mathrm{dx}---\left(5\right)$

相对模糊和场景深度的关系为：

$s\left(y\right)={(\frac{1}{F}-\frac{1}{v_2-v_1}-\frac{1}{|v_2-v_1|}\sqrt{1+\frac{4\mathrm{\Δ}{\mathrm{\σ}}_{12}\left(y\right)\left|\mathrm{\Δ}{\mathrm{\σ}}_{12}\left(y\right)\right|}{{\mathrm{\γ}}^2{D}^2}\frac{v_2-v_1}{v_2+v_1}})}^{-1}---\left(6\right)$

从散焦估计深度所要优化的能量项为：

$\hat{s}=\arg \underset{s}{\min }E=\arg \underset{s}{\min }(E_d+\mathrm{\α}{E}_m)---\left(7\right)$

其中α为正则项系数，E_m(s)为平滑项，其可以有多种选择，如取l₁范数，即

若对于两幅聚焦于不同深度的图像I₁、I₂，数据项：

$E_d=E_{12}=\∫H\left(\mathrm{\Δ}{\mathrm{\σ}}_{12}\left(y\right)\right){\left|\right|I_1\left(y\right)-{\hat{I}}_1\left(y\right)\left|\right|}_2\mathrm{dy}+\∫(1-H\left(\mathrm{\Δ}{\mathrm{\σ}}_{12}\left(y\right)\right)){\left|\right|I_2\left(y\right)-{\hat{I}}_2\left|\right|}_2\mathrm{dy}---\left(8\right)$

其中H(·)为阶跃函数。

对于由非平面成像过程所获得的多张不同聚焦的图像，采用多张图像的约束使得从散焦估计深度的能获得更优越的结果。如图中I₁、I₂、I₃、I₄和I₅采用两两估计相对模糊的方式，即数据项为：

E_d＝E₁₂+E₂₃+E₃₄+E₄₅        (9)

迭代优化时可以将DFF估计的深度图作为初始深度，最小化公式(7)获得最终的深度估计结果，得到深度图。

在实际应用中，如果传感器的采光表面包含不同高度级别的层数较多，则通过DFD得到的深度没有DFF得到的深度精确，因此，作为优选的，通过从DFD的方式得到初始深度信息，将初始深度信息作为DFF的方式的初始数据，通过DFF的方式得出深度图。

步骤S130，基于聚焦于不同深度的图像和深度图生成一幅全聚焦图像，基于所获得的深度图和全聚焦图像生成聚焦于特定位置具有特定景深的图像。

全聚焦图像的获取(对场景景深的扩展)的具体过程如下：

本实施例中全聚焦图像的获取的方法有两种：

一种方法是将图像序列中对应像素间相对最清晰聚焦的像素中的图像信息取出组成一幅全聚焦图像。在步骤S120中从聚焦估计深度(DFF)方法中的获得所有图像序列每一个像素的聚焦程度之后，全聚焦图像中的某一位置像素取自于图像序列的该位置像素中聚焦程度最高的图像所对应的像素。采用这种方式所得到的全聚焦图像中某些区域可能仍然存在着散焦模糊的现象。

另一种方法是采用反卷积的方式获得清晰全聚焦的图像：

由于对于一幅有限景深的图像可以看成是一幅清晰全聚焦的图像和空间不一致模糊核的卷积(公式(1))，可以简记为I_b＝I*h，I为清晰图像，h为模糊核。其中对任何一个像素y处的模糊核h(y，x)的形状和光圈的形状是相同的，一般使用高斯函数或门函数近似，认为是已知的；其大小是由其对应场景点偏离聚焦平面的程度决定的(公式(2)和(3))。如果对应的场景点在成像平面上是聚焦的，则模糊核h(y，x)可以看成是单位脉冲响应。当场景的点偏离聚焦平面越远，则模糊核的大小就越大。通过步骤S120求得场景的深度后，对于给定的聚焦平面就可以获得图像每一个像素点对应的每一个场景点和聚焦平面的距离，从而可以确定每一个像素的模糊核的大小。因此对于所得到的聚焦于不同深度下的图像序列的每一幅图像都可以获得所对应的全局不一致的模糊核。

同样，假设所得到的聚焦于不同深度下的图像序列为I₁、I₂、I₃、I₄、I₅，可求得其对应的全局不一致的模糊核为h₁、h₂、h₃、h₄、h₅，对应的潜在的全聚焦的图像为I。那么可以通过最小化能量函数获得全聚焦图像，具体公式如下：

$\hat{I}=\arg \underset{I}{\min }(E_1+E_2+E_3+E_4+E_5+\mathrm{\α}{E}_m)$

其中，α为正则项系数，E_i＝||I*h_i-I_i||₂同理，其中平滑项E_m(I)可以有多种选择，如取l₁范数，即

采用这种方式所得到的全聚焦图像中某些区域可能会存在着振铃现象。

重聚焦图像的获取具体过程如下：

虽然在步骤S110中已经可以获得多张聚焦于不同深度下的图像，但是利用所得到的场景的深度图和全聚焦的图像可以进行灵活的场景景深控制。

如图6所示，假设要获得聚焦平面位于s处景深大小为[s₁，s₂]的重聚焦图像，其对应的像距设置分别为v、[v₁，v₂]，则有

$v=\frac{2v_1{v}_2}{v_1+v_2}$

合成光圈直径为

其中c为最大可接受的模糊直径。由于场景的深度已知，则可以根据公式(2)和(3)计算出重聚焦图像全局不一致的模糊核h′。

因此可以根据全聚焦图像I和模糊核h′获得重聚焦的图像I_b，公式如下：

I_b＝I*h′

实施例二

图7为根据本发明实施例二的计算成像装置的结构示意图，下面结合图7详细说明该计算成像装置的组成。

该计算成像装置包括以下各单元：

图像传感器单元，其表面采用非平面方式排列，提取非平面方式排列的表面通过单次曝光所采集的图像信息，根据采集的图像信息形成聚焦于不同深度的图像。

图像传感器单元的表面采用了非平面的排列方式。一般情况下，传感器的表面即为传感器的像素，为实现在单曝光采集中获取场景在不同聚焦面下的成像结果，对于非平面传感器表面的像素排列方式优选为分特定数量的高度级别，选取不同的高度级别的个数对应场景不同聚焦面的个数，也可以根据所需要换取的场景深度分辨率的精度确定。优选的，将图像传感器以行为单位平均划分为多个局部区域，每一个局部区域中均包含预先设定的所有高度级别的像素，每个高度级别对应一行或多行像素，每一局部区域中所设定的不同高度级别的像素认为是对应三维场景的同一个位置。图2为一种分不同高度级别的传感器表面像素排列的实例示意图，将图像传感器表面像素分为局部区域1、2、3...，每个局部区域包含3行像素，像素行1.1、2.1、3.1...在一个高度上，像素行1.2、2.2、3.2...在一个高度上，像素行1.3、2.3、3.3...在一个高度上，其分别对应场景的三个不同深度，并且认为局部像素行1.1、1.2、1.3对应着场景中的同一个点，局部像素行2.1、2.2、2.3以及局部像素行3.1、3.2、3.3同样对应着场景的同一个点。按照此方式，在成像时，只需要一次曝光，即可根据不同高度级别的像素来对不同聚焦平面上的场景进行成像，以获得不同景深的图像。

由于直接制作具有不同高度级别像素排列的传感器成本较高，优选的，可以按如下方式配置图像传感器单元：通过紧贴传感器的像素平面放置光纤面板作为传感器的表面，并在光纤面板的背对像素平面的端面上制作如图2所示的非平面，光纤面板引导光线至传感器，因此便等效于获得了非平面的传感器。该光纤面板可设置为一系列整齐紧密排列的光纤，优选的，纤维的中心距离最小可以达到3um，数值孔径可以做到大于等于1。优选的，制作光纤直径和像素大小相同的光纤面板，在光纤面板表面制作的非平面光纤排列精度可以达到逐个光纤，则某一非平面光纤面板实例并利用其与传感器耦合的示意图如图3所示。图3中光纤截面在成像平面上，引导可见光至传感器像素平面上，光纤截面等效于原来的传感器平面。图中标号为1的光纤截面在一个平面上，其对应着场景中的一个聚焦平面a。标号为2和3的光纤截面在另外两个平面上，对应着另外两个聚焦平面上b和c。

在成像时，恢复不同聚焦的图像序列，把图3中所有标注为1的像素取出组成一幅图像就可以获取一幅聚焦在a平面上的图像。同理，将图中所有标注为2和3的像素分别取出组成一幅图像就可以分别获取聚焦在b和c平面上的图像。由此可以获得一系列低分辨率的聚焦于场景不同深度的图像序列。作为优选的，也可以设置非平面光纤面板的不同深度级别个数和光纤的不同的排列方式，如图4所示。同样，非平面排列的像素表面也可以使用图4所示的方式。

深度图生成单元，其联合从聚焦估计深度DFF的方法和从散焦估计深度DFD的方法，对所述聚焦于不同深度的图像进行深度估计以获得深度图。

在深度图生成单元中，首先利用利用从聚焦估计深度DFF的方式估计初始深度，作为从散焦估计深度DFD的方式的初始深度从而得出估计的深度图。也可以将从散焦估计深度DFD的方式估计的深度作为从聚焦估计深度DFF的方式的初始深度，通过从聚焦估计深度DFF的方式得出估计的深度图。具体过程与实施例一中步骤S120相同，在此不作详述。

图像景深控制单元，其基于所述聚焦于不同深度的图像和所述深度图生成一幅全聚焦图像，基于所获得的深度图和全聚焦图像生成聚焦于特定位置具有特定景深的重聚焦图像。

在图像景深控制单元中，通过将图像序列中对应像素间相对最清晰聚焦的像素中的图像信息取出组成一幅全聚焦图像，或者采用反卷积的方式获得清晰全聚焦的图像。利用所得到的场景的深度图和全聚焦的图像可以进行灵活的场景景深控制，得出聚焦于特定位置具有特定景深的重聚焦图像。具体过程与实施例一中步骤S130相同，在此不作详述。

本实施例中的各单元同样可以用于实现实施例一中对应的各步骤的优选方案，在此亦不作详述。

以上所述仅为本发明的实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种基于图像传感器的计算成像方法，其特征在于，所述图像传感器的采光表面采用非平面方式排列，所述成像方法包括以下步骤：

图像信息采集步骤，提取非平面方式排列的采光表面通过单次曝光所采集的图像信息，根据所述图像信息形成聚焦于不同深度的图像；

深度图生成步骤，联合从聚焦估计深度DFF的方法和从散焦估计深度DFD的方法，对所述聚焦于不同深度的图像进行深度估计以获得深度图；

图像景深控制步骤，基于所述聚焦于不同深度的图像和所述深度图生成一幅全聚焦图像，基于所获得的深度图和全聚焦图像生成聚焦于特定位置具有特定景深的重聚焦图像，其中，

所述采光表面分为多个局部区域，每个局部区域中包含所有高度级别，每个高度级别对应于场景的一个焦平面，在每个高度级别上所采集的图像信息组成聚焦于一个深度的图像。

2.根据权利要求1所述的成像方法，其特征在于，所述采光表面采用非平面排列方式为：所述采光表面为传感器像素，将所述图像传感器的像素设置在不同的高度级别。

3.根据权利要求1所述的成像方法，其特征在于，所述采光表面采用非平面排列方式为：设置光纤面板来引导光线到传感器平面，所述光纤面板背对于所述传感器平面的一端设置为按不同高度级别分布的非平面。

4.根据权利要求1所述的成像方法，其特征在于，在所述深度图生成步骤中，通过从聚焦估计深度DFF的方式得到初始深度信息，将所述初始深度信息作为从散焦估计深度DFD的方式的初始数据，通过从散焦估计深度DFD的方式得出所述深度图。

5.根据权利要求1所述的成像方法，其特征在于，在所述深度图生成步骤中，通过从散焦估计深度DFD的方式得到初始深度信息，将所述初始深度信息作为从聚焦估计深度DFF的方式的初始数据，通过从聚焦估计深度DFF的方式得出所述深度图。

6.根据权利要求1所述的成像方法，其特征在于，在所述图像景深控制步骤中，将图像序列中对应像素间相对最清晰聚焦的像素中的图像信息取出组成一幅全聚焦图像，或者采用反卷积的方式获得清晰全聚焦的图像。

7.根据权利要求6所述的成像方法，其特征在于，在所述图像景深控制步骤中，计算出重聚焦图像全局不一致的模糊核，根据所述模糊核和所述全聚焦图像得出重聚焦图像。

8.一种计算成像装置，其特征在于，包括以下单元：

图像传感器单元，其采光表面采用非平面方式排列，提取非平面方式排列的采光表面通过单次曝光所采集的图像信息，根据所述图像信息形成聚焦于不同深度的图像；

深度图生成单元，其联合从聚焦估计深度DFF的方法和从散焦估计深度DFD的方法，对所述聚焦于不同深度的图像进行深度估计以获得深度图；

图像景深控制单元，其基于所述聚焦于不同深度的图像和所述深度图生成一幅全聚焦图像，基于所获得的深度图和全聚焦图像生成聚焦于特定位置具有特定景深的重聚焦图像，其中，

所述采光表面分为多个局部区域，每个局部区域中包含所有高度级别，每个高度级别对应于场景的一个焦平面，由每个高度级别上所采集的图像信息组成聚焦于一个深度的图像。

9.根据权利要求8所述的成像装置，其特征在于，所述采光表面采用非平面排列方式为：所述采光表面为传感器像素，将所述图像传感器的像素设置在不同的高度级别。

10.根据权利要求8所述的成像装置，其特征在于，所述采光表面采用非平面排列方式为：设置光纤面板来引导光纤到像素平面，所述光纤面板背对于所述像素平面的一端设置为按不同高度级别分布的非平面。

Images