CN101814182A - 由图像处理器执行的方法、图像处理器以及成像装置 - Google Patents

Abstract

本发明公开了由图像处理器执行的方法、图像处理器以及成像装置。所述方法包括：接收第一集合的像素值，其由光学传感元件阵列响应通过物镜***集合接收到的光信号而产生，物镜***具有相关的点扩散函数，引起第一集合像素值代表第一模糊图像，第一集合像素值包括对应损坏图像的损坏像素值；用第一估计像素值替换损坏像素值更新第一集合像素值得到第二集合像素值；从第二集合像素值得到第一去模糊图像；将PSF应用到第一去模糊图像得到第三集合像素值，第三集合像素值代表第二模糊图像，第三集合像素值包括损坏像素的第二估计像素值；用第二估计像素值替换第一估计像素值更新第二集合像素值得到第四集合像素值；从第四集合像素值得到第二去模糊图像。

Description

由图像处理器执行的方法、图像处理器以及成像装置

本申请是申请日为2004年1月15日，申请号为200480002358.2，发明名称为“具有图像增强功能的照相机”的专利申请的分案申请。

与相关申请的交叉参考

本申请要求提交于2003年1月16日的美国临时专利申请60/440,561的权利。本申请与提交于2001年2月8日的美国专利申请09/778,849有关，其中该专利作为美国2002/0145671 A1公开。以参考的方式，将两个相关申请引入于此。

技术领域

本发明通常涉及一种由图像处理器执行的方法、图像处理器以及成像装置。

背景技术

本领域内所公知的，例如基于CCD或CMOS传感器阵列的相机等数字相机的固有分辨率，通常受制于传感器阵列自身的分辨率。为避免分辨率进一步下降，此类相机中的物镜***通常设计为，使得光学点扩散函数(PSF)具有的范围小于阵列间距。换句话说，光学***的设计是使物平面的亮点的成像点不大于传感器阵列的一个像素。

由于焦点变化和像差，光学***的PSF可能不够理想。在本领域中采用许多方法，通过数字图像处理对此类PSF进行测量和补偿。例如，美国专利6,154,574，描述了一种在图像处理***中对没有对准焦点的图像进行数字聚焦的方法，其中以参照方式将该专利的公开内容引入于此。通过将散焦图像分解为子图像，获得平均阶跃响应，并对每幅子图像计算边缘方向的阶跃响应。平均阶跃响应用于计算PSF系数，这些系数依次用于确定图像恢复传递函数。在频域内，通过将没有对准焦点的图像乘以该函数获得对准焦点的图像。

作为另一个实例，美国专利6,567,570描述了一种图像扫描器，通过在扫描器内使用标杆(target)对PSF进行内部测量，其中以参照方式将该专利的公开内容引入于此。该测量方法用于计算卷积内核，该内核用于由扫描器采集的图像中，以部分补偿扫描器透镜***的非理想性。

也可以在图像中加入特殊用途的模糊，创造特定光学像差的恒定性。接着采用信号处理消除该模糊。此类技术描述于Optics Express 2003年11期第2102至2108页中，Kubala等人所著的“降低计算机成像***的复杂性(Reducing complexity in computational imaging systems)”一文中，其中以参照方式将其引入于此。作者将该技术称作“波面编码”。特定的非球面光学元件用于在图像中生成模糊。该光学元件可以是单个的独立元件，或者可以和光学***的一个或多个透镜集成。例如，在美国专利5,748,371和美国专利申请公开US 2002/0118457 A1，US2003/0057353 A1和US 2003/0169944 A1中，描述基于此类波面编码的图像处理方法和光学设计，其中以参照方式将这些专利的公开内容引入于此。

发明内容

本发明的一些实施例提供改善数字成像***的图像质量的方法和器件。在制造生成高质量图像的、具有简单、低成本透镜(或者甚至不含透镜)的数字相机时，这些方法和器件是特别有用的。然而，本发明所示的光学设计和图像处理的新颖原理，同样适用于其他类型的数字成像***。

在本发明的一些实施例中，一个电子成像相机包括一个图像传感器阵列。该相机代表性地包括物镜***，甚至在该光学器件的最佳焦点处，光学器件将物体成像在PSF宽度基本上大于传感器阵列间距的阵列上。(在一个实施例中，“物镜***”简单的包括一个孔——具有一个大“针孔”的性质——而根本没有透镜。)作为结果，由阵列自身采集的图像变得模糊。集成在相机中的图像处理器，将消除模糊函数——代表性地以去卷积滤波器的形式——应用于阵列的信号输出，以生成模糊程度降低的输出图像。通过以下描述的图像处理的新方法，可以得到模糊程度的降低。这些方法可以设计和使用具有较低固有PSF的相机光学器件，同时恢复传感器阵列生成的电子图像，以提供可接受的输出图像。

代表性地，物镜***关于光轴圆柱对称。换句话说，如果光学器件绕光轴旋转，形成于传感器阵列上的图像——以及因此而必须应用于图像中的消除模糊函数——是基本上不改变的。相反的，如发明背景中引用的公开中描述的那样，基于波面编码的***有意地使用打破圆柱对称的光学器件。因而，这些***要求奇特的光学元件，并对光学器件的旋转校准的变化非常敏感。

因为无缺陷式探测器阵列是非常昂贵的，针对消费者和工业应用的大多数电子成像相机具有一定数量的损坏像素，这些损坏像素不能产生有用的光信号。在本发明的一些实施例中，对相机采集的图像进行的统计分析用于确定传感器阵列中的这些损坏像素。代表性地，因为损坏像素的像素值与邻近像素的像素值之间的差值大于一个阈值，从而识别出相机采集到的图像中的损坏像素，而该阈值是由相机光学器件的PSF确定的。在(通过去卷积滤波器)消除图像的模糊之前，损坏像素的像素值被代替的数值取代，以抵消损坏像素对复原图像的影响。生成进一步模糊图像和为图像消除模糊的迭代过程，用于生成具有改善质量的复原图像。在此过程中，在每次迭代时修改已知损坏像素位置邻近的像素值，以减少由损坏像素造成的赝像的传播。为执行消除模糊的运算，输入信号可以被哑员(dummy)像素框包围，其中该哑员像素视为损坏像素。

尽管本发明的消除模糊方法可以充分使用于具有基本上任何种类物镜***的相机中，但在本发明的一些实施例中，通过迭代过程来设计光学器件，该过程考虑了相机消除模糊的性能。由于该目的，生成初始光学设计，并基于光学设计的像差和公差计算该设计的PSF。计算其特征在于PSF的代表性数字图像，并确定消除模糊函数，以增强图像的PSF，也就是，降低PSF的宽度。接着修改光学***的设计以降低增强PSF的宽度。

为了修改光学设计，可以评估光学设计中变量的共同效应和增强PSF的伴随变化。该评估用于确定应该如何改变光学设计。因此评估PSF增强性和修改光学设计的过程通常是一个重复迭代过程，直到该设计收敛于预定的公差内。该过程优化了相机的整体性能，同时允许使用具有相对较高的制造公差和较少数量的光学元件的低成本光学器件。

因此，依照本发明的一个实施例，提供成像装置，包括：

其特征在于间距的光学传感元件阵列，适用于响应入射在元件上的光学辐射而产生一个信号；以及

物镜***，具有一个光轴，并具有关于光轴圆柱对称的特性，其放置方式是为了以点扩展函数(PSF)将来自物体的光学辐射聚焦到阵列上，其中在光学***的最佳焦点处点扩散函数PSF的宽度大于传感器阵列间距两倍。

在一个公开的实施例中，PSF宽度至少是间距的三倍。

代表性地，该装置包括一个图像处理器，结合该处理器响应PSF处理来自阵列的信号，以生成物体的电子图像，同时降低电子图像的模糊。在公开的实施例中，来自阵列的信号对应于输入图像，其中该输入图像包括具有各自像素值的各个像素，而基于PSF，通过将去卷积滤波器应用于输入图像，图像处理器适用于降低输入图像的模糊程度。图像处理器可用于识别阵列中的一个或多个坏元，并以代替的数值取代输入图像中坏元附近像素的像素值，以产生校正的模糊图像，并将去卷积滤波器应用于校正的模糊图像中，以生成复原图像。

在一些实施例中，物镜***包括一个或多个透镜，具有响应PSF选定的光学特性，以伴随去卷积滤波器的应用，优化电子图像的质量。

另外地或可选择地，其中该图像处理器适用于响应于该物体和该阵列之间聚焦关系的变化，修改应用于该输入图像中的该去卷积滤波器。在一个实施例中，当物体与物镜***的距离小于预定的最小距离时，图像处理器适用于选择一个微距去卷积滤波器(macro deconvolutionfilter)。

依照本发明的一个实施例，同时提供成像装置，包括：

其特征在于间距的光学传感元件阵列，适用于产生一个信号，响应入射在元件上的光学辐射；以及

一个相机主体，包含该阵列，并在该主体上形成一个横向尺寸基本大于阵列间距的孔，其中该孔和阵列的排列方式是使来自物体的光学辐射通过该孔，并基本上入射到该阵列上，而没有光学聚焦元件的介入。

在一个公开的实施例中，该装置包括一个机械装置，至少与阵列和孔径的其中之一连接，用于改变阵列和孔径的距离，以调整器件的视场。

代表性地，该孔径的横向尺寸至少比间距大50％。可选地，该孔径的横向尺寸可以至少为间距的两倍甚至三倍。

依照本发明的一个实施例，又提供成像装置，包括：

物镜***，其放置方式是使来自物体的光学辐射聚焦到具有特征点扩散函数(PSF)的焦平面上；

光学传感元件阵列，位于焦平面，且适用于响应入射在元件上的光学辐射产生一个信号，该信号对应于物体的电子图像，其中该图像包括具有各自像素值的各个像素；

图像处理器，结合该处理器接收来自阵列的信号，适用于识别阵列中的一个或多个坏元，并且，响应PSF，修改输入图像中坏元附近像素的像素值，以产生校正的模糊图像，同时减少由坏元造成的赝像的传播，并基于PSF，将去卷积滤波器应用于校正的模糊图像中，以生成复原的输出图像。

依照本发明的一个实施例，进一步提供一个图像处理器，至少包括一个集成电路器件，适用于接收物体的模糊输入图像，该图像生成于光探测元件阵列，该光探测元件阵列包括一个或多个坏元，并且其特征在于点扩散函数(PSF)，而该处理器响应于PSF，修改模糊输入图像的坏元附近的像素值，以产生校正的模糊图像，同时减少由坏元造成的赝像的传播，并将去卷积滤波器应用于校正的模糊图像中，以生成复原图像。

依照本发明的一个实施例，还提供制造光学***的方法，包括：

产生光学***的设计；

根据该设计计算光学***的点扩散函数(PSF)；

根据该设计，将给定图像复原函数应用于光学***产生的图像中，确定可以获得的增强PSF；以及

修改光学***的设计，以减少增强PSF的宽度。

在一些实施例中，设计的形成包括为每个光学像差分配各自的品质分数，确定设计所特有的像差，响应像差和每个品质分数计算设计分数，并响应该设计分数优化的设计。代表性地，各自的品质分数的分配包括分别确定PSF上每个像差对PSF的影响，并响应于各个影响计算各个品质分数。另外地或可选择地，像差的确定包括生成像差的泽尼克(Zernike)多项式展开，而设计分数的计算包括计算响应多项式展开系数的各个品质分数的加权和。

在公开的实施例中，增强PSF的确定包括确定响应计算出的光学PSF的去卷积滤波器的系数，并将去卷积滤波器应用于代表的图像，其中该代表图像的特征在于计算出的光学PSF。

另外地或可选择地，设计的修改包括评估设计中的变化对增强PSF的影响，并响应评估出的影响，修改光学***的设计。在一个公开的实施例中，增强PSF的确定包括计算响应增强PSF的图像质量分数，并评估变化对其影响包括找到图像质量分数与该变化的依赖关系。代表性地，图像质量分数的计算包括确定光学***像场中多个点的本地点扩散函数(PSF)，并且确定响应本地点扩散函数的图像质量分数。图像质量分数的确定可能包括找到多个点处各自的本地分数，并合并各本地分数，以生成图像质量分数。

在一个实施例中，增强PSF的确定包括通过获得本地点扩散函数的加权和，计算加权PSF，且评估变化对其影响包括计算变化对加权PSF的影响。

在另一个实施例中，图像质量分数的计算包括找到一个分辨率分数，其表示伴随增强PSF产生的图像的分辨率，并找到一个赝像分数，其表示图像的赝像程度，并合并分辨率分数和赝像分数，以确定图像质量分数。

代表性地，图像质量分数的计算包括确定响应光学***像差的图像质量分数，且图像质量分数依赖程度的确定包括对于像差的改变，计算分数梯度。在一个公开的实施例中，图像质量分数依赖程度的确定包括确定响应矩阵，指明像差的变化，其将作为对光学***设计进行的具体修改的函数，且设计的修改包括响应于该梯度和该响应矩阵，确定应用于设计的修改。

在一些实施例中，该方法包括关于光学***设计修改、计算光学PSF、确定增强PSF、以及修改设计的重复迭代过程。代表性地，重复迭代过程包括，通过计算光学PSF、确定增强PSF、以及修改设计，从而来执行迭代，直到其中一个迭代表示的设计修改量小于应用于光学***制造的预定公差。

代表性地，光学***包括一个或多个光学元件，而其中设计中的变化包括下面三者之中至少一个：其中一个元件的光学表面曲率的变化，或其中一个元件厚度的变化，或元件间距的变化。在一个公开的实施例中，一个或多个光学元件至少包括一个非球面元件，其至少具有一个由多项式函数定义的表面，而设计的修改包括多项式函数的优化系数。

依照本发明的一个实施例，进一步提供一个光学***，其中包括一个或多个光学元件，其根据设计制造和装配，通过根据该设计计算该光学***的光学点扩散函数(PSF)，确定增强PSF，以及修改该光学***的设计以减少该增强PSF的宽度，来优化该设计，其中通过将给定的图像复原函数应用于由该光学***生成的图像中，而确定可以由此获得的增强PSF。

依照本发明的一个实施例，同时提供一个计算机软件产品，包括一个存储程序指令的计算机可读介质，当计算机读取时，该指令使计算机生成光学***的设计，根据该设计计算光学***的光学点扩散函数(PSF)；根据该设计，通过将给定图像复原函数应用于光学***生成的图像中，确定可以获得的增强PSF；并修改光学***的设计以减少增强PSF的宽度。

依照本发明的一个实施例，还提供电子成像的方法，包括：

使用其特征在于间距的光学传感元件阵列，响应于入射到元件上的光学辐射而生成信号；以及

利用物镜***，将来自物体的光学辐射聚焦到阵列上，形成点扩散函数(PSF)的宽度大于两倍的阵列间距的光学图像，其中该物镜***具有一条光轴，并特征在于关于该光轴圆柱对称。

在公开的实施例中，该方法包括响应于PSF处理来自阵列的信号，以生成物体的电子图像，同时降低电子图像的模糊程度。通常地，来自阵列的信号对应于输入图像，其中该图像包括各自具有像素值的像素，而信号的处理包括基于PSF，将去卷积滤波器应用于输入图像。在一个实施例中，去卷积滤波器的应用包括响应物体和阵列之间焦点关系的改变，修改去卷积滤波器。例如，去卷积滤波器的修改可以包括，当物体与物镜***的间距小于预定的最小间距时，选择一个微距去卷积滤波器。

依照本发明的一个实施例，进一步提供图像处理的方法，包括：

在光探测元件阵列中识别一个或多个坏元；

利用阵列采集物体的模糊输入图像，该图像的特征在于点扩散函数(PSF)；

响应于PSF，修改模糊输入图像中坏元附近的像素值，以生成校正的模糊图像，同时减少由坏元造成的赝像的传播；以及

基于PSF，将去卷积滤波器应用于校正的模糊图像，以生成复原图像。

通常，该方法包括对复原图像中坏元附近的像素值执行反复修改，以生成新的模糊图像，并将去卷积滤波器应用于新的模糊图像，以生成新的复原图像。

在一个公开的实施例中，该方法包括围绕该输入图像加入一个哑员像素框，其中该哑员像素视为与坏元相关的像素类似，用于生成校正的模糊图像以及产生复原图像。

在一些实施例中，像素值的修改包括确定代替值，响应PSF，取代损坏像素附近的像素值。在其中一个实施例中，代替值的确定包括使用校正映射M[X]设定代替值，其中M[X]的形式基本上由

给定，其中X为像素坐标，M′[X]为卷积映射，其由PSF的共轭与坏元的映射卷积给定。

另外地或可选择地，一个或多个坏元的识别包括确定像素值之间的差值，并将该差值与基于PSF的最大差值进行比较。

通过下列对本发明的一些实施例的详细描述，并结合附图，将能更彻底地理解本发明：

附图说明

图1A为依照本发明的一个实施例的无透镜相机的侧视图；

图1B为图1A的相机的详细示图，说明相机的点扩散函数；

图2为图1A中的相机的详细示图，依照本发明的一个实施例，说明光学变焦操作；

图3为依照本发明的另一个实施例的相机的侧视图；

图4为用于图3中相机的传感器阵列像平面中的像素矩阵的前视图；

图5为依照本发明的一个实施例，示意性地说明电子成像相机采集的图像中的损坏像素的识别方法的流程图；

图6为依照本发明的一个实施例，示意性地说明消除图像模糊的方法的流程图；

图7为依照本发明的一个实施例，示意性地说明光学设计方法的流程图；

图8为示意性地说明计算图像质量分数的方法的流程图，与图7中的方法相关联使用；

图9为依照本发明的一个实施例，利用图7中的方法设计的物镜***的侧视图；

图10A和10B为图9所示的物镜***的PSF的示意图；

图11A和11B为依照本发明的一个实施例，用于为由图9中的光学器件形成的图像消除模糊的去卷积滤波器(DCF)内核的示意图；以及

图12A和12B为依照本发明的一个实施例，通过使用图11A和11B中说明的DCF消除图像模糊而得到的增强PSF的示意图。

具体实施方式

定义

以下为用于本专利申请和权利要求中的技术术语的非穷举列表。尽管在这里是依照与本领域技术术语相一致的普通意义来使用这些术语，但为便于读者理解下列描述和权利要求，还是将它们列在下面。

●探测器阵列的间距是指阵列元件之间的中心点到中心点的距离。

●圆柱对称描述诸如一个简单透镜或合成透镜的结构，该结构具有一条光轴，使得在绕该光轴以任何及所有旋转角度旋转时，该结构保持不变。

●点扩散函数(PSF)，这里用h表示，是空间域内光学***的脉冲响应，也就是，暗背景下亮点物体***形成的图像。

●PSF的宽度为PSF的半幅全宽(FWHM)。

●光学变换函数(OTF)为PSF向频域的二维傅立叶变换。因为PSF可以容易地变换为OTF，且反之亦然，所以对于本发明，OTF的计算视为等于PSF的计算。

●光学辐射是指在光谱的任何可见、红外和紫外区域内的电磁辐射。

消除相机图像的模糊

图1A为依照本发明的一个实施例的电子成像相机20的侧视图。相机20包括图像传感阵列22，例如CCD或CMOS图像传感器，本领域所公知的，该阵列包括探测器元件矩阵24。通常为可见光的来自物体的光学辐射，通过孔径26入射到阵列22上，该孔径作为相机的物镜***。像下面描述的那样，为了光学变焦操作，操作移动器件28，将阵列22向孔径26平移或将其平移远离孔径26。可选择地，移动器件可以平移孔径26，而不是阵列22，或者一并平移该孔径和该阵列。

图1B为孔径26和阵列22的详细示图。在传统电子成像相机中，利用透镜将物体图像聚焦到传感器阵列，以生成清晰图像，其中物体上的每个点都成像到传感器平面的一个点上。然而，在相机20中，基本上没有使用物镜，所以入射到阵列22上的图像必然是模糊的。物体上的点40发射的光将通过孔径26，在阵列22上形成光斑42。为了概念上的简易(忽略衍射和其他光学效应)，由于物体点40到孔径26的距离远大于阵列22到孔径的距离，可以知道光斑42的尺寸近似等于孔径26的直径。代表性地，孔径直径基本上大于阵列22的间距，例如，孔径直径为间距的两倍或四倍，甚至更大。因而，光斑42覆盖至少由多个相互相邻像素组成的像素组。可以类似的得知形成于阵列22之上的图像的点扩散函数(PSF)具有其宽度近似等于孔径26的直径的特性。

现在回到图1A，图像处理器30处理由阵列22生成的模糊输入图像，以产生复原输出图像32。图像处理器30代表性地包括一个或多个专用集成电路芯片，这些芯片包含在相机20的内部。可选择地或另外地，图像处理器可以包括具有适当软件的可编程处理器，且可以放置在相机内部或外部，也就是，该处理器可以在单独的计算机内，将来自相机的图像载入该计算机中。处理器30不仅可以用于无透镜相机20中，也可以经过必要的修正，作为集成组件或附加元件，用于其他类型的数字相机和其他成像器件中。例如，输出图像32可以显示在视频显示器34上，或可以选择性地打印或存储在存储器中。

图2为孔径26和阵列22的详细示图，依照本发明的一个实施例，说明相机20的光学变焦操作。图中，移动器件28(图1)推动阵列22沿水平轴左/右移动，靠近或远离孔径26。当阵列离孔径相对较远时，阵列在相对较窄的视场内接收来自物体的光，视场角半宽度为α。当阵列朝着孔径26向前移动到以22’标记的位置时，它看到更广的视场，视场角半宽度为α’。该效果等同于传统相机中移动物镜(或透镜组)而得到的光学变焦效果。

图3为依照本发明的另一个实施例的电子成像相机44的侧视图。相机44除了包括折射式物镜***46外，在构造和操作上与如上所述的相机20类似，其中该折射式物镜***通常由一个或多个透镜组成。在相机的光路中也可以存在一个或多个滤波器48，例如阻红外滤波器。代表性地，为了降低制造成本，光学器件46包括相对较少的折射元件，其中这些元件是以相对宽松的公差设计的。作为结果，光学***的PSF的宽度基本上大于阵列22的间距。代表性地，为了放松对光学器件46的设计约束，并因此降低相机44的成本，PSF宽度至少是间距的两倍，也可以大于间距的三倍，或者甚至大于间距的四倍。注意到，如果物体距离或相机的放大倍率(变焦)发生变化，PSF可能改变。(在此情况下，PSF的改变比图2中说明的简单的变焦功能要复杂。)可以为处理器30编写程序以补偿此类变化。

在从模糊图像中第一次消除噪声之后，图像处理器30通过将去卷积滤波器(DCF)应用于图像，为相机20或44的输出图像消除模糊。DCF可以视作与复杂的PSF h成有规则的反比，例如：

$\mathrm{DCF}=\frac{h^{*}}{{\mathrm{hh}}^{*}+\mathrm{\ϵ}}---\left(1\right)$

其中ε为较小的常数。处理器30采用的处理方法在上述美国专利申请09/778,849中详细描述。

该申请中进一步描述了技术细节，这在下文中更详细地描述，其中该技术细节可以被处理器30利用。例如，因为PSF h可以在相机的像场上变化，可以将消除模糊的过程单独应用于不同的图像片断中，代表性地在每个片断中采用不同的DCF。接着消除模糊的片断组合在一起生成最终的复原图像。使用DCF消除图像模糊的方法是一种图像复原方法，该方法应用于文中描述的本发明的至少一个实施例中。DCF可以应用于空域或频域中。在阅读上述美国专利申请和本专利申请的基础上，对于本领域技术人员来说，图像复原的等价的、可选择的技术将会变得显而易见，且其被视为在本发明的范围之内。

图4为依照本发明的一个实施例，由于相机20或44中处理器30执行的处理，由阵列22捕捉的像素54的矩阵50的前视图。矩阵50包括由像素54组成的图像区域22，其大小对应于阵列22的相应组元24输出的信号。在阵列22的操作范围内，对于绝大部分，信号(以及因此的像素值)以固定的比例，与入射到相应探测器元件的光强度成比例。然而，对于一些像素，例如不正常像素56，其比例偏离正常比例，得到了比预期更高或更低的灵敏度。其他像素，例如有缺陷的像素57，因为阵列22的相应组元24为异常噪声，或因为它们对光的灵敏度很低(或没有灵敏度)，可能提供无用输出。此类有缺陷的像素在这里称为损坏像素。注意到图像中的“损坏像素”也可能来源于图像中过度感光或感光不足的像素，例如图像中的“热区”或“黑区”，而相邻的损坏像素组成的像素组可能导致图像中出现损坏区。

光斑42为相机的物平面上的点光源的有效图像。由相机的PSF造成的模糊，以图4所示的斑点42作为例证，在效果上等同于图像的低通滤波器，所以每个像素值与其相邻像素值有效地进行平均。因此，PSF为相邻像素值之间可能出现的差值加上了限制，该限制基本上小于阵列22的全动态范围(例如，255∶1)。超过该限制的相邻像素之间的差值表示阵列的组元24中由不正常像素或损坏像素造成的缺陷。

图5为依照本发明的一个实施例，示意性说明识别此类损坏像素和不正常像素的方法的流程图。以下参考相机44描述该方法，尽管它也可以类似地应用于相机20或其他类型的电子成像器件中。作为该方法的起点，在60处确定适用的PSF。可以利用本领域公知的光学方法测量该PSF，或者可选择地，可以基于光学器件46的已知特性，以及阵列22和相机20的其他显著特性计算该PSF。在62处，该PSF用于确定相邻像素之间允许的最大差值。例如，可以通过在物平面中亮暗特性之间的最大对比度的清晰边缘区域内，计算受已知PSF约束的相邻像素的大小。

在64处，为了收集图像统计数据，在测试模式下操作相机44。在该测试模式中，例如，相机可以扫描不同的图像类型和区域，并可以收集相应图像的序列。可选择地，可以在相机的正常操作期内收集图像统计数据。在66处，为了识别与邻接像素不相容的像素，接着比较图像序列中相邻像素的大小。在68处，依靠给定像素及其相邻像素之间的偏离模式，识别两种类型的不相容性：

●稳定偏离，偏离像素56的特征在于给定像素的平均值比其相邻像素高或低一个稳定比例因子。在此情况下，在70处，处理器30确定校准因子，应用于阵列22输出的像素值中，以调整相应探测器组元24的偏离灵敏度。

●无稳定比例因子的偏离，损坏像素57的特征在于无法提供有用信息。在72处，处理器30标注出这些像素，用于特殊处理。以下参考图6描述处理器30对这些损坏像素的处理。

该方法处理损坏像素和不正常像素的一个优点是，它允许相机44使用不正常和/或有缺陷的组元24的数量相对较大的阵列22，同时仍然生成高质量的图像。

对于处理器30，也可以识别和补偿特殊图像中没有固有缺陷，但给出“损坏”输出信号的像素。例如，当相机捕捉具有过亮光点的场景时，可以使图像中相应的像素达到饱和，并可以使该饱和度扩展到相邻像素。在消除图像模糊之前，处理器30可以识别这些效应，并可以将出现效应处的像素加入到处理器当前的损坏像素图中。

图6为依照本发明的一个实施例，示意性说明处理器30采用的生成去模糊输出图像32的方法的流程图。在80处，如上所述，除其他因素外，该方法基于创建如上所述的损坏像素的映射D[x]。这里x为空间(像素)域内的广义矢量坐标。损坏像素的D[x]值为0，其他的为1。

在82处，为实现此方法，通过对映射D和共轭PSF h^*进行卷积，创建损坏像素的“模糊”映射。在空间频率域内，给定该卷积映射的傅立叶变换为：

${\tilde{M}}^{\′}\left[q\right]={\tilde{h}}^{*}\left[q\right]\·\tilde{D}\left[q\right]---\left(2\right)$

其中和

分别为PSF和损坏像素映射的傅立叶变换，而q为变换(频率)域内的广义矢量坐标。通过将M’再次变换到空间域并进行设置，可以确定新的校正映射M：

$M\left[x\right]=\left\{\begin{array}{cc}(\frac{1}{M^{\′}\left[x\right]}-1)& M^{\′}\left[x\right]\≠0\\ 0& M^{\′}\left[x\right]=0\end{array}\right.---\left(3\right)$

可选择地，可以在空间域内计算M’，而不是通过傅立叶变换来回变换映射。

注意到在损坏像素附近，卷积映射数值M’[x]可能远远小于1，因此相应的校正映射数值M[x]可能非常大。发明人发现，按照以下描述的方式，在可靠的重建具有最少赝像的正确图像方面，此类校正图的使用，具有比传统插值法好得多的效果。除其他因素外，这些赝像来源于PSF的非本地化特性，以及必须用来补偿它使用的DCF的非本地化特性。当使用简单的插值法平滑损坏像素区域时，作为结果的图像通常被显而易见的赝像模糊化(至少在一个插值区内)或破坏。另一方面，本发明的一些实施例提供的校正映射，取代损坏像素值，同时保留周围完好像素的基本空间频率结构。因而，基本上减少了赝像从损坏像素向其邻近像素的传播。可选择地，使用形式上与方程式(3)中定义的公式相同的其他公式，也可以确定校正映射，尽管它们在代数形式上有区别。此类可选择公式被视为在本发明的范围内。在任何情况下，文中描述的损坏像素替换技术允许阵列22包括相对较大数量的损坏像素，而基本上不会在相机输出图像的不利效应。因而，通过使用便宜的、低质量的具有相对较大数量的损坏像素的阵列，可以降低相机的成本。

在84处，处理器30接收到来自阵列22的输入图像(被光学器件46的PSF模糊)。该图像在80中标注的位置处包括损坏像素。在86处，处理器用预估的正确数值取代损坏像素值。例如，通过对相邻完好像素值实行插值法，可以确定这些预估数值。除了必须通过70处确定的校准因子(图5)调整其数值外，图像中的完好像素保持不变。

另外，在86处，处理器30在图像区52的边缘加上框58。该框的作用是提供应用在消除图像模糊中的傅立叶变换的固有周期。例如，框58的宽度近似等于PSF的半径。为了实现图6中的方法，框58中的像素视为“损坏”像素。通过在区域52的相邻右边缘和左边缘的“完好”像素，或下边缘和上边缘的“完好”像素的数值之间执行插值，获得这些像素的初始值。因而，框像素为图像加入周期结构，用于在空间域和变换域之间变换图像时，抑制可能由图像边缘引入的赝像。

在86处获得的经校正的、加上框的模糊图像与DCF进行卷积(方程式1)，在88处生成初始去模糊图像r₀。形式上的简化式子为，r₀[x]＝DCF*B₀[x]，其中运算符“*”表示卷积。实际上，是在傅立叶变换域内，通常伴随着减噪步骤执行该运算，正如上述美国专利申请09/778,849中描述的那样。

接着在90处，处理器30估计r₀，以确定为了改善图像质量，是否希望有附加的处理。90处该决定的基础可以是已过去的处理时间，或已执行的迭代次数，或者是对图像质量的测量。进一步在下面描述该决定标准。在92处，如果处理器30确定已经完成当前图像的处理，输出图像，并终止处理。通常，在输出图像之前删除框58。可选择地，在输出图像中移除框的一部分或全部，因为它可能包含图像的标称视场之外的信息(由于相机的较大PSF)。

可选择地，为了生成更清晰的、更精确的物体图像，处理器30可以继续迭代处理当前图像。为此目的，在94处，来自前述迭代处理的模糊图像B_i[x](初始为B₀)和去模糊图像r_i[x](初始为r₀)，用于创建新的具有更好的损坏像素值的模糊图像B_i+1[x]：

B_i+1[x]＝(h*r_i[x])(1-D[x])+D[x]B_i[x]          (4)

换句话说，之前的去模糊图像与PSF进行卷积，而损坏像素映射D用于替换B_i+1中获得的损坏像素位置处的像素值。B_i中的完好像素值保持不变。

在96处，新的模糊图像B_i+1，具有改善的损坏像素值，用于创建改善的去模糊图像r_i+1。r_i+1中的像素值可以表示为以下形式：

r_i+1[x]＝DCF*B_i+1[x]+M[x]h^*[x]*[(B_i[x]-h*r_i[x])D[x]]    (5)

这里，通过将方程式(5)的各项变换到傅立叶变换域，相乘，接着再变换回空间域，通常执行卷积运算，对于本领域技术人员这一点显而易见。第一项r_i+1简单地表示，通过DCF为新的模糊图像B_i+1消除模糊。加入第二项是为了消除新的去模糊图像中预估损坏像素值对完好像素值的影响。该项使用源于82处的修正映射数值，正如方程式(3)表达的那样。在每次迭代中，该项为由其操作的像素生成新的像素值，以更为确切地复原正确图像的精确空间频率结构。

在这一点上，在90处，处理器30再次估计去模糊图像的质量和/或已过去的处理时间或迭代次数，并决定是终止计算，还是继续下一次迭代。以这种方式，可以不确定地持续迭代，直到图像最终从92处输出。

另外，在存储和/或显示最终图像前，在92处可以进一步应用图像增强运算。该进一步的运算通常直接降低图像中的噪声和/或消除赝像。例如，可以应用平滑滤波器降低噪声。为了保持边缘对比度，可以确定本地图像梯度，并可以在与本地梯度正交的方向上应用一维的平滑滤波器。

比如另一个实例，可以在这一阶段消除“幻影边缘(ghost edge)”，图像中的实际锐利边缘附近，该“幻影边缘”有时作为赝像出现。为此目的，通过平滑去模糊图像，创建边缘图像，同时保留图像中实际的固定边缘。该边缘图像视为没有赝像(尽管除了坚固的边缘外缺少所有细节)。将模糊和复原操作应用于该边缘图像，导致幻影边缘的出现。从之后的图像中减去没有赝像的边缘图像，给出只包含幻影边缘现象(印记)的图像。现在可以从初始去模糊图像中减去幻影边缘的印记，以消除赝像。

可选择地或另外地，在92处也可以采用其他用于增强图像和减少赝像的方法。经过必要的修正，处理器30采用的通常方法，描述于美国专利4,691,366、5,751,861和6,094,467中，其中以参照方式将这些专利的公开内容引入于此。

用于图像复原的优化光学设计

图7为依照本发明的一个实施例的流程图，示意性地说明适用于具有消除模糊函数的数字相机中的光学设计方法。该方法利用处理器30采用的图像复原函数的预见性，以生成优化该功能的光学设计。在生成初始光学设计后，计算光学***的光学PSF，并将其用于确定增强PSF，其中通过在根据该设计的光学***生成的图像中，应用消除模糊函数，而获得增强PSF。同时基于该光学设计计算响应矩阵，指明设计中的变化对增强PSF的影响。接着基于响应矩阵修改光学***的设计，在图像复原之后给出具有更好的增强PSF的新设计。将这个过程重复进行以连续给出更好的设计。在本领域内公知的，尽管以下是参考相机44以及图5中的去模糊方法来描述图7的方法，但是它也可以类似地应用于其他相机和其他类型的电子成像***，包括使用其他用于图像复原的算法的***。

现在转到图7的方法的详细介绍，在形成光学设计之前，在100处，作为初始阶段，可以定义像差分数，用于光学设计中。该阶段不是强制性的，但是对于获得下面描述的迭代设计方法的更快速的迭代收敛，它是很有用的。为每个可能具有光学器件46的特性的重要像差分配品质函数。为此目的，发明人发现，本领域内公知的，对于每个单独的红色、绿色和蓝色，根据泽尼克多项式表示像差是最为方便的。例如，通过Born和Wolf所著的《光学原理》第四版(Pergamon出版社，1970年)第9.2节第464至467页，描述了泽尼克多项式，将其作为参考引用于此。光学设计的标准软件包，例如(California，San Diego的ZEMAXDevelopment公司生产)，能够充分计算由它们生成的任何设计中的泽尼克多项式系数。在100处，可以以表格形式提供品质函数的数值。下面会参考图8描述这些数值的生成。

在102处，生成初始的光学设计。通常使用运行于合适的计算机工作站之上的光学设计软件，生成该设计。该软件可以以电子形式下载到工作站，或者可选择地提供于有形介质中，例如CD-ROM或DVD。光学设计软件可以包括不用定制的软件包，例如上述ZEMAX软件，并配有附加的程序部分以执行这里描述的优化功能。软件接受对光学器件46施加的***要求作为输入，例如光学元件的数量、原料、公差、焦距、放大倍率、孔径(F数)以及分辨率。如以上注意到的，根据光学***的PSF表示的光学分辨率，通常地给出充分大于阵列22的间距的焦斑尺寸。通过消除模糊，提高整个***的分辨率。

光学设计软件可以利用100处提供的像差分数来确定设计分数，设计分数是接收了所有设计像差后的总体品质分数。设计分数表示如何交替使用一个又一个像差，以生成初始设计，使受制于上述光学要求的总体品质分数最大化。作为以此方式利用品质分数的结果，在102处生成的光学设计可能不会给出阵列22形成的图像中的最小总体模糊程度。然而，光学图像的特征在于像差的组合，即可以通过处理器30通常地消除图像模糊，给出更高质量的电子输出图像。

在104处，光学设计软件同时用于生成设计变更响应矩阵。该矩阵反映，光学设计参数的微小变动，将会影响光学***的不同像差。例如，可以改变的光学设计参数包括不同透镜表面的曲率，以及透镜的厚度和间距。该矩阵为多维梯度型，具有条目(i，j)，表示比率

在106处，光学设计也用于计算光学***的PSF以及相关图像质量分数S。从总体波阵面像差，获得像平面中任意点的总体像差——且因此获得PSF，可以简单地通过泽尼克多项式数值的求和计算总体波阵面像差。如以上注意到的，泽尼克多项式系数通常作为诸如上述ZEMAX的标准光学设计程序的输出使用。106处计算的图像质量分数通常合并PSF对图像分辨率和图像中赝像的影响，并反映处理器30使用选定图像复原(消除模糊)算法补偿这些影响的能力。通常，PSF随波长变化，而且在整个像平面内是非均匀的。因此，通常通过加权平均，可以在像平面的多个视场点(field point)计算分辨率和赝像分数，并将其合并。下面会参考图8描述计算图像质量分数S的通常方法。

在108处，确定像差的微小变化对图像质量分数的影响。在这个阶段，对每个像差进行微小改变，并计算因此产生的图像质量分数的变化。该运算给出分数梯度A_j＝ΔS/Δ(aberration[j])。

接着在110处，合并104和108的结果，以确定最佳变化量，该最佳变化量应该应用于一个或多个光学设计参数中以增加S值。利用响应矩阵R和分数梯度矢量A，其中在上面定义了它们的组元R_j ⁱ和A_j，光学设计变更矢量ΔO给定为：

ΔO＝(R^tR)^-1·R^t A    (6)

其中R^t为R的赫米特(Hermitian)转置。每个ΔO元素指明应该对当前光学设计的一个或多个可变设计参数做出的改变，正如102处生成的那样。

在112处，将ΔO指明的设计变更的量级和预定公差阈值进行比较。可以任意设定公差阈值，但是通常地，它是由为相机44和光学器件46指定的制造公差确定的。例如，如果光学***中两个透镜的间距指定为精确到0.2mm之内，ΔO可以指定对设计间距执行0.1mm的微小改变。在114处，如果ΔO的元素全部小于适用的公差阈值，设计循环完成，并可以为生成过程输出设计结果。

可选择地，只要在112处发现一个或多个ΔO的元素超过公差阈值，设计流程就返回到102，以生成修正的光学设计，实现110处计算的设计变量ΔO。如上所述，重复104至110的操作。该重复过程可以持续下去，直到在112处发现ΔO的所有元素都小于使用阈值，或直到发生了确定的最大重复次数的操作，或直到满足其他标准或标准组合。

图8为依照本发明的一个实施例的流程图，详细示出106处执行的分数计算方法。如以上注意到的，通过计算和合并分辨率分数和赝像分数确定图像质量分数。可以在视场中的多个点上或在多个不同波长处计算单独的分数。在一个实施例中，在沿X轴正向的九个点上，并在三个不同波长处的每个上(红、绿和蓝)计算分数。因为光学***为圆柱对称，X轴正向上的光学特性就足够代表整个视场的特性。

在120处，为了确定分辨率分数，为每个选定视场点的每个波长确定单独的X向和Y向分辨率分数，S_x ^Res和S_y ^Res。由于视场点沿X轴，S_x ^Res表示切向平面的分辨率，同时S_y ^Res表示径向平面的分辨率。在一个代表性的实施例中，以如下方式计算每个视场点和波长处的分数：

1.基于像差计算PSF，通常使用如上所述的泽尼克多项式表示法。

2.PSF与阵列22的间距成比例。

3.PSF用于生成典型图像。通常地，通过模糊化理想图像创建该典型图像，其中除了在原点(当前视场点)处的像素值为1外，该理想图像所有位置的像素值为零。换句话说，I(x，y)＝δ_x，y，其中I(x，y)为图像像素阵列，x，y为整型像素坐标，而δ_x，y为科洛内克(Kronecker)三角函数。可选择地，可以利用其他类型的典型图像，例如线型图像或栅格图像。

4.如上所述，利用去卷积滤波器DCF(h)消除该典型图像的模糊，以生成复原图像r(x，y)。这里h为用于生成DCF的PSF。在此阶段可以选择使用多种去卷积滤波器。例如，h可以是为特殊视场点和波长而计算出的本地PSF，且利用以上方程式(1)给定的公式，基于此本地PSF计算DCF。可选择地，单一的优化DCF可以用于所有视场点和波长。随后处理器30可以应用相同的优化DCF，为相机44生成的图像消除模糊。下面会描述计算优化DCF的通常的方法。

5.通过应用二维傅立叶变换，将复原图像r(x，y)变换到空间频率域内，给出转换的图像

其中(p，q)分别为X向和Y向的空间频率坐标。

6.由X向阶跃函数的斜率确定X向的分数，其中该阶跃函数被模糊并复原，如变换的图像给定的：

这里p_MAX为X向的耐奎斯特频率。

7.类似地，由Y向阶跃函数的斜率确定Y向的分数，其中该阶跃函数被模糊并复原：

在此情况下，q_MAX为Y向的耐奎斯特频率。

在124处，合并所有选定视场点处的X向和Y向的单个分辨率分数，给出一个总的分辨率分数。通常地，加权平均的方式是为了把重点更多地放在损坏(低)的单个分辨率分数上。例如，总分辨率分数可以是单个分辨率分数的倒数的指数的乘积(见下面的方程式(7))。对于本领域技术人员来说，用于加权平均的选择性的机构是显而易见的。作为进一步可选择的，总体分数可以简单地设定为单个分数的最差值。

在122处，类似地计算每个视场点和波长处的单个赝像分数，S_x ^Art和S_y ^Art。可以按下列方式计算单个分数：

1.通过将线性傅立叶变换应用于

确定DCF产生的赝像在X向的宽度，给出空间域函数R_x ^1D(x)。通常地，该函数具有由旁瓣包围中央峰值的特性。赝像在X向的宽度W_x，由原点到最高阶旁瓣的外边界的距离给定：

其中ε_Art为某个阈值，通常地为1％量级。

2.通过确定最高阶旁瓣的内边界：

并接着确定边界外部的最大幅值：

确定DCF产生的赝像的幅值。

3.X向的赝像分数由乘积给定：

以类似方式计算Y向的赝像分数。

在126处，通过合并单个分数计算总体赝像分数，通常地作为加权平均数。在此情况下，权重通常地强调更高的单个分数，这些分数指向更严重的赝像。可选择地，类似于124处，总体赝像分数可以设定为等于单个分数的最差值。接着在128处，将总体图像质量分数S确定为分辨率分数和赝像分数的平均值。例如，下面的方程式(7)合并了124、126和128的运算：

$S=\exp \left(\underset{\mathrm{\ω},f}{\mathrm{\Σ}}(S_x^{\mathrm{Art}}+S_y^{\mathrm{Art}}+\mathrm{\λ}/S_x^{\mathrm{Res}}+\mathrm{\λ}/S_y^{\mathrm{Res}})\right)---\left(7\right)$

这里，总和包括了所有视场点f和波长ω。λ为源于经验的常数，可以依靠***要求选择该常数，以将更多的重点放在提高输出图像的分辨率或减少输出图像的赝像上。

如以上注意到的，可以将任何合适的DCF用于计算图像的质量分数和梯度。尽管可以将不同的DCF用于每个不同的视场点和波长，如上所述，在整个视场中利用单一的均匀的DCF，或者在视场中利用至少一个变化相对较小的DCF，可以更简单地实现处理器30的操作。因此，在优化光学设计中，依照图7和图8的方法，希望使用均匀的DCF，因此光学设计将会反映消除模糊算法提供的实际的图像增强。

在一个实施例中，加权PSF，这里称为h_Opt，为了光学设计流程，被用作为均匀的PSF。在实际生产的最大数量的相机44个体中，相应的DCF具有提供最优消除模糊功能的最大可能性，在这一方面，加权PSF提供PSF的优化评估。为此目的，通过图像场内单个PSF的加权平均，计算h_Opt。加权PSF也可以考虑由于在光学器件46、传感器阵列22、以及可能在相机44的其他元件中的制造公差，而可能在单个PSF中出现的变化。例如，h_Opt可以包括几个不同的单个PSF的贡献，其中利用由***公差范围定义的不同光学参数，对于相同的视场点和波长，计算这些单个PSF。在平均过程中每个PSF h_i与权重W_i相乘，因此加权和为1。可以选择权重，将更多重点放在与视场中心更接近的视场点，和/或相对其他波长，更偏重一个波长(通常地为绿色)。当基于不同光学参数计算多重PSF时，权重也可以反映公差范围内制造工艺变化的可能性。

在这些条件下，可以示出，最优DCF使相对于理想图像的去模糊图像的发生偏离的可能性最小化，该最优DCF给定为(频域内)：

${\mathrm{DCF}}_{\mathrm{opt}}(p,q)=\frac{\underset{i}{\mathrm{\Σ}{W}_i{h}_i^{*}}}{\underset{j}{\mathrm{\Σ}}{W}_j{h}_j^{*}{h}_j}---\left(8\right)$

将此结果与天然的定义DCF≡1/h比较，给出结果：

$h_{\mathrm{opt}}(p,q)=\frac{\underset{i}{\mathrm{\Σ}}{W}_j{h}_j{h}_j^{*}}{\underset{i}{\mathrm{\Σ}}W{h}_i^{*}}---\left(9\right)$

在图7和图8的方法中，“优化”的PSF可以用作为h，相应的DCF_opt可以被处理器30利用。

现在回到图7中的100，前面时候注意到，品质函数可以用于对初始光学设计的像差计分。通常以表格的形式为光学设计软件提供品质函数的数值，而且该数值依赖于泽尼克多项式系数。为生成品质函数的数值，如相应的泽尼克多项式定义的那样，将每个像差转换为PSF。该PSF的形式反映出光学图像中由于PSF代表的特殊像差而产生的模糊。可以利用图8的方法计算该分数。下表I示出为泽尼克像差4(散焦)和像差8(慧差)计算的典型的X向和Y向分辨率分数。

表I-像差品质分数

泽尼克像差4系数	X分辨率	Y分辨率
			0.50	1.00	1.00
0.60	1.00	1.00
			0.70	0.72	0.72
0.80	0.52	0.52
			0.90	0.45	0.45
1.00	0.43	0.43
			1.10	0.40	0.40
1.20	0.34	0.34
			1.30	0.28	0.28
1.40	0.30	0.30
			1.50	0.38	0.38

泽尼克像差4系数	X分辨率	Y分辨率
			1.60	0.44	0.44
1.70	0.48	0.48
			1.80	0.48	0.48
1.90	0.46	0.46
			2.00	0.42	0.42
2.10	0.36	0.36
			2.20	0.32	0.32
2.30	0.30	0.30
			2.40	0.28	0.28
2.50	0.28	0.28
			2.60	0.28	0.28
2.70	0.27	0.27
			2.80	0.25	0.25
2.90	0.24	0.24
			3.00	0.25	0.25
泽尼克像差8系数	X分辨率	Y分辨率
			0.50	1.00	1.00
0.60	0.96	0.99
			0.70	0.82	0.97
0.80	0.77	0.96
			0.90	0.76	0.92
1.00	0.76	0.88

泽尼克像差4系数	X分辨率	Y分辨率
			1.10	0.71	0.83
1.20	0.64	0.80
			1.30	0.55	0.78
1.40	0.50	0.79
			1.50	0.49	0.77
1.60	0.50	0.73
			1.70	0.50	0.69
1.80	0.50	0.66
			1.90	0.48	0.65
2.00	0.44	0.64
			2.10	0.40	0.64
2.20	0.39	0.63
			2.30	0.40	0.62
2.40	0.39	0.58
			2.50	0.40	0.57
2.60	0.38	0.55
			2.70	0.36	0.55
2.80	0.33	0.54
			2.90	0.33	0.54
3.00	0.34	0.54

基于对前述描述和实例的研究，对于本领域技术人员来说，应用于残余泽尼克像差的品质分数的计算是显而易见的。

设计实例

图9为依照本发明的一个实施例的侧视图，示出了使用上述方法设计的光学器件46。在此实施例中，光学器件46包括两个透镜130和132，均由有机玻璃(PMMA)制成，在光轴134上对准。透镜均为圆柱对称，并以固定焦距设计，在透镜130左边无穷远处具有一个物平面。透镜130为球形，直径为2.5mm，中心厚度为1.0mm，前后曲率半径分别为2.12和6.71mm。透镜位于光轴上透镜130之后1.6mm处，直径为4.5mm，厚度为1.2mm。滤波器48包括0.4mm厚的BK7玻璃，并位于透镜132之后0.85mm，传感器阵列22的平面之前0.782mm处。

透镜132的前后表面均为非球面，具有利用图7的优化方法确定的平滑非球面轮廓。为确定该非球面轮廓，定义透镜表面轮廓的函数的系数作为参数包含在响应矩阵中。换句话说，如上所定义，对于非球面透镜系数，为每个像差确定梯度值R_j ⁱ。利用该方法，为透镜132的表面确定下列系数：

表II：非球面透镜系数

多项式阶次	前表面	后表面
			r2	0	0
r4	-0.54615	-0.0034125
			r6	0.0205194	-0.0093650
r8	-0.015842	0.00031717

以类似方式可以定义和优化其他类型的非球面轮廓。

发明人发现，图9的光学设计与上述消除模糊函数相关联，给出来自相机44的具有调制传递函数(MTF)的输出图像，该图像和通过传统三透镜物镜生成的未消除模糊的图像一样，或者更好。两种情况下都使用1.3M像素的传感器阵列。图9所示的双透镜设计比起三透镜设计，生产成本较低且较精密(前后距离较短)。

现在依照本发明的一个实施例，参考图10A/B、11A/B和12A/B，这些图例证了利用上述光学设计和图像处理技术，而得到的PSF方面的改善。图10A和10B示意性地示出光学***像平面中，在X＝2mm，Y＝0mm处(也就是从光轴平移2mm)，对于587.6nm波长的光，图9中光学***的PSF。水平轴的单位为传感器阵列的像素(也就是间距)。计算PSF，作为光学***的所有重要像差的总和，其中通常根据泽尼克多项式表示像差。在两轴上PSF的宽度约为3像素。

图11A和11B示出沿DCF卷积内核的X轴和Y轴的组元，其中为校正由图10A和10B产生的模糊而计算出DCF。

图12A和12B示出当图11A和11B的DCF应用于图9的光学器件形成的图像时，获得的PSF增强。现在PSF在X向和Y向的宽度降为1像素。

可选择地，相机44中处理器30的消除模糊的能力可以用于获得其他各种设计方法的折衷，例如：

●可以降低光学器件46的F数，获得更大孔径，并因此获得更高的光敏度。提高F数趋向于减小相机的景深，并因此加宽PSF，但是可以通过加宽和调整处理器30中消除模糊函数的卷积内核的数值，抵消这些效应。

●相对于利用同等的传感器阵列和物镜***的传统相机的分辨率，处理器30可以增强相机44生成的输出图像的分辨率。

另外或可选择地，响应焦点关系变化，通过配置处理器30，也就是物体相对于相机图像的距离变化，来调整DCF系数，可以增强相机44(或相机20)的性能。例如：

●无需光学机械调整，对于非常接近相机(典型的为5-30cm)的成像物体，相机44能够切换为近摄操作(macro-operation)。在传统相机中，近摄操作要求对物镜位置进行非常精密的机械调整。在相机30中，借助于DCF系数的变化，可以调节不同的物距，其中预先计算这些变化以补偿关于物距的PSF变化。通过处理器30，可以将DCF系数以查询表的形式存储，而且通过软件切换可以调用近摄操作。

●可以为增强的广角运算扩大光学器件46的视场。可以特别调整处理器30所应用的DCF，以补偿视场边缘处PSF的下降。

也可以执行电子变焦功能，特别是在使用无透镜相机时，正如图2常规说明的那样。对于本领域技术人员来说，其他应用显而易见，而且这些应用都视为在本发明的范围内。

尽管上述实施例提及数字相机的某一特定类型和设计，但是本发明的原理可以基本类似地应用于任何其他类型地光学电子成像器件中。因而可以理解，上述实施例的描述都是起到举例的作用，而且本发明不限于上面特别显示和描述的内容。并且，本发明的范围包括以上描述的多种特性的组合和次级组合，以及可能对其进行的变更和修正，本领域技术人员在阅读上述描述和现有技术中未公开内容的基础上可以作出这些修改和变更。

Claims (20)

1.一种由图像处理器执行的方法，包括：

接收第一集合的像素值，所述第一集合的像素值由光学传感元件阵列响应通过物镜***集合接收到的光信号而产生，其中，所述物镜***具有相关的点扩散函数(PSF)，所述相关的点扩散函数引起所述第一集合的像素值代表第一模糊图像，和其中，所述第一集合的像素值包括至少一个对应损坏图像的损坏像素值；

通过用第一估计像素值至少替换所述损坏像素值，更新所述第一集合的像素值以得到第二集合的像素值；

从所述第二集合的像素值得到第一去模糊图像；

将所述PSF应用到所述第一去模糊图像以得到第三集合的像素值，所述第三集合的像素值代表第二模糊图像，其中，所述第三集合的像素值包括所述损坏像素的第二估计像素值；

通过用所述第二估计像素值至少替换所述第一估计像素值，更新所述第二集合的像素值，以得到第四集合的像素值；和

从所述第四集合的像素值得到第二去模糊图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

至少部分地基于所述PSF和识别损坏像素的损坏像素的影射，得到损坏像素的模糊影射；和

其中，至少部分地通过把去卷积滤波器(DCF)应用到所述第四集合的像素值和利用损坏像素的所述模糊影射，得到所述第二去模糊图像，以在所述第二去模糊图像中移除所述第二估计像素值对完好像素值的至少部分影响。

3.根据权利要求2所述的方法，其特征在于，通过将损坏像素的所述影射与所述PSF的共轭卷积得到损坏像素的所述模糊影射。

4.根据权利要求2所述的方法，还包括：产生损坏像素的所述影射。

5.根据权利要求4所述的方法，其特征在于，至少部分地基于所述PSF和由光学传感元件阵列提供的各个图像的抽样像素值，产生损坏像素的所述影射。

6.根据权利要求1所述的方法，还包括：

把所述PSF应用到所述第二去模糊图像，以得到第五集合的像素值，所述第五集合的像素值代表第三模糊图像，其中，所述第五集合的像素值包括所述损坏像素的第三估计像素值；

通过用所述第三估计像素值至少替换所述第二估计像素值，更新所述第四集合的像素值，以得到第六集合的像素值；和

从所述第六集合的像素值得到第三去模糊图像。

7.根据权利要求1所述的方法，其特征在于，更新所述第一集合的像素值不包括更新所述损坏像素值附近的完好像素值，和更新所述第二集合的像素值不包括更新所述第一估计像素值附近的完好像素值。

8.根据权利要求1所述的方法，其特征在于，至少部分地通过将第一去卷积滤波器(DCF)应用到所述第二集合的像素值得到所述第一去模糊图像，和至少部分地通过将第二DCF应用到所述第四集合的像素值得到所述第二去模糊图像。

9.根据权利要求6所述的方法，其特征在于，所述第一DCF和所述第二DCF是相同的DCF。

10.一种成像装置，包括：

物镜***，所述物镜***具有引起图像模糊的相关的点扩散函数；

光学传感元件阵列，所述光学传感元件阵列用于感测通过所述物镜***接收到的光学信号和产生代表由所述阵列采集的模糊图像的像素值，其中，所述阵列具有至少一个故障光学传感元件；和

图像处理器，所述图像处理器连接到所述阵列以接收代表第一模糊图像的第一集合的像素值，所述第一集合的像素值包括对应所述故障光学传感元件的损坏像素值，所述图像处理器配置成通过用第一估计像素值至少替换所述损坏像素值更新所述第一集合的像素值，以得到第二集合的像素值，和所述图像处理器配置成从所述第二集合的像素值得到第一去模糊图像，所述图像处理器还配置成将所述PSF应用到所述第一去模糊图像以得到代表第二模糊图像的第三集合的像素值，其中，所述第三集合的像素值包括所述损坏像素的第二估计像素值，所述图像处理器还配置成通过用所述第二估计像素值至少替换所述第一估计像素值更新所述第二集合的像素值，以得到第四集合的像素值，和所述图像处理器配置成从所述第四集合的像素值得到第二去模糊图像。

11.根据权利要求10所述的装置，其特征在于，所述图像处理器还配置成至少部分地基于所述PSF和识别损坏像素值的损坏像素的影射得到损坏像素的模糊影射，和所述图像处理器至少部分地通过将去卷积滤波器(DCF)应用到所述第四集合的像素值和利用损坏像素的所述模糊影射得到所述第二去模糊图像，以在所述第二去模糊图像中移除所述第二估计像素值对完好像素值的至少部分影响。

12.根据权利要求11所述的装置，其特征在于，所述图像处理器通过将损坏像素的所述影射与所述PSF的共轭卷积得到损坏像素的所述模糊影射。

13.根据权利要求10所述的装置，其特征在于，所述PSF具有相关的宽度和所述阵列具有相关的间距，并且所述PSF的宽度至少是所述阵列的间距的三倍。

14.一种图像处理器，所述图像处理器配置成接收第一集合的像素值，所述第一集合的像素值由光学传感元件阵列响应通过物镜***集合接收到的光信号产生，其中，所述物镜***具有相关的点扩散函数(PSF)，所述相关的点扩散函数引起所述第一集合的像素值代表第一模糊图像，和所述第一集合的像素值包括对应损坏像素的至少一个损坏像素值，所述图像处理器还配置成通过用第一估计像素值至少替换所述损坏像素值更新所述第一集合的像素值，以得到第二集合的像素值和配置成从所述第二集合的像素值得到第一去模糊图像，所述图像处理器还配置成将所述PSF应用到所述第一去模糊图像以得到代表第二模糊图像的第三集合的像素值，其中，所述第三集合的像素值包括所述损坏像素的第二估计像素值，所述图像处理器还配置成通过用所述第二估计像素值至少替换所述第一估计像素值更新所述第二集合的像素值，以得到第四集合的像素值和配置成从所述第四集合的像素值得到第二去模糊图像。

15.根据权利要求14所述的图像处理器，其特征在于，所述图像处理器还配置成至少部分地基于所述PSF和识别损坏像素的损坏像素的影射得到损坏像素的模糊影射，和所述图像处理器至少部分地通过将去卷积滤波器(DCF)应用到所述第四集合的像素值和利用损坏像素的所述模糊影射得到所述第二去模糊图像，以在所述第二去模糊图像中移除所述第二估计像素值对完好像素值的至少部分影响。

16.根据权利要求15所述的图像处理器，其特征在于，所述图像处理器通过将损坏像素的所述影射与所述PSF的共轭卷积得到损坏像素的所述模糊影射。

17.根据权利要求15所述的图像处理器，其特征在于，所述图像处理器还配置成产生损坏像素的所述影射。

18.根据权利要求17所述的图像处理器，其特征在于，所述图像处理器至少部分地基于所述PSF和由所述光学传感元件阵列提供的各个图像的抽样像素值产生损坏像素的所述影射。

19.根据权利要求14所述的图像处理器，其特征在于，所述图像处理器还配置成将所述PSF应用到所述第二去模糊图像以得到代表第三模糊图像的第五集合的像素值，其中所述第五集合的像素值包括所述损坏像素的第三估计像素值，和所述图像处理器还配置成通过用所述第三估计像素值至少替换所述第二估计像素值更新所述第四集合的像素值，以得到第六集合的像素值和配置成从所述第六集合像素值得到第三去模糊图像。

20.根据权利要求14所述的图像处理器，其特征在于，更新所述第一集合的像素值不包括更新所述损坏像素值附近的完好像素值，和更新所述第二集合的像素值不包括更新所述第一估计像素值附近的完好像素值。

Images