CN103198453B - 图像处理设备及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理设备及图像处理方法。所述图像处理设备用于对通过使用图像传感器感测通过光学成像***入射的被摄体图像而获得的图像数据进行校正由于所述光学成像***的像差而导致的图像劣化的恢复处理，所述图像处理设备包括：选择单元，被构造成根据所述图像感测时的图像感测条件来选择要用于恢复处理的滤波器；图像处理单元，被构造成通过使用由所述选择单元选择的滤波器来针对所述图像数据进行恢复处理；以及校正单元，被构造成基于所述图像处理单元的恢复处理之前与之后的像素的值之间的差异来确定校正值，并使用所确定的校正值来校正所述图像处理单元的恢复处理之前的像素值。

Description

图像处理设备及图像处理方法

技术领域

本发明涉及图像处理设备及图像处理方法，更具体地说，涉及一种使用图像恢复处理来校正劣化图像的图像处理设备及方法。

背景技术

由于信息的数字化使得能够将图像作为信号值来处理，因此提出了针对所感测到的图像的各种校正处理方法。具体地说，当被摄体被数字摄像机感测并成像时，所获得的图像或多或少会由于光学成像***的像差(aberration)而劣化。

图像的模糊成分的原因包括光学***的球面像差、彗形像差、像场弯曲及像散。由于这些像差而导致的图像的模糊成分中的各模糊成分指示从被摄体的一点发出的光束有扩散地形成到图像中，而该光束应当在没有任何像差或者任何衍射影响的情况下会聚到成像平面上的一点中。在光学术语中，这种状态称作PSF(点扩散函数)，但是在图像术语中，将被称作模糊成分。图像的模糊可以指示散焦图像，但在这里指示即使图像对焦，也由于光学***的以上像差的影响而模糊的图像。另外，由于光学***的轴上色差、彩色的球面像差、及彩色的彗形像差而导致的彩色图像上的彩色镶边可以被视为在不同波长处模糊的不同方式。此外，由光学***的倍率色差引起的横向上的彩色镶边可以被视为由于针对各个光波长的图像感测倍率差异而导致的位移或相移。

通过PSF的傅里叶变换而获得的OTF(光学传递函数)是通过复数来表达的像差的频率成分信息。OTF的绝对值，即，振幅分量称作MTF(调制传递函数)，而相位分量称作PTF(相位传递函数)。也就是说，MTF和PTF分别是由于像差而导致的图像劣化的振幅分量和相位分量的频率特性。在这种情况下，通过式(1)将相位分量表示为相位角：

PTF＝tan^-1(Im(OTF)/Re(OTF))...(1)

其中，Re(OTF)和Im(OTF)分别表示OTF的实部和虚部。

如上所述，光学成像***的OTF引起图像的振幅分量和相位分量的劣化。由于该原因，劣化图像如同彗形像差地在被摄体的各点处非对称地模糊。

作为校正振幅(MTF)和相位(PTF)的劣化的方法，已知一种通过使用光学成像***的OTF的信息来校正这些劣化的方法。该方法由术语“图像恢复”和“图像复原”来称谓。通过使用光学成像***的OTF的信息来校正图像中的劣化的处理将被称作图像恢复处理或恢复处理。

以下是图像恢复处理的概要。假定g(x，y)为劣化图像，f(x，y)为原始图像，h(x，y)为通过光学传递函数的傅里叶逆变换而获得的PSF，下面给出的式(2)成立：

g(x，y)＝h(x，y)*f(x，y)...(2)

其中，*表示卷积，(x，y)表示图像上的坐标。

在通过傅里叶变换将该式转换成频率面上的表示形式时，其变成如由式(3)所表示的各频率的乘积的形式：

G(u，v)＝H(u，v)·F(u，v)...(3)

其中，H为通过PSF的傅里叶变换而获得的函数，因此表示OTF，(u，v)表示二维频率面上的坐标，即，频率。

也就是说，为了根据所感测到的劣化图像来获得原始图像，式(3)的两侧可以除以H，如由下面给出的式(4)所表示的。

G(u，v)/H(u，v)＝F(u，v)...(4)

通过傅里叶逆变换将F(u，v)返回到实平面可以获得作为恢复图像的原始图像f(x，y)。

假定R是通过式(4)中的1/H的傅里叶逆变换而获得的值，还可以通过对实平面上的图像进行卷积处理来获得原始图像，如由式(5)所表示的：

g(x，y)*R(x，y)＝f(x，y)...(5)

其中，R(x，y)称作图像恢复滤波器。然而，实际图像包括噪声成分。由于该原因，使用通过按以上方式对OTF求完全倒数而生成的图像恢复滤波器，将会将噪声成分与劣化图像一起放大。因此，通常不能获得合适的图像。对此，例如，已知一种根据图像信号与噪声信号之间的强度比来抑制图像的高频侧的恢复率的方法，诸如使用维纳滤波器的方法。作为校正图像的彩色镶边成分的劣化的方法，例如，通过校正以上模糊成分来校正劣化，以使得使模糊量对于图像的各个颜色成分一致。

在这种情况下，由于OTF根据诸如变焦位置和光圈直径的图像感测条件而变化，因此必须相应地改变用于图像恢复处理的图像恢复滤波器。

例如，日本专利第03532368号公开了一种通过使用要关于图像感测设备的对焦范围外部的范围使用的荧光波长所对应的PSF来消除用于观察活体内部的内窥镜中的图像模糊的技术。由于荧光很微弱，因此需要具有小f数的对物光学***。这导致聚焦深度的减小。因此，该技术被设计成通过针对其中光学***失焦的范围进行图像恢复处理来获得对焦图像。

如上所述，针对所感测到的输入图像进行图像恢复处理可以通过校正像差来提高图像质量。

在实际的图像感测操作中，输入图像的感测状态有时候不与用于校正感测状态的图像恢复滤波器的状态相匹配。例如，考虑所感测到的图像具有饱和像素。该饱和像素已丢失本身的被摄体信息，因此输入图像的状态不与要经图像恢复滤波器处理的劣化图像的状态相匹配。

在将用于补偿频率特性的滤波器应用于图像恢复处理中的图像时，图像与滤波器之间的频率特性的差异会在图像中生成振铃。由于饱和而导致的被摄体信息的丢失使得所感测到的图像的饱和区域具有与被摄体的本身的频率特性大大不同的频率特性。具体地说，饱和像素与非饱和像素之间的边界附近的部分在频率特性方面与图像恢复滤波器的对象大大不同，因此该部分是趋向于出现振铃的区域。

在描述在饱和区域周围生成的振铃之前，首先将参照示意性地示出图像恢复滤波器的图15A和图15B来描述图像恢复滤波器的示例。可以根据光学成像***的像差特性及所需的恢复精度来确定图像恢复滤波器的抽头(tap)的数量。在图15A中所示的情况下，使用具有11×11个抽头的二维滤波器。图15A省略了各抽头中的值(系数)。图15B示出了该图像恢复滤波器的一个剖面。图像恢复滤波器的各抽头的值(系数值)的分布用于将由于像差而导致空间上扩散的PSF返回到理想的一个原始点。在使用图像恢复滤波器时，滤波器的各抽头根据图像的各像素而经受卷积处理(卷积积分或乘积和)。在卷积处理中，为了提高给定像素的信号值，使像素与图像恢复滤波器的中心相一致。然后，该技术针对图像及图像恢复滤波器的各个对应像素来计算图像的信号值与滤波器的系数值的乘积，并用中心像素的信号值来替代乘积的总和。

图16A至图16D是示出在应用图像恢复滤波器时在饱和部分附近生成的振铃的示例的图。图16A至图16D示出了所感测到的图像中的给定边缘附近的像素值。各横坐标表示像素位置，并且各纵坐标表示给定颜色成分的像素值。图16A示出了当不存在饱和像素时在应用图像恢复滤波器之前的状态。将图像恢复滤波器应用于该图像将生成其边缘模糊已被校正的恢复图像，如图16B中所示。图16C示出了当在边缘的高亮度侧出现饱和时应用图像恢复滤波器之前的状态。即使在该状态中将图像恢复滤波器应用于图像，由于被摄体信息由于饱和而丢失，因此也不能合适地校正边缘模糊。结果，有时候出现如图16D中所示的振铃。

然而，日本专利第03532368中所公开的常规技术未公开减少由像素饱和生成的振铃的技术。

发明内容

本发明是考虑以上情况而做出的，并通过进行图像恢复处理来减少由于像素饱和而在饱和区域及其周围区域中生成的振铃。

本发明在第一方面中提供了一种图像处理设备，其用于对通过使用图像传感器感测通过光学成像***入射的被摄体图像而获得的图像数据进行校正由于所述光学成像***的像差而导致的图像劣化的恢复处理，所述图像处理设备包括：选择单元，被构造成根据所述图像感测时的图像感测条件来选择要用于恢复处理的滤波器；图像处理单元，被构造成通过使用由所述选择单元选择的滤波器来针对所述图像数据进行恢复处理；以及校正单元，被构造成基于所述图像处理单元的恢复处理之前与之后的像素的值之间的差分来确定校正值，并使用所确定的校正值来校正所述图像处理单元的恢复处理之前的像素值。

本发明在另一方面中提供了一种图像处理方法，其用于对通过使用图像传感器感测通过光学成像***入射的被摄体图像而获得的图像数据进行校正由于所述光学成像***的像差而导致的图像劣化的恢复处理，所述图像处理方法包括：选择步骤，根据所述图像感测时的图像感测条件来选择要用于恢复处理的滤波器；图像处理步骤，通过使用在所述选择步骤中选择的所述滤波器来针对所述图像数据进行恢复处理；以及校正步骤，基于所述图像处理步骤的恢复处理之前与之后的像素的值之间的差分来确定校正值，并通过使用所确定的校正值来校正所述图像处理步骤的恢复处理之前的像素值。

通过以下(参照附图)对实施例的描述，本发明的其他特征将变得清楚。

附图说明

包含在说明书中并构成说明书的一部分的附图例示了本发明的实施例，并且与文字说明一起用来解释本发明的原理。

图1是示出作为根据本发明实施例的图像处理设备的示例的图像感测设备的结构的框图；

图2是示出根据第一实施例的图像恢复处理单元的结构的框图；

图3是根据第一实施例的图像恢复处理的流程图；

图4是示出RAW图像的颜色成分结构的示例的图；

图5A至图5E是用于解释根据第一实施例的振铃减少处理的图；

图6是根据第一实施例的饱和区域/饱和部分周围区域设定处理的流程图；

图7A及图7B是用于解释根据第一实施例的饱和部分周围区域的图；

图8A至图8C是用于解释根据第一实施例的另一饱和部分周围区域的图；

图9是根据变型例的饱和区域/饱和部分周围区域设定处理的流程图；

图10是用于解释根据变型例的饱和部分周围区域的图；

图11是示出根据第二实施例的图像恢复处理单元的结构的框图；

图12是根据第二实施例的图像恢复处理的流程图；

图13A及图13B是用于解释根据第二实施例的图像恢复滤波器的图；

图14是用于解释根据第二实施例的饱和部分周围区域的图；

图15A及图15B是用于解释图像恢复滤波器的示意图；以及

图16A至图16D是用于解释振铃的图。

具体实施方式

将根据附图详细描述本发明的实施例。

<第一实施例>

图1是示出根据本发明实施例的图像感测设备的基本结构的示例的框图。包括光阑101a和聚焦透镜101b的光学成像***101使被摄体图像(未示出)入射图像传感器102。

光学成像***控制单元106根据来自***控制器109的指令来机械地驱动光学成像***101。控制光阑101a的光圈直径作为针对f数的图像感测条件设定。AF(自动聚焦)机构或手动聚焦机构控制聚焦透镜101b的位置以使得根据物距来进行聚焦调整。该光学成像***可以包括诸如低通滤波器或红外截止滤波器的光学元件。在使用对OTF(光学传递函数)的特性施加影响的诸如低通滤波器的元件时，必须考虑在生成图像恢复滤波器时由于光学元件而导致的OTF的改变。红外截止滤波器还对作为光谱波长的PSF(点扩散函数)的积分值的RGB通道中的PSF(具体地说，对R通道中的PSF)施加影响。因此，在生成图像恢复滤波器时将由于红外截止滤波器而导致的PSF的改变考虑在内。

图像传感器102例如被图4中所示的按所谓的拜尔结构布置的滤色器覆盖。构成图像传感器102的各像素输出与用于覆盖像素的红(R)滤色器、绿(G)滤色器及蓝(B)滤色器的滤波器的颜色相对应的颜色成分的信号。形成在图像传感器102上的被摄体图像被转换成电信号。A/D转换器103将该信号转换成数字信号并将其输入给图像处理单元104。图像处理单元104由图像恢复处理单元110及进行预定处理的其他图像处理单元111构成。***控制器109控制图像处理单元104中的一系列处理。

图像处理单元104从存储单元107中选择与图像感测设备的图像感测条件相对应的图像恢复滤波器。图像恢复处理单元110将所选择的图像恢复滤波器应用于输入到图像处理单元104的图像。这种情况下的图像感测条件是选择图像恢复滤波器所必须的信息，诸如变焦透镜的位置及光圈直径。另外，作为图像恢复滤波器的替代，要保持在存储单元107中的数据可以是生成图像恢复滤波器所需的关于OTF的信息。在这种情况下，图像恢复处理单元110从存储单元107中选择关于与图像感测条件相对应的OTF的信息，并生成与图像感测状态相对应的图像恢复滤波器。然后，图像恢复处理单元110针对输入到图像处理单元104的图像进行图像恢复处理。稍后将描述在图像恢复处理单元110中进行的特定处理内容。接着，其他图像处理单元111通过进行诸如伽马校正处理、颜色平衡调整处理及边缘增强处理的预定图像处理来生成诸如JPEG文件的图像文件。

***控制器109将经图像处理单元104处理的输出图像以预定格式存储在图像记录介质108中。另外，显示单元105显示通过针对关于经受图像恢复处理的图像的显示进行预定处理而获得的图像。注意，显示单元105可以显示未经受图像恢复处理或经受了简单的恢复处理的图像。

以上是根据本发明实施例的图像感测设备的基本结构的示例。在这种情况下，光学成像***101被构造为图像感测设备的部分，但可以如单镜头反射相机中那样可更换。

接下来将参照示出图像恢复处理单元110的基本结构的图2及示出处理的流程图的图3来详细描述第一实施例中的图像恢复处理。如上所述，***控制器109控制下面将描述的图像恢复处理单元110中的处理。

注意，对图像应用图像恢复处理可以在提高图像的锐度的同时校正由于各颜色的图像形成位置移动而导致的色差。由于该原因，对经受边缘增强处理及色差校正处理的图像应用图像恢复处理将不自然地增强边缘，引起各颜色的图像形成位置移动，并生成假彩色。

由于该原因，第一实施例的图像感测设备在对图像应用图像恢复处理时在该图像经受边缘增强处理或色差校正处理之前读出该图像，并对读出图像应用图像恢复处理。可以进行用于去除边缘增强处理或色差校正处理的图像处理，作为在图像经受边缘增强处理或色差校正处理之前读出该图像的替代。作为另一种选择，可以对用户显示警告以去除边缘增强处理或色差校正处理，并在该处理被去除之后对图像应用图像恢复处理。

注意，由于对其应用图像恢复处理的图像已经受各色的图像形成位置移动的校正，因此图像处理单元104阻止对图像执行色差校正处理。因此，如果其他图像处理单元111具有色差校正处理的功能，则其他图像处理单元111仅针对未对其应用图像恢复处理的图像执行色差校正处理。注意，为了满足用户的要求以获得锐度增强的图像，其他图像处理单元111可以对已对其应用图像恢复处理的图像应用边缘增强处理。

对图像恢复处理单元110的输入是各像素具有图4中所示的一个颜色成分的拜尔结构的RAW图像，如上所述。由于该原因，首先，图像恢复处理单元110使像素插值单元1001进行像素插值处理以使各像素具有与所有的滤波器颜色相对应的颜色成分信号，由此生成三个颜色平面，即，R平面、G平面和B平面(步骤S11)。

然后，图像恢复滤波器选择单元1002选择适合于图像感测操作时的图像感测条件(诸如变焦位置和光圈直径)的图像恢复滤波器(步骤S12)。在这种情况下，可以根据需要而校正所选择的图像恢复滤波器。例如，可以准备离散图像感测条件数据以减少要在存储单元107中准备的图像恢复滤波器的数据的数量。在执行图像恢复处理时，可以校正图像恢复滤波器以使其适合于此时的图像感测状态。作为另一种选择，作为选择图像恢复滤波器的替代，可以根据生成图像恢复滤波器所需的关于OTF的信息而生成与图像感测状态相对应的图像恢复滤波器。

注意，作为第一实施例中所使用的图像恢复滤波器，例如可以使用参照图15A和图15B而描述的图像恢复滤波器。图15A及图15B中所示的图像恢复滤波器在图像恢复步骤中在滤波器的各抽头与图像的一个像素相对应的情况下进行卷积处理。如图15A中所示，使用通过将图像恢复滤波器划分成100个或更多个滤波器而获得的二维滤波器甚至可以校正光学成像***的诸如球面像差、彗形像差、轴上色差、轴外色闪耀等的从图像形成位置广泛地扩散的像差。

图15A及图15B中所示的图像恢复滤波器可以通过计算或测量光学成像***的光学元件的OTF(如参照式(2)和式(3)所描述的)并进行逆函数的傅里叶逆变换(如以上参照式(4)和式(5)所描述的)来生成。一般而言，由于必须考虑噪声的影响，因此可以选择性地使用生成维纳滤波器或关联的恢复滤波器的方法。另外，OTF可以包含不仅关于光学成像***而且关于要输入的图像来劣化OTF的因子。例如，低通滤波器用于关于OTF的频率特性来抑制高频成分。另外，图像传感器的像素开口的形状和开口率也对频率特性有影响。另外，光源的光谱特性及具有各种波长的滤波器的光谱特性可以对频率特性有影响。因此，在广泛意义上，基于OTF来生成图像恢复滤波器。

然后，饱和部分周围区域检测单元1003在R平面、G平面及B平面的各颜色平面上设定由饱和像素构成的饱和区域，并设定作为包围饱和区域的区域的饱和部分周围区域(步骤S13)。饱和像素是通过预先根据图像传感器102的特性针对饱和水平设定阈值以使得信号值大于该阈值的各像素被确定为饱和像素来确定的。在这种情况下设定的饱和部分周围区域是有机会出现振铃的区域，这是因为输入图像的状态不与作为图像恢复滤波器的对象的由于饱和而导致的劣化图像的状态相匹配。更具体地说，这是由不是饱和像素且针对其在对非饱和像素进行图像恢复处理时在使用图像恢复滤波器的卷积中使用饱和像素的像素构成的区域。由于该原因，根据图像恢复滤波器的特性来设定饱和部分周围区域。注意，稍后将详细描述通过饱和部分周围区域检测单元1003来设定饱和部分周围区域的方法。

恢复滤波器应用单元1004通过使用在步骤S12中选择的图像恢复滤波器针对感测图像的各颜色成分的各像素进行卷积处理(步骤S14)。这可以校正在光学成像***中引起的像差非对称，或者去除或减少图像上的模糊成分。

图5A至图5E示出了由于应用图像恢复滤波器而在饱和区域附近出现的振铃、饱和区域与饱和部分周围区域之间的关系。图5A是在对一个颜色成分应用图像恢复滤波器之前饱和区域与饱和部分周围区域之间的给定边缘的剖面图。图5A示出了高亮度部分饱和的状态。图5B示出了应用图像恢复滤波器之后的状态。显然的是，在饱和区域及饱和部分周围区域中出现了振铃。

为了校正这种振铃，首先，恢复滤波器应用单元1004应用图像恢复滤波器，然后恢复成分生成单元1005生成恢复成分(步骤S15)。在这种情况下，如由式(6)至式(8)指示的，恢复成分被限定为应用图像恢复滤波器之前的像素值与应用图像恢复滤波器之后的像素值(恢复处理之前与之后)之间的差分。注意，在式(6)至式(8)中，Rd(x，y)、Gd(x，y)和Bd(x，y)分别表示R恢复成分、G恢复成分和B恢复成分，R0(x，y)、G0(x，y)和B0(x，y)表示图像恢复处理之前的RGB像素值。另外，R1(x，y)、G1(x，y)和B1(x，y)表示图像恢复处理之后的RGB像素值。此外，x和y分别表示沿横向和纵向的坐标。

Rd(x，y)＝R1(x，y)-R0(x，y)...(6)

Gd(x，y)＝G1(x，y)-G0(x，y)...(7)

Bd(x，y)＝B1(x，y)-B0(x，y)...(8)

接着，LPF应用单元1006对所获得的恢复成分中的、与由饱和部分周围区域检测单元1003设定的饱和区域及饱和部分周围区域中的像素相对应的恢复成分应用低通滤波器(LPF)(步骤S16)。注意，LPF应用单元1006不对除饱和区域及饱和部分周围区域中的像素以外的像素应用LPF。恢复成分合成单元1007将恢复成分与从像素插值单元1001输出的各像素值合成(步骤S17)。在这种情况下，式(9)和式(10)指示LPF应用单元1006和恢复成分合成单元1007如何对饱和区域及饱和部分周围区域中的像素应用LPF并合成恢复成分的示例。在式(9)中，Rd’(x，y)表示应用LPF之后的恢复成分。在式(10)中，R2(x，y)表示恢复成分合成之后的R像素值。

Rd’(x，y)＝{

4×Rd(x，y)

+2×(Rd(x，y-1)+Rd(x-1，y)

+Rd(x+1，y)+Rd(x，y+1))

+(Rd(x-1，y-1)+Rd(x+1，y-1)

+Rd(x-1，y+1)+Rd(x+1，y+1))

}/16...(9)

R2(x，y)＝R0(x，y)+Rd’(x，y)...(10)

尽管以上是如何将图像恢复处理应用于R成分的示例，但是可以对G成分和B成分应用相同的处理。

另外，对于除饱和区域及饱和部分周围区域以外的区域，可以通过将应用图像恢复滤波器之前的各个像素的像素值与作为应用图像恢复滤波器之前与之后的像素值之间的差分的恢复成分合成来获得应用图像恢复滤波器之后的像素值。即，可以根据下面给出的式(11)来获得应用图像恢复滤波器之后的像素值：

R2(x，y)＝R0(x，y)+Rd(x，y)...(11)

通过以这种方式应用LPF来对饱和区域及饱和部分周围区域中的像素的恢复成分进行平滑，使得可以减少振铃。图5C示出了图5A和图5B中所示的应用图像恢复滤波器之前及之后的饱和区域及饱和部分周围区域之间的边缘处的恢复成分的示例。图5D示出了通过对恢复成分应用LPF而获得的结果的示例。图5E示出了通过对恢复成分应用LPF而进行振铃减少处理从而获得的边缘的示例。显然的是，如图5E中所示，与其中出现振铃的图5B中所示的状态相比，振铃受到抑制，并且与应用图像恢复滤波器之前的图5A中所示的状态相比，边缘模糊减少。

以参照图3所描述以上方式进行处理终止图像恢复处理单元110中的图像恢复处理。注意，第一实施例中所描述的应用于恢复成分的LPF的特性是示例，因此优选的是，根据图像恢复滤波器的特性或图像的特性来设定要使用的LPF。

由于即使在一个图像感测状态中OTF也根据光学成像***的视角(像高)而改变，因此优选的是，在根据像高而改变针对图像的各分段区域的OTF时进行根据本发明的图像恢复处理。优选的是，在进行卷积处理并针对各区域依次改变滤波器的同时在图像上扫描图像恢复滤波器。即，该设备在步骤S12中选择或生成针对各颜色成分的各像素的图像恢复滤波器，并在步骤S14中针对各颜色成分的各像素执行恢复处理。另外，尽管应用图像恢复滤波器被采用作为图像恢复处理，但是可以在本发明的过程之前、之后及期间采用诸如变形校正处理、周边光量校正处理及噪声减小处理的其它类型的处理，并将得到的过程作为图像恢复处理。

根据参照图2和图3做出的以上描述，所述设备生成除饱和区域及饱和部分周围区域中的像素以外的像素的恢复成分，并将它们与应用图像恢复滤波器之前的像素值合成。然而，本发明并不限于该示例。本发明可以将在应用图像恢复滤波器之后获得的像素值无任何改变地输出作为除饱和区域及饱和部分周围区域中的像素以外的像素的像素值，只要可以将经LPF处理的饱和区域及饱和部分周围区域中的像素的恢复成分与应用图像恢复滤波器之前的像素值合成即可。

接下来将参照图6详细描述步骤S13中的特定饱和区域确定方法及特定饱和部分周围区域设定方法。步骤S21至步骤S24示出了饱和区域确定处理，步骤S25至步骤S29示出了饱和部分周围区域设定处理。

饱和部分周围区域检测单元1003判定要被确定其是否是饱和区域中的像素的像素的坐标。在各次迭代中依次改变确定对象像素，以使得对全部像素进行确定(步骤S21)。然后，处理确定确定对象像素的像素值是否大于根据图像传感器102的特性而判定的阈值(步骤S22)。如果像素值大于阈值，则设备确定该像素是饱和像素(步骤S23)。如果像素值等于或小于阈值，则由于该像素不是饱和像素，因此处理直接地前进到步骤S24。注意，由于稍后将参考饱和像素的坐标信息，因此保持被确定为饱和像素的像素的坐标信息供稍后使用。处理确定是否针对全部像素进行了以上饱和区域确定(步骤S24)。如果设备未针对全部像素完成该处理，则处理返回到步骤S21以重复以上处理。如果设备针对全部像素完成了该处理，则处理前进到接下来进行的饱和部分周围区域判定处理。

然后，处理判定要被确定其是否是饱和部分周围区域中的像素的像素的坐标(步骤S25)。在各次迭代中依次改变确定对象像素，以使得对全部像素进行确定。首先，处理确定确定对象像素是否是非饱和像素(除饱和像素以外的像素)(步骤S26)。参考步骤S23中所保持的饱和像素信息可以确定确定对象像素是否是非饱和像素。如果该像素是饱和像素，则处理前进到步骤S29。如果该像素是非饱和像素，则在针对确定对象像素的恢复处理时，设备确定是否将在使用图像恢复滤波器的卷积中使用饱和像素(步骤S27)。参考在步骤S23中所设定的饱和像素信息以及应用于对象像素的图像恢复滤波器可以确定在进行使用图像恢复滤波器的卷积时是否使用饱和像素。在将要使用饱和像素时，设备将确定对象像素设定为饱和部分周围区域中的像素(步骤S28)。为了稍后参考饱和部分周围区域中的各像素的坐标信息，处理保持被确定为饱和部分周围区域中的像素的各像素的坐标以供稍后使用。相对照的是，在将不使用饱和像素时，处理前进到步骤S29。

当针对全部像素进行了以上饱和部分周围区域确定时(步骤S29中的“是”)，步骤S13中的饱和区域确定和饱和部分周围区域设定处理结束。

将参照图7A和图7B进一步描述饱和部分周围区域确定的具体示例。图7A示出了图像中的给定区域，其中白色部分表示饱和像素，而其余像素是不饱和的非饱和像素。参照图7A，用于生成像素A的恢复信号的图像恢复滤波器是5×5抽头滤波器，其用于针对由包围像素A的粗框指示的范围中的像素进行卷积处理。在像素A的情况下，在应用图像恢复滤波器时，设备不使用饱和像素。即，未出现由于像素饱和而导致的振铃，因此不将像素A设定为饱和部分周围区域中的像素。在像素B的情况下，在应用图像恢复滤波器时，设备使用一些饱和像素。因此，将像素B设定为饱和部分周围区域中的像素。图7B示出了通过针对各非饱和像素进行以上确定而设定的饱和部分周围区域的示例。

另外，作为判定饱和部分周围区域的替代，可以在不仅考虑图7A中所示的图像恢复滤波器的抽头的数量而且考虑滤波器系数值的情况下判定饱和部分周围区域。图8B示出了其绝对值指示可能几乎不对滤波处理的结果施加影响的滤波器成分的黑色部分，即使它们相对于图8A中所示的5×5抽头图像恢复滤波器被视为0也是如此。如果可能对滤波处理的结果几乎不施加影响的部分被视为0，则它们是与构成滤波器的各个系数中的系数的最大绝对值相比系数的绝对值非常小的部分，并且即使用0来替代这些部分，它们对通过应用滤波器而生成的像素值的影响水平是可忽略的。图8C示出了仅考虑由图8B中所示的滤波器的白色部分表示的有效系数来设定饱和部分周围区域的示例，其中像素A不是饱和部分周围区域中的像素，而像素B是饱和部分周围区域中的像素。以这种方式设定饱和部分周围区域可以将要针对其进行以上振铃减少处理的区域最小化。

<变型例>

图9是设定饱和部分周围区域的另一方法的流程图。由于步骤S21至步骤S24中的处理与图6中所示的饱和区域确定处理中的处理相同，因此将省略其描述。将描述步骤S35及后续步骤中的饱和部分周围区域设定处理。

首先，处理判定要被确定其是否是饱和部分周围区域中的像素的像素的坐标(步骤S35)。依次改变确定对象像素以针对全部像素进行确定。然后，处理确定确定对象像素是否是饱和像素(步骤S36)。可以通过参考步骤S23中所保持的饱和像素信息来分辨确定对象像素是否是饱和像素。

如果对象像素是饱和像素，则饱和部分周围区域检测单元1003将在针对对象像素进行恢复处理时要应用的图像恢复滤波器旋转180°，并根据要在卷积中使用的非饱和像素和滤波器系数来判定饱和部分周围区域(步骤S37)。参照图10，在要应用的图像恢复滤波器是如同图8B中所示的包含有效系数的滤波器时，粗线指示通过将要应用于像素A的图像恢复滤波器的有效系数部分旋转180°而获得的图像恢复滤波器的范围。设备将该范围中的非饱和像素n设定为饱和部分周围区域中的像素。以该方式，可以通过将要应用于饱和像素的图像恢复滤波器旋转180°并将卷积中所使用的非饱和像素设定为饱和部分周围区域中的像素，来获得与通过图8C中所示的方法而获得的效果相同的效果。

当针对全部像素进行了以上饱和部分周围区域确定时(步骤S38中的“是”)，步骤S13中的饱和区域确定和饱和部分周围区域设定处理结束。

以该方式根据要应用于各饱和像素的图像恢复滤波器来判定饱和部分周围区域，可以将作为用于饱和部分周围区域设定的处理的步骤S37的执行限于饱和像素。另外，即使在步骤S36中设备确定确定对象像素饱和，通过添加在邻近确定对象像素的全部像素都饱和时判定跳过步骤S37的步骤，也可以仅针对具有作为非饱和像素的至少一个相邻像素的饱和像素进行步骤S37中的处理。

在一般的图像中，分别具有作为非饱和像素的至少一个相邻像素的饱和像素的数量远小于非饱和像素的数量。由于该原因，与图6的流程图所指示的针对全部非饱和像素进行饱和部分周围区域确定的方法相比，仅针对饱和像素进行饱和部分周围区域确定的方法可以实现低处理负载。由于即使在一个图像感测状态中OTF也根据光学成像***的视角(像高)而改变，因此针对不同的像素使用不同的滤波器。因此，在严格意义上，应用于给定饱和像素的图像恢复滤波器不与应用于其周围像素的图像恢复滤波器相匹配。然而，要在相邻的像素中使用的OTF具有非常相似的特性，因此可以按以上方式通过使用应用于饱和像素的图像恢复滤波器来判定饱和部分周围区域。

<第二实施例>

下面将描述根据本发明第二实施例的图像恢复处理。注意，根据第二实施例的图像感测设备的基本结构与参照图1描述的上述第一实施例中的基本结构相同。与第一实施例不同的是，第二实施例将以以下情况为例：针对如同图4中所示的拜尔格式的图像数据进行图像恢复处理而不进行像素插值。

将参照示出图像恢复处理单元110的基本结构的图11及示出第二实施例中的处理的流程图的图12来描述第二实施例中的图像恢复处理的细节。注意，***控制器109控制图像恢复处理单元110中的处理。对图像恢复处理单元110的输入是图4中所示的拜尔格式的RAW图像，其针对各像素具有一个颜色成分。

首先，图像恢复滤波器选择单元1002选择适合于图像感测操作时的图像感测条件(诸如变焦位置和光圈直径)的图像恢复滤波器(步骤S41)。在这种情况下，可以根据需要来校正所选择的图像恢复滤波器。例如，可以准备离散图像感测条件数据以减少要在存储单元107中准备的图像恢复滤波器的数据的量。当执行图像恢复处理时，可以校正图像恢复滤波器以使其适合于此时的图像感测状态。作为另一种选择，可以根据生成图像恢复滤波器所需的关于OTF的信息来生成与图像感测状态相对应的图像恢复滤波器，作为选择图像恢复滤波器的替代。

图13A和图13B示出了第二实施例中要应用于拜尔结构的RAW图像的图像恢复滤波器的示例。这是针对其中存在对象颜色成分的各像素保持仅与滤波器颜色中的任一个滤波器颜色所对应的颜色成分信号相对应的系数的图像恢复滤波器。参照图13A和图13B，保持系数的各部分由白方块表示，保持0的其余部分中的每个部分由黑方块表示。当针对三个颜色成分(即，R成分、G成分和B成分)进行图像恢复处理时，要应用于G成分的图像恢复滤波器变成图13A中所示的一个，而要应用于R成分和B成分的图像恢复滤波器变成图13B中所示的一个。

然后，饱和部分周围区域检测单元1003在R、G和B的平面中设定由饱和像素构成的饱和区域及饱和部分周围区域(步骤S42)。作为基本判定方法，可以使用第一实施例或变型例中所描述的图6或图9中的处理的流程图。然而，必须考虑要处理的RAW图像具有拜尔结构。

将参照示出RAW图像中的饱和像素及要使用的图像恢复滤波器的示例的图14来描述设定饱和部分周围区域的方法。图14示出了RAW图像的给定区域中的R成分的饱和像素和非饱和像素。用于生成图14中的像素A的恢复信号的图像恢复滤波器是5×5抽头滤波器，其用于针对由包围像素A的粗框所指示的范围中的像素进行卷积处理。

由于该图像恢复滤波器被构造成仅与如上所述的拜尔结构的R成分相对应，因此卷积处理中不使用除R成分以外的像素。即使使用G成分和B成分，由于对应系数为0，因此使用G成分和B成分对结果也没有影响。在像素A的情况下，在应用图像恢复滤波器时不使用饱和像素。即，不出现由于像素饱和而导致的振铃，因此不将像素A设定为饱和部分周围区域中的像素。在像素B的情况下，在应用图像恢复滤波器时使用饱和像素。因此，像素B是饱和部分周围区域中的像素。以该方式，饱和部分周围区域检测单元1003通过针对各非饱和像素进行以上确定来判定饱和部分周围区域。

在以该方式确定饱和部分周围区域时，可以通过即使对于各像素具有一个颜色成分的RAW图像也不使用除对象颜色成分以外的颜色成分来指定饱和部分周围区域。

恢复滤波器应用单元1004通过使用在步骤S41中选择的图像恢复滤波器来针对感测图像的各颜色成分的各像素进行卷积处理(步骤S43)。这可以校正在光学成像***中引起的像差非对称，或者去除或减少图像上的模糊成分。

在恢复滤波器应用单元1004应用图像恢复滤波器之后，恢复成分生成单元1005生成恢复成分作为应用图像恢复滤波器之前的像素值与应用图像恢复滤波器之后的像素值(恢复处理之前与之后)之间的差分(步骤S44)。第二实施例中的恢复成分与第一实施例中的恢复成分相同，因此将省略它们的描述。然后，LPF应用单元1006对所获取的恢复成分中的、与由饱和部分周围区域检测单元1003检测到的饱和区域及饱和部分周围区域中的像素相对应的恢复成分应用LPF(步骤S45)。在这种情况下，LPF应用单元1006不对除饱和区域及饱和部分周围区域中的像素以外的像素应用LPF。然后，恢复成分合成单元1007分别地将恢复成分与所输入的RAW图像的像素值合成(步骤S46)。在这种情况下，式(12)和式(13)指示LPF应用单元1006和恢复成分合成单元1007如何对饱和区域及饱和部分周围区域中的像素应用LPF及合成恢复成分的示例。在式(12)中，Rd’(x，y)表示应用LPF之后的恢复成分，R2(x，y)表示恢复成分合成之后的R像素值。

Rd’(x，y)＝{

4×Rd(x，y)

+2×(Rd(x，y-2)+Rd(x-2，y)

+Rd(x+2，y)+Rd(x，y+2))

+(Rd(x-2，y-2)+Rd(x+2，y-2)

+Rd(x-2，y+2)+Rd(x+2，y+2))

}/16...(12)

R2(x，y)＝R0(x，y)+Rd’(x，y)...(13)

尽管以上是如何对R成分应用图像恢复处理的示例，但是可以对G成分和B成分应用相同的处理。

另外，对于除饱和区域及饱和部分周围区域以外的区域，可以通过将应用图像恢复滤波器之前的各个像素的像素值与作为应用图像恢复滤波器之前和之后的像素值之间的差分的恢复成分合成来获得应用图像恢复滤波器之后的像素值。

如上所述，可以通过不使用除对象颜色成分以外的颜色成分对各像素具有一个颜色成分的RAW图像的饱和区域及饱和部分周围区域中的像素的恢复成分应用LPF来减小振铃。

像素插值单元1001针对已对其应用图像恢复滤波器以减少振铃的RAW图像进行像素插值处理，以使得各像素具有与全部滤波器色相对应的颜色成分信号，由此生成三个颜色平面，即，R平面、G平面和B平面(步骤S47)。

进行以上参照图12描述的处理将终止图像恢复处理单元110中的图像恢复处理。

由于即使在一个图像感测状态中OTF也根据光学成像***的像高而改变，因此优选的是，在根据像高而改变针对图像的各分段区域的OTF时进行图像恢复处理。可以通过在进行卷积处理并依次改变针对各区域的滤波器的同时在图像上扫描图像恢复滤波器来实现该处理。即，在步骤S41中选择或生成针对各颜色成分的各像素的图像恢复滤波器，并在步骤S43中针对各颜色成分的各像素进行恢复处理。另外，尽管在第二实施例中应用图像恢复滤波器被采用作为图像恢复处理，但是可以在本发明的过程之前、之后及期间采用诸如变形校正处理、周边光量校正处理及噪声减小处理的其它类型的处理，并将得到的过程作为图像恢复处理。

根据参照图11和图12做出的以上描述，针对饱和区域及饱和部分周围区域中的像素生成恢复成分，并将它们与应用图像恢复滤波器之前的像素值合成。然而，本发明并不限于该示例。本发明可以将应用图像恢复滤波器之后的像素值无任何改变地输出作为除饱和区域及饱和部分周围区域中的像素以外的像素的像素值，只要可以将已经受LPF处理的饱和区域及饱和部分周围区域中的像素的恢复成分与应用图像恢复滤波器之前的像素值合成即可。

以上实施例以如下情况为例：根据应用图像恢复滤波器之前的像素值来设定饱和区域及饱和部分周围区域，并且仅针对饱和区域及饱和部分周围区域中的恢复成分应用LPF处理。然而，本发明并不限于此。LPF不仅可以应用于饱和区域及饱和部分周围区域中的恢复成分而且可以应用于这些区域外部的恢复成分。在该实例中，将在应用图像恢复滤波器之前所述区域外部的各个像素的像素值与通过将应用LPF之前的恢复成分及应用LPF之后的恢复成分加权并相加而获得的值合成。此时，随着距饱和区域及饱和部分周围区域的距离增加，应用LPF之前的恢复成分的权重增加，并且进行该恢复成分与应用LPF之后的恢复成分的加权相加。这可以造成从对恢复成分应用LPF处理的区域到不对恢复成分应用LPF处理的区域的逐渐改变。然而，在图像恢复的效果减小的区域中，应用LPF之后的恢复成分的权重更大。由于该原因，优选的是，将距饱和区域及饱和部分周围区域的距离预定相对短的区域设定为限制区域，并设定权重系数以使得对限制区域中应用LPF之后的各恢复成分分配权重0。

在以上实施例中，基于应用图像恢复滤波器之前的像素值设定的饱和区域及饱和部分周围区域是对恢复成分应用LPF处理的特定区域。然而，可以使用不同的方法来判定对恢复成分应用LPF处理的特定区域。由于应用图像恢复滤波器而出现振铃的区域包括恢复成分突然增加的区域和恢复成分突然减小的区域二者。结果，恢复成分的值呈现山或谷的形状，如图5C中所示。由于该原因，当对图像的整个区域应用图像恢复滤波器时，作为恢复成分的梯度等于或大于阈值并具有相反的方向的邻近或附近的区域并且被其中恢复成分的最大值与最小值之间的差分等于或大于阈值的所述邻近或附近区域包围的区域，被给定作为振铃出现区域。要在对该振铃区域应用图像恢复滤波器时使用的位于区域的端部的像素是中心的像素可以被设定为振铃周围区域中的像素。可以对作为特定区域的振铃区域及振铃周围区域中的恢复成分应用LPF处理。另外，在已出现振铃的区域中，由于恢复成分的梯度适度或者恢复成分的最大值与最小值之间的差分很小，因此应用LPF之前恢复成分的权重可以增大，并且可以将它们与应用LPF之后的恢复成分加权相加。这是由于，尽管如这样的条件得到满足，但是振铃即使出现也变得不明显些。

尽管通过使用由R成分、G成分和B成分构成的普通拜尔结构来描述以上实施例，但是本发明中的颜色成分并不限于R成分、G成分和B成分。本发明可以应用于由除R成分、G成分和B成分以外的多个颜色成分构成的像素结构。另外，本发明可以应用于图像传感器中的各种像素结构。

其它实施例

本发明的各方面还可以通过读出并执行记录在存储装置上的用于进行上述实施例的功能的程序的***或设备的计算机(或诸如CPU或MPU的装置)来实现，以及通过由***或设备的计算机通过例如读出并执行记录在存储装置上的用于进行上述实施例的功能的程序来进行各步骤的方法来实现。鉴于此，例如经由网络或者从用作存储装置的各种类型的记录介质(例如，计算机可读介质)向计算机提供程序。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (11)

1.一种图像处理设备，其用于对通过使用图像传感器感测通过光学成像***入射的被摄体图像而获得的图像数据进行校正由于所述光学成像***的像差而导致的图像劣化的恢复处理，所述图像处理设备包括：

选择单元，被构造成根据所述图像感测时的图像感测条件来选择要用于恢复处理的滤波器；

图像处理单元，被构造成通过使用由所述选择单元选择的所述滤波器来针对所述图像数据进行恢复处理；以及

校正单元，被构造成基于所述图像处理单元的恢复处理之前与之后的像素的值之间的差分来确定校正值，并使用所确定的校正值来校正所述图像处理单元的恢复处理之前的像素值，

其中，所述校正单元包括：

差分处理单元，被构造成通过对特定区域中的所述图像处理单元的恢复处理之前与之后的像素值之间的差分进行平滑来确定所述校正值，所述特定区域包括饱和区域及所述饱和区域的周围区域；以及

合成单元，被构造成通过将经平滑的差分与所述图像处理单元的恢复处理之前的像素值合成，来校正所述图像处理单元的恢复处理之前的像素值。

2.根据权利要求1所述的图像处理设备，其中，所述合成单元被构造成，在所述特定区域中的像素的情况下，输出通过将经平滑的差分与所述图像处理单元的恢复处理之前的像素值合成而获得的像素值，而在所述特定区域外部的像素的情况下，输出通过将未经平滑的差分与所述图像处理单元的恢复处理之前的像素值合成而获得的像素值。

3.根据权利要求2所述的图像处理设备，所述图像处理设备还包括：

设定单元，被构造成设定所述特定区域，所述特定区域包括包含所确定的饱和像素的所述饱和区域、以及基于所确定的饱和像素的位置及由所述选择单元选择的滤波器的特性而确定的所述饱和区域的所述周围区域。

4.根据权利要求1所述的图像处理设备，其中，所述合成单元被构造成，在所述特定区域中的像素的情况下，输出通过将经平滑的差分与所述图像处理单元的恢复处理之前的像素值合成而获得的像素值，而在所述特定区域外部的像素的情况下，输出所述图像处理单元的恢复处理之后的像素值。

5.根据权利要求4所述的图像处理设备，所述图像处理设备还包括：

设定单元，被构造成设定所述特定区域，所述特定区域包括包含所确定的饱和像素的所述饱和区域、以及基于所确定的饱和像素的位置及由所述选择单元选择的滤波器的特性而确定的所述饱和区域的所述周围区域。

6.根据权利要求5所述的图像处理设备，其中，所述设定单元被构造成，在针对除所述饱和像素以外的像素的所述恢复处理中，当所述滤波器在所述恢复处理中使用所述饱和像素的像素值时，通过将由所述滤波器所使用的除所述饱和像素以外的像素确定为所述周围区域中的像素来确定所述周围区域。

7.根据权利要求5所述的图像处理设备，其中，所述设定单元被构造成，在针对所述饱和像素的所述恢复处理中，当所述滤波器在所述恢复处理中使用除所述饱和像素以外的像素的像素值时，通过将由所述滤波器所使用的除所述饱和像素以外的像素确定为所述周围区域中的像素来设定所述周围区域。

8.根据权利要求1所述的图像处理设备，其中，所述图像传感器的各像素被多个颜色的多个滤色器中的任一个滤色器覆盖，并且

所述图像处理设备还包括：像素插值单元，被构造成针对所述多个颜色的图像数据进行插值处理，以使所述各像素分别具有所述多个颜色的图像数据，并且

所述图像处理单元针对已经受所述插值处理的图像数据进行所述恢复处理。

9.根据权利要求1所述的图像处理设备，其中，所述图像传感器的各像素被多个颜色的多个滤色器中的任一个滤色器覆盖，并且

所述图像处理设备还包括：像素插值单元，被构造成针对经所述校正单元校正的所述多个颜色的图像数据进行插值处理，以使所述各像素分别具有所述多个颜色的图像数据。

10.根据权利要求1所述的图像处理设备，其中，由所述图像处理单元使用的所述滤波器包括二维滤波器，所述二维滤波器以基于所述光学成像***的光学元件的光学传递函数的反函数而生成的函数的傅里叶逆变换为特征，并且

所述图像处理单元进行所述滤波器的卷积处理。

11.一种图像处理方法，其用于对通过使用图像传感器感测通过光学成像***入射的被摄体图像而获得的图像数据进行校正由于所述光学成像***的像差而导致的图像劣化的恢复处理，所述图像处理方法包括：

选择步骤，根据所述图像感测时的图像感测条件来选择要用于恢复处理的滤波器；

图像处理步骤，通过使用在所述选择步骤中选择的所述滤波器来针对所述图像数据进行恢复处理；

差分处理步骤，通过对特定区域中的所述图像处理步骤的恢复处理之前与之后的像素值之间的差分进行平滑来确定校正值，所述特定区域包括饱和区域及所述饱和区域的周围区域，以及

校正步骤，通过将经平滑的差分与所述图像处理步骤的恢复处理之前的像素值合成，来校正所述图像处理步骤的恢复处理之前的像素值。