CN104656340A - 增强图像的方法 - Google Patents

Abstract

本发明涉及增强图像的方法。依据本发明的方法可以用于在摄影学中在低光照条件下和缺少大光圈光学器件的情况下生成高质量的图像。所述方法包括，摄影时，首先获得图像的多个帧，所述帧具有在时间上部分地重叠的曝光或具有在曝光之间的可忽略的间隔。在曝光之间的间隔表示少于总曝光时间的1/20的情况下，可以获得最佳的结果。所述方法还包括从一组曝光中分离出初始图像和使用具有最大曝光间隔的图像来对具有最小曝光间隔的图像进行滤波。通过组合来自相同的组的具有不同的曝光间隔的初始图像获得最终图像。

Description

增强图像的方法

本申请是申请日为2010年3月19日，申请号为201080032182.0，发明名称为“增强图像的方法”的申请的分案申请。

技术领域

本发明涉及摄影图像，具体地，涉及在传感器和电子快门的帮助下拍照。本发明可以用于在低光照条件下和当没有大光圈光学器件时拍照。

背景技术

现今存在广泛多样的小型移动照相设备，其是可拆卸的或内置在其他的器具中，例如内置在允许对各种对象拍照的蜂窝电话中。由于严格的尺寸和重量限制，用于低光照条件的大光圈光学器件不能用在这些设备中。

存在两种公知的在低光照条件下不应用大光圈光学器件时获得图像的方法。这两种方法可以分开使用或结合使用：

1.有时，必要时，较长的曝光时间结合光学图像稳定器或数字图像稳定器(克里斯韦斯顿的“在数码摄影中的曝光”，ISBN 978-5-9794-0235-2,978-2-940378-29-6)。

这种方法具有缺点：如果长时间曝光和使用在曝光期间并非稳固固定的手持相机拍照时，所产生的图像是模糊的、失真的和不清晰的。而使用附加的机械设备(例如三脚架)不能满足移动性要求。这个缺点部分地用数字图像稳定器或光学图像稳定器补偿。然而，这种设备使相机更大。另外，不能通过使用图像稳定器消除的第一种方法的缺点是场景中的移动对象看起来是模糊的事实。

2.来自传感器的数据读取路径中的密集扩增(相当于增加灵敏度值)(克里斯韦斯顿的“在数码摄影中的曝光”，ISBN 978-5-9794-0235-2,978-2-940378-29-6)。

第二种方法的缺点是不仅扩大了图像的亮度，而且扩大了来自传感器和图像读取/数字化路径的噪声。存在之后对噪声进行抑制的方法，然而，这些方法也不可避免地使图像中的某些细节消失。

存在用于接收来自传感器的多个(一系列)曝光的程序描述，包括下列阶段(http://www.aptina.com/products/image_sensors/-用于现代传感器的数据表；http://www.aptina.com/assets/downloadDocument.do？id＝373-具有电子快门mt9p013的传感器的详细描述)：

-确定最佳曝光时间；

-在时间T1期间曝光，然后读出数据；

-在曝光之间间隔；

-在时间T2期间曝光，然后读出数据；

-在曝光之间间隔；

-在时间T3期间曝光，然后读出数据；

-等等。

上述拍照方法的缺点在于曝光随时间分散，这使得在曝光被融合之后，移动对象的显示质量变得更坏。

在第450346号美国专利中描述的图像增强方法与提出的发明最接近。该方法建议，两个帧被用来作为输入图像，以及这些图像中的一个具有改善的信号/噪声比，然而，伴随有某些失真。该方法使用来自第一图像的低频数据和来自第二图像的高频数据。附加逻辑被用来为这两个图像确定临界频率。此频率可以根据图像特征在图像区域上适应地改变。该方法以下列方式被用来减少图像中的杂散信号：

-获得对象的多次曝光；

-取第一曝光(具有低信号/噪声比)；

-具有高信号/噪声比的多个图像被融合到单一的图像中，生成第二图像；

-在第一图像上使用低频滤波以减少噪声；

-对第二图像进行高频滤波；

-将低频滤波和高频滤波的频率调整到本地失真的程度(伪影)；

-通过简单的累加组合滤波后的图像。

这种方法的缺点是不能消除图像中的模糊。如果在场景中存在移动对象，通过这种方法拍摄出的具有时间上分开的曝光的图像将不可避免地包含伪影。

发明内容

本发明的目的是在没有使用大光圈光学器件或任何其他附加设备下采用移动照相设备获得高质量的图像。

实现本发明任务的方案如下：

-获得具有低信号/噪声比的多个曝光。

-从这些曝光中，从连续的曝光的组中识别具有最佳清晰度的初始图像，连续的曝光的组在时间上部分地重叠或具有不超出总曝光时间的1/20的曝光之间的间隔。

-使用具有较长的曝光时间的图像对具有较短的曝光时间的图像进行滤波。

-通过融合来自相同的组的具有不同的曝光时间的初始图像获得最终图像。

本发明提供了一种图像增强方法，包括：

(a)获得具有低信号/噪声比的多个曝光；

(b)从这些曝光中识别具有最佳清晰度的初始图像；

(c)通过使用来自具有较长的曝光时间的图像的数据来对具有较短的曝光时间的图像进行滤波，获得具有高信号/噪声比和高清晰度的最终图像。

所述初始图像可取自于接连地曝光的组，其中来自相同的组的曝光可在时间上部分地重叠或在曝光之间的间隔可不超出总曝光时间的1/20。

可通过融合来自相同的组的具有不同的曝光时间的所述初始图像建立所述最终图像。

附图说明

图1示出了在无损获取传感器像素时可能的数据读取模式。

图2示出了在过程中对传感器复位的模式。

图3示出了标准的数据读取模式。

图4示出了在图像滤波处理期间图像是如何被分割成相同尺寸的小的重叠区域(图像块)。

图5示出了将二维频域变换的系数划分成非重叠区域的第一种方法。

图6示出了将二维频域变换的系数划分成非重叠区域的第二种方法。

图7是用图表形式示出与已知的方法相比由所提出的方法获得的高质量图像的百分比的图。

具体实施方式

所提出的增强照片图像的方法包括两个阶段：

1.根据传感器的特殊的图像数据采集模式(读出模式)生成图像的多个帧。

2.将获得的图像融合成一个最终图像。

阶段一

方法1

在图1中示出的读取模式包括：

-初始逐行复位所有的传感器像素到其初始状态；

-在时间T1期间曝光；

-逐行读出在曝光T1期间获得的图像；

-在时间T2-T1期间进行额外的曝光；

-逐行读出在曝光T2期间获得的图像。

因此，生成了两个图像：具有曝光时间T1的第一图像(让我们称它为A)，具有曝光时间T2的第二图像(让我们称它为B)。

这种数据读出模式是更可取的；然而，它只在无损读出获取传感器像素时是可能的。

方法2

在图2中示出的数据读取模式包括：

-初始逐行复位所有的传感器像素到其初始状态；

-在时间T1期间曝光；

-逐行有损读出在曝光T1期间获得的图像；

-在读出之后立即将所有的传感器像素复位到其初始状态；

-在时间T2期间进行额外的曝光；

-逐行读出在曝光T2期间获得的图像。

这种读出方法通过将在时间T1和时间T2期间获得的图像综合成单一的图像B生成类似于那些通过在图1中示出的模式获得的图像的图像。和方法1不同，图像B在像素的第二次复位期间不曝光。然而，这个复位所需要的时间相比时间T1和T2短得可忽略不计。在复位时间不超出总曝光时间的1/20时，获得最佳的结果。

图像A和B被转移到第二阶段以进行进一步处理。当总曝光时间加上在曝光之前复位传感器所需要的时间与动态的现场拍摄相比小得可忽略时，为了获得最佳结果，在第一阶段期间建立多对图像(A1 B1；A2 B2；…)，接着在第二阶段期间选择最佳图像对。

在第一阶段期间获得的图像的性质：

在第一阶段之后获得的图像具有不同的曝光时间。T1<T2，所以图像A的曝光比图像B的曝光短。确定的最佳比率是T1＝T2/5。换句话说，图像A的曝光应该是图像B的曝光的五倍短。在这种曝光时间比下：

-在图像B中的信号/噪声比是在图像A中的信号/噪声比的五倍高；

-在图像A中的图像不清晰度(模糊度)大大低于在图像B中的图像不清晰度(例如，当在曝光期间照相机抖动时)。

阶段二

选择最佳图像对

一旦在第一阶段中获得多对图像，一定要选择最佳图像对以进行进一步处理。在图像B中的模糊度水平对进一步处理具有最大的影响。以下列方式选择更加清晰的图像(B1或B2或B…)：

1.提取亮度分量。

让我们假设，在图像中的每一像素都以三种颜色分量：R、G、B的形式存储。因此，亮度分量(Y)由下列公式确定：

Y＝R*0.2989+G*0.587+B*0.114

用于亮度分量的信号和计算方法的这种解释在图像处理中是典型的并且是公知的。

2.计算在两个图像中的亮度梯度的平方和：

Gx_x,y＝Y_x-1,y-1―Y_x+1,y-1+Y_x-1,y+1―Y_x+1,y+1+2Y_x-1,y―2Y_x+1,y

Gy_x,y＝Y_x-1,y-1+Y_x+1,y-1―Y_x-1,y+1―Y_x+1,y+1+2Y_x,y-1―2Y_x,y+1

其中：

Gx——沿x方向的梯度分量；

Gy——沿y方向的梯度分量；

G——梯度值的平方和；

x,y——像素的坐标。

3.图像应该具有最高G值。

一旦确定最佳图像对，有两个可用的图像：

A——较清晰的图像，但是具有较高的噪声水平；

B——可能较模糊的图像，但是具有较低的噪声水平。

减少图像A中的噪声(滤波)

除了有用的数据(暴露的场景)之外，图像A还包含杂散噪声。在图像B中的低噪声数据能够帮助从图像A中的噪声中滤出有用的信号。这种方法不同于已知的通过使用单一的图像滤除噪声的方法，因为第二图像(B)被用来从有用的信号中分离噪声。这样有助于最佳程度地将噪声和有用的信号分离开来以留下完整的有用信号。

滤波程序可单独地被应用于亮度分量或亮度和色度分量或每一颜色通道(R,G,B)。

在图像B中的数据的帮助下，以下描述的程序减少了图像A中的噪声：

-用于图像A和图像B的滤波所选定的通道(例如，亮度通道)被分解为相同尺寸的较小的重叠区域(图像块)。参照图4。

-每一图像块进行相同的处理算法：

·将一窗口应用于每一图像块的数据并进行二维频域变换(例如，二维傅里叶变换)。所述窗口被用来降低在频率转换期间的吉布斯效应。在与相邻图像块的重叠窗口合并时，方窗函数必须满足统一信号放大条件；

·由此产生的二维频域变换系数被分成非重叠区域(参照图5；图6)；

·在图像B的系数的帮助下，在每一区域中过滤图像A的系数；

·进行逆频域变换且所述窗口被第二次应用。

-通过合并所生成的重叠图像块建立经校正的图像A。

除具有最低频率的区域(其不进行滤波)之外，每一区域的系数滤波算法如下：

-图像A和图像B的系数的平均能量、其互相关性以及图像B的系数的能量的平均调整被计算为：

$\stackrel{\&OverBar;}{E_A}=\frac{{\mathrm{\&Sigma;}}_{i=1}^N{\left(C_i^A\right)}^2}{N}$

$\stackrel{\&OverBar;}{E_B}=\frac{{\mathrm{\&Sigma;}}_{i=1}^N{\left(C_i^B\right)}^2}{N}$

$\mathrm{Xcorr}=\frac{{\mathrm{\&Sigma;}}_{i=1}^N{C}_i^A{C}_i^B}{N}$

${\mathrm{Att}}_B=\frac{\mathrm{Xcorr}}{\stackrel{\&OverBar;}{E_B}}$

-图像B的系数的幅值被调整为：

${C^{\&prime;}}_i^B=C_i^B\&CenterDot;{\mathrm{Att}}_B$

-图像A的系数的平方幅值在给定区域内高得多(例如，三倍高)，以及相邻系数保持不变。

-图像A的系数的幅值超过图像B的系数的幅值下降为：

${C^{\&prime;}}_i^A=C_i^A\&CenterDot;\frac{\left|{C^{\&prime;}}_i^B\right|}{\left|C_i^A\right|}$

这种涉及向频域转移的滤波程序是最佳的，因为它可有助于补偿通常出现在实际的拍摄条件中的在场景中的对象的轻微移动。

获得最终图像

一旦噪声已被抑制，图像A包含具有不同的曝光时间和低噪声水平的两个图像。然而，具有较长曝光时间的图像可能是模糊的(不清晰的)。将这两个图像融合成单一的图像生成具有扩大的动态范围的最终图像。

图像A的一些阴影区域可能不会积累充足的电荷以显示图像中的细节，在这种情况下，图像B可以被用来填补这些区域。尽管图像B是模糊的概率高，其仍可允许在最终图像中显示一些场景的阴影细节。

如在文献(“曝光融合(Exposure Fusion)”，汤姆·默特斯，简·考茨和法兰克·万里斯。在“太平洋图形学会议，2007”)中所描述，发生图像的融合允许获得最终图像而不需要使用中级高动态范围(HDR)表示。在这个过程中，每一传入的图像进行塔式分解并且每一级分解涉及具有权重的图像的简单合并，权重由基于图像的给定区域的曝光接近最佳曝光来分配权重的函数确定。

工业适用性

所提出的发明使通过使用具有带有电子快门的传感器的设备获得高质量的图像成为可能，带有电子快门的传感器允许使用如以上描述的特殊曝光模式。现今，电子快门被使用在大多数具有内置照相机的移动电话中。本发明还可在具有机械快门的照相机上使用，但是图像的质量将不会那么高。值得注意的是，所提出的方案可以结合图像稳定器使用。在这种情况下，技术调和地相互补充，并允许扩大能够生成清晰图像的曝光范围。所提出的方案不需要修改传感器的设计。

Claims (3)

1.一种图像增强方法，包括：

(a)获得具有低信号/噪声比的多个曝光；

(b)从这些曝光中识别具有最佳清晰度的初始图像；

(c)通过使用来自具有较长的曝光时间的图像的数据来对具有较短的曝光时间的图像进行滤波，获得具有高信号/噪声比和高清晰度的最终图像。

2.如权利要求1所述的图像增强方法，其中所述初始图像取自于接连地曝光的组，其中来自相同的组的曝光在时间上部分地重叠或在曝光之间的间隔不超出总曝光时间的1/20。

3.如权利要求1所述的图像增强方法，其中通过融合来自相同的组的具有不同的曝光时间的所述初始图像建立所述最终图像。