CN104221364A - 成像装置和图像处理方法 - Google Patents

Abstract

一种成像装置，包括：图像传感器，用于将对象的光学图像转换为电信号；图像处理器，用于根据电信号来生成图像；图像合成器，用于对由图像处理器在相同的条件下以相同的构图所生成的图像逐像素地进行合成；数字钳位处理器，用于进行数字钳位，从而从由图像合成器所获得的合成图像中去除偏移分量；以及数字钳位控制器，用于根据由图像合成器所进行了合成的图像的数量来控制数字钳位处理器的数字钳位量。

Description

成像装置和图像处理方法

相关申请的交叉引用

本申请基于2012年4月20日递交的日本专利申请No.2012-97204并要求其优先权，这里通过引用的方式将该申请的公开内容整体并入本文。

技术领域

本发明涉及诸如具有图像传感器的静态数码相机的成像装置的图像处理，特别涉及具有图像合成功能的成像装置以及用于图像合成的图像处理方法。

背景技术

已知一种具有基于亮度的图像合成功能的数码相机。这种图像合成是用于用相同的曝光以相同的构图(composition)按时间序列来连续拍摄图像，对基准图像和比较图像的相同坐标的像素输出值进行比较，并且在用具有更高输出值或更低输出值的比较图像的像素来替换基准图像的像素的同时来对图像进行合成。通过这种技术，例如，在对夜间场景进行拍照时，能够采集在具有适当曝光的背景中的星星轨迹的图像。具有这种基于亮度的图像合成功能的数码相机已经可得到。

传统上，对于基于亮度的图像合成而言，通过相机生成连续图像，并且在拍摄之后通过个人计算机由图像处理软件来对图像进行合成。因此，用户无法在拍照时生成合成图像。通过使用具有图像合成功能的数码相机，用户能够在拍摄期间查看合成图像。

此外，对于通过个人计算机的图像合成而言，在需要时所使用的图像数据例如是已降低了噪声并被压缩的JPEG图像，因此，根据拍照设置，对于图像合成而言，图像数据的质量可能不够好。同时，数码相机能够对RAW图像进行合成，使得数码相机能够采集可能被看作为单个帧中的噪声的彩色的微小星星，并且通过在合成处理中对随机噪声进行平均来改进图像质量，而这通过一般的图像处理是不可行的。

同时，由于RAW图像是来自图像传感器的、未经图像处理的原始输出数据，所以随着JPEG图像所不具有的噪声的出现，在RAW图像的合成期间存在问题。由于散粒噪声(shot noise)或随机噪声，所以即使以相同的设置所采集的相同对象的图像数据也不可能是相同的输出，而是具有概率分布的输出。当对相应的坐标处的像素重复简单的基于亮度的图像合成时，输出逐渐接近所述分布的最大值，导致生成缺陷图像，例如过度曝光的图像或品红状图像。对于经过数字钳位(digital clamp)或噪声降低的JPEG图像不会发生这种问题。

例如，日本专利No.4243084(参考文献1)和日本专利申请公开No.2010-34845(参考文献2)公开了一种成像装置，用于处理诸如黑电平的失调或不均的故障。参考文献1公开了一种成像装置，用于根据拍照条件的参数来调整对RAW图像的钳位，以便减少黑电平的变化。该成像装置根据长曝光拍摄中的曝光数据或高环境温度下的温度数据来适当地生成钳位信号。参考文献2公开了一种技术，用于在钳位处理中暂时地增大定义黑电平的OB信号，从而稳定黑电平，由此防止由于黑电平的变化所造成的图像质量的恶化。然而，两个参考文献中的技术均无法处理由RAW图像的基于亮度的图像合成所引起的黑电平的变化或不均。

如上所述，在通过诸如具有基于亮度的图像合成功能的数码相机的成像装置对RAW图像进行合成期间，根据RAW图像所被采集的拍照条件、环境条件、或诸如已进行了合成的图像的数量的合成条件可能出现黑电平的变化、不均或失调。

发明内容

本发明的目的在于提供一种成像装置和图像处理方法，所述成像装置和所述图像处理方法能够根据在RAW图像的基于亮度的图像合成期间已进行了合成的图像的数量来适当地处理黑电平的变化，从而有效地防止合成图像的质量的恶化。

根据一个实施例，一种成像装置，包括：图像传感器，用于将对象的光学图像转换为电信号；图像处理器，用于根据所述电信号来生成图像；图像合成器，用于对由所述图像处理器在相同的条件下以相同的构图所生成的图像逐像素地进行合成；数字钳位处理器，用于进行数字钳位，从而从由所述图像合成器所获得的合成图像中去除偏移分量；以及数字钳位控制器，用于根据由所述图像合成器所进行了合成的图像的数量来控制所述数字钳位处理器的数字钳位量。

附图说明

参照附图，根据下文的详细说明，本发明的特点、实施例和优点将变得显而易见。

图1是作为根据一个实施例的成像装置的实例的数码相机的必要部件的框图；

图2是以示例的方式用于基于亮度的图像合成的流程图，包括图1中的数码相机的根据已进行了合成的图像的数量的数字钳位处理；

图3是以示例的方式示出与基准图像和比较图像的有正负的(signed)差异值相关的噪声分布的图；

图4是以示例的方式示出了当由处于光学遮挡状态中的本领域的数码相机对RAW图像重复进行简单的基于亮度的图像合成时、与所进行了合成的图像的数量相关的黑电平的变化的图；

图5是以示例的方式示出了根据环境温度和曝光时间的由图4中的已被遮挡的数码相机所采集的图像的黑电平的差异的图；

图6是以示例的方式示出了根据感光度和曝光时间的由图4中的已被遮挡的数码相机所采集的图像的黑电平的差异的图；

图7是以示例的方式示出了根据感光度和曝光时间的由图4中的已被遮挡的数码相机所采集的不同坐标处的图像的黑电平的差异的图；

图8是以示例的方式示出了根据已进行了合成的图像的数量的在不同坐标处的图像的黑电平的变化的图；以及

图9示出了具有当本领域的数码相机被光学遮挡时、该数码相机的通过基于亮度的图像合成来使用RAW图像所生成的黑电平的分布的不均的图像。

具体实施方式

下文中，将参照附图对根据本发明的实施例的成像装置和图像处理方法进行详细说明。在任何可能的情况下，在整个附图中将采用相同的参考数字表示相同或相似的部件。

首先，对基于亮度的图像合成进行说明。通过基于亮度的图像合成，在该图像合成期间，在多个图像的相同坐标处的像素输出被对比，以便用具有更高亮度或更低亮度的像素来替换像素，成像装置能够容易地生成星星轨迹的图像，例如甚至暗或淡颜色的星星，这是银盐胶片相机不可行的。然而，因为使用了RAW图像，用于像素替换的像素输出值的简单比较由于散粒噪声或随机噪声而使图像的总体输出电平增大。这导致黑电平的增大并且导致将偏移加入至输出，由此生成品红色调图像。

鉴于此，根据一个实施例的成像装置被配置来存储如下数据，所述数据是关于已进行了合成的RAW图像的数量和合成图像的与拍照条件或环境条件相关的黑电平的变化分布的数据，并且被配置来根据所述数据来进行数字钳位，从而去除合成图像的偏移分量。因此，在考虑噪声的情况下，与使用JPEG图像相比，所述成像装置能够使用RAW图像更加适当地生成高质量的合成图像。

图1是作为成像装置的实例的数码相机的***配置的框图。数码相机包括光学***1、模拟前端2、信号处理器3、SDRAM 4、LCD 5、存储卡6、ROM7以及操作单元8和驱动器9。

光学***1包括透镜组11、孔径光圈12、快门13和图像传感器14。模拟前端2包括时序生成器(TG)21、耦合双采样(CDS)电路22、模拟增益控制(AGC)电路23、以及A/D转换器24。信号处理器3包括作为控制器的CPU 21、CDD接口(I/F)32、存储器控制器33、YUV转换器34、尺寸调整处理器35、显示输出控制器36、数据压缩器37、以及介质接口(I/F)38。

光学***1可包括ND(中性密度)滤波器。图像传感器可以是CCD或CMOS。通过使用CMOS，由于模拟前端2通常被包含在CMOS中，因此作为外部电路的模拟前端2变得不必要。

当需要时，CDS电路22从图像传感器的输出信号中去除噪声，并且AGC电路23放大所述信号。A/D转换器24将模拟图像信号转换成数字图像数据。时序生成器21向图像传感器14和模拟前端2的元件生成驱动时序信号。

CPU 31与CCD I/F 32、存储器控制器33、YUV转换器34、尺寸调整处理器35、显示输出控制器36、数据压缩器37和介质I/F 38连接，从而与它们进行数据通信并控制它们。存储器控制器33与SDRAM 4连接，显示输出控制器与LCD 5连接，并且介质I/F 38与存储卡6连接。此外，CPU 31与存储操作程序的ROM 7以及具有按钮和开关的操作单元8连接，数据通过所述按钮和所述开关而被输入。CPU 31还为透镜组11、孔径光圈12和快门13来控制驱动器9。

图2是以示例的方式用于图1中的数码相机的基于亮度的图像合成处理的流程图，包括考虑到黑电平变化的数字钳位。所述图像合成由信号处理器3的CPU 31来执行。在根据本实施例的基于亮度的图像合成期间，通过根据合成图像的数量、环境温度以及拍照设置来调整数字钳位量，来对RAW图像适当地进行数字钳位。由此，可适当地校正合成图像的黑电平。

在图2中，假定，由三脚架上的数码相机用包括ISO感光度的相同曝光和拍照条件以相同的构图按时间序列连续地采集RAW图像。图像可包括运动对象。

在步骤S101中，由数码相机的未示出的温度传感器来测量环境温度，并且保存已测量的温度。在步骤S102中，获取并保存关于如曝光和感光度的拍摄条件的数据。在步骤S103中，为了基于亮度的图像合成，获取作为基准图像的第一RAW图像，然后在步骤S104获取作为比较图像的后续RAW图像。在步骤S105中，对第一RAW图像至第N(N＝2或更大)RAW图像重复进行基于亮度的图像合成，从而生成合成图像，同时用具有更大亮度值的比较图像的像素来替换基准图像的像素。在步骤S106中，对已进行了合成的RAW图像的数量进行计数作为用于数字钳位的参数。

为了防止由于噪声所造成的黑电平的失调和不均，在本实施例中，由数字钳位对合成图像的黑电平进行适当校正从而对图像数据的亮度进行移位。可将加权平均法加入到基于亮度的图像合成中，以便不为相同对象进行像素替换。在该情形中，需要由参数确定加权平均的范围。然而，在基于亮度的图像合成的精度与黑电平的失调及不均之间存在权衡。也就是说，如果不加入加权平均，则须适当地校正合成图像的黑电平。

对于简单的基于亮度的图像合成而言，可通过降低用于合成的基准图像和比较图像中的噪声来降低合成图像中的噪声分布，然而噪声分布无法被消除，甚至噪声分布保持为更小的绝对值。因此，已进行了合成的图像的数量越大，则黑电平的失调和不均就变得越明显。此外，可对要进行合成的RAW图像中的每个RAW图像进行暗帧相减(dark frame subtraction)，然而，也无法消除噪声分布，因此降低噪声不是足够有效的。

回到流程图，在步骤S107中，对步骤S105中的合成图像进行数字钳位。第一RAW图像至第N RAW图像的黑电平根据环境温度、诸如ISO感光度的拍摄条件、曝光时间、白平衡、环境光的量、已进行了合成的图像的数量N、以及帧中的坐标而不同。因此，对数字钳位而言，需要计算组合的大量参数和表。这里，通过考虑由实验和测量(如稍后所述)所获得的黑电平的特征来进行所必要的最小量的计算。

黑电平不改变，直到环境温度大约0摄氏度至20摄氏度为止，但是在20摄氏度以上，黑电平根据曝光时间而改变。因此，在温度高于20摄氏度时，尽管根据拍摄条件在高温部分中黑电平校正的效果会被略微降低，然而省略与环境温度相关的计算能够显著降低计算的参数和表的量。

感光度、例如ISO感光度大体上与黑电平成比例。也就是说，如果ISO感光度相对于图像传感器的增益翻倍，则随机噪声也相应地大体上翻倍。通过使用关于与ISO感光度相关联的黑色电平的预先存储的数据，可通过简单的操作来精确地计算黑电平。

关于曝光时间，无论曝光时间的量的大小，在图像中心区域的黑电平是恒定的。然而，例如，在图像左上部中，可能由于帧中的热噪声分布不均，所以黑电平倾向于与曝光时间的量成比例地增大。在本实施例中，根据曝光时间的、在帧的每个坐标处的黑电平数据被存储在存储器中。仅使用所述数据根据ISO感光度来进行数字钳位，并且环境温度数据并不用于该计算。

此外，关于已进行了合成的图像的数量，黑电平还在帧中的不同坐标处改变，但是黑电平可由对数函数来近似计算。也就是说，第N图像的黑电平L(N)由下面的方程式来表示：

L(N)＝(A*Ln(X)+B)*L(1)

其中，X是在帧中的一个点处的已进行了合成的图像的数量，并且A、B是当图像的数量增大时用于找到在每个点处的黑电平的变化的系数。

要被存储在存储器中的黑电平数据是在每个曝光时间处的第一图像的帧的每个点的值和系数(A、B)的值。理想地，帧中的坐标是每个像素，然而考虑到存储器的容量，帧中的坐标可被减少。

在步骤S107中，在数字钳位处理中，从合成图像减去所找到的数字钳位量，从而将已获得的图像通过信号处理器3的存储器控制器33输出至SDRAM4，或者通过显示输出控制器36输出至LCD 5。然后，如果在步骤S108中存在所要进行合成的下一图像，则流程返回至步骤S105，并且重复上述步骤。通过用具有更低亮度值的像素来替换像素可将该流程应用于图像合成。

接下来，对不使用本发明时、简单的基于亮度的图像合成中的问题进行说明。通常，由于噪声，所以在相同的拍摄条件下所采集的相同对象的RAW图像的像素输出并不相同。如图3中所示，通过简单的基于亮度的图像合成，输出逐渐接近噪声分布的最大值。在图3中，将正态分布σ²=5假定为噪声分布模型。

鉴于此，根据本实施例，噪声分布的最大值被设置为阈值，并且仅对其输出等于或大于或小于该阈值的像素进行基于亮度的图像合成。

图4以示例的方式示出了实验的结果，在该实验中，通过处于遮挡状态中的数码相机对RAW图像重复进行基于亮度的图像合成。由RICOH有限公司生产的数码相机—RICOH GR DIGITAL IV采用ISO 400、曝光时间15秒以及F值9.0。在图4中绘制出了3,672×2,748个像素的帧中的中心区域的50×50个像素的黑电平的平均值。如从该图所见，第一图像施加全标尺、12位等效中的大约5[LSB]的黑电平，并且黑电平随着图像的数量的增大而增大，并且第100图像的黑电平接近30[LSB]。如此高的黑电平在视觉上可视为灰黑色(grayish black)。例如，在夜晚的场景中，黑暗的天空由类品红色的颜色表示。

鉴于此，在本实施例中，关于根据已进行了合成的图像的数量的黑电平的变化的数据被准备并存储在存储器中。因此，通过按照已进行了合成的图像的数量来调整数字钳位量可防止黑电平失调为灰黑色。此外，黑电平的变化根据环境温度、曝光时间、图像的坐标和图像传感器的特征而改变，使得在数字钳位处理中需要根据这些因素来调整数字钳位量。

图5示出了当数码相机—RICOH GR DIGITAL IV采用ISO400、曝光时间1至30秒以及F值9.0时、由于环境温度所造成的黑电平的变化。绘制出了第一图像的3,672×2,748个像素的尺寸中的中心区域的50×50个像素的黑电平的平均值。

从该图可见，由于暗电流的增大，所以在高温环境下，黑电平倾向于高于正常温度环境下的黑电平，并且黑电平多高还将根据曝光时间的量而不同。例如，在曝光时间是1.0秒时，从低温到高温，黑电平不改变。对比之下，在曝光时间是30秒时，在高温下黑电平明显恶化。

图6示出了当数码相机—RICOH GR DIGITAL IV采用ISO 100至3200、曝光时间1至30秒以及F值9.0时、黑电平根据曝光时间的变化。绘制出了在环境温度是25摄氏度时第一图像的3,672×2,748个像素的尺寸中的中心区域的50×50个像素的黑电平的平均值。如从图中明显看出的，黑电平与曝光时间相关联，且大体上与ISO感光度成比例。

图7示出了当数码相机—RICOH GR DIGITAL IV在25摄氏度正常环境温度下采用ISO 100至400、曝光时间1秒至30秒以及F值9.0时、图像帧中的不同坐标处的黑电平的差异。绘制出了第一图像的3,672×2,748个像素的尺寸中的中心区域和左上区域的50×50个像素的黑电平的平均值。中心区域的黑电平的特征由实线绘制，左上区域的黑电平的特征由虚线绘制。在中心区域，黑电平改变不大，而在左上区域，黑电平与曝光时间量成比例地增大。具体地，例如，在ISO为400并且曝光时间为30[sec]时，中心区域的黑电平是大约6[LSB]，而左上区域的黑电平是大约67[LSB]。

图8示出了当数码相机—RICOH GR DIGITAL IV采用ISO 400、曝光时间15秒以及F值9.0时、根据如图4中的已进行了合成的图像的数量的黑电平的变化。绘制出了在25摄氏度的正常环境温度时第一图像的3,672×2,748个像素的尺寸中的中心区域和左上区域的50×50个像素的黑电平的平均值。

当第一个图像的黑电平被设置为图8中的基准(100％)时，黑电平在图像的中心区域和左上区域之间的变化不同。因此，需要根据帧中的位置来不同地计算数字钳位量。

图9示出了由处于遮挡状态中的数码相机所采集的图像数据的实例。应注意的是，出于为了清楚地示出黑色不均的原因，对图像数据进行色调调整。图9清楚地示出了图像帧的黑电平的不均。通过将CCD固态图像传感器用作图像传感器14，因为由于来自位于与图像的左上区域相对应的区域中放大器和***电路的热量所造成的帧中的热噪声分布不均，所以黑电平的不均非常明显。因此，需要为数字钳位处理使用不同的参数。

尽管已经根据示例性实施例对本发明进行了描述，但是本发明并不限于此。应当理解的是，在不脱离所附权利要求所限定的本发明的范围的情况下，本领域技术人员可对所描述的实施例进行修改和变化。

Claims (10)

1.一种成像装置，包括：

图像传感器，用于将对象的光学图像转换为电信号；

图像处理器，用于根据所述电信号来生成图像；

图像合成器，用于对由所述图像处理器在相同的条件下以相同的构图所生成的图像逐像素地进行合成；

数字钳位处理器，用于进行数字钳位，从而从由所述图像合成器所获得的合成图像中去除偏移分量；以及

数字钳位控制器，用于根据由所述图像合成器所进行了合成的图像的数量来控制所述数字钳位处理器的数字钳位量。

2.根据权利要求1所述的成像装置，其中

所述图像合成器包括合成器，所述合成器用于根据亮度值对在相同的条件下以相同的构图所生成的图像的相应坐标逐像素地进行比较，并且在用具有更高亮度值的像素或具有更低亮度值的像素中的至少一者来替换像素的同时来对所述图像进行合成。

3.根据权利要求1或2所述的成像装置，其中

所述数字钳位控制器包括第一控制器，所述第一控制器用于根据感光度、白平衡、曝光时间、***光量的校正量以及环境温度中的至少一者来控制所述数字钳位量的改变量。

4.根据权利要求1至3中任一项所述的成像装置，其中

所述数字钳位控制器包括第二控制器，所述第二控制器根据与所述合成图像的坐标相对应的像素的每个颜色的不同特征来控制所述改变量或所述数字钳位量中的至少一者。

5.根据权利要求1至4中任一项所述的成像装置，其中

所述数字钳位控制器包括第三控制器，所述第三控制器用于根据所述合成图像的坐标来控制所述改变量或所述数字钳位量中的至少一者。

6.一种图像处理方法，包括以下步骤：

将对象的光学图像转换为电信号；

根据所述电信号生成图像；

对在相同的条件下以相同的构图所生成的图像逐像素地进行合成；

进行数字钳位，从而从在所述合成步骤中所获得的合成图像中去除偏移分量；以及

根据在所述合成步骤中所进行了合成的图像的数量来控制数字钳位量。

7.根据权利要求6所述的图像处理方法，其中

所述数字钳位控制步骤包括根据亮度值对在相同的条件下以相同的构图所生成的图像的相应坐标逐像素地进行比较，并且在用具有更高亮度值的像素或具有更低亮度值的像素中的至少一者来替换像素的同时来对所述图像进行合成。

8.根据权利要求6或7所述的图像处理方法，其中

所述数字钳位控制步骤包括根据感光度、白平衡、曝光时间、***光量的校正量以及环境温度中的至少一者来控制所述数字钳位量的改变量。

9.根据权利要求6至8中任一项所述的图像处理方法，其中

所述数字钳位控制步骤包括根据与所述合成图像的坐标相对应的像素的每个颜色的不同特征来控制所述改变量或所述数字钳位量中的至少一者。

10.根据权利要求6至9中任一项所述的图像处理方法，进一步包括以下步骤

根据所述合成图像的坐标来控制所述改变量或所述数字钳位量中的至少一者。