CN116055907A - 图像处理设备、摄像设备、图像处理方法和存储介质 - Google Patents

Abstract

本公开提供图像处理设备、摄像设备、图像处理方法和存储介质。图像处理设备获得多个帧的图像数据，将多个帧的图像数据进行对准，并且将已经对准的多个帧的图像数据进行合成。图像数据包括第一数据和第二数据，第一数据是图像传感器的有效像素区域的像素的数据且由与预定的颜色成分排列相对应的信号构成，以及第二数据是图像传感器的有效像素区域外的像素的数据。图像处理设备能够独立于第二数据地将第一数据进行对准。

Description

图像处理设备、摄像设备、图像处理方法和存储介质

技术领域

本发明涉及图像处理设备、摄像设备、图像处理方法和计算机可读存储介质。本发明特别涉及图像合成技术。

背景技术

已知通过将以所需曝光时间的1/N的曝光时间连续拍摄的N个图像进行合成来减少图像抖动的技术(日本特开2007-243775)。

当对多个图像进行合成时，图像之间的对准是必要的。然而，如果针对有效像素区域内的像素简单地对准图像，则有效像素区域外的像素将在未对准状态下被合成。因此，在使用有效像素区域外的像素的值时，会出现问题。日本特开2007-243775没有考虑到这样的问题。

发明内容

鉴于这样的传统技术的问题而实现了本发明，本发明的一个方面提供了使得能够适当地使用有效像素区域外的像素值来进行图像合成的图像处理设备和图像处理方法。

根据本发明的一方面，提供了一种图像处理设备，包括：获得部件，用于获得多个帧的图像数据；对准部件，用于对所述多个帧的图像数据进行对准；以及合成部件，用于对已经对准的所述多个帧的图像数据进行合成，其中，所述图像数据包括第一数据和第二数据，所述第一数据是图像传感器的有效像素区域的像素的数据并且由与预定的颜色成分排列相对应的信号构成，以及所述第二数据是所述图像传感器的所述有效像素区域外的像素的数据，以及所述对准部件能够独立于所述第二数据地对所述第一数据进行对准。

根据本发明的另一方面，提供了一种摄像设备，包括：图像传感器；以及根据本发明的图像处理设备，其中，所述多个帧的图像数据是使用所述图像传感器随时间拍摄的图像数据。

根据本发明的又一方面，提供了一种图像处理方法，包括：获得多个帧的图像数据；对所述多个帧的图像数据进行对准；以及对已经对准的所述多个帧的图像数据进行合成，其中，所述图像数据包括第一数据和第二数据，所述第一数据是图像传感器的有效像素区域的像素的数据并且由与预定的颜色成分排列相对应的信号构成，以及所述第二数据是所述图像传感器的所述有效像素区域外的像素的数据，所述对准能够独立于所述第二数据地对所述第一数据进行对准。

根据本发明的另一方面，提供了一种计算机可读存储介质，其存储有程序，所述程序使计算机用作根据本发明的图像处理设备。

根据(参考附图)对典型实施例的以下描述，本发明的其他特征将变得明显。

附图说明

图1是示出根据实施例的用作图像处理设备的摄像设备的功能配置的示例的框图。

图2是示出图像传感器的像素区域的示意图。

图3是示出根据第一实施例的RAW数据合成处理的示意图。

图4是与根据第一实施例的在合成图像拍摄模式下进行的操作有关的流程图。

图5是示出第二实施例的背景的图。

图6是示出第二实施例的概述的图。

图7是与根据第二实施例的在合成图像拍摄模式下进行的操作有关的流程图。

具体实施方式

在下文中，将参考附图详细描述实施例。注意，以下实施例不旨在限制所要求保护的发明的范围。在实施例中描述了多个特征，但是不限制成需要所有这些特征的发明，并且可以适当地组合多个这样的特征。此外，在附图中，相同的附图标记表示相同或相似的配置，并且省略了其冗余描述。

注意，下面将描述本发明应用于诸如数字照相机等的摄像设备中的实施例。然而，摄像功能对于本发明不是必需的，并且本发明可以在能够处置图像数据的任意电子装置中实现。这样的电子装置的示例包括计算机装置(个人计算机、平板计算机、媒体播放器、PDA等)、智能电话、游戏控制台、机器人、无人机和仪表板照相机。然而，这些仅仅是示例，并且本发明也可以应用于其他电子装置。

图1是示出用作根据本发明实施例的图像处理设备的示例的摄像设备10的功能配置的示例的框图。

控制单元113包括能够执行程序的一个或多于一个处理器、RAM和ROM。控制单元113可以将ROM中存储的程序加载到RAM中并使用处理器执行程序。控制单元113通过执行程序来控制包括图1所示的功能块的摄像设备10的组成元件和/或可通信地连接的外部装置的操作。摄像设备10的功能可以通过控制单元113执行程序来实现。注意，通过控制单元113执行程序可以实现的功能可以使用硬件(例如，ASIC、FPGA等)来实现。ROM例如是电可重写的，并且存储可以由控制单元113的处理器执行的程序，以及摄像设备10的设置值、GUI数据等。例如，控制单元113可以是片上***(SoC)、***级封装(SiP)等的形式。

拍摄镜头100具有多个透镜和孔径光阑，并且生成被摄体的光学图像。图像传感器102例如是CMOS图像传感器，并且具有二维排列的多个光电转换单元(像素)。

图2是示意性地示出图像传感器102中的像素排列的图。图像传感器102具有有效像素区域200和有效像素区域外的光学黑(OB)区域201作为排列像素的区域。有效像素区域200是用于拍摄被摄体图像的区域(被曝光的区域)。另一方面，OB区域201是不用于拍摄被摄体图像的区域(未曝光的区域)。OB区域201中的像素可以设置有遮光膜，以例如防止光进入。可以在有效像素区域200上方或下方设置另外的OB区域202。OB区域202可以用于计算黑电平，并且还可以用于以垂直像素线为单位的线偏移校正。

除了存在遮光膜之外，OB区域201中布置的像素具有与有效像素区域200中布置的像素相同的结构。如果为有效像素区域200中的像素设置滤色器，则以与有效像素区域200中的像素相同的方式，也为OB区域201中的像素设置滤色器。

有效像素区域200和OB区域201是图像传感器102的区域，但是为了方便起见，本说明书将对由图像传感器102获得的图像使用相同的表达。例如，“图像”或“有效像素区域”是指在通过拍摄获得的单个帧的图像中的、由图像传感器102的有效像素区域200的像素获得的图像区域。

滤色器由不同颜色的单位滤波器阵列构成，其中每个像素设置一个单位滤波器。例如，原色拜耳阵列滤色器由以2×2像素用作重复单位的四个类型的单位滤波器(即R(红色)、G1(绿色)、G2(绿色)和B(蓝色))的阵列构成。在下文中，设置有单位滤波器G1的像素将被称为“G1像素”。对于设置有其他类型的单元滤波器的像素也是如此。

例如，使用OB区域201中布置的像素来检测像素所包括的光电转换元件(例如，光电二极管)中的噪声成分。例如，通过从有效像素区域200中的像素的信号值减去OB区域201中的像素的信号值，可以去除由于噪声成分引起的偏移，并且可以校正图像的黑电平。

图像传感器102中包括的像素生成具有与在电荷累积时段期间生成的电荷量相对应的值的像素信号。在机械快门101打开和关闭的拍摄中，电荷累积时段与曝光时段相对应。在机械快门101保持打开的拍摄中，电荷累积时段与从重置累积电荷的时间起直到曝光时段过去为止的时段相对应。通常，前者与静止图像拍摄相对应，后者与运动图像拍摄相对应，但是后者也可以与静止图像拍摄相对应。

当一个电荷累积时段结束时，从图像传感器102读出一帧的像素信号(模拟图像信号)。一帧的模拟图像信号包括有效像素区域200和OB区域201的像素信号。模拟图像信号由A/D转换单元103转换为数字图像信号(数字格式的像素信号集合)。如果图像传感器102能够输出数字格式的像素信号集合，则不需要设置A/D转换单元103。

在此阶段，根据相应像素所具有的单位滤波器的颜色，各个像素信号仅具有一个颜色成分。在本说明书中，将这样的由与预定的颜色成分的阵列相对应的像素信号(仅具有与单位滤波器的颜色相对应的一个颜色成分的像素信号)构成的数字格式的图像信号称为“RAW(原始)数据”。

从A/D转换单元103或图像传感器102输出的RAW数据首先存储在存储器114中。存储器114用于临时存储RAW数据、由信号处理单元111处理的图像数据等。

OB积分单元104针对各个像素类型，计算RAW数据中的OB区域201中的像素值的平均像素值。这里，图像传感器102具有原色拜耳阵列滤色器，因此OB积分单元104计算OB区域201中的R像素、G1像素、G2像素和B像素的平均像素值。该平均像素值用作黑电平。

OB钳位(clamp)单元105将(基于OB区域201中的像素值来校正黑电平的)OB钳位处理应用于有效像素区域200中的像素值。OB钳位处理可以具体地是用于减去由OB积分单元104计算出的平均像素值的处理。OB钳位处理使得可以抑制从有效像素区域200中的像素信号获得的图像中的黑浮(bright black(黒浮き))、颜色偏移等。OB钳位处理使用基于像素类型的黑电平。例如，对于有效像素区域200中的R像素的像素值，减去从OB区域中的R像素获得的黑电平。OB钳位单元105将OB钳位处理应用于合成源图像中的各个合成源图像，并且应用于合成单元108所生成的合成图像。

阴影校正单元106将阴影校正应用于有效像素区域200中的像素值。阴影校正针对拍摄镜头100、像素中所包括的微透镜等的光学特性等引起的基于像素位置的亮度降低进行校正。因此，在阴影校正中，应用根据像素位置的增益。

白平衡(WB)处理单元107将白平衡调整处理应用于阴影后校正图像。白平衡调整处理将根据像素类型(R、G1、G2、B)的增益应用于已经经过阴影校正的像素值。

未对准检测单元109检测合成源图像的多个帧中的各个帧的未对准量。未对准量可以是将第一帧中的未对准量取为0的绝对未对准量，或者可以是相对于紧前帧的相对未对准量。当检测绝对未对准量时，第一帧图像用作基准图像。

未对准检测单元109可以检测作为帧之间的有效像素区域200的图像的运动矢量的未对准量。未对准检测单元109可以使用任意公知的技术(例如，在帧之间使用模板匹配的方法或使用摄像设备10中设置的陀螺仪传感器等的输出的方法)来检测未对准量。未对准检测单元109将检测到的未对准量输出到未对准校正单元110或将未对准量保存在存储器114中。

未对准校正单元110基于未对准检测单元109所检测到的未对准量来对准要合成的帧的图像。未对准校正单元110可以例如通过根据未对准量改变要合成的帧中的各个像素的坐标值来进行对准。

注意，未对准校正单元110具有两个模式，即，仅对准来自有效像素区域200的图像的模式，以及对准包括有效像素区域200和OB区域201的区域(例如，整个帧)的图像的模式。以该方式，未对准校正单元110可以独立于OB区域201中的数据(第二数据)来对准有效像素区域200中的数据(第一数据)。例如，可以通过控制单元113设置未对准校正单元110的模式。

即使设置了对准整个帧的模式，如果满足对准引起OB区域201的合成精度下降的条件，则控制单元113也可以改变为仅对准有效像素区域200的图像的模式。例如，如果OB区域201重叠的帧数量小于总帧数量N的预定百分比，则控制单元113可以改变为仅对准有效像素区域200中的图像的模式。可以基于未对准检测单元109所检测到的各个帧的未对准量来查明OB区域201重叠的帧的数量。

合成单元108以多个可选择的合成模式中的一个合成模式来对多个图像进行合成，并生成合成图像。不需要将合成处理应用于整个帧，而是将合成处理应用于基准图像中的有效像素区域和OB区域就足够了。

合成单元108将所生成的合成图像保存在存储器114中。在本实施例中，假设摄像设备10能够选择相加模式、平均相加模式或比较明亮模式作为合成模式。这些合成模式是示例，并且其他合成模式可以是可选择的，或者可以仅存在一个合成模式。

下面将描述各个合成模式中的图像合成方法。在此，假设对N帧(其中，N为大于或等于2的整数)的图像进行合成。构成各个帧中的图像的像素在xy正交坐标系中具有坐标(x,y)，坐标(x,y)处的像素的亮度值由I_i(x,y)(其中i＝1至N)表示，并且合成图像的坐标(x,y)处的像素的亮度值由I(x,y)表示。合成单元108如下根据合成模式来计算合成图像中的各个像素的亮度值I(x,y)。

·相加模式

I(x,y)＝I_1(x,y)+I_2(x,y)+...+I_N(x,y)

在相加模式中，合成单元108将各个帧中相同坐标处的像素的亮度值相加，以生成合成图像。例如，当对以恰当曝光量的1/N的曝光量所拍摄的N帧的图像进行合成以产生具有恰当曝光的图像时，使用相加模式。

·相加平均模式

I(x,y)＝(I_1(x,y)+I_2(x,y)+...+I_N(x,y))/N

在相加平均模式中，合成单元108通过将如相加模式那样获得的亮度值除以帧数量N，生成各个像素的亮度值为N帧的平均值的合成图像。例如，使用相加平均模式来减少以高感光度拍摄的图像中的噪声。

·比较明亮模式

I(x,y)＝max(I_1(x,y),I_2(x,y),...,I_N(x,y))

这里，max()是提取()中的要素的最大值的函数。获得由各个帧中具有相同坐标的N个像素中的最高亮度值构成的合成图像。例如，当将烟花或星空的图像进行合成时，比较明亮模式是有效的。

对于由于根据对准的坐标改变而不存在要合成的像素值的坐标，合成单元108可以在相加模式和相加平均模式中代替地使用其他预定帧(例如，第一帧)中的那些坐标的像素值。合成单元108可以仅使用在相加平均模式或比较明亮模式中存在的像素值来进行合成(在相加平均模式中，将除数改变为用于相加的帧的数量(<N))。注意，这些仅仅是若干可想到的示例，并且可以使用其他方法来进行合成。

另外，合成单元108确保有效像素区域200外的图像不与基准图像中的有效像素区域进行合成。合成单元108可以以与不存在像素值时相同的方式，对由于对准因而坐标已经改变为与基准图像中的有效像素区域重叠的位置的有效像素区域200外的像素值进行处理。

信号处理单元111将显像处理应用于(未合成的)RAW数据、合成单元108所生成的合成图像的数据(合成的RAW数据)等。注意，显像处理应用于与有效像素区域200相对应的图像区域。“显像处理”是用于诸如颜色插值处理、色调校正处理(伽马处理)等的多个类型的图像处理的总称。颜色插值处理是用于对在拍摄时不能获得的颜色成分的值进行插值的处理，并且也被称为“去马赛克”。作为应用颜色插值处理的结果，各个像素将具有彩色图像所需的多个颜色成分(例如，RGB或YCbCr)，并且数据将不再是RAW数据。

信号处理单元111可以对显像后的图像数据应用诸如特征区域(例如，面部区域和人体区域)及其运动的检测和人物识别处理等的检测处理、以及合成处理、缩放处理、编码和解码处理。另外，信号处理单元111可以应用各种图像处理，例如，包括标头信息生成处理的数据处理，诸如生成用于自动聚焦检测(AF)的信号和评价值、计算用于自动曝光控制(AE)的评价值等的评价值计算处理，等等。注意，这些是可以由信号处理单元111应用的图像处理的示例，并且不旨在限制由信号处理单元111应用的图像处理。

记录单元112根据拍摄模式和记录设置，将RAW数据、合成的RAW数据、显像后的图像数据、伴随这些数据的音频数据等记录在诸如存储卡等的记录介质中。

“操作单元115”是使得用户能够对摄像设备10做出各种指示的输入装置(开关、按键、按钮、拨盘、触摸面板等)的总称。

显示单元116例如是触摸屏，并且用于显示实时取景图像、回放图像、GUI以及摄像设备10的设置值和信息。

图4中的流程图示出摄像设备10在合成图像拍摄模式下的操作。合成图像拍摄模式是通过对随时间拍摄的多个帧的图像进行合成来记录合成图像的拍摄模式。在合成图像拍摄模式中，设置上述多个合成模式中的一个合成模式。尽管这部分描述了静止图像拍摄，但是该处理也可以被执行为用于生成拍摄运动图像(在该拍摄运动图像中，各个帧用作合成图像)的一帧的处理。

在步骤S101中，控制单元113通过操作单元115从用户接受要合成的帧数量N的设置。可以以与合成模式的设置相同的方式预先设置帧数量N。

在步骤S102中，控制单元113检测用户已经通过操作单元115输入了拍摄指示。可以通过例如完全按下操作单元115中包括的快门按钮来做出拍摄指示。在检测到拍摄指示的输入时，控制单元113执行步骤S103。

在步骤S103中，控制单元113执行用于拍摄一帧的处理。例如，可以使拍摄时的曝光条件(快门速度、光圈值和感光度)成为通过在步骤S102之前(例如，当检测到快门按钮被半按下时)执行使用实时取景图像的AE处理而获得的恰当曝光量。注意，当合成模式是相加模式时，控制单元113基于在步骤S101中设置的帧数量N，将曝光条件设置为恰当曝光量的1/N。

控制单元113将从拍摄获得的RAW数据保存在存储器114中。控制单元113在拍摄第一帧时跳过步骤S104并执行步骤S105，并且在拍摄第二帧和后续帧时执行步骤S104。

在步骤S104中，未对准检测单元109检测从最近拍摄实例获得的图像(RAW数据)中的未对准量。这里，假设针对第二帧和后续帧中的所有图像、检测第一帧中的图像(基准图像)的未对准量。使用模板匹配来检测未对准量，其中基准图像的一部分被用作模板。

这里，为了提高检测未对准量的精度，未对准检测单元109从基准图像生成多个模板，并检测各个单独模板的未对准量。然后，未对准检测单元109基于检测到的多个未对准量来确定最终未对准量。未对准检测单元109可以例如将最高频的未对准量或未对准量的平均值确定为最终未对准量，但是也可以通过其他方法进行确定。

在步骤S105中，OB积分单元104使用在最近拍摄实例中获得的图像(RAW数据)中的OB区域201的像素值来计算各个像素类型的黑电平。

在步骤S106中，OB钳位单元105使用在步骤S105中计算出的黑电平对从最近拍摄实例获得的图像(RAW数据)中的有效像素区域中的像素应用OB钳位处理。

在步骤S107中，未对准校正单元110使用在步骤S104中检测到的未对准量将从最近拍摄实例获得的图像(RAW数据)与基准图像进行对准。将参考图3描述该对准处理。

图3示意性地示出合成处理，在该合成处理中，第二帧的图像(RAW数据)302与作为基准图像的第一帧的图像(RAW数据)301进行对准并进行合成。图像301具有有效像素区域301a和OB区域301b。同样，图像302具有有效像素区域302a和OB区域302b。

这里，假设未对准校正单元110的模式被设置为仅对准有效像素区域中的图像的模式。因此，在对准后图像302'中，仅有效像素区域302a'已经移动，并且OB区域302b没有移动。作为结果，在对准后图像302'中出现不存在像素的区域302c。当未对准校正单元110的模式被设置为对准整个帧的模式时，在内部改变了坐标信息，但是对准前后的图像302之间没有明显的改变。

在步骤S108中，合成单元108将在步骤S107中对准的图像(图3中的图像302')与基准图像或直至先前帧的合成图像(合成的RAW数据)进行合成。合成单元108根据已经设置的模式来执行如上所述的合成处理。

图3示出在从合成中排除了由于对准而产生的不存在像素的区域302c的相加平均模式或比较明亮模式下的合成处理的示例。作为结果，合成图像310的有效像素区域310a包括第二帧的图像未被合成的区域310c。对于合成图像310的OB区域310b，使用根据模式的方法将第一帧的OB区域301b和第二帧的OB区域302b进行合成。

注意，如果像素信号受到负方向上的噪声影响，则当通过步骤S106中的OB钳位处理降低黑电平时，像素值可能变得小于0。为了防止这个，可以在将合成图像保存在存储器114中之前将预定的正偏移添加到合成图像。如果将偏移添加到合成图像，则在步骤S106中应用OB钳位处理之前，向要合成的图像给予与添加到合成图像的偏移量相同的偏移量。在应用OB钳位处理之后，在步骤S108中应用合成处理之前，从这两个图像中去除偏移。

尽管图4中的流程图示出相对于基准图像从第二帧开始顺次进行合成，但是可以生成从第二帧至第N帧的合成图像，并在结束时将这些图像与基准图像进行合成。在该情况下，可以仅在所有帧中重叠的区域中进行从第二帧至第N帧的合成。对于基准图像的有效像素区域的、从第二帧至第N帧没有生成合成图像的部分，在假设没有要合成的像素值的情况下，可以应用根据上述合成模式的方法。

在步骤S109中，控制单元113判断是否已经完成所设置的帧数量N的拍摄。如果判断为拍摄完成，则控制单元113执行步骤S110，并且如果未判断为拍摄完成，则控制单元113执行步骤S103，并且执行下一帧的拍摄。例如，假设只要连续输入拍摄指示，控制单元113就连续拍摄图像。例如，如果在所设置的帧数量N的拍摄完成之前停止拍摄指示的输入，则控制单元113可以丢弃至此为止进行的处理的结果，并返回到拍摄待机状态。

在步骤S110中，OB积分单元104基于存储器114中所保存的合成图像的OB区域的像素值来计算黑电平。除了OB区域中的像素值是合成处理后的像素值之外，黑电平的计算与步骤S105中的计算相同。

在步骤S111中，OB积分单元104计算指示合成图像的OB区域中的像素值的变化的值(例如，方差值)。可以针对各个像素类型(颜色)来计算方差值，或者可以针对所有像素来计算单个方差值。OB积分单元104可以并行地执行步骤S110和S111。

在步骤S112中，OB钳位单元105使用在步骤S110中计算出的基于合成图像的黑电平，对合成图像的有效像素区域中的像素值应用OB钳位处理。尽管在步骤S106中对合成前的图像应用OB钳位，但在合成之后应用OB钳位处理的原因是为了减少由合成处理引起的黑浮。

例如，当以比较明亮模式对以高感光度拍摄的多个帧的图像进行合成时，各个帧的图像包含大量噪声。比较明亮模式的合成在各个坐标处选择最高亮度值。因此，针对各个坐标将会选择由于噪声而高于原始亮度值的亮度值的可能性更大。因此，通过以与有效像素区域200相同的方式、使用基于在比较明亮模式下已经合成的OB区域201(合成的OB区域)中的像素的黑电平对合成图像应用OB钳位处理，可以抑制由合成引起的黑浮。尽管前面的描述已经讨论了比较明亮模式中的合成作为由于合成而出现黑浮的典型示例，但是由合成引起的黑浮也发生在其他合成模式中，因此将使用基于合成的OB区域中的像素的黑电平的OB钳位处理应用于合成图像。

在步骤S113中，WB处理单元107将白平衡调整处理应用于OB钳位处理后的、合成图像的有效像素区域的图像(RAW数据)。

在步骤S114中，信号处理单元111对已经应用了白平衡调整处理的RAW数据应用显像处理。信号处理单元111根据在步骤S111中计算出的方差值来改变在显像处理中应用的降噪处理的参数。具体地，信号处理单元111改变降噪处理的参数，使得如果方差值大于预定阈值，则与方差值不大于预定阈值相比，应用更强的降噪处理。这是因为与方差值不大于阈值相比，在方差值大于阈值时，噪声量更大。如果存在多于三个的不同强度的降噪处理，则可以使用两个或多于两个阈值来调整降噪处理的强度。信号处理单元111从显像处理后的图像数据生成包含图像数据的图像数据文件。

在步骤S115中，记录单元112将在步骤S114中生成的图像数据文件记录到诸如存储卡等的记录介质、外部装置等中。代替显像后的图像数据或除了显像后的图像数据之外，还可以记录在步骤S112中应用OB钳位处理之前的、有效像素区域的合成的RAW数据。外部装置执行步骤S112至S114的处理所需的信息(在步骤S110中计算出的黑电平和在步骤S111中计算出的方差量)可以被添加到合成的RAW数据并以这样的状态进行记录。可以记录合成源的N帧的RAW数据，使得外部装置可以执行步骤S104至S114的处理。

当记录单元112的记录结束时，控制单元113结束图4所示的操作，并例如返回到拍摄待机状态。

如上所述，根据本实施例，当对多个帧的RAW数据进行合成时，可以将RAW数据的对准分别地应用于有效像素区域中的数据和OB区域中的数据。通过可以独立地对准有效像素区域的数据，可以防止OB区域中的数据与有效像素区域中的数据进行合成，这使得可以抑制合成图像的质量下降。另外，因为在要合成的帧之间OB区域没有未对准，所以可以从合成后的OB区域精确地计算黑电平，这使得可以有效地抑制由合成引起的图像中的黑浮。

第二实施例

接下来将描述本发明的第二实施例。本实施例涉及除了OB钳位处理之外还进行线偏移校正的情况。图像传感器中形成的多个电路元件的特性由于制造误差等而经历变化。例如，由各个像素线中设置的放大器的特性的变化引起的像素信号偏移量的差可以被看到为图像中的条纹图案。

线偏移校正是用于校正这样的可能以水平像素线、垂直像素线等为单位出现的像素信号偏移的差的处理。可以从OB区域中的像素来检测各个像素线的偏移量的差。因此，可以基于在OB区域中检测到的各个像素线的偏移量的差，对从有效像素区域读出的像素信号应用线偏移校正。

然而，如果有效像素区域和OB区域之间的对准量不同，则需要线偏移校正的像素线的位置将在OB区域和对准后有效像素区域之间不一致。特别地，当对来自多个帧的图像进行合成时，OB区域和有效像素区域之间的对准量对于各个帧可以是不同的。因此，在合成处理后的OB区域中检测到的各个像素线的偏移量将与合成后有效像素区域中的像素信号的偏移量不一致，因此不能正确地进行线偏移校正。

将参考图5描述不能进行正确线偏移校正的示例。尽管这里将描述水平像素线的线偏移校正，但是这同样适用于垂直像素线的线偏移校正。当对垂直像素线进行线偏移校正时，使用图2所示的OB区域202。

图5示意性地示出合成处理，在该合成处理中，利用分别应用于OB区域和有效像素区域的对准量，将第二帧的图像(RAW数据)302与作为基准图像的第一帧的图像(RAW数据)301进行对准并合成。图像301具有有效像素区域301a和OB区域301b。同样，图像302具有有效像素区域302a和OB区域302b。

这里也假设未对准校正单元110的模式被设置为仅对准有效像素区域中的图像的模式。因此，在对准后图像302'中，仅有效像素区域302a'已经移动，并且OB区域302b没有移动。作为结果，在对准后图像302'中出现不存在像素的区域302c。

在第一帧的图像301(基准图像)中，具有比其他水平像素线的信号偏移大(或小)了设置量的信号偏移的两个水平像素线形成亮(或暗)的条纹图案501。类似地，在第二帧的图像302中，两个水平像素线形成亮(或暗)的条纹图案502。

因为图像传感器中的水平像素线的位置是固定的，所以条纹图案总是形成在拍摄图像中的相同位置。因此，在将第二帧中的图像的有效像素区域302a与第一帧中的图像的有效像素区域301a对准之前，在第一帧中的图像和第二帧中的图像中的相同位置形成条纹图案。

然而，作为有效像素区域302a与第一帧中的图像的有效像素区域301a对准的结果，第二帧中的图像中的条纹图案的数量和位置在对准后图像的有效像素区域302a'中发生变化。

作为结果，第一帧的图像和第二帧的图像的合成图像310的有效像素区域310a除了包括存在于有效像素区域301中的条纹图案501之外，还包含存在于有效像素区域302a'中的条纹图案502'。

另一方面，聚焦于OB区域，第一帧中的图像中的OB区域301b和第二帧中的图像中的302b在没有进行对准的情况下被合成。因此，合成图像310中的OB区域310b中的条纹图案的数量和位置与合成之前相同。

这里将描述线偏移校正。线偏移校正包括检测条纹图案的存在和位置以及确定偏移校正量。线偏移校正可以例如由信号处理单元111执行。

例如，对条纹图案的存在和位置的检测可以是针对通过在水平方向上对OB区域310b中的像素值进行平均而形成的垂直延伸的像素信号序列、对具有与代表信号电平的差的绝对值大于或等于阈值的信号电平的像素及其位置的检测。代表信号电平可以是信号电平的平均值或中值。可以预先通过实验找到阈值。

如果存在具有与代表信号电平的差的绝对值大于或等于阈值的信号电平的像素，则该像素的位置与要校正的像素线的位置相对应，并且该像素的信号电平与代表信号电平之间的差可以用作偏移校正量。注意，也可以检测要校正的像素线及其位置。可以使用与这里描述的方法不同的方法来确定偏移校正量等。

对于合成图像310，可以想到基于在OB区域310b中检测到的条纹图案将线偏移校正应用于有效像素区域310a。在该情况下，在要合成的图像中，有效像素区域的垂直方向上的对准量不为零的图像(这里是第二帧的图像)的条纹图案502'保留在校正后图像511的有效像素区域511a中。

本实施例通过生成用于线偏移校正的合成图像来解决上述问题。具体地，通过根据有效像素区域的对准量，将要合成的各个帧图像的OB区域与基准图像的OB区域进行对准来生成用于线偏移校正的合成图像。

因此，在本实施例中，生成以下内容。

·通过对准和合成有效像素区域而获得的合成图像(第一合成图像)

·通过对准和合成所提取出的OB区域而获得的用于线偏移校正的合成图像(第二合成图像)

·通过在没有对OB区域进行对准的情况下对OB区域进行合成而获得的用于OB钳位(黑电平调整)的合成图像(第三合成图像)

图6示出在与图5所示的合成处理相同的合成处理中使用用于线偏移校正的合成图像的示例。如图6所示，合成单元108提取与第一帧的图像301(基准图像)合成的第二帧的图像302的OB区域302b，并应用有效像素区域302a的对准量的垂直方向成分，以生成对准图像601。然后，合成单元108将对准的OB区域的图像601与从基准图像提取出的OB区域301b进行合成，并且生成用于线偏移校正的合成图像602。

注意，当对三个或多于三个帧进行合成时，合成单元108针对除了基准图像之外的各个帧图像来提取OB区域，应用有效像素区域的对准量的垂直成分并进行对准，然后顺次地将图像与从基准图像提取出的OB区域进行合成。以该方式，合成单元108可以生成用于线偏移校正的合成图像。

注意，当对准OB区域时，仅应用有效像素区域的对准量的垂直方向成分，这是因为线偏移校正的对象是水平像素线。当线偏移校正的对象是垂直像素线时，仅将有效像素区域的对准量的水平方向成分应用于帧图像的OB区域202以对准OB区域。

还要注意，因为使用从各个帧提取出的OB区域，所以用于线偏移校正的合成图像不影响各个帧的OB区域的合成。合成单元108与用于OB钳位的OB区域的合成、有效像素区域的合成等分开地进行用于线偏移校正的合成。

在用于线偏移校正的合成图像602中，在与对准和合成的有效像素区域310a相同的位置存在条纹图案。因此，可以通过使用用于线偏移校正的合成图像602对合成后的有效像素区域310a应用线偏移校正来适当地校正条纹图案。如图6所示，在线偏移校正后图像511'的有效像素区域511a中不存在条纹图案。

当应用使用了用于线偏移校正的合成图像602的线偏移校正时，信号处理单元111可以使用合成图像602的、对于用于生成合成图像602的所有OB区域共同的区域。在该情况下，在线偏移校正中，信号处理单元111不使用仅合成了一部分帧的OB区域的区域(诸如图6中由602a指示的区域等)。

图7是将本实施例中描述的与线偏移校正有关的处理添加到在第一实施例中描述的摄像设备10的合成图像拍摄模式下进行的操作的流程图。步骤S701至S708与图4中的步骤S101至S108相同，步骤S711至S714与图4中的步骤S109至S112相同，并且步骤S716至S718与图4中的步骤S113至S115相同，因此将不给出其描述。

在步骤S709中，控制单元113指示信号处理单元111从最近拍摄的帧图像中提取OB区域，并将该OB区域供给至未对准校正单元110。当首先执行步骤S709时，控制单元113指示信号处理单元111还提取基准图像的OB区域，并将该OB区域供给至合成单元108。信号处理单元111根据来自控制单元113的指示而从帧图像中提取OB区域，并将OB区域供给至未对准校正单元110。

控制单元113还指示未对准校正单元110使用在步骤S707中的对准处理中被应用于有效像素区域的对准量来将对准处理应用于OB区域，并将结果供给至合成单元108。未对准校正单元110将对准处理应用于信号处理单元111所供给的OB区域，并将结果供给至合成单元108。如上所述，在对准处理中，未对准校正单元110在提取OB区域201时仅应用对准量的垂直方向成分，并且在提取OB区域202时仅应用对准量的水平方向成分。未对准校正单元110将已经被应用了对准处理的OB区域供给至合成单元108。

在步骤S710中，控制单元113指示合成单元108生成用于线偏移校正的合成图像。合成单元108还将从未对准校正单元110供给的对准后OB区域与最近生成并存储在存储器114中的合成图像进行合成。当首先执行步骤S710时，合成单元108将从未对准校正单元110供给的对准后OB区域与从信号处理单元111供给的基准图像的OB区域进行合成。合成单元108将OB区域的合成图像存储在存储器114中。

这里描述的情况是在完成用于记录的帧图像的OB区域301b和有效像素区域302a的合成处理之后执行用于生成用于偏移校正的合成图像的对准处理、合成处理等的情况。然而，也可以在步骤S707和S708中执行用于生成用于偏移校正的OB区域的合成图像的对准处理和合成处理。

在步骤S714中的OB钳位处理结束之后，在步骤S715中，控制单元113指示信号处理单元111执行线偏移校正。信号处理单元111读出存储器114中存储的用于偏移校正的合成图像，并检测条纹图案的存在和位置。如果没有检测到条纹图案，则信号处理单元111向控制单元113通知检测结果(未检测到图案)，并且不应用线偏移校正。在该情况下，控制单元113执行步骤S716，并且指示WB处理单元107执行白平衡调整处理。

另一方面，如果检测到条纹图案，则信号处理单元111检测条纹图案的位置，并确定检测到的各个条纹图案的偏移校正值。然后，信号处理单元111对存储器114中存储的已经经过OB钳位处理的合成图像应用线偏移校正。后续处理与第一实施例中的相同，因此这里不再描述。

在本实施例中，生成对OB区域进行了对准和合成的图像以用于线偏移校正。然后，使用为线偏移校正而生成的OB区域的合成图像，将线偏移校正应用于有效像素区域的合成图像。这使得除了第一实施例的效果之外，还可以适当地校正由图像传感器的电路特性的变化引起的条纹图案。

其他实施例

前述实施例描述了在摄像设备中的拍摄时生成合成图像的情况。然而，如前所述，拍摄功能在本发明中不是必需的。因此，本发明还可以在如下图像处理设备中实现：该图像处理设备获得随时间拍摄并记录的RAW数据的一帧，并且执行步骤S104(S704)和后续处理，而不是在步骤S103(S703)中拍摄图像。在该情况下，步骤S109(S711)中的判断处理判断是否已经获得所设置数量的帧。

另外，在拍摄时不需要执行在第二实施例中描述的线偏移校正。例如，通过与有效像素区域的合成图像相关联地记录用于线偏移校正的OB区域的合成图像，可以在与用于记录图像的设备不同的设备中并且在任意期望的定时处执行线偏移校正。

可选地，通过将OB区域记录为RAW数据，可以在与用于记录图像的设备不同的设备中并且在任意期望的定时处执行合成图像的生成和线偏移校正。

可以在图像传感器102中实现在前述实施例中被描述为与图像传感器102分离的功能块的一个或多于一个配置。通过使图像传感器102成为堆叠型图像传感器，可以在图像传感器102中实现A/D转换单元103、存储器114、未对准检测单元109、未对准校正单元110和合成单元108。

在该情况下，有效像素区域的合成图像可以由图像传感器102生成。还可以在图像传感器102中生成用于线偏移校正的OB区域的合成图像。图像传感器102可以将有效像素区域的合成图像的数据和用于线偏移校正的OB区域的合成图像的数据作为单独的图像数据来输出，或者将那些图像数据合成为单个图像数据来输出。如果还可以在图像传感器内进行线偏移校正，则图像传感器不需要输出用于线偏移校正的OB区域的合成图像的数据。

尽管第二实施例描述了总是生成用于线偏移校正的OB区域的合成图像，但是可以仅在判断为需要线偏移校正时才生成该合成图像。例如，可以通过将(诸如拍摄时的ISO感光度和快门速度等的)拍摄条件、(诸如传感器温度和环境温度等的)环境条件等与预定阈值进行比较来判断是否需要线偏移校正。

其他实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已经参考示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求书的范围应符合最广泛的解释，以便涵盖所有此类修改和等效结构和功能。

Claims (20)

1.一种图像处理设备，包括：

获得部件，用于获得多个帧的图像数据；

对准部件，用于对所述多个帧的图像数据进行对准；以及

合成部件，用于对已经对准的所述多个帧的图像数据进行合成，

其中，所述图像数据包括第一数据和第二数据，所述第一数据是图像传感器的有效像素区域的像素的数据并且由与预定的颜色成分排列相对应的信号构成，以及所述第二数据是所述图像传感器的所述有效像素区域外的像素的数据，以及

所述对准部件能够独立于所述第二数据地对所述第一数据进行对准。

2.根据权利要求1所述的图像处理设备，

其中，所述对准部件对所述第一数据进行对准，并且不对所述第二数据进行对准。

3.根据权利要求1所述的图像处理设备，

其中，所述合成部件对所述多个帧的所述第一数据进行合成并对所述多个帧的所述第二数据进行合成，并且用于对所述第一数据进行合成的方法与用于对所述第二数据进行合成的方法相同。

4.根据权利要求1所述的图像处理设备，

其中，所述第二数据是未曝光的像素的数据。

5.根据权利要求4所述的图像处理设备，

其中，所述第二数据用于调整所述第一数据的黑电平。

6.根据权利要求5所述的图像处理设备，

其中，所述黑电平的调整是对所述多个帧的各个图像数据、以及对所述合成部件所合成的合成图像数据进行的。

7.根据权利要求1至6中任一项所述的图像处理设备，还包括：

计算部件，用于计算表示所述合成部件所合成的合成图像数据的所述第二数据中的变化的值，

其中，基于表示所述变化的值来确定对所述合成图像数据的显像处理中所应用的降噪处理的强度。

8.根据权利要求1至6中任一项所述的图像处理设备，

其中，所述合成部件使已经对准的所述第二数据不与所述第一数据进行合成。

9.根据权利要求1所述的图像处理设备，

其中，所述对准部件基于用于对所述多个帧的图像数据中所包括的所述第一数据进行对准的对准量，对所述多个帧的图像数据中所包括的所述第二数据进行对准，

所述合成部件生成通过对已经对准的所述第一数据进行合成而获得的第一合成图像的数据，并且生成通过对已经对准的所述第二数据进行合成而获得的第二合成图像的数据，以及

所述图像处理设备还包括：

校正部件，用于基于所述第二合成图像的数据来校正所述第一合成图像的数据。

10.根据权利要求9所述的图像处理设备，

其中，所述校正部件对由于用于生成所述多个帧的图像数据的所述图像传感器而在所述第一合成图像中以像素线为单位出现的条纹图案进行校正。

11.根据权利要求10所述的图像处理设备，

其中，在所述校正部件对水平像素线中出现的条纹图案进行校正的情况下，所述对准部件使用用于对所述多个帧的图像数据中所包括的所述第一数据进行对准的对准量的水平方向成分和垂直方向成分中的垂直方向成分，对所述第二数据进行对准。

12.根据权利要求10所述的图像处理设备，

其中，在所述校正部件对垂直像素线中出现的条纹图案进行校正的情况下，所述对准部件使用用于对所述多个帧的图像数据中所包括的所述第一数据进行对准的对准量的水平方向成分和垂直方向成分中的水平方向成分，对所述第二数据进行对准。

13.根据权利要求9至12中任一项所述的图像处理设备，还包括：

记录部件，用于将所述第一合成图像的数据与所述第二合成图像的数据相关联地记录。

14.根据权利要求9至12中任一项所述的图像处理设备，

其中，所述合成部件还生成通过对尚未进行对准的所述第二数据进行合成而获得的第三合成图像的数据。

15.根据权利要求14所述的图像处理设备，

其中，所述第三合成图像的数据用于调整所述第一合成图像的数据的黑电平。

16.根据权利要求9至12中任一项所述的图像处理设备，

其中，所述第二数据是未曝光的像素的数据。

17.一种摄像设备，包括：

图像传感器；以及

根据权利要求1至16中任一项所述的图像处理设备，

其中，所述多个帧的图像数据是使用所述图像传感器随时间拍摄的图像数据。

18.一种图像处理方法，包括：

获得多个帧的图像数据；

对所述多个帧的图像数据进行对准；以及

对已经对准的所述多个帧的图像数据进行合成，

其中，所述图像数据包括第一数据和第二数据，所述第一数据是图像传感器的有效像素区域的像素的数据并且由与预定的颜色成分排列相对应的信号构成，以及所述第二数据是所述图像传感器的所述有效像素区域外的像素的数据，

所述对准能够独立于所述第二数据地对所述第一数据进行对准。

19.根据权利要求18所述的图像处理方法，

其中，所述对准包括基于用于对所述多个帧的图像数据中所包括的所述第一数据进行对准的对准量，对所述多个帧的图像数据中所包括的所述第二数据进行对准，

所述合成包括生成通过对已经对准的所述第一数据进行合成而获得的第一合成图像的数据，并且生成通过对已经对准的所述第二数据进行合成而获得的第二合成图像的数据，以及

所述图像处理方法还包括基于所述第二合成图像的数据来校正所述第一合成图像的数据。

20.一种计算机可读存储介质，其存储有程序，所述程序使计算机用作根据权利要求1至16中任一项所述的图像处理设备。

Images