CN101543056B - 使用多曝光模式的图像稳定化的方法和装置 - Google Patents

使用多曝光模式的图像稳定化的方法和装置 Download PDF

Info

Publication number
CN101543056B
CN101543056B CN2007800444320A CN200780044432A CN101543056B CN 101543056 B CN101543056 B CN 101543056B CN 2007800444320 A CN2007800444320 A CN 2007800444320A CN 200780044432 A CN200780044432 A CN 200780044432A CN 101543056 B CN101543056 B CN 101543056B
Authority
CN
China
Prior art keywords
pixel
exposure
groups
value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007800444320A
Other languages
English (en)
Other versions
CN101543056A (zh
Inventor
M·齐科
M·特里梅齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101543056A publication Critical patent/CN101543056A/zh
Application granted granted Critical
Publication of CN101543056B publication Critical patent/CN101543056B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本说明书和附图提供了一种新的方法、装置和软件产品，用于对由照相机的图像传感器在用于至少一个颜色通道的固定(即，预先选择的)多曝光模式的情况下所拍摄的图像进行图像稳定化，其中所述图像传感器的像素的多个组对于所述至少一个颜色通道具有不同的预先选择的曝光时间。所述照相机可以是例如像移动电话或便携式电子设备这样的电子设备的一部分。

Description

使用多曝光模式的图像稳定化的方法和装置
优先权以及相关申请的交叉引用 
本申请要求于2006年12月15日提交的序列号为11/640,529的美国专利申请的优先权。 
技术领域
本发明总体上涉及照相机或包括照相机的电子设备，并且更具体地，涉及利用用于捕获由照相机所拍射的图像的固定多曝光像素模式来进行图像稳定化。 
背景技术
通过图像稳定化来解决的问题追溯到摄影术的开始，并且基本上是由以下事实造成的：任何已知的图像传感器都需要在被称为积分(曝光)时间的时间段期间使图像在其上投影。在该时间期间，照相机和/或物体的任何运动都可能造成投影在传感器上的图像的偏移，从而导致被称为运动模糊(motion blur)的最终图像的变差。 
对具有图像获取能力的消费性设备正在进行的开发和小型化增加了对于稳健性和高效图像稳定化解决方案的需要。这些要求可能包括： 
●更长的积分时间，以便处理由于传感器小型化和分辨率增加要求所造成的更小的像素区域； 
●更长的积分时间，以便在低光照条件下获取更好的图片； 
●当使用高变焦和/或小型手持设备等时，避免在积分时间期间不希望的运动。 
防止运动模糊的简单方法是为图像设置短曝光时间。然而，在没有良好照明的情况下，这样的短曝光图片将由于各种噪声因素(例如，传感器噪声、光子拍摄噪声(photon-shot noise)、量化噪声等)而造成噪声非常大。 
为了处理噪声，我们可以采用所谓的“多帧图像稳定化”解决方案，在该解决方案中，多个短曝光图像被对准并且被组合在一起，以便合成单个长曝光图像。 
可选地，如果照相机的曝光时间被设置得越长，那么所获取的图像将受噪声的影响越少，但是可能由于在曝光时间期间任意的照相机运动而造成的运动模糊，使得所获取的图像变差。为了恢复这样的图像，必须具有关于在曝光时间期间发生的运动的精确知识。这样的“单帧图像稳定化”解决方案的特殊情况在类属名称“光机图像稳定器(opto-mechanicalimagestabilizers)”下是已知的。这些稳定器由几个厂商(例如，佳能、松下、柯尼卡美能达，等等)实现，并且它们基于在照相机运动的相反方向上移动光学器件或图像传感器，以便在曝光时间期间将投影在传感器上的图像保持在相同的位置。该方法仅应对不能够校正由于场景中的移动物体所造成的模糊的相机运动。另外，该方法还具有其它缺点，比如：难以维持在较长曝光时间期间的稳定性，并且除了平移运动之外，不能够应对其它运动模型(例如，旋转)。除此之外，还存在与移动设备的光稳定器有关的大小和成本问题。 
多数图像传感器对所有的像素均使用相同的曝光时间。然而，并不是所有的图像像素都在相同程度上受到运动模糊的影响。例如，记录平滑图像区域的像素与位于移动物体边界(即，移动边缘)附近的像素相比受到运动模糊的影响要少得多。而且，如果照相机是固定的，则仅是通过快速移动物体经过照相机前方而不是通过静态背景才可以产生运动模糊。在这样的情况下，只有表示移动物体的图像的像素才受到运动模糊的影响。 
用于稳定化的一种方法是：基于实际的场景内容和动态，在图像捕获期间动态地设置不同像素的曝光时间。这种方法实际上根据的是以下事实：一些图像像素与另一些相比受到运动模糊的影响更少。然而，这样的方法被证明效率非常低，因为它需要在曝光期间监控所有图像像素的负荷 (charge)，以便判定其中任何一个上是否发生了某种运动从而停止其曝光。 
发明内容
根据本发明的第一方面，一种方法包括：对于至少一个颜色通道，由图像传感器利用预先选择的多曝光像素模式来捕获图像，其中，所述图像传感器的像素的多个组对于所述至少一个颜色通道具有不同的预先选择的曝光时间；以及使用对每个像素的值与每个像素的一个或多个邻近像素的值的加权组合，为所述至少一个颜色通道确定所述图像的每个像素的值，其中，使用预定算法的所述每个像素与所述一个或多个邻近像素中的至少一个相比具有不同的曝光时间。 
进一步根据本发明的第一方面，所述确定可以包括：使用所述像素的值以及所述一个或多个邻近像素的值来计算所述图像的每个像素的内插值；使用所述值、所述内插值以及用于每个像素和用于所述一个或多个邻近像素中的至少一个的不同曝光时间，为每个像素计算加权系数；以及使用所述内插值和所述加权系数来为每个像素计算最终值。 
进一步根据本发明的第一方面，所述像素的多个组可以包括具有两个不同曝光时间的像素的两个组，其中，这两个组中的一个组的每个像素由这两个组中的另一组的四个邻近像素环绕。 
再进一步根据本发明的第一方面，所述像素的多个组可以包括像素的两个组。而且，所述像素的两个组可以是以下之一：a)具有两个不同曝光时间的像素的交替行，以及b)具有两个不同曝光时间的像素的交替列。 
进一步根据本发明的第一方面，所述多个组可以包括具有三个不同曝光时间的像素的三个组。 
再进一步根据本发明的第一方面，可以为用于图像形成的每个颜色单独定义所述多曝光像素模式。 
再进一步根据本发明的第一方面，所述图像传感器可以是对所述图像的每个像素的值进行确定的电子设备的一部分。 
再进一步根据本发明的第一方面，所述图像传感器可以是互补金属氧化物半导体图像传感器。 
根据本发明的第二方面，一种计算机程序产品包括：其上体现了计算机程序代码的计算机可读存储结构，用于由计算机处理器执行所述计算机程序代码，其中所述计算机程序代码包括用于实现本发明的第一方面的指令。 
根据本发明的第三方面，一种装置包括：多曝光组合模块，用于使用对每个像素的值与所述每个像素的一个或多个邻近像素的值的加权组合，来为至少一个颜色通道确定图像的每个像素的值，其中，使用预定算法的每个像素与所述一个或多个邻近像素中的至少一个相比具有不同的曝光时间，其中，所述图像是使用为所述至少一个颜色通道预先选择的多曝光像素模式来捕获的，并且其中，像素的多个组对于所述至少一个颜色通道具有不同的预先选择的曝光时间。 
进一步根据本发明的第三方面，所述装置可以进一步包括：图像传感器，所述图像传感器被配置以便使用所述预先选择的多曝光像素模式来捕获所述图像，其中，所述图像传感器的像素的多个组具有不同的预先选择的曝光时间。可选地，所述装置可以被配置以便通过网络通信来访问所述图像。 
再进一步根据本发明的第三方面，所述多曝光组合模块可以被配置以便实现所述确定，所述确定可以包括：使用所述像素的值以及所述一个或多个邻近像素的值来计算所述图像的每个像素的内插值；使用所述值、所述内插值以及用于每个像素和用于所述一个或多个邻近像素中的至少一个的不同曝光时间，为每个像素计算加权系数；以及使用所述内插值和所述加权系数来为每个像素计算最终值。 
再进一步根据本发明的第三方面，所述像素的多个组可以包括具有两个不同曝光时间的像素的两个组，其中，这两个组中的一个组的每个像素可以由这两个组中的另一组的四个邻近像素环绕。 
进一步根据本发明的第三方面，所述像素的多个组可以包括像素的两个组。而且，所述像素的两个组可以是以下之一：a)具有两个不同曝光时间的像素的交替行，以及b)具有两个不同曝光时间的像素的交替列。 
进一步根据本发明的第三方面，所述多个组可以包括具有三个不同曝光时间的像素的三个组。 
再进一步根据本发明的第三方面，可以为用于图像形成的每个颜色单独定义所述多曝光像素模式。 
再进一步根据本发明的第三方面，所述图像传感器可以是互补金属氧化物半导体图像传感器。 
再进一步根据本发明的第三方面，集成电路可以包括所述装置的所有模块或所选择的模块。 
根据本发明的第四方面，一种电子设备包括：图像传感器模块，用于利用为至少一个颜色通道预先选择的多曝光像素模式来捕获图像，其中，所述图像传感器的像素的多个组对于所述至少一个颜色通道具有不同的预先选择的曝光时间；以及多曝光组合模块，用于使用对每个像素的值与每个像素的一个或多个邻近像素的值的加权组合，为所述至少一个颜色通道确定所述图像的每个像素的值，其中，使用预定算法的每个像素与所述一个或多个邻近像素中的至少一个相比具有不同的曝光时间。 
进一步根据本发明的第四方面，所述电子设备可以包括照相机和所述图像传感器模块，并且所述多曝光组合模块是所述照相机的一部分。 
根据本发明的第五方面，一种设备包括：用于使用对每个像素的值与每个像素的一个或多个邻近像素的值的加权组合来为至少一个颜色通道确定图像的每个像素的值的装置，其中，使用预定算法的每个像素与所述一个或多个邻近像素中的至少一个相比具有不同的曝光时间，其中，所述图像是使用为所述至少一个颜色通道预先选择的多曝光像素模式来捕获的，并且其中，像素的多个组对于所述至少一个颜色通道具有不同的预先选择的曝光时间。 
进一步根据本发明的第五方面，所述设备可以包括：用于使用所述预先选择的多曝光像素模式来捕获所述图像的装置，其中，用于捕获的装置的所述像素的多个组具有不同的预先选择的曝光时间。 
附图说明
为了更好地理解本发明的本质和目的，结合附图参照以下的具体实施方式，在附图中： 
图1a和图1b是根据本发明实施例，在相同颜色通道中具有图像传感器的短曝光像素和长曝光像素两个组的像素模式的示意性表示； 
图2是根据本发明实施例，在相同颜色通道中具有图像传感器的三个不同曝光时间下的三组像素(不同行)的像素模式的示意性表示； 
图3是根据本发明实施例阐明了用于亮度信息的不同曝光时间的像素模式的示意性表示； 
图4a和图4b是根据本发明实施例示出了穿过移动图像的两个像素的边缘的图像信号线的示图：关于短曝光和长曝光(图4a)，以及在短曝光和长曝光之间的差别(图4b)； 
图5是根据本发明的实施例包括照相机的电子设备的框图，该照相机在用于捕获照相机所拍摄的图像的固定多曝光像素模式的情况下进行图像稳定化；以及 
图6是根据本发明的实施例阐明了在用于捕获照相机所拍摄的图像的固定多曝光像素模式的情况下进行图像稳定化的流程图。 
具体实施方式
一种新的方法、装置和软件产品，其对于由照相机的图像传感器在用于至少一个颜色通道的固定(即，预先选择的)多曝光模式下所拍摄的图像进行图像稳定化，其中，该图像传感器的像素的多个组对所述至少一个颜色通道具有不同的预先选择的曝光时间。照相机可以是例如像移动电话或便携式电子设备这样的电子设备的一部分。 
根据本发明的实施例，图像稳定化可以取决于图像传感器的使用，该图像传感器对其像素允许不同的曝光时间，以便补偿可能在曝光时间期间由照相机和/或物体的移动而造成的运动模糊。具有不同曝光时间的像素可以根据具体模式(例如，检查模式、逐行模式等)来进行交替，且在拍摄图片之前预置曝光时间。这可以通过使用例如在其中可以独立地控制像素的CMOS(互补金属氧化物半导体)图像传感器来实现，但是也可以使用其它传感器。 
此外，在捕获图像之后，通过组合在不同曝光的像素中可获得的信息，可以(对每个颜色)生成最终的图像。例如，仅考虑用于图像像素的两个曝光时间，可以通过对平滑和静态图像区域中的更长曝光的图像像素加权得更多，以及通过对移动非平滑区域或移动边缘附近中的更短曝光的图像像素加权得更多，来创建最终图像。换句话说，不是(通过采用在曝光期间对每个像素负荷的复杂监控过程)针对图像内容调整每个像素的曝光时间，而是在高效的后处理操作中调整长和短曝光的像素信息对图像内容的的重要性。 
此外，可以关于在照相机(电子设备)的滤色阵列(color filter array)中所表示的每个颜色通道来单独地定义预先选择的不同曝光的像素的模式。在图1a、图1b和图2中对这样的模式进行了举例，其中出于简化的目的，假设对每个颜色信道使用相同的模式。图1a和1b图是根据本发明的实施例，在相同颜色通道中具有图像传感器的短曝光像素和长曝光像素两个组的像素模式的示意性表示的例子。图1a是检查模式，而图2b是具有不同曝光时间的像素的交替行。类似地，也可以使用具有不同曝光时间的像素的交替列。图2是根据本发明的另一个实施例，在相同颜色通道中具有图像传感器的三个不同曝光时间(正常曝光、曝光不足以及过度曝光)的三组像素(不同行)的像素模式的示意性表示的另一个例子。 
其它更复杂的模式可以被设计成关于亮度信息来使用更低分辨率的颜色信息。图3示出了根据本发明的进一步实施例的这样的例子，其尤其示出了阐明用于亮度信息的不同曝光时间(W1和W2)的像素模式的示意性 表示。 
相比于图1a、图1b和图2中所示的布置，图3中的布置可以在以更低密度颜色信息为代价的情况下实现更密集的亮度信息。图3中的布置取决于四个通道滤色阵列，包括W(白色)、R(红色)、G(绿色)和B(蓝色)。白色通道与其它通道相比具有更高的密度，并且捕获亮度(辉度)信息，其含有图像细节信息。颜色通道是不太密集的，并且允许更低分辨率的颜色信息获取，这依照于人类视觉感知。由于人眼具有小的颜色敏感度，因此，亮度通道的精确度与颜色信息的精确度相比对所捕获的图像具有更重要的影响。人类视觉***的这个特征可以在例如视频格式YUV422、YUV411和YUV420中使用，其全部基于对密集亮度信息(Y)连同子采样的色度信息(U，V)进行存储。图3中的像素布置是根据该原理，并且另外，它通过对像素使用不同的曝光时间来处理运动模糊。因而，亮度信息在三个不同的曝光处可用：在W像素上的两个极端曝光(分别是W1和W2)，以及在任何的R、G和B像素中的中等曝光时间，其中亮度可以通过内插来导出。根据该布置，有可能通过组合在不同曝光的像素中的信息来移除亮度通道的运动模糊。于是并不处理颜色通道，因为在这些通道中的模糊将具有很小的影响。 
要注意，在所有情况下(例如，参见图1a、图1b、图2和图3的例子)，在图像处理期间，优选地在实际的颜色内插操作之前，执行融合较短和较长曝光的像素信息的过程(详见图5)。 
进一步描述了实现的例子。我们假设：图像传感器的每个像素曝光时间T1或时间T2，其中T1＜＜T2。而且，根据类似图1a中所例示的预先建立的模式，短曝光像素和长曝光像素在空间上布置于传感器上。 
根据一个实施例，如在图4a和图4b中所示，平滑(或静态)图像区域可以基于短曝光像素值和长曝光像素值之间的差而区别于移动物体边缘区域。 
图4a和图4b是根据本发明的实施例，示出了穿过移动图像的两个像素的边缘的图像信号线的示图的例子：如图4a中所示的短曝光和长曝光， 以及如图4b中所示的在短曝光和长曝光之间(即，图4a的短曝光和长曝光的信号线之间)的差。如图4a和图4b所例示的，该差在平滑(或静态)区域中较小，而在移动边缘的附近较大。因此，长曝光的像素值在该差较小的图像区域中被加权得较多，并且短曝光的像素值在短曝光像素值与长曝光像素值之间的差较大的图像区域中被加权得较多。 
根据进一步的实施例，在不同曝光的像素之间的融合操作可以包括以下步骤： 
1.内插； 
2.加权计算；以及 
3.最终的图像计算。 
在下文中，较为详细地描述了每个步骤。 
内插： 
令ni，j和bi，j分别表示像素(i，j)的短曝光和长曝光值，其中i和j是标识每个像素的坐标的整数。由于交替模式结构，仅将两个值中的一个(ni，j或bi，j)应用于每个像素，这取决于像素是短曝光像素还是长曝光像素。可以通过内插，基于位于当前像素附近的类似曝光的像素值来估计其它的值。存在几种可以使用的内插方法，并且在此描述的内插方法仅是一个例子。根据一个实施例，例如，可以使用双线性内插。如此，使用例如图1a中所示的检查模式，所估计的每个像素的长(或短)曝光值可以被计算为其四个水平和垂直临近像素的平均值。例如，如果像素(i，j)是短曝光的，那么值ni，j在像素中可用，并且值bi，j可以被估计为 
bi，j＝(bi+1，j+bi-1，j+bi，j+1+bi，j-1)/4    (1) 
加权计算： 
如在此所描述的，我们如图4a和4b图中所示，基于在短曝光的和长曝光的图像像素之间的差来在静态和移动图像区域之间进行区分。然后，可以基于该差来计算加权函数，以便强调与移动边缘相对应的采集(picks)并且降低在不同图像中所呈现的噪声。 
在一种方法中，在像素(i，j)处的加权图像可以如下计算： 
Figure G2007800444320D00101
其中， n i , j ′ = T 2 T 1 n i , j , T1和T2分别是对于短曝光像素和长曝光像素的曝光时间的值，并且λ是正的常数。等式2强调了与移动边缘相对应的采集。为了进一步降低噪声，还可以通过应用平滑二维滤波器来在空间上平滑加权图像w。 
最终的图像计算： 
这里由fi，j所表示的像素(i，j)的最终值可以在一种情况中计算作为像素的短曝光值和长曝光值的加权平均。在先前步骤所计算的加权图像可以被调适成强调了在静态和移动图像区域之间的差的图像内容。因此，用于组合短曝光像素信息和长曝光像素信息的简单方式是采用它们的加权平均，例如，如下： 
fi，j＝n′i，j+(bi，j-n′i，j)·wi，j，    (3) 
其中，fi，j代表像素(i，j)的最终值。 
图5是根据本发明的各种实施例的电子设备10的框图的例子，电子设备10包括照相机12，如在此所描述的，照相机12在用于捕获由照相机12所拍摄的图像的预先选择(固定)的多曝光像素模式的情况下进行图像稳定化。 
电子设备10可以是但不限于照相机、无线通信设备、移动电话、照相机电话移动设备、便携式电子设备、非便携式电子设备等。 
照相机12可以包括光学器件14(例如，镜头、滤色器等)以及图像传感器16(例如，CMOS传感器)，用于对至少一个颜色通道利用固定(预先选择)的多曝光模式来捕获图像，如在此所描述的，以便提供传感器信号26。根据在此描述的各种实施例，预处理模块18可以实现一些预处理， 包括但不限于，例如，基座消除(pedestal elimination)、渐晕校正(vignettingcorrection)、直方图分析、预置增益，等等，并且然后向多曝光组合模块20提供图像信号26，其中，多曝光组合模块20可以使用在图像传感器中不同曝光的像素来实现内插、加权计算和最终图像计算的步骤(例如，参见等式1-3)。此外，模块20可以向进一步处理模块22提供组合的图像信号28，以便实现例如自动白平衡(AWB)、颜色内插、对比度增强、噪声降低、杂项校正(miscellaneous correction)，等等，并且然后可以进一步被(任选地)提供作为输出通往电子设备10的不同模块，例如，用于查看的显示器(取景器)、用于存储的设备存储器，或者用于向期望目的地进行转发的输入/输出(I/O)端口。 
要注意，图像传感器16通常可以是用于捕获的装置或其结构等同物(或等同结构)。而且，多曝光组合模块20通常可以是用于确定每个像素的值的装置或其结构等同物(或等同结构)。 
根据本发明的实施例，模块18、20或22可以被实现为软件或硬件模块或其组合。此外，模块18、20或22可以被实现为分离的模块，或者它可以与电子设备10的任何其它模块/块进行组合，或者它可以根据其功能被分成几个块。此外，要注意，电子设备10的所有模块或所选择的模块可以使用集成电路来实现。最后，要注意，作为对于使图像传感器16成为电子设备10的一部分的替换，可以通过网络通信(例如，使用因特网)将传感器信号提供到处理模块18。 
图6是根据本发明的实施例阐明了利用用于捕获由照相机所拍摄的图像的固定多曝光像素模式来进行图像稳定化的流程图的例子。 
图6的流程图仅表示其中一种可能的情况。要注意，图6中所示的步骤顺序并不是绝对必须的，所以原则上，可以不按次序地来执行各种步骤。在根据本发明的实施例的方法中，在第一步骤40中，如在此所描述的，在用于至少一个颜色通道的固定多曝光像素模式的情况下，使用传感器(例如，CMOS)来捕获图像。在下一步骤42中，实现了图像的预处理(例如，基座消除、渐晕校正、直方图分析等)。 
在下一步骤44中，根据本发明的实施例实现了像素值的内插(例如，参见等式1的例子)。在下一步骤46中，根据本发明的实施例实现了对于每个像素的加权计算(例如，参见等式2的例子)。在下一步骤42中，根据本发明的实施例实现了对于每个像素的最终图像计算(例如，参见等式3的例子)，并且然后转到进一步处理。 
如以上所解释的，本发明提供了一种方法和相应的设备，该设备包括各种模块来提供用于实现该方法的步骤的功能性。这些模块可以被实现为硬件，或者可以被实现为由计算机处理器执行的软件或固件。特别地，在固件或软件的情况下，本发明可以被提供为一种计算机程序产品，包括其上体现了用于由计算机处理器执行的计算机程序代码(即，软件或固件)的计算机可读存储结构。 
要注意，在此所记载的本发明的各种实施例可以针对具体应用而被单独地、组合地或选择性地组合使用。 
应当理解，上述布置仅是对本发明的原理的应用的说明。在不背离本发明的范围的情况下，本领域的技术人员可以设计各种修改和替换布置，并且所附权利要求旨在涵盖这样的修改和布置。 

Claims (19)

1.一种使用多曝光模式执行图像稳定化的方法，其包括：
对于至少一个颜色通道，由图像传感器利用预先选择的多曝光像素模式来捕获图像，其中，所述图像传感器的像素的多个组对于所述至少一个颜色通道具有不同的预先选择的曝光时间；以及
使用对每个像素的值与所述每个像素的一个或多个邻近像素的值的加权组合，为所述至少一个颜色通道确定所述图像的所述每个像素的值，其中，使用预定算法的所述每个像素与所述一个或多个邻近像素中的至少一个相比具有不同的曝光时间；
其中所述确定包括：
使用所述一个或多个邻近像素的值来计算所述图像的所述每个像素的内插值；
使用所述每个像素的短曝光的和长曝光的值之间的差为所述每个像素计算加权系数；以及
使用所述内插值、所述加权系数和所述每个像素的不同曝光时间来为所述每个像素计算最终值。
2.根据权利要求1所述的方法，其中所述像素的所述多个组包括：具有两个不同曝光时间的所述像素的两个组，其中，这两个组中的一个组的每个像素由所述两个组中的另一组的四个邻近像素环绕。
3.根据权利要求1所述的方法，其中所述像素的所述多个组包括所述像素的两个组。
4.根据权利要求3所述的方法，其中所述像素的所述两个组是以下之一：具有两个不同曝光时间的所述像素的交替行，以及具有两个不同曝光时间的所述像素的交替列。
5.根据权利要求1所述的方法，其中所述多个组包括：具有三个不同曝光时间的像素的三个组。
6.根据权利要求1所述的方法，其中所述多曝光像素模式是为用于图像形成的每个颜色单独定义的。
7.根据权利要求1所述的方法，其中所述图像传感器是互补金属氧化物半导体图像传感器。
8.一种使用多曝光模式执行图像稳定化的装置，其包括：
多曝光组合模块，用于使用对每个像素的值与所述每个像素的一个或多个邻近像素的值的加权组合，来为至少一个颜色通道确定图像的所述每个像素的值，其中，使用预定算法的所述每个像素与所述一个或多个邻近像素中的至少一个相比具有不同的曝光时间，
其中，所述图像是使用为所述至少一个颜色通道预先选择的多曝光像素模式来捕获的，并且其中，像素的多个组对于所述至少一个颜色通道具有不同的预先选择的曝光时间；
其中所述多曝光组合模块被配置以便实现所述确定，所述确定包括：
使用所述一个或多个邻近像素的值来计算所述图像的所述每个像素的内插值；
使用所述每个像素的短曝光的和长曝光的值之间的差为所述每个像素计算加权系数；以及
使用所述内插值、所述加权系数和所述每个像素的不同曝光时间来为所述每个像素计算最终值。
9.根据权利要求8所述的装置，其进一步包括：
图像传感器，所述图像传感器被配置以便使用所述预先选择的多曝光像素模式来捕获图像，其中，所述图像传感器的像素的多个组具有所述不同的预先选择的曝光时间。
10.根据权利要求8所述的装置，其中所述装置被配置以便通过网络通信来访问所述图像。
11.根据权利要求8所述的装置，其中所述像素的所述多个组包括：具有两个不同曝光时间的所述像素的两个组，其中，所述两个组中的一个组的每个像素由所述两个组中的另一组的四个邻近像素环绕。
12.根据权利要求8所述的装置，其中所述像素的所述多个组包括所述像素的两个组。
13.根据权利要求12所述的装置，其中所述像素的所述两个组是以下之一：具有两个不同曝光时间的所述像素的交替行，以及具有两个不同曝光时间的所述像素的交替列。
14.根据权利要求8所述的装置，其中所述多个组包括：具有三个不同曝光时间的像素的三个组。
15.根据权利要求8所述的装置，其中所述多曝光像素模式是为用于图像形成的每个颜色单独定义的。
16.根据权利要求8所述的装置，其中所述图像传感器是互补金属氧化物半导体图像传感器。
17.根据权利要求8所述的装置，其中集成电路包括所述装置的所有模块或所选择的模块。
18.一种电子设备，其包括：
图像传感器模块，用于利用为至少一个颜色通道预先选择的多曝光像素模式来捕获图像，其中，所述图像传感器的像素的多个组对于所述至少一个颜色通道具有不同的预先选择的曝光时间；以及
多曝光组合模块，用于使用对每个像素的值与所述每个像素的一个或多个邻近像素的值的加权组合，来为所述至少一个颜色通道确定所述图像的所述每个像素的值，其中，使用预定算法的所述每个像素与所述一个或多个邻近像素中的至少一个相比具有不同的曝光时间；
其中所述多曝光组合模块被配置以便实现所述确定，所述确定包括：
使用所述一个或多个邻近像素的值来计算所述图像的所述每个像素的内插值；
使用所述每个像素的短曝光的和长曝光的值之间的差为所述每个像素计算加权系数；以及
使用所述内插值、所述加权系数和所述每个像素的不同曝光时间来为所述每个像素计算最终值。
19.根据权利要求18所述的电子设备，其中所述电子设备包括照相机和所述图像传感器模块，并且所述多曝光组合模块是所述照相机的一部分。
CN2007800444320A 2006-12-15 2007-12-12 使用多曝光模式的图像稳定化的方法和装置 Expired - Fee Related CN101543056B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/640,529 2006-12-15
US11/640,529 US7825969B2 (en) 2006-12-15 2006-12-15 Image stabilization using multi-exposure pattern
PCT/IB2007/003878 WO2008075159A2 (en) 2006-12-15 2007-12-12 Image stabilization using multi-exposure pattern

Publications (2)

Publication Number Publication Date
CN101543056A CN101543056A (zh) 2009-09-23
CN101543056B true CN101543056B (zh) 2011-04-20

Family

ID=39474048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800444320A Expired - Fee Related CN101543056B (zh) 2006-12-15 2007-12-12 使用多曝光模式的图像稳定化的方法和装置

Country Status (5)

Country Link
US (1) US7825969B2 (zh)
EP (1) EP2103109A2 (zh)
KR (1) KR101032574B1 (zh)
CN (1) CN101543056B (zh)
WO (1) WO2008075159A2 (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2443663A (en) * 2006-07-31 2008-05-14 Hewlett Packard Development Co Electronic image capture with reduced noise
US7808538B2 (en) * 2007-01-22 2010-10-05 Omnivision Technologies, Inc. Image sensors with blooming reduction mechanisms
CN101394485B (zh) * 2007-09-20 2011-05-04 华为技术有限公司 图像生成方法、装置及图像合成设备
US8253810B2 (en) * 2007-12-05 2012-08-28 Aptina Imaging Corporation Method, apparatus and system for image stabilization using a single pixel array
JP4483962B2 (ja) * 2008-03-25 2010-06-16 ソニー株式会社 撮像装置、撮像方法
JP4483963B2 (ja) * 2008-03-25 2010-06-16 ソニー株式会社 撮像装置、撮像方法
JP4544332B2 (ja) * 2008-04-07 2010-09-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP5199736B2 (ja) * 2008-06-06 2013-05-15 シャープ株式会社 画像撮像装置
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
US8111307B2 (en) * 2008-10-25 2012-02-07 Omnivision Technologies, Inc. Defective color and panchromatic CFA image
US20100103276A1 (en) * 2008-10-28 2010-04-29 Border John N Split aperture capture of rangemap for 3d imaging
KR101520068B1 (ko) * 2008-12-16 2015-05-13 삼성전자 주식회사 다중영상 합성장치 및 그 방법
JP4748230B2 (ja) * 2009-02-17 2011-08-17 カシオ計算機株式会社 撮像装置、撮像方法及び撮像プログラム
US8886206B2 (en) 2009-05-01 2014-11-11 Digimarc Corporation Methods and systems for content processing
JP5219934B2 (ja) * 2009-06-17 2013-06-26 キヤノン株式会社 撮像装置およびその制御方法
US8605177B2 (en) * 2009-09-16 2013-12-10 Altasens, Inc. Image sensor with wide dynamic range
JP5432799B2 (ja) * 2010-03-30 2014-03-05 オリンパスイメージング株式会社 撮像装置、撮像システム、撮像方法
US8994843B2 (en) * 2010-09-01 2015-03-31 Qualcomm Incorporated High dynamic range image sensor
JP5664141B2 (ja) * 2010-11-08 2015-02-04 ソニー株式会社 固体撮像素子およびカメラシステム
JP2012105225A (ja) * 2010-11-12 2012-05-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
TWI520602B (zh) * 2011-02-15 2016-02-01 佳能企業股份有限公司 曝光參數補正方法及成像裝置
CN102959959B (zh) * 2011-03-30 2016-02-24 富士胶片株式会社 固态成像装置驱动方法、固态成像装置及成像设备
JP2012234393A (ja) * 2011-05-02 2012-11-29 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2012235332A (ja) * 2011-05-02 2012-11-29 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP2013066145A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8913153B2 (en) * 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
JP5634420B2 (ja) * 2012-02-24 2014-12-03 株式会社東芝 画像処理装置及び固体撮像装置
JP5978949B2 (ja) * 2012-03-16 2016-08-24 富士通株式会社 画像合成装置及び画像合成用コンピュータプログラム
TWI506591B (zh) * 2012-05-31 2015-11-01 Altek Corp 產生有目標曝光值的影像的方法與影像處理裝置
KR101992933B1 (ko) 2013-03-14 2019-06-25 삼성전자주식회사 광역 역광 보정 이미지 처리 방법 및 이를 이용하는 이미지 신호 프로세서
TWI644568B (zh) * 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
KR102159256B1 (ko) 2013-11-25 2020-09-23 삼성전자 주식회사 픽셀 어레이 및 이를 포함하는 이미지 센서
KR102170627B1 (ko) 2014-01-08 2020-10-27 삼성전자주식회사 이미지 센서
US9979908B2 (en) * 2014-03-31 2018-05-22 Agency For Science, Technology And Research Image processing devices and image processing methods with interpolation for improving image resolution
WO2016072018A1 (ja) * 2014-11-07 2016-05-12 オリンパス株式会社 撮像装置
CN105120131A (zh) * 2015-09-14 2015-12-02 北京中科慧眼科技有限公司 基于相机传感器的补偿失真和补偿模糊的方法
KR102465212B1 (ko) 2015-10-30 2022-11-10 삼성전자주식회사 다중 노출 센서를 이용하는 촬영 장치 및 이의 촬영 방법
JP6797568B2 (ja) * 2016-06-10 2020-12-09 キヤノン株式会社 撮像装置、撮像システム
US10873714B2 (en) 2017-11-09 2020-12-22 Semiconductor Components Industries, Llc Image sensor with multiple pixel access settings
CN110418065B (zh) * 2018-04-27 2021-03-19 北京紫光展锐通信技术有限公司 高动态范围图像运动补偿方法、装置及电子设备
CN108632537B (zh) * 2018-05-04 2020-08-21 Oppo广东移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质
KR102648747B1 (ko) 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1209919A2 (en) * 2000-11-21 2002-05-29 Eastman Kodak Company Method for compressing an image from a sparsely sampled extended dynamic range image sensing device
CN1655041A (zh) * 2005-04-04 2005-08-17 北京中星微电子有限公司 曝光调节方法及装置
CN1799079A (zh) * 2003-06-03 2006-07-05 大塚电子株式会社 用于评价显示器的运动图像质量的***和方法
US7149262B1 (en) * 2000-07-06 2006-12-12 The Trustees Of Columbia University In The City Of New York Method and apparatus for enhancing data resolution

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6864916B1 (en) 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
US7084905B1 (en) 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
US20030020958A1 (en) 2001-07-30 2003-01-30 Bean Heather Noel Non-polarizing shutter/CCD module
US6542189B1 (en) 2001-11-08 2003-04-01 Pixim, Inc. Frequency compensated multiple sampling method for a video digital camera
JP3801126B2 (ja) * 2002-09-25 2006-07-26 ソニー株式会社 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム
US7148262B2 (en) * 2004-02-04 2006-12-12 Acushnet Company Method for drying and using swarf in golf balls
JP2006311240A (ja) * 2005-04-28 2006-11-09 Olympus Corp 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7149262B1 (en) * 2000-07-06 2006-12-12 The Trustees Of Columbia University In The City Of New York Method and apparatus for enhancing data resolution
EP1209919A2 (en) * 2000-11-21 2002-05-29 Eastman Kodak Company Method for compressing an image from a sparsely sampled extended dynamic range image sensing device
CN1799079A (zh) * 2003-06-03 2006-07-05 大塚电子株式会社 用于评价显示器的运动图像质量的***和方法
CN1655041A (zh) * 2005-04-04 2005-08-17 北京中星微电子有限公司 曝光调节方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
图2、17、19-24.
图53.
图6A、7A.
图8.

Also Published As

Publication number Publication date
WO2008075159A2 (en) 2008-06-26
US7825969B2 (en) 2010-11-02
WO2008075159A3 (en) 2008-08-14
EP2103109A2 (en) 2009-09-23
CN101543056A (zh) 2009-09-23
KR101032574B1 (ko) 2011-05-06
KR20090101239A (ko) 2009-09-24
US20080143841A1 (en) 2008-06-19

Similar Documents

Publication Publication Date Title
CN101543056B (zh) 使用多曝光模式的图像稳定化的方法和装置
US7916181B2 (en) Method and device for creating high dynamic range pictures from multiple exposures
US8264576B2 (en) RGBW sensor array
CN113992861B (zh) 一种图像处理方法及图像处理装置
US8237831B2 (en) Four-channel color filter array interpolation
CN102369721B (zh) 具有合成全色图像的彩色滤光器阵列(cfa)图像
US8068153B2 (en) Producing full-color image using CFA image
US20140267886A1 (en) Image generation system, method, and medium, generating plurality of images with different resolution and brightness from single image
US20100302423A1 (en) Four-channel color filter array pattern
US20090040364A1 (en) Adaptive Exposure Control
US9858644B2 (en) Bayer color filter array based high dynamic range video recording method and device
CN102396235A (zh) 产生具有减轻的移动模糊的全色图像
CN102783135A (zh) 利用低分辨率图像提供高分辨率图像的方法和装置
US20100128108A1 (en) Apparatus and method for acquiring wide dynamic range image in an image processing apparatus
US20220198625A1 (en) High-dynamic-range image generation with pre-combination denoising
CN105763767B (zh) 图像处理装置、摄像装置和图像处理方法
WO2019124289A1 (ja) 装置、制御方法および記憶媒体
JP2019047365A (ja) 画像処理装置、画像処理装置の制御方法、撮像装置、プログラム
JP2008211674A (ja) 画像信号処理方法及び装置
US20170018062A1 (en) Image processing devices and image processing methods
CN110169054B (zh) 摄像装置、摄像方法
CN116366985A (zh) 图像测光曝光处理方法、***、终端设备以及存储介质
JP4374726B2 (ja) 撮影装置、及び記憶媒体
JP2015154112A (ja) 画像処理装置、その制御方法およびプログラム
JP2019191681A (ja) 画像処理装置、その制御方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160205

Address after: Espoo, Finland

Patentee after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Patentee before: Nokia Oyj

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110420

Termination date: 20191212