CN102970487A - 图像处理设备、图像处理方法和程序 - Google Patents

图像处理设备、图像处理方法和程序 Download PDF

Info

Publication number
CN102970487A
CN102970487A CN2012103080278A CN201210308027A CN102970487A CN 102970487 A CN102970487 A CN 102970487A CN 2012103080278 A CN2012103080278 A CN 2012103080278A CN 201210308027 A CN201210308027 A CN 201210308027A CN 102970487 A CN102970487 A CN 102970487A
Authority
CN
China
Prior art keywords
pixel
exposure
short
term
mixing ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012103080278A
Other languages
English (en)
Inventor
竹内悟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102970487A publication Critical patent/CN102970487A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开了图像处理设备、图像处理方法和程序。一种包括图像信息组合单元的图像处理设备，所述图像信息组合单元对长时曝光像素和短时曝光像素执行像素值组合过程。所述像素信息组合单元基于多个不同曝光时间段的像素的像素值计算多个混合比，基于所述多个混合比确定适用于对长时曝光像素和短时曝光像素的混合过程的适用混合比，并通过该适用混合比所适用的对长时曝光像素和短时曝光像素的混合过程来确定输出图像或适用于产生输出图像的中间图像的像素值。

Description

图像处理设备、图像处理方法和程序
技术领域
本公开涉及一种图像处理设备、一种图像处理方法和程序。具体而言，本公开涉及生成具有高动态范围(宽动态范围)的图像的图像处理设备、图像处理方法和程序。
背景技术
固态图像拾取装置，诸如在摄像机或数字照相机中使用的CCD图像传感器或CMOS(互补金属氧化物半导体)图像传感器，通过积累与入射光照量一致的电荷并输出与积累的电荷相应的电信号来进行光电转换。然而，光电转换元件中能够积累的电荷量是有局限的，使得在已接收了一定量的光线时就达到了饱和水平，造成对象具有一定亮度或更亮的区域处于饱和亮度水平，这个问题被称作“高光部分过曝”或“裁剪”。
为了防止裁剪，要进行处理以根据外来光线变化等控制光电转换元件的电荷积累时间段，从而调整曝光时长并由此优化敏感度。例如，通过使用高速快门来缩短对明亮对象的曝光时长，减少了光电转换元件的电荷积累时间段，并且在积累的电荷量达到饱和水平之前输出电信号。通过进行上述处理，有可能输出适当再现对象色调的图像。
然而，若在对存在亮区和暗区的对象进行拍摄时使用了高的快门速度，曝光时间对于暗区则不足，这会造成信噪比降低和图像质量下降。为了适当再现包括亮区和暗区的对象的拍摄图像中的亮区和暗区的亮度水平，有必要对图像传感器上有很少入射光的像素进行长时曝光以实现高信噪比，并进行处理以避免具有大量入射光的像素饱和。
一种实现该处理的已知方法是连续拾取多个具有不同曝光时间段的图像，然后将这些图像组合。也就是说，长时曝光图像和短时曝光图像是分开地连续拾取的，并且进行对暗图像区使用长时曝光图像和对亮图像区使用短时曝光图像(若使用长时曝光图像会发生裁剪)的组合处理，以产生单个图像。以此方式，通过将多个不同曝光的图像组合，有可能产生具有高动态范围的无裁剪的图像，也就是说具有宽动态范围的图像(HDR图像)。
例如，日本专利特开平No.2000-50151公开了一种用于通过连续拾取两个具有不同曝光时间段的图像然后将这些图像组合而产生宽动态范围图像的配置。参照图1说明该处理。图像拾取装置，例如在拍摄视频时，在一视频速率(30-60fps)内输出具有不同曝光时间段的两个图像。此外，在拍摄静态图像时也产生和输出具有不同曝光时间段的两个图像。图1描绘了由图像拾取装置产生的具有不同曝光时间段的图像(长时曝光图像和短时曝光图像)的特征。水平轴为时间(t)，垂直轴为在组成光电转换元件的接收光线的光二极管(PD)中与固态图像拾取元件的一个像素相应的积累电荷量(e)。
例如，当接收光照的光二极管(PD)接收很多光线时，也就是说在明亮对象的情况下，积累的电荷量随着时间流逝而急剧增加，如图1所示的高亮度区11所示。同时，当接收光线的光二极管(PD)接收较少光线时，也就是说在暗对象的情况下，积累的电荷量随着时间流逝而缓慢增加，如图1所示的低亮度区12所示。
时间t0至t3对应于曝光时间TL以产生长时曝光图像。由低亮度区12示出为该长时曝光时间TL的线可以获得精确色调，达到使用基于在不达到饱和水平(非饱和点Py)的条件下积累的电荷量(Sa)获得的电信号而确定的色度。
然而，由高亮度区11示出的线表明在时间t3之前，积累的电荷就已经达到了饱和水平(饱和点Px)。因此，该高亮度区11仅获得与来自长时曝光图像的饱和水平的电信号相应的像素值，并因此变为裁剪像素。
在该高亮度区11中，接收光照的光二极管(PD)的积累电荷在到达时间t3之前，例如在图1所示的时间t1(电荷扫描(sweeping)起始点P1)时，被扫除一次。进行电荷扫描是达到光二极管(PD)中控制的保持中间电压的水平，而不是对接收光照的光二极管(PD)中积累的所有电荷进行电荷扫描。在电荷扫描之后，再次进行短时曝光，持续曝光时间(t1至t2)。也就是说，进行了如图所示的从短时曝光起始点P2至短时曝光结束点P3之间的短时曝光。通过该短时曝光获得了积累的电荷量(Sb)，并且基于积累的电荷量(Sb)获得了电信号，基于该电信号确定了像素的色度。
另外，当通过在低亮度区12中的长时曝光获得积累的电荷量(Sa)，基于积累的电荷量(Sa)获得电信号，并通过在高亮度区11中的短时曝光获得积累的电荷量(Sb)，基于积累的电荷量(Sb)获得电信号，基于这些电信号确定像素值时，计算出当已曝光了相同时间时的估计的积累电荷量或与估计的积累电荷量相应的电信号输出值，并基于计算结果确定像素水平。
以此方式，有可能通过将短时曝光图像与长时曝光图像组合而产生具有高动态范围的无裁剪的图像。
然而，在日本专利平开No.2000-50151中所述的配置中，有必要执行单独拍摄长时曝光图像和短时曝光图像并将其组合的处理。
以此方式，有可能使用多个具有不同曝光时间段的图像产生宽动态范围图像(HDR图像)，但是例如在基于所述多个图像进行处理时产生了以下问题。
问题1：有必要多次拍摄图像，另外，有必要配备存储器以存储这些图像。
问题2：由于将多个具有不同拍摄定时的图像相组合，或者使用了通过长时曝光而获得的拍摄数据，因此容易遭受相机抖动的危害。
此外，在很多相机中使用的图像拾取元件具有以下配置：安装了具有例如RGB阵列的滤色器，特定波长的光进入每个像素。
具体而言，经常使用具有例如Bayer阵列的滤色器。
具有Bayer阵列的拾取图像变为马赛克图像，其中对拾取的图像的每个像素只设置与RGB颜色中任一颜色相应的像素值。相机的信号处理单元执行各种信号处理，例如对这种马赛克图像进行像素值内插，对每个像素执行设置RGB的所有像素值的去马赛克处理并产生和输出相机图像。
可以说对于利用根据这种Bayer阵列的滤色器对拾取图像进行信号处理，人们已作出很多研究，因此这在某种程度上来说已是技术上确立的。然而，关于对具有与Bayer阵列不同的阵列的图像的信号处理的研究还不充足，这也是事实。
而且，例如，除了作为与图像拾取元件有关的滤色器的RGB的每个颜色之外，日本专利特平开No.2011-55038还公开了对于具有RGBW阵列的滤色器的图像拾取设备的拾取图像的校正处理，这种阵列具有整个波长的透明W(白)像素。
发明内容
例如鉴于这种情形，作出了本公开，并且本公开的目的是提供能够基于单次拍摄获得的图像产生宽动态范围图像的图像处理设备、图像处理方法和程序。
另外，本公开的目的是提供能够基于具有与例如Bayer阵列不同的阵列的拍摄图像产生宽动态范围图像的图像处理设备、图像处理方法和程序。
根据本公开的第一实施例，提供了一种图像处理设备，包括对长时曝光像素和短时曝光像素执行像素值组合处理的图像信息组合单元。所述像素信息组合单元基于多个不同曝光时间段的像素的像素值计算多个混合比，基于所述多个混合比确定适用于所述长时曝光像素和所述短时曝光像素的混合处理的适用混合比，并通过所述适用混合比所适用的对长时曝光像素和短时曝光像素的所述混合处理来确定输出图像或适用于产生输出图像的中间图像的像素值。
另外，根据本公开的图像处理设备的一个实施例，提供了所述像素信息组合单元基于待混合的所述多个不同曝光时间段的像素的像素值计算所述多个混合比，并基于计算的多个混合比确定所述适用混合比。
另外，根据本公开的图像处理设备的一个实施例，提供了所述像素信息组合单元，所述像素信息组合单元基于与所述待混合的多个不同曝光时间段的像素相邻的像素的像素值计算所述多个混合比，并基于计算的多个混合比确定所述适用混合比。
另外，根据本公开的图像处理设备的一个实施例，提供了所述像素信息组合单元计算取决于混合比αL的长时曝光像素值和取决于混合比αS的短时曝光像素值，其中所述混合比αL取决于所述长时曝光像素的像素值，并且所述混合比αS取决于所述短时曝光像素的像素值；并确定计算的取决于所述混合比αL的长时曝光像素值和计算的取决于所述混合比αS的短时曝光像素值的乘积，即α＝αL×αS，所述α被确定为表示所述短时曝光像素的混合量的适用混合比。
另外，根据本公开的图像处理设备的一个实施例，提供了所述像素信息组合单元，所述像素信息组合单元确定取决于长时曝光像素的混合比αL和取决于短时曝光像素的混合比αS，使得根据作为待混合的像素的颜色C的长时曝光像素的像素值CL，当CL＜TH0L时αL＝0，当TH0L≤CL≤TH1L时αL＝(CL-TH0L)/(TH1L-TH0L)，并且当TH1L＜CL时αL＝1.0，并使得根据作为待混合的像素的颜色C的长时曝光像素的像素值CS，当CS＜TH0S时αS＝0，当TH0S≤CS≤TH1S时αL＝(CL-TH0S)/(TH1S-TH0S)，并且当TH1S＜CL时αL＝1.0。TH0L、TH1L、TH0S和TH1S为预定义阈值。
另外，根据本公开的图像处理设备的一个实施例，提供了所述像素信息组合单元，所述像素信息组合单元通过以下表达式CW＝α×CS×GAIN+(1.0-α)×CL计算输出图像或中间图像的颜色C的像素值CW，其中CL是颜色C的长时曝光像素的像素值，CS是颜色C的短时曝光像素的像素值，GAIN是长时曝光像素和短时曝光像素的曝光率，并且α是适用混合比。
另外，根据本公开的图像处理设备的一个实施例，提供了所述像素信息组合单元通过对适用混合比所适用的长时曝光像素和短时曝光像素的混合处理产生中间图像，并通过对组成所产生的中间图像的相同颜色的像素值的混合处理产生最终输出图像。
另外，根据本公开的图像处理设备的一个实施例，提供了所述像素信息组合单元接收具有RGB阵列的图像数据，其中长时曝光像素和短时曝光像素混合在所述阵列中，并通过针对RGB的每种颜色，将颜色相同的长时曝光像素和短时曝光像素混合来确定所述输出图像或所述中间图像的像素值。
另外，根据本公开的图像处理设备的一个实施例，提供了所述像素信息组合单元，所述像素信息组合单元通过只应用所述具有RGB阵列的图像数据的G像素数据来确定适用混合比。
根据本公开的第二实施例，提供了一种在图像处理设备中执行的图像处理方法，所述图像处理方法包括由所述像素信息组合单元执行对长时曝光像素和短时曝光像素的像素值组合处理。所述像素值组合处理包括以下处理：基于多个不同曝光时间段的像素的像素值计算多个混合比，基于所述多个混合比确定适用于所述长时曝光像素和所述短时曝光像素的混合处理的适用混合比，并通过所述适用混合比所适用的对长时曝光像素和短时曝光像素的所述混合处理来确定输出图像或适用于所述输出图像的中间图像的像素值。
根据本公开的第三实施例，提供了一种用于使图像处理在图像处理设备中执行的程序。该程序使像素信息组合单元对长时曝光像素和短时曝光像素执行像素值组合处理。所述像素值组合处理包括以下处理：基于多个不同曝光时间段的像素的像素值计算多个混合比，基于所述多个混合比确定适用于所述长时曝光像素和所述短时曝光像素的混合处理的适用混合比，并通过所述适用混合比所适用的对长时曝光像素和短时曝光像素的所述混合处理来确定输出图像或适用于所述输出图像的中间图像的像素值。
注意，根据本公开的程序是例如可以设置在存储媒体和通信媒体中的、以计算机可读形式为能够执行各种类型的程序代码的信息处理设备或计算机***设置的程序。以计算机可读形式设置这种程序使得有可能根据信息处理设备或计算机***中的该程序执行处理。
通过基于本公开的实施例和附图进行的更详细的说明，本公开的目的、特征和优点将会变得清楚。另外，说明书中的***不限于逻辑上聚集了多个均都包含在同一壳体中的装置的配置。
根据本公开的实施例，实现了执行对长时曝光像素和短时曝光像素的像素值组合以产生宽动态范围图像的设备和方法。
特别是，本公开包括用于通过执行对长时曝光像素和短时曝光像素的像素值的组合而产生输出图像的像素值的像素信息组合单元。所述像素信息组合单元计算基于多个不同像素的像素值计算的多个混合比，基于所述多个混合比确定最终长时曝光像素和最终短时曝光像素的最终混合比，并通过将所述最终混合比已适用的长时曝光像素和短时曝光像素混合来确定输出图像的像素值。有可能通过该处理产生宽动态范围图像。
附图说明
图1是描述了通过几次图像拍摄获得的宽动态范围图像的一个拍摄示例的图；
图2是描述了一个图像拾取元件的配置的示例的图；
图3是描述了一个图像拾取设备的配置的示例的图；
图4是描述了一个图像拾取装置的配置的示例的图；
图5是描述了一种曝光控制配置的图；
图6是描述了一个像素信息组合示例的图；
图7是描述了一个混合比的设置示例的图；
图8是描述了一个混合比的设置示例的图；
图9是描述了应用混合比α＝αL×αS的效果的图；
图10是描述了应用混合比α＝αL×αS的效果的图；
图11是描述了应用混合比α＝αL×αS的效果的图；
图12是描述了应用混合比α＝αL×αS的效果的图；
图13是描述了一个像素信息组合示例的图；
图14是描述了一个像素信息组合示例的图；
图15是描述了一个像素信息组合示例的图；并且
图16是描述了一个图像处理设备的配置的示例的图。
具体实施方式
以下将参照附图对本公开的优选实施例进行详细说明。注意，在说明书和附图中，具有基本上相同功能和结构的结构元素以相同的参考数字表示，并且省略了对这些结构元素的重复说明。
参照附图，将对本公开的图像处理设备、图像处理方法和程序进行详细说明。另外，根据以下各项进行说明。
1.图像拾取元件的配置的示例
2.图像处理设备的配置的示例
3.图像拾取装置的配置的示例
4.像素单元的配置和曝光时间的设置示例
5.产生图像的实施例
5-1.实施例1.曝光时间对于Bayer阵列中的每一行都变化的示例
5-2.当应用混合比α＝αL×αS时像素混合的效果
5-3.实施例2.曝光时间对于Bayer阵列中的每一列都变化的示例
5-4.实施例3.曝光时间在Bayer阵列中成对角线地变化的示例
5-5.实施例4.曝光时间在四分区Bayer阵列中成对角线地变化的示例
6.图像处理设备的配置的其他示例
7.本公开的构成的总结
【1.图像拾取元件的配置的示例】
参照图2，将对一个图像拾取元件的配置的示例进行说明。在图2中，示出了该图像拾取元件的以下三个配置示例。
(1)Bayer阵列
(2)四分区Bayer式RGB阵列
(3)RGBW阵列
另外，对于RGB阵列的G，存在R列的G以Gr示出，并且B列中的G以Gb示出的情况。
(1)在很多相机中使用Bayer阵列，并且利用具有这样的Bayer阵列的滤色器对拾取图像进行信号处理的技术是已确立的。
然而，对于(2)四分区Bayer式RGB阵列和(3)RGBW阵列而言，不能说已对通过具有这种滤色器的图像拾取元件拍摄的图像进行信号处理的技术作出了足够的研究。
另外，(2)四分区Bayer式RGB阵列对应于其中(1)中示出的Bayer阵列的R、G和B的每个像素均设为四像素的阵列。
以下将对通过配备了具有这种(2)四分区Bayer式RGB阵列的滤色器的图像拾取元件拍摄的图像进行信号处理的图像处理设备进行说明。
【2.图像处理设备的配置的示例】
在图3中，示出了一个图像拾取设备100的配置的示例，该设备为本公开的图像处理设备的一个示例。
图3是示出该图像拾取设备的配置的一个示例的图。通过光学透镜101入射的光进入由图像拾取单元(例如CMOS图像传感器等)组成的图像拾取装置102，并通过光电转换输出图像数据。输出的图像数据被输入到信号处理单元103。信号处理单元103在相机中执行一般信号处理，例如白平衡(WB)调整、伽玛校正等，以产生输出图像120。输出图像被存储在存储单元中，该存储单元未示出。输出图像可以被输出到显示单元。
控制单元105根据存储在例如未示出的存储器中的程序输出控制信号到每个单元，以控制各种处理。
【3.图像拾取装置的配置的示例】
然后，参照图4将对一个图像拾取装置102的配置的示例进行说明。
图4示出了本公开的一个实施例的图像拾取装置102的配置。
如图4所示，该图像拾取装置102包括像素单元151和操作单元160。操作单元160包括AD转换单元161、像素信息组合单元162和输出单元163。
另外，操作单元160可以与像素单元151在同一芯片上，即与之同在芯片上，并且可以设在除该像素单元151之外的芯片或装置中。
像素单元151基于对象光照积累多个像素的每一像素中的电荷，并输出大量像素的图像数据，这些数据为高分辨率图像。
另外，像素单元151包括高敏感度像素和低敏感度像素，高敏感度像素进行长时曝光，低敏感度像素进行短时曝光。
高敏感度像素信息181和低敏感度像素信息182被从像素单元151输入到图像拾取装置102的操作单元160。
操作单元160的A/D转换单元161执行输入信号的A/D转换，即模拟信号到数字信号的转换，并且转换后的数字值被输入到像素信息组合单元162。
像素信息组合单元162通过混合高敏感度像素信息181和低敏感度像素信息182计算输出像素值。例如，基于四个像素信号来计算输出图像的一个像素值。执行该像素值组合并产生和通过输出单元163输出具有较少像素的宽动态图像。
【4.像素单元的配置和曝光时间的设置示例】
参照图5，将对像素单元151的配置和一个曝光时间的设置示例进行说明。在图5中，呈现了以下四个示例。
(1)Bayer阵列中每行曝光时间变化
(2)Bayer阵列中每列曝光时间变化
(3)Bayer阵列中成对角线地曝光时间变化
(4)四分区Bayer式RGB阵列中成对角线地曝光时间变化
在图5中每个阵列中呈现的像素中，灰色部分是曝光时间短的短时曝光像素，即低敏感度像素。
白色部分是曝光时间长的长时曝光像素，即高敏感度像素。
接下来，将对每种设置中基于拍摄的图像产生宽动态图像进行说明。
【5.产生图像的实施例】
以下将参照包括图6的附图对像素信息组合单元162中的一个具体处理示例进行说明。
另外，虽然以下说明中的处理被描述为是由图像拾取装置102的操作单元160的像素信息组合单元162执行的，但可以是以下方案：例如，其中像素信息组合单元162被设置到图3所呈现的信号处理单元103，而不是将像素信息组合单元162设置到图像拾取装置102，而以下将进行说明的处理是在信号处理单元103中执行的。
(5-1.实施例1.曝光时间对于Bayer阵列中的每一行都变化的示例)
图6示出了曝光时间对于Bayer阵列中的每一行都变化的一个示例。
图6示出了以下三个数据项：
(1a)图像拾取数据
(1b)中间数据
(1c)输出数据。
(1a)图像拾取数据是对于图像拾取元件而言的，并且展示了当曝光时间对于Bayer阵列中的每一行都变化时拍摄的图像。
白色部分是长时曝光像素，灰色部分表示短时曝光像素。
例如，GS00是坐标位置(0，0)的G像素的短时(S)曝光像素。GL20是坐标位置(2，0)的G像素的长时(L)曝光像素。
另外，坐标通过应用坐标(x，y)以例如GSxy，GLxy的格式表示，其中垂直向下方向以x示出，水平向右方向以y示出。
在该示例中，长时曝光像素和短时曝光像素以两行为基础交替设置。
另外，这种曝光时间控制是基于例如控制单元105的控制而进行的。
在图6(1a)中呈现的图像拾取数据呈现了一个4×4像素区域，该像素区域是组成图4所示的图像拾取装置102的像素单元的部分像素区域。
在图6(1b)中呈现的中间数据表示由像素信息组合单元162基于该4×4(1a)像素区域产生的中间数据。
像素信息组合单元162首先在第1步基于该4×4(1a)图像拾取数据计算图(1b)中表示的4×2(1b)中间数据。
在图6(1c)中呈现的输出数据表示由像素信息组合单元162基于该4×2(1b)中间数据产生的输出数据。
像素信息组合单元162首先在第1步基于该4×4(1a)图像拾取数据计算4×2(1b)中间数据，然后在第2步基于产生的中间数据产生2×2(1c)输出数据。
(1c)输出数据作为宽动态图像而产生。
以此方式，像素信息组合单元162通过将4×4(1a)图像拾取数据中包含的长时曝光像素和短时曝光像素混合来计算中间数据，并通过将中间数据的组成像素混合而产生和输出2×2(1c)输出数据。
将对步骤1和步骤2各自进行说明。
(步骤1)
在步骤1中根据(1a)图像拾取数据产生(1b)中间数据是通过以下混合多个像素值进行的。
混合对于G像素和对于R与B像素是单独地进行的。
另外，对于RGB阵列的G像素，以下R列的G像素被描述为GR，B列的G像素被描述为GB。
所执行的组合(混合)像素以根据本实施例的(1a)图像拾取数据产生(1b)中间数据对于G像素(即GR/GB相的像素)和对R与B像素(即R/B相的像素)是单独地进行的。
以下将对该处理进行说明。
(对GR/GB相的处理)
例如，通过以下表达式计算在图6(1b)中间数据的左上方呈现的GW00的像素值(GW00)，该表达式中应用了(1a)图像拾取数据中包含的多个像素的像素值和混合率α。
GW00＝α×GS00×GAIN+(1.0-α)×GL20
这里，
GS00：作为在像素位置(0，0)的短时曝光像素的G像素的像素值。
GL20：作为在像素位置(2，0)的长时曝光像素的G像素的像素值，
GAIN：短时曝光像素的像素值以此倍增的增益(长时曝光像素和短时曝光像素的曝光比)
α：长时曝光像素的像素值和短时曝光像素的像素值的混合比。
这里，混合比α是两个混合比αL和αS的乘积，
取决于长时曝光像素值的混合比：αL，
取决于短时曝光像素值的混合比：αS，
α＝αL×αS
在计算图6(1b)中呈现的中间数据的GW00时，
取决于长时曝光像素值的混合比：αL，
取决于短时曝光像素值的混合比：αS，
α＝αL×αS，
这些值均是通过以下表达式计算的：
αL＝CalcBrate(GL20，THR0_LNG，THR1_LNG)
αS＝CalcBrate(GS00，THR0_SHT，THR1_SHT)
α＝αL×aS
这里，
CalcBrate(dat，THR0，THR1)的值为：
当dat＜THR0时，CalcBrate(dat，THR0，THR1)＝0，
当THR0≤dat＜THR1时，CalcBrate(dat，THR0，THR1)＝(dat-THR0)/(THR1-THR0)，
当THR1≤dat时，CalcBrate(dat，THR0，THR1)＝1.0。
在图7和图8中呈现了两个混合比αL和αS与两个阈值THR0和THR1的关系的具体示例。
另外，
THR0_LNG，THR1_LNG：已应用于计算应用长时曝光像素的混合比αL的阈值，
THR0_SHT，THR1_SHT：已应用于计算应用短时曝光像素的混合比αS的阈值，
另外，应用短时曝光像素的混合比αS对应于例如通过将上述GAIN减去应用长时曝光像素的混合比αL而获得的值。
以此方式，在产生图6(1b)中呈现的中间数据时，其中该中间数据具有的像素数量为来自图6(1a)中呈现的包括长时曝光像素和短时曝光像素的图像拾取数据的像素数量的一半，该中间数据的像素值(GWxy)决定了与目标像素在同一列中的短时曝光像素GSxy和长时曝光像素GLxy，以通过上述混合比α所适用的混合而获得该目标像素值。
这里，混合比α计算如下：
取决于长时曝光像素值的混合比：αL，
取决于短时曝光像素值的混合比：αS，
并且这两个不同的取决于像素的混合比相乘，即：
α＝αL×αS。
另外，
应用于计算混合比(α＝αL×αS)的
取决于长时曝光像素值的混合比：αL和
取决于短时曝光像素值的混合比：αS
分别是基于作为计算目标的G像素的α混合中应用的长时曝光像素的像素值和短时曝光像素的像素值计算的。
换言之，取决于长时曝光像素值的混合比αL，
αL＝CalcBrate(GL20，THR0_LNG，THR1_LNG)
是根据作为计算目标的G像素的α混合中应用的长时曝光像素的像素值计算的，如以上表达式所示。
同样，取决于短时曝光像素值的混合比αS，
αS＝CalcBrate(GS00，THR0_SHT，THR1_SHT)，
是根据作为计算目标的G像素的α混合中应用的短时曝光像素的像素值计算的，如以上表达式所示。
(R/B相的处理)
以下将说明如何确定为图6(1b)的中间数据设置的R像素和B像素的像素值。
例如，通过以下表达式计算在图6(1b)中呈现的RW01的像素值(RW01)，该表达式中应用了(1a)图像拾取数据中包含的多个像素的像素值和混合率α。
RW01＝α×RS01×GAIN+(1.0-α)×RL21
这里，
RS01：作为像素位置(0，1)的短时曝光像素的R像素
RL21：作为像素位置(2，1)的长时曝光像素的R像素
GAIN：短时曝光像素的像素值以此倍增的增益(长时曝光像素和短时曝光像素的曝光比)
α：长时曝光像素的像素值和短时曝光像素的像素值的混合比。
这里，混合比α被作为以下两个混合比αL和αS的乘积计算。
αL＝CalcBrate((GL20+GL22)/2.0，THR0_LNG，THR1_LNG)
αS＝CalcBrate((GS00+GS02)/2.0，THR0_SHT，THR1_SHT)
α＝αL×αS
这里，
CalcBrate(dat，THR0，THR1)的值如上述图7和图8所示。
当dat＜THR0时，CalcBrate(dat，THR0，THR1)＝0
当THR0≤dat＜THR1时，CalcBrate(dat，THR0，THR1)＝(dat-THR0)/(THR1-THR0)，
当THR1≤dat时，CalcBrate(dat，THR0，THR1)＝1.0。
以此方式，在产生图6(1b)所呈现的中间数据时，其中该中间数据具有的像素数量为图6(1b)中呈现的包括长时曝光像素和短时曝光像素的图像拾取数据的像素数量的一半，当计算中间数据的R像素值(RWxy)时，通过上述混合比α所适用的混合来决定与目标像素在同一列中的短时曝光像素GSxy和长时曝光像素GLxy以获得该目标像素值。
同样，当计算中间数据的B像素值(Bwxy)时，通过上述混合比α所适用的混合来决定与目标像素在同一列中的短时曝光像素BSxy和长时曝光像素BLxy以获得该目标像素值。
这里，混合比α计算如下：
取决于长时曝光像素值的混合比：αL，
取决于短时曝光像素值的混合比：αS，
并且这两个不同的取决于像素的混合比相乘，即：
α＝αL×αS。
另外，
应用于计算混合比(α＝αL×αS)的
取决于长时曝光像素值的混合比：αL，
取决于短时曝光像素值的混合比：αS
均利用G像素的像素值来计算。
换言之，取决于长时曝光像素值的混合比αL，
αL＝CalcBrate((GL20+GL22)/2.0，THR0_LNG，THR1_LNG)
是利用与在作为计算目标的R像素和B像素的α混合中应用的长时曝光像素相邻的两个长时曝光像素G的平均值计算的，如以上表达式所示。
同样，取决于短时曝光像素值的混合比αS，
αS＝CalcBrate((GS00+GS02)/2.0，THR0_SHT，THR1_SHT)
是利用与在作为计算目标的R像素和B像素的α混合中应用的短时曝光像素相邻的两个长时曝光像素G的平均值计算的，如以上表达式所示。
以此方式，利用G像素数据对所有RGB像素计算混合比α。以此方式，通过执行统一处理，控制了混合比之间的差，使得能够产生自然的图像。
(步骤2)
以下将说明图6中所示的步骤2。在步骤2中根据(1b)中间数据产生(1c)输出数据是通过水平加上(1b)中间数据中包含的一个像素值而进行的，这将在以下进行说明。
例如，应用以下描述的1∶1相加和1∶3/3∶1相加。
将说明图6(1c)输出数据中所呈现的像素值G00、R01的计算示例。
(1∶1相加)
在1∶1相加中，(1c)输出数据中呈现的像素值G00、R01是通过以下表达式计算的：
G00＝(GW00+GW02)/2
R01＝(RW01+RW03)/2
(1∶3/3∶1相加)
在1∶3或3∶1相加中，(1c)输出数据中呈现的像素值G00、R01是通过以下表达式计算的：
G00＝(3×GW00+GW02)/4
R01＝(RW01+3×RW03)/4
以此方式，在根据图6所呈现的(1b)中间数据产生(1c)输出数据时，输出数据的像素值是通过将同一列中具有相同颜色的像素值与相邻数据的像素值组合(混合)而获得的。
上述(1∶1相加)是计算两个像素的平均值，(1∶3相加)是根据距离加上权值。
通过任一种上述处理，都根据图6所呈现的(1b)中间数据产生(1c)输出数据。
(5-2.当应用混合比α＝αL×αS时的像素混合效果)
在上述实施例中，
当根据图6(1a)所呈现的图像拾取数据产生(1b)中间数据时，中间数据的像素值是通过将图像拾取数据中包含的长时曝光像素和短时曝光像素混合而计算的。
在产生该中间数据时，长时曝光像素的像素值与短时曝光像素的像素值的混合比α是通过混合比αL与混合比αS的乘积计算的，其中根据图7所示的图表，长时曝光像素适用于混合比αL，根据图8所示的图表，短时曝光像素适用于混合比αS。换言之，
α＝αL×αS.
例如，
若通过应用
像素位置(x1，y1)的长时曝光像素的像素值：Lx1y1，和
像素位置(x2，y2)的短时曝光像素的像素值：Sx2y2，来计算一个像素值(中间数据的像素值)，
则通过以下表达式计算αL、αS和α。
αL＝CalcBrate(Lx1y1，THR0_LNG，THR1_LNG)
αS＝CalcBrate(Sx2y2，THR0_SHT，THR1_SHT)
α＝aL×αS
这里，CalcBrate(dat，THR0，THR1)的值为
当dat＜THR0时，CalcBrate(dat，THR0，THR1)＝0，
当THR0≤dat＜THR1时，CalcBrate(dat，THR0，THR1)＝(dat-THR0)/(THR1-THR0)，
当THR1≤dat时，CalcBrate(dat，THR0，THR1)＝1.0。
以此方式，将对计算和应用以长时曝光像素适用的混合比αL与短时曝光像素适用的混合比αS的乘积计算的混合比，即
α＝αL×αS
的效果进行说明。
典型地，例如，曾将
长时曝光像素适用的混合比αL，和
短时曝光像素适用的混合比αS中的任一个，
原封不动地用作混合比α。
然而，若该混合比是以此方式基于长时曝光像素和短时曝光像素中的任一个的像素值确定的，则有可能在像素值由于对象在长时曝光像素的拍摄期与短时曝光像素的拍摄期之间移动而发生很大变化时将计算的混合比设为不希望的值。
在图9中示出了与拍摄图像时发生亮度变化相应的长时曝光像素和短时曝光像素的像素值的一个示例。
图9所示的图呈现了
水平轴上的时间(t)，
垂直轴上的像素值。
对于长时曝光，时间T0至T4为曝光时间。
对于短时曝光，时间T3至T4为曝光时间。
作为拍摄环境，呈现了两个模式作为示例。
呈现了在两种情况下长时曝光像素和短时曝光像素的像素值的过渡：
(a)在整个长时曝光期和短时曝光期没有亮度变化的情况，和
(b)在长时曝光期的前半期较亮，而在短时曝光期(长时曝光期的后半期)变暗。
在两种情况(a)和(b)中，长时曝光像素在曝光期达到了饱和水平(例如像素值＝1023)。
在情况(a)中在时间T1实现饱和水平，在情况(b)中在时间T2实现饱和水平。
另一方面，对于短时曝光像素，
在没有亮度变化的情况(a)中，像素值与长时曝光像素以相同斜率增长，在图9所示的示例中，最终像素值达到320。
另一方面，在情况(b)中，斜率比长时曝光像素的斜率小，并且在图9的示例中，最终像素值变为80。
以此方式，通过在拍摄环境下的亮度变化，有一种情况是只有长时曝光像素和短时曝光像素之一的像素值大幅变化。
情况(b)的示例为在亮的背景下，例如在汽车经过时，移动的对象已移动了拍摄图像的像素区域。
参照图10至图12说明与像素亮度有变化的情况和无像素亮度变化的情况相应的上述混合比，即：
α＝αL×αS的比较数据？
上述根据本公开的混合比，和
仅取决于应用于典型混合的长时曝光像素的像素值的相关技术的混合比：αL。
另外，在图10至图12中，
根据本公开的混合比以αLS(＝αL×αS)表示，
仅取决于典型长时曝光像素的像素值的相关技术的混合比以αL表示。
图10是呈现了拍摄图9(a)中无亮度变化的拍摄环境下的图像的情况的两个混合比为对比数据，即：
根据本公开的混合比αLS(＝αL×αS)，
仅取决于长时曝光像素的像素值的相关技术的混合比αL的图表。
水平轴代表长时曝光像素的像素值，垂直轴代表混合比：αLS，αL。
也就是说，图10所示的示例是以下情况的一个示例：
DS＝(DL/GAIN)
其中
DS：短时曝光像素的像素值，
DL：长时曝光像素的像素值，
GAIN：长时曝光像素时间和短时曝光像素时间的曝光比。
在图10的图表中以实线示出的仅取决于典型长时曝光像素的像素值的相关技术的混合比αL的数据与前述的图7所示的数据相同。
另一方面，作为上述运算的结果，在图10的图表中以虚线示出的根据本公开的混合比αLS为αL×αS。
由图10的图表可以理解，为了比较这两种类型的数据，将根据本公开的混合比αLS设置为低于以阈值TH0至TH1之间的实线表示的相关技术的混合比αL。
换言之，这意味着若在阈值TH0至TH1之间应用了根据本公开的混合比αLS，则应用了比以实线表示的相关技术的混合比αL低的混合比。
如前述，混合比α被用作：
中间数据的像素值＝α×(短时曝光像素的像素值×GAIN+(1.0-α)×(长时曝光像素的像素值)。
因此，若应用根据本公开的混合比αLS，则将短时曝光像素的混合比设置为低于以实线表示的相关技术的混合比αL，并将长时曝光像素的混合比设置为高于以实线表示的相关技术的混合比αL。
换言之，这意味着长时曝光像素的权值变高。
图11是呈现了在图9(b)的拍摄环境下拍摄图像的情况的两个混合比，即在短时曝光像素的像素值由于在短时曝光期经过的移动对象的影响而变小的情况的数据的图表。
该图表呈现了
根据本公开的混合比αLS(＝αL×αS)，
仅取决于长时曝光像素的像素值的相关技术的混合比以αL，
作为对比数据。
水平轴代表长时曝光像素的像素值，垂直轴代表混合比：αLS，αL。
也就是说，图11所示的示例是以下情况的一个示例：
DS＝(DL/GAIN)×0.75
其中
DS：短时曝光像素的像素值，
DL：长时曝光像素的像素值，
GAIN：长时曝光像素时间和短时曝光像素时间的曝光比。
换言之，与无亮度变化的情况相比，短时曝光像素的像素值DS减小，系数为0.75。
为了比较图11所示的这两种类型的数据，将根据本公开的混合比αLS设置为在阈值TH0至TH1之间(特别是超过阈值TH1的部分)低于以实线表示的相关技术的混合比αL。
换言之，这意味着若在阈值TH0至TH1之间(特别是某些超过阈值TH1的部分)应用了根据本公开的混合比αLS，则应用了比以实线表示的相关技术的混合比αL低的混合比。
如上所述，混合比α被用作：
中间数据的像素值＝α×(短时曝光像素的像素值×GAIN+(1.0-α)×(长时曝光像素的像素值)。
因此，若应用根据本公开的混合比αLS，则将短时曝光像素的混合比设置为低于以实线表示的相关技术的混合比αL，并将长时曝光像素的混合比设置为高于以实线表示的相关技术的混合比αL。
长时曝光像素的混合比的增加程度与前述的图10的情况(无亮度变化的情况)下的增加程度相比变大。
该示例对应于图9(b)中的以下情况：由于经过的移动对象的影响而突然变暗，并且当短时曝光像素的曝光期为暗时拍摄了该移动对象。
在这种情况下，短时曝光像素具有在以下环境下获得的像素值：由于该移动对象的影响而突然变暗，并使得能够拍摄到不同于长时曝光像素的拍摄对象的对象。在该情况下，通过降低短时曝光像素的像素值的权值(混合比)，将长时曝光像素的像素值的权值(混合比)设为高，并进行混合以设置输出像素值(在该示例中为中间数据的像素值)。
通过这种配置，实现了通过混合而计算组合的像素值，这种混合减小了由于拍摄环境中的变化造成的影响，例如由移动的对象造成的影响。
图12如同图11是呈现了在图9(b)的拍摄环境下拍摄图像的情况的两个混合比，即在短时曝光像素的像素值由于在短时曝光期经过的移动对象的影响而变小的情况的数据的图表。
然而，这种情况比图11所示的示例具有更强烈的亮度变化：
DS＝(DL/GAIN)×0.5.
换言之，与无亮度变化的情况相比，短时曝光像素的像素值DS减小为其一半，系数为0.5。
为了比较图12所示的这两种类型的数据，根据本公开的混合比：将αLS设置为在阈值TH0至TH1之间(特别是超过阈值TH1的大部分区域)低于以实线表示的相关技术的混合比αL。
换言之，这意味着若在阈值TH0至TH1之间(特别是超过阈值TH1的某些部分)应用了根据本公开的混合比αLS，则应用了比以实线表示的相关技术的混合比αL低的混合比。
混合比α被用作：
中间数据的像素值＝α×(短时曝光像素的像素值×GAIN+(1.0-α)×(长时曝光像素的像素值)。
因此，若应用根据本公开的混合比αLS，则将短时曝光像素的混合比设置为低于以实线表示的相关技术的混合比αL，并将长时曝光像素的混合比设置为高于以实线表示的相关技术的混合比αL。
长时曝光像素的混合比的增长程度与前述的图10和图11的情况下的增加程度相比变大。
另外，若短时曝光像素的输出小，混合比αLS则增至0.5。
以此方式，若拍摄环境的亮度已发生变化，根据本公开的混合比
α＝αL×αS，
则变为与相关技术中常用的典型混合比αL不同的一个值。
具体而言，以如下方式进行调整：若如图9(b)所示的短时曝光期的拍摄环境变暗，则减小短时曝光像素的混合比，并增大长时曝光像素的混合比。
通过这种配置，实现了通过混合而计算组合的像素值，这种混合减小了由于拍摄环境中的变化造成的影响，例如由移动的对象造成的影响。
(5-3.实施例2.曝光时间对于Bayer阵列中的每一列都变化的示例)
在图13中示出了曝光时间对于Bayer阵列中的每一列都变化的一个示例。
在图13中呈现了以下三种类型的数据：
(2a)图像拾取数据
(2b)中间数据
(2c)输出数据
(2a)图像拾取数据是对于图像拾取元件而言的，并且代表当曝光时间对于Bayer阵列中的每一列都变化时拍摄的图像。
白色部分是长时曝光像素并且深色部分代表短时曝光像素。
在该示例中，长时曝光像素和短时曝光像素以两列为基础交替设置。
另外，曝光时间控制是基于例如控制单元105的控制而进行的。
(2a)图像拾取数据呈现了4×4像素区域。
(2b)中间数据是在像素信息组合单元162处基于该4×4(2a)图像拾取数据产生的。
像素信息组合单元162首先在第1步基于该4×4(2a)图像拾取数据计算4×2中间像素数据。
(2c)输出数据是在像素信息组合单元162处基于该4×2(2b)中间数据产生的。
像素信息组合单元162首先在第1步基于该4×4(2a)图像拾取数据计算4×2(2b)中间像素数据，然后在第2步基于产生的中间数据产生2×2(2c)输出数据。
(2c)输出数据作为宽动态图像而产生。
以此方式，像素信息组合单元162通过将4×4(2a)图像拾取数据中包含的长时曝光像素和短时曝光像素混合来计算2×2(2c)输出数据的组成像素的每一像素值。
将对步骤1和步骤2各自进行说明。
(步骤1)
在步骤1中根据(2a)图像拾取数据产生(2b)中间数据是通过以下混合多个像素值进行的。
混合对于GR/GB相和对于R/B相是单独地进行的。
(GR/GB相的处理)
例如，通过以下表达式计算在图13(2b)中呈现的GW00的像素值(GW00)，该表达式中应用了(2a)图像拾取数据中包含的多个像素的像素值和混合率α。
GW00＝α×GS00×GAIN+(1.0-α)×GL02
这里，
GAIN：短时曝光像素的像素值以此倍增的增益(长时曝光像素和短时曝光像素的曝光比)
α：长时曝光像素的像素值和短时曝光像素的像素值的混合比。
这里，混合比α被计算为以下两个混合比αL和αS的乘积。
αL＝CalcBrate(GL02，THR0_LNG，THR1_LNG)
αS＝CalcBrate(GS00，THR0_SHT，THR1_SHT)
α＝αL×αS
这里，
CalcBrate(dat，THR0，THR1)的值如图7和图8所示，如前文所述：
当dat＜THR0时，CalcBrate(dat，THR0，THR1)＝0，
当THR0≤dat＜THR1时，CalcBrate(dat，THR0，THR1)＝(dat-THR0)/(THR1-THR0)，
当THR1≤dat时，CalcBrate(dat，THR0，THR1)＝1.0。
(R/B相的处理)
例如，通过以下表达式计算在图13(2b)中呈现的RW01的像素值(BW01)，该表达式中应用了(2a)图像拾取数据中包含的多个像素的像素值和混合率α。
BW10＝α×BS10×GAIN+(1.0-α)×BL12
这里，
GAIN：短时曝光像素的像素值以此倍增的增益(长时曝光像素和短时曝光像素的曝光比)
α：长时曝光像素的像素值和短时曝光像素的像素值的混合比
这里，混合比α被计算为以下两个混合比αL和αS的乘积。
αL＝CalcBrate((GL02+GL22)/2.0，THR0_LNG，THR1_LNG)
αS＝CalcBrate((GS00+GS20)/2.0，THR0_SHT，THR1_SHT)
α＝αL×αS
这里，
CalcBrate(dat，THR0，THR1)的值如图7和图8所示，如上文所述：
当dat＜THR0时，CalcBrate(dat，THR0，THR1)＝0，
当THR0≤dat＜THR1时，CalcBrate(dat，THR0，THR1)＝(dat-THR0)/(THR1-THR0)，
当THR1≤dat时，CalcBrate(dat，THR0，THR1)＝1.0。
(步骤2)
以下将说明图13中所示的步骤2。在步骤2中根据(2b)中间数据产生(2c)输出数据是通过垂直加上(2a)中间数据中包含的一个像素值而进行的，这将在以下进行说明。
例如，应用以下描述的1∶1相加和1∶3/3∶1相加。
将说明图13的(2c)输出数据中所呈现的像素值G00、R01的计算示例。
(1∶1相加)
在1∶1相加中，(2c)输出数据中呈现的像素值G00、R01是通过以下表达式计算的：
G00＝(GW00+GW20)/2
R01＝(RW01+RW21)/2
(1∶3/3∶1相加)
在1∶3或3∶1相加中，(2c)输出数据中呈现的像素值G00、R01是通过以下表达式计算的：
G00＝(3×GW00+GW20)/4
R01＝(RW01+3×RW21)/4
(5-4.实施例3.曝光时间在Bayer阵列中成对角线地变化的示例)
在图14中示出了曝光时间在Bayer阵列中成对角线地变化的一个示例。
在图14中呈现了以下三种类型的数据：
(3a)图像拾取数据
(3b)中间数据
(3c)输出数据
(3a)图像拾取数据是对于图像拾取元件而言的，并且代表当曝光时间在Bayer阵列中成对角线地变化时拍摄的图像。
白色部分是长时曝光像素并且深色部分代表短时曝光像素。
在该示例中，长时曝光像素和短时曝光像素以四像素块为基础交替设置。
另外，曝光时间控制是基于例如控制单元105的控制而进行的。
(3a)图像拾取数据呈现了4×4像素区域。
(3b)中间数据是在像素信息组合单元162处基于该4×4(3a)图像拾取数据产生的。
像素信息组合单元162首先在第1步基于该4×4(3a)图像拾取数据计算4×2中间像素数据。
(3c)输出数据是在像素信息组合单元162处基于该4×2(3b)中间数据产生的。
像素信息组合单元162首先在第1步基于该4×4(3a)图像拾取数据计算4×2(3b)中间像素数据，然后在第2步基于产生的中间数据产生2×2(3c)输出数据。
(3c)输出数据作为宽动态图像而产生。
以此方式，像素信息组合单元162通过将4×4(3a)图像拾取数据中包含的长时曝光像素和短时曝光像素混合来计算2×2(3c)输出数据的组成像素的每一像素值。
将对步骤1和步骤2各自进行说明。
(步骤1)
在步骤1中根据(3a)图像拾取数据产生(3b)中间数据是通过以下混合多个像素值进行的。
混合对于GR/GB相和对于R/B相是单独地进行的。
(GR/GB相的处理)
例如，通过以下表达式计算在图14(3b)中呈现的GW00的像素值(GW00)，该表达式中应用了(3a)图像拾取数据中包含的多个像素的像素值和混合率α。
GW00＝α×GS00×GAIN+(1.0-α)×GL02
这里，
GAIN：短时曝光像素的像素值以此倍增的增益(长时曝光像素和短时曝光像素的曝光比)
α：长时曝光像素的像素值和短时曝光像素的像素值的混合比。
这里，混合比α被计算为以下两个混合比αL和αS的乘积。
αL＝CalcBrate(GL02，THR0_LNG，THR1_LNG)
αS＝CalcBrate(GS00，THR0_SHT，THR1_SHT)
α＝αL×αS
这里，
CalcBrate(dat，THR0，THR1)的值如图7和图8所示，如前文所述：
当dat＜THR0时，CalcBrate(dat，THR0，THR1)＝0，
当THR0≤dat＜THR1时，CalcBrate(dat，THR0，THR1)＝(dat-THR0)/(THR1-THR0)，
当THR1≤dat时，CalcBrate(dat，THR0，THR1)＝1.0。
(R/B相的处理)
例如，通过以下表达式计算在图14(3b)中呈现的BW12的像素值(BW12)，该表达式中应用了(3a)图像拾取数据中包含的多个像素的像素值和混合率α。
BW12＝α×BS12×GAIN+(1.0-α)×BL32
这里，
GAIN：短时曝光像素的像素值以此倍增的增益(长时曝光像素和短时曝光像素的曝光比)
α：长时曝光像素的像素值和短时曝光像素的像素值的混合比。
这里，混合比α被计算为以下两个混合比αL和αS的乘积。
αL＝(CalcBrate(GS11，THR0_SHT，THR1_SHT)+CalcBrate(GL13，THR0_LNG，THR1_LNG))/2.0
αS＝(CalcBrate(GL31，THR0_LNG，THR1_LNG)+CalcBrate(GS33，THR0_SHT，THR1_SHT))/2.0
α＝αL×αS
这里，
CalcBrate(dat，THR0，THR1)的值如图7和图8所示，如上文所述：
当dat＜THR0时，CalcBrate(dat，THR0，THR1)＝0，
当THR0≤dat＜THR1时，CalcBrate(dat，THR0，THR1)＝(dat-THR0)/(THR1-THR0)，
当THR1≤dat时，CalcBrate(dat，THR0，THR1)＝1.0。
(步骤2)
以下将说明图14中所示的步骤2。在步骤2中根据(3b)中间数据产生(3c)输出数据是通过水平加上(3b)中间数据中包含的一个像素值而进行的，这将在以下进行说明。
例如，应用以下描述的1∶1相加和1∶3/3∶1相加。
(1∶1相加)
在1∶1相加中，(3c)输出数据中呈现的像素值G00、R01是通过以下表达式计算的：
G00＝(GW00+GW02)/2
R01＝(RW01+RW03)/2
(1∶3/3∶1相加)
在1∶3或3∶1相加中，(3c)输出数据中呈现的像素值G00、R01是通过以下表达式计算的：
G00＝(3×GW00+GW02)/4
R01＝(RW01+3×RW03)/4
(5-5.实施例4.曝光时间在四分区Bayer阵列中成对角线地变化的示例)
在图15中示出了曝光时间在四分区Bayer阵列中成对角线地变化的一个示例。
在图15中呈现了以下三种类型的数据：
(4a)图像拾取数据
(4b)中间数据
(4c)输出数据
(4a)图像拾取数据是对于图像拾取元件而言的，并且代表当曝光时间在四分区Bayer阵列中成对角线地变化时拍摄的图像。
白色部分是长时曝光像素并且深色部分代表短时曝光像素。
在该示例中，长时曝光像素和短时曝光像素成对角线地交替设置。
另外，曝光时间控制是基于例如控制单元105的控制而进行的。
(4a)图像拾取数据呈现了4×6像素区域。
(4b)中间数据是在像素信息组合单元162处基于该4×6(4a)图像拾取数据产生的。
像素信息组合单元162首先在第1步基于该4×6(4a)图像拾取数据计算12项中间像素数据。
(4c)输出数据是在像素信息组合单元162处基于该12项(4b)中间像素数据产生的。
像素信息组合单元162首先在第1步基于该4×6(4a)图像拾取数据计算12项(4b)中间像素数据，然后在第2步基于产生的中间数据产生2×3(4c)输出数据。
(4c)输出数据作为宽动态图像而产生。
将对步骤1和步骤2各自进行说明。
(步骤1)
在步骤1中根据(4a)图像拾取数据产生(4b)中间数据是通过以下成对角线地加上多个像素值进行的。
例如，根据以下表达式通过成对角线地相加而计算图15(4b)中呈现的GLA00的像素值(GLA00)和GSA00的像素值(GSA00)，该表达式中应用了(4a)图像拾取数据中包含的多个像素的像素值和混合率α。
GLA00＝(GL00+GL11)/2
GSA00＝(GS01+GS10)/2
(步骤2)
以下将说明图15中所示的步骤2。在步骤2中根据(4b)中间数据产生(4c)输出数据是通过混合(4b)中间数据中包含的像素值而进行的，这将在以下进行说明。
混合对于GR/GB相和对于R/B相是单独地进行的。
(GR/GB相的处理)
例如，通过以下表达式计算在图15(4c)中呈现的G00的像素值(G00)，该表达式中应用了(4b)中间数据中包含的多个像素的像素值和混合率α。
G00＝α×GSA00×GAIN+(1.0-α)×GLA00
这里，
GAIN：短时曝光像素的像素值以此倍增的增益(长时曝光像素和短时曝光像素的曝光比)
α：长时曝光像素的像素值和短时曝光像素的像素值的混合比。
这里，混合比α被计算为以下两个混合比αL和αS的乘积。
αL＝CalcBrate(GLA00，THR0_LNG，THR1_LNG)
αS＝CalcBrate(GSA00，THR0_SHT，THR1_SHT)
α＝αL×αS
这里，
CalcBrate(dat，THR0，THR1)的值如图7和图8所示，如前文所述：
当dat＜THR0时，CalcBrate(dat，THR0，THR1)＝0，
当THR0≤dat＜THR1时，CalcBrate(dat，THR0，THR1)＝(dat-THR0)/(THR1-THR0)，
当THR1≤dat时，CalcBrate(dat，THR0，THR1)＝1.0。
(R/B相的处理)
例如，通过以下表达式计算在图15(4c)中呈现的R01的像素值(R01)，该表达式中应用了(4b)中间数据中包含的多个像素的像素值和混合率α。
R01＝α×RSA01×GAIN+(1.0-α)×RLA01
这里，
GAIN：短时曝光像素的像素值以此倍增的增益(长时曝光像素和短时曝光像素的曝光比)
α：长时曝光像素的像素值和短时曝光像素的像素值的混合比
这里，混合比α被计算为以下两个混合比αL和αS的乘积。
αL＝CalcBrate((GLA00+GLA02)/2.0，THR0_LNG，THR1_LNG)
αS＝CalcBrate((GSA00+GSA02)/2.0，THR0_SHT，THR1_SHT)
α＝αL×αS
这里，
CalcBrate(dat，THR0，THR1)的值如图7和图8所示，如上文所述：
当dat＜THR0时，CalcBrate(dat，THR0，THR1)＝0，
当THR0≤dat＜THR1时，CalcBrate(dat，THR0，THR1)＝(dat-THR0)/(THR1-THR0)，
当THR1≤dat时，CalcBrate(dat，THR0，THR1)＝1.0。
另外，在上述实际示例中说明的输出像素值的产生可以由图4中的图像拾取设备102中的像素信息组合单元162执行，并且可以由图3中的信号处理单元103执行。
另外，有可能通过在例如控制单元中执行的程序来执行曝光时间控制或上述实际示例中所述的运算。
(6.图像处理设备的配置的其他示例)
首先，虽然如参照图3所述的本公开中的图像处理设备可以具有如图3所示的配置，但它也可以具有其他配置。
图16示出一个图像处理设备，其包括透镜201、图像拾取装置202、信号处理单元(DSP)203、记录/再现单元204、用户接口单元210和***总线208。
处理流程如下：当通过按压快门(用户接口单元210)开始图像拾取时，图像拾取装置202的固态图像拾取元件(例如CCD(电荷耦合器件)或CM0S(互补金属氧化物半导体))将从透镜201(光学)入射的光学图像转换成2D电信号(下称图像数据)。
输出为例如如以上参照图5所述的通过空间上改变曝光时间而拾取的原始图像。然后，在如下顺序进行信号处理。
(1)宽动态组合+像素相加(通过阵列的实际示例1至4，曝光技术))
(2)相机信号处理(白平衡、去马赛克、伽玛校正等)
(3)数据压缩(对于静态图像为JPEG等，对于视频为H.264等)
可以通过图像拾取装置202和信号处理单元(DSP)203进行上述(1)至(3)的信号处理。另外，若在图像拾取元件中进行像素相加(垂直相加、水平相加、对角线相加)，则可以应用模拟相加(FD(浮动扩散)相加、SF(源跟随器)相加)、数字相加等。
此外，前述实施例1至3中的步骤1和2的顺序可以转换。作为输出图像而产生的图像被作为压缩数据保持在记录/再现单元204中。
【7.本公开的构成的总结】
现在已参照一个具体实施例详细说明了本公开的该实施例。然而，应注意的是，在不脱离本公开的范围的条件下，各种变形和替代实施例对于本领域的技术人员来说将变得清楚。也就是说，应注意的是本公开是通过实施例公开的，不应以受这些实施例的限制的方式理解。为了确定本公开的范围，有必要考虑权利要求的范围。
此外，本技术也可以按如下配置。
(1)一种图像处理设备，包括图像信息组合单元，所述图像信息组合单元对长时曝光像素和短时曝光像素执行像素值组合处理，
其中所述像素信息组合单元基于多个不同曝光时间段的像素的像素值计算多个混合比，基于所述多个混合比确定适用于所述长时曝光像素和所述短时曝光像素的混合处理的适用混合比，并通过所述适用混合比所适用的对长时曝光像素和短时曝光像素的所述混合处理来确定输出图像或适用于产生所述输出图像的中间图像的像素值。
(2)根据(1)所述的图像处理设备，
其中所述像素信息组合单元基于待混合的所述多个不同曝光时间段的像素的像素值计算所述多个混合比，并基于计算的多个混合比确定所述适用混合比。
(3)根据(1)或(2)所述的图像处理设备，
其中所述像素信息组合单元基于与待混合的所述多个不同曝光时间段的像素相邻的像素的像素值计算所述多个混合比，并基于计算的多个混合比确定所述适用混合比。
(4)根据(1)至(3)中任一项所述的图像处理设备，
其中所述像素信息组合单元计算
取决于长时曝光像素值的混合比αL，所述混合比αL取决于所述长时曝光像素的像素值，和
取决于短时曝光像素值的混合比αS，所述混合比αS取决于所述短时曝光像素的像素值，并且
确定计算的取决于长时曝光像素值的混合比αL和计算的取决于短时曝光像素值的混合比αS的乘积，即
α＝αL×αS，
所述α被确定为表示所述短时曝光像素的混合量的适用混合比。
(5)根据(4)所述的图像处理设备，
其中所述像素信息组合单元确定
所述取决于长时曝光像素的混合比αL，使得
根据作为待混合的像素的颜色C的长时曝光像素的像素值CL，
当CL＜TH0L时，αL＝0，
当TH0L≤CL≤TH1L时，αL＝(CL-TH0L)/(TH1L-TH0L)，并且
当TH1L＜CL时，αL＝1.0，以及
所述取决于短时曝光像素的混合比αS，使得
根据所述作为待混合的像素的颜色C的短时曝光像素的像素值CS，
当CS＜TH0S时，αS＝0，
当TH0S≤CS≤TH1S时，αL＝(CL-TH0S)/(TH1S-TH0S)，并且
当TH1S＜CL时，αL＝1.0，
其中TH0L、TH1L、TH0S和TH1S为预定义阈值。
(6)根据(1)至(5)中任一项所述的图像处理设备，其中
所述像素信息组合单元
通过以下表达式计算所述输出图像或所述中间图像的颜色C的像素值CW
CW＝α×CS×GAIN+(1.0-α)×CL
其中
CL为颜色C的长时曝光像素的像素值，
CS为颜色C的短时曝光像素的像素值，
GAIN为长时曝光像素和短时曝光像素的曝光比，并且
α是所述适用混合比。
(7)根据(1)至(6)中任一项所述的图像处理设备，其中
所述像素信息组合单元通过对所述适用混合比所适用的长时曝光像素和短时曝光像素的所述混合处理产生中间图像，并且
通过对组成所产生的中间图像的相同颜色的像素值的混合处理产生最终输出图像。
(8)根据(1)至(7)中任一项所述的图像处理设备，其中
所述像素信息组合单元接收具有混合了所述长时曝光像素和所述短时曝光像素的RGB阵列的图像数据，并通过针对RGB的每种颜色，将颜色相同的长时曝光像素和短时曝光像素混合来确定所述输出图像或所述中间图像的像素值。
(9)根据(8)所述的图像处理设备，其中
所述像素信息组合单元通过只应用所述具有RGB阵列的图像数据的G像素数据来确定所述适用混合比。
另外，一种在上述装置或***中执行的处理的方法、一种用于执行处理的程序和一种其上记录了该程序的记录媒体均包含在本公开的配置中。
另外，在本说明书中说明的处理序列可以由硬件、软件和结合了硬件与软件的配置实现。在由软件实现该处理的情况下，有可能将一个其中编码了该处理序列的程序安装在包含在专用硬件中的计算机内的存储器中并执行该程序。还有可能在能执行各种处理的通用计算机中安装程序并执行该程序。例如，该程序可以被预先安装在一个存储媒体中。该程序除了从该存储媒体安装在计算机中之外，还可以通过网络例如局域网(LAN)或互联网接收，并且可以安装在置入计算机中的存储媒体例如硬盘等中。
注意，在本说明书中说明的各种类型的处理不仅可以按已描述的时间顺序执行，还可以根据执行该处理的设备的处理能力或按照需要并行地或单独地执行。另外，说明书中的***不限于逻辑上聚集了多个均包含在同一壳体中的装置的配置。
如上所述，根据本公开的实际示例，实现了组合长时曝光像素和短时曝光像素的像素值并产生宽动态范围图像的装置和方法。
具体而言，例如，包含一种组合长时曝光像素和短时曝光像素的像素值并产生输出图像的像素值的图像信息组合单元。该像素信息组合单元通过计算基于多个不同像素的像素值计算的多个混合比，通过基于所述多个混合比确定最终长时曝光像素和最终短时曝光像素的最终混合比，并通过将所述最终混合比所适用的长时曝光像素和短时曝光像素混合，来确定输出图像的像素值。有可能通过该处理产生宽动态范围图像。
本领域的技术人员应理解的是，只要在所附权利要求或其等效物范围内，可以根据设计要求和其他因素作出各种修改、组合、子组合和变动。
本公开包含与下述专利中公开的内容相关的主题：2011年8月31日提交日本专利局的日本优先权专利申请JP2011-190051和2011年12月29日提交日本专利局的日本优先权专利申请JP2011-290257，这些专利申请的全部内容通过引用整体结合于此。

Claims (11)

1.一种图像处理设备，包括图像信息组合单元，所述图像信息组合单元对长时曝光像素和短时曝光像素执行像素值组合处理，
其中所述像素信息组合单元基于多个不同曝光时间段的像素的像素值计算多个混合比，基于所述多个混合比确定适用于所述长时曝光像素和所述短时曝光像素的混合处理的适用混合比，并通过所述适用混合比所适用的对长时曝光像素和短时曝光像素的所述混合处理来确定输出图像或适用于产生所述输出图像的中间图像的像素值。
2.根据权利要求1所述的图像处理设备，
其中所述像素信息组合单元基于待混合的所述多个不同曝光时间段的像素的像素值计算所述多个混合比，并基于计算的多个混合比确定所述适用混合比。
3.根据权利要求1所述的图像处理设备，
其中所述像素信息组合单元基于与待混合的所述多个不同曝光时间段的像素相邻的像素的像素值计算所述多个混合比，并基于计算的多个混合比确定所述适用混合比。
4.根据权利要求1所述的图像处理设备，
其中所述像素信息组合单元计算
取决于长时曝光像素值的混合比αL，所述混合比αL取决于所述长时曝光像素的像素值，和
取决于短时曝光像素值的混合比αS，所述混合比αS取决于所述短时曝光像素的像素值，并且
确定计算的取决于长时曝光像素值的混合比αL和计算的取决于短时曝光像素值的混合比αS的乘积，即
α＝αL×αS，
所述α被确定为表示所述短时曝光像素的混合量的适用混合比。
5.根据权利要求4所述的图像处理设备，
其中所述像素信息组合单元确定
所述取决于长时曝光像素的混合比αL，使得
根据作为待混合的像素的颜色C的长时曝光像素的像素值CL，
当CL＜TH0L时，αL＝0，
当TH0L≤CL≤TH1L时，αL＝(CL-TH0L)/(TH1L-TH0L)，并且
当TH1L＜CL时，αL＝1.0，以及
所述取决于短时曝光像素的混合比αS，使得
根据所述作为待混合的像素的颜色C的短时曝光像素的像素值CS，
当CS＜TH0S时，αS＝0，
当TH0S≤CS≤TH1S时，αL＝(CL-TH0S)/(TH1S-TH0S)，并且
当TH1S＜CL时，αL＝1.0，
其中TH0L、TH1L、TH0S和TH1S为预定义阈值。
6.根据权利要求1所述的图像处理设备，其中
所述像素信息组合单元
通过以下表达式计算所述输出图像或所述中间图像的颜色C的像素值CW
CW＝α×CS×GAIN+(1.0-α)×CL
其中
CL为颜色C的长时曝光像素的像素值，
CS为颜色C的短时曝光像素的像素值，
GAIN为长时曝光像素和短时曝光像素的曝光比，并且
α是所述适用混合比。
7.根据权利要求1所述的图像处理设备，其中
所述像素信息组合单元通过对所述适用混合比所适用的长时曝光像素和短时曝光像素的所述混合处理产生中间图像，并且
通过对组成所产生的中间图像的相同颜色的像素值的混合处理产生最终输出图像。
8.根据权利要求1所述的图像处理设备，其中
所述像素信息组合单元接收具有混合了所述长时曝光像素和所述短时曝光像素的RGB阵列的图像数据，并通过针对RGB的每种颜色，将颜色相同的长时曝光像素和短时曝光像素混合来确定所述输出图像或所述中间图像的像素值。
9.根据权利要求8所述的图像处理设备，其中
所述像素信息组合单元通过只应用所述具有RGB阵列的图像数据的G像素数据来确定所述适用混合比。
10.一种在图像处理设备中执行的图像处理方法，所述方法包括
利用所述像素信息组合单元执行对长时曝光像素和短时曝光像素的像素值组合处理，
其中所述像素值组合处理包括以下处理：
基于多个不同曝光时间段的像素的像素值计算多个混合比；
基于所述多个混合比确定适用于所述长时曝光像素和所述短时曝光像素的混合处理的适用混合比，并且
通过所述适用混合比所适用的对长时曝光像素和短时曝光像素的所述混合处理来确定输出图像或适用于所述输出图像的中间图像的像素值。
11.一种用于使图像处理在图像处理设备中被执行的程序，
其中所述程序使像素信息组合单元对长时曝光像素和短时曝光像素执行像素值组合处理，并且
其中所述像素值组合处理包括以下处理：
基于多个不同曝光时间段的像素的像素值计算多个混合比；
基于所述多个混合比确定适用于所述长时曝光像素和所述短时曝光像素的混合处理的适用混合比，并且
通过所述适用混合比所适用的对长时曝光像素和短时曝光像素的所述混合处理来确定输出图像或适用于所述输出图像的中间图像的像素值。
CN2012103080278A 2011-08-31 2012-08-24 图像处理设备、图像处理方法和程序 Pending CN102970487A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011-190051 2011-08-31
JP2011190051 2011-08-31
JP2011-290257 2011-12-29
JP2011290257A JP2013066145A (ja) 2011-08-31 2011-12-29 画像処理装置、および画像処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN102970487A true CN102970487A (zh) 2013-03-13

Family

ID=47743195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012103080278A Pending CN102970487A (zh) 2011-08-31 2012-08-24 图像处理设备、图像处理方法和程序

Country Status (3)

Country Link
US (1) US9288399B2 (zh)
JP (1) JP2013066145A (zh)
CN (1) CN102970487A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110460780A (zh) * 2014-01-10 2019-11-15 高通股份有限公司 用于使用多个短曝光俘获数字图像的***和方法
CN110740272A (zh) * 2019-10-31 2020-01-31 Oppo广东移动通信有限公司 图像采集方法、摄像头组件及移动终端

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011053678A1 (en) 2009-10-28 2011-05-05 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
US20140192235A1 (en) 2011-02-25 2014-07-10 Sony Corporation Systems, methods, and media for reconstructing a space-time volume from a coded image
JP2013066145A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013066140A (ja) 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
EP2798847B1 (en) * 2011-12-30 2018-08-22 Barco NV Method and system for determining image retention
US9076233B2 (en) * 2012-02-03 2015-07-07 Seiko Epson Corporation Image processing device and electronic apparatus using the same
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9167174B1 (en) * 2014-11-05 2015-10-20 Duelight Llc Systems and methods for high-dynamic range images
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
WO2014099320A1 (en) 2012-12-17 2014-06-26 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for high dynamic range imaging
KR101871945B1 (ko) * 2013-01-17 2018-08-02 한화에어로스페이스 주식회사 영상 처리 장치 및 방법
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US9019401B2 (en) * 2013-02-26 2015-04-28 GM Global Technology Operations LLC System and method for creating an image with a wide dynamic range
KR101926490B1 (ko) * 2013-03-12 2018-12-07 한화테크윈 주식회사 이미지 처리 장치 및 방법
TWI644568B (zh) * 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
CN105794203B (zh) 2013-12-04 2020-03-20 拉姆伯斯公司 高动态范围图像传感器
EP3132383A4 (en) 2014-04-15 2017-11-29 Sony Corporation Systems, methods, and media for extracting information and a display image from two captured images
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US9521351B1 (en) 2015-09-21 2016-12-13 Rambus Inc. Fractional-readout oversampled image sensor
CN105472266A (zh) 2015-12-18 2016-04-06 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
US10244182B2 (en) 2016-06-23 2019-03-26 Semiconductor Components Industries, Llc Methods and apparatus for reducing spatial flicker artifacts
CN107786814B (zh) * 2016-08-24 2023-08-04 杭州海康威视数字技术股份有限公司 一种基于宽动态的图像处理方法、装置及曝光电路
CN109792478B (zh) 2016-09-01 2021-11-12 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
JP6827240B2 (ja) * 2017-03-22 2021-02-10 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、プログラム及びそれを記録した記録媒体
JP6859910B2 (ja) * 2017-09-22 2021-04-14 株式会社デンソーウェーブ 撮像装置
CN114342362A (zh) * 2019-09-09 2022-04-12 Oppo广东移动通信有限公司 图像传感器、摄像头模组、移动终端及图像采集方法
JP2021180459A (ja) * 2020-05-15 2021-11-18 ソニーセミコンダクタソリューションズ株式会社 撮像装置及びプログラム
KR20220084578A (ko) * 2020-12-14 2022-06-21 에스케이하이닉스 주식회사 이미지 센싱 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030142745A1 (en) * 2002-01-31 2003-07-31 Tomoya Osawa Method and apparatus for transmitting image signals of images having different exposure times via a signal transmission path, method and apparatus for receiving thereof, and method and system for transmitting and receiving thereof
US20070223819A1 (en) * 2006-03-23 2007-09-27 Pentax Corporation Pattern matching system
CN101331754A (zh) * 2005-10-14 2008-12-24 京瓷株式会社 成像设备和成像方法
CN101543056A (zh) * 2006-12-15 2009-09-23 诺基亚公司 使用多曝光模式的图像稳定化
CN101668125A (zh) * 2008-09-03 2010-03-10 索尼株式会社 成像装置、固态成像器件、图像处理装置、方法和程序

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050151A (ja) 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
JP3510868B2 (ja) * 2001-06-19 2004-03-29 三洋電機株式会社 画像合成装置
JP4272443B2 (ja) * 2003-02-05 2009-06-03 パナソニック株式会社 画像処理装置および画像処理方法
JP5326943B2 (ja) 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5439197B2 (ja) * 2010-01-15 2014-03-12 オリンパスイメージング株式会社 撮像装置、撮像方法、および、撮像プログラム
JP2012010105A (ja) * 2010-06-24 2012-01-12 Sony Corp 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2013066145A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030142745A1 (en) * 2002-01-31 2003-07-31 Tomoya Osawa Method and apparatus for transmitting image signals of images having different exposure times via a signal transmission path, method and apparatus for receiving thereof, and method and system for transmitting and receiving thereof
CN101331754A (zh) * 2005-10-14 2008-12-24 京瓷株式会社 成像设备和成像方法
US20070223819A1 (en) * 2006-03-23 2007-09-27 Pentax Corporation Pattern matching system
CN101543056A (zh) * 2006-12-15 2009-09-23 诺基亚公司 使用多曝光模式的图像稳定化
CN101668125A (zh) * 2008-09-03 2010-03-10 索尼株式会社 成像装置、固态成像器件、图像处理装置、方法和程序

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110460780A (zh) * 2014-01-10 2019-11-15 高通股份有限公司 用于使用多个短曝光俘获数字图像的***和方法
CN110740272A (zh) * 2019-10-31 2020-01-31 Oppo广东移动通信有限公司 图像采集方法、摄像头组件及移动终端
CN110740272B (zh) * 2019-10-31 2021-05-14 Oppo广东移动通信有限公司 图像采集方法、摄像头组件及移动终端

Also Published As

Publication number Publication date
US20130050520A1 (en) 2013-02-28
US9288399B2 (en) 2016-03-15
JP2013066145A (ja) 2013-04-11

Similar Documents

Publication Publication Date Title
CN102970487A (zh) 图像处理设备、图像处理方法和程序
JP5935876B2 (ja) 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
US20160248956A1 (en) Imaging apparatus, signal processing method, and program
US7940311B2 (en) Multi-exposure pattern for enhancing dynamic range of images
US8798395B2 (en) Image processing apparatus, image processing method, and program
US7756330B2 (en) Producing an extended dynamic range digital image
US7777804B2 (en) High dynamic range sensor with reduced line memory for color interpolation
CN101465966B (zh) 成像设备、成像处理方法
CN110381263B (zh) 图像处理方法、装置、存储介质及电子设备
EP3358820B1 (en) Imaging device, image processing device and display device
US7916191B2 (en) Image processing apparatus, method, program, and recording medium
US20060119738A1 (en) Image sensor, image capturing apparatus, and image processing method
AU2012218816A1 (en) Image capturing device, image capturing element, method for controlling image capturing, and program
US8982236B2 (en) Imaging apparatus
CN103650480A (zh) 图像处理设备、摄像设备、图像处理方法和程序
CN102122388A (zh) 用于获得高动态范围图像的设备和方法
CN1340962A (zh) 通过时间－索引方法实现宽动态范围的多次取样
TW201545556A (zh) 在產生數位影像中曝光像素群組
US8111298B2 (en) Imaging circuit and image pickup device
JP4639406B2 (ja) 撮像装置
CN103297701A (zh) 成像方法及成像装置
US20060197854A1 (en) Image capturing apparatus and computer software product
CN102186020A (zh) 图像处理装置、图像处理方法
KR100806388B1 (ko) Ａｗｂ 방법 및 이를 적용한 촬영장치
JP5256888B2 (ja) オートフォーカス評価装置、撮像装置、オートフォーカス評価方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130313

WD01 Invention patent application deemed withdrawn after publication