CN101312504A - 固态成像装置、信号处理装置和信号处理方法和成像设备 - Google Patents

固态成像装置、信号处理装置和信号处理方法和成像设备 Download PDF

Info

Publication number
CN101312504A
CN101312504A CNA200810108818XA CN200810108818A CN101312504A CN 101312504 A CN101312504 A CN 101312504A CN A200810108818X A CNA200810108818X A CN A200810108818XA CN 200810108818 A CN200810108818 A CN 200810108818A CN 101312504 A CN101312504 A CN 101312504A
Authority
CN
China
Prior art keywords
pixel
brightness value
signal
pixels
vision signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200810108818XA
Other languages
English (en)
Other versions
CN101312504B (zh
Inventor
大池佑辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101312504A publication Critical patent/CN101312504A/zh
Application granted granted Critical
Publication of CN101312504B publication Critical patent/CN101312504B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/65—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to reset noise, e.g. KTC noise related to CMOS structures by techniques other than CDS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

固态成像装置，包括：像素阵列单元，其中以矩阵形状排列单元像素；和信号处理电路，用于获得第一视频信号和第二视频信号，并且执行用于组合该第一和第二视频信号的处理。该信号处理电路包括：判断装置，用于判断像素阵列单元中的感兴趣的像素是否是在曝光时间段期间要饱和的像素；计算装置，用于将该感兴趣的像素设置为校正像素，并且基于该校正像素的***像素的第二视频信号的亮度值计算校正量；和校正装置，用于将校正量应用到校正像素的第一视频信号的亮度值，由此校正由于光电荷从***像素漏入校正像素导致的噪声信号量。

Description

固态成像装置、信号处理装置和信号处理方法和成像设备
相关申请的交叉引用
本发明包含涉及于2007年5月24日向日本专利局提交的日本专利申请JP 2007-137540的主题，通过引用将其全部内容合并在此。
技术领域
本发明涉及固态成像装置、用于固态成像装置的信号处理装置和信号处理方法以及成像设备。
背景技术
近些年来，在被认为适于诸如视频照相机和数字静态照相机之类的应用的固态成像元件的CCD(电荷耦合器件)图像传感器和放大型图像传感器中，通过增加像素数量，并且在高灵敏度减小图像尺寸来进一步减小像素尺寸。
另一方面，通常，诸如CCD图像传感器和CMOS(互补金属氧化物半导体)图像传感器之类的固态成像元件趋于用在诸如室内和室外以及用在白天和晚上之类的各种环境下。当固态成像元件用在这样的情况下时，需要根据外部光线等的变化通过(例如)控制光电转换元件中的电荷积累时间来调节曝光时间段，并且将灵敏度设置为最佳值。
作为扩展CMOS图像传感器的动态范围的方法，已经提出了，例如，如图19A和19B所示，将在多个曝光时间段中拍摄的多个帧组合的方法(见，例如，JP-A-2004-363666(下面称为专利文档1))，以及如图20A和20B所示，通过将不同的曝光时间段应用到像素阵列的相应行来扩展动态范围的方法(见，例如IEEE Conference on Computer Vision and Pattern Recognition 2000上的“High Dynamic Range Imaging：Spatially Varying Pixel Exposures”(下面称为非专利文档1))。
在下面的解释中，前一个方法称为宽动态范围方法1，而后一个方法称为宽动态方法2。在宽动态范围方法1和2中，获取具有不同灵敏度的多个图像作为第一视频信号、第二视频信号等。作为示例，将所获取的多个视频信号相加并组合来获得具有宽动态范围的图像。
在图19A和19B以及图20A和20B中，横坐标P0指示入射光的强度，而纵坐标YL指示传感器(光接收单元)的输出。FS表示传感器的饱和等级。使用一个视频信号，很难获得具有等于或个高于FS的饱和等级的输出信号。
发明内容
在宽动态范围方法1和2中，当获取低亮度信号时，可能在低亮度像素周围存在在高亮度饱和的像素。通过分别读出信号来从饱和高亮度像素获得信号。然而，在饱和状态期间电荷溢出，并且作为高光溢出(blooming)漏入低亮度像素。
在图21中显示高光溢出的出现的状态。使强光入射到相邻像素之一，使暗光入射到其它像素，并且使强光入射到其上的光接收单元1处于饱和状态。在这种情况下，通过使光入射到光接收单元1产生的电荷不在光接收单元1中积累，并且部分电荷漏入光接收单元2。该现象称为高光溢出。在该解释中，引起高光溢出的像素被称为攻击者(aggressor)，而经历高光溢出的像素被称为受害者以区分像素。
在图22A和22B中显示在宽动态范围方法1和2中高光溢出出现的定时的示例。
如22A显示在宽动态范围方法1中的定时的示例。当高亮度信号和低亮度信号相互相邻时，高亮度像素在获得第一视频信号时的阶段处于饱和状态。另一方面，低亮度像素不饱和，并且积累电荷。因此，高亮度像素是攻击者，并且引起高光溢出，而具有第一视频信号的低亮度像素是受害者，并且经受高光溢出的影响。根据入射光的强度还可能在第二和第三视频信号中发生高光溢出。
图22B显示在宽动态范围方法2中的定时的示例。针对两行一组设置不同的曝光时间段。例如，针对第n行和第n+1行执行不同的曝光时间段，而针对第n+2行和第n+3行设置不同的曝光时间段。当使高亮度光入射到第n行和第n+1行的组，第n行饱和。在开始用于信号读出的曝光时间段之前，第n+1行可能饱和。在这些行中的像素是攻击者，并且引起高光溢出，而例如与之相邻的、低亮度光入射到其上的第n+2行的像素是受害者，并且经受高光溢出。
由于高光溢出的影响，依赖于低亮度像素周围的高亮度像素的状态，低亮度像素的信号受到光电荷的漏入(1eak in)的影响。因此，在低亮度区域中出现依赖于周围像素的状态的非线性特性。结果，引起图像质量的降低。
如图23所示，当组合宽动态范围的图像时，由于***像素的状态，在低亮度区域中的信号的输入和输出之间的关系被破坏。这引起亮度转变和色彩漂移来降低图像质量。
特别地，在彩色图像的情况下，依赖于由于入射光的波长和像素的滤色器的类型而导致的灵敏度差异，高光溢出量是不同的。这引起色彩漂移，并且降低图像质量。由于依赖于***像素的状态高光溢出量不同，因此很难利用用于将每种色彩乘以不同的增益系数的白平衡处理防止彩色漂移的问题。
因此，希望提供一种固态成像装置、用于固态成像装置的信号处理装置和信号处理方法以及控制由于高光溢出导致的非线性并使得可以改善图像质量的成像设备。
根据本发明的实施例，提供固态成像装置，包括：像素阵列单元，其中以矩阵形状排列包括用于将光信号转换为信号电荷的光电转换元件的单元像素。在获得在第一灵敏度下成像的第一视频信号和在第二灵敏度下成像的第二视频信号并执行用于组合第一和第二视频信号的处理时，固态成像装置关于参考亮度值比较像素阵列单元中感兴趣的像素的第一视频信号的亮度值等级和第二视频信号的亮度值等级，由此判断感兴趣的像素是否是在曝光时间段期间要饱和的像素。当判断出感兴趣的像素是在曝光时间段期间要饱和的像素时，固态成像装置将感兴趣的像素设置为校正像素。固态成像装置基于校正像素的***像素的第二视频信号的亮度值计算校正量，并且将通过该计算获得的校正量应用到校正像素的第一视频信号的亮度值，由此校正由于光电荷从***像素漏入校正像素导致的噪声信号量。
固态成像装置根据用于执行组合第一和第二视频信号的处理的宽动态范围操作获取入射到在曝光期间饱和的像素(攻击者)的光亮度值。固态成像装置使用饱和的像素的高光溢出量(由于漏入光电荷导致的噪声信号量)与饱和像素的灵敏度成比例的事实，从饱和的像素(攻击者)的第二视频信号的亮度值预测高光溢出量。固态成像装置从高光溢出量计算校正量。固态成像装置可以通过将校正量应用到经受高光溢出的像素(受害者)的第一视频信号的亮度值，来校正像素(受害者)的高光溢出量。
根据本发明的实施例，可以通过校正经受高光溢出的像素的高光溢出量来控制由于高光溢出导致的非线性，并且精确地表示图像的层次(gradation)。因此，可以改善图像质量。
附图说明
图1是显示根据本发明第一实施例的CMOS图像传感器的配置示例的***图示；
图2是显示单元像素的电路配置的示例的电路图；
图3是显示根据第一示例的DSP电路的校正处理功能的功能方框图；
图4是用于解释参考亮度值1的设置的示例的图示；
图5A和5B是用于解释参考亮度值1的设置的示例的图示；
图6是用于解释参考亮度值1的设置的另一示例的图示；
图7A和7B是用于解释参考亮度值1的设置的另一示例的图示；
图8是显示根据第二示例的DSP电路的校正处理功能的功能方框图；
图9是显示根据第三示例的DSP电路的校正处理功能的功能方框图；
图10是显示通过实验获得的校正处理的效果的输入输出特性图表；
图11是显示在利用软件执行校正处理中的处理过程的示例的流程图；
图12A到12D是用于解释在利用软件执行校正处理中的处理的图示；
图13是显示根据本发明第二实施例的CMOS图像传感器的配置示例的***图示；
图14是显示根据第一示例的校正处理电路的配置的方框图；
图15是显示要被校正的显示和该像素的周围像素之间的关系的图示；
图16显示根据第二实施例的校正处理电路的配置的方框图；
图17是显示要被校正的显示和该像素的周围像素之间的关系的图示；
图18是显示根据本发明实施例的成像设备的结构的示例的方框图；
图19A和19B是用于解释宽动态范围方法1的图示；
图20A和20B是用于解释宽动态范围方法2的图示；
图21是高光溢出产生的状态的图示；
图22A和22B是显示高光溢出的出现的定时的示例的图示；和
图23是用于解释当组合宽动态范围的图像时，由于周围像素的状态破坏低亮度区域中的信号输入和输出的关系的图示。
具体实施方式
在下面将参照附图解释本发明的实施例。
第一实施例
图1是显示根据本发明第一实施例的固态成像元件(例如，CMOS图像传感器)的配置示例的***图示。
如图1所示，根据该实施例的CMOS图像传感器10A包括像素阵列单元11和像素阵列单元11的***电路，在该单元11中，以矩形形状二维排列包括光电转换元件的单元像素(下面也简称为“像素”)20。
像素阵列11的***电路是，例如，垂直扫描电路12、列电路13、水平扫描电路14和列信号选择电路15。在集成了像素阵列单元11的芯片30(半导体基片)上集成***电路。在芯片30外部，提供信号处理电路(例如DSP(数字信号处理器))电路40。
关于像素阵列单元11的矩阵形状的像素阵列，针对相应像素列布线垂直扫描线111，并且针对相应像素行布线驱动控制线，例如传送控制线112、重置控制线113和选择控制线114。
垂直扫描电路12包括移位寄存器和地址解码器。在针对电子快门行和读出行中的每一个、在垂直方向上(从上到下方向)以行为单位扫描像素阵列单元11中的相应像素20的同时，垂直扫描电路12针对电子快门行执行用于扫除(sweep)行中的像素20的信号的电子快门操作，并且针对读出行执行用于读出行中的像素20的信号的读出操作。
虽然在图中未示出，但是垂直扫描电路12包括用于执行用来读出在读出行中的相应像素20的信号的读出操作，同时顺序地选择行单元中的像素20的读出扫描***；以及用于在由读出扫描***进行读出扫描之前对相同行(电子快门行)执行于快门速度对应的时间那么长的电子快门操作。
从通过电子快门扫描***的快门扫描重置光电转换单元的不必要的电荷的定时到通过读出扫描***的读出扫描读出像素20的信号的定时的时间段是像素20中的信号电荷的一个单元中的积累时间段(曝光时间段)。换句话说，电子快门操作是用于执行光电转换单元中积累的信号电荷的重置(扫除)，并且开始在重置后重新开始信号电荷的积累的操作。
列电路13包括一组单元列电路130，该单元列电路130，例如，包括在像素阵列单元11的像素阵列的相应像素列上(即，以与像素列的一一对应关系)排列的信号处理电路131。列电路13通过垂直信号线111将预定的信号处理应用到从通过垂直扫描电路12的垂直扫描选择的读出行中的相应像素20输出的信号，并且在信号处理后临时保存像素信号。
在像素阵列单元11的像素阵列的相应像素列中提供单元列电路130。然而也可以在相应的多个列组中提供单元列电路130。
例如，在单元列电路130中，信号处理电路131通过垂直信号线111将各种信号处理应用到从所选行中的相应像素20输出的像素信号，各种信号处理诸如用于利用CDS处理(相关双采样)处理减少重置噪声和诸如放大晶体管24的阈值波动之类的、像素特有的固定模式噪声的降噪处理、用于宽动态范围的信号组合处理和用于将模拟信号转换为数字信号的AD转换处理。
水平扫描电路14包括移位寄存器或地址解码器。水平扫描电路14水平地扫描在像素阵列11的相应像素列中顺序布置的列电路13的单元列电路130。
列信号选择电路15包括水平选择开关和水平信号线。列信号选择电路15与水平扫描电路14的水平扫描同步地将在列电路13中临时保存的像素的信号顺序地输出到芯片30外部。
由未示出的定时控制电路产生作为垂直扫描电路12、列电路13、水平扫描电路14等的操作基准的定时信号和控制信号。
除了关于照相机处理的各种操作之外，DSP电路40还执行特征化本实施例的校正处理，即用于根据宽动态范围操作获取饱和像素(攻击者)的入射光的亮度值，并且使用高光溢出量与饱和像素的灵敏度成比例的事实校正经受高光溢出的像素(受害者)的值的校正操作。在下面描述校正处理的细节。
在该示例中，在芯片30外部提供DSP电路40。然而，与垂直扫描电路12、列电路13、水平扫描电路14、列信号选择电路15等相似，也可以将诸如具有校正处理功能的DSP电路40之类的信号处理电路集成在集成了像素阵列单元11的芯片30上。
像素电路
图2是显示单元像素20的电路配置的示例的电路图。
根据该电路示例的单元像素20是包括(除了光电转换元件之外)，例如，嵌入式光电二极管21、诸如传送晶体管(传送元件)22、重置晶体管23、放大晶体管24和选择晶体管25之类的四个晶体管的像素电路。例如，在该示例中，将N沟道MOS晶体管用作晶体管22到25。然而，晶体管22到25不限于N沟道MOS晶体管。
传送晶体管22连接在光电二极管21的阴极电极和浮动扩散电容(floating diffusion capacitor)(下面称为FD单元)26之间。传送晶体管22根据提供到其的栅极电极(控制电极)的传送脉冲TRG将光电二极管21光电转换、且在传送晶体管22中积累的信号电荷(电子)传送到FD单元26。FD单元26用作将信号电荷转换为电压信号的电荷-电压转换单元。
重置晶体管23的漏极电极连接到具有电源电压VDD的像素电源，并且其源极电极连接到FD单元26。当在将信号电荷从光电二极管21传送到FD单元26之前重置脉冲RST被提供到栅极电极时，重置晶体管23将FD单元26的电势重置到电源电压VDD。
放大晶体管24的栅极电极连接到FD单元26，并且其漏极电极连接到具有电源电压VDD的像素电源。在由重置晶体管23重置之后，放大晶体管24输出FD单元26的电势作为重置电平，并且在由传送晶体管22传送信号电荷之后输出FD单元26的电势作为信号电平。
选择晶体管25的漏极电极连接到放大晶体管24的源极电极，并且其源极电极连接到垂直信号线111。选择晶体管25在选择脉冲SEL被提供到其栅极电极时设置处于选择状态的像素，并且将从放大晶体管24输出的信号输出到垂直信号线。可以将选择晶体管25连接在像素电源和放大晶体管24的漏极电极之间。
在该示例中，本发明应用到包括四晶体管配置(包括传送晶体管22、重置晶体管23、放大晶体管24和选择晶体管25)的单元像素20的CMOS传感器。然而，本发明不限于该应用示例。
具体地，本发明还可以应用到例如包括三晶体管配置的CMOS传感器，在其中移除选择晶体管25，并且通过使其可以切换电源电压VDD的电压值来向放大晶体管24赋予选择晶体管25的功能。
校正处理
解释校正处理的细节。实现校正处理来用于根据宽动态范围操作获取饱和像素(攻击者)的入射光的亮度值，并且使用高光溢出量与饱和像素的灵敏度成比例的事实，对从像素(校正像素)的***像素经受高光溢出的该像素校正高光溢出量(即，由于从***像素漏入校正像素的光电荷(photo-charge)导致的噪声信号量)。
通过从像素获得通过宽动态范围操作获得的、在积累期间要饱和的像素(攻击者)的入射光亮度(亮度值)计算在校正处理中的校正量。在像素饱和之前不发生高光溢出。因此，量化获得从亮度值，即超过饱和等级的值减去等于饱和等级的亮度值计算出的值，并且通过将该值与系数相乘来获得在超过饱和等级的值的固定比率的、漏入校正像素的高光溢出量。
由于从***像素发生高光溢出，因此将从与校正像素相邻的一个或多个***像素获得的高光溢出量的总和设置为校正值。通过从经受高光溢出的像素(受害者)的亮度值减去高光溢出校正值来执行校正。
如上所述，该校正处理作为在DSP电路40中的各种信号处理之一来执行。在下面解释由DSP电路40执行的校正处理的特定示例。
第一示例
图3是显示根据第一示例的DSP电路40的校正处理的功能的功能方框图。
如图3所示，根据第一示例的DSP电路40A包括视频信号存储区域411、宽动态范围视频信号组合单元412、亮度值判断单元413、校正量计算单元414和校正单元415。
这里，假设通过应用专利文档1中公开的宽动态范围方法、非专利文档1中公开的宽动态范围方法、或由申请人在日本专利申请No.2006-280959中提出的宽动态范围方法(即，通过在曝光期间部分读出高亮度像素并相加高亮度像素的方法(下面称为宽动态范围方法3))实现的宽动态范围操作，从像素阵列单元11中的相应像素获得具有不同灵敏度的第一和第二视频信号。
在图3中，视频信号存储区域411包括，例如，帧存储器，并且临时存储从感兴趣的像素输出的第一和第二视频信号。宽动态范围视频信号组合单元412通过组合第一和第二视频信号(例如，相加第一和第二视频信号)来获得宽动态范围视频信号。
亮度值确定单元413将宽动态范围视频信号的亮度值与参考亮度值1进行比较，由此判断感兴趣的像素是否被高光溢出影响。亮度值判断单元413提供判断信号到校正量计算单元414，并且将宽动态范围视频信号直接传送到校正单元415。
当宽动态范围视频信号的亮度值小于参考亮度值1时，亮度值判断单元413判断感兴趣的像素受到高光溢出影响。假设参考亮度值1是等于在曝光时间段像素至少临时饱和的最低入射光亮度。后面将描述参考亮度值的设置的细节。当视频信号的亮度值低于参考亮度值1时，这表示在曝光时间段该像素未饱和。
校正量计算单元414将像素(关于其从亮度值判断单元413提供判断信号)设置为要被校正的像素(校正像素)，并且从该像素的***信号中的、其亮度值超出参考亮度值2的像素的视频信号的亮度值计算校正量。与参考亮度值1相同，参考亮度值2等于像素饱和的输出值。将在曝光时间段至少临时饱和的像素的视频信号检测为校正量计算的对象。
校正单元415通过将由校正量计算单元414计算出的校正量(高光溢出校正值)应用到从亮度值判断单元413输入的宽动态范围视频信号的亮度值，例如从宽动态范围视频信号的亮度值减去校正量来校正高光溢出量，并且在校正之后输出宽动态范围视频信号作为视频信号。
参考亮度值1的设置
更具体地解释参考亮度值1的设置。如图4所示，当以长积累时间和短积累时间获得具有不同灵敏度的第一和第二视频信号时，如图5A所示，依赖于入射光亮度像素临时饱和。在这种情况下，图5B显示像素饱和的最低入射光亮度。等于最低入射光亮度的输出值REF1和REF2是参考亮度值1。
当将参考亮度值的亮度值与第一视频信号进行比较时，输出值REF1是参考亮度值1。当参考亮度值1的亮度值与视频信号2进行比较时，输出值REF2是参考亮度值1。当第一和第二视频信号的亮度值小于参考亮度值1时，判断在曝光时间段期间像素不饱和。然而，考虑到容限(margin)，最好将参考亮度值1设置为稍微小于输出值REF1和REF2。
如图6所示，例如，如图7A所示，当将不同的积累时间应用到相应像素或相应行时，被应用了短积累时间的像素可能在开始短积累时间之前饱和。图7B显示像素饱和的最低入射光亮度的情况。将输出值REF3设置为参考亮度值。
第二示例
图8是显示根据第二示例的DSP电路40B的校正处理功能的示例的功能方框图。在该图中，由相同的附图标记指示与图3的部件相同的部件。
如宽动态范围方法1和2那样，在从芯片30交替地输出等于长曝光时间段的高灵敏度图像帧和等于短曝光时间段的低灵敏度图像帧的条件下，描述根据第二示例的DSP电路40B。
较早从芯片30输出的高灵敏度图像帧和低灵敏度图像帧之一被临时存储在包括帧存储器的视频信号存储区域411中。在该示例中，较早从芯片30输出作为低灵敏度图像(在短曝光时间段)的第二视频信号，并且将其存储在视频信号存储区域411中。
当从芯片30读出作为高灵敏度图像(在长曝光时间段中的图像)的第一视频信号时，宽动态范围视频信号组合单元412通过组合临时存储在视频信号存储区域411中的第一视频信号和第二视频信号(例如，将第一视频信号和第二视频信号相加)来获得宽动态范围视频信号。
亮度值判断单元413每次在从芯片30顺序读取第一视频信号时，通过将宽动态范围视频信号的亮度值与参考亮度值1进行比较来判断像素是否是经受高光溢出的像素(受害者)。亮度值判断单元413将判断信号提供给校正量计算单元414，并且直接将宽动态范围视频信号传送到校正单元415。
校正量计算单元414将关于其从亮度值判断单元413提供判断信号的像素设置为要被校正的像素(校正像素)，并且从该像素的***像素中的、其亮度值超过参考亮度值2的像素的亮度值计算校正量(高光溢出校正值)。校正单元415通过从亮度值判断单元413输入的宽动态范围视频信号减去由校正量计算单元414计算出的校正量来校正高光溢出量，并且在校正后输出宽动态范围视频信号作为视频信号。
在第一示例中，较早读出作为低灵敏度图像的第二视频信号。然而，当较早读出作为高灵敏度图像的第一视频信号时，在帧存储器中存储图像的图像帧，在存储介质中临时存储接下来要被读出的低灵敏度图像的多个行的像素值，并且使用该像素值来从***像素的像素值预测高光溢出量是完全可以的。
当针对每个像素或每一行(而是不每一帧)交替输出第一视频信号和第二视频信号时，只有计算所需的视频信号必须存储在视频信号存储区域411中。不需要总是存储所有的帧。
第三示例
图9是显示根据第三示例的DSP电路40C的校正处理功能的功能的示例的方框图。在图中，由相同的附图标记指示与图8的部件相同的部件。
如图9所示，在根据第三示例的DSP电路40C中，在校正单元415的后级(post stage)设置宽动态范围视频信号组合单元412。通过组合由校正单元415校正的第一视频信号和临时存储在视频信号存储区域411中的第二视频信号(例如，将第一视频信号和第二视频信号相加)来获得宽动态范围视频信号。
甚至在执行针对可视频信号的高光溢出量的校正之后执行用于组合宽动态范围视频信号的处理之后，可以实现与第二示例的校正处理相同的校正处理。
如上述的第一到第三示例那样，在DSP电路40中，通过宽动态范围操作获取饱和像素(攻击者)的入射光的亮度值，使用高光溢出量与饱和像素的灵敏度成比例的事实，从饱和像素的第二视频信号的亮度值预测高光溢出量，并且从高光溢出量计算校正量来校正经受高光溢出的像素(受害者)的高光溢出量。因此，可以控制由于高光溢出引起的非线性(见图23)。因此，由于可以精确地表示图像的层次，所以可以改善图像质量。在彩色图像中，可以解决彩色漂移，即由于亮度导致与实际色彩的色差的产生。
图10显示通过实验获得的校正处理的效果。关于通过透射波长G的G过滤器的入射光，从具有高灵敏度的G(绿色)像素向具有低灵敏度的R(红色)像素发生高光溢出。
当在高灵敏度G像素中从低亮度区域输出的第一视频信号饱和时，即，当第一视频信号的亮度值超出参考亮度值2(Dref2)时，在R像素中发生高光溢出。此外，当低灵敏度R像素的第一视频信号未饱和时，即，当第一视频信号的亮度值小于参考亮度值1(Dref1)时，高光溢出量引起的错误破坏线性。
应用根据第一到第三示例的校正处理(信号处理)来从***高灵敏度G像素计算高光溢出校正量，并且根据高光溢出校正量校正R信号的输出。因此，可以将输出校正到接近理想线性的输出特性。
修改
在上述实施例中，由DSP电路40执行用于校正经受高光溢出的像素(受害者)的高光溢出量的校正处理。然而，可以在微计算机的控制下使用软件执行用于校正处理的一系列处理。
参照流程图11和图12A到12D中用于解释处理的图示来解释使用软件执行校正处理中的处理过程。解释从通过应用宽动态范围方法1、2、3等获得具有不同灵敏度的第一和第二视频信号直到输出校正后的视频信号输出为止的一系列处理过程。
获得感兴趣的像素i的第一视频信号的亮度值Dlow_i和第二视频信号的亮度值Dhigh_i。然后，首先判断第一视频信号的亮度值Dlow_i是否小于作为低灵敏度像素的饱和级的参考亮度值Dref1，由此判断感兴趣的像素i是否是经受高光溢出的像素(受害者)(步骤S11)。
如图12A所示，在经受高光溢出的像素(受害者)i中，当第一视频信号的亮度值Dlow_i小于参考亮度值Dref1(Dlow_i＜Dref1)时，使用第一视频信号的亮度值Dlow_i令像素未饱和。判断像素经受在像素饱和时发生的高光溢出。
当在步骤S11判断出感兴趣的像素i未经受高光溢出时，不执行校正处理。当判断出感兴趣的像素i是经受高光溢出的像素(受害者)时，感兴趣的像素i被设置为要被校正的像素，并且从校正像素i的周围像素检测在曝光时间段期间或在电荷积累期间要饱和的像素(攻击者)j(步骤S12)。
如图12B所示，当***像素j的第二视频信号的亮度值Dhigh_j超出作为高灵敏度像素的饱和级的参考亮度值Dref2时(即Dhigh_j＞Dref2)时，使用第二视频信号的亮度值Dhigh_j令像素饱和。因此，在与像素i相邻的***像素j中发生高光溢出。
从引起高光溢出的***像素(攻击者)j的像素值Dhigh_j减去等于令像素j饱和的亮度的像素值Dref2(Dhigh_j-Dref2)。将通过将减法结果与对应于漏入光电荷的比率(高光溢出)的校正系数A_j相乘获得的值设置为来自系数j的高光溢出量(步骤S13)。
换句话说，根据高光溢出量与饱和像素的灵敏度成比例的事实，通过将像素h的像素值Dhigh_j超出参考亮度值Dref2的部分与校正系数A_j相乘获得的值A_j(Dhigh_j-Dref2)被预测为来自像素j的高光溢出量。
如图12C所示，来自***像素j的高光溢出量A_j(Dhigh_j-Dref2)的总和是包含在校正像素i中的高光溢出量。因此，获得该总和作为校正像素i的校正量(高光溢出校正量)Dblm_i(步骤S14)。
如图12D所示，从经受高光溢出的像素(受害者)i的亮度值Dlow_i中减去在步骤S14中获得的高光溢出校正量Dblm_i，由此执行关于高光溢出的校正，以输出第一视频信号Dout_i作为校正后的第一视频信号。
如上所述，即使在微计算机的控制下由软件执行用于校正经受高光溢出的像素(受害者)的高光溢出量的校正处理，也可以如由DPS电路40执行校正处理那样控制由于高光溢出导致的非线性。因此，由于可以精确地表示图像的层次，因此可以改善图像质量。在彩色图像中，可以解决色彩漂移的问题，即，由于亮度导致的与实际色彩的色差的产生。
在实施例和实施例的修改中，可以通过使用较大数量的像素作为感兴趣的像素的***像素(用于预测经受高光溢出的像素(校正像素)的高光溢出量)预测高光溢出量来改善校正精度。然而，如果诸如相邻一个像素、左右两个像素、上下两个像素、上下左右四个像素或上下左右以及倾斜方向上的八个像素之类的至少一个像素被表示为***像素，则可以获得校正效果。
当预测高光溢出量时，超过饱和级的值与对应于漏入光电荷的比率的校正系数A j相乘。可以根据***像素与校正像素的位置关系，即***像素排列的方向和与校正像素的物理距离或滤色器的像素特性的差异，通过应用不同的系数值作为校正系数A_j改善校正精度。这是因为在与校正像素左右和上下相邻以及与校正像素倾斜相邻的像素中，高光溢出量是不同的，并且由于像素特定不同而高光溢出量也是不同的。
第二实施例
图13是显示根据本发明第二实施例的固态成像元件，例如CMOS图像传感器的配置示例的***图示。在图中，由相同的附图标记表示与图1的部件相同的部件。
在根据该实施例的CMOS图像传感器10B中，将用于校正经受高光溢出的像素(受害者)的高光溢出量的校正功能提供给列电路13。另外，CMOS图像传感器10B与根据第一实施例的CMOS图像传感器19A相同。因此，在下面的解释中，主要解释列电路13的结构和操作，省略其它部件的解释以避免不简明。
列电路13包括一组单元列电路130，该单元列电路130，例如，包括在像素阵列单元11的像素阵列的相应像素列上(即，以与像素列的一一对应关系)排列的信号处理电路131。列电路13通过垂直信号线111将预定的信号处理应用到从通过垂直扫描电路12的垂直扫描选择的读出行中的相应像素20输出的信号，并且在信号处理后临时保存像素信号。
在单元列电路130中，信号处理电路131通过垂直信号线111将各种信号处理应用到从所选行中的相应像素20输出的像素信号，各种信号处理诸如用于利用CDS处理减少重置噪声和诸如放大晶体管24的阈值波动(见图2)之类的、像素特有的固定模式噪声的降噪处理、用于宽动态范围的信号组合处理和用于将模拟信号转换为数字信号的AD转换处理。
校正处理电路
校正处理电路132执行用于校正经受高光溢出的像素(受害者)的高光溢出量的校正处理。参照具体示例解释校正处理电路132的细节。
在下面解释的相应示例中，当应用宽动态范围方法1到3中，CMOS图像传感器10B使用像素的浮动扩散电容(stray diffusion capacitor)或通过向像素添加模拟存储器来保存在像素中较早读出的图像帧，并且以像素为单元或以行为单元顺序输出来自高灵敏度像素和低灵敏度像素的信号。替代地，当应用宽动态范围方法2时，在像素阵列中混合高灵敏度像素和低灵敏度像素，并且在读出像素值中，CMOS图像传感器10B以像素为单元或以行为单元交替输出像素值。
第一示例
图14是显示根据第一示例的校正处理电路132A的配置示例的方框图。
如图14所示，根据第一示例的校正处理电路132A包括亮度值判断电路1321、校正量计算电路1322和校正电路1323。
亮度值判断电路1321具有与根据第一实施例的亮度值判断单元413的功能相同的功能。亮度值判断电路1321将经受用于信号处理电路131的宽动态范围的信号组合处理的视频信号(宽动态范围视频信号)的亮度值与参考电路值1进行比较，由此判断感兴趣的像素是否受高光溢出影响。亮度值判断电路1321将判断信号提供给校正量计算电路1322，并且直接将视频信号发送到校正电路1323。
当亮度值小于参考亮度值1时，亮度值判断单元1321判断感兴趣的像素经历高光溢出。假设参考亮度值1是等于用以在曝光时间段像素至少临时饱和的最低入射光亮度。当视频信号的亮度值低于参考亮度值1，则这表示在曝光时间段该像素未饱和。参考亮度值1的设置与第一实施例相同。
校正量计算单元1322具有与根据第一实施例的校正值计算单元的功能的相同的功能。校正量计算单元1322将像素(关于其从亮度值判断单元1321提供判断信号)设置为要被校正的像素(校正像素)，并且从该像素的***信号中的、其亮度值超出参考亮度值2的像素的视频信号的亮度值计算校正量。
如图15所示，例如，校正量计算电路1322将要被校正的像素(感兴趣的像素)左和右侧上的两个像素设置为用于校正量计算出的***像素。与参考亮度值1相同，假设参考亮度值2是等于像素饱和的输出值的输出值。在曝光时间段临时饱和的像素的视频信号被检测为校正量计算的对象。
校正电路1323具有与第一实施例中的校正单元415的功能相同的功能。校正电路1323通过将由校正量计算电路1332计算出的校正量(高光溢出校正值)应用到从亮度值判断电路1321输入的宽动态范围视频信号的亮度值(例如，从宽动态范围视频信号的亮度值减去校正量)来校正高光溢出量，并且在校正后输出宽动态范围视频信号作为视频信号。
第二示例
图16显示根据第二实施例的校正处理电路132B的配置示例的方框图。在该图中，与图14所示的组件相同的组件用同意附图标记表示。
如图16所示，根据第二示例的校正处理电路132B设置要被校正的像素的上下左右四个像素作为用于校正量计算出的***像素。因此，除了亮度值判断电路1321、校正量计算电路1322和校正电路1323之外，校正处理电路132B还包括三个存储电路(A)1324、(B)1325和(C)1326。
要被校正的像素B之上的像素A的信号被存储在存储电路(A)1324中。要被校正的像素B的信号被存储在存储电路(B)1325中。要被校正的像素B之下的像素C的信号被存储在存储电路(C)1326中。
亮度值判断电路1321将经受用于信号处理电路131的宽动态范围的信号组合操作的像素B的宽动态范围视频信号的亮度值与参考亮度值1进行比较，由此判断像素B是否被高光溢出影响。亮度值判断电路1321将判断信号提供给校正量计算电路1322，并且直接将宽动态范围视频信号传送到校正电路1323。
当从亮度值判断电路1321得到关于像素B的判断信号时，校正量计算电路1322将像素B设置为要被校正的像素，并且将像素B左右上的像素的相应亮度值、存储在存储电路(A)1324中的像素A的信号和存储在存储电路(C)1326中的像素C的信号与参考亮度值2进行比较，并且使用其亮度值超出参考亮度值2的像素信号来计算校正量。
校正电路1323通过从亮度值判断电路1321输入的像素B的宽动态范围视频信号减去由校正量计算电路1322计算出的校正量来校正高光溢出量，并且在校正后输出宽动态范围视频信号作为视频信号。
如上述第一和第二示例那样，在列电路13中，通过宽动态范围操作获取饱和像素(攻击者)的入射光的亮度值，使用高光溢出量与饱和像素的灵敏度成比例的事实从饱和像素的第二视频信号的亮度值预测高光溢出量，并且从高光溢出量计算校正量来校正经受高光溢出的像素的高光溢出量。因此，可以控制由于高光溢出导致的非线性。因此，由于可以精确地表示图像的层次，因而可以改善图像质量。在彩色图像中，可以解决色彩漂移的问题，即由于亮度导致产生与实际色彩的色差。
用于预测经受高光溢出的像素(校正像素)的高光溢出量的校正像素的***像素在第一示例中是在左右的两个像素，以及在第二示例中的在上下左右的四个像素。然而，***像素不限于此。如果将诸如相邻一个像素、或者上下、左右以及在倾斜方向上的八个像素之类的至少一个像素表示为***像素，则可以获得校正的效果。然而，可以通过使用较大数量的像素预测高光溢出量来改善校正精度。
如在第一实施例那样，当预测高光溢出量时，将超出饱和级的值乘以与漏入光电荷的比率对应的校正系数。可以通过根据校正像素和***像素位置关系，即其中排列***像素的方向以及到校正像素的物理距离或滤色器的像素特性中的差异应用不同的系数值作为校正***来改善校正精度。
修改
在上述实施例中，从具有两个灵敏度，即高灵敏度和低灵敏度的第一和第二视频信号的亮度值计算校正量。然而，本发明不限于此。还可以获得具有第一灵敏度的第一视频信号以及具有相互不同的多个第二灵敏度的多个第二、第三、…、第N视频信号，并且针对第一、第二、第三、…、第N视频信号的每一个从具有较低灵敏度的一个或多个视频信号的亮度值计算校正量。
在实施例中描述的示例中，将本发明应用到CMOS图像传感器，该CMOS传感器中以矩阵形状排列用于将与可见光的光量对应的信号电荷检测为物理量的单元像素。然而，本发明不限于应用到CMOS图像传感器。本发明可以应用到通常采用诸如宽动态范围方法1到3之类的扩展动态范围的方法的固态成像装置。
本发明不限于应用到用于检测可见光的入射光量的分布并将该分布成像为图像的固态成像装置。本发明通常可应用到固态成像装置(物理量分布检测装置)，诸如将红外线、X射线、粒子等的入射光量的分布成像为图像的固态成像装置以及检测(在更广的意义下)诸如压力和电容之类的其它物理量的分布并将该分布成像为图像的指纹检测传感器。
此外，本发明不仅可应用到以行为单元扫描像素阵列中的相应单位像素，并且从相应单元像素读出像素信号的固态成像装置，而且可以应用到选择像素单元中的任意像素，并且从像素单元中的所选择的像素读出信号的固态成像装置。
可以将固态成像装置形成为一个芯片，或者可以是具有通过整合地封装成像单元和信号处理单元或光学***形成成像功能的模块形式。
本发明不限于应用到固态成像装置，还可以应用到成像设备。成像设备指的是诸如数字静态照相机或视频照相机之类的照相机***或诸如手机之类的具有成像功能的电子设备。安装在电子设备上的模块形式，即照相机模块可以是成像设备。
成像设备
图18是显示根据本发明实施例的成像设备的结构的示例的方框图。如图18所示，根据本发明实施例的成像设备50包括光学***51、固态成像装置52、作为照相机信号处理电路的DSP电路53、帧存储器54、显示器装置55、记录装置56、操作***57和电源***58。DSP电路53、帧存储器54、显示器装置55、记录装置56、操作***57和电源***58经由总线59相互连接。
透镜组51捕获来自景物(subject)的入射光，并且将入射光聚焦在固态成像装置52的成像表面上。固态成像装置52将通过透镜组51聚焦在成像表面上的入射光的光量以像素为单元转换为电信号，并且将电信号作为像素信号输出。作为固态成像装置52，使用根据上述第一和第二实施例的CMOS图像传感器10A和10B。
显示器装置55包括诸如液晶显示器装置或有机EL(电致发光)显示器装置之类的面板型显示器装置。该显示器装置55显示由固态成像装置52成像的运动图像或静态图像。记录装置56在诸如录像带或DVD(数字多功能盘)之类的记录介质中记录由固态成像装置52成像的运动图像或静态图像。
操作***57在用户的控制下发出用于成像设备的各种功能的操作命令。电源***58合适地将用作DSP电路53、帧存储器54、显示器装置55、记录装置56、操作***57和电源***58的操作电源的各种电源提供给这些供电对象。
如上所述，在诸如视频照相机或数字静态照相机之类的成像设备和用于诸如手机之类的移动设备的照相机模块中，根据上述第一和第二实施例的CMOS图像传感器10A和10B被用作成像设备的固态成像装置。因此，在CMOS图像传感器10A和10B中，可以通过校正经受高光溢出的像素的高光溢出量，并控制由于高光溢出导致的非线性来精确地表示图像的层次。因此，可以实现具有高图像质量的成像设备。
本领域技术人员应该理解，可以根据涉及需要或其它因素对本发明进行各种修改、组合、子组合和改变，其均落入所附权利要求及其等效物的范围内。

Claims (21)

1.一种固态成像装置，包括：
像素阵列单元，其中以矩阵形状排列包括用于将光信号转换为信号电荷的光电转换元件的单元像素；和
信号处理电路，用于获得在第一灵敏度下成像的第一视频信号和在第二灵敏度下成像的第二视频信号，并且执行用于组合该第一和第二视频信号的处理，其中
该信号处理电路包括：
判断装置，用于根据参考亮度值比较该像素阵列单元中感兴趣的像素的该第一视频信号的亮度值等级和该第二视频信号的亮度值等级，由此判断该感兴趣的像素是否是在曝光时间段期间要饱和的像素；
计算装置，用于将由该判断装置判断为要饱和的像素的该感兴趣的像素设置为校正像素，并且基于该校正像素的***像素的该第二视频信号的亮度值计算校正量；和
校正装置，用于将通过该计算装置获得的该校正量应用到该校正像素的第一视频信号的亮度值，由此校正由于光电荷从***像素漏入校正像素导致的噪声信号量。
2.如权利要求1所述的固态成像装置，其中该第一灵敏度高于该第二灵敏度。
3.如权利要求1所述的固态成像装置，其中计算装置获得在该第一灵敏度下成像的第一视频信号以及在低于该第一灵敏度的、相互不同的多个第二灵敏度下成像的多个第二、第三、...、和第N视频信号，并且针对该第一、第二、第三、...第N视频信号中的每一个，从具有较低灵敏度的一个或多个视频信号的亮度值计算校正量。
4.如权利要求1所述的固态成像装置，其中当在第一灵敏度和第二灵敏度下成像视频信号时，判断装置将在等于曝光时间段的末尾饱和、或在曝光时间段临时饱和的像素的入射光亮度的输出值设置为该参考亮度值。
5.如权利要求1所述的固态成像装置，其中计算装置从该***像素的第二视频信号的亮度值减去该参考亮度值，并且将通过将减法的结果与校正系数相乘获得的值设置为校正量。
6.如权利要求5所述的固态成像装置，其中计算装置根据该***像素与该校正像素的位置关系或该校正像素和该***像素之间的像素特性中的差异，将不同的系数值作为该校正系数应用在计算校正量中。
7.如权利要求5所述的固态成像装置，其中
存在多个该***像素，和
计算装置针对相应的多个***像素，从该***像素的该第二视频信号的亮度值减去该参考亮度值，计算通过将减法的结果与校正系数相乘而获得的值，并且将这些值的总和设置为校正量。
8.如权利要求1所述的固态成像装置，其中在形成该像素阵列的基片的外部提供该信号处理电路。
9.如权利要求1所述的固态成像装置，其中在该像素阵列单元的像素阵列中的每一单元列或每一多个列的组中提供该信号处理电路。
10.如权利要求9所述的固态成像装置，其中该信号处理电路具有存储一个或多个像素的亮度值的存储电路。
11.一种在包括其中以矩阵形状排列包括用于将光信号转换为信号电荷的光电转换元件的单元像素的像素阵列单元的固态成像装置中的信号处理电路，用于获得在第一灵敏度下成像的第一视频信号和在第二灵敏度下成像的第二视频信号，并且执行用于组合该第一和第二视频信号的处理，该信号处理电路包括：
判断装置，用于根据参考亮度值比较该像素阵列单元中感兴趣的像素的该第一视频信号的亮度值等级和该第二视频信号的亮度值等级，由此判断该感兴趣的像素是否是在曝光时间段期间要饱和的像素；
计算装置，用于将由该判断装置判断为要饱和的像素的该感兴趣的像素设置为校正像素，并且基于该校正像素的***像素的该第二视频信号的亮度值计算校正量；和
校正装置，用于将通过该计算装置获得的该校正量应用到该校正像素的第一视频信号的亮度值，由此校正由于光电荷从***像素漏入校正像素导致的噪声信号量。
12.一种在包括其中以矩阵形状排列包括用于将光信号转换为信号电荷的光电转换元件的单元像素的像素阵列单元的固态成像装置中获得在第一灵敏度下成像的第一视频信号和在第二灵敏度下成像的第二视频信号，并且执行用于组合该第一和第二视频信号的信号处理方法，该信号处理方法包括：
根据参考亮度值比较该像素阵列单元中感兴趣的像素的该第一视频信号的亮度值等级和该第二视频信号的亮度值等级，由此判断该感兴趣的像素是否是在曝光时间段期间要饱和的像素；
将由该判断步骤判断为要饱和的像素的该感兴趣的像素设置为校正像素，并且基于该校正像素的***像素的该第二视频信号的亮度值计算校正量；和
将通过该计算步骤获得的该校正量应用到该校正像素的第一视频信号的亮度值，由此校正由于光电荷从该***像素漏入校正像素导致的噪声信号量。
13.如权利要求12所述的信号处理方法，其中该第一灵敏度高于该第二灵敏度。
14.如权利要求12所述的信号处理方法，其中在计算步骤中，获得在该第一灵敏度下成像的第一视频信号以及在低于该第一灵敏度的、相互不同的多个第二灵敏度下成像的多个第二、第三、...、和第N视频信号，并且针对该第一、第二、第三、...第N视频信号中的每一个从具有较低灵敏度的一个或多个视频信号的亮度值计算校正量。
15.如权利要求12所述的信号处理方法，其中在判断步骤中，当在第一灵敏度和第二灵敏度下成像视频信号时，将在等于曝光时间段的末尾饱和、或在曝光时间段临时饱和的像素的入射光亮度的输出值设置为该参考亮度值。
16.如权利要求12所述的信号处理方法，其中在计算步骤中，从该***像素的第二视频信号的亮度值减去该参考亮度值，并且将通过将减法的结果与校正系数相乘获得的值设置为校正量。
17.如权利要求16所述的信号处理方法，其中在计算步骤中，根据该***像素与该校正像素的位置关系或该校正像素和该***像素之间的像素特性中的差异，将不同的系数值作为该校正系数应用在计算校正量中。
18.如权利要求16所述的信号处理方法，其中
存在多个该***像素，和
在计算步骤中，针对相应的多个***像素，从该***像素的该第二视频信号的亮度值减去该参考亮度值，计算通过将减法的结果与校正系数相乘而获得的值，并且将这些值的总和设置为校正量。
19.一种成像设备，包括：
固态成像装置，包括其中以矩阵形状排列包括用于将光信号转换为信号电荷的光电转换元件的单元像素的像素阵列单元以及用于获得在第一灵敏度下成像的第一视频信号和在第二灵敏度下成像的第二视频信号并执行用于组合该第一和第二视频信号的处理的信号处理电路；和
光学***，用于将入射光聚焦在固态成像装置的成像表面上，其中
该信号处理电路包括：
判断装置，用于根据参考亮度值比较该像素阵列单元中感兴趣的像素的该第一视频信号的亮度值等级和该第二视频信号的亮度值等级，由此判断该感兴趣的像素是否是在曝光时间段期间要饱和的像素；
计算装置，用于将由该判断装置判断为要饱和的像素的该感兴趣的像素设置为校正像素，并且基于该校正像素的***像素的该第二视频信号的亮度值计算校正量；和
校正装置，用于将通过该计算装置获得的该校正量应用到该校正像素的第一视频信号的亮度值，由此校正由于光电荷从***像素漏入校正像素导致的噪声信号量。
20.一种固态成像装置，包括：
像素阵列单元，其中以矩阵形状排列包括用于将光信号转换为信号电荷的光电转换元件的单元像素；和
信号处理电路，用于获得在第一灵敏度下成像的第一视频信号和在第二灵敏度下成像的第二视频信号，并且执行用于组合该第一和第二视频信号的处理，其中
该信号处理电路包括：
判断单元，用于根据参考亮度值比较该像素阵列单元中感兴趣的像素的该第一视频信号的亮度值等级和该第二视频信号的亮度值等级，由此判断该感兴趣的像素是否是在曝光时间段期间要饱和的像素；
计算单元，用于将由该判断单元判断为要饱和的像素的该感兴趣的像素设置为校正像素，并且基于该校正像素的***像素的该第二视频信号的亮度值计算校正量；和
校正单元，用于将通过该计算单元获得的该校正量应用到该校正像素的第一视频信号的亮度值，由此校正由于光电荷从***像素漏入校正像素导致的噪声信号量。
21.一种在包括其中以矩阵形状排列包括用于将光信号转换为信号电荷的光电转换元件的单元像素的像素阵列单元的固态成像装置中的信号处理电路，用于获得在第一灵敏度下成像的第一视频信号和在第二灵敏度下成像的第二视频信号，并且执行用于组合该第一和第二视频信号的处理，该信号处理电路包括：
判断单元，用于根据参考亮度值比较该像素阵列单元中感兴趣的像素的该第一视频信号的亮度值等级和该第二视频信号的亮度值等级，由此判断该感兴趣的像素是否是在曝光时间段期间要饱和的像素；
计算单元，用于将由该判断单元判断为要饱和的像素的该感兴趣的像素设置为校正像素，并且基于该校正像素的***像素的该第二视频信号的亮度值计算校正量；和
校正单元，用于将通过该计算单元获得的该校正量应用到该校正像素的第一视频信号的亮度值，由此校正由于光电荷从***像素漏入校正像素导致的噪声信号量。
CN200810108818XA 2007-05-24 2008-05-26 固态成像装置、信号处理装置和信号处理方法和成像设备 Expired - Fee Related CN101312504B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP137540/07 2007-05-24
JP2007137540A JP4325703B2 (ja) 2007-05-24 2007-05-24 固体撮像装置、固体撮像装置の信号処理装置および信号処理方法、ならびに撮像装置

Publications (2)

Publication Number Publication Date
CN101312504A true CN101312504A (zh) 2008-11-26
CN101312504B CN101312504B (zh) 2011-01-19

Family

ID=40072017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810108818XA Expired - Fee Related CN101312504B (zh) 2007-05-24 2008-05-26 固态成像装置、信号处理装置和信号处理方法和成像设备

Country Status (5)

Country Link
US (3) US8908065B2 (zh)
JP (1) JP4325703B2 (zh)
KR (1) KR101464750B1 (zh)
CN (1) CN101312504B (zh)
TW (1) TW200913681A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102273188A (zh) * 2009-11-06 2011-12-07 松下电器产业株式会社 拍摄装置
CN102348073A (zh) * 2010-07-21 2012-02-08 卡尔斯特里姆保健公司 具有减小的噪声的数字射线照相成像阵列
CN102450019A (zh) * 2010-01-07 2012-05-09 松下电器产业株式会社 图像处理装置、图像生成***、方法及程序
CN102567962A (zh) * 2010-10-27 2012-07-11 索尼公司 图像处理装置、成像装置以及图像处理方法和程序
CN102722872A (zh) * 2012-05-30 2012-10-10 山东神思电子技术股份有限公司 数字图像局部高光溢出消除方法
US8355059B2 (en) 2009-02-06 2013-01-15 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
CN101800858B (zh) * 2009-02-06 2013-01-16 佳能株式会社 摄像设备及其控制方法
CN102907103A (zh) * 2010-06-02 2013-01-30 索尼公司 图像处理设备、图像处理方法和程序
CN101895695B (zh) * 2009-02-10 2013-03-27 索尼公司 固态成像装置,其驱动方法和成像设备
CN103561254A (zh) * 2010-05-20 2014-02-05 夏普株式会社 显示方法
CN104041022A (zh) * 2012-01-17 2014-09-10 本田技研工业株式会社 图像处理装置
CN104284105A (zh) * 2013-07-11 2015-01-14 索尼公司 固态成像器件、固态成像方法以及电子装置
CN108259792A (zh) * 2018-01-16 2018-07-06 德淮半导体有限公司 图像传感器单元
CN109686316A (zh) * 2019-03-04 2019-04-26 上海大学 一种数字扫描电路

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7442629B2 (en) 2004-09-24 2008-10-28 President & Fellows Of Harvard College Femtosecond laser-induced formation of submicrometer spikes on a semiconductor substrate
US7057256B2 (en) 2001-05-25 2006-06-06 President & Fellows Of Harvard College Silicon-based visible and near-infrared optoelectric devices
JP2010139782A (ja) 2008-12-11 2010-06-24 Sony Corp 表示装置、表示装置の駆動方法およびプログラム
US8970707B2 (en) 2008-12-17 2015-03-03 Sony Computer Entertainment Inc. Compensating for blooming of a shape in an image
US9673243B2 (en) 2009-09-17 2017-06-06 Sionyx, Llc Photosensitive imaging devices and associated methods
US8692198B2 (en) 2010-04-21 2014-04-08 Sionyx, Inc. Photosensitive imaging devices and associated methods
EP2583312A2 (en) 2010-06-18 2013-04-24 Sionyx, Inc. High speed photosensitive devices and associated methods
WO2012086127A1 (ja) * 2010-12-20 2012-06-28 パナソニック株式会社 画像処理装置、撮像装置、及び画像処理方法
US8810663B2 (en) * 2011-01-27 2014-08-19 Aptina Imaging Corporation Methods for motion correction for high-dynamic-range imaging systems
US9496308B2 (en) 2011-06-09 2016-11-15 Sionyx, Llc Process module for increasing the response of backside illuminated photosensitive imagers and associated methods
US20130016203A1 (en) 2011-07-13 2013-01-17 Saylor Stephen D Biometric imaging devices and associated methods
JP2013038504A (ja) 2011-08-04 2013-02-21 Sony Corp 撮像装置、および画像処理方法、並びにプログラム
JP2013050538A (ja) 2011-08-30 2013-03-14 Sony Corp 表示装置および電子機器
JP5917258B2 (ja) * 2012-04-20 2016-05-11 キヤノン株式会社 画像処理装置及び画像処理方法
JP5979961B2 (ja) * 2012-05-07 2016-08-31 キヤノン株式会社 焦点検出装置、焦点検出方法及び撮像装置
JP2014093754A (ja) 2012-11-07 2014-05-19 Sony Corp 撮像素子、撮像方法
US9307207B2 (en) * 2013-01-07 2016-04-05 GM Global Technology Operations LLC Glaring reduction for dynamic rearview mirror
JP6466346B2 (ja) * 2013-02-15 2019-02-06 サイオニクス、エルエルシー アンチブルーミング特性を有するハイダイナミックレンジｃｍｏｓ画像センサおよび関連づけられた方法
JP5855035B2 (ja) 2013-02-28 2016-02-09 株式会社東芝 固体撮像装置
JP5865555B2 (ja) * 2013-05-13 2016-02-17 富士フイルム株式会社 混色率算出装置及び方法並びに撮像装置
US9209345B2 (en) 2013-06-29 2015-12-08 Sionyx, Inc. Shallow trench textured regions and associated methods
US10123684B2 (en) * 2014-12-18 2018-11-13 Endochoice, Inc. System and method for processing video images generated by a multiple viewing elements endoscope
JP2016208438A (ja) * 2015-04-28 2016-12-08 ソニー株式会社 画像処理装置及び画像処理方法
US9866770B2 (en) * 2015-10-21 2018-01-09 Massachusetts Institute Of Technology Methods and apparatus for true high dynamic range (THDR) time-delay-and-integrate (TDI) imaging
US10572749B1 (en) * 2018-03-14 2020-02-25 Synaptics Incorporated Systems and methods for detecting and managing fingerprint sensor artifacts
TWI695622B (zh) * 2018-09-06 2020-06-01 華晶科技股份有限公司 影像處理方法及影像處理裝置
JP7152912B2 (ja) * 2018-09-06 2022-10-13 キヤノン株式会社 光電変換装置及び撮像システム
FR3087607B1 (fr) * 2018-10-17 2020-11-06 St Microelectronics Crolles 2 Sas Dispositif imageur a obturation globale
JP7379024B2 (ja) * 2019-09-02 2023-11-14 キヤノン株式会社 撮像装置及び信号処理装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5801773A (en) * 1993-10-29 1998-09-01 Canon Kabushiki Kaisha Image data processing apparatus for processing combined image signals in order to extend dynamic range
US6825884B1 (en) * 1998-12-03 2004-11-30 Olympus Corporation Imaging processing apparatus for generating a wide dynamic range image
JP3822393B2 (ja) * 1999-08-10 2006-09-20 富士写真フイルム株式会社 撮像装置および撮像制御方法
JP3717725B2 (ja) 1999-10-07 2005-11-16 三洋電機株式会社 画素欠陥検出方法及び画像処理装置
US6778212B1 (en) * 2000-02-22 2004-08-17 Pixim, Inc. Digital image sensor with on -chip programmable logic
US6924841B2 (en) * 2001-05-02 2005-08-02 Agilent Technologies, Inc. System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels
JP2003023570A (ja) 2001-07-06 2003-01-24 Sanyo Electric Co Ltd 画像データの修正方法及び画像信号処理装置
JP4583680B2 (ja) * 2001-09-28 2010-11-17 パナソニック株式会社 固体撮像装置
JP2003209850A (ja) 2002-01-16 2003-07-25 Toshiba Corp 撮像装置用信号処理回路およびその信号処理方法
GB0205479D0 (en) * 2002-03-08 2002-04-24 Koninkl Philips Electronics Nv Matrix display devices
US7508421B2 (en) * 2002-06-24 2009-03-24 Fujifilm Corporation Image pickup apparatus and image processing method
JP4392492B2 (ja) 2003-06-02 2010-01-06 国立大学法人静岡大学 広ダイナミックレンジイメージセンサ
EP1528797B1 (en) * 2003-10-31 2015-07-08 Canon Kabushiki Kaisha Image processing apparatus, image-taking system and image processing method
JP2005223796A (ja) * 2004-02-09 2005-08-18 Matsushita Electric Ind Co Ltd 画素欠陥補正装置
JP4403387B2 (ja) * 2004-04-26 2010-01-27 ソニー株式会社 固体撮像装置および固体撮像装置の駆動方法
JP4969771B2 (ja) * 2004-07-12 2012-07-04 ソニー株式会社 固体撮像装置及びそのキャパシタ調整方法
KR100757474B1 (ko) * 2005-02-15 2007-09-11 삼성전자주식회사 영상표시장치 및 그의 화소 조절 방법
US7612813B2 (en) * 2006-02-03 2009-11-03 Aptina Imaging Corporation Auto exposure for digital imagers
JP4745876B2 (ja) * 2006-03-29 2011-08-10 キヤノン株式会社 画像処理装置及び画像処理方法
JP4973115B2 (ja) * 2006-10-16 2012-07-11 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP4935486B2 (ja) * 2007-04-23 2012-05-23 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法、固体撮像装置の信号処理方法および撮像装置
JP4992698B2 (ja) * 2007-12-17 2012-08-08 ソニー株式会社 色収差補正装置、撮像装置、色収差算出方法および色収差算出プログラム

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101800857B (zh) * 2009-02-06 2013-10-02 佳能株式会社 摄像设备及其控制方法
US9077905B2 (en) 2009-02-06 2015-07-07 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
US8355059B2 (en) 2009-02-06 2013-01-15 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
CN101800858B (zh) * 2009-02-06 2013-01-16 佳能株式会社 摄像设备及其控制方法
CN101895695B (zh) * 2009-02-10 2013-03-27 索尼公司 固态成像装置,其驱动方法和成像设备
CN102273188B (zh) * 2009-11-06 2013-07-31 松下电器产业株式会社 拍摄装置
CN102273188A (zh) * 2009-11-06 2011-12-07 松下电器产业株式会社 拍摄装置
CN102450019B (zh) * 2010-01-07 2014-12-10 松下电器产业株式会社 图像处理装置、图像生成***、方法及程序
CN102450019A (zh) * 2010-01-07 2012-05-09 松下电器产业株式会社 图像处理装置、图像生成***、方法及程序
CN103561254B (zh) * 2010-05-20 2015-11-18 夏普株式会社 显示方法
CN103561254A (zh) * 2010-05-20 2014-02-05 夏普株式会社 显示方法
CN102907103A (zh) * 2010-06-02 2013-01-30 索尼公司 图像处理设备、图像处理方法和程序
CN102348073A (zh) * 2010-07-21 2012-02-08 卡尔斯特里姆保健公司 具有减小的噪声的数字射线照相成像阵列
CN102567962A (zh) * 2010-10-27 2012-07-11 索尼公司 图像处理装置、成像装置以及图像处理方法和程序
CN104041022A (zh) * 2012-01-17 2014-09-10 本田技研工业株式会社 图像处理装置
CN104041022B (zh) * 2012-01-17 2016-06-29 本田技研工业株式会社 图像处理装置
CN102722872A (zh) * 2012-05-30 2012-10-10 山东神思电子技术股份有限公司 数字图像局部高光溢出消除方法
CN104284105A (zh) * 2013-07-11 2015-01-14 索尼公司 固态成像器件、固态成像方法以及电子装置
CN104284105B (zh) * 2013-07-11 2019-02-19 索尼半导体解决方案公司 固态成像器件、固态成像方法以及电子装置
CN108259792A (zh) * 2018-01-16 2018-07-06 德淮半导体有限公司 图像传感器单元
CN109686316A (zh) * 2019-03-04 2019-04-26 上海大学 一种数字扫描电路

Also Published As

Publication number Publication date
US8456546B2 (en) 2013-06-04
US20120268627A1 (en) 2012-10-25
TWI373964B (zh) 2012-10-01
KR101464750B1 (ko) 2014-11-24
US20080291296A1 (en) 2008-11-27
US8908065B2 (en) 2014-12-09
JP4325703B2 (ja) 2009-09-02
TW200913681A (en) 2009-03-16
CN101312504B (zh) 2011-01-19
JP2008294698A (ja) 2008-12-04
US20150022703A1 (en) 2015-01-22
KR20080103454A (ko) 2008-11-27

Similar Documents

Publication Publication Date Title
CN101312504B (zh) 固态成像装置、信号处理装置和信号处理方法和成像设备
US9899447B2 (en) Solid-state imaging device, method for driving the same, and imaging device
US7978240B2 (en) Enhancing image quality imaging unit and image sensor
JP5167677B2 (ja) 固体撮像装置、固体撮像装置の駆動方法、固体撮像装置の信号処理方法および撮像装置
CN102037722B (zh) 固态成像器件、成像装置和像素驱动方法
KR101424033B1 (ko) 고체 촬상 장치, 고체 촬상 장치의 구동 방법 및 촬상 장치
CN102843526B (zh) 摄像设备及其控制方法
KR101939402B1 (ko) 고체 촬상 소자 및 구동 방법, 및 전자 기기
US8149308B2 (en) Solid-state image pickup device
JP2021182763A (ja) 撮像素子及び撮像装置
WO2016147887A1 (ja) 固体撮像装置およびその制御方法、並びに電子機器
JP2020061758A (ja) 撮像素子及び撮像装置
JP2012244379A (ja) 固体撮像装置
JP2006197229A (ja) 撮像装置およびカメラ
US20240155245A1 (en) Ambient light sensing using image sensor
JP5737924B2 (ja) 撮像装置
JP2018093301A (ja) 撮像素子及び撮像素子の制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110119

Termination date: 20150526

EXPY Termination of patent right or utility model