CN107154801B - 信号处理设备和方法、摄像设备以及控制设备和方法 - Google Patents

信号处理设备和方法、摄像设备以及控制设备和方法 Download PDF

Info

Publication number
CN107154801B
CN107154801B CN201710121031.6A CN201710121031A CN107154801B CN 107154801 B CN107154801 B CN 107154801B CN 201710121031 A CN201710121031 A CN 201710121031A CN 107154801 B CN107154801 B CN 107154801B
Authority
CN
China
Prior art keywords
signal
analog
signal level
digital
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710121031.6A
Other languages
English (en)
Other versions
CN107154801A (zh
Inventor
小布施武范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN107154801A publication Critical patent/CN107154801A/zh
Application granted granted Critical
Publication of CN107154801B publication Critical patent/CN107154801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00—Analogue/digital conversion; Digital/analogue conversion
    • H03M1/06—Continuously compensating for, or preventing, undesired influence of physical parameters
    • H03M1/08—Continuously compensating for, or preventing, undesired influence of physical parameters of noise
    • H03M1/0836—Continuously compensating for, or preventing, undesired influence of physical parameters of noise of phase error, e.g. jitter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00—Analogue/digital conversion; Digital/analogue conversion
    • H03M1/06—Continuously compensating for, or preventing, undesired influence of physical parameters
    • H03M1/08—Continuously compensating for, or preventing, undesired influence of physical parameters of noise
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00—Analogue/digital conversion; Digital/analogue conversion
    • H03M1/10—Calibration or testing
    • H03M1/1009—Calibration
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00—Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12—Analogue/digital converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Analogue/Digital Conversion (AREA)

Abstract

本发明提供一种信号处理设备和方法、摄像设备以及控制设备和方法。信号处理设备包括：模拟‑数字转换器，用于使用具有彼此不同的斜率的多个参考信号来将从图像传感器的像素部输出的模拟信号转换成数字信号；以及确定单元，用于基于转换出的数字信号的分布来确定所述多个参考信号进行改变的信号电平，其中，与所述模拟信号小于所述信号电平的情况相比，所述模拟‑数字转换器在所述模拟信号等于或大于所述信号电平的情况下使用具有更陡的斜率的参考信号来进行所述转换。

Description

信号处理设备和方法、摄像设备以及控制设备和方法
技术领域
本发明涉及信号处理设备、摄像设备、控制设备、信号处理方法和控制方法，并且特别涉及用于进行模拟-数字转换的信号处理设备、摄像设备、控制设备、信号处理方法和控制方法。
背景技术
近来，常见的电视标准已经从被称为“全高清”的电视标准改变成被称为“4K2K”的电视标准，其中，在“全高清”中，存在1920个水平像素以及1080个垂直像素，以及在“4K2K”中，存在3840个水平像素以及2160个垂直像素，这是被称为“高清”的电视标准的像素的4倍多。在将来，期待进一步转变成被称为“8K4K”(“超高清”)的下一代电视标准，其中，在“8K4K”中，存在7680个水平像素以及4320个垂直像素。随着像素数量增多，帧频同样会继续增大。
在用于拍摄电视的视频的摄像设备中，向这种电视标准的转变导致对更多像素和更高帧频的需求增大，并且为了满足这种需求，增大用于将光转换成电信号的图像传感器读出这种视频的速度成为问题。为了增大读出速度，当然需要增大图像传感器中所设置的AD转换器的处理速度。
日本特开2011-211535公开了如下内容：将像素信号和参考电平相比较，并且使用具有不同斜率的斜坡信号来对像素信号进行模拟-数字转换。更具体地，在像素信号大于参考电平的情况下，使用具有第一斜率的斜坡信号来对像素信号进行模拟-数字转换，并且在像素信号等于或小于参考电平的情况下，使用具有比第一斜率平缓的第二斜率的斜坡信号来对像素信号进行模拟-数字转换。这样，缩短了用以进行模拟-数字转换的时间。
然而，如日本特开2011-211535所述，需要使用具有不同斜率的斜坡信号对模拟-数字转换后的信号进行位移动操作，以使得转换后的信号处在同一增益水平。然而，根据斜率之间的差，针对如下像素，可能在视频中可以看到由于位移动操作而引起的位间隙(bitgap)：该像素的在位移动操作之前的信号具有在表示斜坡信号的改变点的参考电平附近的信号电平。为了避免这种位间隙，考虑通过摄像设备的图像处理单元来对具有参考电平附近的信号电平的像素信号叠加随机噪声(抖动)，以使得针对具有斜坡信号的改变点附近的信号电平的像素降低视频中的不自然。
然而，在这种方法中，如果视频的许多像素信号具有参考电平附近的信号电平，则叠加随机噪声的像素信号的数量大，因此可能导致与通常相比具有更多噪声的视频。
发明内容
本发明是考虑到上述情形而做出的，并且在使用具有不同斜率的多个斜坡信号来进行模拟-数字转换的情况下，针对具有斜坡信号的改变点附近的信号电平的像素降低视频中的不自然。
根据本发明，提供一种信号处理设备，包括：模拟-数字转换器，用于使用具有彼此不同的斜率的多个参考信号来进行从图像传感器的像素部所输出的模拟信号向数字信号的转换；以及确定单元，用于基于转换出的数字信号的分布来确定所述多个参考信号进行改变的信号电平，其中，与所述模拟信号小于所述信号电平的情况相比，所述模拟-数字转换器在所述模拟信号等于或大于所述信号电平的情况下使用具有更陡的斜率的参考信号来进行所述转换。
此外，根据本发明，提供一种摄像设备，包括：图像传感器；模拟-数字转换器，用于使用具有彼此不同的斜率的多个参考信号来进行从所述图像传感器的像素部所输出的模拟信号向数字信号的转换；以及确定单元，用于基于转换出的数字信号的分布来确定所述多个参考信号进行改变的信号电平，其中，与所述模拟信号小于所述信号电平的情况相比，所述模拟-数字转换器在所述模拟信号等于或大于所述信号电平的情况下使用具有更陡的斜率的参考信号来进行所述转换。
此外，根据本发明，提供一种控制设备，用于对模拟-数字转换器进行控制，其中所述模拟-数字转换器用于使用具有彼此不同的斜率的多个参考信号来进行从图像传感器的像素部所输出的模拟信号向数字信号的转换，所述控制设备包括：确定单元，用于基于转换出的数字信号的分布来确定所述多个参考信号进行改变的信号电平；以及通知单元，用于向所述模拟-数字转换器通知所确定的信号电平，其中，与所述模拟信号小于所述信号电平的情况相比，所述模拟-数字转换器在所述模拟信号等于或大于所述信号电平的情况下使用具有更陡的斜率的参考信号来进行所述转换。
此外，根据本发明，提供一种信号处理方法，包括以下步骤：使用具有彼此不同的斜率的多个参考信号来进行从图像传感器的像素部所输出的模拟信号向数字信号的转换；以及基于转换出的数字信号的分布来确定所述多个参考信号进行改变的信号电平，其中，当所述模拟信号向所述数字信号转换时，与所述模拟信号小于所述信号电平的情况相比，在所述模拟信号等于或大于所述信号电平的情况下使用具有更陡的斜率的参考信号来进行所述转换。
此外，根据本发明，提供一种控制方法，用于对模拟-数字转换器进行控制，其中所述模拟-数字转换器用于使用具有彼此不同的斜率的多个参考信号来进行从图像传感器的像素部所输出的模拟信号向数字信号的转换，所述控制方法包括以下步骤：基于转换出的数字信号的分布来确定所述多个参考信号进行改变的信号电平；以及向所述模拟-数字转换器通知所确定的信号电平，其中，对所述模拟-数字转换器进行控制，以使得与所述模拟信号小于所述信号电平的情况相比，在所述模拟信号等于或大于所述信号电平的情况下使用具有更陡的斜率的参考信号来进行所述转换。
通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
包含于并且构成说明书的一部分的附图示出本发明的各实施例，并且与说明书一起用来解释本发明的原理。
图1是示出根据本发明实施例的摄像设备中所使用的图像传感器的整体结构的框图；
图2A和2B是示出图像传感器的列AMP组的整体结构和操作定时的图。
图3A和3B是示出根据第一实施例的AD转换操作的时序图；
图4A和4B是示出在根据信号电平使用具有不同斜率的斜坡信号的情况下输出电平和AD转换结果之间的关系的图；
图5是示出根据第一实施例的直方图和AD转换值之间的关系的图；
图6A和6B是示出根据第一实施例的在具有与明亮部分相对应的信号电平的像素的数量相对大的情况下直方图和AD转换值之间的关系的图；
图7A和7B是示出根据第一实施例的在具有与黑暗部分相对应的信号电平的像素的数量相对大的情况下直方图和AD转换值之间的关系的图；
图8A和8B是示出根据第一实施例和第二实施例的改变判断电平的定时的图；
图9是示出根据第一实施例的图像传感器的像素部的结构的示例的图；
图10A是根据第一实施例的在伪像素读出期间使用第一斜坡信号VRAMP(缓斜率)来对固定电压V1进行AD转换的情况下的时序图；
图10B是根据第一实施例的在伪像素读出期间使用第二斜坡信号VRAMP(陡斜率)来对固定电压V1进行AD转换的情况下的时序图；
图10C是根据第一实施例的在伪像素读出期间使用第一斜坡信号VRAMP(缓斜率)来对固定电压V2进行AD转换的情况下的时序图；
图10D是根据第一实施例的在伪像素读出期间使用第二斜坡信号VRAMP(陡斜率)来对固定电压V2进行AD转换的情况下的时序图；
图11A和11B是示出根据第三实施例的图像的示例以及直方图和AD转换值之间的关系的图；以及
图12是根据第三实施例的摄像处理的流程图。
具体实施方式
以下将参考附图来详细说明本发明的典型实施例。
第一实施例
图1是示出根据本发明的第一实施例的摄像设备中所使用的图像传感器1的结构的框图，并且示出图像传感器1和作为通过图像传感器1所获得的图像数据的输出目的地的图像处理部2。根据第一实施例的图像传感器1是设置有并行型AD转换器的CMOS图像传感器。图像处理部2对图像传感器1所输出的图像数据执行诸如白平衡处理和伽马处理等的显像处理，并且最终将数据记录到记录介质中。图像处理部2包括CPU，并且CPU根据摄像设备的工作模式来与图像传感器1(例如，通过串行通信)进行通信并对图像传感器1进行控制。
在图像传感器1中，定时控制单元100通过向图像传感器1提供操作时钟信号和定时信号来对图像传感器1中的各块的操作进行控制。
像素部110包括以二维方式配置的多个像素，并且将用于执行光电转换的各像素中的光电转换元件根据入射光量所获得的电荷转换成电压并输出。各像素设置有颜色滤波器和微透镜。通常，使用利用如包括R(红色)、G(绿色)和B(蓝色)的RGB原色滤波器那样的已知的拜尔阵列循环结构作为颜色滤波器，但是颜色滤波器不必局限于此。
垂直扫描电路120执行用于在一个帧周期内顺次读出从像素部110中的像素所获得的像素信号的定时控制。通常，该读出是从帧内的上部的行开始并且向下部的行移动来逐行顺次执行的。
列AMP(放大器)组130包括在各列上设置有多个列AMP，并且用来以电气方式对从像素部110读出的像素信号进行放大。通过使用列AMP组130放大像素信号，来提高与通过后级中的斜坡电路140和列模拟-数字转换器组(列ADC组)150等所产生的噪声的S/N比。然而，列AMP组130不是必须在如下电路结构中，其中在该电路结构中，通过斜坡电路140和列ADC组150等所产生的噪声相对于像素部110所产生的噪声充分低。
固定电压电路400将固定电压供给至用于连接像素部110和列AMP组130的信号线。尽管在第一实施例中使用了固定电压电路400，但是同样可以使用能够应用为用于以给定的恒定电压对信号进行限幅的限幅电路等的电路。
斜坡电路140是用于产生在时间方向上具有恒定斜率的斜坡形状的电压信号(斜坡信号)的信号产生器。列ADC组150在各列上具有包括比较单元151和计数器/锁存电路152的列ADC。比较单元151将列AMP组130所放大的像素信号(模拟信号)与来自斜坡电路140的斜坡信号进行比较，并且输出表示信号之间的大小关系的信号。然后，通过根据来自比较单元151的信号对计数器值进行锁存的计数器/锁存电路152，执行模拟-数字转换。稍后将给出比较单元151和计数器/锁存电路152所执行的操作的详情。通过水平传输电路160按照从行的一端开始的顺序来读出计数器/锁存电路152所保持的数字图像数据的一行的值。
将通过水平传输电路160所读出的图像数据输入到信号处理电路170中。信号处理电路170是用于以数字方式处理信号的电路，并且可以经由数字处理通过除了加上设置量的补偿值之外、还执行移位计算和相乘等，来容易地执行增益计算。在像素部110中，可以形成被遮光的像素区域(OB像素部)，并且信号处理电路170可以使用从OB像素部中的像素所获得的信号来执行数字黑电平钳位操作。此外，如稍后将说明的，信号处理电路170基于所输入的图像数据，经由定时控制单元100来对从斜坡电路140输出的斜坡信号进行控制。
将通过信号处理电路170所处理的图像数据传递至外部输出电路180。外部输出电路180具有串行器功能，并且将来自信号处理电路170的多比特的输入并行信号转换成串行信号。将串行信号例如转换成LVDS信号等，并且输出至图像处理部2。
控制器电路300是与图像处理部2的I/F单元，并且根据使用串行通信电路等的图像处理部2的CPU来处理对图像传感器1的控制。
接着，将使用图2A和2B来说明利用图像传感器1的列ADC组150的基本AD转换的原理。如上所述，列ADC组150在各列上具有比较单元151和计数器/锁存电路152。另一方面，如图2A所示，比较单元151将从列AMP组130输出的像素信号VAMP与从斜坡电路140输出的斜坡信号VRAMP进行比较，并且输出比较结果。
如图2B所示，在开始从像素部110读出像素信号VAMP之前，开始比较单元151所进行的操作(时刻t1)。在列AMP组130的各列AMP的操作稳定的情况下，在时刻t2重置计数器/锁存电路152的计数值。与计数器/锁存电路152的计数重置定时同步地，从斜坡电路140输出的斜坡信号VRAMP的信号电平在时刻t2之后随着时间的经过而增大。在从斜坡电路140输出的斜坡信号VRAMP的信号电平超过从列AMP组130输出的像素信号VAMP的信号电平时，比较单元151的输出反转(时刻t3)。计数器/锁存电路152在从重置计数值到比较单元151的输出反转的时间段期间(从时刻t2到时刻t3)执行计数操作。经由这些操作获得与列AMP组130所放大的像素信号的输出电平成比例的计数值，从而以这种方式获得的计数值用作AD转换结果。注意，这里所述的像素信号和斜坡信号的比较方法以及计数器/锁存电路所进行的计数方法等仅是示例，并且可以采用其它方法，只要可以检测到从重置计数值到比较单元151的输出反转的时间段期间即可。
图3A和3B是示出根据第一实施例的斜坡电路140和列ADC组150所进行的操作的图。在图3A和3B中，横轴表示时间，图形的上部的纵轴表示输出电平，以及图形的下部表示比较单元151的输出。将参考图3A来说明根据来自列AMP组130的像素信号VAMP的信号电平来改变从斜坡电路140输出的斜坡信号VRAMP的斜率的示例。
通常，在用于从单位像素读出信号的处理中，首先读出N信号(噪声电平)并进行AD转换，然后读出S信号(噪声电平+信号电平)并进行AD转换。然后，通过求出利用信号处理电路170转换后的S信号和N信号之间的差并且消除噪声成分来获得具有良好S/N的信号。
首先，为了对N信号进行AD转换，在时刻t11开始比较单元151的操作，在时刻t12重置计数器/锁存电路152的计数，并且改变从斜坡电路140输出的斜坡信号VRAMP的信号电平。这里，作为噪声电平的N信号的信号电平低，从而在N信号的AD转换中使用具有低斜率的第一斜坡信号VRAMP(缓斜率)。通过在从重置计数器/锁存电路152的计数到比较单元151的输出反转的时间段(从时刻t12到时刻t13)期间执行计数操作来对N信号进行AD转换。
接着，针对作为通过读出与像素部110中所累积的电荷相对应的信号并且使用列AMP组130对该信号进行放大所获得的输出信号的S信号，在电平判断时间段内，斜坡电路140将最大电平被设置成判断电平Vs的判断用斜坡信号输出至比较单元151。然后，将判断用斜坡信号与S信号相比较。这里，在时刻t14，将计数器/锁存电路152的计数值重置，并且斜坡电路140开始输出具有预定判断电平Vs作为最大电平的判断用斜坡信号。如果S信号的信号电平大于或等于判断电平Vs(S≥Vs)，则比较单元151的输出不反转，从而计数值继续增大直到在时刻t16电平判断时间段结束为止。与此相对，如果S信号的信号电平小于判断电平Vs(S<Vs)，则比较单元151的输出在例如时刻t15反转，从而计数值停止增大。这样，信号处理电路170可以根据计数器/锁存电路152的计数值来判断S信号的信号电平是低于还是不低于判断电平Vs。注意，可以将计数器/锁存电路152的计数值重置的定时采用为斜坡电路140的输出稳定在判断电平Vs的时间点，并且在S信号的信号电平低于判断电平Vs(S<Vs)的情况下，该计数值可以被控制成0。
在S信号的信号电平低于判断电平Vs的情况下，从时刻t17起使用与N信号相同的第一斜坡信号VRAMP(缓斜率)来对S信号进行AD转换。结果，在图3A所示的示例中，获得时刻t17和时刻t18之间的计数值。另一方面，在S信号的信号电平大于或等于判断电平Vs的情况下，使用斜率是第一斜坡信号VRAMP(缓斜率)的斜率的α倍的第二斜坡信号VRAMP(陡斜率)来对S信号进行AD转换。结果，在图3A所示的示例中，获得时刻t17和时刻t19之间的计数值。
图4A和4B示出在根据输出电平来使用具有不同斜率的斜坡信号的情况下输出信号的信号电平和AD转换结果之间的关系的图。在图4A和4B中，横轴表示列AMP组130的输出信号电平，以及纵轴表示通过对S信号进行AD转换所获得的数字值。实线表示通过比较单元151和计数器/锁存电路152进行AD转换后并且经由水平传输电路160输出到信号处理电路170中的数字值(AD转换值)。如上所述，使用第一斜坡信号VRAMP(缓斜率)来对信号电平低于判断电平Vs的S信号进行AD转换，而使用第二斜坡信号VRAMP(陡斜率)来对信号电平大于或等于判断电平Vs的S信号进行AD转换。因此，如图4A所示，在判断电平Vs之前和之后，AD转换后的S信号不一致。
因此，首先，信号处理电路170将信号电平高于判断电平Vs的S信号的AD转换值乘以第一斜坡信号VRAMP(缓斜率)和第二斜坡信号VRAMP(陡斜率)的斜率之间的比α。此外，为了消除判断电平Vs处的差距，通过加上补偿量β，来将与入射光量相对应的像素信号的信号电平和AD转换值校正成一次关系。
如果在没有执行上述校正的状态下输出来自有效像素的视频，则会导致在特定亮度处仍然存在差距的不自然的视频。理想的目标校正值根据图像传感器的温度、图像传感器的驱动定时(列AMP组130的增益和工作状态等)以及驱动设置(电源设置等)而改变，从而需要在紧挨着拍摄图像之前获得校正值，或者需要定期获得校正值。稍后将说明校正值的获得方法。
接着，将参考图5～7B来说明根据第一实施例的判断电平Vs的设置方法。在第一实施例中，图像处理部2生成表示所获得图像的AD转换值的分布的直方图，并且对直方图的形状进行分析。在图5中，横轴表示AD转换值，以及纵轴表示具有各AD转换值的像素的数量并且虚线示出所生成的直方图。
尽管直方图的形状根据所拍摄的被摄体而大大改变，但是图5所示的具体直方图包含从小的AD转换值(黑暗)到大的AD转换值(明亮)的处于良好平衡的信号电平，这表示图像的对比度高。在这种情况下，具有在第一斜坡信号VRAMP(缓斜率)和第二斜坡信号VRAMP(陡斜率)被切换的判断电平Vs附近的AD转换值的像素的数量不多。
与此相对，图6A示出包括相对大数量的具有表示明亮部分的高信号电平的像素的所谓的“高调(high-key)”图像的直方图。在这种情况下，如图6B所示，通过向黑暗侧移动判断电平Vs，可以减少具有判断电平Vs附近要进行AD转换的信号电平的像素的数量。
与此相对，图7A示出包括相对大数量的具有表示黑暗部分的低信号电平的像素的所谓的低亮度图像的直方图。在这种情况下，如图7B所示，通过向明亮侧移动判断电平Vs，可以降低具有判断电平Vs附近要进行AD转换的信号电平的像素的数量。
如上所述，图像处理部2生成AD转换值的直方图，并且对所生成的直方图进行分析以判断其形状是否偏向于明亮部分或黑暗部分，并且如果偏向了，则通过预定的电平量向直方图的频数小的一侧移动判断电平Vs。这样，判断电平Vs根据图像的特性来改变。
应当注意，在判断电平Vs改变的情况下，可以改变第一斜坡信号VRAMP(缓斜率)的斜率。图3B示出在从斜坡电路140输出的第一斜坡信号VRAMP(缓斜率)改变的情况下的图。与图3A所示的图相比，在与判断电平Vs增大的时刻相同的时刻，增大第一斜坡信号VRAMP(缓斜率)的斜率。使用图3B所示的第一斜坡信号VRAMP(缓斜率)的AD转换值小于使用图3A所示的第一斜坡信号VRAMP(缓斜率)的AD转换值。另外，由于斜率之间的比从图3A中的α改变成图3B中的α’，因此需要计算校正值α’和对应的补偿量β。
接着，将参考图8A所示的时序图来给出对摄像设备的操作的说明。这里，将说明诸如数字单镜头反光照相机和数字照相机等的静止图像拍摄设备。在图8A中，横轴表示时间，以及纵轴表示在图像传感器1的垂直方向上的像素行的读出定时。
近来，存在具有实时取景功能的数字单镜头反光照相机和数字照相机。通过在镜上升的状态下使光连续入射在图像传感器1上、以预定周期输出一帧的模拟信号、并且将基于所获得的图像信号的图像显示在液晶监视器等上来实现实时取景功能。用户可以观察所显示的图像。图8A中的时间段t81、t82和t83表示读出实时取景图像的时间段。然后，在拍摄静止图像(主图像)时，摄像设备驱动前快门和后快门。注意，这些快门不是必须为机械快门，而可以通过图像传感器1内所控制的电子快门来实现。
在进行主图像拍摄之前，根据紧挨在前快门被驱动之前所获得的实时取景图像，来确定诸如镜头的F值和从前快门被驱动开始直到后快门被驱动为止的时间(快门速度)等的进行主图像拍摄时的曝光条件。在时刻t84，图像处理部2与图像传感器1相通信，以将所确定出的曝光条件反映在图像传感器1中。另外，使用在紧挨在前快门被驱动之前的时间段t83期间读出的实时取景图像来在图像处理部2中生成直方图。然后，基于所生成的实时取景图像的直方图，图像处理部2确定判断电平Vs，并且向图像传感器1通知判断电平Vs，并且在时刻t84反映判断电平Vs。此时，可以如图3B所示那样控制斜坡信号VRAMP(缓斜率)的斜率。
在时间段t85内，如稍后将要说明的，使用从图像传感器1中所包括的伪像素区域输出的信号来计算AD转换时的比α以及要加上的补偿量β。之后，驱动前快门和后快门，并且读出主图像(时间段t86)。
接着，将说明用于在基于直方图的分析结果来控制判断电平Vs以及第一斜坡信号VRAMP(缓斜率)和第二斜坡信号VRAMP(陡斜率)的斜率之后、计算斜率之间的比α和补偿量β的方法。以下将计算这些校正值的操作称为“校正值获取操作”。
图9示出像素部110的结构的示例。在该像素结构中，在最上部区域设置不具有光电二极管的伪像素区域，并且在其下按照顺序配置被遮光的光学黑(OB)区域以及用于输出经由光电转换所获得的信号的有效像素区域。在第一实施例中，来自伪像素的像素信号用于计算补偿量β和斜率之间的比α。这里，执行控制，以使得在伪像素的像素信号读出期间输入来自固定电压电路400的固定电压，并且从列AMP组130输入至比较单元151的电压达到给定的固定电压。注意，在第一实施例中，使用低于判断电平Vs的电压V1和V2作为固定电压。
将参考图10A～10D来说明伪像素读出期间所执行的AD转换处理。在图10A中，对固定电压V1进行AD转换。注意，与参考图3A和3B所说明的处理不同，不需要设置用于对N信号进行AD转换的时间段。如图10A所示，通过将从斜坡电路140在电平判断时间段期间输出的斜坡信号VRAMP升高成最大值VRAMP(MAX)，使用斜率低的第一斜坡信号VRAMP(缓斜率)来对固定电压V1进行AD转换。AD转换的结果由V1L表示。
接着，如图10B所示，通过将电平判断时间段期间从斜坡电路140输出的斜坡信号VRAMP设置成最小值VRAMP(MIN)，使用斜率高的第二斜坡信号VRAMP(陡斜率)来对固定电压V1进行AD转换。AD转换的结果由V1H表示。
之后，如图10C和10D所示，将固定电压改变成比电压V1高的电压V2，并且执行与图10A和10B所示的AD转换相同的AD转换。其结果分别由V2L和V2H来表示。
这在横轴表示输出电平并且纵轴表示AD转换值的情况下如图4B所示那样表示。图4B以放大方式表示输出电平低于判断电平Vs的图4A的区域。可以根据这四个坐标点来求出斜率比α和补偿量β。例如，可以根据以下公式(1)求出斜率比α。
α＝(V2L-V1L)/(V2H-V1H)...(1)
在求出斜率比α之后，可以根据以下公式(2)求出补偿量β，以使得两条直线在判断电平Vs处相交。
β＝(V2L-V1L)/(V2-V1)×Vs-α(V2H-V1H)/(V2-V1)×Vs...(2)
可以在图像传感器1内、或者可以通过图像处理部2来执行校正值α和β的上述计算。
根据如上所述的第一实施例，通过对AD转换值的分布(直方图)进行分析，可以降低具有判断电平附近要进行AD转换的信号电平的像素的数量。结果，可以降低由于斜坡信号的切换而导致的图像中的不自然。
第二实施例
在如上所述的第一实施例中，使用在主图像拍摄操作之前所获得的实时取景图像来进行直方图的生成和校正值的计算。与此相对，在例如没有在实时取景图像和主图像之间进行区分的状态下、通过摄像机来获得图像的情况下，进行如图8B所示的操作。与图8A同样地，图8B中的横轴和纵轴分别表示时间和图像传感器1的垂直方向上的像素行的读出定时。
在摄像设备中，如摄像机所示，以设置帧频，拍摄每帧内的图像。在拍摄图像并且图像处理部2针对各帧生成直方图、然后所生成的直方图的分布是如使得改变判断电平的图6A、6B、7A和7B所示的分布中任意分布那样的情况下，确定图像传感器1的判断电平Vs，并且在时刻t91将所确定出的判断电平Vs反映在图像传感器1中。此时，如图3B所示，同样可以控制第一斜坡信号VRAMP(缓斜率)的斜率。
这里，在反映上述改变的情况下的帧内，尚未计算斜坡信号的斜率之间的比α和补偿量β，并且输出具有差距的图像。在该输出帧内，计算斜坡信号的斜率之间的比α和补偿量β，并且在时刻t92反映这些校正值。
从反映这些校正值的一帧接着一帧来获得正常图像。这里，在摄像机中帧频高(近来，通常为60fps或120fps)，并且一帧图像内的差距不会影响视频的呈现。
根据如上所述的第二实施例，诸如摄像机等的连续地读出图像的摄像设备可以减少具有判断电平附近要进行AD转换的信号电平的像素的数量。
第三实施例
在第一和第二实施例中，基于输出图像整体的AD转换值来生成直方图。然而，可以针对图像的关注部分区域来生成直方图。关注部分区域表示主被摄体，其中该主被摄体包括聚焦区域、检测人物的面部的区域以及在液晶监视器的触摸面板上所指定的区域等。
图11A示出来自摄像设备的输出图像。图11B是图11A所示的图像的直方图。图像整体的对比度高，并且似乎需要改变判断电平Vs。然而，如果图11A所示的图像内的特定区域(例如，人物的面部)的直方图表示如图11B所示那样的具有判断电平Vs附近的信号电平的像素的数量大，则如第一实施例所述那样改变判断电平Vs。
图12是根据第三实施例的图像拍摄处理的流程图。在步骤S1中用户在按下摄像设备的快门按钮的情况下，开始图像拍摄操作。
在步骤S2中，在前快门和后快门被驱动之前获得实时取景图像。然后，在图像处理部2中对所获得的实时取景图像进行分析，并且判断是否存在主被摄体。这里，如上所述，主被摄体可以是聚焦区域、检测人物的面部的区域以及在液晶监视器的触摸面板上所指定的区域等。
如果在步骤S3中判断为主被摄体存在，则在步骤S4中，图像处理部2在生成主被摄体周围的区域的直方图。另一方面，如果不存在主被摄体，则在步骤S5中，图像处理部2生成图像的整个区域的直方图。在步骤S6中，图像处理部2确定判断电平Vs，并且如果可能，基于所生成的直方图来确定第一斜坡信号VRAMP(缓斜率)的斜率，然后控制图像传感器1。
接着，在步骤S7中，进行校正值获取操作，以针对在步骤S6中所反映的判断电平Vs和斜坡信号的斜率，获得斜率之间的比α和补偿量β，并且在获得校正值之后进行主图像拍摄(步骤S8)。
根据如上所述的第三实施例，可以通过生成图像的关注区域的直方图并且改变适用于关注区域的判断电平，来减少在关注区域内具有判断电平附近要进行AD转换的信号电平的像素的数量。结果，可以降低由于斜坡信号的切换而导致的图像内关注区域中的不自然。
应当注意，在如上所述的第一实施例～第三实施例中，基于一个判断电平Vs来选择第一斜坡信号VRAMP(缓斜率)或第二斜坡信号VRAMP(陡斜率)。然而，本发明不限于此，并且可以设置多个判断电平，并且可以从三个或更多不同的斜坡信号中选择斜坡信号。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (14)

1.一种信号处理设备，包括：
模拟-数字转换器，用于使用具有彼此不同的斜率的多个参考信号来进行从图像传感器的像素部所输出的模拟信号向数字信号的转换；以及
确定单元，用于基于转换出的数字信号的分布来确定所述多个参考信号进行改变的信号电平，
其中，与所述模拟信号的信号电平小于所述确定单元所确定的信号电平的情况相比，所述模拟-数字转换器在所述模拟信号的信号电平等于或大于所述确定单元所确定的信号电平的情况下使用具有更陡的斜率的参考信号来进行所述转换。
2.根据权利要求1所述的信号处理设备，其中，所述确定单元基于与所述图像传感器的像素部的整个区域相对应的数字信号的分布来确定所述信号电平。
3.根据权利要求1所述的信号处理设备，其中，还包括设置单元，所述设置单元用于设置所述像素部的部分区域，
其中，所述确定单元基于与所述部分区域相对应的数字信号的分布来确定所述信号电平。
4.根据权利要求3所述的信号处理设备，其中，还包括检测单元，所述检测单元用于在从所述图像传感器的像素部的整个区域所获得的数字信号中检测主被摄体，
其中，所述部分区域是所述主被摄体的区域。
5.根据权利要求3所述的信号处理设备，其中，还包括指定单元，所述指定单元用于指定所述部分区域。
6.根据权利要求1至5中任一项所述的信号处理设备，其中，还包括：
电压供给单元，用于将预定的多个不同输出电平的模拟信号供给至所述模拟-数字转换器；以及
计算单元，用于基于通过使用所述多个参考信号对所述多个不同输出电平的模拟信号进行转换而获得的多个数字信号，来计算用于校正所述数字信号的校正值。
7.根据权利要求6所述的信号处理设备，其中，所述校正值包括：补偿量；以及所述多个参考信号的斜率之间的比。
8.根据权利要求1至5中任一项所述的信号处理设备，其中，还包括参考信号输出单元，所述参考信号输出单元用于输出所述多个参考信号，
其中，所述多个参考信号包括第一参考信号以及斜率比所述第一参考信号的斜率陡的第二参考信号，并且所述参考信号输出单元基于所述数字信号的分布来改变所述第一参考信号的斜率。
9.根据权利要求1至5中任一项所述的信号处理设备，其中，
所述图像传感器以预定周期输出一帧的模拟信号，以及
在指定了记录静止图像的情况下，所述确定单元对从紧挨进行所述指定之前所获得的一帧的模拟信号所转换出的数字信号的分布进行分析，并且确定所述信号电平。
10.根据权利要求1至5中任一项所述的信号处理设备，其中，
所述图像传感器以预定周期输出一帧的模拟信号，以及
所述确定单元以所述预定周期对所述数字信号的分布进行分析，并且在所述信号电平基于分析结果而改变的情况下，所述确定单元向所述模拟-数字转换器通知改变后的信号电平。
11.一种摄像设备，包括：
图像传感器；
模拟-数字转换器，用于使用具有彼此不同的斜率的多个参考信号来进行从所述图像传感器的像素部所输出的模拟信号向数字信号的转换；以及
确定单元，用于基于转换出的数字信号的分布来确定所述多个参考信号进行改变的信号电平，
其中，与所述模拟信号的信号电平小于所述确定单元所确定的信号电平的情况相比，所述模拟-数字转换器在所述模拟信号的信号电平等于或大于所述确定单元所确定的信号电平的情况下使用具有更陡的斜率的参考信号来进行所述转换。
12.一种控制设备，用于对模拟-数字转换器进行控制，其中所述模拟-数字转换器用于使用具有彼此不同的斜率的多个参考信号来进行从图像传感器的像素部所输出的模拟信号向数字信号的转换，所述控制设备包括：
确定单元，用于基于转换出的数字信号的分布来确定所述多个参考信号进行改变的信号电平；以及
通知单元，用于向所述模拟-数字转换器通知所确定的信号电平，
其中，与所述模拟信号的信号电平小于所述确定单元所确定的信号电平的情况相比，所述模拟-数字转换器在所述模拟信号的信号电平等于或大于所述确定单元所确定的信号电平的情况下使用具有更陡的斜率的参考信号来进行所述转换。
13.一种信号处理方法，包括以下步骤：
使用具有彼此不同的斜率的多个参考信号来进行从图像传感器的像素部所输出的模拟信号向数字信号的转换；以及
基于转换出的数字信号的分布来确定所述多个参考信号进行改变的信号电平，
其中，当所述模拟信号向所述数字信号转换时，与所述模拟信号的信号电平小于所确定的信号电平的情况相比，在所述模拟信号的信号电平等于或大于所确定的信号电平的情况下使用具有更陡的斜率的参考信号来进行所述转换。
14.一种控制方法，用于对模拟-数字转换器进行控制，其中所述模拟-数字转换器用于使用具有彼此不同的斜率的多个参考信号来进行从图像传感器的像素部所输出的模拟信号向数字信号的转换，所述控制方法包括以下步骤：
基于转换出的数字信号的分布来确定所述多个参考信号进行改变的信号电平；以及
向所述模拟-数字转换器通知所确定的信号电平，
其中，对所述模拟-数字转换器进行控制，以使得与所述模拟信号的信号电平小于所确定的信号电平的情况相比，在所述模拟信号的信号电平等于或大于所确定的信号电平的情况下使用具有更陡的斜率的参考信号来进行所述转换。
CN201710121031.6A 2016-03-02 2017-03-02 信号处理设备和方法、摄像设备以及控制设备和方法 Active CN107154801B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016040440A JP6649806B2 (ja) 2016-03-02 2016-03-02 信号処理装置、撮像装置及び制御装置、信号処理方法及び制御方法
JP2016-040440 2016-03-02

Publications (2)

Publication Number Publication Date
CN107154801A CN107154801A (zh) 2017-09-12
CN107154801B true CN107154801B (zh) 2021-02-26

Family

ID=59724452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710121031.6A Active CN107154801B (zh) 2016-03-02 2017-03-02 信号处理设备和方法、摄像设备以及控制设备和方法

Country Status (3)

Country Link
US (1) US10027919B2 (zh)
JP (1) JP6649806B2 (zh)
CN (1) CN107154801B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6556001B2 (ja) * 2015-09-24 2019-08-07 キヤノン株式会社 画像読取装置
US10334193B2 (en) * 2016-02-11 2019-06-25 Samsung Electronics Co., Ltd. Read-out circuits of image sensors and image sensors including the same
US10326955B1 (en) * 2018-01-16 2019-06-18 Omnivision Technologies, Inc. Image sensor readout circuitry including analog-to-digital conversion with hybrid counter structure
CN109688354B (zh) * 2018-12-28 2021-09-07 北京思比科微电子技术股份有限公司 一种模拟增强图像对比度的方法
JP7333060B2 (ja) 2019-09-26 2023-08-24 株式会社テックイデア イメージセンサ
CN115484420B (zh) * 2022-08-31 2024-02-09 成都微光集电科技有限公司 一种图像传感器读出电路、方法和图像传感器

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100274633B1 (ko) * 1998-05-26 2000-12-15 윤종용 화상스캐닝시스템의쉐이딩보정장치및방법
JP2001078097A (ja) * 1999-06-29 2001-03-23 Sony Corp 撮像装置
US8010174B2 (en) * 2003-08-22 2011-08-30 Dexcom, Inc. Systems and methods for replacing signal artifacts in a glucose sensor data stream
JP4882652B2 (ja) * 2006-10-06 2012-02-22 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
WO2008129885A1 (ja) * 2007-04-13 2008-10-30 Panasonic Corporation 出力制御回路、および撮像装置
JP5347341B2 (ja) * 2008-06-06 2013-11-20 ソニー株式会社 固体撮像装置、撮像装置、電子機器、ａｄ変換装置、ａｄ変換方法
FR2935076A1 (fr) * 2008-08-18 2010-02-19 St Microelectronics Sa Convertisseur analogique-numerique
JP2010219624A (ja) * 2009-03-13 2010-09-30 Toshiba Corp 画像信号処理装置及び画像信号処理方法
JP5375277B2 (ja) * 2009-04-02 2013-12-25 ソニー株式会社 固体撮像装置、撮像装置、電子機器、ａｄ変換装置、ａｄ変換方法
JP2011211535A (ja) 2010-03-30 2011-10-20 Sony Corp 固体撮像素子およびカメラシステム
JP5591586B2 (ja) * 2010-05-19 2014-09-17 パナソニック株式会社 固体撮像装置、画像処理装置、カメラシステム
JP2012095218A (ja) * 2010-10-28 2012-05-17 Canon Inc 撮像装置
JP2013187728A (ja) * 2012-03-08 2013-09-19 Konica Minolta Inc 固体撮像装置
JP2013207433A (ja) * 2012-03-28 2013-10-07 Sony Corp 固体撮像装置、撮像信号出力方法および電子機器
JP5865272B2 (ja) * 2012-03-30 2016-02-17 キヤノン株式会社 光電変換装置および撮像システム
JP5978771B2 (ja) * 2012-05-31 2016-08-24 ソニー株式会社 信号処理装置および方法、撮像素子、並びに、撮像装置
JP6478467B2 (ja) * 2013-03-28 2019-03-06 キヤノン株式会社 撮像装置、撮像装置の駆動方法、撮像システム
TWI615031B (zh) * 2013-07-16 2018-02-11 Sony Corp 信號處理裝置及方法、攝像元件與攝像裝置
JP2015162751A (ja) * 2014-02-26 2015-09-07 キヤノン株式会社 光電変換装置および撮像システム
WO2016072280A1 (ja) * 2014-11-05 2016-05-12 ソニー株式会社 信号処理装置、撮像素子、並びに電子機器
US9736406B2 (en) * 2015-01-22 2017-08-15 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof

Also Published As

Publication number Publication date
US10027919B2 (en) 2018-07-17
US20170257591A1 (en) 2017-09-07
JP2017158061A (ja) 2017-09-07
CN107154801A (zh) 2017-09-12
JP6649806B2 (ja) 2020-02-19

Similar Documents

Publication Publication Date Title
CN107154801B (zh) 信号处理设备和方法、摄像设备以及控制设备和方法
US10200664B2 (en) Image processing apparatus, image device, image processing method, and program for reducing noise or false colors in an image
US9571742B2 (en) Image capture apparatus and control method thereof
US9160934B2 (en) Image capturing apparatus obtaining high-exposure and low-exposure images, and method for controlling the same
US10757348B2 (en) Image pickup apparatus, image pickup apparatus control method and computer-readable non-transitory recording medium recording program
US11290648B2 (en) Image capture apparatus and control method thereof
US10638072B2 (en) Control apparatus, image pickup apparatus, and control method for performing noise correction of imaging signal
CN107154803B (zh) 信号处理设备、信号处理方法和摄像设备
US20120224086A1 (en) Image capturing apparatus and control method thereof
US10270991B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP6525602B2 (ja) 撮像装置及びその制御方法
JP7234015B2 (ja) 撮像装置およびその制御方法
JP5094656B2 (ja) 撮像装置、その制御方法及びプログラム
JP2014107739A (ja) 撮像装置及びその制御方法
US10594912B2 (en) Flash band determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus
JP6433276B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6167473B2 (ja) 撮像装置
US11064146B2 (en) Image capturing apparatus and control method therefor
US11368610B2 (en) Image capture apparatus and control method therefor
JP6590055B2 (ja) 撮像装置
JP2017152838A (ja) 撮像装置及び撮像装置の制御方法
JP6242156B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6389693B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2017201817A (ja) 固体撮像素子、及び撮像装置
JP2017103647A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant