CN101690170A - 成像设备和改善其灵敏度的方法 - Google Patents

成像设备和改善其灵敏度的方法 Download PDF

Info

Publication number
CN101690170A
CN101690170A CN200880023516A CN200880023516A CN101690170A CN 101690170 A CN101690170 A CN 101690170A CN 200880023516 A CN200880023516 A CN 200880023516A CN 200880023516 A CN200880023516 A CN 200880023516A CN 101690170 A CN101690170 A CN 101690170A
Authority
CN
China
Prior art keywords
image data
input image
gain
pixel binning
fdrequency component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880023516A
Other languages
English (en)
Other versions
CN101690170B (zh
Inventor
金一道
全在星
崔炳善
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101690170A publication Critical patent/CN101690170A/zh
Application granted granted Critical
Publication of CN101690170B publication Critical patent/CN101690170B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/618—Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

提供一种成像设备和改善成像设备的灵敏度的方法。所述成像设备包括：像素装仓单元，以给定像素大小对输入图像数据进行像素装仓；增益确定单元，基于输入图像数据或输入图像数据的亮度来确定像素装仓增益；计算单元，基于像素装仓的输入图像数据和像素装仓增益来计算输出图像数据。因此，可保持输入图像数据的分辨率，并且可扩展低照明条件下图像信号的动态范围。

Description

成像设备和改善其灵敏度的方法
技术领域
根据本发明的设备和方法涉及一种成像设备和改善其灵敏度的方法，更具体地讲，涉及一种能够在低照明条件下改善图像数据灵敏度并防止噪声的成像设备以及改善该成像设备的灵敏度的方法。
背景技术
成像设备(如照相机或摄像机)使用成像装置(如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD))将图像的光转换为电信号。
理想地，成像装置产生与入射光的量成比例的电信号。然而，当将光转换为电信号时，产生各种噪声。这种噪声包括暗电流噪声、kTC噪声和固定模式噪声。
在低照明条件下，作为与温度成比例的热噪声的暗电流噪声是图像质量降低的主要因素。kTC噪声由用于驱动CMOS和CCD相机的各种开关脉冲产生。固定模式噪声由成像装置(如CMOS或CCD)中的像素之间的制造变化引起的不均匀性导致。固定模式噪声包括白点缺陷、黑点缺陷、线缺陷、带缺陷和感光点(sensitivity speck)。这种噪声被添加到成像装置光电转换并积累的电荷，从而降低图像质量。
在具有大量光的高照明条件下，因为与光电转换和积累的电荷相比，噪声相对较小，所以可忽略图像质量降低。然而，在低照明条件下，固定模式噪声、暗电流噪声和kTC噪声变得比光电转换和积累的电荷大。
为了使在低照明条件下光电转换和积累的电荷大于噪声，可使用具有大像素间距的成像装置，或者可增加成像装置的曝光时间。然而，具有大像素间距的成像装置昂贵，并且应当增加成像装置的大小以提供相同的分辨率。
发明内容
技术方案
本发明提供一种成像设备和改善所述成像设备的灵敏度的方法，所述成像设备能够保持分辨率，并且还能够通过相比于噪声功率增大输出图像信号的功率扩展低照明条件下的图像信号的动态范围。
本发明还提供一种成像设备和改善所述成像设备的灵敏度的方法，所述成像设备能够通过防止噪声提高来改善灵敏度。
有益效果
根据本发明的示例性实施例的成像设备和改善所述成像设备的灵敏度的方法能够在保持输入图像数据的分辨率的同时扩展低照明条件下的图像信号的动态范围。
此外，根据本发明的示例性实施例的成像设备和改善所述成像设备的灵敏度的方法能够增加低照明条件下的信噪比。
附图说明
通过参照附图对本发明的示例性实施例的详细描述，本发明的以上和其他方面将变得更清楚，其中：
图1是根据本发明的示例性实施例的成像设备的框图；
图2是根据本发明的另一示例性实施例的成像设备的框图；
图3是根据本发明的另一示例性实施例的成像设备的框图；
图4是根据本发明的另一示例性实施例的成像设备的框图；
图5A至图5E示出解释根据本发明的示例性实施例的用于保持输入图像数据的分辨率的像素装仓(pixel binning)的像素；
图6是解释根据本发明的示例性实施例的确定分辨率保持因数的处理的曲线图；
图7是解释根据本发明的示例性实施例的确定像素装仓增益的处理的曲线图；
图8A是根据本发明的示例性实施例的时域扩展单元的框图；
图8B是解释根据本发明的示例性实施例的确定当前帧数据和先前帧数据彼此合并的比率的处理的曲线图；
图9是示出根据本发明的示例性实施例的改善成像设备的灵敏度的方法的流程图；
图10是示出根据本发明的另一示例性实施例的改善成像设备的灵敏度的方法的流程图；
图11是示出根据本发明的另一示例性实施例的改善成像设备的灵敏度的方法的流程图。
最佳模式
根据本发明的一方面，提供了一种成像设备，包括：像素装仓单元，以给定像素大小对输入图像数据进行像素装仓；增益确定单元，基于输入图像数据或输入图像数据的亮度来确定像素装仓增益；计算单元，基于像素装仓的输入图像数据和像素装仓增益来计算输出图像数据。
像素装仓单元可保持输入图像数据的分辨率。
当输入图像数据的亮度小于第一阈值时，增益确定单元可将像素装仓增益确定为给定的最大增益，当输入图像数据的亮度大于第一阈值时，增益确定单元可将像素装仓增益确定为随着输入图像数据的亮度增加从给定的最大增益线性减小的增益。
计算单元可通过将像素装仓的输入图像数据与像素装仓增益相乘来计算输出图像数据。
所述成像设备还可包括：时域扩展单元，基于输出图像数据的当前帧数据和先前帧数据来扩展输出图像数据的动态范围。
增益确定单元可确定时域扩展单元的数据合并增益，并将数据合并增益提供给时域扩展单元。
根据本发明的另一方面，提供了一种成像设备，包括：像素装仓单元，以给定像素大小对输入图像数据进行像素装仓；高通滤波单元，对沿输入图像数据的多个方向的高频分量滤波；分辨率保持因数确定单元，基于高频分量确定分辨率保持因数；计算单元，基于像素装仓的输入图像数据、高频分量和分辨率保持因数来计算输出图像数据。
高通滤波单元可包括：水平高通滤波器，对沿输入图像数据的水平方向的第一高频分量滤波；垂直高通滤波器，对沿输入图像数据的垂直方向的第二高频分量滤波。
高通滤波单元还可包括：对角线高通滤波器，对沿输入图像数据的对角线方向的第三高频分量滤波。
分辨率保持因数确定单元可：获得第一高频分量和第二高频分量之间的差的绝对值、第二高频分量和第三高频分量之间的差的绝对值以及第一高频分量和第三高频分量之间的差的绝对值中的最大绝对值；当最大绝对值小于或等于第二阈值时，将分辨率保持因数确定为给定的最小因数；当最大绝对值大于或小于第三阈值时，将分辨率保持因数确定为给定的最大因数；当最大绝对值在第二阈值和第三阈值之间时，将分辨率保持因数确定为随着最大绝对值在给定的最小因数和给定的最大因数之间增加而线性增加的增益。
计算单元可通过将高频分量之和与分辨率保持因数相乘并将像素装仓的输入图像数据与相乘结果相加来计算输出图像数据。
所述成像设备还可包括：时域扩展单元，基于输出图像数据的当前帧数据和先前帧数据来扩展输出图像数据的动态范围。
根据本发明的另一方面，提供了一种改善成像设备的灵敏度的方法，所述方法包括：以给定像素大小对输入图像数据进行像素装仓；基于输入图像数据或输入图像数据的亮度来确定像素装仓增益；基于像素装仓的输入图像数据和像素装仓增益来计算输出图像数据。
根据本发明的另一方面，提供了一种改善成像设备的灵敏度的方法，所述方法包括：以给定像素大小对输入图像数据进行像素装仓；对沿输入图像数据的多个方向的高频分量滤波；基于高频分量确定分辨率保持因数；基于像素装仓的输入图像数据、高频分量和分辨率保持因数来计算输出图像数据。
根据本发明的另一方面，提供一种其上实现有用于执行改善成像设备的灵敏度的方法的程序的计算机可读记录介质，其中，所述方法包括：以给定像素大小对输入图像数据进行像素装仓；基于输入图像数据或输入图像数据的亮度来确定像素装仓增益；基于像素装仓的输入图像数据和像素装仓增益来计算输出图像数据。
根据本发明的另一方面，提供一种其上实现有用于执行改善成像设备的灵敏度的方法的程序的计算机可读记录介质，其中，所述方法包括：以给定像素大小对输入图像数据进行像素装仓；对沿输入图像数据的多个方向的高频分量滤波；基于高频分量确定分辨率保持因数；基于像素装仓的输入图像数据、高频分量和分辨率保持因数来计算输出图像数据。
具体实施方式
现在将参照附图更全面地描述本发明，附图中示出本发明的示例性实施例。
图1是根据本发明的示例性实施例的成像设备的框图。
参照图1，所述成像设备包括像素装仓单元120、增益确定单元130和计算单元140。
像素装仓单元120以预定像素大小(例如，2×2或3×3)对输入图像数据110进行像素装仓。与一个像素相邻的多个像素数据组合为一个像素数据。因为像素装仓是将多个像素的数据组合为一个像素的数据的处理，所以可以在低照明条件下改善灵敏度，但分辨率降低。
然而，图1的成像设备的像素装仓单元120在保持输入图像数据110的分辨率的同时沿水平方向或垂直方向对输入图像数据110进行像素装仓，将参照图5A至图5E对此进行解释。
图5A示出像素装仓之前的像素“a”、“b”、“c”、...“p”。
图5B是解释获得像素“a”、“c”、“i”、和“k”的像素装仓数据的2×2像素装仓处理的示图。可通过对像素“a”、“b”、“e”和“f”的输入图像数据求和来获得像素“a”的像素装仓数据。可通过对像素“c”、“d”、“g”和“h”的输入图像数据求和来获得像素“c”的像素装仓数据。可以以相同方式获得像素“i”、和“k”的像素装仓数据。
同样地，图5C是解释获得像素“b”、“d”、“j”、和“l”的像素装仓数据的2×2像素装仓处理的示图。例如，可通过对像素“b”、“c”、“f”和“g”的输入图像数据求和来获得像素“b”的输入图像数据。可通过对像素“d”、“a”、“h”和“e”的输入图像数据求和来获得像素“d”的输入图像数据。可通过对像素“l”、“i”、“p”和“m”的输入图像数据求和来获得像素“l”的输入图像数据。
图5D是解释获得像素“e”、“g”、“m”、和“o”的像素装仓数据的2×2像素装仓处理的示图。图5E是解释获得像素“f”、“h”、“n”、和“p”的像素装仓数据的像素装仓处理的示图。
以这种方式，可获得所有像素“a”、“b”、“c”、...“p”的输入图像数据。因此，图5A至图5E的像素装仓可在保持分辨率的同时改善低照明条件下的灵敏度。虽然在图5A至图5E中像素装仓保持分辨率，但是本示例性实施例不限于此，可以在降低分辨率的同时执行像素装仓。
再次参照图1，增益确定单元130基于输入图像数据110或输入图像数据110的亮度确定像素装仓增益。像素装仓增益是从像素装仓单元120输出的数据的增益。例如，计算单元140可将输出图像数据150计算为像素装仓单元120的输出与像素装仓增益的乘积。
图7是示出像素装仓增益和输入图像数据110或输入图像数据110的亮度之间的关系的曲线图。例如，当输入图像数据110的亮度小于第一阈值时，增益确定单元130可将像素装仓增益确定为预定最大增益，当输入图像数据110的亮度大于第一阈值时，增益确定单元130可将像素装仓增益确定为随着输入图像数据的亮度增加从所述最大增益线性减小的增益。所述最大增益和像素装仓增益的斜率可根据示例性实施例改变。
计算单元140基于从像素装仓单元120输出的像素装仓的图像数据和从增益确定单元130输出的像素装仓增益来计算输出图像数据150。虽然在图1中显示计算单元140通过将像素装仓单元120的输出与像素装仓增益相乘来计算输出图像数据150，但是本示例性实施例不限于此。
根据图1的成像设备，当输入图像数据110的亮度较低时，可通过改善成像设备的灵敏度来增加动态范围。
图2是根据本发明的另一示例性实施例的成像设备的框图。
参照图2，所述成像设备包括像素装仓单元120、增益确定单元230、计算单元140和时域扩展单元250。
因为像素装仓单元120和计算单元140与图1中的像素装仓单元120和计算单元140相同，因此将不再给出详细解释。
时域扩展单元250基于从计算单元140输出的图像数据的当前帧数据和先前帧数据来扩展输出图像数据260的动态范围。
增益确定单元230确定像素装仓增益，还确定数据合并增益，并将确定的数据合并增益提供给时域扩展单元250，所述数据合并增益是当前帧数据和先前帧数据彼此合并的比率。当前帧数据和先前帧数据彼此合并的比率可根据帧之间的运动而改变。
稍后将参照图8A和图8B详细地解释增益确定单元230和时域扩展单元250。
图3是根据本发明的另一示例性实施例的成像设备的框图。
参照图3，所述成像设备包括像素装仓单元320、高通滤波单元330、分辨率保持因数确定单元340和计算单元350。
像素装仓单元320以预定像素大小对输入图像数据进行像素装仓。像素装仓单元320可保持输入图像数据310的分辨率。
高通滤波单元330对沿输入图像数据310的多个方向的高频分量滤波。沿多个方向的高频分量的滤波包括判断像素的高频分量是由图像还是由噪声产生。通常，当存在沿特定方向的高频分量时，可检测沿该方向的边缘的存在。因此，如果沿一个像素的水平、垂直和对角线方向滤波的所有高频分量都具有高的值，则可将所述一个像素检测为噪声。
分辨率保持因数确定单元340基于高频分量确定分辨率保持因数。如果高通滤波单元330判断像素的高频分量由图像产生，则分辨率保持因数确定单元340确定用于保持高频分量的分辨率保持因数，如果高通滤波单元330判断像素的高频分量由噪声产生，则分辨率保持因数确定单元340确定用于不保持高频分量的分辨率保持因数。稍后将参照图4解释分辨率保持因数确定单元340。
计算单元350基于像素装仓的输入图像数据、高频分量和分辨率保持因数计算输出图像数据360。
图4是根据本发明的另一示例性实施例的成像设备的框图。
参照图4，所述成像设备包括像素装仓单元415、高通滤波单元420、分辨率保持因数确定单元440、增益确定单元445和计算单元450。
像素装仓单元415以预定像素大小对输入图像数据410进行像素装仓。像素装仓单元415保持输入图像数据410的分辨率。
高通滤波单元420包括水平高通滤波器425、垂直高通滤波器430和对角线高通滤波器435。
水平高通滤波器425对沿输入图像数据410的水平方向的第一高频分量“H_hpf”滤波。垂直高通滤波器430对沿输入图像数据410的垂直方向的第二高频分量“V_hpf”滤波。对角线高通滤波器435对沿输入图像数据410的对角线方向的第三高频分量“D_hpf”滤波。
在修改方式中，高通滤波单元420可仅包括两个滤波单元(例如，水平高通滤波器425和垂直高通滤波器430)或者可包括四个或更多个滤波单元。
分辨率保持因数确定单元440计算第一高频分量H_hpf和第二高频分量V_hpf之间的差的绝对值|H_hpf-V_hpf|，第二高频分量V_hpf和第三高频分量D_hpf之间的差的绝对值|V_hpf-D_hpf|，以及第一高频分量H_hpf和第三高频分量D_hpf之间的差的绝对值|H_hpf-D_hpf|。接下来，分辨率保持因数确定单元440获得三个绝对值中最大的最大值Diff_Max。即，通过“Diff_Max＝max(|H_hpf-V_hpf|，|V_hpf-D_hpf|，|H_hpf-D_hpf|)”给出最大值Diff_Max。
接下来，分辨率保持因数确定单元440基于获得的最大值Diff_Max确定分辨率保持因数。
图6是解释根据本发明的示例性实施例的确定分辨率保持因数的处理的曲线图。
参照图6，当最大值Diff_Max小于或等于第二阈值时，将分辨率保持因数确定为预定最小因数。当最大值Diff_Max大于或等于第三阈值时，将分辨率保持因数确定为预定最大因数。当最大值Diff_Max在第二阈值和第三阈值之间时，将分辨率保持因数确定为随着最大值Diff_Max在最小因数和最大因数之间增加而线性增加的增益。这是因为，通常噪声分量具有较小的最大值Diff_Max，而图像分量具有较大的最大值Diff_Max。
再次参照图4，增益确定单元445基于输入图像数据410或输入图像数据410的亮度确定像素装仓增益。像素装仓增益是从像素装仓单元415输出的数据的增益。
图7示出像素装仓增益和输入图像数据410或输入图像数据410的亮度之间的关系。当输入图像数据410的亮度小于第一阈值时，增益确定单元445将像素装仓增益确定为最大增益，当输入图像数据410的亮度大于第一阈值时，增益确定单元445将像素装仓增益确定为随着输入图像数据的亮度增加从所述最大增益线性减小的增益。所述最大增益和像素装仓增益的斜率可根据示例性实施例改变。
增益确定单元445还从第一输出图像数据475确定数据合并增益，并将确定的数据合并增益提供给时域扩展单元480，所述数据合并增益是当前帧数据和先前帧数据彼此合并的比率。因此，可调整空间和时域增益。
计算单元450包括第一乘法器455、第二乘法器465、第一加法器460和第二加法器470。
第一乘法器455将通过像素装仓单元415进行像素装仓的输入图像数据Data_BI与增益确定单元445确定的像素装仓增益Expansion_gain_S相乘。
第一加法器460计算高频分量的和SHF(＝H_hpf+V_hpf+D_hpf)。
第二乘法器465将高频分量的和SHF与分辨率保持因数确定单元440确定的分辨率保持因数RP_factor相乘。
第二加法器470将第一乘法器455的输出与第二乘法器465的输出相加。
即，通过“Data_Out_S＝Data_BI×Expansion_gain_S+RP_factor×SHF”给出作为计算单元450的输出的第一输出图像数据Data_Out_S 475。
第一输出图像数据475可再次输入到时域扩展单元480。
图8A是根据本发明的示例性实施例的时域扩展单元810的框图。
时域扩展单元810包括运动检测器820、数据合并器830、第三乘法器840和第三加法器850。
运动检测器820检测当前帧数据和先前帧数据之间的运动。
数据合并器830基于运动检测器820检测的运动以预定比率合并第一输出图像数据475的当前帧数据和先前帧数据。
图8B是解释根据本发明的示例性实施例的确定当前帧数据和先前帧数据彼此合并的比率的处理的曲线图。
参照图8B，可基于运动检测器820检测的运动的程度(例如，基于绝对差和(SAD))来确定当前帧数据Data_curr和先前帧数据Data_prev彼此合并的比率。
作为当前帧数据(或当前帧数据的亮度)和先前帧数据(或先前帧数据的亮度)之间的差的和(按块)的SAD也可用于判断运动的程度。即，作如下判断：当SAD增加时，判断运动的程度增加，当SAD减小时，判断运动的程度减小。
当SAD大于第五阈值时，将当前帧增益Curr_gain设置为“1”，将先前帧增益Prev_gain设置为“0”。当SAD小于第四阈值时，将当前帧增益Curr_gain设置为“0”，将先前帧增益Prev_gain设置为“1”。换句话说，当SAD大时，通过当前帧数据确定数据合并器830的输出，当SAD小时，通过先前帧数据确定数据合并器830的输出。
简言之，数据合并器830的输出Data_merge可通过“Data_merge＝Curr_gain×Data_curr+Prev_gain×Data_prev”来限定。
参照图8A，增益确定单元445确定数据合并增益Expansion_gain_T，并将其输出到第三乘法器840。根据输入图像数据410或输入图像数据410的亮度确定的数据合并增益Expansion_gain_T用于计算第二输出图像数据860，稍后将解释第二输出图像数据860。可以以与用于确定图7的像素装仓增益的方式相似的方式来确定数据合并增益Expansion_gain_T。
第三乘法器840将数据合并增益Expansion_gain_T和数据合并器830的输出Data_merge相乘。
第三加法器850将第三乘法器840的输出和当前帧数据Data_curr相加。
其结果是，可通过“Data_Out＝Data_curr+Expansion_gain_T×Data_merge”来限定第二输出图像数据Data_Out。
图9是示出根据本发明的示例性实施例的改善成像设备的灵敏度的方法的流程图。
在操作910，以预定像素大小对输入图像数据进行像素装仓。像素装仓可保持输入图像数据的分辨率。
在操作920，基于输入图像数据或输入图像数据的亮度确定像素装仓增益。因为已经参照图7描述了像素装仓增益，所以将不再给出其详细解释。
在操作930，基于像素装仓的输入图像数据和像素装仓增益来计算输出图像数据。
图10是示出根据本发明的另一示例性实施例的改善成像设备的灵敏度的方法的流程图。
在操作1010，以预定像素大小对输入图像数据进行像素装仓。
在操作1020，对沿输入图像数据的多个方向的高频分量滤波。例如，可对沿输入图像数据的水平方向的第一高频分量、沿输入图像数据的垂直方向的第二高频分量和沿输入图像数据的对角线方向的第三高频分量滤波。
在操作1030，基于所述高频分量确定分辨率保持因数。因为已经参照图6解释了分辨率保持因数，所以将不再给出其详细结解释。
在操作1040，基于像素装仓的输入图像数据、高频分量和分辨率保持因数来计算输出图像数据。
图11是示出根据本发明的另一示例性实施例的改善成像设备的灵敏度的方法的流程图。
在操作1110，以预定像素大小对输入图像数据进行像素装仓。
在操作1120，基于输入图像数据或输入图像数据的亮度计算像素装仓增益。
在操作1130，对沿输入图像数据的多个方向的高频分量滤波。
在操作1140，基于所述高频分量确定分辨率保持因数。
在操作1150，基于像素装仓的输入图像数据、像素装仓增益、高频分量和分辨率保持因数来计算输出图像数据。
在操作1160，基于输出图像数据的当前帧数据和先前帧数据来扩展输出图像数据的动态范围。
本发明可实施为计算机可读记录介质上的计算机可读代码。所述计算机可读记录介质为可存储其后能由计算机***读取的数据的任何数据存储装置。
所述计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。所述计算机可读记录介质可分散地安装在联网的计算机***中，并且在分布式计算环境下作为计算机可读代码被存储和执行。
虽然已经参照本发明的示例性实施例具体显示和描述了本发明，但是本领域普通技术人员将理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以在细节和形式上对其进行各种改变。

Claims (25)

1、一种成像设备，包括：
像素装仓单元，以给定像素大小对输入图像数据进行像素装仓；
增益确定单元，基于输入图像数据或输入图像数据的亮度来确定像素装仓增益；
计算单元，基于像素装仓的输入图像数据和像素装仓增益来计算输出图像数据。
2、如权利要求1所述的成像设备，其中，像素装仓单元保持输入图像数据的分辨率。
3、如权利要求1所述的成像设备，其中，如果输入图像数据的亮度小于第一阈值，则增益确定单元将像素装仓增益确定为给定的最大增益，如果输入图像数据的亮度大于第一阈值，则增益确定单元将像素装仓增益确定为随着输入图像数据的亮度增加从给定的最大增益线性减小的增益。
4、如权利要求1所述的成像设备，其中，计算单元通过将像素装仓的输入图像数据与像素装仓增益相乘来计算输出图像数据。
5、如权利要求1所述的成像设备，还包括：时域扩展单元，基于输出图像数据的当前帧数据和先前帧数据来扩展输出图像数据的动态范围。
6、如权利要求5所述的成像设备，其中，增益确定单元确定时域扩展单元的数据合并增益，并将数据合并增益提供给时域扩展单元。
7、一种成像设备，包括：
像素装仓单元，以给定像素大小对输入图像数据进行像素装仓；
高通滤波单元，对沿输入图像数据的多个方向的高频分量滤波；
分辨率保持因数确定单元，基于高频分量确定分辨率保持因数；
计算单元，基于像素装仓的输入图像数据、高频分量和分辨率保持因数来计算输出图像数据。
8、如权利要求7所述的成像设备，其中，像素装仓单元保持输入图像数据的分辨率。
9、如权利要求7所述的成像设备，其中，高通滤波单元包括：
水平高通滤波器，对沿输入图像数据的水平方向的第一高频分量滤波；
垂直高通滤波器，对沿输入图像数据的垂直方向的第二高频分量滤波。
10、如权利要求9所述的成像设备，其中，高通滤波单元还包括：对角线高通滤波器，对沿输入图像数据的对角线方向的第三高频分量滤波。
11、如权利要求10所述的成像设备，其中，分辨率保持因数确定单元：
获得第一高频分量和第二高频分量之间的差的绝对值、第二高频分量和第三高频分量之间的差的绝对值以及第一高频分量和第三高频分量之间的差的绝对值中的最大绝对值；
如果最大绝对值小于或等于第二阈值，则将分辨率保持因数确定为给定的最小因数；
如果最大绝对值大于或小于第三阈值，则将分辨率保持因数确定为给定的最大因数；
如果最大绝对值在第二阈值和第三阈值之间，则将分辨率保持因数确定为随着最大绝对值在给定的最小因数和给定的最大因数之间增加而线性增加的增益。
12、如权利要求11所述的成像设备，其中，计算单元通过将高频分量之和与分辨率保持因数相乘并将像素装仓的输入图像数据与相乘结果相加来计算输出图像数据。
13、如权利要求7所述的成像设备，还包括：时域扩展单元，基于输出图像数据的当前帧数据和先前帧数据来扩展输出图像数据的动态范围。
14、一种改善成像设备的灵敏度的方法，所述方法包括：
以给定像素大小对输入图像数据进行像素装仓；
基于输入图像数据或输入图像数据的亮度来确定像素装仓增益；
基于像素装仓的输入图像数据和像素装仓增益来计算输出图像数据。
15、如权利要求14所述的方法，其中，像素装仓保持输入图像数据的分辨率。
16、如权利要求14所述的方法，其中，如果输入图像数据的亮度小于第一阈值，则将像素装仓增益确定为给定的最大增益，如果输入图像数据的亮度大于第一阈值，则将像素装仓增益确定为随着输入图像数据的亮度增加从给定的最大增益线性减小的增益。
17、如权利要求14所述的方法，其中，通过将像素装仓的输入图像数据与像素装仓增益相乘来计算输出图像数据。
18、如权利要求14所述的方法，还包括：基于输出图像数据的当前帧数据和先前帧数据来扩展输出图像数据的动态范围。
19、一种改善成像设备的灵敏度的方法，所述方法包括：
以给定像素大小对输入图像数据进行像素装仓；
对沿输入图像数据的多个方向的高频分量滤波；
基于高频分量确定分辨率保持因数；
基于像素装仓的输入图像数据、高频分量和分辨率保持因数来计算输出图像数据。
20、如权利要求19所述的方法，其中，像素装仓保持输入图像数据的分辨率。
21、如权利要求19所述的方法，其中，对高频分量滤波包括：
对沿输入图像数据的水平方向的第一高频分量滤波；
对沿输入图像数据的垂直方向的第二高频分量滤波。
22、如权利要求21所述的方法，其中，对高频分量滤波还包括：对沿输入图像数据的对角线方向的第三高频分量滤波。
23、如权利要求22所述的方法，其中，确定分辨率保持因数包括：
获得第一高频分量和第二高频分量之间的差的绝对值、第二高频分量和第三高频分量之间的差的绝对值以及第一高频分量和第三高频分量之间的差的绝对值中的最大绝对值；
如果最大绝对值小于或等于第二阈值，则将分辨率保持因数确定为给定的最小因数；
如果最大绝对值大于或等于第三阈值，则将分辨率保持因数确定为给定的最大因数；
如果最大绝对值在第二阈值和第三阈值之间，则将分辨率保持因数确定为随着最大绝对值在给定的最小因数和给定的最大因数之间增加而线性增加的增益。
24、如权利要求23所述的方法，其中，通过将高频分量之和与分辨率保持因数相乘并将像素装仓的输入图像数据与相乘结果相加来计算输出图像数据。
25、如权利要求19所述的方法，还包括：基于输出图像数据的当前帧数据和先前帧数据来扩展输出图像数据的动态范围。
CN2008800235160A 2007-07-10 2008-03-11 成像设备和改善其灵敏度的方法 Expired - Fee Related CN101690170B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020070069212 2007-07-10
KR10-2007-0069212 2007-07-10
KR1020070069212A KR20090005843A (ko) 2007-07-10 2007-07-10 촬상 장치 및 촬상 장치의 감도 개선 방법
PCT/KR2008/001364 WO2009008580A1 (en) 2007-07-10 2008-03-11 Imaging apparatus and method of improving sensitivity of the same

Publications (2)

Publication Number Publication Date
CN101690170A true CN101690170A (zh) 2010-03-31
CN101690170B CN101690170B (zh) 2012-09-26

Family

ID=40228738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800235160A Expired - Fee Related CN101690170B (zh) 2007-07-10 2008-03-11 成像设备和改善其灵敏度的方法

Country Status (6)

Country Link
US (2) US20090016625A1 (zh)
EP (1) EP2165527A4 (zh)
JP (1) JP2009021999A (zh)
KR (1) KR20090005843A (zh)
CN (1) CN101690170B (zh)
WO (1) WO2009008580A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105450909A (zh) * 2014-06-27 2016-03-30 联想(北京)有限公司 一种信息处理方法及电子设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101597785B1 (ko) 2009-07-14 2016-02-25 삼성전자주식회사 이미지 센서 및 영상 처리 방법
FR2959320B1 (fr) * 2010-04-26 2013-01-04 Trixell Detecteur de rayonnement electromagnetique a selection de gamme de gain
KR101198249B1 (ko) 2010-07-07 2012-11-07 에스케이하이닉스 주식회사 이미지센서의 컬럼 회로 및 픽셀 비닝 회로
CN102256047B (zh) * 2011-07-28 2013-06-19 北京空间机电研究所 一种基于滤波的2×2数字binning***
KR101348220B1 (ko) 2013-07-23 2014-01-06 (주)나임기술 영상 조도 향상 방법 및 그 장치
JP2015115922A (ja) * 2013-12-16 2015-06-22 オリンパス株式会社 撮像装置および撮像方法
CN111372008B (zh) * 2020-03-13 2021-06-25 深圳市睿联技术股份有限公司 基于视频内容的亮度自动增益调节方法及摄像机
KR20220092141A (ko) * 2020-12-24 2022-07-01 삼성전자주식회사 열형 적외선 검출 장치

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5517242A (en) * 1993-06-29 1996-05-14 Kabushiki Kaisha Toyota Chuo Kenkyusho Image sensing device having expanded dynamic range
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
US6801258B1 (en) * 1998-03-16 2004-10-05 California Institute Of Technology CMOS integration sensor with fully differential column readout circuit for light adaptive imaging
EP1086578A4 (en) * 1998-03-16 2001-09-26 California Inst Of Techn CMOS INTEGRATION SENSOR WITH FULL DIFFERENTIAL COLUMN READING CIRCUIT FOR IMAGING BRIGHTNESS ADAPTIVES
US6765613B1 (en) * 1998-07-22 2004-07-20 Micron Technology, Inc. Low light sensor signal to noise improvement
US6593961B1 (en) * 1998-10-30 2003-07-15 Agilent Technologies, Inc. Test efficient method of classifying image quality of an optical sensor using three categories of pixels
JP4086520B2 (ja) * 2001-03-19 2008-05-14 株式会社リコー 多値画像の符号化及び復号化方法並びに装置
JP4150844B2 (ja) * 2001-07-05 2008-09-17 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置および画像処理プログラム
JP4042411B2 (ja) * 2002-01-11 2008-02-06 株式会社日立製作所 データ記録装置、データ再生装置、データ記録再生方法及び撮像装置
US6876778B2 (en) * 2002-03-11 2005-04-05 Sunplus Technology Co., Ltd. Edge enhancement method and apparatus in digital image scalar-up circuit
DE10214809A1 (de) * 2002-04-04 2003-10-23 Wolf Gmbh Richard Festkörpervideokamera und Helligkeitsregelung dafür
US20030223539A1 (en) * 2002-05-31 2003-12-04 Granfors Paul R. Method and apparatus for acquiring and storing multiple offset corrections for amorphous silicon flat panel detector
DE10236204A1 (de) * 2002-08-07 2004-03-04 Micronas Gmbh Gradientengestütztes Verfahren zur Bildpunktinterpolation
US6909459B2 (en) * 2002-08-21 2005-06-21 Alpha Innotech Corporation Method of and apparatus for extending signal ranges of digital images
US20040141079A1 (en) * 2003-01-10 2004-07-22 Matsushita Electric Industrial Co., Ltd. Solid-state imaging device and camera using the same
US7257278B2 (en) * 2003-02-26 2007-08-14 Hewlett-Packard Development Company, L.P. Image sensor for capturing and filtering image data
US20050012968A1 (en) * 2003-07-14 2005-01-20 Dialog Semiconductor Pixel with variable resolution during exposure
US7154075B2 (en) * 2003-11-13 2006-12-26 Micron Technology, Inc. Method and apparatus for pixel signal binning and interpolation in column circuits of a sensor circuit
JP4193768B2 (ja) * 2004-07-16 2008-12-10 ソニー株式会社 データ処理方法並びに物理量分布検知の半導体装置および電子機器
US7426314B2 (en) * 2004-07-30 2008-09-16 Hewlett-Packard Development Company, L.P. Adjusting pixels by desired gains and factors
US7343047B2 (en) * 2004-09-22 2008-03-11 Hewlett-Packard Development Company, L.P. Systems and methods for arriving at an auto focus Figure of Merit
US20060065844A1 (en) * 2004-09-30 2006-03-30 Zelakiewicz Scott S Systems and methods for dynamic optimization of image
US8482618B2 (en) * 2005-02-22 2013-07-09 Hewlett-Packard Development Company, L.P. Reduction of motion-induced blur in images
US7365299B2 (en) * 2005-05-09 2008-04-29 Sensors Unlimited, Inc. Method and apparatus for providing flexible photodetector binning
US7705900B2 (en) * 2005-06-01 2010-04-27 Eastman Kodak Company CMOS image sensor pixel with selectable binning and conversion gain
JP2007053691A (ja) * 2005-08-19 2007-03-01 Micron Technol Inc サブｌｓｂを用いた拡張デジタルデータ路構造
JP4775052B2 (ja) * 2006-03-17 2011-09-21 ソニー株式会社 画像処理装置および方法、並びにプログラム
US20080158396A1 (en) * 2006-08-07 2008-07-03 Transchip, Inc. Image Signal Processor For CMOS Image Sensors
US8213676B2 (en) * 2006-12-20 2012-07-03 Ge Inspection Technologies Lp Inspection apparatus method and apparatus comprising motion responsive control
KR20080076004A (ko) * 2007-02-14 2008-08-20 삼성전자주식회사 촬상장치 및 그 다이나믹 레인지 확장방법
US7929807B2 (en) * 2007-02-27 2011-04-19 Phase One A/S Colour binning of a digital image to reduce the image resolution

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105450909A (zh) * 2014-06-27 2016-03-30 联想(北京)有限公司 一种信息处理方法及电子设备

Also Published As

Publication number Publication date
EP2165527A4 (en) 2010-11-17
US20090016625A1 (en) 2009-01-15
CN101690170B (zh) 2012-09-26
KR20090005843A (ko) 2009-01-14
EP2165527A1 (en) 2010-03-24
US20150002710A1 (en) 2015-01-01
JP2009021999A (ja) 2009-01-29
WO2009008580A1 (en) 2009-01-15

Similar Documents

Publication Publication Date Title
CN101690170B (zh) 成像设备和改善其灵敏度的方法
JP4904749B2 (ja) フリッカ低減方法、フリッカ低減回路及び撮像装置
US9560290B2 (en) Image processing including image correction
JP4928765B2 (ja) 半導体集積装置及びイメージセンサの黒レベル補正方法
JP3730419B2 (ja) 映像信号処理装置
US8922680B2 (en) Image processing apparatus and control method for image processing apparatus
US20120212645A1 (en) Image processing apparatus and method
JP2011091775A (ja) 固体撮像装置
JP2010004302A (ja) 信号処理装置、信号処理方法、制御プログラム、可読記録媒体、固体撮像装置および電子情報機器
JP2007174537A (ja) 撮像装置
JP3539901B2 (ja) フリッカ検出・補正装置およびフリッカ検出・補正方法
JP2000224468A (ja) 映像信号処理装置
US20060017824A1 (en) Image processing device, image processing method, electronic camera, and scanner
US20020047909A1 (en) Method of controlling transmission light amount and television camera apparatus using the method
JP2004289559A (ja) 固体撮像装置
JP2017135554A (ja) 画像処理装置、画像処理方法、及びプログラム
US11593925B2 (en) Apparatus, method, and storage medium
US8791940B2 (en) Apparatus and method for compensating for black level
US9258461B2 (en) Image processing device and method, and image processing program
JP2011250249A (ja) 映像信号処理装置および映像信号処理方法
JP2010136271A (ja) 撮像装置
JP2005229166A (ja) 映像信号のノイズ量測定装置および測定方法
JP2015195453A (ja) 画像処理装置および画像処理方法
JP4096698B2 (ja) ラインクロール補正装置
JP5506623B2 (ja) 映像処理装置及び映像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120926

Termination date: 20190311

CF01 Termination of patent right due to non-payment of annual fee