CN101690170B - 成像设备和改善其灵敏度的方法 - Google Patents
成像设备和改善其灵敏度的方法 Download PDFInfo
- Publication number
- CN101690170B CN101690170B CN2008800235160A CN200880023516A CN101690170B CN 101690170 B CN101690170 B CN 101690170B CN 2008800235160 A CN2008800235160 A CN 2008800235160A CN 200880023516 A CN200880023516 A CN 200880023516A CN 101690170 B CN101690170 B CN 101690170B
- Authority
- CN
- China
- Prior art keywords
- image data
- gain
- data
- input image
- fdrequency component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000035945 sensitivity Effects 0.000 title claims abstract description 28
- 238000001914 filtration Methods 0.000 claims description 25
- 241001269238 Data Species 0.000 claims description 7
- 238000005286 illumination Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 238000009825 accumulation Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000005693 optoelectronics Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 101100117236 Drosophila melanogaster speck gene Proteins 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 206010027146 Melanoderma Diseases 0.000 description 1
- 241000519995 Stachys sylvatica Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/618—Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/57—Control of contrast or brightness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/142—Edging; Contouring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
- H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
提供一种成像设备和改善成像设备的灵敏度的方法。所述成像设备包括:像素装仓单元,以给定像素大小对输入图像数据进行像素装仓;增益确定单元,基于输入图像数据或输入图像数据的亮度来确定像素装仓增益;计算单元,基于像素装仓的输入图像数据和像素装仓增益来计算输出图像数据。因此,可保持输入图像数据的分辨率,并且可扩展低照明条件下图像信号的动态范围。
Description
技术领域
根据本发明的设备和方法涉及一种成像设备和改善其灵敏度的方法,更具体地讲,涉及一种能够在低照明条件下改善图像数据灵敏度并防止噪声的成像设备以及改善该成像设备的灵敏度的方法。
背景技术
成像设备(如照相机或摄像机)使用成像装置(如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD))将图像的光转换为电信号。
理想地,成像装置产生与入射光的量成比例的电信号。然而,当将光转换为电信号时,产生各种噪声。这种噪声包括暗电流噪声、kTC噪声和固定模式噪声。
在低照明条件下,作为与温度成比例的热噪声的暗电流噪声是图像质量降低的主要因素。kTC噪声由用于驱动CMOS和CCD相机的各种开关脉冲产生。固定模式噪声由成像装置(如CMOS或CCD)中的像素之间的制造变化引起的不均匀性导致。固定模式噪声包括白点缺陷、黑点缺陷、线缺陷、带缺陷和感光点(sensitivity speck)。这种噪声被添加到成像装置光电转换并积累的电荷,从而降低图像质量。
在具有大量光的高照明条件下,因为与光电转换和积累的电荷相比,噪声相对较小,所以可忽略图像质量降低。然而,在低照明条件下,固定模式噪声、暗电流噪声和kTC噪声变得比光电转换和积累的电荷大。
为了使在低照明条件下光电转换和积累的电荷大于噪声,可使用具有大像素间距的成像装置,或者可增加成像装置的曝光时间。然而,具有大像素间距的成像装置昂贵,并且应当增加成像装置的大小以提供相同的分辨率。
发明内容
技术方案
本发明提供一种成像设备和改善所述成像设备的灵敏度的方法,所述成像设备能够保持分辨率,并且还能够通过相比于噪声功率增大输出图像信号的功率扩展低照明条件下的图像信号的动态范围。
本发明还提供一种成像设备和改善所述成像设备的灵敏度的方法,所述成像设备能够通过防止噪声提高来改善灵敏度。
有益效果
根据本发明的示例性实施例的成像设备和改善所述成像设备的灵敏度的方法能够在保持输入图像数据的分辨率的同时扩展低照明条件下的图像信号的动态范围。
此外,根据本发明的示例性实施例的成像设备和改善所述成像设备的灵敏度的方法能够增加低照明条件下的信噪比。
附图说明
通过参照附图对本发明的示例性实施例的详细描述,本发明的以上和其他方面将变得更清楚,其中:
图1是根据本发明的示例性实施例的成像设备的框图;
图2是根据本发明的另一示例性实施例的成像设备的框图;
图3是根据本发明的另一示例性实施例的成像设备的框图;
图4是根据本发明的另一示例性实施例的成像设备的框图;
图5A至图5E示出解释根据本发明的示例性实施例的用于保持输入图像数据的分辨率的像素装仓(pixel binning)的像素;
图6是解释根据本发明的示例性实施例的确定分辨率保持因数的处理的曲线图;
图7是解释根据本发明的示例性实施例的确定像素装仓增益的处理的曲线图;
图8A是根据本发明的示例性实施例的时域扩展单元的框图;
图8B是解释根据本发明的示例性实施例的确定当前帧数据和先前帧数据彼此合并的比率的处理的曲线图;
图9是示出根据本发明的示例性实施例的改善成像设备的灵敏度的方法的流程图;
图10是示出根据本发明的另一示例性实施例的改善成像设备的灵敏度的方法的流程图;
图11是示出根据本发明的另一示例性实施例的改善成像设备的灵敏度的方法的流程图。
最佳模式
根据本发明的一方面,提供了一种成像设备,包括:像素装仓单元,以给定像素大小对输入图像数据进行像素装仓;增益确定单元,基于输入图像数据或输入图像数据的亮度来确定像素装仓增益;计算单元,基于像素装仓的输入图像数据和像素装仓增益来计算输出图像数据。
像素装仓单元可保持输入图像数据的分辨率。
当输入图像数据的亮度小于第一阈值时,增益确定单元可将像素装仓增益确定为给定的最大增益,当输入图像数据的亮度大于第一阈值时,增益确定单元可将像素装仓增益确定为随着输入图像数据的亮度增加从给定的最大增益线性减小的增益。
计算单元可通过将像素装仓的输入图像数据与像素装仓增益相乘来计算输出图像数据。
所述成像设备还可包括:时域扩展单元,基于输出图像数据的当前帧数据和先前帧数据来扩展输出图像数据的动态范围。
增益确定单元可确定时域扩展单元的数据合并增益,并将数据合并增益提供给时域扩展单元。
根据本发明的另一方面,提供了一种成像设备,包括:像素装仓单元,以给定像素大小对输入图像数据进行像素装仓;高通滤波单元,对沿输入图像数据的多个方向的高频分量滤波;分辨率保持因数确定单元,基于高频分量确定分辨率保持因数;计算单元,基于像素装仓的输入图像数据、高频分量和分辨率保持因数来计算输出图像数据。
高通滤波单元可包括:水平高通滤波器,对沿输入图像数据的水平方向的第一高频分量滤波;垂直高通滤波器,对沿输入图像数据的垂直方向的第二高频分量滤波。
高通滤波单元还可包括:对角线高通滤波器,对沿输入图像数据的对角线方向的第三高频分量滤波。
分辨率保持因数确定单元可:获得第一高频分量和第二高频分量之间的差的绝对值、第二高频分量和第三高频分量之间的差的绝对值以及第一高频分量和第三高频分量之间的差的绝对值中的最大绝对值;当最大绝对值小于或等于第二阈值时,将分辨率保持因数确定为给定的最小因数;当最大绝对值大于或小于第三阈值时,将分辨率保持因数确定为给定的最大因数;当最大绝对值在第二阈值和第三阈值之间时,将分辨率保持因数确定为随着最大绝对值在给定的最小因数和给定的最大因数之间增加而线性增加的增益。
计算单元可通过将高频分量之和与分辨率保持因数相乘并将像素装仓的输入图像数据与相乘结果相加来计算输出图像数据。
所述成像设备还可包括:时域扩展单元,基于输出图像数据的当前帧数据和先前帧数据来扩展输出图像数据的动态范围。
根据本发明的另一方面,提供了一种改善成像设备的灵敏度的方法,所述方法包括:以给定像素大小对输入图像数据进行像素装仓;基于输入图像数据或输入图像数据的亮度来确定像素装仓增益;基于像素装仓的输入图像数据和像素装仓增益来计算输出图像数据。
根据本发明的另一方面,提供了一种改善成像设备的灵敏度的方法,所述方法包括:以给定像素大小对输入图像数据进行像素装仓;对沿输入图像数据的多个方向的高频分量滤波;基于高频分量确定分辨率保持因数;基于像素装仓的输入图像数据、高频分量和分辨率保持因数来计算输出图像数据。
根据本发明的另一方面,提供一种其上实现有用于执行改善成像设备的灵敏度的方法的程序的计算机可读记录介质,其中,所述方法包括:以给定像素大小对输入图像数据进行像素装仓;基于输入图像数据或输入图像数据的亮度来确定像素装仓增益;基于像素装仓的输入图像数据和像素装仓增益来计算输出图像数据。
根据本发明的另一方面,提供一种其上实现有用于执行改善成像设备的灵敏度的方法的程序的计算机可读记录介质,其中,所述方法包括:以给定像素大小对输入图像数据进行像素装仓;对沿输入图像数据的多个方向的高频分量滤波;基于高频分量确定分辨率保持因数;基于像素装仓的输入图像数据、高频分量和分辨率保持因数来计算输出图像数据。
具体实施方式
现在将参照附图更全面地描述本发明,附图中示出本发明的示例性实施例。
图1是根据本发明的示例性实施例的成像设备的框图。
参照图1,所述成像设备包括像素装仓单元120、增益确定单元130和计算单元140。
像素装仓单元120以预定像素大小(例如,2×2或3×3)对输入图像数据110进行像素装仓。与一个像素相邻的多个像素数据组合为一个像素数据。因为像素装仓是将多个像素的数据组合为一个像素的数据的处理,所以可以在低照明条件下改善灵敏度,但分辨率降低。
然而,图1的成像设备的像素装仓单元120在保持输入图像数据110的分辨率的同时沿水平方向或垂直方向对输入图像数据110进行像素装仓,将参照图5A至图5E对此进行解释。
图5A示出像素装仓之前的像素“a”、“b”、“c”、...“p”。
图5B是解释获得像素“a”、“c”、“i”、和“k”的像素装仓数据的2×2像素装仓处理的示图。可通过对像素“a”、“b”、“e”和“f”的输入图像数据求和来获得像素“a”的像素装仓数据。可通过对像素“c”、“d”、“g”和“h”的输入图像数据求和来获得像素“c”的像素装仓数据。可以以相同方式获得像素“i”、和“k”的像素装仓数据。
同样地,图5C是解释获得像素“b”、“d”、“j”、和“l”的像素装仓数据的2×2像素装仓处理的示图。例如,可通过对像素“b”、“c”、“f”和“g”的输入图像数据求和来获得像素“b”的输入图像数据。可通过对像素“d”、“a”、“h”和“e”的输入图像数据求和来获得像素“d”的输入图像数据。可通过对像素“l”、“i”、“p”和“m”的输入图像数据求和来获得像素“l”的输入图像数据。
图5D是解释获得像素“e”、“g”、“m”、和“o”的像素装仓数据的2×2像素装仓处理的示图。图5E是解释获得像素“f”、“h”、“n”、和“p”的像素装仓数据的像素装仓处理的示图。
以这种方式,可获得所有像素“a”、“b”、“c”、...“p”的输入图像数据。因此,图5A至图5E的像素装仓可在保持分辨率的同时改善低照明条件下的灵敏度。虽然在图5A至图5E中像素装仓保持分辨率,但是本示例性实施例不限于此,可以在降低分辨率的同时执行像素装仓。
再次参照图1,增益确定单元130基于输入图像数据110或输入图像数据110的亮度确定像素装仓增益。像素装仓增益是从像素装仓单元120输出的数据的增益。例如,计算单元140可将输出图像数据150计算为像素装仓单元120的输出与像素装仓增益的乘积。
图7是示出像素装仓增益和输入图像数据110或输入图像数据110的亮度之间的关系的曲线图。例如,当输入图像数据110的亮度小于第一阈值时,增益确定单元130可将像素装仓增益确定为预定最大增益,当输入图像数据110的亮度大于第一阈值时,增益确定单元130可将像素装仓增益确定为随着输入图像数据的亮度增加从所述最大增益线性减小的增益。所述最大增益和像素装仓增益的斜率可根据示例性实施例改变。
计算单元140基于从像素装仓单元120输出的像素装仓的图像数据和从增益确定单元130输出的像素装仓增益来计算输出图像数据150。虽然在图1中显示计算单元140通过将像素装仓单元120的输出与像素装仓增益相乘来计算输出图像数据150,但是本示例性实施例不限于此。
根据图1的成像设备,当输入图像数据110的亮度较低时,可通过改善成像设备的灵敏度来增加动态范围。
图2是根据本发明的另一示例性实施例的成像设备的框图。
参照图2,所述成像设备包括像素装仓单元120、增益确定单元230、计算单元140和时域扩展单元250。
因为像素装仓单元120和计算单元140与图1中的像素装仓单元120和计算单元140相同,因此将不再给出详细解释。
时域扩展单元250基于从计算单元140输出的图像数据的当前帧数据和先前帧数据来扩展输出图像数据260的动态范围。
增益确定单元230确定像素装仓增益,还确定数据合并增益,并将确定的数据合并增益提供给时域扩展单元250,所述数据合并增益是当前帧数据和先前帧数据彼此合并的比率。当前帧数据和先前帧数据彼此合并的比率可根据帧之间的运动而改变。
稍后将参照图8A和图8B详细地解释增益确定单元230和时域扩展单元250。
图3是根据本发明的另一示例性实施例的成像设备的框图。
参照图3,所述成像设备包括像素装仓单元320、高通滤波单元330、分辨率保持因数确定单元340和计算单元350。
像素装仓单元320以预定像素大小对输入图像数据进行像素装仓。像素装仓单元320可保持输入图像数据310的分辨率。
高通滤波单元330对沿输入图像数据310的多个方向的高频分量滤波。沿多个方向的高频分量的滤波包括判断像素的高频分量是由图像还是由噪声产生。通常,当存在沿特定方向的高频分量时,可检测沿该方向的边缘的存在。因此,如果沿一个像素的水平、垂直和对角线方向滤波的所有高频分量都具有高的值,则可将所述一个像素检测为噪声。
分辨率保持因数确定单元340基于高频分量确定分辨率保持因数。如果高通滤波单元330判断像素的高频分量由图像产生,则分辨率保持因数确定单元340确定用于保持高频分量的分辨率保持因数,如果高通滤波单元330判断像素的高频分量由噪声产生,则分辨率保持因数确定单元340确定用于不保持高频分量的分辨率保持因数。稍后将参照图4解释分辨率保持因数确定单元340。
计算单元350基于像素装仓的输入图像数据、高频分量和分辨率保持因数计算输出图像数据360。
图4是根据本发明的另一示例性实施例的成像设备的框图。
参照图4,所述成像设备包括像素装仓单元415、高通滤波单元420、分辨率保持因数确定单元440、增益确定单元445和计算单元450。
像素装仓单元415以预定像素大小对输入图像数据410进行像素装仓。像素装仓单元415保持输入图像数据410的分辨率。
高通滤波单元420包括水平高通滤波器425、垂直高通滤波器430和对角线高通滤波器435。
水平高通滤波器425对沿输入图像数据410的水平方向的第一高频分量“H_hpf”滤波。垂直高通滤波器430对沿输入图像数据410的垂直方向的第二高频分量“V_hpf”滤波。对角线高通滤波器435对沿输入图像数据410的对角线方向的第三高频分量“D_hpf”滤波。
在修改方式中,高通滤波单元420可仅包括两个滤波单元(例如,水平高通滤波器425和垂直高通滤波器430)或者可包括四个或更多个滤波单元。
分辨率保持因数确定单元440计算第一高频分量H_hpf和第二高频分量V_hpf之间的差的绝对值|H_hpf-V_hpf|,第二高频分量V_hpf和第三高频分量D_hpf之间的差的绝对值|V_hpf-D_hpf|,以及第一高频分量H_hpf和第三高频分量D_hpf之间的差的绝对值|H_hpf-D_hpf|。接下来,分辨率保持因数确定单元440获得三个绝对值中最大的最大值Diff_Max。即,通过“Diff_Max=max(|H_hpf-V_hpf|,|V_hpf-D_hpf|,|H_hpf-D_hpf|)”给出最大值Diff_Max。
接下来,分辨率保持因数确定单元440基于获得的最大值Diff_Max确定分辨率保持因数。
图6是解释根据本发明的示例性实施例的确定分辨率保持因数的处理的曲线图。
参照图6,当最大值Diff_Max小于或等于第二阈值时,将分辨率保持因数确定为预定最小因数。当最大值Diff_Max大于或等于第三阈值时,将分辨率保持因数确定为预定最大因数。当最大值Diff_Max在第二阈值和第三阈值之间时,将分辨率保持因数确定为随着最大值Diff_Max在最小因数和最大因数之间增加而线性增加的增益。这是因为,通常噪声分量具有较小的最大值Diff_Max,而图像分量具有较大的最大值Diff_Max。
再次参照图4,增益确定单元445基于输入图像数据410或输入图像数据410的亮度确定像素装仓增益。像素装仓增益是从像素装仓单元415输出的数据的增益。
图7示出像素装仓增益和输入图像数据410或输入图像数据410的亮度之间的关系。当输入图像数据410的亮度小于第一阈值时,增益确定单元445将像素装仓增益确定为最大增益,当输入图像数据410的亮度大于第一阈值时,增益确定单元445将像素装仓增益确定为随着输入图像数据的亮度增加从所述最大增益线性减小的增益。所述最大增益和像素装仓增益的斜率可根据示例性实施例改变。
增益确定单元445还从第一输出图像数据475确定数据合并增益,并将确定的数据合并增益提供给时域扩展单元480,所述数据合并增益是当前帧数据和先前帧数据彼此合并的比率。因此,可调整空间和时域增益。
计算单元450包括第一乘法器455、第二乘法器465、第一加法器460和第二加法器470。
第一乘法器455将通过像素装仓单元415进行像素装仓的输入图像数据Data_BI与增益确定单元445确定的像素装仓增益Expansion_gain_S相乘。
第一加法器460计算高频分量的和SHF(=H_hpf+V_hpf+D_hpf)。
第二乘法器465将高频分量的和SHF与分辨率保持因数确定单元440确定的分辨率保持因数RP_factor相乘。
第二加法器470将第一乘法器455的输出与第二乘法器465的输出相加。
即,通过“Data_Out_S=Data_BI×Expansion_gain_S+RP_factor×SHF”给出作为计算单元450的输出的第一输出图像数据Data_Out_S 475。
第一输出图像数据475可再次输入到时域扩展单元480。
图8A是根据本发明的示例性实施例的时域扩展单元810的框图。
时域扩展单元810包括运动检测器820、数据合并器830、第三乘法器840和第三加法器850。
运动检测器820检测当前帧数据和先前帧数据之间的运动。
数据合并器830基于运动检测器820检测的运动以预定比率合并第一输出图像数据475的当前帧数据和先前帧数据。
图8B是解释根据本发明的示例性实施例的确定当前帧数据和先前帧数据彼此合并的比率的处理的曲线图。
参照图8B,可基于运动检测器820检测的运动的程度(例如,基于绝对差和(SAD))来确定当前帧数据Data_curr和先前帧数据Data_prev彼此合并的比率。
作为当前帧数据(或当前帧数据的亮度)和先前帧数据(或先前帧数据的亮度)之间的差的和(按块)的SAD也可用于判断运动的程度。即,作如下判断:当SAD增加时,判断运动的程度增加,当SAD减小时,判断运动的程度减小。
当SAD大于第五阈值时,将当前帧增益Curr_gain设置为“1”,将先前帧增益Prev_gain设置为“0”。当SAD小于第四阈值时,将当前帧增益Curr_gain设置为“0”,将先前帧增益Prev_gain设置为“1”。换句话说,当SAD大时,通过当前帧数据确定数据合并器830的输出,当SAD小时,通过先前帧数据确定数据合并器830的输出。
简言之,数据合并器830的输出Data_merge可通过“Data_merge=Curr_gain×Data_curr+Prev_gain×Data_prev”来限定。
参照图8A,增益确定单元445确定数据合并增益Expansion_gain_T,并将其输出到第三乘法器840。根据输入图像数据410或输入图像数据410的亮度确定的数据合并增益Expansion_gain_T用于计算第二输出图像数据860,稍后将解释第二输出图像数据860。可以以与用于确定图7的像素装仓增益的方式相似的方式来确定数据合并增益Expansion_gain_T。
第三乘法器840将数据合并增益Expansion_gain_T和数据合并器830的输出Data_merge相乘。
第三加法器850将第三乘法器840的输出和当前帧数据Data_curr相加。
其结果是,可通过“Data_Out=Data_curr+Expansion_gain_T×Data_merge”来限定第二输出图像数据Data_Out。
图9是示出根据本发明的示例性实施例的改善成像设备的灵敏度的方法的流程图。
在操作910,以预定像素大小对输入图像数据进行像素装仓。像素装仓可保持输入图像数据的分辨率。
在操作920,基于输入图像数据或输入图像数据的亮度确定像素装仓增益。因为已经参照图7描述了像素装仓增益,所以将不再给出其详细解释。
在操作930,基于像素装仓的输入图像数据和像素装仓增益来计算输出图像数据。
图10是示出根据本发明的另一示例性实施例的改善成像设备的灵敏度的方法的流程图。
在操作1010,以预定像素大小对输入图像数据进行像素装仓。
在操作1020,对沿输入图像数据的多个方向的高频分量滤波。例如,可对沿输入图像数据的水平方向的第一高频分量、沿输入图像数据的垂直方向的第二高频分量和沿输入图像数据的对角线方向的第三高频分量滤波。
在操作1030,基于所述高频分量确定分辨率保持因数。因为已经参照图6解释了分辨率保持因数,所以将不再给出其详细结解释。
在操作1040,基于像素装仓的输入图像数据、高频分量和分辨率保持因数来计算输出图像数据。
图11是示出根据本发明的另一示例性实施例的改善成像设备的灵敏度的方法的流程图。
在操作1110,以预定像素大小对输入图像数据进行像素装仓。
在操作1120,基于输入图像数据或输入图像数据的亮度计算像素装仓增益。
在操作1130,对沿输入图像数据的多个方向的高频分量滤波。
在操作1140,基于所述高频分量确定分辨率保持因数。
在操作1150,基于像素装仓的输入图像数据、像素装仓增益、高频分量和分辨率保持因数来计算输出图像数据。
在操作1160,基于输出图像数据的当前帧数据和先前帧数据来扩展输出图像数据的动态范围。
本发明可实施为计算机可读记录介质上的计算机可读代码。所述计算机可读记录介质为可存储其后能由计算机***读取的数据的任何数据存储装置。
所述计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。所述计算机可读记录介质可分散地安装在联网的计算机***中,并且在分布式计算环境下作为计算机可读代码被存储和执行。
虽然已经参照本发明的示例性实施例具体显示和描述了本发明,但是本领域普通技术人员将理解,在不脱离由权利要求限定的本发明的精神和范围的情况下,可以在细节和形式上对其进行各种改变。
Claims (22)
1.一种成像设备,包括:
像素装仓单元,以给定像素数量对输入图像数据进行像素装仓,以将多个像素数据组合为一个像素数据;
增益确定单元,基于输入图像数据的亮度来确定像素装仓增益,其中,像素装仓增益是从像素装仓单元输出的数据的增益;
计算单元,基于像素装仓的输入图像数据和像素装仓增益来计算第一输出图像数据;
时域扩展单元,检测第一输出图像数据的当前帧数据和先前帧数据之间的运动,基于检测的运动以预定比率合并当前帧数据和先前帧数据,将数据合并增益与合并的数据相乘,并将相乘结果与当前帧数据相加,以扩展第二输出图像数据的动态范围,
其中,增益确定单元基于输入图像数据的亮度确定数据合并增益,所述数据合并增益指示当前帧数据和先前帧数据彼此合并的比率。
2.如权利要求1所述的成像设备,其中,像素装仓单元保持输入图像数据的分辨率。
3.如权利要求1所述的成像设备,其中,如果输入图像数据的亮度小于第一阈值,则增益确定单元将像素装仓增益确定为给定的最大增益,如果输入图像数据的亮度大于第一阈值,则增益确定单元将像素装仓增益确定为随着输入图像数据的亮度增加从给定的最大增益线性减小的增益。
4.如权利要求1所述的成像设备,其中,计算单元通过将像素装仓的输入图像数据与像素装仓增益相乘来计算输出图像数据。
5.一种成像设备,包括:
像素装仓单元,以给定像素数量对输入图像数据进行像素装仓,以将多个像素数据组合为一个像素数据;
高通滤波单元,对沿输入图像数据的多个方向的高频分量滤波;
分辨率保持因数确定单元,基于高频分量确定分辨率保持因数,其中,当高频分量由图像产生时,分辨率保持因数保持高频分量,当高频分量由噪声产生时,分辨率保持因数不保持高频分量;
计算单元,基于像素装仓的输入图像数据、高频分量和分辨率保持因数来计算第一输出图像数据。
6.如权利要求5所述的成像设备,其中,像素装仓单元保持输入图像数据的分辨率。
7.如权利要求5所述的成像设备,其中,高通滤波单元包括:
水平高通滤波器,对沿输入图像数据的水平方向的第一高频分量滤波;
垂直高通滤波器,对沿输入图像数据的垂直方向的第二高频分量滤波。
8.如权利要求7所述的成像设备,其中,高通滤波单元还包括:对角线高通滤波器,对沿输入图像数据的对角线方向的第三高频分量滤波。
9.如权利要求8所述的成像设备,其中,分辨率保持因数确定单元:
获得第一高频分量和第二高频分量之间的差的绝对值、第二高频分量和第三高频分量之间的差的绝对值以及第一高频分量和第三高频分量之间的差的绝对值中的最大绝对值;
如果最大绝对值小于或等于第二阈值,则将分辨率保持因数确定为给定的最小因数;
如果最大绝对值大于或等于第三阈值,则将分辨率保持因数确定为给定的最大因数;
如果最大绝对值在第二阈值和第三阈值之间,则将分辨率保持因数确定为随着最大绝对值增加而在给定的最小因数和给定的最大因数之间线性增加。
10.如权利要求9所述的成像设备,其中,计算单元通过将高频分量之和与分辨率保持因数相乘并将像素装仓的输入图像数据与相乘结果相加来计算第一输出图像数据。
11.如权利要求5所述的成像设备,还包括:
增益确定单元,基于输入图像数据的亮度来确定数据合并增益,所述数据合并增益指示当前帧数据和先前帧数据彼此合并的比率;
时域扩展单元,检测第一输出图像数据的当前帧数据和先前帧数据之间的运动,基于检测的运动以预定比率合并当前帧数据和先前帧数据,将所述数据合并增益与合并的数据相乘,并将相乘结果与当前帧数据相加,以扩展第二输出图像数据的动态范围。
12.一种改善成像设备的灵敏度的方法,所述方法包括:
以给定像素数量对输入图像数据进行像素装仓,以将多个像素数据组合为一个像素数据;
基于输入图像数据的亮度来确定像素装仓增益,其中,像素装仓增益是通过像素装仓获得的数据的增益;
基于像素装仓的输入图像数据和像素装仓增益来计算第一输出图像数据;
检测第一输出图像数据的当前帧数据和先前帧数据之间的运动,基于检测的运动以预定比率合并当前帧数据和先前帧数据,将数据合并增益与合并的数据相乘,并将相乘结果与当前帧数据相加,以扩展第二输出图像数据的动态范围,
其中,基于输入图像数据的亮度确定数据合并增益,所述数据合并增益指示当前帧数据和先前帧数据彼此合并的比率。
13.如权利要求12所述的方法,其中,像素装仓保持输入图像数据的分辨率。
14.如权利要求12所述的方法,其中,如果输入图像数据的亮度小于第一阈值,则将像素装仓增益确定为给定的最大增益,如果输入图像数据的亮度大于第一阈值,则将像素装仓增益确定为随着输入图像数据的亮度增加从给定的最大增益线性减小的增益。
15.如权利要求12所述的方法,其中,通过将像素装仓的输入图像数据与像素装仓增益相乘来计算第一输出图像数据。
16.一种改善成像设备的灵敏度的方法,所述方法包括:
以给定像素数量对输入图像数据进行像素装仓,以将多个像素数据组合为一个像素数据;
对沿输入图像数据的多个方向的高频分量滤波;
基于高频分量确定分辨率保持因数,其中,当高频分量由图像产生时,分辨率保持因数保持高频分量,当高频分量由噪声产生时,分辨率保持因数不保持高频分量;
基于像素装仓的输入图像数据、高频分量和分辨率保持因数来计算第一输出图像数据。
17.如权利要求16所述的方法,其中,像素装仓保持输入图像数据的分辨率。
18.如权利要求16所述的方法,其中,对高频分量滤波包括:
对沿输入图像数据的水平方向的第一高频分量滤波;
对沿输入图像数据的垂直方向的第二高频分量滤波。
19.如权利要求18所述的方法,其中,对高频分量滤波还包括:对沿输入图像数据的对角线方向的第三高频分量滤波。
20.如权利要求19所述的方法,其中,确定分辨率保持因数包括:
获得第一高频分量和第二高频分量之间的差的绝对值、第二高频分量和第三高频分量之间的差的绝对值以及第一高频分量和第三高频分量之间的差的绝对值中的最大绝对值;
如果最大绝对值小于或等于第二阈值,则将分辨率保持因数确定为给定的最小因数;
如果最大绝对值大于或等于第三阈值,则将分辨率保持因数确定为给定的最大因数;
如果最大绝对值在第二阈值和第三阈值之间,则将分辨率保持因数确定为随着最大绝对值增加而在给定的最小因数和给定的最大因数之间线性增加。
21.如权利要求20所述的方法,其中,通过将高频分量之和与分辨率保持因数相乘并将像素装仓的输入图像数据与相乘结果相加来计算第一输出图像数据。
22.如权利要求16所述的方法,还包括:
基于输入图像数据的亮度来确定数据合并增益,所述数据合并增益指示当前帧数据和先前帧数据彼此合并的比率;
检测第一输出图像数据的当前帧数据和先前帧数据之间的运动,基于检测的运动以预定比率合并当前帧数据和先前帧数据,将数据合并增益与合并的数据相乘,并将相乘结果与当前帧数据相加,以扩展第二输出图像数据的动态范围。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070069212 | 2007-07-10 | ||
KR10-2007-0069212 | 2007-07-10 | ||
KR1020070069212A KR20090005843A (ko) | 2007-07-10 | 2007-07-10 | 촬상 장치 및 촬상 장치의 감도 개선 방법 |
PCT/KR2008/001364 WO2009008580A1 (en) | 2007-07-10 | 2008-03-11 | Imaging apparatus and method of improving sensitivity of the same |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101690170A CN101690170A (zh) | 2010-03-31 |
CN101690170B true CN101690170B (zh) | 2012-09-26 |
Family
ID=40228738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008800235160A Expired - Fee Related CN101690170B (zh) | 2007-07-10 | 2008-03-11 | 成像设备和改善其灵敏度的方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US20090016625A1 (zh) |
EP (1) | EP2165527A4 (zh) |
JP (1) | JP2009021999A (zh) |
KR (1) | KR20090005843A (zh) |
CN (1) | CN101690170B (zh) |
WO (1) | WO2009008580A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101597785B1 (ko) | 2009-07-14 | 2016-02-25 | 삼성전자주식회사 | 이미지 센서 및 영상 처리 방법 |
FR2959320B1 (fr) * | 2010-04-26 | 2013-01-04 | Trixell | Detecteur de rayonnement electromagnetique a selection de gamme de gain |
KR101198249B1 (ko) | 2010-07-07 | 2012-11-07 | 에스케이하이닉스 주식회사 | 이미지센서의 컬럼 회로 및 픽셀 비닝 회로 |
CN102256047B (zh) * | 2011-07-28 | 2013-06-19 | 北京空间机电研究所 | 一种基于滤波的2×2数字binning*** |
KR101348220B1 (ko) | 2013-07-23 | 2014-01-06 | (주)나임기술 | 영상 조도 향상 방법 및 그 장치 |
JP2015115922A (ja) * | 2013-12-16 | 2015-06-22 | オリンパス株式会社 | 撮像装置および撮像方法 |
CN105450909B (zh) * | 2014-06-27 | 2019-12-24 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN111372008B (zh) * | 2020-03-13 | 2021-06-25 | 深圳市睿联技术股份有限公司 | 基于视频内容的亮度自动增益调节方法及摄像机 |
KR20220092141A (ko) * | 2020-12-24 | 2022-07-01 | 삼성전자주식회사 | 열형 적외선 검출 장치 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0997845A2 (en) * | 1998-10-30 | 2000-05-03 | Hewlett-Packard Company | A test efficient method of classifying image quality of an optical sensor using three categories of pixels |
US6765613B1 (en) * | 1998-07-22 | 2004-07-20 | Micron Technology, Inc. | Low light sensor signal to noise improvement |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5517242A (en) * | 1993-06-29 | 1996-05-14 | Kabushiki Kaisha Toyota Chuo Kenkyusho | Image sensing device having expanded dynamic range |
US5828793A (en) * | 1996-05-06 | 1998-10-27 | Massachusetts Institute Of Technology | Method and apparatus for producing digital images having extended dynamic ranges |
US6801258B1 (en) * | 1998-03-16 | 2004-10-05 | California Institute Of Technology | CMOS integration sensor with fully differential column readout circuit for light adaptive imaging |
EP1086578A4 (en) * | 1998-03-16 | 2001-09-26 | California Inst Of Techn | CMOS INTEGRATION SENSOR WITH FULL DIFFERENTIAL COLUMN READING CIRCUIT FOR IMAGING BRIGHTNESS ADAPTIVES |
JP4086520B2 (ja) * | 2001-03-19 | 2008-05-14 | 株式会社リコー | 多値画像の符号化及び復号化方法並びに装置 |
JP4150844B2 (ja) * | 2001-07-05 | 2008-09-17 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置および画像処理プログラム |
JP4042411B2 (ja) * | 2002-01-11 | 2008-02-06 | 株式会社日立製作所 | データ記録装置、データ再生装置、データ記録再生方法及び撮像装置 |
US6876778B2 (en) * | 2002-03-11 | 2005-04-05 | Sunplus Technology Co., Ltd. | Edge enhancement method and apparatus in digital image scalar-up circuit |
DE10214809A1 (de) * | 2002-04-04 | 2003-10-23 | Wolf Gmbh Richard | Festkörpervideokamera und Helligkeitsregelung dafür |
US20030223539A1 (en) * | 2002-05-31 | 2003-12-04 | Granfors Paul R. | Method and apparatus for acquiring and storing multiple offset corrections for amorphous silicon flat panel detector |
DE10236204A1 (de) * | 2002-08-07 | 2004-03-04 | Micronas Gmbh | Gradientengestütztes Verfahren zur Bildpunktinterpolation |
US6909459B2 (en) * | 2002-08-21 | 2005-06-21 | Alpha Innotech Corporation | Method of and apparatus for extending signal ranges of digital images |
US20040141079A1 (en) * | 2003-01-10 | 2004-07-22 | Matsushita Electric Industrial Co., Ltd. | Solid-state imaging device and camera using the same |
US7257278B2 (en) * | 2003-02-26 | 2007-08-14 | Hewlett-Packard Development Company, L.P. | Image sensor for capturing and filtering image data |
US20050012968A1 (en) * | 2003-07-14 | 2005-01-20 | Dialog Semiconductor | Pixel with variable resolution during exposure |
US7154075B2 (en) * | 2003-11-13 | 2006-12-26 | Micron Technology, Inc. | Method and apparatus for pixel signal binning and interpolation in column circuits of a sensor circuit |
JP4193768B2 (ja) * | 2004-07-16 | 2008-12-10 | ソニー株式会社 | データ処理方法並びに物理量分布検知の半導体装置および電子機器 |
US7426314B2 (en) * | 2004-07-30 | 2008-09-16 | Hewlett-Packard Development Company, L.P. | Adjusting pixels by desired gains and factors |
US7343047B2 (en) * | 2004-09-22 | 2008-03-11 | Hewlett-Packard Development Company, L.P. | Systems and methods for arriving at an auto focus Figure of Merit |
US20060065844A1 (en) * | 2004-09-30 | 2006-03-30 | Zelakiewicz Scott S | Systems and methods for dynamic optimization of image |
US8482618B2 (en) * | 2005-02-22 | 2013-07-09 | Hewlett-Packard Development Company, L.P. | Reduction of motion-induced blur in images |
US7365299B2 (en) * | 2005-05-09 | 2008-04-29 | Sensors Unlimited, Inc. | Method and apparatus for providing flexible photodetector binning |
US7705900B2 (en) * | 2005-06-01 | 2010-04-27 | Eastman Kodak Company | CMOS image sensor pixel with selectable binning and conversion gain |
JP2007053691A (ja) * | 2005-08-19 | 2007-03-01 | Micron Technol Inc | サブlsbを用いた拡張デジタルデータ路構造 |
JP4775052B2 (ja) * | 2006-03-17 | 2011-09-21 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
US20080158396A1 (en) * | 2006-08-07 | 2008-07-03 | Transchip, Inc. | Image Signal Processor For CMOS Image Sensors |
US8213676B2 (en) * | 2006-12-20 | 2012-07-03 | Ge Inspection Technologies Lp | Inspection apparatus method and apparatus comprising motion responsive control |
KR20080076004A (ko) * | 2007-02-14 | 2008-08-20 | 삼성전자주식회사 | 촬상장치 및 그 다이나믹 레인지 확장방법 |
US7929807B2 (en) * | 2007-02-27 | 2011-04-19 | Phase One A/S | Colour binning of a digital image to reduce the image resolution |
-
2007
- 2007-07-10 KR KR1020070069212A patent/KR20090005843A/ko not_active Application Discontinuation
-
2008
- 2008-01-28 US US12/020,597 patent/US20090016625A1/en not_active Abandoned
- 2008-03-11 WO PCT/KR2008/001364 patent/WO2009008580A1/en active Application Filing
- 2008-03-11 EP EP08723401A patent/EP2165527A4/en not_active Ceased
- 2008-03-11 CN CN2008800235160A patent/CN101690170B/zh not_active Expired - Fee Related
- 2008-06-27 JP JP2008169456A patent/JP2009021999A/ja not_active Ceased
-
2014
- 2014-09-15 US US14/486,645 patent/US20150002710A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6765613B1 (en) * | 1998-07-22 | 2004-07-20 | Micron Technology, Inc. | Low light sensor signal to noise improvement |
EP0997845A2 (en) * | 1998-10-30 | 2000-05-03 | Hewlett-Packard Company | A test efficient method of classifying image quality of an optical sensor using three categories of pixels |
Also Published As
Publication number | Publication date |
---|---|
EP2165527A4 (en) | 2010-11-17 |
US20090016625A1 (en) | 2009-01-15 |
KR20090005843A (ko) | 2009-01-14 |
EP2165527A1 (en) | 2010-03-24 |
US20150002710A1 (en) | 2015-01-01 |
JP2009021999A (ja) | 2009-01-29 |
CN101690170A (zh) | 2010-03-31 |
WO2009008580A1 (en) | 2009-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101690170B (zh) | 成像设备和改善其灵敏度的方法 | |
JP4904749B2 (ja) | フリッカ低減方法、フリッカ低減回路及び撮像装置 | |
US9560290B2 (en) | Image processing including image correction | |
JP4928765B2 (ja) | 半導体集積装置及びイメージセンサの黒レベル補正方法 | |
JP4127411B1 (ja) | 画像処理装置及び方法 | |
US8436910B2 (en) | Image processing apparatus and image processing method | |
US8922680B2 (en) | Image processing apparatus and control method for image processing apparatus | |
US20100091119A1 (en) | Method and apparatus for creating high dynamic range image | |
JP4207922B2 (ja) | フリッカ補正方法、フリッカ補正装置及び撮像装置 | |
EP1959678A2 (en) | Image pickup apparatus and method for extending dynamic range thereof | |
JP2011091775A (ja) | 固体撮像装置 | |
JP2007174537A (ja) | 撮像装置 | |
JP3539901B2 (ja) | フリッカ検出・補正装置およびフリッカ検出・補正方法 | |
JP2007150770A (ja) | 撮像装置およびその雑音低減方法 | |
US20060232687A1 (en) | Flicker correction method and device, and imaging device | |
JP5520833B2 (ja) | 撮像方法および撮像装置 | |
JP2004289559A (ja) | 固体撮像装置 | |
US11418720B2 (en) | Apparatus, control method, and storage medium | |
JP2010219683A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2017135554A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2011259390A (ja) | フリッカ検出装置 | |
JP2010136271A (ja) | 撮像装置 | |
US20150054990A1 (en) | Image processing device and method, and image processing program | |
JP2005229166A (ja) | 映像信号のノイズ量測定装置および測定方法 | |
JP2007329604A (ja) | 蛍光灯フリッカ検出回路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120926 Termination date: 20190311 |