CN103650487A - 图像拾取设备、图像拾取元件,和用于校正灵敏度差异的方法 - Google Patents
图像拾取设备、图像拾取元件,和用于校正灵敏度差异的方法 Download PDFInfo
- Publication number
- CN103650487A CN103650487A CN201280034640.3A CN201280034640A CN103650487A CN 103650487 A CN103650487 A CN 103650487A CN 201280034640 A CN201280034640 A CN 201280034640A CN 103650487 A CN103650487 A CN 103650487A
- Authority
- CN
- China
- Prior art keywords
- image pick
- array pattern
- pixels
- pixel
- homochromy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000035945 sensitivity Effects 0.000 title claims abstract description 204
- 238000000034 method Methods 0.000 title claims description 36
- 238000012937 correction Methods 0.000 title claims description 31
- 238000003860 storage Methods 0.000 claims abstract description 39
- 239000003086 colorant Substances 0.000 claims abstract description 29
- 238000003384 imaging method Methods 0.000 claims description 46
- 238000001514 detection method Methods 0.000 claims description 39
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 230000001915 proofreading effect Effects 0.000 claims description 9
- 238000013316 zoning Methods 0.000 claims description 9
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 50
- 239000013256 coordination polymer Substances 0.000 description 26
- 238000010586 diagram Methods 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000005755 formation reaction Methods 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- NNBFNNNWANBMTI-UHFFFAOYSA-M brilliant green Chemical compound OS([O-])(=O)=O.C1=CC(N(CC)CC)=CC=C1C(C=1C=CC=CC=1)=C1C=CC(=[N+](CC)CC)C=C1 NNBFNNNWANBMTI-UHFFFAOYSA-M 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
在图像拾取元件(12)中,每一个包括三个或者更多颜色的滤色器的混合I×J阵列的基本阵列样式在水平和竖直方向上被反复地布置,基本阵列样式的布置周期(I×J)不同于共享结构样式的布置周期(2×2),并且在基本阵列样式内是至少一个同色正方形阵列样式,该同色正方形阵列样式包括布置在共享结构样式的2×2个像素上的相同颜色的滤色器的2×2阵列。特征信息存储单元(40)存储关于从与同色正方形阵列样式相对应的2×2像素块的输出值获得的灵敏度的信息,并且控制单元(50)和数字信号处理单元(22)使用存储在特征信息存储单元(40)中的、关于与同色正方形阵列样式相对应的2×2像素块的信息来校正在图像拾取元件(12)的所有的像素之间的灵敏度差异。
Description
技术领域
本发明涉及被配置为包括共享特定电路元件的多个像素的图像拾取设备和图像拾取元件,以及用于校正灵敏度差异的方法。
背景技术
由CMOS(互补金属氧化物半导体)构成的图像拾取元件是低功耗的,并且被用于各种便携式图像拾取设备,诸如数字照相机和移动电话。
在CMOS图像拾取元件中,多个像素共享一个放大器的技术被广泛用作用于减小在基板上必要的晶体管的数目的技术(见专利文献1和2)。
2×2个像素布置的四个像素共享一个放大器的共享配置被大量地使用,因为该配置与根据拜耳阵列布置的滤色器特别良好地匹配,并且还因为放大器能够布置在四个像素的中心处,并且用于各个像素的读门能够围绕像素布置。
此外,专利文献3公开了一种被配置为采用三色随机布置的图像拾取元件,该三色随机布置满足任意目标像素应该在该目标像素的四个边之一上邻接包括该目标像素的颜色的三个颜色的像素的阵列限制条件。
引用列表
专利文献
{PTL1}日本专利申请公开No.2011-086888
{PTL2}日本专利申请公开No.2006-054276
{PTL3}日本专利申请公开No.2000-308080
发明内容
技术问题
然而,在如在图18中所示意地,滤色器94根据拜耳阵列布置在像素92上并且四个像素92共享一个放大器96的配置中,由于放大器共享配置引起的图像再现性劣化的问题和由于滤色器阵列是拜耳阵列引起的图像再现性劣化的问题共存。这使得难以可靠地校正灵敏度差异并且难以确保足够的颜色再现性。
首先,在放大器共享配置中,取决于共享放大器96的各个像素92与放大器96的位置关系,即使在相同颜色的像素92之间也产生输出差异。简言之,相对于放大器96的位置不同的像素92已经由于基板布局的差异等而改变了灵敏度,这引起在图像再现性上施加了不利效果的问题。随着像素尺寸变得更小,这个问题被更大地暴露。
而且,在拜耳阵列中,绿色(G)像素被以方格样式(棋盘样式)布置,并且红色(R)和蓝色(B)像素被以行序布置。因此,其频带超过各个颜色的再现频带的高频信号的折叠和在各个颜色之间的相移引起低频着色(颜色云纹)的发生。
例如,在如在图19的部分(A)中示意的单色竖直条纹样式(高频图像)入射到在图19的部分(B)中示意的拜耳阵列中的图像拾取元件中的情形中,如果为了比较,根据拜耳颜色阵列而以颜色划分图像拾取元件,则如在图19的部分(C)到(E)中所示意地,R像素形成平坦浅色图像,B像素形成平坦深色图像,并且G像素形成马赛克状的深浅色图像。这指示在RGB颜色之间通常并不具有密度差异(水平差异)的单色图像取决于颜色阵列和输入频率而被着色。
而且,在如在图20的部分(A)中示意的单色倾斜高频图像入射到在图20的部分(B)中示意的拜耳阵列中的图像拾取元件中的情形中,如果为了比较,根据拜耳颜色阵列而以颜色划分图像拾取元件,则如在图20的部分(C)到(E)中所示意地,R和B像素形成平坦浅色图像并且G像素形成平坦深色图像。在这种状态中,如果将黑色的值假设为0并且将白色的值假设为255,则单色倾斜高频图像的颜色最终为绿色,因为仅G像素具有255的值。因此,在拜耳阵列中,倾斜高频图像不能被正确地再现。
虽然在专利文献1和2中描述了归因于放大器共享配置的问题,但是完全没有述及归因于拜耳阵列的问题,并且也没有给出对能够提供对于这两个问题的容易的解决方案的配置的任何示意。而且,虽然在拜耳阵列的前提下描述了灵敏度差异的校正,但是所描述的校正实际上不能够应用于使用除了拜耳阵列之外的滤色器阵列的情形。此外,因为专利文献1仅公开了硬件的调节手段,所以在专利文献1中描述的配置在应对镜头更换、时间变化和环境变化方面存在困难。专利文献2仅给出在拜耳阵列和由两个像素共享的前提下提供的方案。
而且,在传统拜耳阵列中,放大器共享配置的重复周期(2×2)与基本滤色器阵列(GB/RG)的重复周期(2×2)相同,并且因此可以简单地在四个位置中的每一个中执行校正。然而,如果如在专利文献3中描述地,滤色器阵列是随机化的,则出现灵敏度差异校正处理复杂化的新问题。在这方面,如果冒险执行复杂化的处理,则由于滤色器布置的随机性质而难以获得可靠的和足够的颜色再现性。进而,存在另一个问题,即,由于滤色器布置的随机性质,同步处理也被复杂化。
因此,即使组合在专利文献1到3中叙述的条目以制作一种包括随机颜色阵列的滤色器,从而检测并且校正在相同颜色的像素之间的灵敏度差异的配置,也可能出现处理负荷的问题,但是实际上可能仍然难以提供足够的颜色再现性。
已经鉴于这种情况实现了本发明,并且本发明的一个目的在于提供能够通过以低负荷且以高精度校正归因于多个像素共享特定电路元件的配置的灵敏度差异,并且通过实现足够的颜色再现性而获得高清晰度图像的图像拾取设备、图像拾取元件,和用于校正灵敏度差异的方法。
解决问题的方案
为了实现以上目的,本发明提供一种图像拾取设备,包括:图像拾取元件,该图像拾取元件被配置为,使得多个滤色器分别地布置在多个像素上,所述多个像素包括在水平方向和竖直方向上二维排列的光电转换元件;存储装置,该存储装置被配置为存储用于校正在图像拾取元件的该多个像素之间的灵敏度差异的信息;和灵敏度差异校正装置,该灵敏度差异校正装置被配置为通过使用存储在存储装置中的信息来校正在图像拾取元件的该多个像素之间的灵敏度差异,其中图像拾取元件的该多个像素以2×2个像素为单位共享特定电路元件,其中图像拾取元件的该多个滤色器被配置为,使得在水平方向和竖直方向上反复地布置基本阵列样式,基本阵列样式中的每一个由I×J个滤色器构成(I代表在水平方向上的数目而J代表在竖直方向上的数目),在基本阵列样式中的每一个中,三个或者更多颜色中的每一个的滤色器以混合状态排列,基本阵列样式的布置周期(I×J)不同于由特定电路元件和该2×2个像素构成的共享配置样式的布置周期(2×2),并且基本阵列样式包括至少一个同色正方形阵列样式,所述同色正方形阵列样式由分别地布置在共享配置样式的2×2个像素上的2×2个滤色器构成,该2×2个滤色器具有相同颜色,其中存储装置存储关于与同色正方形阵列样式相对应的2×2个像素的灵敏度的信息,根据与同色正方形阵列样式相对应的2×2个像素的输出值计算灵敏度,并且其中灵敏度差异校正装置通过使用存储在存储装置中的、关于与同色正方形阵列样式相对应的2×2个像素的灵敏度的信息来校正与图像拾取元件的拾取图像相对应的全部像素的灵敏度差异。
更加具体地,包括了该图像拾取元件,由在水平方向和竖直方向上反复地布置的滤色器的基本阵列样式形成该图像拾取元件,滤色器的基本阵列样式中的每一个包括至少一个同色正方形阵列样式,所述同色正方形阵列样式由与共享特定电路元件的共享配置样式的2×2个像素匹配的2×2个滤色器构成,该2×2个滤色器具有相同颜色。进一步包括了该存储装置和该灵敏度差异校正装置,该存储装置被配置为存储根据在与基本阵列样式相对应的I×J个像素之中的、与同色正方形阵列样式相对应的2×2个像素的输出值计算的信息,并且该灵敏度差异校正装置被配置为通过使用存储在存储装置中的、关于与同色正方形阵列样式相对应的2×2个像素的灵敏度的信息来校正在图像拾取元件的所有的像素之间的灵敏度差异。相应地,通过低负荷处理校正归因于多个像素共享特定电路元件的配置的灵敏度差异以确保颜色再现性成为可能,从而能够获得高清晰度图像。
在一个实施例中,包括了该检测装置,该检测装置被配置为从与同色正方形阵列样式相对应的2×2个像素的输出值检测关于灵敏度的信息,其中该存储装置存储由检测装置检测的关于灵敏度的信息。例如,当在图像拾取元件中,在与同色正方形阵列样式相对应的2×2个像素中的第k像素(k代表指示相对于特定电路元件的位置的、从1到4的整数)的坐标位置被定义为C[k]时,在利用光照射图像拾取元件的该多个像素的光照射状态中,对于两个或者更多基本阵列样式中的每一个,检测装置获取第一像素的输出值Data(C[1])、第二像素的输出值Data(C[2])、第三像素的输出值Data(C[3]),和第四像素的输出值Data(C[4]),遍及两个或者更多基本阵列样式计算每一个第k像素组的输出值Data(C[k])的平均值S[k]作为灵敏度,并且检测装置进一步计算指示在第一像素组的输出值的平均值S[1]、第二像素组的输出值的平均值S[2]、第三像素组的输出值的平均值S[3],和第四像素组的输出值的平均值S[4]之间的比率的信息,作为关于灵敏度的信息。即,在利用光照射图像拾取元件的该多个像素的光照射状态中,检测装置获取在与基本阵列样式相对应的I×J个像素之中的、至少在与同色正方形阵列样式相对应的2×2个像素中的每一个像素的输出值,在相对于特定电路元件的每一个位置(左上、右上、左下,和右下)处,遍及该多个同色正方形阵列样式将各个2×2个像素的输出值平均化,从而获得根据相对于特定电路元件的位置分组的每一个像素组(左上像素组、右上像素组、左下像素组,和右下像素组)的灵敏度,并且存储在这些像素组之间的灵敏度的比率,作为关于灵敏度的信息。因此,因为仅需要存储与相对于特定电路元件的位置数目(2×2)对应的信息,所以不仅能够减小存储容量,而且灵敏度检测处理的负荷变得极低。
在一个实施例中,包括了拍摄镜头、打开/关闭装置和控制装置,该拍摄镜头被配置为形成入射被摄体光的图像作为被摄体图像;该打开/关闭装置被配置为打开和关闭从拍摄镜头延伸到图像拾取元件的被摄体光的光路从而切换图像拾取元件的光屏蔽状态和光照射状态;并且该控制装置被配置为利用打开/关闭装置将图像拾取元件置于光屏蔽状态中并且使检测装置检测图像拾取元件的黑色电平B[k],该控制装置被配置为利用打开/关闭装置将图像拾取元件置于光照射状态中并且使检测装置检测图像拾取元件的灵敏度S[k]。
在一个实施例中,当图像拾取设备的电源接通时,控制装置使检测装置在打开/关闭装置关闭的光屏蔽状态中检测黑色电平,并且控制装置使打开/关闭装置打开以将图像拾取元件的状态切换到光照射状态,将拍摄镜头设定在散焦状态中,并且使检测装置检测灵敏度。换言之,因为当电源接通时检测对校正灵敏度差异必要的特征信息,所以能够取决于时间变化和图像拾取元件的成像环境的改变来实现灵敏度差异的适当校正。
在一个实施例中,当图像拾取设备的电源关断时,控制装置在打开/关闭装置打开的光照射状态中,将拍摄镜头设定在散焦状态中,并且使检测装置检测灵敏度,并且控制装置还将图像拾取元件置于光屏蔽状态中,并且使检测装置检测黑色电平。更加具体地,因为当电源关断时检测对校正灵敏度差异必要的特征信息,所以当电源接通时,能够无时滞地取决于时间变化校正灵敏度差异。
在一个实施例中,包括了指令输入装置,该指令输入装置被配置为接收成像指令的输入,其中检测装置根据成像指令,基于由图像拾取元件拾取的拾取图像检测灵敏度。更加具体地,因为在正常成像中检测对校正灵敏度差异必要的特征信息,所以能够取决于在成像时的成像环境的改变实现灵敏度差异的适当校正。
在一个实施例中,检测装置通过在相对于特定电路元件处于相同位置中的多个像素(第k像素组)中将在与同色正方形阵列样式相对应的2×2个像素中的各个像素(第k像素)的输出值平均化来计算特征信息,检测装置遍及与图像拾取元件的拾取图像相对应的整个区域将像素的输出值平均化。更加具体地,因为通过遍及与拾取图像相对应的整个区域将像素的输出值平均化来检测灵敏度,所以即使当不利用均匀光而是利用被摄体光来照射图像拾取元件时,也能够检测灵敏度差异。
在一个实施例中,检测装置通过在相对于特定电路元件处于相同位置中的多个像素(第k像素组)中将在与同色正方形阵列样式相对应的2×2个像素中的各个像素(第k像素)的输出值平均化来计算特征信息,检测装置划分与图像拾取元件的拾取图像相对应的整个区域并且将划分区域中的每一个中的像素的输出值平均化。即,因为通过将划分区域中的每一个中的像素的输出值平均化而检测灵敏度,所以应对取决于图像拾取元件的电路设计而产生的表面阴影成为可能。
本发明提供一种图像拾取元件,该图像拾取元件被配置为,使得多个滤色器分别地布置在多个像素上,所述多个像素包括在水平方向和竖直方向上二维排列的光电转换元件,其中该多个像素以2×2个像素为单位共享特定电路元件,其中该多个滤色器被配置为,使得基本阵列样式在水平方向和竖直方向上反复地布置,基本阵列样式中的每一个由I×J个滤色器构成(I代表在水平方向上的数目而J代表在竖直方向上的数目),在基本阵列样式中的每一个中,三个或者更多颜色中的每一个的滤色器以混合状态排列,基本阵列样式的布置周期(I×J)不同于由特定电路元件和2×2个像素构成的共享配置样式的布置周期(2×2),并且基本阵列样式包括至少一个同色正方形阵列样式,所述同色正方形阵列样式由分别地布置在共享配置样式的2×2个像素上的2×2个滤色器构成,该2×2个滤色器具有相同颜色。
本发明还提供一种用于为一种图像拾取元件校正灵敏度差异的方法,该图像拾取元件被配置为,使得多个滤色器分别地布置在多个像素上,所述多个像素包括在水平方向和竖直方向上二维排列的光电转换元件,其中图像拾取元件的该多个像素以2×2个像素为单位共享特定电路元件,其中由在水平方向和竖直方向上反复地布置的基本阵列样式形成图像拾取元件的该多个滤色器,基本阵列样式中的每一个由I×J个滤色器构成(I代表在水平方向上的数目而J代表在竖直方向上的数目),在基本阵列样式中的每一个中,三个或者更多颜色中的每一个的滤色器以混合状态排列,基本阵列样式的布置周期(I×J)不同于由特定电路元件和2×2个像素构成的共享配置样式的布置周期(2×2),并且基本阵列样式包括至少一个同色正方形阵列样式,所述同色正方形阵列样式由分别地布置在共享配置样式的2×2个像素上的2×2个滤色器构成,该2×2个滤色器具有相同颜色,该方法包括:预存储关于与同色正方形阵列样式相对应的2×2个像素的灵敏度的信息,根据与同色正方形阵列样式相对应的2×2个像素的输出值计算关于灵敏度的信息;和,通过使用存储在存储器件中的、关于与同色正方形阵列样式相对应的2×2个像素的灵敏度的信息来校正在图像拾取元件的所有的像素中、在与基本阵列样式相对应的I×J个像素中的像素之间的灵敏度差异。
本发明的有利效果
根据本发明,通过以低负荷且以高精度校正归因于多个像素共享特定电路元件的配置的灵敏度差异,并且通过实现足够的颜色再现性来获得高清晰度图像成为可能。
附图简要说明
图1是示意根据本发明的图像拾取设备的一个实例的总体配置的框图。
图2是示意图像拾取元件的一部分的概略视图。
图3是示意图像拾取元件的滤色器阵列的一个实例的视图。
图4是示意基本阵列样式的一个实例的视图。
图5是示意放大器共享像素的黑色电平和灵敏度的一个实例的视图。
图6是示意图像拾取元件的有效像素区域的视图。
图7是示意灵敏度差异校正处理的实例的流程的流程图。
图8是示意特征检测处理的第一实例的流程的流程图。
图9是示意特征检测处理的第二实例的流程的流程图。
图10是示意在正常成像期间执行特征检测处理和灵敏度差异校正处理的实例的流程的流程图。
图11是将被用于描述通过使用整个屏幕的输出值的平均值来计算补偿增益的情形的解释性视图。
图12是将被用于描述通过使用在每一个划分区域中的输出值的平均值来计算补偿增益的情形的解释性视图。
图13是示意第一实例中的滤色器阵列的视图。
图14是将被用于描述在第一实例的滤色器阵列中的基本阵列样式的解释性视图。
图15是示意第二实例中的滤色器阵列的视图。
图16是将被用于描述在第二实例的滤色器阵列中的同色正方形阵列样式的解释性视图。
图17是将被用于描述在第二实例的滤色器阵列中的同色正方形阵列样式的变型的解释性视图。
图18是将被用于描述归因于放大器共享配置的问题的解释性视图。
图19是将被用于描述归因于拜耳阵列的问题的第一解释性视图。
图20是将被用于描述归因于拜耳阵列的问题的第二解释性视图。
具体实施方式
在下文中,将参考附图详细描述本发明的实施例。
[图像拾取设备的总体配置]
图1是示意根据本发明的图像拾取设备的一个实例的总体配置的框图。在这里,该图像拾取设备不限于单独的照相机单元,而是可以包括各种信息器件和电子设备,诸如配备照相机的移动电话、配备照相机的智能电话、配备照相机的平板计算机,和配备照相机的音乐播放器。
图像拾取设备100包括被配置为形成入射被摄体光的图像作为被摄体图像的拍摄镜头10、被配置为拾取利用拍摄镜头10形成的被摄体图像的图像拾取元件12、被配置为打开和关闭从拍摄镜头10延伸到图像拾取元件12的被摄体光的光路13从而切换图像拾取元件12的光屏蔽状态和光照射状态的机械快门14(打开/关闭装置)、被配置为对从图像拾取元件12输出的模拟图像信号执行规定的模拟信号处理的模拟信号处理单元16、被配置为将从模拟信号处理单元16输出的模拟图像信号转换成数字图像信号的AD转换单元18、被配置为暂时存储数字图像信号的图像存储器20、被配置为对于暂时存储在图像存储器20中的数字图像信号执行规定的数字信号处理的数字信号处理单元22、被配置为对数字图像信号执行压缩处理和扩展处理的压缩/扩展处理单元24、被配置为输入和输出数字图像数据的图像输入/输出单元26、被配置为经由图像输入/输出单元26记录压缩数字图像信号作为拾取图像的记录介质27、被配置为作为拾取图像显示数字图像信号的显示单元28、被配置为接收各种指令的输入的指令输入单元29、被配置为驱动拍摄镜头10的驱动器30、被配置为驱动图像拾取元件12的驱动器32,和被配置为驱动机械快门14的驱动器34。
图像拾取元件12由CMOS(互补金属氧化物半导体)图像拾取元件构成。在图2中概略地示意作为图像拾取元件12的一部分的特定2×2个像素的配置。在图像拾取元件12中,由光电转换元件构成的多个像素62沿着水平方向x和竖直方向y二维地排列,多个滤色器64分别被布置在像素上。此外,该多个像素62以2×2个像素为单位共享被用作特定电路元件的放大器66(放大元件)。由在水平方向x和竖直方向y上反复地布置的6×6像素基本阵列样式BP形成该多个滤色器64,基本阵列样式BP中的每一个具有以混合状态排列的分别的三个或者更多颜色(在该实例中R、G、B三个颜色)的滤色器。该基本阵列样式包括至少一个同色正方形阵列样式,所述同色正方形阵列样式由分别地与共享配置样式的2×2个像素对应的2×2个滤色器构成,该2×2个滤色器具有相同颜色(在该实例中G)。在以后详细描述基本阵列样式BP。
利用拍摄镜头10在图像拾取元件12上形成的被摄体图像被构成图像拾取元件12的像素62的光电转换元件转换成与入射光量相对应的信号电荷。基于根据控制单元50的命令从驱动器32给出的驱动脉冲,一个接一个地从图像拾取元件12读出存储在各个光电转换元件中的信号电荷,作为与信号电荷量相对应的电压信号(图像信号)。从图像拾取元件12读出的图像信号是与图像拾取元件12的滤色器阵列相对应的R、G和B图像信号。
从图像拾取元件12读出的模拟图像信号经历由模拟信号处理单元16执行的模拟信号处理,并且然后被AD转换单元18转换成数字图像信号,并且该数字图像信号被暂时存储在图像存储器20中。暂时存储的数字图像信号经历由数字信号处理单元22执行的各种数字信号处理,诸如灵敏度差异校正、白平衡校正、伽马校正、产生亮度信号和色差信号、轮廓校正,和颜色校正。经历这种数字信号处理的图像信号然后利用压缩/扩展处理单元24经历符合JPEG标准等的压缩处理,并且被图像输入/输出单元26记录在诸如记忆卡的记录介质27上。数字图像信号还被输出以在诸如LCD监视器的显示单元28上显示。
图像拾取设备100还包括被配置为存储用于遍及图像拾取元件12的整个有效像素区域校正在多个像素之间的灵敏度差异的信息(特征信息)的特征信息存储单元40、被配置为检测该特征信息的特征信息检测单元42,和被配置为控制图像拾取设备100的每一个单元的控制单元50。在图像拾取元件12的该多个像素被光照射的光照射状态中,特征信息检测单元42检测在与基本阵列样式相对应的I×J个像素之中的、至少在与同色正方形阵列样式相对应的2×2个像素中的每一个像素的输出值,作为灵敏度。在图像拾取元件的该多个像素被屏蔽光的光屏蔽状态中,特征信息检测单元42检测在与基本阵列样式BP相对应的I×J个像素之中的、在形成共享配置样式CP的2×2个像素中的每一个像素的输出值,作为黑色电平。
这个实例的特征信息存储单元40由非易失存储器构成。特征信息存储单元40存储用于校正归因于共享放大器66而导致的在像素之间的灵敏度差异的特征信息,作为用于校正灵敏度差异的特征信息,该特征信息仅与在与在图3中示意的基本阵列样式BP相对应的I×J个像素之中的、与同色正方形阵列样式GP相对应的2×2个像素有关。
控制单元50控制图像拾取元件12的黑色电平检测和灵敏度检测。在黑色电平检测控制中,控制单元50利用机械快门14关闭(屏蔽)光路13从而将图像拾取元件12置于光屏蔽状态中,使得特征信息检测单元42检测图像拾取元件12的与同色正方形阵列样式GP相对应的每一个像素的黑色电平,并且在特征信息存储单元40中存储这些像素中的每一个的黑色电平。在灵敏度检测控制中,控制单元50利用机械快门14打开(释放)光路13,从而将图像拾取元件12置于光照射状态中,使得特征信息检测单元42检测图像拾取元件12的与同色正方形阵列样式GP相对应的每一个像素的灵敏度,并且在特征信息存储单元40中存储这些像素中的每一个的灵敏度。控制单元50然后基于与同色正方形阵列样式GP相对应的2×2个像素中的每一个的灵敏度和黑色电平,计算用于与基本阵列样式BP相对应的I×J个像素中的每一个的校正值。
控制单元50还使得数字信号处理单元22(灵敏度差异校正装置)通过使用存储在特征信息存储单元40中的、用于校正灵敏度差异的特征信息,遍及图像拾取元件12的整个有效像素区域校正在该多个像素之间灵敏度差异。更加具体地,通过使用仅与在与图3中示意的基本阵列样式BP相对应的I×J个像素之中的、与同色正方形阵列样式GP相对应的2×2个像素关于的特征信息,数字信号处理单元22遍及图像拾取元件12的整个有效像素区域校正在与基本阵列样式BP相对应的I×J个像素中的像素之间的灵敏度差异。应该指出在以后详细描述了灵敏度差异校正的证据。
[滤色器阵列的基本配置]
图3示意设置在图像拾取元件12中的滤色器64的阵列(在下文中被称作“滤色器阵列”)的一个实例。是红色(R)、绿色(G)和蓝色(B)的三基色的滤色器中的任何一个被布置在各个像素上。
注意虽然由光电转换元件构成的像素62被滤色器64覆盖,并且放大器66也被滤色器64覆盖并且被滤色器64隐藏,但是在图3中作为头饰图像示意了放大器66,使得能够识别共享放大器66的配置。
在图3中示意的滤色器阵列具有以下第一到第三特征。
(第一特征)
通过在水平方向x上并且在竖直方向y上反复地布置基本阵列样式BP(利用粗框架示意的样式)而形成在图3中示意的滤色器阵列,样式BP中的每一个具有以混合状态排列为正方形阵列的三种颜色(R、G和B)中的每一种的滤色器64(在本实例中在水平方向上的六个滤色器和在竖直方向上的六个滤色器)。即,从以规定周期性排列的R、G和B中的各个颜色的滤色器(R滤色器、G滤色器、B滤色器)形成滤色器阵列。
因此,R滤色器、G滤色器和B滤色器以规定周期性排列,并且因此当执行诸如从图像拾取元件读出的R、G和B信号同步(插值)处理(还被称作去马赛克)的处理时,能够根据重复样式执行该处理。
(第二特征)
如与包括放大器66和2×2个像素的共享配置CP的布置周期(2×2)相比较,基本阵列样式BP的布置周期(6×6)在水平方向x上和竖直方向y上均是三倍大。基本阵列样式BP包括至少一个同色正方形阵列样式GP,所述同色正方形阵列样式GP由分别与放大器共享配置样式(共享正方形阵列样式)的2×2个像素对应的2×2个滤色器64构成,该2×2个滤色器具有相同颜色。即,基本阵列样式BP包括在水平方向x和竖直方向y上与放大器共享配置的2×2个像素位置匹配的2×2个滤色器(同色正方形阵列样式GP的滤色器)。
因此,因为基本阵列样式BP包括在水平方向x和竖直方向y上与共享配置的2×2个像素位置匹配的同色正方形阵列样式GP的滤色器,所以能够容易地基于与同色正方形阵列样式GP相对应的2×2个像素的输出值来检测归因于放大器共享配置的灵敏度差异。
[灵敏度差异的检测和校正原理]
接着,参考图4、5和6描述归因于放大器共享配置的、在像素之间的灵敏度差异的检测和校正原理。
图4示意一个基本阵列样式BP。因为滤色器和像素(光电转换元件)被以一一对应关系布置,所以能够说图4示意与一个基本阵列样式BP相对应的6×6像素。简言之,如果在图4中“G”像素被视为具有绿色(G)滤色器的像素、“R”像素被视为具有红色(R)滤色器的像素,并且“B”像素被视为具有蓝色(B)滤色器的像素,则能够容易地理解主要包括像素62、滤色器64和放大器66的图像拾取元件12的基本配置。
而且,在图中,标注在竖直方向y上的布置位置的附图标记1到6被附于基本阵列样式BP的左手侧,并且标注在水平方向x上的布置位置的附图标记a到f被附于上侧。因为由附图标记“G”(a-1、c-1、d-1、b-2、e-2等)标注的所有的像素配备有相同颜色(G)的滤色器,所以预期它们具有均匀(相同)灵敏度和均匀(相同)黑色电平。类似地,因为由附图标记“R”(b-1、d-2、f-2、b-3、e-4等)标注的所有的像素配备有相同颜色(R)的滤色器,所以预期它们具有均匀灵敏度和均匀黑色电平。类似地,因为由附图标记“B”(e-1、a-2、c-2、e-3、b-4等)标注的所有的像素配备有相同颜色(B)的滤色器,所以预期它们具有均匀灵敏度和均匀黑色电平。
然而,实际图像拾取元件12被配置为,使得2×2个像素布置的四个像素如在图中利用虚线示意地共享一个放大器66。因为相同颜色的像素(例如,a-1和b-2)根据相对于放大器66的位置关系(左上、右上、左下、右下)而在配置(布局)上不同,所以即使在相同颜色的像素之间也产生微小特征差异。简言之,由于在应该本质上输出相同输出值的相同颜色的像素之间产生的微小输出差异(灵敏度差异),可能在拾取图像上产生带有周期样式的几何噪声。
作为用于校正这种微小特征差异的一种方法,通过根据相对于放大器66的位置关系(左上、右上、左下、右下)将全部像素组划分成四个像素组(左上像素组、右上像素组、左下像素组,和右下像素组),能够考虑执行特征差异的检测和校正,如在传统拜耳阵列的CMOS图像传感器中可执行的。然而,在由如在图3中所示意地反复地布置的基本阵列样式BP形成的滤色器阵列中,难以将像素划分成四个像素组并且在其中执行特征差异的检测和校正。特别地,不能通过将像素划分成四个组并且将这些像素组中的每一个中的灵敏度值平均化而获得灵敏度差异的适当的值。换言之,在传统拜耳阵列中,所有的共享配置样式CP在R、G和B滤色器的布置方面并且在各个颜色的混合比率方面都是相同的,而在图3的滤色器阵列中,在各个共享配置样式CP之间,R、G和B滤色器的布置和各个颜色的混合比率是不同的。相应地,不能执行灵敏度差异的适当检测和校正,除非全部像素组被划分成6×6=36个像素组,其数目等于排列的基本阵列样式BP的数目。这不仅增加了必要的特征信息的存储容量,而且还引起检测和校正处理负荷增加的问题。
相应地,在本发明中,如在图2到4中所示意地,采用下述配置,其中基本阵列样式BP包括至少一个同色正方形阵列样式GP,所述同色正方形阵列样式GP由分别地布置在共享配置样式CP的2×2个像素上的2×2个滤色器64构成,该2×2个滤色器具有相同颜色。而且,仅关注与同色正方形阵列样式GP对应的四个像素(图4的c-2、d-3、c-4、d-4),并且在与这四个像素相对应的四个像素组中的每一个中计算灵敏度的平均值和黑色电平的平均值,作为特征信息。应该指出“灵敏度差异”能够被表达为在像素之间的灵敏度的比率(或者差异)。
图5示意在与一个同色正方形阵列样式GP相对应的一个共享配置样式CP中的放大器共享像素中的灵敏度和黑色电平的一个实例。在图5中,在四个像素(c-3、d-3、c-4和d-4)之间的灵敏度差异是在处于特定位置(c-3)的像素的灵敏度作为基准(“100”)的情况下的相对值。类似地,在四个像素之间的黑色电平差异是在处于特定位置(c-3)的像素的黑色值作为基准(“1024”)的情况下的相对值。因此,关注关于同色正方形阵列样式GP的四个像素的特征信息。
图6示意图像拾取元件12的整个有效像素区域70。在形成图像拾取元件12的像素62的整个区域中,有效像素区域70是能够输出图像信号并且保证灵敏度差异校正的区域。在该实例中,在图像拾取元件12的有效像素区域(能够输出图像信号的区域)之中,其像素数目((I×M)×(J×N)个像素)对应于基本阵列样式BP的像素数目(在水平方向x上的像素数目I和在竖直方向上的像素数目J)和基本阵列样式BP的重复数目(在水平方向x上的重复数目M和在竖直方向y上的重复数目N)的区域被定义为有效像素区域70。
有效像素区域70的左上点被定义为原点(0,0),m代表从0到(M-1)的整数,并且n代表从0到(N-1)的整数。以放大器66的位置作为基准,c-3像素被定义为左上像素(第一像素),d-3像素被定义为右上像素(第二像素),c-4像素被定义为左下像素(第三像素),并且d-4像素被定义为右下像素(第四像素)。相应地,例如,计算N×M个左上像素(第一像素组)的灵敏度(在光照射状态中像素的输出值)的平均值。类似地,计算N×M个右上像素(第二像素组)的灵敏度的平均值。类似地,计算N×M个左下像素(第三像素组)的灵敏度的平均值。类似地,计算N×M个右下像素(第四像素组)的灵敏度的平均值。换言之,在四个像素组中的每一个中计算平均灵敏度。
对于黑色电平(在光屏蔽状态中像素的输出值),如在灵敏度的情形中,在四个像素组中的每一个中计算平均黑色电平。
如在前面描述地,在本发明中,基本阵列样式BP包括至少一个同色正方形阵列样式GP,所述同色正方形阵列样式GP由与共享配置样式CP相对应的相同颜色的2×2个滤色器构成。结果,在基本阵列样式BP之中,仅与同色正方形阵列样式GP相对应的各个2×2个像素被划分成四个像素组,从而能够以足够的精度检测并且校正灵敏度差异。换言之,能够容易地并且精确地检测并且校正归因于放大器66的共享配置的灵敏度差异。
[灵敏度差异的检测和校正的基本示意性实例]
接着,描述归因于共享配置的灵敏度差异的检测和校正的基本实例。
在于图6中示意的图像拾取元件12的有效像素区域70中,水平方向被定义为x,竖直方向被定义为y,并且左上点被定义为原点(0,0)。而且,基本阵列样式BP(由I×J个滤色器构成)在水平方向x上的重复数目被定义为M,在竖直方向y上的重复数目被定义为N,并且指示在M×N个基本阵列样式BP中的每一个基本阵列样式BP的指标被定义为m和n(m是从0到M-1的整数,并且n是从0到N-1的整数)。此外,以基本阵列样式BP的左上坐标(I×m,I×n)作为基准,同色正方形阵列样式GP的左上像素(参考像素)的相对坐标被定义为(a,b)。在此情形中,在基本阵列样式BP的每一个中,在与同色正方形阵列样式GP相对应的放大器共享同色2×2个像素中的第k像素(k是从1到4的整数)的坐标位置C[k]由以下公式表达:
第一像素(左上像素)的坐标C[1]=(I×m+a,J×n+b),
第二像素(右上像素)的坐标C[2]=(I×m+a+1,J×n+b),
第三像素(左下像素)的坐标C[3]=(I×m+a,J×n+b+1),并且
第四像素(右下像素)的坐标C[4]=(I×m+a+1,J×n+b+1)。
在图4的基本阵列样式BP中,I=J=6并且a=b=2,并且从而第k像素的坐标位置C[k]实际上由以下公式表达:
第一像素(左上像素)的坐标C[1]=(6×m+2,6×n+2),
第二像素(右上像素)的坐标C[2]=(6×m+3,6×n+2),
第三像素(左下像素)的坐标C[3]=(6×m+2,6×n+3),并且
第四像素(右下像素)的坐标C[4]=(6×m+3,6×n+3)。
现在给出通过特征信息检测单元42的灵敏度检测的一个实例的说明。
在利用均匀光照射至少图像拾取元件12的有效像素区域70的状态(光照射状态)中,第k像素的输出值被定义为Data(C[k])。
特征信息检测单元42在光照射状态中,从图像存储器20获取至少在两个或者更多M×N基本阵列样式BP中的每一个中的第一像素输出值Data(C[1])、第二像素输出值Data(C[2])、第三像素输出值Data(C[3]),和第四像素输出值Data(C[4]),并且遍及两个或者更多基本阵列样式BP计算每一个第k像素组的输出值Data(C[k])的平均值S[k],作为灵敏度。
例如,当遍及M×N基本阵列样式BP地将输出值平均化时的灵敏度如下:
第一像素组的灵敏度S[1]=ΣData(6×m+2,6×n+2)/(M×N),
第二像素组的灵敏度S[2]=ΣData(6×m+3,6×n+2)/(M×N),
第三像素组的灵敏度S[3]=ΣData(6×m+2,6×n+3)/(M×N),并且
第四像素组的灵敏度S[4]=ΣData(6×m+3,6×n+3)/(M×N)。
在这里,Σ指示在m从0改变到M-1并且n从0改变到N-1时累积输出值Data(x,y)。注意虽然已经描述了将M×N样式中的输出值平均化的情形,但是将所有的M×N样式的输出水平平均化不是必要的。
因此,在图像拾取元件的该多个像素被光照射的光照射状态中,特征信息检测单元42检测在与基本阵列样式BP相对应的I×J个像素之中的、在与同色正方形阵列样式GP相对应的2×2个像素中的每一个像素的输出值的平均值,作为灵敏度。
特征信息检测单元42从灵敏度S[1]到S[4]中提取最大值Smax,并且计算与形成共享配置样式CP的2×2个像素中的每一个的输出值Data(CC[k])相对应的补偿增益Gain[k]=Smax/S[k]。补偿增益Gain[k]如在以下公式中示意:
第一像素的补偿增益Gain[1]=Smax/S[1],
第二像素的补偿增益Gain[2]=Smax/S[2],
第三像素的补偿增益Gain[3]=Smax/S[3],并且
第四像素的补偿增益Gain[4]=Smax/S[4]。
注意在图6中示意的有效像素区域70中,在水平方向x上的共享配置样式CP的重复数目被定义为G,在竖直方向y上的共享配置样式CP的重复数目被定义为H,示意在G×H个共享配置样式CP之中的每一个共享配置样式CP的指标被定义为g和h(g是从0到G-1的整数,并且h是从0到H-1的整数)。在形成每一个共享配置样式CP的2×2个像素中的第k像素(k是从1到4的整数)的坐标CC[k]如在以下公式中示意:
第一像素(左上像素)的坐标CC[1]=(2×g,2×h),
第二像素(右上像素)的坐标CC[2]=(2×g+1,2×h),
第三像素(左下像素)的坐标CC[3]=(2×g,2×h+1),并且
第四像素(右下像素)的坐标CC[4]=(2×g+1,2×h+1)。
因此,在均匀光照射期间,基于在与基本阵列样式BP相对应的I×J个像素之中的、仅与同色正方形阵列样式GP相对应的2×2个像素的输出值,特征信息检测单元42计算用于在成像期间校正在整个有效像素区域70中的各个像素的输出值Data(x,y)的补偿增益Gain[1]到[4]。
现在给出特征信息检测单元42的黑色电平检测的一个实例的说明。
在图6中示意的有效像素区域70中,在水平方向x上共享配置样式CP的重复数目被定义为G,在竖直方向y上共享配置样式CP的重复数目被定义为H,指示G×H共享配置样式CP中的每一个共享配置样式的指标被定义为g和h(g是从0到G-1的整数,并且h是从0到H-1的整数),并且当图像拾取元件12被置于光屏蔽状态中时,在共享配置样式CP中的每一个中的第k像素的输出值被定义为BData(CC[k])。
在图像拾取元件12的至少有效像素区域70被屏蔽光的光屏蔽状态中,特征信息检测单元42在G×H个共享配置样式CP之中的两个或者更多共享配置样式CP中的每一个中获取第一像素输出值BData(CC[1])、第二像素输出值BData(CC[2])、第三像素输出值BData(CC[3]),和第四像素输出值BData(CC[4]),并且遍及该两个或者更多共享配置样式CP计算每一个第k像素组的输出值的平均值B[k]。例如,在G×H共享配置样式CP中的输出值的平均值B[k]如下:
第一像素组平均值B[1]=ΣK(2×g+2,2×h+2)/(G×H),
第二像素组平均值B[2]=ΣK(2×g+3,2×h+2)/(G×H),
第三像素组平均值B[3]=ΣK(2×g+2,2×h+3)/(G×H),并且
第四像素组平均值B[4]=ΣK(2×g+3,2×h+3)/(G×H)。
在这里,Σ示意在g从0改变到G-1并且h从0改变到H-1的情况下的累积输出值BData(x,y)。注意虽然已经描述了将G×H样式中的黑色电平平均化的情形,但是将所有的G×H样式的黑色电平平均化不是必要的。
因此,在至少有效像素区域70被屏蔽光的光屏蔽状态中,特征信息检测单元42检测在与基本阵列样式BP相对应的I×J个像素之中的、在形成共享配置样式CP的2×2个像素中的各个像素的输出值的平均值,作为黑色电平。
现在对于控制单元50和数字信号处理单元22的灵敏度差异校正的一个实例给出说明。
控制单元50使数字信号处理单元22计算Data'(CC[k])=Data(CC[k])-B[k]×Gain[k]。
这里,k代表1到4的整数,Data(CC[k])代表在有效像素区域70中的共享配置样式CP中的每一个中的第k像素的未校正输出值,并且Data'(CC[k])代表在有效像素区域70中的共享配置样式CP中的每一个中的第k像素的校正输出值。
以此方式,控制单元50使得数字信号处理单元22通过使用仅关于与同色正方形阵列样式GP相对应的2×2个像素的特征信息,校正在整个有效像素区域70中的基本阵列样式BP中的每一个中的、与基本阵列样式BP中的每一个相对应的I×J个像素中的像素之间的灵敏度差异。
[利用预存储的特征信息的灵敏度差异校正处理的实例]
图7是示意灵敏度差异校正处理的一个实例的流程的概略流程图。根据处于图1的控制单元50的控制下的程序执行这个处理。
注意指示在仅与图像拾取元件12的同色正方形阵列样式GP相对应的相同颜色的2×2个像素之间的灵敏度差异的特征信息(补偿增益Gain[k]和黑色电平平均值B[k])被预存储在特征信息存储单元40中。
从步骤S2到S6的灵敏度差异校正处理可以在任何时间执行。例如,该处理可以当成像指令被输入指令输入单元29中时在成像处理中执行,并且可以通过读出存储在记录介质27中的拾取图像而被执行。
首先,从特征信息存储单元40获取黑色电平平均值B[k](步骤S2)。这里,k代表1到4的整数。即,B[k]是指示在与同色正方形阵列样式GP相对应的2×2个像素中的每一个像素(第k像素)的黑色电平的数值。在该实例中,B[k]是遍及该多个基本阵列样式BP的黑色电平的平均值(第k像素组的黑色电平平均值)。
接着,从特征信息存储单元40获取补偿增益Gain[k](步骤S4)。这里,k代表1到4的整数。即,Gain[k]是指示在与同色正方形阵列样式GP相对应的2×2个像素中的像素之间的灵敏度差异的数值,并且还是用于校正在图像拾取元件12的整个有效像素区域中的每一个基本阵列样式BP中的每一个共享配置样式CP的像素之间的灵敏度差异的校正系数。
接着,通过使用补偿增益Gain[k]和黑色电平平均值B[k],在图像拾取元件12的整个有效像素区域中的每一个像素的输出值Data(x,y)得以校正。这里,k代表1到4的整数,并且(x,y)代表在图6中示意的图像拾取元件12的整个有效像素区域中的每一个像素的xy坐标。
因此,在该实例中,通过预先测量并且存储补偿增益Gain[k]和黑色电平平均值B[k],能够缩短在灵敏度差异校正中的处理时间并且能够简化灵敏度差异校正处理。此外,因为能够在优选的测量环境中预先执行准确的测量,所以能够增强校正准确度。
[特征检测处理的第一实例]
图8是示意特征检测处理的第一实例的流程的概略流程图。根据处于图1的控制单元50的控制下的程序执行这个处理。
确定图像拾取设备100的电源是否接通(步骤S12)。如果电源接通,则执行特征检测处理(步骤S14到22)。
注意机械快门14已经关闭并且图像拾取元件12处于光屏蔽状态中。
将机械快门14关闭以将图像拾取元件12置于执行图像拾取(光屏蔽图像拍摄)的光屏蔽状态中(步骤S14)。检测在与基本阵列样式BP相对应的I×J个像素之中的、仅在与同色正方形阵列样式GP相对应的2×2个像素中的每一个像素的输出值作为黑色电平,并且计算遍及该多个基本阵列样式BP的黑色电平的平均值B[k],并将其存储在特征信息存储单元40中(步骤S16)。
将机械快门14打开以将图像拾取元件12置于光照射状态中(步骤S18)。同时,拍摄镜头10被置于散焦状态中并且执行图像拾取(散焦曝光图像拍摄)(步骤S20)。检测在与基本阵列样式BP相对应的I×J个像素之中的、仅在与同色正方形阵列样式GP相对应的2×2个像素中的每一个像素的输出值,并且计算补偿增益G[k],并将其存储在特征信息存储单元40中(步骤S22)。
注意当成像指令被输入到指令输入单元29中时,如参考图7描述地,通过使用存储在特征信息存储单元40中的信息(B[k]和Gain[k]),在每一个基本阵列样式BP中校正在与基本阵列样式BP相对应的I×J个像素中的像素之间的灵敏度差异。
因此,在特征检测处理的第一实例中,每次接通图像拾取设备100的电源时,测量和存储补偿增益Gain[k]和黑色电平平均值B[k],从而能够获取考虑到特征的时间变化和成像环境(温度和在成像中使用的镜头)的信息。
[特征检测处理的第二实例]
图9是示意特征检测处理的第二实例的流程的概略流程图。根据处于图1的控制单元50的控制下的程序执行这个处理。
确定断电开关是否接通,即,断电指令是否被输入图像拾取设备100的指令输入单元29中(步骤S42)。如果输入了断电指令,则执行特征检测处理(步骤S14到54)。
应该指出机械快门14已经被打开并且图像拾取元件12处于光照射状态中。
拍摄镜头10被置于散焦状态中并且执行图像拾取(散焦曝光图像拍摄)(步骤S44)。检测在与基本阵列样式BP相对应的I×J个像素之中的、仅在与同色正方形阵列样式GP相对应的2×2个像素中的每一个像素的输出值,并且计算补偿增益G[k],并将其存储在特征信息存储单元40中(步骤S46)。
将机械快门14关闭以将图像拾取元件12置于光屏蔽状态中(步骤S48)并且执行图像拾取(屏蔽图像拍摄)(步骤S50)。检测在与基本阵列样式BP相对应的I×J个像素之中的、仅在与同色正方形阵列样式GP相对应的2×2个像素中的每一个像素的输出值作为黑色电平,并且计算遍及该多个基本阵列样式BP的黑色电平的平均值B[k],并将其存储在特征信息存储单元40中(步骤S52)。然后,图像拾取设备100的电源关断(步骤S54)。
因此,在特征检测处理的第二实例中,当图像拾取设备100的电源关断时,检测黑色电平平均值B[k]和补偿增益Gain[k]并且将其存储在存储器件中。
然后,当图像拾取设备100的电源接通并且成像指令被输入到指令输入单元29中时,如参考图7描述地,通过使用存储在特征信息存储单元40中的信息(B[k]和Gain[k]),在每一个基本阵列样式BP中校正在与基本阵列样式BP相对应的I×J个像素中的像素之间的灵敏度差异。
在特征检测处理的第二实例中,每次关断图像拾取设备100的电源时,测量补偿增益Gain[k]和黑色电平平均值B[k]。相应地,与如在第一实例中每次接通电源时执行测量的情形相比较,能够消除从通电状态起到使得能够拍摄图像所占用的时间的增加。
[在正常成像期间执行特征检测处理和灵敏度差异校正处理的实例]
图10是示意在正常成像期间执行特征检测处理和灵敏度差异校正处理的实例的流程的概略流程图。根据处于图1的控制单元50的控制下的程序执行这个处理。
应该指出图像拾取设备100的电源已经被接通,并且机械快门14已经被关闭(图像拾取元件12处于光屏蔽状态中)。
确定是否输入了成像按钮,即,是否输入了成像指令(步骤S62)。如果输入了成像指令,则执行特征检测处理(步骤S64到68)。
在拍摄镜头在物体上聚焦的状态中执行图像拾取(散焦曝光图像拍摄)(步骤S64)。检测在与基本阵列样式BP相对应的I×J个像素之中的、仅在与同色正方形阵列样式GP相对应的2×2个像素中的每一个像素的输出值,并且计算补偿增益G[k],并将其存储在特征信息存储单元40中(步骤S66)。
从特征信息存储单元40获取黑色电平平均值B[k](步骤S68)。
校正输出值Data(x,y)(步骤S70)。
注意虽然已经参考图10描述了在输入成像指令时执行特征检测处理的情形,但是不仅可以根据成像指令而且还可以根据来自使用者的指令执行特征检测。
[特征信息检测区域]
现在对于特征信息的检测区域给出说明。
首先,描述通过使用整个屏幕的平均值计算补偿增益的情形。
当特征信息检测单元42通过在相对于放大器66位置相同的多个像素中的每一个(每一个第k像素组)中,将与同色正方形阵列样式GP相对应的2×2个像素中的各个像素(第k像素)的输出值平均化来计算补偿增益Gain[k]时,如在图11中所示意地遍及图像拾取元件12的整个有效像素区域70将像素的输出值平均化。简言之,通过遍及整个有效像素区域70在光照射状态中将第k像素的输出值平均化来计算灵敏度S[k],并且通过使用灵敏度S[k]来计算补偿增益Gain[k](=Smax/S[k])。
接着,对于整个屏幕被划分成多个区域,并且在这些区域中的每一个中计算补偿增益的情形给出说明。
当特征信息检测单元42通过在相对于放大器66位置相同的多个像素中的每一个(每一个第k像素组)中,将与同色正方形阵列样式GP相对应的2×2个像素中的各个像素(第k像素)的输出值平均化来计算补偿增益Gain[k]时,特征信息检测单元42如在图12中所示意地将图像拾取元件12的有效像素区域70划分成多个划分区域,并且将在这些划分区域中的每一个中的各个像素(第k像素)的输出值平均化。简言之,通过在划分区域中的每一个中,在光照射状态下将第k像素的输出值平均化来计算灵敏度S[k],并且通过使用灵敏度S[k]来计算补偿增益Gain[k](=Smax/S[k])。
在该实例中,因为在每一个划分区域中将像素的输出值平均化而获得用于灵敏度差异校正的补偿增益,所以应对阴影成为可能。
[滤色器阵列的各种实例]
在下文中,详细描述滤色器阵列的各种实例。
(滤色器阵列的第一实例)
在图13中示意第一实例的滤色器阵列。这个滤色器阵列与在图3中示意的滤色器阵列相同。然而,在图13中,附加了指示(x,y)坐标的数值从而描述除了已经参考图3描述的第一特征(每一种颜色在水平方向和竖直方向上的周期性)和第二特征(存在一个或者更多个同色正方形阵列样式)之外的特征。在下文中,省略了第一到第二特征,并且描述第三到第六特征。
描述第三特征。在图13中,当在基本阵列样式BP中观察多个颜色(R,G,B)中的各个颜色时,每一种颜色的一个或者更多个在基本阵列样式BP中在水平方向x和竖直方向y上被布置在每一行中。例如,在基本阵列样式BP中,一个或者更多个“G”滤色器(在下文中简单地被称作“G”)在水平方向x上被布置在x=0到5的每一行中,并且一个或者更多个“G”在竖直方向y上被布置在y=0到5的每一行中。类似地,在基本阵列样式BP中,一个或者更多个“R”滤色器(在下文中简单地被称作“R”)在水平方向x上被布置在x=0到5的每一行中,并且一个或者更多个“R”在竖直方向y上被布置在y=0到5的每一行中。类似地,在基本阵列样式BP中,一个或者更多个“B”滤色器(在下文中简单地被称作“B”)在水平方向x上被布置在x=0到5的每一行中,并且一个或者更多个“B”在竖直方向y上被布置在y=0到5的每一行中。因为这种特征,能够抑制颜色云纹(假色彩)的产生。
描述第四特征。在图13中,当在水平方向x和竖直方向y中的每一个中观察多个颜色(R,G,B)中的每一个时,该多个滤色器形成同色滤色器在同一行上以两种或者更多种布置间隔排列的行。例如,当在水平行y=0(在图13中的最上水平行)中观察“G”时,在坐标(0,0)处的“G”和坐标(2,0)处的“G”之间的间隔是两个像素,而在坐标(2,0)处的“G”和坐标(3,0)处的“G”之间的间隔是一个像素。这还适用于y=2、3和5的水平行。当在水平行y=1(在图13中的第二最上水平行)中观察“B”时,坐标(0,1)处的“B”和坐标(2,1)处的“B”的间隔是两个像素,而坐标(2,1)处的“B”和坐标(6,1)处的“B”的间隔是四个像素。当在同一水平行y=1中观察“R”时,坐标(3,1)处的“R”和坐标(5,1)处的“R”的间隔是两个像素,而坐标(5,1)处的“R”和坐标(9,1)处的“R”的间隔是四个像素。这还适用于水平行y=4。这还适用于在竖直行中观察的每一种颜色。这种行以等于或者小于基本阵列样式BP的重复周期(沿着水平方向x等于6并且沿着竖直方向等于6)的间隔存在于水平方向x和竖直方向y中的每一个中。因为这种特征,抑制了具有周期样式的几何噪声的产生。
描述第五特征。与亮度像素相对应的G滤色器被布置为,使得在基本阵列样式P中包括在水平方向、竖直方向,和倾斜方向(NE、NW)中的每一个中彼此相邻的两个或者更多G滤色器。
因为在滤色器阵列中与亮度像素相对应的G滤色器被沿着水平、竖直和倾斜(NE、NW)方向布置在各个行中,所以能够与高频方向无关地增强在高频区域中在同步处理中的再现性程度。
描述第六特征。在图13中,当形成同色正方形阵列样式GP的每一个滤色器64被定义为第k同色滤色器时(k代表指示相对于放大器66的位置的1到4的整数),在邻接第一同色滤色器(相对于放大器66的左上“G”)的该多个滤色器(从0点钟方向开始沿着顺时针旋转的BRGGGBRG)、邻接第二同色滤色器(相对于放大器66的右上“G”)的该多个滤色器(从3点钟方向开始沿着顺时针旋转的BRGGGBRG)、邻接第三同色滤色器(相对于放大器66的左下“G”)的该多个滤色器(从6点钟方向开始沿着顺时针旋转的BRGGGBRG)和邻接第四同色滤色器(相对于放大器66的右下“G”)的该多个滤色器(从9点钟方向开始沿着顺时针旋转的BRGGGBRG)之中,颜色组合(RGB)和各个颜色的数目(两个R滤色器、四个G滤色器和两个B滤色器)是相同的。在该实例中,与在一个同色正方形阵列样式中观察哪一个同色滤色器无关地,邻接同色滤色器的滤色器沿着顺时针旋转全部按照BRGGGBRG的次序排列。简言之,全部的同色滤色器被以类似的颜色布置的邻接的滤色器包围。
图14示意被划分成3×3像素的四个组的、在图13中示意的基本阵列样式BP。如在图14中所示意地,基本阵列样式BP还可以被理解为通过在水平方向和竖直方向上交替地置放被实框线包围的3×3像素的A阵列和被虚框线包围的3×3像素的B阵列形成的阵列。在A阵列和B阵列中的每一个中,用于亮度像素的G滤色器被布置在四个角部处和中心处,从而它们被布置在两条对角线上。而且,在A阵列中,跨中心G滤色器,B滤色器在水平方向上排列并且R滤色器在竖直方向上排列。与此相反,在B阵列中,跨中心G滤色器,R滤色器在水平方向上排列并且B滤色器在竖直方向上排列。换言之,在A阵列和B阵列中,R滤色器和B滤色器的位置关系是相反的,但是其它布置特征是相同的。
而且,在图13中示意的基本阵列样式BP相对于基本阵列样式的中心(四个G滤色器的中心)点对称地配置。此外,如在图14中所示意地,在基本阵列样式中A阵列和B阵列这两者均相对于中心G滤色器点对称地配置,并且上侧和下侧以及右侧和左侧这两者也是相互对称(线对称)的。进而,在图像拾取元件12的滤色器阵列中,如在图13中所示意地,G滤色器在滤色器阵列的倾斜方向(NE,NW)上被布置在每一行中,这提供能够更加增强在高频区域中的同步处理中的再现性程度的特征。
(滤色器阵列的第二实例)
图15示意图像拾取元件的滤色器阵列的第二实例。
如在图15中所示意地,滤色器阵列包括由与7×7像素相对应的正方形阵列样式构成的基本阵列样式BP(以粗框架示意的样式),基本阵列样式BP在水平方向和竖直方向上反复地布置。即,如在图13中示意的第一实例中的滤色器阵列中,由以规定周期性排列的R、G和B中的各个颜色的滤色器(R滤色器、G滤色器、B滤色器)形成滤色器阵列(第一特征)。
而且,基本阵列样式BP包括在水平方向x和竖直方向y上与放大器共享配置的2×2个像素位置匹配的2×2个滤色器(同色正方形阵列样式GP的滤色器)(第二特征)。
然而,这个实例的基本阵列样式BP由在水平方向x和竖直方向y中的每一个中布置的奇数的滤色器形成。因此,如在图16中所示意地,相同G颜色2×2样式被布置成在水平方向x和竖直方向y中的每一个中相互移位奇数个像素(在该实例中1个像素)。
如在图17中所示意地,在同色2×2样式中的每一个中的四个像素可以被布置成在水平方向x和竖直方向y这两个方向上移位。即,在同色2×2样式中的四个像素可以被布置成置放在四种位置(2n,2m)、(2n+1,2m)、(2n,2m+1),和(2n+1,2m+1)处。换言之,2×2布置的四个同色滤色器可以相对于放大器66被置放在四个不同的位置处。
因此,因为该多个同色正方形阵列样式GP被布置成相互移位奇数个像素,所以确保了基本阵列样式BP中的每一个包括与共享放大器66的共享配置样式(图2的CP)匹配的一个或者更多个同色正方形阵列样式GP。通过测量在同色正方形阵列样式GP中的每一个像素的输出值,能够适当地测量和校正归因于相对于放大器66的像素位置的特征变化。
(其它)
虽然已经在以上实例中描述了具有三色RGB滤色器的图像拾取元件,但是本发明不限于此,并且还可应用于具有包括所示意的三色RGB颜色+另一种颜色(诸如翠绿色(E))的四色滤色器的图像拾取元件。
本发明还能够被应用于具有包括向其添加G颜色的、作为原色RGB的互补颜色的C(青色)、M(洋红色)和Y(黄色)的四色互补滤色器的图像拾取元件。
虽然已经作为实例给出多个像素共享仅放大器(放大元件)的情形的说明,但是当然应该理解本发明还可应用于共享其它电路元件的情形,只要采用了引起灵敏度差异的共享配置。在本发明中还涵盖在这种情形中的灵敏度校正。
此外,虽然已经示意了仅基本阵列样式BP由6×6滤色器和7×7滤色器构成的情形,但是当然应该理解基本阵列样式BP可以由其它布置(8×8、9×9)的滤色器构成。然而,考虑到便于在活动图像拍摄期间的图像处理,诸如同步处理(去马赛克)和稀疏处理,I和J优选地是10或者更小。
当然应该理解本发明不受在本说明书中描述的实例和参考附图示意的实例的限制,并且在本发明的含义内的各种设计修改和变化都是可能的。
本说明书公开了以下方面。
发明1:一种图像拾取设备,包括:图像拾取元件,所述图像拾取元件被配置为,使得多个滤色器分别地布置在多个像素上,所述多个像素包括在水平方向和竖直方向上二维排列的光电转换元件;存储装置,所述存储装置被配置为存储用于校正在所述图像拾取元件的所述多个像素之间的灵敏度差异的信息;和灵敏度差异校正装置,所述灵敏度差异校正装置被配置为通过使用存储在所述存储装置中的信息来校正在所述图像拾取元件的所述多个像素之间的灵敏度差异,其中,所述图像拾取元件的所述多个像素以2×2个像素为单位共享特定电路元件,其中,所述图像拾取元件的所述多个滤色器被配置为,使得在水平方向和竖直方向上反复地布置基本阵列样式,所述基本阵列样式中的每一个由I×J个滤色器(I代表在水平方向上的数目而J代表在竖直方向上的数目)构成,在所述基本阵列样式中的每一个中,三个或者更多颜色中的每一个的滤色器以混合状态排列,基本阵列样式的布置周期(I×J)不同于由所述特定电路元件和所述2×2个像素构成的共享配置样式的布置周期(2×2),并且所述基本阵列样式包括至少一个同色正方形阵列样式,所述同色正方形阵列样式由分别地布置在所述共享配置样式的所述2×2个像素上的2×2个滤色器构成,所述2×2个滤色器具有相同颜色,其中,所述存储装置存储关于与所述同色正方形阵列样式相对应的所述2×2个像素的灵敏度的信息,根据与所述同色正方形阵列样式相对应的所述2×2个像素的输出值计算灵敏度,并且其中,所述灵敏度差异校正装置通过使用存储在所述存储装置中的、关于与所述同色正方形阵列样式相对应的所述2×2个像素的灵敏度的所述信息来校正与所述图像拾取元件的拾取图像相对应的全部像素的灵敏度差异。
发明2:根据发明1所述的图像拾取设备,包括检测装置,所述检测装置被配置为根据与所述同色正方形阵列样式相对应的所述2×2个像素的所述输出值来检测关于灵敏度的所述信息,其中,所述存储装置存储由所述检测装置检测的关于灵敏度的所述信息。
发明3:根据发明2所述的图像拾取设备,其中,当在所述图像拾取元件中,在与所述同色正方形阵列样式相对应的所述2×2个像素中的第k像素(k代表指示相对于所述特定电路元件的位置的、从1到4的整数)的坐标位置被定义为C[k]时,在利用光照射所述图像拾取元件的所述多个像素的光照射状态中,所述检测装置对于两个或者更多基本阵列样式中的每一个,获取第一像素的输出值Data(C[1])、第二像素的输出值Data(C[2])、第三像素的输出值Data(C[3]),和第四像素的输出值Data(C[4]),遍及所述两个或者更多基本阵列样式计算每一个第k像素组的输出值Data(C[k])的平均值S[k]作为灵敏度,并且所述检测装置进一步计算指示在第一像素组的输出值的平均值S[1]、第二像素组的输出值的平均值S[2]、第三像素组的输出值的平均值S[3],和第四像素组的输出值的平均值S[4]之间的比率的信息,作为关于灵敏度的所述信息。
发明4:根据发明3所述的图像拾取设备,其中,所述检测装置从所述输出值的平均值S[k](k代表从1到4的整数)之中提取最大值Smax,并且计算补偿增益Gain[k]=Smax/S[k]作为关于灵敏度的所述信息。
发明5:根据发明2所述的图像拾取设备,其中,当在所述图像拾取元件中,在所述共享配置样式的所述2×2个像素中的第k像素(k代表指示相对于所述特定电路元件的位置的、从1到4的整数)的坐标位置被定义为CC[k]时,在所述图像拾取元件的所述多个像素被屏蔽光的光屏蔽状态中,所述检测装置对于两个或者更多共享配置样式中的每一个获取第一像素的输出值BData(CC[1])、第二像素的输出值BData(CC[2])、第三像素的输出值BData(CC[3]),和第四像素的输出值BData(CC[4]),并且遍及所述两个或者更多共享配置样式计算每一个第k像素组的输出值BData[k]的平均值B[k],并且所述存储装置存储由所述检测装置获取的平均值B[k]作为黑色电平。
发明6:根据发明5所述的图像拾取设备,其中,当在所述共享配置样式中的每一个中的所述2×2个像素的校正输出值被定义为Data'(CC[k])(k代表指示相对于所述特定电路元件的位置的、从1到4的整数)时,所述灵敏度差异校正装置计算Data'(CC[k])=Data(CC[k])-B[k]×Gain[k]。
发明7:根据发明5或6所述的图像拾取设备,包括:拍摄镜头,所述拍摄镜头被配置为形成入射的被摄体光的图像作为被摄体图像;打开/关闭装置,所述打开/关闭装置被配置为打开和关闭从所述拍摄镜头延伸到所述图像拾取元件的所述被摄体光的光路,从而切换所述图像拾取元件的光屏蔽状态和光照射状态;和控制装置,所述控制装置被配置为利用所述打开/关闭装置将所述图像拾取元件置于所述光屏蔽状态中并且使所述检测装置检测所述图像拾取元件的黑色电平B[k],所述控制装置被配置为利用所述打开/关闭装置将所述图像拾取元件置于所述光照射状态中并且使所述检测装置检测所述图像拾取元件的灵敏度S[k]。
发明8:根据发明7所述的图像拾取设备,其中,当所述图像拾取设备的电源接通时,所述控制装置在所述打开/关闭装置关闭的所述光屏蔽状态中使所述检测装置检测黑色电平B[k],并且所述控制装置使所述打开/关闭装置打开以将所述图像拾取元件的状态切换到所述光照射状态、将所述拍摄镜头设定在散焦状态中,并且使所述检测装置检测灵敏度S[k]。
发明9:根据发明7所述的图像拾取设备,其中,当所述图像拾取设备的电源关断时,所述控制装置在所述打开/关闭装置打开的所述光照射状态中将所述拍摄镜头设定在散焦状态中并且使所述检测装置检测灵敏度S[k],并且所述控制装置还将所述图像拾取元件置于所述光屏蔽状态中并且使所述检测装置检测黑色电平B[k]。
发明10:根据发明2到9中的任一项所述的图像拾取设备,包括指令输入装置,所述指令输入装置被配置为接收成像指令的输入,其中,所述检测装置根据所述成像指令,基于由所述图像拾取元件拾取的所述拾取图像检测灵敏度S[k]。
发明11:根据发明2到10中的任一项所述的图像拾取设备,其中,所述检测装置通过在相对于所述特定电路元件处于相同位置中的多个像素(第k像素组)中将在与所述同色正方形阵列样式相对应的所述2×2个像素中的各个像素(第k像素)的输出值平均化来计算关于灵敏度的所述信息,所述检测装置遍及与所述图像拾取元件的所述拾取图像相对应的整个区域将所述像素的输出值平均化。
发明12:根据发明2到11中的任一项所述的图像拾取设备,其中,所述检测装置通过在相对于所述特定电路元件处于相同位置中的多个像素(第k像素组)中将在与所述同色正方形阵列样式相对应的所述2×2个像素中的各个像素(第k像素)的输出值平均化来计算关于灵敏度的所述信息,所述检测装置划分与所述图像拾取元件的所述拾取图像相对应的整个区域并且将划分区域中的每一个中的像素的输出值平均化。
发明13:一种图像拾取元件,所述图像拾取元件被配置为,使得多个滤色器分别地布置在多个像素上,所述多个像素包括在水平方向和竖直方向上二维排列的光电转换元件,其中,所述多个像素以2×2个像素为单位共享特定电路元件,其中,所述多个滤色器被配置为,使得在水平方向和竖直方向上反复地布置基本阵列样式,所述基本阵列样式中的每一个由I×J个滤色器(I代表在水平方向上的数目而J代表在竖直方向上的数目)构成,在所述基本阵列样式中的每一个中,三个或者更多颜色中的每一个的滤色器以混合状态排列,基本阵列样式的布置周期(I×J)不同于由所述特定电路元件和所述2×2个像素构成的共享配置样式的布置周期(2×2),并且所述基本阵列样式包括至少一个同色正方形阵列样式,所述同色正方形阵列样式由分别地布置在所述共享配置样式的所述2×2个像素上的2×2个滤色器构成,所述2×2个滤色器具有相同颜色。
发明14:根据发明13所述的图像拾取元件,其中,当形成所述同色正方形阵列样式的滤色器中的每一个被定义为第k同色滤色器(k代表1到4的整数)时,在邻接第一同色滤色器的多个滤色器、邻接第二同色滤色器的多个滤色器、邻接第三同色滤色器的多个滤色器,和邻接第四同色滤色器的多个滤色器之间,颜色组合和各个颜色的数目是相同的。
发明15:根据发明13或14所述的图像拾取元件,其中,对于多个颜色中的每一个,所述多个滤色器中的一个或者更多个滤色器被以所述基本阵列样式在水平方向和竖直方向上布置在每一行中。
发明16:根据发明13到15中的任一项所述的图像拾取元件,其中,在所述多个滤色器中,对于多个颜色中的每一个,在水平和竖直方向中的每一个方向上,存在相同颜色的滤色器以两种或者更多种布置间隔排列的行。
发明17:根据发明13到15中的任一项所述的图像拾取元件,其中,在所述多个滤色器之中,对亮度信号的获取做出贡献的特定颜色的滤色器被布置为,使得所述基本阵列样式包括所述特定颜色的两个或者更多滤色器在水平方向、竖直方向,和倾斜方向中的每一个方向上相邻的部分。
发明18:根据发明13到17中的任一项所述的图像拾取元件,其中,在所述基本阵列样式中,在水平方向上的滤色器的数目等于在竖直方向上的滤色器的数目。
发明19:根据发明13到18中的任一项所述的图像拾取元件,其中,在所述基本阵列样式中的滤色器阵列中的颜色相对于所述基本阵列样式的中心点对称地排列。
发明20:根据发明13到19中的任一项所述的图像拾取元件,其中,第一3×3阵列和第二3×3阵列被配置为在水平方向和竖直方向上交替地排列,所述第一3×3阵列对应于3×3个像素并且具有布置在中心和四个角部处的G滤色器、跨中心处的G滤色器布置在上侧和下侧上的R滤色器,和跨中心处的G滤色器布置在左侧和右侧上的B滤色器,所述第二3×3阵列对应于3×3个像素并且具有布置在中心和四个角部处的G滤色器、跨中心处的G滤色器布置在上侧和下侧上的B滤色器,和跨中心处的G滤色器布置在左侧和右侧上的R滤色器,其中,G代表绿色颜色,R代表红色颜色,并且B代表蓝色颜色。
发明21:根据发明13到19中的任一项所述的图像拾取元件,其中,所述基本阵列样式在水平方向上并且在竖直方向上具有奇数个滤色器,并且包括每一个由相同颜色的2×2个滤色器构成的多个2×2阵列样式,并且所述2×2阵列样式被布置成在水平方向和竖直方向中的每一个方向上相互移位奇数个像素。
发明22:一种用于为图像拾取元件校正灵敏度差异的方法,所述图像拾取元件被配置为,使得多个滤色器分别地布置在多个像素上,所述多个像素包括在水平方向和竖直方向上二维排列的光电转换元件,其中,所述图像拾取元件的所述多个像素以2×2个像素为单位共享特定电路元件,其中,由在水平方向和竖直方向上反复地布置的基本阵列样式形成所述图像拾取元件的所述多个滤色器,所述基本阵列样式中的每一个由I×J个滤色器(I代表在水平方向上的数目而J代表在竖直方向上的数目)构成,在所述基本阵列样式中的每一个中,三个或者更多颜色中的每一个的滤色器以混合状态排列,基本阵列样式的布置周期(I×J)不同于由所述特定电路元件和所述2×2个像素构成的共享配置样式的布置周期(2×2),并且所述基本阵列样式包括至少一个同色正方形阵列样式,所述同色正方形阵列样式由分别地布置在所述共享配置样式的所述2×2个像素上的2×2个滤色器构成,所述2×2个滤色器具有相同颜色,所述方法包括:预存储关于与所述同色正方形阵列样式相对应的所述2×2个像素的灵敏度的信息,根据与所述同色正方形阵列样式相对应的所述2×2个像素的输出值计算关于灵敏度的所述信息;和,通过使用存储在所述存储器件中的、关于与所述同色正方形阵列样式相对应的所述2×2个像素的灵敏度的所述信息来校正在所述图像拾取元件的所有的像素中的、在与所述基本阵列样式相对应的I×J个像素中的像素之间的灵敏度差异。
发明23:一种用于为图像拾取设备中的图像拾取元件校正灵敏度差异的方法,所述图像拾取设备包括:图像拾取元件,所述图像拾取元件被配置为,使得多个滤色器分别地布置在多个像素上,所述多个像素包括在水平方向和竖直方向上二维排列的光电转换元件;拍摄镜头,所述拍摄镜头被配置为形成入射的被摄体光的图像作为被摄体图像;打开/关闭装置,所述打开/关闭装置被配置为打开和关闭从所述拍摄镜头延伸到所述图像拾取元件的所述被摄体光的光路,从而切换所述图像拾取元件的光屏蔽状态和光照射状态;指令输入装置,所述指令输入装置被配置为接收成像指令的输入;和存储器件,所述存储器件被配置为存储信息,其中,所述图像拾取元件的所述多个像素以2×2个像素为单位共享特定电路元件,其中,所述图像拾取元件的所述多个滤色器由在水平方向和竖直方向上反复地布置的基本阵列样式形成,所述基本阵列样式中的每一个由I×J个滤色器(I代表在水平方向上的数目而J代表在竖直方向上的数目)构成,在所述基本阵列样式中的每一个中,三个或者更多颜色中的每一个的多个滤色器以混合状态排列,基本阵列样式的布置周期(I×J)不同于由所述特定电路元件和所述2×2个像素构成的共享配置样式的布置周期(2×2),并且所述基本阵列样式包括至少一个同色正方形阵列样式,所述同色正方形阵列样式由分别地布置在所述共享配置样式的所述2×2个像素上的2×2个滤色器构成,所述2×2个滤色器具有相同颜色,所述方法包括:当所述图像拾取设备的电源接通时,在所述打开/关闭装置关闭的所述光屏蔽状态中,检测在与所述基本阵列样式相对应的I×J个像素之中的、在与所述同色正方形阵列样式相对应的所述2×2个像素中的每一个像素的输出值作为黑色电平,利用所述打开/关闭装置将所述图像拾取元件置于所述光照射状态中并且将所述拍摄镜头置于散焦状态中,从而检测在与所述基本阵列样式相对应的所述I×J个像素之中的、在与所述同色正方形阵列样式相对应的所述2×2个像素中的每一个像素的输出值作为灵敏度;在所述存储器件中存储与所述同色正方形阵列样式相对应的所述2×2个像素的所述黑色电平和关于所敏度的所述信息;和,当所述成像指令被输入到所述指令输入装置中时,使用存储在所述存储器件中的信息来校正在与所述基本阵列样式相对应的所述I×J个像素中的像素之间的灵敏度差异。
发明24:一种用于为图像拾取设备中的图像拾取元件校正灵敏度差异的方法,所述图像拾取设备包括:图像拾取元件,所述图像拾取元件被配置为,使得多个滤色器分别地布置在多个像素上,所述多个像素包括在水平方向和竖直方向上二维排列的光电转换元件;拍摄镜头,所述拍摄镜头被配置为形成入射的被摄体光的图像作为被摄体图像;打开/关闭装置,所述打开/关闭装置被配置为打开和关闭从所述拍摄镜头延伸到所述图像拾取元件的所述被摄体光的光路,从而切换所述图像拾取元件的光屏蔽状态和光照射状态;指令输入装置,所述指令输入装置被配置为接收成像指令的输入;和存储器件,所述存储器件被配置为存储信息,其中,所述图像拾取元件的所述多个像素以2×2个像素为单位共享特定电路元件,其中,所述图像拾取元件的所述多个滤色器被配置为,使得在水平方向和竖直方向上反复地布置基本阵列样式,所述基本阵列样式中的每一个由I×J个滤色器(I代表在水平方向上的数目而J代表在竖直方向上的数目)构成,在所述基本阵列样式中的每一个中,三个或者更多颜色中的每一个的滤色器以混合状态排列,基本阵列样式的布置周期(I×J)不同于由所述特定电路元件和所述2×2个像素构成的共享配置样式的布置周期(2×2),并且所述基本阵列样式包括至少一个同色正方形阵列样式,所述同色正方形阵列样式由分别地布置在所述共享配置样式的所述2×2个像素上的2×2个滤色器构成,所述2×2个滤色器具有相同颜色,所述方法包括:当所述图像拾取设备的电源关断时,在所述打开/关闭装置打开的所述光照射状态中,将所述拍摄镜头设定在散焦状态中,并且检测在与所述基本阵列样式相对应的I×J个像素之中的、在与所述同色正方形阵列样式相对应的所述2×2个像素中的每一个像素的输出值作为灵敏度,利用所述打开/关闭装置将所述图像拾取元件置于所述光屏蔽状态中并且检测在与所述基本阵列样式相对应的所述I×J个像素之中的、在与所述同色正方形阵列样式相对应的所述2×2个像素中的每一个像素的输出值作为黑色电平;在所述存储器件中存储关于与所述同色正方形阵列样式相对应的所述2×2个像素的灵敏度的所述信息和所述黑色电平;和,当所述成像指令被输入到所述指令输入装置中时,使用存储在所述存储器件中的信息校正在与所述基本阵列样式相对应的所述I×J个像素中的像素之间的灵敏度差异。
发明25:一种用于为图像拾取设备中的图像拾取元件校正灵敏度差异的方法,所述图像拾取设备包括:图像拾取元件,所述图像拾取元件被配置为,使得多个滤色器分别地布置在多个像素上,所述多个像素包括在水平方向和竖直方向上二维排列的光电转换元件;拍摄镜头,所述拍摄镜头被配置为形成入射的被摄体光的图像作为被摄体图像;指令输入装置,所述指令输入装置被配置为接收成像指令的输入;和存储器件,所述存储器件被配置为存储信息,其中,所述图像拾取元件的所述多个像素以2×2个像素为单位共享特定电路元件,其中,所述图像拾取元件的所述多个滤色器被配置为,使得在水平方向和竖直方向上反复地布置基本阵列样式,所述基本阵列样式中的每一个由I×J个滤色器(I代表在水平方向上的数目而J代表在竖直方向上的数目)构成,在所述基本阵列样式中的每一个中,三个或者更多颜色中的每一个的滤色器以混合状态排列,其中,所述基本阵列样式的布置周期(I×J)不同于由所述特定电路元件和所述2×2个像素构成的共享配置样式的布置周期(2×2),并且所述基本阵列样式包括至少一个同色正方形阵列样式,所述同色正方形阵列样式由分别地布置在所述共享配置样式的所述2×2个像素上的2×2个滤色器构成,所述2×2个滤色器具有相同颜色,所述方法包括:当在输入所述成像指令时,利用所述图像拾取元件将被摄体成像时,基于由所述图像拾取元件获取的拾取图像,检测在与所述基本阵列样式相对应的I×J个像素之中的、至少在与所述同色正方形阵列样式相对应的所述2×2个像素中的每一个像素的输出值作为灵敏度;在所述存储器件中存储关于与所述同色正方形阵列样式相对应的所述2×2个像素的灵敏度的特征信息;和在下一次成像时,通过使用存储在所述存储器件中的、关于与所述同色正方形阵列样式相对应的所述2×2个像素的所述特征信息来校正在与所述基本阵列样式相对应的所述I×J个像素中的像素之间的灵敏度差异。
{附图标记列表}
10...拍摄镜头,12...成像元件,13...光路,14...机械快门,22...数字信号处理单元(灵敏度差异校正装置),40...特征信息存储单元,42...特征信息检测单元,50...控制单元,62...像素,64...滤色器,66...放大器,100...成像设备
Claims (25)
1.一种图像拾取设备,包括:
图像拾取元件,所述图像拾取元件被配置为,使得多个滤色器分别地布置在多个像素上,所述多个像素包括在水平方向和竖直方向上二维排列的光电转换元件;
存储装置,所述存储装置被配置为存储用于校正在所述图像拾取元件的所述多个像素之间的灵敏度差异的信息;和
灵敏度差异校正装置,所述灵敏度差异校正装置被配置为通过使用存储在所述存储装置中的信息来校正在所述图像拾取元件的所述多个像素之间的所述灵敏度差异,
其中,所述图像拾取元件的所述多个像素以2×2个像素为单位共享特定电路元件,
其中,所述图像拾取元件的所述多个滤色器被配置为,使得在所述水平方向和所述竖直方向上反复地布置基本阵列样式,所述基本阵列样式中的每一个由I×J个滤色器(I代表在所述水平方向上的数目,而J代表在所述竖直方向上的数目)构成,在所述基本阵列样式中的每一个中,三个或者更多颜色中的每一个的滤色器以混合状态排列,
基本阵列样式的布置周期(I×J)不同于由所述特定电路元件和所述2×2个像素构成的共享配置样式的布置周期(2×2),并且
所述基本阵列样式包括至少一个同色正方形阵列样式,所述同色正方形阵列样式由分别地布置在所述共享配置样式的所述2×2个像素上的2×2个滤色器构成,所述2×2个滤色器具有相同颜色,
其中,所述存储装置存储关于与所述同色正方形阵列样式相对应的所述2×2个像素的灵敏度的信息,根据与所述同色正方形阵列样式相对应的所述2×2个像素的输出值来计算所述灵敏度,并且
其中,所述灵敏度差异校正装置通过使用存储在所述存储装置中的、关于与所述同色正方形阵列样式相对应的所述2×2个像素的所述灵敏度的所述信息来校正与所述图像拾取元件的拾取图像相对应的全部像素的灵敏度差异。
2.根据权利要求1所述的图像拾取设备,进一步包括:
检测装置,所述检测装置被配置为根据与所述同色正方形阵列样式相对应的所述2×2个像素的所述输出值来检测关于所述灵敏度的所述信息,
其中,所述存储装置存储由所述检测装置检测的关于所述灵敏度的所述信息。
3.根据权利要求2所述的图像拾取设备,
其中,当在所述图像拾取元件中,在与所述同色正方形阵列样式相对应的所述2×2个像素中的第k像素(k代表指示相对于所述特定电路元件的位置的、从1到4的整数)的坐标位置被定义为C[k]时,
在利用光照射所述图像拾取元件的所述多个像素的光照射状态中,所述检测装置对于两个或者更多基本阵列样式中的每一个,获取第一像素的输出值Data(C[1])、第二像素的输出值Data(C[2])、第三像素的输出值Data(C[3]),和第四像素的输出值Data(C[4]),遍及所述两个或者更多基本阵列样式计算每一个第k像素组的输出值Data(C[k])的平均值S[k]作为灵敏度,并且
所述检测装置进一步计算指示在第一像素组的输出值的平均值S[1]、第二像素组的输出值的平均值S[2]、第三像素组的输出值的平均值S[3],和第四像素组的输出值的平均值S[4]之间的比率的信息,作为关于所述灵敏度的所述信息。
4.根据权利要求3所述的图像拾取设备,
其中,所述检测装置从所述输出值的平均值S[k](k代表从1到4的整数)之中提取最大值Smax,并且计算补偿增益Gain[k]=Smax/S[k]作为关于所述灵敏度的所述信息。
5.根据权利要求2所述的图像拾取设备,
其中,当在所述图像拾取元件中,在所述共享配置样式的所述2×2个像素中的第k像素(k代表指示相对于所述特定电路元件的位置的、从1到4的整数)的坐标位置被定义为CC[k]时,
在所述图像拾取元件的所述多个像素被屏蔽光的光屏蔽状态中,所述检测装置对于两个或者更多共享配置样式中的每一个获取第一像素的输出值BData(CC[1])、第二像素的输出值BData(CC[2])、第三像素的输出值BData(CC[3]),和第四像素的输出值BData(CC[4]),并且遍及所述两个或者更多共享配置样式计算每一个第k像素组的输出值BData[k]的平均值B[k],并且
所述存储装置存储由所述检测装置获取的所述平均值B[k]作为黑色电平。
6.根据权利要求5所述的图像拾取设备,
其中,当在所述共享配置样式中的每一个中的所述2×2个像素的校正输出值被定义为Data'(CC[k])(k代表指示相对于所述特定电路元件的位置的、从1到4的整数)时,
所述灵敏度差异校正装置计算Data'(CC[k])=Data(CC[k])-B[k]×Gain[k]。
7.根据权利要求5或6所述的图像拾取设备,进一步包括:
拍摄镜头,所述拍摄镜头被配置为形成入射的被摄体光的图像作为被摄体图像;
打开/关闭装置,所述打开/关闭装置被配置为打开和关闭从所述拍摄镜头延伸到所述图像拾取元件的所述被摄体光的光路,以便切换所述图像拾取元件的所述光屏蔽状态和光照射状态;和
控制装置,所述控制装置被配置为利用所述打开/关闭装置将所述图像拾取元件置于所述光屏蔽状态中并且使所述检测装置检测所述图像拾取元件的所述黑色电平B[k],所述控制装置被配置为利用所述打开/关闭装置将所述图像拾取元件置于所述光照射状态中并且使所述检测装置检测所述图像拾取元件的所述灵敏度S[k]。
8.根据权利要求7所述的图像拾取设备,
其中,当所述图像拾取设备的电源接通时,所述控制装置在所述打开/关闭装置关闭的所述光屏蔽状态中使所述检测装置检测所述黑色电平B[k],并且所述控制装置使所述打开/关闭装置打开以将所述图像拾取元件的状态切换到所述光照射状态、将所述拍摄镜头设定在散焦状态中,并且使所述检测装置检测所述灵敏度S[k]。
9.根据权利要求7所述的图像拾取设备,
其中,当所述图像拾取设备的电源关断时,所述控制装置在所述打开/关闭装置打开的所述光照射状态中将所述拍摄镜头设定在散焦状态中并且使所述检测装置检测所述灵敏度S[k],并且所述控制装置还将所述图像拾取元件置于所述光屏蔽状态中并且使所述检测装置检测所述黑色电平B[k]。
10.根据权利要求2到9中的任一项所述的图像拾取设备,进一步包括:
指令输入装置,所述指令输入装置被配置为接收成像指令的输入,
其中,所述检测装置根据所述成像指令,基于由所述图像拾取元件拾取的所述拾取图像来检测所述灵敏度S[k]。
11.根据权利要求2到10中的任一项所述的图像拾取设备,
其中,所述检测装置通过在相对于所述特定电路元件处于相同位置中的多个像素(第k像素组)中将在与所述同色正方形阵列样式相对应的所述2×2个像素中的各个像素(第k像素)的输出值平均化来计算关于所述灵敏度的所述信息,所述检测装置遍及与所述图像拾取元件的所述拾取图像相对应的整个区域将所述像素的所述输出值平均化。
12.根据权利要求2到11中的任一项所述的图像拾取设备,
其中,所述检测装置通过在相对于所述特定电路元件处于相同位置中的多个像素(第k像素组)中将在与所述同色正方形阵列样式相对应的所述2×2个像素中的各个像素(第k像素)的输出值平均化来计算关于所述灵敏度的所述信息,所述检测装置划分与所述图像拾取元件的所述拾取图像相对应的整个区域并且将划分区域中的每一个中的像素的所述输出值平均化。
13.一种图像拾取元件,所述图像拾取元件被配置为,使得多个滤色器分别地布置在多个像素上,所述多个像素包括在水平方向和竖直方向上二维排列的光电转换元件,
其中,所述多个像素以2×2个像素为单位共享特定电路元件,
其中,所述多个滤色器被配置为,使得在所述水平方向和所述竖直方向上反复地布置基本阵列样式,所述基本阵列样式中的每一个由I×J个滤色器(I代表在所述水平方向上的数目,而J代表在所述竖直方向上的数目)构成,在所述基本阵列样式中的每一个中,三个或者更多颜色中的每一个的滤色器以混合状态排列,
基本阵列样式的布置周期(I×J)不同于由所述特定电路元件和所述2×2个像素构成的共享配置样式的布置周期(2×2),并且
所述基本阵列样式包括至少一个同色正方形阵列样式,所述同色正方形阵列样式由分别地布置在所述共享配置样式的所述2×2个像素上的2×2个滤色器构成,所述2×2个滤色器具有相同颜色。
14.根据权利要求13所述的图像拾取元件,
其中,当形成所述同色正方形阵列样式的所述滤色器中的每一个被定义为第k同色滤色器(k代表1到4的整数)时,在邻接第一同色滤色器的多个滤色器、邻接第二同色滤色器的多个滤色器、邻接第三同色滤色器的多个滤色器,和邻接第四同色滤色器的多个滤色器之间,颜色组合和各个颜色的数目是相同的。
15.根据权利要求13或14所述的图像拾取元件,
其中,对于多个颜色中的每一个,所述多个滤色器中的一个或者更多个滤色器以所述基本阵列样式在所述水平方向和所述竖直方向上布置在每一行中。
16.根据权利要求13到15中的任一项所述的图像拾取元件,
其中,在所述多个滤色器中,对于多个颜色中的每一个,在所述水平和竖直方向中的每一个方向上,存在相同颜色的滤色器以两种或者更多种布置间隔排列的行。
17.根据权利要求13到15中的任一项所述的图像拾取元件,
其中,在所述多个滤色器之中,对亮度信号的获取做出贡献的特定颜色的滤色器被布置为,使得所述基本阵列样式包括所述特定颜色的两个或者更多所述滤色器在所述水平方向、所述竖直方向,和倾斜方向中的每一个方向上相邻的部分。
18.根据权利要求13到17中的任一项所述的图像拾取元件,
其中,在所述基本阵列样式中,在所述水平方向上的所述滤色器的数目等于在所述竖直方向上的所述滤色器的数目。
19.根据权利要求13到18中的任一项所述的图像拾取元件,
其中,在所述基本阵列样式中的滤色器阵列中的颜色相对于所述基本阵列样式的中心而点对称地排列。
20.根据权利要求13到19中的任一项所述的图像拾取元件,
其中,第一3×3阵列和第二3×3阵列被配置为在所述水平方向和所述竖直方向上交替地排列,
所述第一3×3阵列对应于3×3个像素并且具有布置在中心和四个角部处的G滤色器、跨所述中心处的G滤色器布置在上侧和下侧上的R滤色器,和跨所述中心处的所述G滤色器布置在左侧和右侧上的B滤色器,
所述第二3×3阵列对应于3×3个像素并且具有布置在中心和四个角部处的G滤色器、跨所述中心处的G滤色器布置在上侧和下侧上的B滤色器,和跨所述中心处的所述G滤色器布置在左侧和右侧上的R滤色器,
其中,G代表绿色颜色,R代表红色颜色,并且B代表蓝色颜色。
21.根据权利要求13到19中的任一项所述的图像拾取元件,
其中,所述基本阵列样式在所述水平方向上并且在所述竖直方向上具有奇数个滤色器,并且包括每一个由相同颜色的2×2个滤色器构成的多个2×2阵列样式,并且
所述2×2阵列样式被布置成在所述水平方向和所述竖直方向中的每一个方向上相互移位奇数个像素。
22.一种用于为图像拾取元件校正灵敏度差异的方法,所述图像拾取元件被配置为,使得多个滤色器分别地布置在多个像素上,所述多个像素包括在水平方向和竖直方向上二维排列的光电转换元件,
其中,所述图像拾取元件的所述多个像素以2×2个像素为单位共享特定电路元件,
其中,由在所述水平方向和所述竖直方向上反复地布置的基本阵列样式形成所述图像拾取元件的所述多个滤色器,所述基本阵列样式中的每一个由I×J个滤色器(I代表在所述水平方向上的数目,而J代表在所述竖直方向上的数目)构成,在所述基本阵列样式中的每一个中,三个或者更多颜色中的每一个的滤色器以混合状态排列,
基本阵列样式的布置周期(I×J)不同于由所述特定电路元件和所述2×2个像素构成的共享配置样式的布置周期(2×2),并且
所述基本阵列样式包括至少一个同色正方形阵列样式,所述同色正方形阵列样式由分别地布置在所述共享配置样式的所述2×2个像素上的2×2个滤色器构成,所述2×2个滤色器具有相同颜色,
所述方法包括:
预存储关于与所述同色正方形阵列样式相对应的所述2×2个像素的灵敏度的信息,根据与所述同色正方形阵列样式相对应的所述2×2个像素的输出值来计算关于所述灵敏度的所述信息;和
通过使用存储在所述存储器件中的、关于与所述同色正方形阵列样式相对应的所述2×2个像素的所述灵敏度的所述信息来校正在所述图像拾取元件的所有像素中的、在与所述基本阵列样式相对应的所述I×J个像素中的像素之间的灵敏度差异。
23.一种用于为图像拾取设备中的图像拾取元件校正灵敏度差异的方法,所述图像拾取设备包括:
图像拾取元件,所述图像拾取元件被配置为,使得多个滤色器分别地布置在多个像素上,所述多个像素包括在水平方向和竖直方向上二维排列的光电转换元件;
拍摄镜头,所述拍摄镜头被配置为形成入射的被摄体光的图像作为被摄体图像;
打开/关闭装置,所述打开/关闭装置被配置为打开和关闭从所述拍摄镜头延伸到所述图像拾取元件的所述被摄体光的光路,以便切换所述图像拾取元件的光屏蔽状态和光照射状态;
指令输入装置,所述指令输入装置被配置为接收成像指令的输入;和
存储器件,所述存储器件被配置为存储信息,
其中,所述图像拾取元件的所述多个像素以2×2个像素为单位共享特定电路元件,
其中,所述图像拾取元件的所述多个滤色器由在所述水平方向和所述竖直方向上反复地布置的基本阵列样式形成,所述基本阵列样式中的每一个由I×J个滤色器(I代表在所述水平方向上的数目,而J代表在所述竖直方向上的数目)构成,在所述基本阵列样式中的每一个中,三个或者更多颜色中的每一个的所述多个滤色器以混合状态排列,
基本阵列样式的布置周期(I×J)不同于由所述特定电路元件和所述2×2个像素构成的共享配置样式的布置周期(2×2),并且
所述基本阵列样式包括至少一个同色正方形阵列样式,所述同色正方形阵列样式由分别地布置在所述共享配置样式的所述2×2个像素上的2×2个滤色器构成,所述2×2个滤色器具有相同颜色,
所述方法包括:
当所述图像拾取设备的电源接通时,在所述打开/关闭装置关闭的所述光屏蔽状态中,检测在与所述基本阵列样式相对应的所述I×J个像素之中的、在与所述同色正方形阵列样式相对应的所述2×2个像素中的每一个像素的输出值作为黑色电平,利用所述打开/关闭装置将所述图像拾取元件置于所述光照射状态中并且将所述拍摄镜头置于散焦状态中,以便检测在与所述基本阵列样式相对应的所述I×J个像素之中的、在与所述同色正方形阵列样式相对应的所述2×2个像素中的每一个像素的输出值作为灵敏度;
在所述存储器件中存储与所述同色正方形阵列样式相对应的所述2×2个像素的所述黑色电平和关于所述灵敏度的信息;和
当所述成像指令被输入到所述指令输入装置中时,使用存储在所述存储器件中的所述信息来校正在与所述基本阵列样式相对应的所述I×J个像素中的像素之间的灵敏度差异。
24.一种用于为图像拾取设备中的图像拾取元件校正灵敏度差异的方法,所述图像拾取设备包括:
图像拾取元件,所述图像拾取元件被配置为,使得多个滤色器分别地布置在多个像素上,所述多个像素包括在水平方向和竖直方向上二维排列的光电转换元件;
拍摄镜头,所述拍摄镜头被配置为形成入射的被摄体光的图像作为被摄体图像;
打开/关闭装置,所述打开/关闭装置被配置为打开和关闭从所述拍摄镜头延伸到所述图像拾取元件的所述被摄体光的光路,以便切换所述图像拾取元件的光屏蔽状态和光照射状态;
指令输入装置,所述指令输入装置被配置为接收成像指令的输入;和
存储器件,所述存储器件被配置为存储信息,
其中,所述图像拾取元件的所述多个像素以2×2个像素为单位共享特定电路元件,
其中,所述图像拾取元件的所述多个滤色器被配置为,使得在所述水平方向和所述竖直方向上反复地布置基本阵列样式,所述基本阵列样式中的每一个由I×J个滤色器(I代表在所述水平方向上的数目,而J代表在所述竖直方向上的数目)构成,在所述基本阵列样式中的每一个中,三个或者更多颜色中的每一个的滤色器以混合状态排列,
基本阵列样式的布置周期(I×J)不同于由所述特定电路元件和所述2×2个像素构成的共享配置样式的布置周期(2×2),并且
所述基本阵列样式包括至少一个同色正方形阵列样式,所述同色正方形阵列样式由分别地布置在所述共享配置样式的所述2×2个像素上的2×2个滤色器构成,所述2×2个滤色器具有相同颜色,
所述方法包括:
当所述图像拾取设备的电源关断时,在所述打开/关闭装置打开的所述光照射状态中,将所述拍摄镜头设定在散焦状态中,并且检测在与所述基本阵列样式相对应的所述I×J个像素之中的、在与所述同色正方形阵列样式相对应的所述2×2个像素中的每一个像素的输出值作为灵敏度,利用所述打开/关闭装置将所述图像拾取元件置于所述光屏蔽状态中并且检测在与所述基本阵列样式相对应的所述I×J个像素之中的、在与所述同色正方形阵列样式相对应的所述2×2个像素中的每一个像素的输出值作为黑色电平;
在所述存储器件中存储关于与所述同色正方形阵列样式相对应的所述2×2个像素的所述灵敏度的信息和所述黑色电平;和
当所述成像指令被输入到所述指令输入装置中时,使用存储在所述存储器件中的所述信息来校正在与所述基本阵列样式相对应的所述I×J个像素中的像素之间的灵敏度差异。
25.一种用于为图像拾取设备中的图像拾取元件校正灵敏度差异的方法,所述图像拾取设备包括:
图像拾取元件,所述图像拾取元件被配置为,使得多个滤色器分别地布置在多个像素上,所述多个像素包括在水平方向和竖直方向上二维排列的光电转换元件;
拍摄镜头,所述拍摄镜头被配置为形成入射的被摄体光的图像作为被摄体图像;
指令输入装置,所述指令输入装置被配置为接收成像指令的输入;和
存储器件,所述存储器件被配置为存储信息,
其中,所述图像拾取元件的所述多个像素以2×2个像素为单位共享特定电路元件,
其中,所述图像拾取元件的所述多个滤色器被配置为,使得在所述水平方向和所述竖直方向上反复地布置所述基本阵列样式,所述基本阵列样式中的每一个由I×J个滤色器(I代表在所述水平方向上的数目,而J代表在所述竖直方向上的数目)构成,在所述基本阵列样式中的每一个中,三个或者更多颜色中的每一个的所述滤色器以混合状态排列,
其中,所述基本阵列样式的布置周期(I×J)不同于由所述特定电路元件和所述2×2个像素构成的共享配置样式的布置周期(2×2),并且
所述基本阵列样式包括至少一个同色正方形阵列样式,所述同色正方形阵列样式由分别地布置在所述共享配置样式的所述2×2个像素上的2×2个滤色器构成,所述2×2个滤色器具有相同颜色,
所述方法包括:
当在输入所述成像指令时,利用所述图像拾取元件将被摄体成像时,基于由所述图像拾取元件获取的拾取图像,检测在与所述基本阵列样式相对应的所述I×J个像素之中的、至少在与所述同色正方形阵列样式相对应的所述2×2个像素中的每一个像素的输出值作为灵敏度;
在所述存储器件中存储关于与所述同色正方形阵列样式相对应的所述2×2个像素的所述灵敏度的特征信息;和
在下一次成像时,通过使用存储在所述存储器件中的、关于与所述同色正方形阵列样式相对应的所述2×2个像素的所述特征信息来校正在与所述基本阵列样式相对应的所述I×J个像素中的像素之间的灵敏度差异。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011155135 | 2011-07-13 | ||
JP2011-155135 | 2011-07-13 | ||
PCT/JP2012/065832 WO2013008597A1 (ja) | 2011-07-13 | 2012-06-21 | 撮像装置、撮像素子及び感度差補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103650487A true CN103650487A (zh) | 2014-03-19 |
CN103650487B CN103650487B (zh) | 2015-04-29 |
Family
ID=47505895
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280034640.3A Expired - Fee Related CN103650487B (zh) | 2011-07-13 | 2012-06-21 | 图像拾取设备、图像拾取元件,和用于校正灵敏度差异的方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8810697B2 (zh) |
JP (1) | JP5528627B2 (zh) |
CN (1) | CN103650487B (zh) |
WO (1) | WO2013008597A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108090927A (zh) * | 2016-11-18 | 2018-05-29 | 株式会社东芝 | 位置检测装置、处理装置、以及程序 |
CN111464763A (zh) * | 2014-09-01 | 2020-07-28 | 索尼公司 | 固体摄像器件、固体摄像器件的信号处理方法和电子装置 |
CN115039403A (zh) * | 2020-02-19 | 2022-09-09 | 索尼集团公司 | 图像处理方法和传感器装置 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5702895B2 (ja) * | 2012-07-06 | 2015-04-15 | 富士フイルム株式会社 | カラー撮像素子および撮像装置 |
CN106341670B (zh) | 2016-11-29 | 2017-09-22 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN106604001B (zh) * | 2016-11-29 | 2018-06-29 | 广东欧珀移动通信有限公司 | 图像处理方法、图像处理装置、成像装置及电子装置 |
CN106454054B (zh) | 2016-11-29 | 2019-03-19 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN106504218B (zh) | 2016-11-29 | 2019-03-12 | Oppo广东移动通信有限公司 | 控制方法、控制装置及电子装置 |
CN106454288B (zh) * | 2016-11-29 | 2018-01-19 | 广东欧珀移动通信有限公司 | 控制方法、控制装置、成像装置及电子装置 |
CN106507068B (zh) | 2016-11-29 | 2018-05-04 | 广东欧珀移动通信有限公司 | 图像处理方法及装置、控制方法及装置、成像及电子装置 |
US10638054B2 (en) | 2017-01-25 | 2020-04-28 | Cista System Corp. | System and method for visible and infrared high dynamic range sensing |
US10444415B2 (en) | 2017-02-14 | 2019-10-15 | Cista System Corp. | Multispectral sensing system and method |
US11613480B2 (en) * | 2018-03-21 | 2023-03-28 | Axine Water Technologies Inc. | Electrolytic cell with bipolar electrodes for wastewater treatment |
KR20220166013A (ko) * | 2021-06-09 | 2022-12-16 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 및 그 동작 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1734779A (zh) * | 2004-08-11 | 2006-02-15 | 索尼株式会社 | 固态成像器件和成像装置 |
US20060119724A1 (en) * | 2004-12-02 | 2006-06-08 | Fuji Photo Film Co., Ltd. | Imaging device, signal processing method on solid-state imaging element, digital camera and controlling method therefor and color image data generating method |
CN101702753A (zh) * | 2008-07-18 | 2010-05-05 | 索尼株式会社 | 固体成像元件和相机*** |
JP2011086888A (ja) * | 2009-10-19 | 2011-04-28 | Sony Corp | 固体撮像装置及び電子機器 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6956605B1 (en) | 1998-08-05 | 2005-10-18 | Canon Kabushiki Kaisha | Image pickup apparatus |
JP3697073B2 (ja) * | 1998-08-05 | 2005-09-21 | キヤノン株式会社 | 撮像装置及びそれを用いた撮像システム |
JP4098438B2 (ja) | 1999-04-15 | 2008-06-11 | オリンパス株式会社 | カラー撮像素子及びカラー撮像装置 |
US6992714B1 (en) | 1999-05-31 | 2006-01-31 | Canon Kabushiki Kaisha | Image pickup apparatus having plural pixels arranged two-dimensionally, and selective addition of different pixel color signals to control spatial color arrangement |
JP2001292453A (ja) * | 2000-04-07 | 2001-10-19 | Canon Inc | カラー撮像装置及びそれを用いた撮像システム |
JP4738907B2 (ja) * | 2004-11-19 | 2011-08-03 | 富士フイルム株式会社 | 固体撮像素子および固体撮像装置 |
JP4724414B2 (ja) * | 2004-12-02 | 2011-07-13 | 富士フイルム株式会社 | 撮像装置、デジタルカメラ、及びカラー画像データ生成方法 |
US7643072B2 (en) * | 2005-08-16 | 2010-01-05 | Fujifilm Corporation | Signal processing method for image capturing apparatus, and image capturing apparatus including calculating image transfer efficiency |
JP5584982B2 (ja) * | 2009-02-09 | 2014-09-10 | ソニー株式会社 | 固体撮像素子およびカメラシステム |
US20100230583A1 (en) | 2008-11-06 | 2010-09-16 | Sony Corporation | Solid state image pickup device, method of manufacturing the same, image pickup device, and electronic device |
-
2012
- 2012-06-21 WO PCT/JP2012/065832 patent/WO2013008597A1/ja active Application Filing
- 2012-06-21 JP JP2013523873A patent/JP5528627B2/ja not_active Expired - Fee Related
- 2012-06-21 CN CN201280034640.3A patent/CN103650487B/zh not_active Expired - Fee Related
-
2014
- 2014-01-10 US US14/152,315 patent/US8810697B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1734779A (zh) * | 2004-08-11 | 2006-02-15 | 索尼株式会社 | 固态成像器件和成像装置 |
US20060119724A1 (en) * | 2004-12-02 | 2006-06-08 | Fuji Photo Film Co., Ltd. | Imaging device, signal processing method on solid-state imaging element, digital camera and controlling method therefor and color image data generating method |
CN101702753A (zh) * | 2008-07-18 | 2010-05-05 | 索尼株式会社 | 固体成像元件和相机*** |
JP2011086888A (ja) * | 2009-10-19 | 2011-04-28 | Sony Corp | 固体撮像装置及び電子機器 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111464763A (zh) * | 2014-09-01 | 2020-07-28 | 索尼公司 | 固体摄像器件、固体摄像器件的信号处理方法和电子装置 |
CN111464763B (zh) * | 2014-09-01 | 2022-03-18 | 索尼公司 | 固体摄像器件、固体摄像器件的信号处理方法和电子装置 |
US11770639B2 (en) | 2014-09-01 | 2023-09-26 | Sony Group Corporation | Solid-state imaging device, signal processing method therefor, and electronic apparatus for enabling sensitivity correction |
CN108090927A (zh) * | 2016-11-18 | 2018-05-29 | 株式会社东芝 | 位置检测装置、处理装置、以及程序 |
CN115039403A (zh) * | 2020-02-19 | 2022-09-09 | 索尼集团公司 | 图像处理方法和传感器装置 |
CN115039403B (zh) * | 2020-02-19 | 2024-04-12 | 索尼集团公司 | 图像处理方法和传感器装置 |
Also Published As
Publication number | Publication date |
---|---|
US8810697B2 (en) | 2014-08-19 |
CN103650487B (zh) | 2015-04-29 |
WO2013008597A1 (ja) | 2013-01-17 |
JPWO2013008597A1 (ja) | 2015-02-23 |
US20140125850A1 (en) | 2014-05-08 |
JP5528627B2 (ja) | 2014-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103650487B (zh) | 图像拾取设备、图像拾取元件,和用于校正灵敏度差异的方法 | |
RU2556022C2 (ru) | Устройство формирования цветного изображения | |
CN103597821B (zh) | 图像拾取设备和信号值校正方法 | |
CN104041020B (zh) | 彩色摄像元件 | |
CN104412580B (zh) | 彩色摄像元件以及摄像装置 | |
US9159758B2 (en) | Color imaging element and imaging device | |
CN103004211B (zh) | 成像设备和处理拍摄图像的方法 | |
CN104412581B (zh) | 彩色摄像元件及摄像装置 | |
CN103444183B (zh) | 彩色摄像元件及摄像装置 | |
WO2016047240A1 (ja) | 画像処理装置、撮像素子、撮像装置および画像処理方法 | |
CN104429060B (zh) | 彩色摄像元件及摄像装置 | |
CN104471929B (zh) | 彩色摄像元件及摄像装置 | |
CN104412582B (zh) | 彩色摄像元件和摄像装置 | |
CN104025578B (zh) | 彩色摄像元件 | |
CN104025582B (zh) | 彩色摄像元件 | |
JP5600812B2 (ja) | 撮像装置 | |
CN103621070B (zh) | 摄像装置及摄像装置的控制方法 | |
CN104041019B (zh) | 摄像装置及摄像装置的控制方法 | |
CN104025583A (zh) | 图像处理装置、方法及摄像装置 | |
CN104025576B (zh) | 摄像装置及摄像装置的控制方法 | |
JP5033700B2 (ja) | 撮像装置 | |
CN104025575B (zh) | 摄像装置及摄像装置的控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150429 Termination date: 20190621 |
|
CF01 | Termination of patent right due to non-payment of annual fee |