CN101754029B - 信号处理设备、摄像设备、摄像***和信号处理方法 - Google Patents
信号处理设备、摄像设备、摄像***和信号处理方法 Download PDFInfo
- Publication number
- CN101754029B CN101754029B CN2009102074865A CN200910207486A CN101754029B CN 101754029 B CN101754029 B CN 101754029B CN 2009102074865 A CN2009102074865 A CN 2009102074865A CN 200910207486 A CN200910207486 A CN 200910207486A CN 101754029 B CN101754029 B CN 101754029B
- Authority
- CN
- China
- Prior art keywords
- pixel
- pel array
- neighbor
- blend
- correction coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 90
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000012937 correction Methods 0.000 claims abstract description 344
- 238000003860 storage Methods 0.000 claims abstract description 35
- 239000000203 mixture Substances 0.000 claims description 285
- 239000003086 colorant Substances 0.000 claims description 268
- 230000003287 optical effect Effects 0.000 claims description 83
- 230000005484 gravity Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 description 55
- 210000001747 pupil Anatomy 0.000 description 23
- 238000004891 communication Methods 0.000 description 18
- 230000001915 proofreading effect Effects 0.000 description 13
- 238000000034 method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 238000000926 separation method Methods 0.000 description 9
- 230000005693 optoelectronics Effects 0.000 description 8
- 239000004065 semiconductor Substances 0.000 description 7
- 230000000295 complement effect Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 230000006866 deterioration Effects 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005055 memory storage Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 101100202463 Schizophyllum commune SC14 gene Proteins 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000005571 horizontal transmission Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000005570 vertical transmission Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种信号处理设备、摄像设备、摄像***和信号处理方法。该信号处理设备对从图像传感器输出的图像信号进行预定信号处理,其中,该图像传感器具有沿着行方向和沿着列方向排列多个像素的像素阵列。该信号处理设备包括:存储单元,其存储特性信息,所述特性信息表示从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分的特性,所述特性与各像素在所述像素阵列中的位置相对应;以及校正单元,其根据特性信息,计算与像素阵列中被校正像素的位置相对应的校正系数,并且基于被校正像素的相邻像素的输出图像信号和计算出的校正系数,校正该被校正像素的输出图像信号。
Description
技术领域
本发明涉及一种信号处理设备、摄像设备、摄像***和信号处理方法。
背景技术
在数字照相机或数字摄像机等的传统摄像设备中,使用CCD图像传感器或CMOS图像传感器等作为图像传感器。
图13所示的图像传感器IS设置有在沿着行的方向上和沿着列的方向上排列多个像素的像素阵列PA。像素阵列PA中的像素P1~P5均包括光电转换单元PD、颜色滤波器CF和显微透镜(microlens)ML。在像素P1~P5的每一个中,通过布线层WL限定颜色滤波器CF和显微透镜ML与光电转换单元PD之间的开口区域OA。通过元件隔离区域IR使相邻像素的光电转换单元PD相互电分离。将光电转换单元PD和元件隔离区域IR配置在半导体基底SB内。
考虑这样一种情况:在图13中,像素P1的颜色滤波器CF透过第一颜色的光,并且像素P2的颜色滤波器CF透过第二颜色的光。可能存在这样的情况:像素P1上的斜入射光IL1中的第一颜色光IL1′通过像素P1的开口区域OA,然后第一颜色光IL1′的一部分IL1″透过元件隔离区域IR,并且到达相邻像素P2的光电转换单元PD。在这种情况下,尽管像素P2的光电转换单元PD正常应该接收第二颜色的光,然而该光电转换单元PD还接收从相邻像素混入的第一颜色光IL1″,并生成与第一颜色光IL1″相对应的信号。也就是说,可能发生相邻像素的信号相互干扰的所谓的颜色混合现象(color mixture phenomenon)。
如图14A和14B所示,发生这种颜色混合的难易根据摄像设备中的拍摄镜头的F值(光圈的开口直径)而不同。与图14B所示的光圈的开口直径小的情况相比,在图14A所示的光圈的开口直径大的情况下,斜入射光更容易混入相邻像素。也就是说,拍摄镜头的F值越小,光圈的开口直径越大,存在混入相邻像素的斜入射光的量增大的趋势。
另外,如图15A和15B所示,发生颜色混合的难易根据摄像设备中的拍摄镜头的出瞳距离(从图像面到拍摄镜头的出瞳位置的距离)而不同。与图15A所示的出瞳距离长的情况相比,在图15B所示的出瞳距离短的情况下,斜入射光更容易混入相邻像素。也就是说,随着出瞳距离变得越短,存在混入相邻像素的斜入射光的量增大的趋势。
如图16所示,像素P2的光电转换单元PD接收像素P2上的入射光IL2中已透过像素P2的颜色滤波器CF的第二颜色光IL2′,并根据所接收到的第二颜色光IL2′生成电荷(信号)。此外,如图16所示,由于图14A、14B、15A和15B所示的原因已接收来自相邻像素P1的第一颜色光IL1″的像素P2的光电转换单元PD根据第一颜色光IL1″生成电荷(信号)。因此,像素P2的光电转换单元PD除根据第二颜色光IL2′生成信号以外,还根据第一颜色光IL1″生成信号,因此发生颜色混合。
另外,如图16和17所示,发生颜色混合的难易根据入射在光电转换单元PD上的光的颜色而不同。这是因为相对于半导体基底SB的表面在光电转换单元PD中将光转换成电荷的位置处的深度根据光的波长而不同。也就是说,这是因为,与波长短的光相比,在光电转换单元PD中的较深位置处对波长长的光进行光电转换。
这里,图16所示的像素P1的颜色滤波器CF透过红色(R)光,像素P2的颜色滤波器CF透过绿色(G)光,并且图17所示的像素P6的颜色滤波器CF透过蓝色(B)光。
如图16所示,与已通过其它颜色(G、B)的颜色滤波器CF的光相比,在光电转换单元PD中的较深位置处对已通过红色(R)光颜色滤波器CF的光进行光电转换。因此,红色(R)光IL1′通过该光应该入射的像素P1的光电转换单元PD,并且该光的一部分IL1″容易地入射在相邻像素P2的光电转换单元PD上。在相邻像素P2的光电转换单元PD上对入射在那里的光IL1″进行光电转换,因此在不产生该光应该入射的像素P1的电荷(信号)的情况下,生成相邻像素P2的信号的混合颜色成分。
另一方面,如图17所示,与已通过其它颜色(R、G)的颜色滤波器CF的光IL1′和IL2′相比,在光电转换单元PD中的较浅位置处对已通过蓝色(B)颜色滤波器CF的光IL6′进行光电转换。因此,即使光线IL6斜入射在像素P6上,也存在光线在到达相邻像素P7的光电转换单元PD之前在像素P6的光电转换单元PD中光电转换的趋势。也就是说,由于蓝色(B)光IL6′不大可能通过该光应该入射的像素P6的光电转换单元PD而到达相邻像素P7,因而不大可能生成相邻像素P7的信号的混合颜色成分。
另外,如图18所示,在半导体基底SB中的深位置处,在相邻像素的光电转换单元PD之间,通过元件隔离区域IR的电分离不充分。因此,存储在像素P1的光电转换单元PD的深位置处的电荷(信号)在半导体基底SB中的深位置处扩散,并且混入相邻像素P2和P4的光电转换单元PD中。半导体基底SB内的该串扰(crosstalk)同样导致颜色混合。
如图19和20所示,由于该串扰导致发生颜色混合的难易根据入射在光电转换单元PD上的颜色光而不同。
如图19所示,与已通过其它颜色(G、B)的颜色滤波器CF的光相比,在光电转换单元PD中的较深位置处光电转换并存储已通过红色(R)颜色滤波器CF的光IL1′。因此,根据红色(R)光IL1′存储在像素P 1的光电转换单元PD中的电荷(信号)容易在半导体基底SB中的深位置处通过比元件隔离区域IR更深的区域,并且扩散进相邻像素P2和P4的光电转换单元PD中。在比元件隔离区域IR更深的区域中,可以想象,在相邻像素的光电转换单元之间电分离不充分。因此,扩散在相邻像素P2和P4的光电转换单元PD中的电荷(信号)容易地生成相邻像素P2和P4的信号的混合颜色成分,而不变成应该存储该扩散电荷(信号)的像素P1的电荷(信号)。
另一方面,如图20所示,与已通过其它颜色(R、G)的颜色滤波器CF的光相比,在光电转换单元PD中的较浅位置处对已通过蓝色(B)颜色滤波器CF的光IL6′进行光电转换。因此,在半导体基底SB中的浅位置处,通过元件隔离区域IR阻挡根据蓝色(B)光IL6′存储在像素P6的光电转换单元PD中的电荷(信号),并且该电荷(信号)不大可能扩散进相邻像素P8的光电转换单元PD中。根据蓝色(B)光IL6′存储在像素P6的光电转换单元PD中的电荷(信号)不大可能生成相邻像素P8的信号的混合颜色成分。
由于以这种方式发生的颜色混合,从图像传感器输出的图像信号劣化,因而颜色再现性劣化。
日本特开2004-135206号公报说明了在具有根据Bayer阵列的颜色滤波器阵列的CCD摄像元件中,颜色混合校正从指定的颜色像素的信号减去根据指定的颜色像素的信号和除指定的颜色以外的颜色的相邻像素的信号所计算出的固定比。
在该校正处理中,假定相对于感兴趣的像素,各向同性地从与感兴趣的像素相邻的多个周围像素发生颜色混合,即从多个周围像素以相同比率混入信号成分。在该假定下,各向同性地减去固定比的信号成分。
另一方面,日本特开2007-142697号公报说明了下面的情况:在实际的固态摄像元件中,根据像素内或像素附近的布线模式和电极的布局,将光电转换单元的光接收面配置在像素内的偏移位置处。结果,像素的物理中心和像素的光学中心不一致,从而使得可以有方向性地发生从感兴趣的像素的周围像素的颜色混合。
为了解决该问题,日本特开2007-142697号公报提出相互独立地改变用于校正来自分别位于左上、右上、左下和右下的周围像素的颜色混合的校正参数Ka、Kb、Kc和Kd。因此,根据日本特开2007-142697号公报,可以实现对根据来自周围像素的颜色混合的量的、具有方向性的颜色混合的校正处理。
在日本特开2007-142697号公报中,用于进行颜色混合校正处理的校正电路接收通过通信I/F从外部所提供的方向性选择的控制信号,并根据所接收到的方向性选择控制信号相互独立地改变校正参数Ka、Kb、Kc和Kd。具体地,当通过通信I/F从外部所提供的方向性选择控制信号为0时,则设置Ka=Kb=K1并且Kc=Kd=K2。当方向性选择控制信号为1时,设置Ka=Kc=K1并且Kb=Kd=K2,并且当方向性选择控制信号为2时,设置Ka=Kd=K1并且Kb=Kc=K2。在日本特开2007-142697号公报所述的校正电路中,配置在固态摄像元件中的多个像素各自的信号所使用的校正参数Ka、Kb、Kc和Kd具有对各像素共用的值。然而,严格地说,在实际的摄像设备中,像素上的入射光线的角度根据传感器面中的像素的配置而不同。来自感兴趣的像素的相邻像素的颜色混合的量根据光线入射角而不同,即各像素中的颜色混合的量根据传感器面中的各个像素的像素配置而不同。在传感器面中以非均匀方式发生的这类颜色混合的情况下,利用日本特开2007-142697号公报所述的校正电路,颜色混合校正处理的精度根据传感器面(像素阵列)中的像素的位置而劣化的可能性高。
发明内容
本发明旨在提高对像素阵列中的各像素的颜色混合校正处理的精度。
根据本发明的第一方面,提供一种信号处理设备,其对从图像传感器输出的图像信号进行预定信号处理,其中所述图像传感器具有沿着行方向和沿着列方向排列多个像素的像素阵列,所述信号处理设备包括:存储单元,其存储特性信息,所述特性信息表示从相邻(邻接或不邻接)像素混入所述图像传感器的所述像素阵列中的各像素的信号成分的特性,所述特性与各像素在所述像素阵列中的位置相对应;以及校正单元,其根据所述特性信息,计算与所述像素阵列中的被校正像素的位置相对应的校正系数,并且基于所述被校正像素的相邻像素的输出图像信号和计算出的校正系数,校正所述被校正像素的输出图像信号。
根据本发明的第二方面,提供一种摄像设备,包括:图像传感器,其具有沿着行方向和沿着列方向排列多个像素的像素阵列和从所述像素阵列读出信号的读出单元;存储单元,其存储特性信息,所述特性信息表示从相邻(邻接或不邻接)像素混入所述图像传感器的所述像素阵列中的各像素的信号成分的特性,所述特性与各像素在所述像素阵列中的位置相对应;以及校正单元,其根据所述特性信息,计算与所述像素阵列中的被校正像素的位置相对应的校正系数,并且基于已由所述读出单元从所述被校正像素的相邻像素读出的输出图像信号和计算出的校正系数,校正已由所述读出单元从所述被校正像素读出的输出图像信号。
根据本发明的第三方面,提供一种摄像***,包括:摄像设备,其通过对被摄体进行摄像,生成图像数据;以及处理设备,其从所述摄像设备接收图像数据,并处理所接收到的图像数据;所述摄像设备包括:图像传感器,其具有沿着行方向和沿着列方向排列多个像素的像素阵列和从所述像素阵列读出信号的读出单元;存储单元,其存储特性信息,所述特性信息表示从相邻(邻接或不邻接)像素混入所述图像传感器的所述像素阵列中的各像素的信号成分的特性,所述特性与各像素在所述像素阵列中的位置相对应;以及生成单元,其通过将所述特性信息添加至已由所述读出单元读出的图像信号,生成图像数据;所述处理设备包括校正单元,所述校正单元根据包括在图像数据中的所述特性信息,计算与被校正像素的位置相对应的校正系数,并且基于图像数据中的所述被校正像素的相邻像素的输出图像信号和计算出的校正系数,校正图像数据中的所述被校正像素的输出图像信号。
根据本发明的第四方面,提供一种信号处理方法,用于对从图像传感器输出的图像信号进行信号处理,其中,在该图像传感器中,沿着行方向和沿着列方向排列多个像素,所述信号处理方法包括:第一步骤,用于根据已预先存储的特性信息,计算与所述像素阵列中的被校正像素的位置相对应的校正系数,其中,所述特性信息表示从相邻(邻接或不邻接)像素混入所述图像传感器的所述像素阵列中的各像素的信号成分的特性,所述特性与各像素在所述像素阵列中的位置相对应;以及第二步骤,用于基于所述被校正像素的相邻像素的输出图像信号和所计算出的校正系数,校正所述被校正像素的输出图像信号。
根据本发明,可以提高对像素阵列中的各像素的颜色混合校正处理的精度。
通过以下(参考附图)对典型实施例的说明,本发明的其它特征将变得明显。
附图说明
图1示出根据本发明第一实施例的摄像设备100的结构;
图2示出本发明第一实施例中的图像传感器3的结构;
图3示意性示出在被校正像素和与该像素相邻的像素之间发生的颜色混合;
图4示出分别入射在像素X1和X2以及沿着行的方向上的相邻像素上的光;
图5示出本发明第二实施例中的第一颜色混合特性信息和第二颜色混合特性信息;
图6示出本发明第二实施例中的一维数据和光圈F值的表,即表示光圈(F值)和颜色混合校正数据[x1]的表;
图7示出本发明第二实施例的一维数据和光瞳距离的表,即表示出瞳距离和颜色混合校正数据[x1]的表;
图8示出本发明第二实施例中的各颜色的校正数据,其中校正数据i=对来自R像素的泄露的校正,校正数据ii=对来自G像素的泄露的校正,校正数据iii=对来自B像素的泄露的校正;
图9示出本发明第四实施例的图像传感器3j的结构;
图10A和10B示出本发明第五实施例中的图像传感器3k的结构和操作;
图11示出根据本发明第六实施例的包括摄像设备100p的摄像***400的结构;
图12是本发明第六实施例中的校正单元201的数据流图;
图13示出现有技术;
图14A和14B示出现有技术;
图15A和15B示出现有技术;
图16示出现有技术;
图17示出现有技术;
图18示出现有技术;
图19示出现有技术;
图20示出现有技术;
图21示出本发明要解决的问题;
图22示出本发明要解决的问题。
具体实施方式
在本说明书中,光入射角是指光的重心与光入射面的法线形成的角度。
本发明人注意到下面的情况:如图21所示,通过光圈ST的开口部分入射在图像传感器IS100的各像素上的光线PL的入射角根据像素阵列PA100的光学中心PC和像素阵列PA100中的像素之间的位置关系而不同。本发明人认为,发生颜色混合的难易还依赖于各像素上的光线的入射角的差异,即各像素在像素阵列PA100中的位置的差异。
然而,如图21所示,对于具有大像素尺寸(节距)的图像传感器IS100,在位于像素阵列PA100的光学中心PC处的像素P1和从光学中心PC偏移的位置处的像素P3之间,在颜色混合上没有发现大的差异。
这里,像素P1接收具有形成小的入射角(≈0°)的重心CG1的光,并且像素P3接收具有形成大的入射角的重心CG3的光。当像素尺寸(节距)大时,即使当存在斜入射在处于从光学中心PC偏移的位置的像素P3上的光线(重心CG3)时,该光线也不大可能到达相邻像素P8。换句话说,由于因像素阵列PA100中的各像素的位置的差异引起的颜色混合的差异相对于各像素中的颜色混合的绝对量来说非常小,因而存在颜色混合的该差异不会变得大到足以产生问题的趋势。
另一方面,如图22所示,对于具有小的像素尺寸(节距)的图像传感器IS200,在位于像素阵列PA200的光学中心PC处的像素P1和从光学中心PC偏移的位置处的像素P13之间发现颜色混合的大的差异。
这里,像素P1接收具有形成小入射角的重心CG1的光,并且像素P13接收具有形成较大入射角的重心CG3的光。当像素尺寸(节距)小时,斜入射(以大的入射角)在处于从光学中心PC偏移的位置处的像素P13上的光线(重心CG3)容易到达相邻像素P18。换句话说,由于因像素阵列PA200中的各像素的位置的差异引起的颜色混合的差异相对于各像素中的颜色混合的绝对量来说大,因而存在下面的趋势:颜色混合的该差异变得大到足以产生问题,因此不能忽视颜色混合的该差异。
特别地,像素的尺寸近年来日趋缩小,并且由于进一步缩小像素的尺寸,如图22所示,可以想象,由像素阵列PA200中的各像素的位置的差异引起的颜色混合的差异将进一步增大。因此,可以想象,由像素阵列PA200中的各像素的位置的差异引起的颜色混合的差异将引起不可忽视的问题,并且将对颜色再现性具有大的影响。
接着参考图1说明根据本发明第一实施例的摄像设备100。图1示出根据本发明第一实施例的摄像设备100的结构。
摄像设备100例如是数字照相机或数字摄像机。摄像设备100设置有下面的构件。
光学***1包括透镜1a和光圈1b。透镜1a折射入射光以在图像传感器3的像素阵列(摄像面)中形成被摄体的图像。在光路中将光圈1b设置在透镜1a和图像传感器3之间,并且光圈1b调整在通过透镜1a之后被引导至图像传感器3的光的量。
在光路上将机械快门2设置在光学***1和图像传感器3之间,并且机械快门2控制图像传感器3的曝光。
图像传感器3将在像素阵列PA300所形成的被摄体的图像转换成图像信号。也就是说,图像传感器3对被摄体进行摄像。图像传感器3读出并输出来自像素阵列PA300的图像信号。图像传感器3例如是CMOS图像传感器或CCD图像传感器。
具体地,如图2所示,图像传感器3包括像素阵列PA300、读出单元31和放大器32。图2示出本发明第一实施例中的图像传感器3的结构。
在像素阵列PA300中,在沿着行的方向和沿着列的方向上排列多个像素。各像素均包括光电转换单元PD(参见图13)。光电转换单元PD根据光生成并存储电荷(信号)。
读出单元31从像素阵列PA300读出信号。也就是说,读出单元31从各像素读出由像素阵列PA300的各像素的光电转换单元PD所存储的电荷(信号)或者与电荷相对应的信号。读出单元31将已读出的信号提供至放大器32。例如,读出单元31是通过垂直信号线从CMOS图像传感器中的各像素读出信号的电路,或者是CCD图像传感器中的垂直/水平传输CCD。
放大器32通过放大所提供的信号来生成并输出图像信号。例如,放大器32是对通过水平信号线从CMOS图像传感器中的读出单元31接收到的信号进行放大的输出放大器,或者是CCD图像传感器中的浮动扩散放大器。
A/D转换器4接收从图像传感器3输出的图像信号(模拟信号)。A/D转换器4将所接收到的图像信号(模拟信号)转换成图像信号(数字信号),并输出转换后的信号。
时序信号生成电路5生成用作基准的时序信号,并将该时序信号提供至驱动电路6。
驱动电路6与所提供的时序信号同步地分别驱动光学***1、机械快门2、图像传感器3和A/D转换器4。
电源开关(电源SW)16从用户接收用以接通电源的指令。电源开关16将所接收到的电源接通指令提供至***控制单元13。
第一开关(SW1)17从用户接收第一指令。第一指令例如是用于使得进行聚焦调节处理、曝光控制处理和白平衡处理的指令。第一开关17将所接收到的第一指令提供至***控制单元13。
第二开关(SW2)18从用户接收第二指令。第二指令例如是用于使得执行拍摄处理的指令。第二开关18将所接收到的第二指令提供至***控制单元13。
***控制单元13对摄像设备100的各部件进行整体控制。
例如,***控制单元13响应于从电源开关16接收到的电源接通指令启动各部件。
例如,***控制单元13响应于从第一开关17接收到的第一指令控制各部件,以进行聚焦调节处理、曝光控制处理和白平衡处理。
例如,***控制单元13响应于从第二开关18接收到的第二指令控制各部件,以进行拍摄处理。
易失性存储器(RAM)15临时存储预定数据。例如,使用易失性存储器15作为***控制单元13的工作区。也就是说,***控制单元13将存储在非易失性存储器14中的程序、控制数据和校正数据传送至易失性存储器15,将它们临时存储在易失性存储器15,并且在对各部件进行控制时适当参考所存储的项。
非易失性存储器(ROM)14存储用于描述由***控制单元13执行的控制方法的程序以及在执行该程序时所使用的参数和表等的控制数据。
另外,非易失性存储器14存储颜色混合校正处理所使用的信息,即第一颜色混合特性信息和第二颜色混合特性信息。
第一颜色混合特性信息是表示与从相邻像素混入某像素的、同该像素在像素阵列PA300(参见图2)中的位置相对应的信号成分有关的特性的信息。第一颜色混合特性信息包括第一系数表。第一系数表是下面的表,在该表中,对于各像素,将在像素阵列PA300中的位置与已预先确定的第一校正系数相关联,以校正从相邻像素混入像素的信号成分。
第二颜色混合特性信息是表示与从某像素泄露至相邻像素的、同在像素阵列PA300(参见图2)中的位置相对应的信号成分有关的特性的信息。第二颜色混合特性信息包括第二系数表。第二系数表是这样的表,在该表中,对于各像素,将在像素阵列PA300中的位置与已预先确定的第二校正系数相关联,以校正从像素泄露至相邻像素的信号成分。
信号处理电路7接收已从A/D转换器4输出的图像信号(数字信号)。信号处理电路7对所接收到的图像信号(数字信号)进行预定信号处理。
例如,信号处理电路(校正单元)7进行用于对由读出单元31(参见图2)从像素阵列PA300中的被校正像素所读出的信号进行校正的颜色混合校正处理。
具体地,信号处理电路7根据被校正像素在像素阵列PA300中的位置和包括在第一颜色混合特性信息中的第一系数表,计算用于校正从被校正像素的相邻像素混入被校正像素的信号成分的第一校正系数。
信号处理电路7根据被校正像素在像素阵列PA300中的位置和包括在第二颜色混合特性信息中的第二系数表,计算用于校正从被校正像素泄露至被校正像素的相邻像素的信号成分的第二校正系数(第一步骤)。
信号处理电路7使用由读出单元31(参见图2)从被校正像素的相邻像素读出的信号、第一校正系数和第二校正系数来校正由读出单元31从被校正像素所读出的信号(第二步骤)。
信号处理电路7通过进行该信号处理生成图像数据。信号处理电路7将所生成的图像数据提供至图像存储器8或***控制单元13。可选地,信号处理电路7将所生成的图像数据转换成记录用压缩图像数据,并将转换后的压缩图像数据提供至记录电路10。可选地,信号处理电路7将所生成的图像数据转换成显示用图像信号,并将转换后的显示用图像信号提供至显示电路12。
图像存储器8临时存储从信号处理电路7所提供的图像数据。
将记录介质9可拆卸地连接至记录电路10。记录电路10将从信号处理电路7所提供的记录用压缩图像数据记录至所连接的记录介质9。
显示电路12在图像显示装置11中显示与从信号处理电路7所提供的显示用图像信号相对应的图像。
这样,信号处理电路7根据像素阵列PA300(参见图2)中的被校正像素的位置计算第一校正系数和第二校正系数中的每一个,从而可以适当地设置与被校正像素的位置相对应的第一校正系数和第二校正系数中的每一个。
另外,信号处理电路7使用从被校正像素的相邻像素读出的信号、第一校正系数和第二校正系数来校正从被校正像素所读出的信号。因此,可以进行与像素阵列PA300(参见图2)中的被校正像素的位置相对应的适当的校正。
因此,可以减少由像素阵列PA300中的各像素的位置的差异引起的颜色混合的差异对与图像信号相对应的图像的颜色再现性的影响,从而可以提高对像素阵列中各像素的颜色混合校正处理的精度。
接着说明使用摄像设备100中的机械快门2的拍摄处理中的操作。后面所述的拍摄处理包括曝光处理、显影处理和记录处理。
在拍摄处理中的操作(处理)之前,当开始***控制单元13的操作时,例如当接通摄像设备100的电源时,将必要的程序、控制数据和校正数据从非易失性存储器14传送至易失性存储器15,并且将它们存储在易失性存储器15。
然后,开始拍摄处理。随着拍摄处理的开始,根据需要,***控制单元13通过从非易失性存储器14向易失性存储器15传送各种程序和数据,或者通过从非易失性存储器14直接读出各种程序和数据,来使用各种程序和数据。
***控制单元13控制拍摄处理中的曝光处理。利用来自***控制单元13的控制信号,对于光圈1b和透镜1a驱动光学***1以在图像传感器3上形成已被设置成适当亮度的被摄体的图像。
利用来自***控制单元13的控制信号,驱动机械快门2以根据图像传感器3的操作在必要的曝光时间期间曝光图像传感器3。这里,当图像传感器3具有电子快门功能时,可以与机械快门2一起使用该功能,以确保必要的曝光时间。
通过由驱动电路6基于由***控制单元13控制的时序信号生成电路5所生成的工作脉冲而生成的驱动脉冲,驱动图像传感器3,并且图像传感器3将被摄体图像光电转换成电信号,并作为模拟图像信号输出该信号。
利用由驱动电路6基于由***控制单元13控制的时序信号生成电路5所生成的工作脉冲而生成的驱动脉冲,通过A/D转换器4将从图像传感器3输出的模拟图像信号转换成数字图像信号。
***控制单元13控制拍摄处理中的显影处理。因此,信号处理电路7通过对数字图像信号进行包括颜色混合校正的各种校正、颜色转换、白平衡和伽玛校正等图像处理、分辨率转换处理和图像压缩处理,生成图像数据。
使用图像存储器8以在信号处理期间临时存储数字图像信号,并且存储作为信号处理后的数字图像信号的图像数据。
***控制单元13控制拍摄处理中的记录处理。因此,在记录电路10中,将已通过信号处理电路7信号处理后的图像数据和已存储在图像存储器8中的图像数据转换成适于记录介质9的压缩图像数据(例如,具有分层结构的文件***的压缩数据),并且将该压缩图像数据记录至记录介质9。
另外,在对已通过A/D转换器4转换成数字图像信号的图像数据进行信号处理电路7的分辨率转换处理之后,将该处理后的图像数据转换成适于显示电路12中的图像显示装置11的信号(例如,NTSC格式的模拟信号)。然后,在图像显示装置11中显示该转换后的信号。
这里,在信号处理电路7中,在不利用来自***控制单元13的控制信号进行信号处理的情况下,可以原样使用该数字图像信号作为图像数据,并且将该数字图像信号输出至图像存储器8或记录电路10。
另外,当存在来自***控制单元13的请求时,信号处理电路7将在信号处理过程中所产生的数字图像信号或图像数据的信息或者从这种数字图像信号或图像数据所提取的信息输出至***控制单元13。例如,该数字图像信号或图像数据的信息可以是图像空间频率、指定区域的平均值和压缩图像数据的量等的信息。
当存在来自***控制单元13的请求时,记录电路10将记录介质9的类型和可用空间等的信息输出至***控制单元13。
接着说明在已将图像数据记录至记录介质9时摄像设备100中的重放操作。
***控制单元13从第一开关17和/或第二开关18、或者从其它开关(未示出)接收用以重放记录至记录介质9的图像数据的指令。***控制单元13根据所接收到的重放指令控制记录电路10。
利用来自***控制单元13的控制信号,记录电路10从记录介质9读出图像数据。
利用来自***控制单元13的控制信号,当图像数据为压缩图像时,信号处理电路7进行图像解压缩处理,然后将该图像数据存储在图像存储器8中。在对存储在图像存储器8中的图像数据进行信号处理电路7的分辨率转换处理之后,将该处理后的图像数据转换成适于显示电路12中的图像显示装置11的信号,并且显示在图像显示装置11中。
接着参考图3说明在被校正像素和与该像素相邻的像素之间发生的颜色混合。图3示意性示出在被校正像素和与该像素相邻的像素之间发生的颜色混合。
考虑关注一个特定像素(称为像素X)的情况。与理想信号SigX′相比,从像素X读出的信号SigX的电平减小了泄露至相邻像素的信号成分SC11~SC14,并且该信号SigX的电平增大了从相邻像素混入的信号成分SC1~SC4。
这里,信号成分SC11是已从像素X泄露至相对于像素X在第一方向(例如,左)上相邻的像素L的信号成分。信号成分SC12是已从像素X泄露至相对于像素X在第二方向(例如,右)上相邻的像素R的信号成分。信号成分SC13是已从像素X泄露至相对于像素X在第三方向(例如,上)上相邻的像素U的信号成分。信号成分SC14是已从像素X泄露至相对于像素X在第四方向(例如,下)上相邻的像素D的信号成分。
信号成分SC1是已从相对于像素X在第一方向(例如,左)上相邻的像素L混入像素X的信号成分。信号成分SC2是已从相对于像素X在第二方向(例如,右)上相邻的像素R混入像素X的信号成分。信号成分SC3是已从相对于像素X在第三方向(例如,上)上相邻的像素U混入像素X的信号成分。信号成分SC4是已从相对于像素X在第四方向(例如,下)上相邻的像素D混入像素X的信号成分。
已在预定方向上从像素X泄露的信号的量相对于理想信号SigX′具有固定比率,但是这里为了简化,认为该信号的量相对于信号SigX具有固定比率。可以通过将SigX乘以系数来计算已从像素X泄露至相邻像素的成分的信号量,其中该系数表示从像素X泄露至各方向上的相邻像素的信号相对于已从像素X读出的信号SigX的比率。
同样,可以通过将已从各相邻像素读出的信号乘以系数来计算已从相邻像素混入像素X的成分的信号量,其中该系数表示从各相邻像素混入像素X的信号相对于已从各相邻像素读出的信号的比率。
这里,将已从像素X读出的信号称为SigX,并且将已从相对于像素X在第一方向(例如,左)上相邻的像素L读出的信号称为SigL。将已从相对于像素X在第二方向(例如,右)上相邻的像素R读出的信号称为SigR,并且将已从相对于像素X在第三方向(例如,上)上相邻的像素U读出的信号称为SigU。将已从相对于像素X在第四方向(例如,下)上相邻的像素D读出的信号称为SigD。
另外,将用于校正从像素X泄露至像素L的信号成分的系数称为[x 1],并且将用于校正从像素L混入像素X的信号成分的系数称为[l2]。将用于校正从像素X泄露至像素R的信号成分的系数称为[x2],并且将用于校正从像素R混入像素X的信号成分的系数称为[r 1]。将用于校正从像素X泄露至像素U的信号成分的系数称为[x3],并且将用于校正从像素U混入像素X的信号成分的系数称为[u4]。将用于校正从像素X泄露至像素D的信号成分的系数称为[x4],并且将用于校正从像素U混入像素X的信号成分的系数称为[d3]。
这里,通过下面的公式1计算理想信号SigX′,其中已校正了包括在像素X的信号SigX中的颜色混合成分。
SigX′=SigX+SigX×([x1]+[x2]+[x3]+[x4])-SigL×[l2]-SigR×[r1]-SigU×[u4]-SigD×[d3]......公式1
如公式1所示,为了校正像素颜色混合,可以通过将四个颜色混合校正系数[l2]、[r1]、[u4]和[d3]与各像素的位置(坐标)相关联来设置第一颜色混合特性信息。另外,可以通过将四个颜色混合校正系数[x1]、[x2]、[x3]和[x4]与各像素的位置(坐标)相关联来设置第二颜色混合特性信息。
可选地,根据公式1,可以收集用于校正从像素X泄露的信号成分的系数。因此,可以使用如下公式:
[x]=[x1]+[x2]+[x3]+[x4]......公式2
并且通过将一个颜色混合校正系数[x]与各像素的位置相关联来设置第二颜色混合特性信息。
可选地,SigX×[x1]是当从像素X观察时泄露至在第一方向上相邻的像素L的信号成分,并且还是当从像素L观察时从像素X混入的信号成分。这两个信号成分在理论上是相等的。因此,可以通过将四个颜色混合校正系数[x1]、[x2]、[x3]和[x4]与各像素的位置相关联来设置第二颜色混合特性信息,并且可以根据第二颜色混合特性信息得到第一颜色混合特性信息。在进行颜色混合校正处理时,对于各像素的位置,信号处理电路7将四个颜色混合校正系数[l2]、[r1]、[u4]和[d3]与四个相邻像素的、与各像素相关的四个颜色混合校正系数[x1]、[x2]、[x3]和[x4]相关联,对于第一颜色混合特性信息使用这些颜色混合校正系数[l2]、[r1]、[u4]和[d3]。也就是说,可以使用将四个颜色混合校正系数[x1]、[x2]、[x3]和[x4]与各像素的位置相关联的系数表作为第二系数表,并且可以根据第二系数表得到第一系数表。
可选地,相反,可以通过将四个颜色混合校正系数[l2]、[r1]、[u4]和[d3]与各像素的位置相关联来设置第一颜色混合特性信息,并且可以根据第一颜色混合特性信息得到第二颜色混合特性信息。在进行颜色混合校正处理时,对于各像素的位置,信号处理电路7将四个颜色混合校正系数[x1]、[x2]、[x3]和[x4]与四个相邻像素的、与各像素相关的四个颜色混合校正系数[l2]、[r1]、[u4]和[d3]相关联,对于第二颜色混合特性信息使用这些颜色混合校正系数[x1]、[x2]、[x3]和[x4]。也就是说,可以使用将这四个颜色混合校正系数[l2]、[r1]、[u4]和[d3]与各像素的位置相关联的系数表作为第一系数表,并且可以根据第一系数表得到第二系数表。
可以通过使用具有非常狭窄(小)的照射角的光源向图像传感器的感兴趣的单个像素上照射光来预先测量感兴趣的像素和与该像素相邻的像素的信号输出,从而计算该颜色混合校正系数。这里,从像素X或与该像素相邻的像素泄露的信号的比率根据各像素上的光线的入射角成分而改变,因此在测量时,需要在相对于感兴趣的单个像素改变照射光的角度而以多个照射角进行测量。
除相对于像素X的光的入射角与像素X及同该像素相邻的像素各自的信号量的关系以外,还基于从摄像设备的光学***入射至图像传感器上的光线的角度和图像传感器上的各像素与摄像设备的光学中心的位置关系,来计算颜色混合校正系数。也就是说,可以创建将像素阵列中的各像素的位置与8个颜色混合校正系数[x1]、[x2]、[x3]、[x4]、[l2]、[r1]、[u4]和[d3]相关联的系数表。
可选地,可以基于通过模拟计算出的理论值确定颜色混合校正系数。可以根据图像传感器上的各像素与摄像设备的光学中心的位置关系、各像素上的光线的入射角、像素单元大小、像素节距、颜色滤波器高度和图像传感器的内部结构等,通过模拟来计算理论颜色混合校正系数。
接着参考图2和4说明像素阵列中的像素位置和颜色混合校正系数的关系。图2示出包括像素Xc和X1~X4以及与这些像素相邻的像素的像素阵列中的各像素的位置。图4示出分别入射在像素X1和X2以及沿着该行的方向上的相邻像素上的光。
如图2和4所示,在相对于像素阵列PA300中的光学中心PC被配置在左侧的像素X1中,与位于该光学中心PC处的像素Xc相比,系数[x1]和[r1]大,相反地,系数[x2]和[l2]小。另一方面,在像素X1中,系数[x3]、[x4]、[u4]和[d3]与位于光学中心PC处的像素Xc中的相同。
如图2和4所示,在相对于像素阵列PA300中的光学中心PC被配置在右侧的像素X2中,与位于光学中心PC处的像素Xc相比,系数[x2]和[l2]大,相反地,系数[x1]和[r1]小。另一方面,在像素X2中,系数[x3]、[x4]、[u4]和[d3]与位于光学中心PC处的像素Xc中的相同。
如图2所示,在被配置在像素阵列PA300的光学中心PC上方的像素X3中,与位于光学中心PC处的像素Xc相比,系数[x3]和[d3],相反地,系数[x4]和[u4]小。另一方面,在像素X3中,系数[x1]、[x2]、[l2]和[r1]与位于光学中心PC处的像素Xc中的相同。
如图2所示,在相对于像素阵列PA300中的光学中心PC被配置在下方的像素X4中,与位于光学中心PC处的像素Xc相比,系数[x4]和[u4]大,相反地,系数[x3]和[d3]小。另一方面,在像素X4中,系数[x1]、[x2]、[l2]和[r1]与位于光学中心PC处的像素Xc中的相同。
这样,颜色混合校正系数依赖于像素阵列PA300中的各像素与光学中心PC的位置关系,并且对于各像素具有不同值。因此,为了整个画面增加图像信号的颜色混合校正的精度,可以采用下面的系数表,在该系数表中,对于所有像素,将8个系数[x1]、[x2]、[x3]、[x4]、[l2]、[r1]、[u4]和[d3]与各像素的位置相关联。可选地,可以采用下面的系数表,在该系数表中,将5个系数[x]、[l2]、[r1]、[u4]和[d3]与各像素的位置相关联。可选地,可以采用下面的系数表,在该系数表中,将4个系数[x1]、[x2]、[x3]和[x4]与各像素的位置相关联。可选地,可以采用下面的系数表,在该系数表中,将4个系数[l2]、[r1]、[u4]和[d3]与各像素的位置相关联。
在本实施例中,说明了采用Bayer阵列的图像传感器,但是当实现本发明时,像素中的颜色滤波器阵列不局限于Bayer阵列。另外,在本实施例中,使得各像素对于在各像素与在上、下、左和右方向上邻接的像素之间发生的颜色混合具有各自的校正系数,但是,可以使得各像素对于在对角方向上邻接的像素具有校正系数。此外,可以使得各像素具有不仅用于校正在各像素与邻接像素之间发生的颜色混合而且还用于校正在各像素和与感兴趣的像素分开预定数量的像素的像素之间发生的颜色混合的校正系数。
接着说明根据本发明的第二实施例的摄像设备100i。下面主要说明不同于第一实施例的部分。
如图5所示,代替第一系数表,摄像设备100i的非易失性存储器14i存储第一行校正数据RD1和第一列校正数据CD1作为第一颜色混合特性信息。第一行校正数据RD1是这样的数据,在该数据中,将像素阵列PA300中沿着行的方向(水平方向)上的位置与已预先确定出的系数相关联,其中该系数用以校正从相邻像素(与被校正像素在沿着列的方向上相邻的像素)混入包括像素阵列PA300的光学中心PC的行中的像素的信号成分。第一列校正数据CD1是这样的数据,在该数据中,将像素阵列PA300中沿着列的方向(垂直方向)上的位置与已预先确定出的系数相关联,其中该系数用以校正从相邻像素(与被校正像素在沿着行的方向上相邻的像素)混入包括像素阵列PA300的光学中心PC的列中的像素的信号成分。图5示出本发明第二实施例中的第一颜色混合特性信息和第二颜色混合特性信息。
另外,如图5所示,代替第二系数表,非易失性存储器14i存储第二行校正数据RD2和第二列校正数据CD2作为第二颜色混合特性信息。第二行校正数据RD2是这样的数据,在该数据中,将像素阵列PA300中沿着行的方向(水平方向)上的位置与已预先确定出的系数相关联,其中该系数用以校正从包括像素阵列PA300的光学中心PC的行中的像素泄露至相邻像素(与被校正像素在沿着列的方向上相邻的像素)的信号成分。第二列校正数据CD2是这样的数据,在该数据中,将像素阵列PA300中沿着列的方向(垂直方向)上的位置与已预先确定出的系数相关联,其中该系数用以校正从包括像素阵列PA300的光学中心PC的列中的像素泄露至相邻像素(与被校正像素在沿着行的方向上相邻的像素)的信号成分。
摄像设备100i的信号处理电路7i根据被校正像素在像素阵列PA300中沿着行的方向上的位置和第一行校正数据RD1,计算沿着行的方向的第一校正系数[r1]和[l2]。信号处理电路7i根据被校正像素在像素阵列PA300中沿着列的方向上的位置和第一列校正数据CD1,计算沿着列的方向的第一校正系数[u4]和[d3]。
另外,摄像设备100i的信号处理电路7i根据被校正像素在像素阵列PA300中沿着行的方向上的位置和第二行校正数据RD2,计算沿着行的方向的第二校正系数[x1]和[x2]。信号处理电路7i根据被校正像素在像素阵列PA300中沿着列的方向上的位置和第二列校正数据CD2,计算沿着列的方向的第二校正系数[x4]和[x3]。
这样,代替作为二维数据的第一系数表,非易失性存储器14i存储均为一维数据的第一行校正数据RD1和第一列校正数据CD1作为第一颜色混合特性信息。另外,代替作为二维数据的第二系数表,非易失性存储器14i存储均为一维数据的第二行校正数据RD2和第二列校正数据CD2作为第二颜色混合特性信息。因此,可以降低第一颜色混合特性信息的数据量和第二颜色混合特性信息的数据量。
例如,在确定颜色混合校正系数时,摄像设备的光学***中的镜头的光圈的开口直径是影响从摄像设备的光学***入射在图像传感器上的光线的角度的因素。因此,为了甚至在光学***改变时也提高图像信号的颜色混合校正的精度,需要针对镜头的光圈的每一F值改变颜色混合校正系数。这里,对于每一镜头光圈F值,摄像设备存储针对图像传感器的所有像素的颜色混合特性信息,该颜色混合特性信息包括根据像素而不同的多个颜色混合校正系数,因此颜色混合特性信息的数据量大大增加。
相反,在本实施例中,关注下面的情况:由与像素阵列中的光学中心的距离确定颜色混合的量。基于所有像素的颜色混合校正系数,将配置在像素阵列中的光学中心的像素所属的像素行中的每一像素的各颜色混合校正系数[x1]、[x2]、[l2]和[r1]转换成与[x1]、[x2]、[l2]和[r1]相对应的水平方向上的一维数据。此外,将配置在像素阵列中的光学中心的像素所属的像素列中的每一像素的各颜色混合校正系数[x3]、[x4]、[u4]和[d3]转换成与[x3]、[x4]、[u4]和[d3]相对应的垂直方向上的一维数据。可以采用下面的结构,在该结构中,非易失性存储器14i存储颜色混合校正数据(一维数据),而不是颜色混合校正系数,并且信号处理电路7i通过基于该数据得到与各像素相对应的颜色混合校正系数来进行校正。
如图6所示,非易失性存储器14i存储一维数据和光圈F值的表。从该表中,信号处理电路7i选择与和拍摄条件相匹配的F值相对应的颜色混合校正数据(一维数据),获得与被校正像素相对应的颜色混合校正系数,因此可以进行信号校正。图6示出本发明第二实施例中的一维数据和光圈F值的表。
可选地,例如,在确定颜色混合校正系数时,镜头的出瞳距离是影响从摄像设备的光学***入射在图像传感器上的光线的角度的因素。因此,为了即使在光学***改变时也良好地校正图像信号的颜色混合,需要针对镜头的每一出瞳距离改变颜色混合校正系数。这里,对于镜头的每一出瞳距离,针对图像传感器的所有像素,摄像设备具有根据像素而不同的多个颜色混合校正系数,因此颜色混合特性信息的数据量大大增加。
相反地,在本实施例中,如图7所示,非易失性存储器14i存储一维数据和出瞳距离的表。从该表中,信号处理电路7i选择与和拍摄条件相匹配的出瞳距离相对应的颜色混合校正数据(一维数据),获得与被校正像素相对应的颜色混合校正系数,因此可以进行信号校正。图7示出本发明第二实施例中的一维数据和出瞳距离的表。
可选地,例如,在确定颜色混合校正系数时,当光学***除透镜1a(参见图1)以外还包括变焦透镜时,变焦透镜的变焦位置是影响从摄像设备的光学***入射在图像传感器上的光线的角度的因素。透镜1a(参见图1)的光圈和出瞳距离因改变变焦透镜的变焦位置而改变。因此,为了甚至在光学***的工作状态改变时也提高图像信号的颜色混合校正的精度,需要针对镜头的每一变焦位置改变颜色混合校正系数。这里,对于镜头的每一变焦位置,针对图像传感器的所有像素,摄像设备具有根据像素而不同的多个颜色混合校正系数,并且因此颜色混合特性信息的数据量大大增加。
相反,在本实施例中,信号处理电路7i计算与镜头的变焦位置相匹配的光圈F值和出瞳距离。信号处理电路7i从图6所示的表中选择与计算出的F值相对应的颜色混合校正数据(一维数据),并且从图7所示的表中选择与计算出的出瞳距离相对应的颜色混合校正数据(一维数据)。信号处理电路7i将该光圈用校正系数和该出瞳距离用校正系数相加,然后可以对被校正像素的信号进行校正。
非易失性存储器14i可以存储一维数据和变焦位置的表(未示出)。在这种情况下,从该表中,信号处理电路7i选择与和拍摄条件相匹配的变焦位置相对应的颜色混合校正数据(一维数据),获得与被校正像素相对应的颜色混合校正系数,因此可以进行信号校正。
可选地,例如,在确定颜色混合校正系数时,当将本发明应用于镜头可互换摄像设备等时,可以安装的镜头的类型是影响从摄像设备的光学***入射在图像传感器上的光线的角度的因素。透镜1a(参见图1)的光圈和出瞳距离由于改变安装的镜头的类型而改变。因此,为了甚至在光学***改变时也提高图像信号的颜色混合校正的精度,需要针对安装的每一类型的镜头改变颜色混合校正系数。这里,对于安装的每一类型的镜头,针对图像传感器的所有像素,摄像设备具有根据像素而不同的多个颜色混合校正系数,因此颜色混合特性信息的数据量大大增加。
相反,在本实施例中,信号处理电路7i计算与实际安装的镜头的类型相匹配的光圈F值和出瞳距离。信号处理电路7i从图6所示的表中选择与计算出的F值相对应的颜色混合校正数据(一维数据),并且从图7所示的表中选择与计算出的出瞳距离相对应的颜色混合校正数据(一维数据)。信号处理电路7i将该光圈用校正系数和该出瞳距离用校正系数相加,然后可以对被校正像素的信号进行校正。
非易失性存储器14i可以存储一维数据和镜头类型的表(未示出)。在这种情况下,从该表中,信号处理电路7i选择与实际安装的镜头的类型相对应的颜色混合校正数据(一维数据),获得与被校正像素相对应的颜色混合校正系数,因此可以进行信号校正。
可选地,例如,在确定颜色混合校正系数时,入射在光电转换单元上的光的颜色是影响从摄像设备的光学***入射在图像传感器上的光线的角度的因素。因此,为了甚至在光学***改变时也提高图像信号的颜色混合校正的精度,需要针对入射在光电转换单元上的光的每一颜色改变颜色混合校正系数。这里,对于入射在光电转换单元上的光的每一颜色,针对图像传感器的所有像素,摄像设备具有根据像素而不同的多个颜色混合校正系数,因此颜色混合特性信息的数据量大大增加。
相反,在本实施例中,非易失性存储器14i存储一维数据和光颜色的表。从该表中,信号处理电路7i选择与被校正像素的颜色滤波器的颜色相对应的如图8所示的校正数据(作为一维数据的行校正数据或列校正数据)。例如,当被校正像素为R像素时(当颜色滤波器的颜色为红色时),信号处理电路7i选择图8所示的校正数据‘i’。例如,当被校正像素为G像素时(当颜色滤波器的颜色为绿色时),信号处理电路7i选择图8所示的校正数据‘ii’。例如,当被校正像素为B像素时(当颜色滤波器的颜色为蓝色时),信号处理电路7i选择图8所示的校正数据‘iii’。因此,信号处理电路7i获得与被校正像素相对应的颜色混合校正系数,并且可以进行信号校正。图8示出本发明第二实施例中的每一颜色的校正表。
接着说明根据本发明第三实施例的摄像设备。下面主要说明不同于第一实施例的部分。
尽管未示出,然而代替第一系数表,根据本实施例的摄像设备的非易失性存储器存储第一关系式作为第一颜色混合特性信息。第一关系式是表示像素阵列中的位置和已确定的用以校正从相邻像素混入像素的信号成分的第一校正系数之间的关系的公式。
另外,尽管未示出,然而代替第二系数表,该非易失性存储器存储第二关系式作为第二颜色混合特性信息。第二关系式是表示像素阵列中的位置和已确定的用以校正从像素泄露至相邻像素的信号成分的第二校正系数之间的关系的公式。
摄像设备的信号处理电路根据像素阵列中被校正像素的位置和第一关系式,计算第一校正系数[r1]、[l2]、[u4]和[d3]。
另外,摄像设备的信号处理电路根据像素阵列中被校正像素的位置和第二关系式,计算第二校正系数[x1]、[x2]、[x3]和[x4]。
这样,代替作为二维数据的第一系数表,非易失性存储器存储作为0维数据的第一关系式作为第一颜色混合特性信息。另外,代替作为二维数据的第二系数表,非易失性存储器存储作为0维数据的第二关系式作为第二颜色混合特性信息。因此,可以进一步降低第一颜色混合特性信息的数据量和第二颜色混合特性信息的数据量。
代替第一关系式,摄像设备的非易失性存储器可以存储第一行关系式和第一列关系式作为第一颜色混合特性信息。第一行关系式是表示像素阵列中沿着行的方向(水平方向)上的位置与已预先确定出的系数的关系的公式,其中该系数用以校正从相邻像素(在沿着列的方向上相邻的像素)混入包括像素阵列的光学中心的行中的像素的信号成分。第一列关系式是表示像素阵列中沿着列的方向(垂直方向)上的位置与已预先确定出的系数的关系的公式,其中该系数用以校正从相邻像素(在沿着行的方向上相邻的像素)混入包括像素阵列的光学中心的列中的像素的信号成分。
另外,代替第二关系式,非易失性存储器存储第二行关系式和第二列关系式作为第二颜色混合特性信息。第二行关系式是表示像素阵列中沿着行的方向(水平方向)上的位置与已预先确定出的系数的关系的公式,其中该系数用以校正从包括像素阵列的光学中心的行中的像素泄露至相邻像素(与被校正像素在沿着列的方向上相邻的像素)的信号成分。第二列关系式是表示像素阵列中沿着列的方向(垂直方向)上的位置与已预先确定出的系数的关系的公式,其中该系数用以校正从包括像素阵列的光学中心的列中的像素泄露至相邻像素(与被校正像素在沿着行的方向上相邻的像素)的信号成分。
摄像设备的信号处理电路根据被校正像素在像素阵列中沿着行的方向上的位置和第一行关系式,计算沿着行的方向的第一校正系数[r1]和[l2]。信号处理电路根据被校正像素在像素阵列中沿着列的方向上的位置和第一列关系式,计算沿着列的方向的第一校正系数[u4]和[d3]。
另外,摄像设备的信号处理电路根据被校正像素在像素阵列中沿着行的方向上的位置和第二行关系式,计算沿着行的方向的第二校正系数[x1]和[x2]。信号处理电路根据被校正像素在像素阵列中沿着列的方向上的位置和第二列关系式,计算沿着列的方向的第二校正系数[x3]和[x4]。
接着说明根据本发明第四实施例的摄像设备100j。下面主要说明不同于第一实施例的部分。
摄像设备100j设置有图像传感器3j和信号处理电路7j。
如图9所示,图像传感器3j包括读出单元31j。在第一模式(全画面模式)下,读出单元31j从像素阵列PA300中的所有像素读出信号,并且在第二模式(亚采样模式(sub-sampling mode))下,从像素阵列PA300中的一部分像素读出信号。例如,在第二模式(亚采样模式)下,读出单元31j从图9中的黑色所表示的像素读出信号。图9示出本发明第四实施例中的图像传感器3j的结构。
这样,在从像素阵列PA300对像素进行亚采样并且仅从所需的预定像素读取图像信号的亚采样模式下,不从像素阵列PA300中的邻接像素读取信号,因此不可能校正邻接像素的信号。因此,在第二模式(亚采样模式)下,在认为在所读出的图像信号中邻接的信号的输出电平与未读出的邻接像素的信号的输出电平大致相同的情况下,以下面的方式进行校正。
在第二模式下,信号处理电路7j使用与已由读出单元31j读出的一个帧的图像信号中与被校正像素邻接的像素作为像素阵列PA300中被校正像素的相邻像素,来校正已从被校正像素读出的信号。例如,在对像素X进行颜色混合校正处理时,信号处理电路7j使用像素LL、RR、UU和DD作为像素X的相邻像素来校正像素X的信号。
具体地,进行下面的校正。将从像素X读出的信号称为SigX,并且将从像素LL读出的信号称为SigLL。将从像素RR读出的信号称为SigRR,并且将从像素UU读出的信号称为SigUU。将从像素DD读出的信号称为SigDD。如第一实施例中所述,作为与像素X相对应的颜色混合校正系数,使用校正从像素X泄露的成分的系数[x1]、[x2]、[x3]和[x4]以及校正从与像素X邻接的像素所泄露的成分的系数[l2]、[r1]、[u4]和[d3]。信号处理电路7j通过公式3所表示的计算来进行校正,从而获得校正后的信号SigX′。
SigX′=SigX+SigX×([x1]+[x2]+[x3]+[x4])-SigLL×[l2]-SigRR×[r1]-SigUU×[u4]-SigDD×[d3]......公式3
接着说明根据本发明第五实施例的摄像设备100k。下面主要说明不同于第一实施例的部分。
摄像设备100k设置有图像传感器3k和信号处理电路7k。
如图10A所示,图像传感器3k包括读出单元31k。在第一模式(全画面模式)下,读出单元31k从像素阵列PA300中的所有像素读出信号,并且在第三模式(加法模式)下,通过将像素阵列PA300中位置相互靠近的相同颜色的至少两个像素各自的信号相加在一起来进行读出。例如,在第三模式(加法模式)下,读出单元31k通过将来自图10A中的黑色所表示的相同颜色的像素的信号相加在一起来进行读出。图10A示出本发明第五实施例中的图像传感器3k的结构和操作。
在这样进行颜色混合校正之前,对于由图像传感器的各像素所生成的像素信号,在对各组预定数量的像素进行相加之后生成图像信号的加法模式下,将图像传感器上具有相同颜色的预定数量的像素的信号相加在一起,并且读出该结果。因此,对于校正来说,不能原样使用与颜色混合被校正像素邻接的像素的信号。因此,在第三模式(加法模式)下,在认为从相加的像素泄露至各邻接像素的信号的量与从位于相加的像素的重心处的像素泄露至邻接像素的量大致相同的情况下,以下面的方式进行校正。
在第三模式下,信号处理电路7k使用相加在一起的至少两个像素的重心的位置作为像素阵列PA300中被校正像素的位置,来校正已由读出单元31k从被校正像素读出的信号。例如,当信号处理电路7k对图10A中的黑色所表示的像素的信号进行相加并进行平均以获得图10B所示的信号SigXX时,使用为黑色所表示的像素的重心的位置的像素X的位置作为被校正像素的位置,来校正该被校正像素的信号SigXX。
具体地,进行下面的校正。对图10A中包括像素X的黑色所表示的像素的信号进行相加并进行平均以获得图10B中的信号SigXX。对图10A中包括像素L的以粗体斜图案所表示的像素的信号进行相加并进行平均以获得图10B中的信号SigLL。对图10A中包括像素R的以斜线图案所表示的像素的信号进行相加并进行平均以获得图10B中的信号SigRR。对图10A中包括像素U的以水平线图案所表示的像素的信号进行相加并进行平均以获得图10B中的信号SigUU。对图10A中包括像素D的以网格图案所表示的像素的信号进行相加并进行平均以获得图10B中的信号SigDD。如第一实施例中所述,作为与像素X相对应的颜色混合校正系数,使用校正从像素X泄露的成分的系数[x1]、[x2]、[x3]和[x4]以及校正从与像素X邻接的像素所泄露的成分的系数[l2]、[r1]、[u4]和[d3]。信号处理电路7k通过公式4所表示的计算来进行校正,从而获得校正后的信号SigXX′。
SigXX′=SigXX+SigXX×([x1]+[x2]+[x3]+[x4])-SigLL×[l2]-SigRR×[r1]-SigUU×[u4]-SigDD×[d3]
......公式4
接着参考图11说明根据本发明第六实施例的包括摄像设备100p的摄像***400。图11示出根据本发明第六实施例的包括摄像设备100p的摄像***400的结构。下面主要说明不同于第一实施例的部分。
摄像***400包括摄像设备100p和处理设备200。通过通信线路300将摄像设备100p连接至处理设备200以使得能够进行通信。例如,通信线路300是串行线缆等能够进行串行通信的有线通信线路或采用蓝牙(Bluetooth)等的无线通信线路。例如,处理设备200是个人计算机。摄像设备100p通过通信线路300将图像数据提供至处理设备200。处理设备200从摄像设备100p接收图像数据,并处理所接收到的图像数据。
摄像设备100p包括信号处理电路(生成单元)7p和通信接口(I/F)19p。
在本实施例中,不是在摄像设备内,而是在摄像设备外部进行颜色混合校正处理。当在外部进行颜色混合校正处理时,需要随着图像数据一起输出进行校正所需要的信息。
因此,信号处理电路7p通过将像素阵列中的位置与已由读出电路所读出的一个帧的图像信号相关联,来生成图像数据,并且还添加第一颜色混合特性信息和第二颜色混合特性信息(参见图12)。信号处理电路7p将所生成的图像数据提供至通信接口19p。
信号处理电路7p可以向图像信号(图像信息)添加与镜头F值、出瞳距离或变焦位置等的拍摄条件相匹配的颜色混合校正系数(或者颜色混合校正数据、或者颜色混合校正格式)。可选地,信号处理电路7p可以向图像信号(图像信息)添加与镜头F值、出瞳距离或变焦位置等的拍摄条件有关的信息。
通信接口19p通过通信线路300将所提供的通信数据发送至处理设备200。
处理设备200设置有通信接口(I/F)202和校正单元201。
通信接口202通过通信线路300从摄像设备100p接收图像数据。通信接口202将所接收到的图像数据提供至校正单元201。
如图12所示,校正单元201从通信接口202接收图像数据。校正单元201根据由图像数据所表示的像素阵列中被校正像素的位置和第一颜色混合特性信息,来计算用于校正从相邻像素混入被校正像素的信号成分的第一校正系数。校正单元201根据由图像数据所表示的像素阵列中被校正像素的位置和第二颜色混合特性信息,来计算用于校正从被校正像素泄露至相邻像素的信号成分的第二校正系数。校正单元201使用图像数据中与被校正像素相邻的像素的信号、第一校正系数和第二校正系数,来校正图像数据中被校正像素的信号。如图12所示,校正单元201将校正后的图像信号输出至后级(例如,硬盘或存储卡等的记录介质)。图12是本发明第六实施例中的校正单元201的数据流图。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。
Claims (18)
1.一种信号处理设备,其对从图像传感器输出的图像信号进行预定信号处理,其中所述图像传感器具有沿着行方向和沿着列方向排列多个像素的像素阵列,所述信号处理设备包括:
存储单元,其存储表示与从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分有关的特性的第一颜色混合特性信息以及表示与从各像素混入相邻像素的信号成分有关的特性的第二颜色混合特性信息,所述特性与各像素在所述像素阵列中的位置相对应;以及
校正单元,其根据所述第一颜色混合特性信息和所述第二颜色混合特性信息,计算与所述像素阵列中的被校正像素的位置相对应的用以校正从相邻像素混入各像素的信号成分的第一校正系数以及用以校正从各像素混入相邻像素的信号成分的第二校正系数,并且基于所述被校正像素的相邻像素的输出图像信号和计算出的第一校正系数和第二校正系数,校正所述被校正像素的输出图像信号,
其中,所述第一颜色混合特性信息包括第一系数表,在所述第一系数表中,对于各像素,将像素在所述像素阵列中的位置与已预先确定的用以校正从相邻像素混入各像素的信号成分的第一校正系数相关联,
所述第二颜色混合特性信息包括第二系数表,在所述第二系数表中,对于各像素,将像素在所述像素阵列中的位置与已预先确定的用以校正从各像素混入相邻像素的信号成分的第二校正系数相关联,以及
所述校正单元根据所述被校正像素在所述像素阵列中的位置和所述第一系数表,计算所述第一校正系数,并且根据所述被校正像素在所述像素阵列中的位置和所述第二系数表,计算所述第二校正系数。
2.一种信号处理设备,其对从图像传感器输出的图像信号进行预定信号处理,其中所述图像传感器具有沿着行方向和沿着列方向排列多个像素的像素阵列,所述信号处理设备包括:
存储单元,其存储表示与从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分有关的特性的第一颜色混合特性信息以及表示与从各像素混入相邻像素的信号成分有关的特性的第二颜色混合特性信息,所述特性与各像素在所述像素阵列中的位置相对应;以及
校正单元,其根据所述第一颜色混合特性信息和所述第二颜色混合特性信息,计算与所述像素阵列中的被校正像素的位置相对应的用以校正从相邻像素混入各像素的信号成分的第一校正系数以及用以校正从各像素混入相邻像素的信号成分的第二校正系数,并且基于所述被校正像素的相邻像素的输出图像信号和计算出的第一校正系数和第二校正系数,校正所述被校正像素的输出图像信号,
其中,所述第一颜色混合特性信息包括:
第一行校正数据,在所述第一行校正数据中,将像素在所述像素阵列中沿着行方向的位置与已预先确定的用以校正从相邻像素混入包括所述像素阵列的光学中心的行中的像素的信号成分的系数相关联;以及
第一列校正数据,在所述第一列校正数据中,将像素在所述像素阵列中沿着列方向的位置与已预先确定的用以校正从相邻像素混入包括所述像素阵列的光学中心的列中的像素的信号成分的系数相关联;
所述第二颜色混合特性信息包括:
第二行校正数据,在所述第二行校正数据中,将像素在所述像素阵列中沿着行方向的位置与已预先确定的用以校正从包括所述像素阵列的光学中心的行中的像素混入相邻像素的信号成分的系数相关联;以及
第二列校正数据,在所述第二列校正数据中,将像素在所述像素阵列中沿着列方向的位置与已预先确定的用以校正从包括所述像素阵列的光学中心的列中的像素混入相邻像素的信号成分的系数相关联;以及
所述校正单元根据所述被校正像素在所述像素阵列中沿着行方向的位置和所述第一行校正数据,计算沿着行方向的第一校正系数,并且根据所述被校正像素在所述像素阵列中沿着列方向的位置和所述第一列校正数据,计算沿着列方向的第一校正系数;
所述校正单元根据所述被校正像素在所述像素阵列中沿着行方向的位置和所述第二行校正数据,计算沿着行方向的第二校正系数,并且根据所述被校正像素在所述像素阵列中沿着列方向的位置和所述第二列校正数据,计算沿着列方向的第二校正系数。
3.一种信号处理设备,其对从图像传感器输出的图像信号进行预定信号处理,其中所述图像传感器具有沿着行方向和沿着列方向排列多个像素的像素阵列,所述信号处理设备包括:
存储单元,其存储表示与从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分有关的特性的第一颜色混合特性信息以及表示与从各像素混入相邻像素的信号成分有关的特性的第二颜色混合特性信息,所述特性与各像素在所述像素阵列中的位置相对应;以及
校正单元,其根据所述第一颜色混合特性信息和所述第二颜色混合特性信息,计算与所述像素阵列中的被校正像素的位置相对应的用以校正从相邻像素混入各像素的信号成分的第一校正系数以及用以校正从各像素混入相邻像素的信号成分的第二校正系数,并且基于所述被校正像素的相邻像素的输出图像信号和计算出的第一校正系数和第二校正系数,校正所述被校正像素的输出图像信号,
其中,所述第一颜色混合特性信息包括表示像素在所述像素阵列中的位置与已预先确定的用以校正从相邻像素混入该像素的信号成分的第一校正系数之间的关系的第一关系式,
所述第二颜色混合特性信息包括表示像素在所述像素阵列中的位置与已预先确定的用以校正从该像素混入相邻像素的信号成分的第二校正系数之间的关系的第二关系式,以及
所述校正单元根据所述被校正像素在所述像素阵列中的位置和所述第一关系式,计算所述第一校正系数,并且根据所述被校正像素在所述像素阵列中的位置和所述第二关系式,计算所述第二校正系数。
4.一种信号处理设备,其对从图像传感器输出的图像信号进行预定信号处理,其中所述图像传感器具有沿着行方向和沿着列方向排列多个像素的像素阵列,所述信号处理设备包括:
存储单元,其存储表示与从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分有关的特性的第一颜色混合特性信息以及表示与从各像素混入相邻像素的信号成分有关的特性的第二颜色混合特性信息,所述特性与各像素在所述像素阵列中的位置相对应;以及
校正单元,其根据所述第一颜色混合特性信息和所述第二颜色混合特性信息,计算与所述像素阵列中的被校正像素的位置相对应的用以校正从相邻像素混入各像素的信号成分的第一校正系数以及用以校正从各像素混入相邻像素的信号成分的第二校正系数,并且基于所述被校正像素的相邻像素的输出图像信号和计算出的第一校正系数和第二校正系数,校正所述被校正像素的输出图像信号,
其中,所述第一颜色混合特性信息包括:
第一行关系式,其表示像素在所述像素阵列中沿着行方向的位置与已预先确定的用以校正从相邻像素混入包括所述像素阵列的光学中心的行中的像素的信号成分的系数之间的关系;以及
第一列关系式,其表示像素在所述像素阵列中沿着列方向的位置与已预先确定的用以校正从相邻像素混入包括所述像素阵列的光学中心的列中的像素的信号成分的系数之间的关系;
所述第二颜色混合特性信息包括:
第二行关系式,其表示像素在所述像素阵列中沿着行方向的位置与已预先确定的用以校正从包括所述像素阵列的光学中心的行中的像素混入相邻像素的信号成分的系数之间的关系;以及
第二列关系式,其表示像素在所述像素阵列中沿着列方向的位置与已预先确定的用以校正从包括所述像素阵列的光学中心的列中的像素混入相邻像素的信号成分的系数之间的关系;以及
所述校正单元根据所述被校正像素在所述像素阵列中沿着行方向的位置和所述第一行关系式,计算沿着行方向的第一校正系数,并且根据所述被校正像素在所述像素阵列中沿着列方向的位置和所述第一列关系式,计算沿着列方向的第一校正系数;
所述校正单元根据所述被校正像素在所述像素阵列中沿着行方向的位置和所述第二行关系式,计算沿着行方向的第二校正系数,并且根据所述被校正像素在所述像素阵列中沿着列方向的位置和所述第二列关系式,计算沿着列方向的第二校正系数。
5.根据权利要求1至4中任一项所述的信号处理设备,其特征在于,所述校正单元使用一帧的图像信号中与所述被校正像素邻接的像素作为所述像素阵列中所述被校正像素的相邻像素,校正所述被校正像素的输出图像信号。
6.根据权利要求1至4中任一项所述的信号处理设备,其特征在于,
将所述图像传感器的所述像素阵列中具有相同颜色的至少两个像素的信号相加在一起,以及
所述校正单元使用相加在一起的所述至少两个像素的重心的位置作为所述被校正像素在所述像素阵列中的位置,来校正来自所述被校正像素的输出图像信号。
7.一种摄像设备,包括:
图像传感器,其具有沿着行方向和沿着列方向排列多个像素的像素阵列和从所述像素阵列读出信号的读出单元;
存储单元,其存储表示与从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分有关的特性的第一颜色混合特性信息以及表示与从各像素混入相邻像素的信号成分有关的特性的第二颜色混合特性信息,所述特性与各像素在所述像素阵列中的位置相对应;以及
校正单元,其根据所述第一颜色混合特性信息和所述第二颜色混合特性信息,计算与所述像素阵列中的被校正像素的位置相对应的用以校正从相邻像素混入各像素的信号成分的第一校正系数以及用以校正从各像素混入相邻像素的信号成分的第二校正系数,并且基于已由所述读出单元从所述被校正像素的相邻像素读出的输出图像信号和计算出的第一校正系数和第二校正系数,校正已由所述读出单元从所述被校正像素读出的输出图像信号,
其中,所述第一颜色混合特性信息包括第一系数表,在所述第一系数表中,对于各像素,将像素在所述像素阵列中的位置与已预先确定的用以校正从相邻像素混入各像素的信号成分的第一校正系数相关联,
所述第二颜色混合特性信息包括第二系数表,在所述第二系数表中,对于各像素,将像素在所述像素阵列中的位置与已预先确定的用以校正从各像素混入相邻像素的信号成分的第二校正系数相关联,以及
所述校正单元根据所述被校正像素在所述像素阵列中的位置和所述第一系数表,计算所述第一校正系数,并且根据所述被校正像素在所述像素阵列中的位置和所述第二系数表,计算所述第二校正系数。
8.一种摄像设备,包括:
图像传感器,其具有沿着行方向和沿着列方向排列多个像素的像素阵列和从所述像素阵列读出信号的读出单元;
存储单元,其存储表示与从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分有关的特性的第一颜色混合特性信息以及表示与从各像素混入相邻像素的信号成分有关的特性的第二颜色混合特性信息,所述特性与各像素在所述像素阵列中的位置相对应;以及
校正单元,其根据所述第一颜色混合特性信息和所述第二颜色混合特性信息,计算与所述像素阵列中的被校正像素的位置相对应的用以校正从相邻像素混入各像素的信号成分的第一校正系数以及用以校正从各像素混入相邻像素的信号成分的第二校正系数,并且基于已由所述读出单元从所述被校正像素的相邻像素读出的输出图像信号和计算出的第一校正系数和第二校正系数,校正已由所述读出单元从所述被校正像素读出的输出图像信号,
其中,所述第一颜色混合特性信息包括:
第一行校正数据,在所述第一行校正数据中,将像素在所述像素阵列中沿着行方向的位置与已预先确定的用以校正从相邻像素混入包括所述像素阵列的光学中心的行中的像素的信号成分的系数相关联;以及
第一列校正数据,在所述第一列校正数据中,将像素在所述像素阵列中沿着列方向的位置与已预先确定的用以校正从相邻像素混入包括所述像素阵列的光学中心的列中的像素的信号成分的系数相关联;
所述第二颜色混合特性信息包括:
第二行校正数据,在所述第二行校正数据中,将像素在所述像素阵列中沿着行方向的位置与已预先确定的用以校正从包括所述像素阵列的光学中心的行中的像素混入相邻像素的信号成分的系数相关联;以及
第二列校正数据,在所述第二列校正数据中,将像素在所述像素阵列中沿着列方向的位置与已预先确定的用以校正从包括所述像素阵列的光学中心的列中的像素混入相邻像素的信号成分的系数相关联;以及
所述校正单元根据所述被校正像素在所述像素阵列中沿着行方向的位置和所述第一行校正数据,计算沿着行方向的第一校正系数,并且根据所述被校正像素在所述像素阵列中沿着列方向的位置和所述第一列校正数据,计算沿着列方向的第一校正系数;
所述校正单元根据所述被校正像素在所述像素阵列中沿着行方向的位置和所述第二行校正数据,计算沿着行方向的第二校正系数,并且根据所述被校正像素在所述像素阵列中沿着列方向的位置和所述第二列校正数据,计算沿着列方向的第二校正系数。
9.一种摄像设备,包括:
图像传感器,其具有沿着行方向和沿着列方向排列多个像素的像素阵列和从所述像素阵列读出信号的读出单元;
存储单元,其存储表示与从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分有关的特性的第一颜色混合特性信息以及表示与从各像素混入相邻像素的信号成分有关的特性的第二颜色混合特性信息,所述特性与各像素在所述像素阵列中的位置相对应;以及
校正单元,其根据所述第一颜色混合特性信息和所述第二颜色混合特性信息,计算与所述像素阵列中的被校正像素的位置相对应的用以校正从相邻像素混入各像素的信号成分的第一校正系数以及用以校正从各像素混入相邻像素的信号成分的第二校正系数,并且基于已由所述读出单元从所述被校正像素的相邻像素读出的输出图像信号和计算出的第一校正系数和第二校正系数,校正已由所述读出单元从所述被校正像素读出的输出图像信号,
其中,所述第一颜色混合特性信息包括表示像素在所述像素阵列中的位置与已预先确定的用以校正从相邻像素混入该像素的信号成分的第一校正系数之间的关系的第一关系式,
所述第二颜色混合特性信息包括表示像素在所述像素阵列中的位置与已预先确定的用以校正从该像素混入相邻像素的信号成分的第二校正系数之间的关系的第二关系式,以及
所述校正单元根据所述被校正像素在所述像素阵列中的位置和所述第一关系式,计算所述第一校正系数,并且根据所述被校正像素在所述像素阵列中的位置和所述第二关系式,计算所述第二校正系数。
10.一种摄像设备,包括:
图像传感器,其具有沿着行方向和沿着列方向排列多个像素的像素阵列和从所述像素阵列读出信号的读出单元;
存储单元,其存储表示与从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分有关的特性的第一颜色混合特性信息以及表示与从各像素混入相邻像素的信号成分有关的特性的第二颜色混合特性信息,所述特性与各像素在所述像素阵列中的位置相对应;以及
校正单元,其根据所述第一颜色混合特性信息和所述第二颜色混合特性信息,计算与所述像素阵列中的被校正像素的位置相对应的用以校正从相邻像素混入各像素的信号成分的第一校正系数以及用以校正从各像素混入相邻像素的信号成分的第二校正系数,并且基于已由所述读出单元从所述被校正像素的相邻像素读出的输出图像信号和计算出的第一校正系数和第二校正系数,校正已由所述读出单元从所述被校正像素读出的输出图像信号,
其中,所述第一颜色混合特性信息包括:
第一行关系式,其表示像素在所述像素阵列中沿着行方向的位置与已预先确定的用以校正从相邻像素混入包括所述像素阵列的光学中心的行中的像素的信号成分的系数之间的关系;以及
第一列关系式,其表示像素在所述像素阵列中沿着列方向的位置与已预先确定的用以校正从相邻像素混入包括所述像素阵列的光学中心的列中的像素的信号成分的系数之间的关系;
所述第二颜色混合特性信息包括:
第二行关系式,其表示像素在所述像素阵列中沿着行方向的位置与已预先确定的用以校正从包括所述像素阵列的光学中心的行中的像素混入相邻像素的信号成分的系数之间的关系;以及
第二列关系式,其表示像素在所述像素阵列中沿着列方向的位置与已预先确定的用以校正从包括所述像素阵列的光学中心的列中的像素混入相邻像素的信号成分的系数之间的关系;以及
所述校正单元根据所述被校正像素在所述像素阵列中沿着行方向的位置和所述第一行关系式,计算沿着行方向的第一校正系数,并且根据所述被校正像素在所述像素阵列中沿着列方向的位置和所述第一列关系式,计算沿着列方向的第一校正系数;
所述校正单元根据所述被校正像素在所述像素阵列中沿着行方向的位置和所述第二行关系式,计算沿着行方向的第二校正系数,并且根据所述被校正像素在所述像素阵列中沿着列方向的位置和所述第二列关系式,计算沿着列方向的第二校正系数。
11.一种摄像***,包括:
摄像设备,其通过对被摄体进行摄像,生成图像数据;以及
处理设备,其从所述摄像设备接收图像数据,并处理所接收到的图像数据;
所述摄像设备包括:
图像传感器,其具有沿着行方向和沿着列方向排列多个像素的像素阵列和从所述像素阵列读出信号的读出单元;
存储单元,其存储表示与从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分有关的特性的第一颜色混合特性信息以及表示与从各像素混入相邻像素的信号成分有关的特性的第二颜色混合特性信息,所述特性与各像素在所述像素阵列中的位置相对应;以及
生成单元,其通过将所述第一颜色混合特性信息和所述第二颜色混合特性信息添加至已由所述读出单元读出的图像信号,生成图像数据;
所述处理设备包括校正单元,所述校正单元根据包括在图像数据中的所述第一颜色混合特性信息和所述第二颜色混合特性信息,计算与被校正像素的位置相对应的用以校正从相邻像素混入各像素的信号成分的第一校正系数以及用以校正从各像素混入相邻像素的信号成分的第二校正系数,并且基于图像数据中的所述被校正像素的相邻像素的输出图像信号和计算出的第一校正系数和第二校正系数,校正图像数据中的所述被校正像素的输出图像信号,
其中,所述第一颜色混合特性信息包括第一系数表,在所述第一系数表中,对于各像素,将像素在所述像素阵列中的位置与已预先确定的用以校正从相邻像素混入各像素的信号成分的第一校正系数相关联,
所述第二颜色混合特性信息包括第二系数表,在所述第二系数表中,对于各像素,将像素在所述像素阵列中的位置与已预先确定的用以校正从各像素混入相邻像素的信号成分的第二校正系数相关联,以及
所述校正单元根据所述被校正像素在所述像素阵列中的位置和所述第一系数表,计算所述第一校正系数,并且根据所述被校正像素在所述像素阵列中的位置和所述第二系数表,计算所述第二校正系数。
12.一种摄像***,包括:
摄像设备,其通过对被摄体进行摄像,生成图像数据;以及
处理设备,其从所述摄像设备接收图像数据,并处理所接收到的图像数据;
所述摄像设备包括:
图像传感器,其具有沿着行方向和沿着列方向排列多个像素的像素阵列和从所述像素阵列读出信号的读出单元;
存储单元,其存储表示与从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分有关的特性的第一颜色混合特性信息以及表示与从各像素混入相邻像素的信号成分有关的特性的第二颜色混合特性信息,所述特性与各像素在所述像素阵列中的位置相对应;以及
生成单元,其通过将所述第一颜色混合特性信息和所述第二颜色混合特性信息添加至已由所述读出单元读出的图像信号,生成图像数据;
所述处理设备包括校正单元,所述校正单元根据包括在图像数据中的所述第一颜色混合特性信息和所述第二颜色混合特性信息,计算与被校正像素的位置相对应的用以校正从相邻像素混入各像素的信号成分的第一校正系数以及用以校正从各像素混入相邻像素的信号成分的第二校正系数,并且基于图像数据中的所述被校正像素的相邻像素的输出图像信号和计算出的第一校正系数和第二校正系数,校正图像数据中的所述被校正像素的输出图像信号,
其中,所述第一颜色混合特性信息包括:
第一行校正数据,在所述第一行校正数据中,将像素在所述像素阵列中沿着行方向的位置与已预先确定的用以校正从相邻像素混入包括所述像素阵列的光学中心的行中的像素的信号成分的系数相关联;以及
第一列校正数据,在所述第一列校正数据中,将像素在所述像素阵列中沿着列方向的位置与已预先确定的用以校正从相邻像素混入包括所述像素阵列的光学中心的列中的像素的信号成分的系数相关联;
所述第二颜色混合特性信息包括:
第二行校正数据,在所述第二行校正数据中,将像素在所述像素阵列中沿着行方向的位置与已预先确定的用以校正从包括所述像素阵列的光学中心的行中的像素混入相邻像素的信号成分的系数相关联;以及
第二列校正数据,在所述第二列校正数据中,将像素在所述像素阵列中沿着列方向的位置与已预先确定的用以校正从包括所述像素阵列的光学中心的列中的像素混入相邻像素的信号成分的系数相关联;以及
所述校正单元根据所述被校正像素在所述像素阵列中沿着行方向的位置和所述第一行校正数据,计算沿着行方向的第一校正系数,并且根据所述被校正像素在所述像素阵列中沿着列方向的位置和所述第一列校正数据,计算沿着列方向的第一校正系数;
所述校正单元根据所述被校正像素在所述像素阵列中沿着行方向的位置和所述第二行校正数据,计算沿着行方向的第二校正系数,并且根据所述被校正像素在所述像素阵列中沿着列方向的位置和所述第二列校正数据,计算沿着列方向的第二校正系数。
13.一种摄像***,包括:
摄像设备,其通过对被摄体进行摄像,生成图像数据;以及
处理设备,其从所述摄像设备接收图像数据,并处理所接收到的图像数据;
所述摄像设备包括:
图像传感器,其具有沿着行方向和沿着列方向排列多个像素的像素阵列和从所述像素阵列读出信号的读出单元;
存储单元,其存储表示与从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分有关的特性的第一颜色混合特性信息以及表示与从各像素混入相邻像素的信号成分有关的特性的第二颜色混合特性信息,所述特性与各像素在所述像素阵列中的位置相对应;以及
生成单元,其通过将所述第一颜色混合特性信息和所述第二颜色混合特性信息添加至已由所述读出单元读出的图像信号,生成图像数据;
所述处理设备包括校正单元,所述校正单元根据包括在图像数据中的所述第一颜色混合特性信息和所述第二颜色混合特性信息,计算与被校正像素的位置相对应的用以校正从相邻像素混入各像素的信号成分的第一校正系数以及用以校正从各像素混入相邻像素的信号成分的第二校正系数,并且基于图像数据中的所述被校正像素的相邻像素的输出图像信号和计算出的第一校正系数和第二校正系数,校正图像数据中的所述被校正像素的输出图像信号,
其中,所述第一颜色混合特性信息包括表示像素在所述像素阵列中的位置与已预先确定的用以校正从相邻像素混入该像素的信号成分的第一校正系数之间的关系的第一关系式,
所述第二颜色混合特性信息包括表示像素在所述像素阵列中的位置与已预先确定的用以校正从该像素混入相邻像素的信号成分的第二校正系数之间的关系的第二关系式,以及
所述校正单元根据所述被校正像素在所述像素阵列中的位置和所述第一关系式,计算所述第一校正系数,并且根据所述被校正像素在所述像素阵列中的位置和所述第二关系式,计算所述第二校正系数。
14.一种摄像***,包括:
摄像设备,其通过对被摄体进行摄像,生成图像数据;以及
处理设备,其从所述摄像设备接收图像数据,并处理所接收到的图像数据;
所述摄像设备包括:
图像传感器,其具有沿着行方向和沿着列方向排列多个像素的像素阵列和从所述像素阵列读出信号的读出单元;
存储单元,其存储表示与从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分有关的特性的第一颜色混合特性信息以及表示与从各像素混入相邻像素的信号成分有关的特性的第二颜色混合特性信息,所述特性与各像素在所述像素阵列中的位置相对应;以及
生成单元,其通过将所述第一颜色混合特性信息和所述第二颜色混合特性信息添加至已由所述读出单元读出的图像信号,生成图像数据;
所述处理设备包括校正单元,所述校正单元根据包括在图像数据中的所述第一颜色混合特性信息和所述第二颜色混合特性信息,计算与被校正像素的位置相对应的用以校正从相邻像素混入各像素的信号成分的第一校正系数以及用以校正从各像素混入相邻像素的信号成分的第二校正系数,并且基于图像数据中的所述被校正像素的相邻像素的输出图像信号和计算出的第一校正系数和第二校正系数,校正图像数据中的所述被校正像素的输出图像信号,
其中,所述第一颜色混合特性信息包括:
第一行关系式,其表示像素在所述像素阵列中沿着行方向的位置与已预先确定的用以校正从相邻像素混入包括所述像素阵列的光学中心的行中的像素的信号成分的系数之间的关系;以及
第一列关系式,其表示像素在所述像素阵列中沿着列方向的位置与已预先确定的用以校正从相邻像素混入包括所述像素阵列的光学中心的列中的像素的信号成分的系数之间的关系;
所述第二颜色混合特性信息包括:
第二行关系式,其表示像素在所述像素阵列中沿着行方向的位置与已预先确定的用以校正从包括所述像素阵列的光学中心的行中的像素混入相邻像素的信号成分的系数之间的关系;以及
第二列关系式,其表示像素在所述像素阵列中沿着列方向的位置与已预先确定的用以校正从包括所述像素阵列的光学中心的列中的像素混入相邻像素的信号成分的系数之间的关系;以及
所述校正单元根据所述被校正像素在所述像素阵列中沿着行方向的位置和所述第一行关系式,计算沿着行方向的第一校正系数,并且根据所述被校正像素在所述像素阵列中沿着列方向的位置和所述第一列关系式,计算沿着列方向的第一校正系数;
所述校正单元根据所述被校正像素在所述像素阵列中沿着行方向的位置和所述第二行关系式,计算沿着行方向的第二校正系数,并且根据所述被校正像素在所述像素阵列中沿着列方向的位置和所述第二列关系式,计算沿着列方向的第二校正系数。
15.一种信号处理方法,用于对从图像传感器输出的图像信号进行信号处理,其中所述图像传感器具有沿着行方向和沿着列方向排列多个像素的像素阵列,所述信号处理方法包括:
第一步骤,用于根据已预先存储的第一颜色混合特性信息和第二颜色混合特性信息,计算与所述像素阵列中的被校正像素的位置相对应的用以校正从相邻像素混入各像素的信号成分的第一校正系数以及用以校正从各像素混入相邻像素的信号成分的第二校正系数,其中,所述第一颜色混合特性信息表示与从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分有关的特性,所述第二颜色混合特性信息表示与从各像素混入相邻像素的信号成分有关的特性,所述特性与各像素在所述像素阵列中的位置相对应;以及
第二步骤,用于基于所述被校正像素的相邻像素的输出图像信号和所计算出的第一校正系数和第二校正系数,校正所述被校正像素的输出图像信号,
其中,所述第一颜色混合特性信息包括第一系数表,在所述第一系数表中,对于各像素,将像素在所述像素阵列中的位置与已预先确定的用以校正从相邻像素混入各像素的信号成分的第一校正系数相关联,
所述第二颜色混合特性信息包括第二系数表,在所述第二系数表中,对于各像素,将像素在所述像素阵列中的位置与已预先确定的用以校正从各像素混入相邻像素的信号成分的第二校正系数相关联,以及
在所述第一步骤中根据所述被校正像素在所述像素阵列中的位置和所述第一系数表,计算所述第一校正系数,并且根据所述被校正像素在所述像素阵列中的位置和所述第二系数表,计算所述第二校正系数。
16.一种信号处理方法,用于对从图像传感器输出的图像信号进行信号处理,其中所述图像传感器具有沿着行方向和沿着列方向排列多个像素的像素阵列,所述信号处理方法包括:
第一步骤,用于根据已预先存储的第一颜色混合特性信息和第二颜色混合特性信息,计算与所述像素阵列中的被校正像素的位置相对应的用以校正从相邻像素混入各像素的信号成分的第一校正系数以及用以校正从各像素混入相邻像素的信号成分的第二校正系数,其中,所述第一颜色混合特性信息表示与从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分有关的特性,所述第二颜色混合特性信息表示与从各像素混入相邻像素的信号成分有关的特性,所述特性与各像素在所述像素阵列中的位置相对应;以及
第二步骤,用于基于所述被校正像素的相邻像素的输出图像信号和所计算出的第一校正系数和第二校正系数,校正所述被校正像素的输出图像信号,
其中,所述第一颜色混合特性信息包括:
第一行校正数据,在所述第一行校正数据中,将像素在所述像素阵列中沿着行方向的位置与已预先确定的用以校正从相邻像素混入包括所述像素阵列的光学中心的行中的像素的信号成分的系数相关联;以及
第一列校正数据,在所述第一列校正数据中,将像素在所述像素阵列中沿着列方向的位置与已预先确定的用以校正从相邻像素混入包括所述像素阵列的光学中心的列中的像素的信号成分的系数相关联;
所述第二颜色混合特性信息包括:
第二行校正数据,在所述第二行校正数据中,将像素在所述像素阵列中沿着行方向的位置与已预先确定的用以校正从包括所述像素阵列的光学中心的行中的像素混入相邻像素的信号成分的系数相关联;以及
第二列校正数据,在所述第二列校正数据中,将像素在所述像素阵列中沿着列方向的位置与已预先确定的用以校正从包括所述像素阵列的光学中心的列中的像素混入相邻像素的信号成分的系数相关联;以及
在所述第一步骤中根据所述被校正像素在所述像素阵列中沿着行方向的位置和所述第一行校正数据,计算沿着行方向的第一校正系数,并且根据所述被校正像素在所述像素阵列中沿着列方向的位置和所述第一列校正数据,计算沿着列方向的第一校正系数;
在所述第一步骤中根据所述被校正像素在所述像素阵列中沿着行方向的位置和所述第二行校正数据,计算沿着行方向的第二校正系数,并且根据所述被校正像素在所述像素阵列中沿着列方向的位置和所述第二列校正数据,计算沿着列方向的第二校正系数。
17.一种信号处理方法,用于对从图像传感器输出的图像信号进行信号处理,其中所述图像传感器具有沿着行方向和沿着列方向排列多个像素的像素阵列,所述信号处理方法包括:
第一步骤,用于根据已预先存储的第一颜色混合特性信息和第二颜色混合特性信息,计算与所述像素阵列中的被校正像素的位置相对应的用以校正从相邻像素混入各像素的信号成分的第一校正系数以及用以校正从各像素混入相邻像素的信号成分的第二校正系数,其中,所述第一颜色混合特性信息表示与从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分有关的特性,所述第二颜色混合特性信息表示与从各像素混入相邻像素的信号成分有关的特性,所述特性与各像素在所述像素阵列中的位置相对应;以及
第二步骤,用于基于所述被校正像素的相邻像素的输出图像信号和所计算出的第一校正系数和第二校正系数,校正所述被校正像素的输出图像信号,
其中,所述第一颜色混合特性信息包括表示像素在所述像素阵列中的位置与已预先确定的用以校正从相邻像素混入该像素的信号成分的第一校正系数之间的关系的第一关系式,
所述第二颜色混合特性信息包括表示像素在所述像素阵列中的位置与已预先确定的用以校正从该像素混入相邻像素的信号成分的第二校正系数之间的关系的第二关系式,以及
在所述第一步骤中根据所述被校正像素在所述像素阵列中的位置和所述第一关系式,计算所述第一校正系数,并且根据所述被校正像素在所述像素阵列中的位置和所述第二关系式,计算所述第二校正系数。
18.一种信号处理方法,用于对从图像传感器输出的图像信号进行信号处理,其中所述图像传感器具有沿着行方向和沿着列方向排列多个像素的像素阵列,所述信号处理方法包括:
第一步骤,用于根据已预先存储的第一颜色混合特性信息和第二颜色混合特性信息,计算与所述像素阵列中的被校正像素的位置相对应的用以校正从相邻像素混入各像素的信号成分的第一校正系数以及用以校正从各像素混入相邻像素的信号成分的第二校正系数,其中,所述第一颜色混合特性信息表示与从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分有关的特性,所述第二颜色混合特性信息表示与从各像素混入相邻像素的信号成分有关的特性,所述特性与各像素在所述像素阵列中的位置相对应;以及
第二步骤,用于基于所述被校正像素的相邻像素的输出图像信号和所计算出的第一校正系数和第二校正系数,校正所述被校正像素的输出图像信号,
其中,所述第一颜色混合特性信息包括:
第一行关系式,其表示像素在所述像素阵列中沿着行方向的位置与已预先确定的用以校正从相邻像素混入包括所述像素阵列的光学中心的行中的像素的信号成分的系数之间的关系;以及
第一列关系式,其表示像素在所述像素阵列中沿着列方向的位置与已预先确定的用以校正从相邻像素混入包括所述像素阵列的光学中心的列中的像素的信号成分的系数之间的关系;
所述第二颜色混合特性信息包括:
第二行关系式,其表示像素在所述像素阵列中沿着行方向的位置与已预先确定的用以校正从包括所述像素阵列的光学中心的行中的像素混入相邻像素的信号成分的系数之间的关系;以及
第二列关系式,其表示像素在所述像素阵列中沿着列方向的位置与已预先确定的用以校正从包括所述像素阵列的光学中心的列中的像素混入相邻像素的信号成分的系数之间的关系;以及
在所述第一步骤中根据所述被校正像素在所述像素阵列中沿着行方向的位置和所述第一行关系式,计算沿着行方向的第一校正系数,并且根据所述被校正像素在所述像素阵列中沿着列方向的位置和所述第一列关系式,计算沿着列方向的第一校正系数;
在所述第一步骤中根据所述被校正像素在所述像素阵列中沿着行方向的位置和所述第二行关系式,计算沿着行方向的第二校正系数,并且根据所述被校正像素在所述像素阵列中沿着列方向的位置和所述第二列关系式,计算沿着列方向的第二校正系数。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008-305626 | 2008-11-28 | ||
JP2008305626A JP5254762B2 (ja) | 2008-11-28 | 2008-11-28 | 撮像装置、撮像システム、及び撮像装置における信号の補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101754029A CN101754029A (zh) | 2010-06-23 |
CN101754029B true CN101754029B (zh) | 2013-10-09 |
Family
ID=41478614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009102074865A Active CN101754029B (zh) | 2008-11-28 | 2009-11-27 | 信号处理设备、摄像设备、摄像***和信号处理方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US8269865B2 (zh) |
EP (1) | EP2192763B1 (zh) |
JP (1) | JP5254762B2 (zh) |
KR (1) | KR101215963B1 (zh) |
CN (1) | CN101754029B (zh) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5496922B2 (ja) * | 2011-01-13 | 2014-05-21 | 日本放送協会 | クロストーク量測定装置、これを用いた色補正装置およびクロストーク量測定方法 |
JP2012169830A (ja) * | 2011-02-14 | 2012-09-06 | Sony Corp | 画像処理装置、画像処理方法、および電子機器 |
CN102176742B (zh) * | 2011-03-14 | 2012-10-10 | 浙江兆晟科技有限公司 | 图像校正系数的获取方法、非均匀图像校正方法及*** |
JP5730634B2 (ja) * | 2011-03-24 | 2015-06-10 | オリンパス株式会社 | 画像処理装置 |
US8963063B2 (en) | 2011-05-03 | 2015-02-24 | The Charles Stark Draper Laboratory, Inc. | Systems and methods for adding or subtracting pixels |
JP5817301B2 (ja) * | 2011-08-02 | 2015-11-18 | ソニー株式会社 | 撮像素子、並びに、撮像装置および方法 |
JP2013038504A (ja) * | 2011-08-04 | 2013-02-21 | Sony Corp | 撮像装置、および画像処理方法、並びにプログラム |
EP2800382B1 (en) * | 2011-12-27 | 2016-06-29 | Fujifilm Corporation | Imaging device, method for controlling imaging device, and control program |
JP5600814B2 (ja) | 2011-12-28 | 2014-10-01 | 富士フイルム株式会社 | 画像処理装置及び方法並びに撮像装置 |
JP5600813B2 (ja) * | 2011-12-28 | 2014-10-01 | 富士フイルム株式会社 | 画像処理装置及び撮像装置 |
JP5597776B2 (ja) | 2011-12-28 | 2014-10-01 | 富士フイルム株式会社 | 撮像装置及びその画質補正方法並びに交換レンズと撮像装置本体 |
JP6131545B2 (ja) * | 2012-03-16 | 2017-05-24 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
WO2014007041A1 (ja) * | 2012-07-06 | 2014-01-09 | 富士フイルム株式会社 | 画像処理装置および方法ならびに撮像装置 |
JP5777825B2 (ja) | 2012-12-05 | 2015-09-09 | 富士フイルム株式会社 | 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体 |
WO2014087808A1 (ja) * | 2012-12-07 | 2014-06-12 | 富士フイルム株式会社 | 画像処理装置、画像処理方法及びプログラム、並びに記録媒体 |
US9276031B2 (en) | 2013-03-04 | 2016-03-01 | Apple Inc. | Photodiode with different electric potential regions for image sensors |
CN104995912B (zh) * | 2013-03-05 | 2017-03-08 | 富士胶片株式会社 | 摄像装置、图像处理装置及图像处理方法 |
US9741754B2 (en) | 2013-03-06 | 2017-08-22 | Apple Inc. | Charge transfer circuit with storage nodes in image sensors |
KR102087227B1 (ko) * | 2013-04-19 | 2020-04-14 | 삼성전자주식회사 | 이미지 센서의 크로스토크 예측 정확도를 배가한 3차원 광전자 시뮬레이션 방법 |
JP5865555B2 (ja) * | 2013-05-13 | 2016-02-17 | 富士フイルム株式会社 | 混色率算出装置及び方法並びに撮像装置 |
JP5883991B2 (ja) | 2013-05-13 | 2016-03-15 | 富士フイルム株式会社 | カラー画像データの混入補正装置および撮像装置ならびにそれらの動作制御方法 |
JP6180882B2 (ja) * | 2013-10-31 | 2017-08-16 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置、信号処理装置、および電子機器 |
US10285626B1 (en) | 2014-02-14 | 2019-05-14 | Apple Inc. | Activity identification using an optical heart rate monitor |
US9686485B2 (en) | 2014-05-30 | 2017-06-20 | Apple Inc. | Pixel binning in an image sensor |
KR102301620B1 (ko) * | 2015-02-02 | 2021-09-14 | 삼성전자주식회사 | 빛 샘 보정을 위한 촬영 장치 및 방법 |
US9912883B1 (en) | 2016-05-10 | 2018-03-06 | Apple Inc. | Image sensor with calibrated column analog-to-digital converters |
CN109716525B (zh) | 2016-09-23 | 2020-06-09 | 苹果公司 | 堆叠式背面照明spad阵列 |
CN110235024B (zh) | 2017-01-25 | 2022-10-28 | 苹果公司 | 具有调制灵敏度的spad检测器 |
US10656251B1 (en) | 2017-01-25 | 2020-05-19 | Apple Inc. | Signal acquisition in a SPAD detector |
US10962628B1 (en) | 2017-01-26 | 2021-03-30 | Apple Inc. | Spatial temporal weighting in a SPAD detector |
DE102017110129B4 (de) * | 2017-05-10 | 2020-07-09 | Basler Ag | Verbesserung eines Pixelqualitätswertes |
US10622538B2 (en) | 2017-07-18 | 2020-04-14 | Apple Inc. | Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body |
US10440301B2 (en) | 2017-09-08 | 2019-10-08 | Apple Inc. | Image capture device, pixel, and method providing improved phase detection auto-focus performance |
US11019294B2 (en) | 2018-07-18 | 2021-05-25 | Apple Inc. | Seamless readout mode transitions in image sensors |
US10848693B2 (en) | 2018-07-18 | 2020-11-24 | Apple Inc. | Image flare detection using asymmetric pixels |
CN114068591A (zh) * | 2020-07-29 | 2022-02-18 | 京东方科技集团股份有限公司 | 平板探测器及成像*** |
US11563910B2 (en) | 2020-08-04 | 2023-01-24 | Apple Inc. | Image capture devices having phase detection auto-focus pixels |
US11546532B1 (en) | 2021-03-16 | 2023-01-03 | Apple Inc. | Dynamic correlated double sampling for noise rejection in image sensors |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1734549A (zh) * | 2004-08-04 | 2006-02-15 | 索尼株式会社 | 图像显示装置 |
US7061533B1 (en) * | 1999-04-08 | 2006-06-13 | Canon Kabushiki Kaisha | Image processing apparatus |
CN101127920A (zh) * | 2006-08-16 | 2008-02-20 | 富士通株式会社 | 数字成像装置的彩色处理参数设置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4120020B2 (ja) | 1997-03-26 | 2008-07-16 | ソニー株式会社 | 固体撮像装置 |
JP2003304544A (ja) * | 2002-04-10 | 2003-10-24 | Canon Inc | 撮像装置 |
JP2004135206A (ja) | 2002-10-15 | 2004-04-30 | Matsushita Electric Ind Co Ltd | 画素信号混色低減装置 |
US7273129B2 (en) | 2003-09-05 | 2007-09-25 | Faurecia Exhaust Systems, Inc. | Muffler with internal heat shield |
JP3824237B2 (ja) | 2003-09-05 | 2006-09-20 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4389865B2 (ja) * | 2005-11-17 | 2009-12-24 | ソニー株式会社 | 固体撮像素子の信号処理装置および信号処理方法並びに撮像装置 |
JP4745876B2 (ja) * | 2006-03-29 | 2011-08-10 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP2008113236A (ja) * | 2006-10-30 | 2008-05-15 | Kyocera Corp | 撮像装置におけるシェーディング補正方法と装置 |
US20080165257A1 (en) * | 2007-01-05 | 2008-07-10 | Micron Technology, Inc. | Configurable pixel array system and method |
US8089555B2 (en) * | 2007-05-25 | 2012-01-03 | Zoran Corporation | Optical chromatic aberration correction and calibration in digital cameras |
JP4803156B2 (ja) * | 2007-10-16 | 2011-10-26 | ソニー株式会社 | 固体撮像素子用の信号処理装置、信号処理装置を備えた撮像装置、信号処理方法、およびプログラム |
JP5045380B2 (ja) * | 2007-11-13 | 2012-10-10 | ソニー株式会社 | 撮像装置および撮像データ補正方法並びにプログラム |
JP5163319B2 (ja) * | 2008-06-30 | 2013-03-13 | ソニー株式会社 | 画像信号補正装置、撮像装置、画像信号補正方法、およびプログラム |
-
2008
- 2008-11-28 JP JP2008305626A patent/JP5254762B2/ja active Active
-
2009
- 2009-10-28 EP EP20090174305 patent/EP2192763B1/en active Active
- 2009-11-12 US US12/617,394 patent/US8269865B2/en active Active
- 2009-11-24 KR KR1020090113679A patent/KR101215963B1/ko active IP Right Grant
- 2009-11-27 CN CN2009102074865A patent/CN101754029B/zh active Active
-
2012
- 2012-07-27 US US13/560,256 patent/US8558925B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7061533B1 (en) * | 1999-04-08 | 2006-06-13 | Canon Kabushiki Kaisha | Image processing apparatus |
CN1734549A (zh) * | 2004-08-04 | 2006-02-15 | 索尼株式会社 | 图像显示装置 |
CN101127920A (zh) * | 2006-08-16 | 2008-02-20 | 富士通株式会社 | 数字成像装置的彩色处理参数设置 |
Also Published As
Publication number | Publication date |
---|---|
EP2192763A2 (en) | 2010-06-02 |
US20120293681A1 (en) | 2012-11-22 |
JP5254762B2 (ja) | 2013-08-07 |
KR20100061352A (ko) | 2010-06-07 |
KR101215963B1 (ko) | 2012-12-27 |
CN101754029A (zh) | 2010-06-23 |
US8269865B2 (en) | 2012-09-18 |
EP2192763B1 (en) | 2015-04-29 |
EP2192763A3 (en) | 2013-05-15 |
US8558925B2 (en) | 2013-10-15 |
JP2010130583A (ja) | 2010-06-10 |
US20100134660A1 (en) | 2010-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101754029B (zh) | 信号处理设备、摄像设备、摄像***和信号处理方法 | |
CN101971610B (zh) | 摄像设备和图像处理方法 | |
EP3327781B1 (en) | Image processing method and apparatus, and electronic device | |
KR101691551B1 (ko) | 촬상장치 및 방법 | |
CN104168416B (zh) | 摄像设备及其控制方法 | |
CN102487432B (zh) | 摄像设备 | |
JP4704238B2 (ja) | 電子撮像装置及び電子撮像方法 | |
WO2017101555A1 (zh) | 图像传感器的成像方法、成像装置和电子装置 | |
US7333139B2 (en) | Digital camera having correction of center positions of color pixels generated by mixing of pixels of the same color | |
CN106161926A (zh) | 摄像装置和摄像装置的控制方法 | |
CN103209301A (zh) | 摄像设备 | |
JP6166562B2 (ja) | 撮像素子及びその駆動方法、及び撮像装置 | |
CN102404580A (zh) | 图像拾取装置和修复增益数据产生方法 | |
JP3854754B2 (ja) | 撮像装置、画像処理装置及びその方法、並びにメモリ媒体 | |
CN102088560A (zh) | 摄像装置、摄像方法及摄像程序的存储介质 | |
JP2001008104A (ja) | 広ダイナミックレンジ撮像装置 | |
JP2000244823A (ja) | 撮像素子の欠陥画素補正装置 | |
JP4817529B2 (ja) | 撮像装置及び画像処理方法 | |
US20060103746A1 (en) | Image capture device | |
CN106461913A (zh) | 摄像元件和摄像装置 | |
JP4620780B2 (ja) | 感度補正方法および撮像装置 | |
US20070019079A1 (en) | Digital camera and control method thereof | |
CN106461912A (zh) | 摄像元件 | |
JP2001203969A (ja) | 撮像装置およびその動作制御方法 | |
JP5789109B2 (ja) | 固体撮像素子および撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |