CN101291437A - 固体摄像装置 - Google Patents
固体摄像装置 Download PDFInfo
- Publication number
- CN101291437A CN101291437A CNA2008101003942A CN200810100394A CN101291437A CN 101291437 A CN101291437 A CN 101291437A CN A2008101003942 A CNA2008101003942 A CN A2008101003942A CN 200810100394 A CN200810100394 A CN 200810100394A CN 101291437 A CN101291437 A CN 101291437A
- Authority
- CN
- China
- Prior art keywords
- signal
- mentioned
- pixel
- camera head
- solid camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本发明的固体摄像装置包括像素部、加法部、比率计算部及RGB生成部。上述像素部将在光电转换元件中分别配置有R(红)、G(绿)、B(蓝)滤色器的R像素、G像素、B像素按照矩阵状以二维方式配置。上述像素部输出将入射至上述R像素、G像素、B像素的光分别进行光电转换而得到的R信号、G信号、B信号。上述加法部在上述像素部中,确定将某像素作为中心像素的规定区域,将来自上述中心像素和配置于上述规定区域内的上述中心像素的周边的周边像素的上述R信号、G信号、B信号相加,生成加法信号。上述比率计算部计算来自上述规定区域内的像素的上述R信号、G信号、B信号的各自的平均值和将上述各平均值相加而得到的加法平均值(Save)之间的比率系数。上述RGB生成部利用上述加法信号和由上述比率计算部计算出的上述比率系数,生成新的R信号、G信号、B信号。
Description
(相关申请的交叉引用)
本申请基于2007年1月26日提交的在先的日本专利申请No.2007-016893并要求其为优先权,在此引入其全部内容作为参考。
技术领域
本发明涉及CCD(电荷耦合器件)图像传感器或CMOS型图像传感器等的固体摄像装置,例如,用于带图像传感器的便携电话、数字相机、摄像机等之中。
背景技术
近年来,对于图像传感器,随着像素微细化的推进,2μm级已经实现实用化,进一步,对于1.75μm像素和1.4μm像素等的开发正在进展中。对于2μm以下的微细像素而言,由于入射光量大幅减少而S/N恶化。而且,对于现有技术中的彩色照相机而言,存在由于色伪信号及色噪声等而使画质恶化的问题。关于色伪信号的抑制及噪声降低等,已提出了的各种各样的方式(参照例如JP特开平4-235472号公报、JP特开2002-10108号公报、JP特开2005-303731号公报、JP特开2001-245307号公报、及JP特开平5-168029号公报)。但是针对这些问题,还没有提出根本的对策。
发明内容
本发明的第1方面的固体摄像装置包括:
将在光电转换元件中分别配置有至少R(红)、G(绿)、B(蓝)滤色器的像素以矩阵状二维配置的像素部,上述像素部输出对入射至对应于上述滤色器的至少R像素、G像素、B像素的光分别进行光电转换而得到的R信号、G信号、B信号;
加法部,在上述像素部中确定将某像素作为中心像素的规定区域,将来自上述中心像素和配置于上述规定区域内的上述规定像素的周边的周边像素的上述规定区域的信号相加,生成加法信号;
比率计算部,计算来自上述规定区域内的像素的上述R信号、G信号、B信号的各自的平均值和将上述R信号、G信号、B信号的各平均值相加而得到的加法平均值之间的比率系数;及
RGB生成部,利用上述加法信号和由上述比率计算部计算出的上述比率系数,生成新的R信号、G信号、B信号。
附图说明
图1为表示本发明的第1实施形态的固体摄像装置的概略结构的框图;
图2为表示第1实施形态的色相关RGB生成电路中的处理方法的图;
图3为表示第1实施形态的色相关RGB生成电路的加法部中的另一个加法处理方法的图;
图4为表示本发明的第2实施形态的固体摄像装置的概略结构的框图;
图5A-图5F为表示第2实施形态的色相关RGB生成电路的边缘检测电路中的处理方法的图;
图6A-图6E为表示第2实施形态的方框内的差分判定中的其它处理方法的图;
图7为表示第2实施形态的边缘检测电路中判定方框AZ~DZ的例子的图;
图8为表示对第2实施形态中的左上方框AZ的加法信号的生成、比率系数的计算、及R、G、B信号的生成的处理方法的图;
图9为表示选择第2实施形态中的3个方框AZ、BZ、DZ时的处理例的图;
图10为表示选择第2实施形态中的2个方框AZ、BZ时的处理例的图;
图11为表示选择第2实施形态中的倾斜配置的2个方框AZ、DZ时的处理例的图;
图12为表示选择第2实施形态中的4个方框AZ、BZ、CZ、DZ时的处理例的图;
图13为表示本发明实施形态中所用的色相关噪声降低方法的概要的图;
图14为表示本发明实施形态的传感器部中的光电转换特性和阈值电平的图。
具体实施方式
下面参照附图对本发明实施形态的固体摄像装置进行说明。在此,作为固体摄像装置以CMOS图像传感器为例。在说明时,贯穿于所有的附图中相同的部分采用相同的标号。
[第1实施形态]
首先,对含本发明第1实施形态的CMOS图像传感器的固体摄像装置进行说明。
图1为表示第1实施形态的固体摄像装置的概略结构的框图。如图1所示,固体摄像装置包括传感器部11、线存储器12、色相关RGB生成电路13、信号处理电路14、***定时产生电路(SG)15、命令解码器16、及串行接口(串行I/F)17。
在传感器部11中,配置有像素部111、及柱(column)型模数转换器(ADC)112。在像素部111中,像素(单元)以行和列的两维方式配置于半导体衬底上。各像素由光电转换机构(例如,光电二极管)和滤色器构成,在光电二极管的上部分别配置有R(红)、G(绿)、B(蓝)这3色的滤色器。滤色器排列呈RGB原色的拜尔(Bayer)排列。
在传感器部11中,采用RGB这3色的滤色器将由透镜18会聚的光信号分离成RGB光信号,通过配置成2维的光电二极管阵列,以光电变换方式将RGB光信号转换为信号电荷。该信号电荷通过柱型模数转换器(ADC)112转换成数字信号(R信号、G信号、B信号)。转换后的数字信号输出至线存储器12中,并在线存储器12内的存储器1~存储器5中存储垂直的5个线的量。在该存储器1~存储器5中所存储的数字信号分别并列地输入到色相关RGB生成电路13中。
在色相关RGB生成电路13中,由加法部131对从线存储器12中所输入的R信号、G信号、B信号进行加法计算,生成加法信号S。另外,在比率计算部132中,计算R信号、G信号、B信号的各自的平均值和将所平均的信号相加而形成的信号Save之间的比率系数。然后,在RGB生成部133中,根据加法信号S和已计算出的比率系数,新生成信号Rs、Gs、Bs作为像素排列的相同位置的信号。该处理替代现有技术的色分离内插电路。
之后,在RGB生成部133中处理的信号Rs、Gs、Bs输入至后级的信号处理电路14中。信号处理电路14中所输入的信号通过白平衡、轮廓强调、γ(gamma)校正、及RGB矩阵电路等进行处理,形成YUV信号或RGB信号等,作为数字信号DOUT0~DOUT7而输出。另外,上述传感器部11、线存储器12、色相关RGB生成电路13、及信号处理电路14的动作基于由***定时产生电路(SG)15所输出的时钟信号而进行。另外,命令还可以通过从外部输入的数据DATA而进行控制。在命令解码器16中,经由串行接口(串行I/F)17输入数据DATA,解码后的信号输入至各电路之中。
接下来对第1实施形态中的色相关RGB生成电路13的处理方法进行叙述。
图2为表示色相关RGB生成电路13中的处理方法的图。以5×5的像素排列的中心像素(目标(target)像素)为中心而进行3×3像素的滤波运算。通过加法部131,使中心像素的信号成为4倍,使上下左右的像素信号及角部的像素的信号成为1倍,取将它们合计的信号电平的1/3。将这样得到的信号作为3×3像素的加法信号S0。
然后,通过比率计算部132,在由如图2所示的RGB拜尔排列形成的5×5的像素信号中分别计算同色像素信号的平均值为R平均值Rave、G平均值Gave、B平均值Bave,并计算将各自平均值相加而形成的加法平均值Save。然后,通过RGB生成部133,利用加法信号S0和比率系数“Rave/Save”、“Gave/Save”、“Bave/Save”,按照下式生成新的信号Rs、Gs、Bs。
Rs=S0×(Rave/Save)
Gs=S0×(Gave/Save)
Bs=S0×(Bave/Save)
其中,通过生成加法信号S0,可以从加法信号S0降低随机噪声。而且,通过由加法信号S0生成信号Rs、Gs、Bs作为同位置的像素信号,可以抑制现有技术中的边缘导致的伪色。而且,尽管由于R、G、B信号的单独的随机噪声而在现有技术中产生色噪声,但是,由于通过由加法信号S0生成Rs、Gs、Bs信号,各Rs、Gs、Bs信号的随机噪声成分相同,所以不会产生色噪声。即仅产生亮度噪声(噪声中不带色)。
图3表示色相关RGB生成电路13的加法部131中的另一个加法处理方法。加法部131将5×5的像素排列分割成以中心像素(目标像素)为角部的由2×2的4个像素形成的4方框AZ、BZ、CZ、DZ。在4方框的各方框中,对2×2的4个像素的信号进行加法计算,生成信号Sa、Sb、Sc、Sd。然后,通过将该4个信号Sa、Sb、Sc、Sd平均化,即通过将信号Sa、Sb、Sc、Sd相加后除4,生成加法信号S0。后面的处理按照与上述同样的方式进行,采用加法信号S0和比率系数“Rave/Save”、“Gave/Save”、“Bave/Save”,生成新的信号Rs、Gs、Bs。
如以上描述那样,如果采用该第1实施形态,通过生成对像素信号进行相加的加法信号,可以降低随机噪声,能够使S/N提高。而且,通过由加法信号同时生成新的R、G、B信号,从而可以不用根据去马塞克(デモザイキング:Demosaicking)的伪色抑制电路,能够消除R、G、B信号的色偏移或RGB单像素导致的随机噪声的影响,所以能够抑制单色的色噪声。进一步,通过用于改善色再现性的彩色矩阵运算,即使生成了新的R、G、B信号,仍由1个加法信号而生成信号Rs、Gs、Bs,所以,各信号中含有的随机噪声为同相位。因此,即使通过彩色矩阵运算而对信号进行减法处理,噪声也不会增大。
[第2实施形态]
下面对本发明第2实施形态的含CMOS图像传感器的固体摄像装置进行说明。第2实施形态增加了用于改善图像边缘的分辨率的结构。其他的结构及效果和第1实施形态相同,就相同的部分采用相同的标号,并省略其说明。
图4为表示第2实施形态的固体摄像装置的概略结构的框图。在第2实施形态中,为了改善图像边缘的分辨率,在色相关RGB生成电路13内设置边缘检测电路134。进一步,为了判定边缘的信号,设置阈值电平设定电路19,将假定噪声电平的阈值电平LevN供向边缘检测电路134。生成加法信号的加法处理、及计算比率系数的比率计算处理将5×5的像素排列分离成3×3像素的4个方框而进行处理。
图5A、图5B、图5C、图5D、图5E及图5F为表示色相关RGB生成电路13的边缘检测电路134中的处理方法的图。如图5A所示,5×5的像素信号从线存储器12输入至边缘检测电路134。在边缘检测电路134中,在5×5的中心像素为R信号时,该R信号取为R0,如图5B所示,将5×5的像素信号分离成将中心像素的R0信号作为角部的4个方框。其中设左上为方框AZ、右上为方框BZ、左下为方框CZ、右下为方框DZ。
接着,如图5F所示,通过边缘检测电路134的差分判定部执行1像素差分判定方法。在中心像素为R0时,以R0为中心而分别计算差分信号R0-R1、R0-R2、R0-R3、R0-R4、R0-R5、R0-R6、R0-R7、R0-R8的绝对值。进一步,判定是否各自的绝对值比在阈值电平设定电路19中所设定的阈值电平LevN还小。然后,取属于各方框的3个判定的逻辑和(OR),作为在方框内是否存在边缘的最终判定。即,在各方块的3个判定中,全部比阈值电平LevN还小时,判定为该方框中不存在边缘,至少有一个等于或大于阈值电平LevN时,则判定为该方框中存在边缘。该方框内是否存在边缘的判定通过边缘检测电路134内的边缘判定部进行。
另外,在5×5的中心像素为B信号时,在边缘检测电路134中,将中心像素的B信号取为B0,如图5C所示,5×5的像素信号分离成将中心像素的B0信号作为角部的4个方框AZ、BZ、CZ、DZ。然后,同样,通过边缘检测电路134的差分判定部,执行1像素差分判定方法。在中心像素为B0时,以B0为中心分别计算差分信号B0-B1、B0-B2、B0-B3、B0-B4、B0-B5、B0-B6、B0-B7、B0-B8的绝对值。进一步,判定是否各自的绝对值比阈值电平LevN还小。然后,取属于各方框的3个判定的逻辑和(OR),作为在方框内是否存在边缘的最终判定。
另外,在5×5的中心像素为Gr信号时,在边缘检测电路134中,如图5D所示,5×5的像素信号分离成将中心像素的Gr信号作为角部的4个方框AZ、BZ、CZ、DZ。此外,在5×5的中心像素为Gb信号时,在边缘检测电路134中,如图5E所示,5×5的像素信号分离成将中心像素的Gb信号作为角部的4个方框AZ、BZ、CZ、DZ。之后的处理和上述一样。
图6A、图6B、图6C、图6D及图6E为表示方框内的差分判定中的其他的处理方法的图。该差分判定通过边缘检测电路134的差分判定部而进行。在此,如图6A所示,采用左上的3×3像素的方框AZ为例,将3×3像素的像素信号记为D1~D9进行说明。
首先,对2像素差分判定方法进行叙述。如图6B所示,以D5像素为中心选择对称的各2像素,判定取所选择的各2像素的各自的加法信号的差分的信号电平是否小于阈值电平LevN。然后,取4个判定的逻辑和(OR),作为方框的最终判定。
接下来,对3像素带差分判定方法进行叙述。如图6C所示,以D5像素为中心,对称选择排列成带状的各3像素,判定取所选择的各3像素的各自的加法信号的差分的信号电平是否小于阈值电平LevN。然后,取2个判定的逻辑和(OR),作为方框的最终判定。
另外,在3像素L字差分判定方法中,如图6D所示,以D5像素为中心,选择对称的呈L字形的各3像素,判定取所选择的各3像素的各自的加法信号的差分的信号电平是否小于阈值电平LevN。然后,取2个判定的逻辑和(OR),作为方框的最终判定。进一步,在4像素差分判定方法中,如图6E所示,选择各4像素,判定取所选择的各4像素的各自的加法信号的差分的信号电平是否小于阈值电平LevN。然后,取2个判定的逻辑和(OR),作为方框的最终判定。还可以采用上述判定方法中的多个判定方法进行方框的判定,也可以为了减少用于判定的电路,采用上述判定方法中的一个判定方法进行方框的判定。这样,通过采用2像素以上的加法信号可以降低随机噪声,能够进行高精度的判定。
图7表示利用边缘检测电路134判定方框AZ~DZ的例子。在差分信号电平比阈值电平小时(YES),即方框内不存在边缘时用○表示,在差分信号电平等于或大于阈值电平时(NO),即方框内存在边缘时用×表示。如图7所示,对4个方框AZ~DZ分别进行判定。如果利用这样的判定,即使在入射至图像部11的图像边缘仅存在于角部时,或者呈带状时,或者呈倾斜时,都可以判定是否存在边缘。
接着根据对4个方框的边缘判定结果,对图4所示的方框选择部135所选择的方框通过色相关RGB生成电路13进行如下的处理。
图8为以左上的方框AZ为代表,表示加法信号的生成、比率系数的计算及R、G、B信号的生成的处理方法的图。以3×3的像素排列的右下的中心像素(目标像素)为基准而进行2×2的像素信号的加法处理,生成加法信号S0。然后,在由如图8所示的RGB拜尔排列形成的3×3的像素信号中分别计算同色像素信号的平均值为Rave、Gave、Bave,并计算将平均值相加而得到的加法平均值Save。另外,根据像素位置还存在1像素的情况,在此,B像素的信号为1个。然后,按照下式生成新的信号Rs、Gs、Bs。
Rs=S0×(Rave/Save)
Gs=S0×(Gave/Save)
Bs=S0×(Bave/Save)
同样,还可以计算右上、左下、右下的方框BZ、CZ、DZ。在图7所示的判定结果中,在不存在边缘的方框为1个方框时,进行上述的处理,输出上述信号Rs、Gs、Bs。
图9为表示图5A中选择了3个方框AZ、BZ、DZ时的处理例的图。以5×5的像素排列的中心像素为基准而进行2×2的像素信号的加法处理,生成3个加法信号S0。另外,在由如图9所示的RGB拜尔排列形成的5×5的像素信号中计算有效L字配置的同色像素信号的平均值为Rave、Gave、Bave,并计算将平均值相加而形成的加法平均值Save。由于信号S0生成3个,所以将3个的平均值作为信号S。然后,按照下式生成新的信号Rs、Gs、Bs。
Rs=S×(Rave/Save)
Gs=S×(Gave/Save)
Bs=S×(Bave/Save)
同样,还可以计算其他的呈L字形的方框的情况。
图10为表示图5A中选择了2个方框AZ、BZ时的处理例的图。以5×5的像素排列的中心像素为基准而进行2×2的像素信号的加法处理,生成2个加法信号S0。另外,在由如图10所示的RGB拜尔排列形成的5×5的像素信号中计算有效同色像素信号的平均值为Rave、Gave、Bave,并计算将平均值相加而形成的加法平均值Save。由于信号S0生成2个,所以将2个的平均值作为信号S。然后,按照下式生成新的信号Rs、Gs、Bs。
Rs=S×(Rave/Save)
Gs=S×(Gave/Save)
Bs=S×(Bave/Save)
同样,还可以计算其他的2个方框的情况。
图11为表示图5A中选择了倾斜配置的2个方框AZ、DZ时的处理例的图。以5×5的像素排列的中心像素为基准而进行2×2的像素信号的加法处理,生成2个加法信号S0。另外,在由如图11所示的RGB拜尔排列形成的5×5的像素信号中计算有效同色像素信号的平均值为Rave、Gave、Bave,并计算将平均值相加而形成的加法平均值Save。由于信号S0生成2个,所以将2个的平均值作为信号S。然后,按照下式生成新的信号Rs、Gs、Bs。
Rs=S×(Rave/Save)
Gs=S×(Gave/Save)
Bs=S×(Bave/Save)
同样,还可以计算相反地倾斜配置的方框的情况。
图12为表示图5A中选择了4个方框AZ、BZ、CZ、DZ时的处理例的图。以5×5的像素排列的中心像素为基准而进行2×2的像素信号的加法处理,生成4个加法信号S0。然后,在如图12所示的RGB拜尔排列形成的5×5的像素信号中,计算出同色像素信号的平均值为Rave、Gave、Bave,并计算将平均值相加而形成的加法平均值Save。由于信号S0生成4个,所以将4个的平均值作为信号S。然后,按照下式生成新的信号Rs、Gs、Bs。
Rs=S×(Rave/Save)
Gs=S×(Gave/Save)
Bs=S×(Bave/Save)
图12所示的处理方法在边缘检测电路134中判定结果为0方框时,即不存在边缘的方框为0时也可以适用。在判定结果为0方框时,5×5像素的各信号电平零乱。因此,加上各自的2×2的像素信号的加法信号S也零乱。但是,通过计算出5×5像素中同色的像素信号的平均值,与加法信号S的比率计算而生成R、G、B信号,不会产生色噪声。由于亮度信号对应2×2的像素信号的加法信号S而变化,所以能够得到分辨率的信息。
[其他例]
在上述实施形态中,尽管以5×5像素排列进行了说明,但如果作为7×7像素排列,将方框内的加法信号的生成、及比率系数的计算增加为4×4像素,则可以实现进一步提高S/N,并且提高画质。
另外,在选择方框数为2方框~4方框和0方框的场合,尽管根据选择方框数而改变处理方法,但为了削减电路,也可以是,对于每一个方框,均计算由图8所示的1方框的处理而得到的各信号Rs、Gs、Bs,对应选择方框数,求得上述各信号Rs、Gs、Bs的平均值。或者,也可以是,由4方框的各信号S0和Rave、Gave、Bave的平均值生成处理新的信号Rs、Gs、Bs。另外,对于由方框选择部135进行的不存在边缘的方框的选择,还可以是,对4个方框的各差分信号进行比较而仅选择差分信号最小的1个方框,生成信号Rs、Gs、Bs。
另外,作为彩色照相机的S/N恶化的主要原因,有RGB矩阵电路。该电路为了改善RGB的色再现性,进行RGB的矩阵运算。
在该处理中,对于自身的颜色,减掉其他的2个颜色。即,通过减掉混入自身的颜色中的其它的2个颜色的量,从而提高自身颜色的纯度,改善色再现性。作为该混色要因有,滤色器自身的分光特性、直到图像传感器的光电二极管的光学串扰、硅衬底内的信号的扩散等要因。通过该减法处理,由于现有技术中R、G、B信号的噪声是随机的,所以,噪声量增加。另一方面,在本方式中,由于Rs、Gs、Bs信号的随机噪声为同一成分,所以具有根据减法处理降低随机噪声的效果。例如,在生成R信号时,在由于随机噪声而Rs信号变大时,信号Gs、Bs也变大。在矩阵运算中,由于R信号是从Rs信号中减去Gs、Bs成分,所以减掉了与大的随机噪声相应的大的信号。因此,R信号减去了更大的信号。反之,根据随噪声,在Rs信号变小时,信号Gs、Bs也变小。在矩阵运算中,R信号尽管是从Rs信号中减去Gs、Bs成分,但与小的随噪声相应地,减去小的信号。因此,R信号中信号的降低小。这样,具有减小R信号的随机噪声的效果。同样,G、B信号的随机噪声也变小。
另外,作为彩色照相机的课题,存在由于光学透镜的色差而在像的边缘上存在伪色这样的课题。该色差是由于光学透镜引起的RGB光的折射率的不同而产生的。在本实施形态的方框判定中,通过执行根据仅G信号的差分信号的判定,可以忽略边缘的R、B信号,通过周边像素的比率系数的计算,生成Rs、Gs、Bs信号,所以,能够抑制边缘的伪信号。
另外,作为彩色照相机的课题,产生在对细而高频的图案进行拍摄时在低频中颜色附着的莫尔条纹(モワレ)。其原因在于,由于RGB像素的像素间距和被摄体的信号间距的相位不一致,由此入射至像素的信号量发生变化,产生跃动状伪色信号的缘故。但是,在本实施形态的加法信号的生成中,由于高频成分降低,从加法信号生成Rs、Gs、Bs信号,因此不产生仅R信号或B信号增强(伪色)的信号,Rs、Gs、Bs信号同时变化,所以仅亮度信号发生变化。因此,可以抑制构成现有技术的课题的莫尔条纹而导致的伪色着色。
另外,在本实施形态中,即使对于滤色器排列不同的图像传感器,通过在生成R、G、B信号之后,由同样的加法信号的生成和R、G、B信号的比率计算生成新的Rs、Gs、Bs信号,也可以得到同样的效果。另外,在本实施形态中,并非仅限于CMOS图像传感器,还可以适用其它的CCD图像传感器或层叠了光电转换膜的层叠型图像传感器。另外,还可以采用专用的ISP(图像信号处理器)而进行处理。
下面就本发明实施形态中所用的色相关噪声降低方法的概要进行叙述。图13为表示色相关噪声降低方法的图。在此,以从3种被摄体得到的输出信号为例。如果将从3种被摄体得到的信号分别表示为R、G、B信号,则将会呈图13所示(A)的样子。然后,如图13的(B)所示,对于各被摄体,将R信号、Gr信号、B信号、Gb信号相加,生成加法信号S。另外,如图13的(C)所示,对各被摄体,计算对多个同色像素进行平均的Rave信号、Gave信号、Bave信号和将各自平均值相加而形成的加法平均值Save的比率系数。然后,将在图13的(B)中求得的加法信号S与在图13的(C)中求得的比率系数相乘,生成新的R、G、B信号。通过这样的处理,可以降低随机噪声,能够使S/N提高。而且能够降低色伪信号和色噪声。
下面对上述实施形态中的阈值电平设定电路19中的阈值电平LevN的设定方法进行叙述。图14为表示传感器部11中的光电转换特性和阈值电平的图。如果入射至传感器部11的光量变大,则来自传感器部11的输出信号变大。随着该输出信号的增加,光散粒噪声(shot noise)也增加。光散粒噪声按照光量的平方根产生。另外,在入射至传感器部11的入射光为低光量时,电路噪声比光散粒噪声处于支配性地位。所以,将假定噪声电平的阈值电平LevN的值控制为在低光量时为假定了电路噪声的值,在光量大时与光散粒噪声相一致而变大。通过如此控制,可以有效抑制随机噪声。另外,亮度信号由Y=0.59G+0.3R+0.11B的比而生成。因此,如果将阈值电平LevN设定得在对亮度信号的贡献效果小的R和B进行噪声抑制处理时大,则可以使R和B的随机噪声的抑制效果变大。
另外,如果根据RGB的各信号量以和白平衡的增益比相一致的方式设定阈值电平LevN,则可有更好的效果。另外,在由于透镜的光学特性而需更进行黑点(shading)校正时,相对画面中心,越是位于上下左右、角部,在数字增益中越将信号放大。因此,上下左右、角部的随机噪声增加。因此,如果将阈值电平LevN以与该增益一致的方式在上下左右、角部增大,则可以增加噪声的抑制效果,能够改善画质。这样,通过根据信号量、画面位置、色信息、增益信息等而对阈值电平LevN进行适当地变更,可以进一步提高画质。
如上所述,根据本发明的实施形态,能够提供一种不但可以抑制R信号、G信号、B信号的色伪信号,而且还可以降低噪声的固体摄像装置。具体来说,在本实施形态中,通过将R信号、G信号、B信号相加而生成加法信号。而且,由加法像素的周边像素的色信息而计算色比率,由加法信号生成新的R、G、B信号,从而能够同时执行去马塞克处理。这样,通过对像素信号进行相加而生成加法信号,能够使S/N提高。进一步,可以提供一种通过由加法信号同时生成新的R信号、G信号、B信号,从而抑制R、G、B信号的色偏移或色噪声的高画质的摄像装置。
根据本发明的实施形态,能够提供一种不但可以抑制R信号、G信号、B信号的色伪信号,而且还可以降低噪声的固体摄像装置。
另外,上述的各实施形态不但可以各自单独实施,而且还可以进行适当的组合来实施。而且,上述各实旋形态中含各种阶段的发明,通过对各实施形态中公开的多个构成更件进行适当的组合,还可以抽取到各种阶段的发明。
本领域技术人员容易想到其它优点和变更方式。因此,本发明就其更宽的方面而言不限于这里示出和说明的具体细节和代表性的实施方式。因此,在不背离由所附的权利要求书以及其等同物限定的一般发明概念的精神和范围的情况下,可以进行各种修改。
Claims (15)
1.一种固体摄像装置,包括:
将在光电转换元件中分别配置有至少R(红)、G(绿)、B(蓝)滤色器的像素以矩阵状二维配置的像素部,上述像素部输出对入射至对应于上述滤色器的至少R像素、G像素、B像素的光分别进行光电转换而得到的R信号、G信号、B信号;
加法部,在上述像素部中确定将某像素作为中心像素的规定区域,将来自上述中心像素和配置于上述规定区域内的上述规定像素的周边的周边像素的上述规定区域的信号相加,生成加法信号;
比率计算部,计算来自上述规定区域内的像素的上述R信号、G信号、B信号的各自的平均值和将上述R信号、G信号、B信号的各平均值相加而得到的加法平均值之间的比率系数;及
RGB生成部,利用上述加法信号和由上述比率计算部计算出的上述比率系数,生成新的R信号、G信号、B信号。
2.如权利要求1所述的固体摄像装置,其中,
上述RGB生成部将上述加法信号和比率系数相乘而分别生成上述新的R信号、G信号、B信号。
3.如权利要求2所述的固体摄像装置,其中,
上述加法部将来自配置成矩阵状的2×2的4个像素、3×3的9个像素或者5×5的个25像素的信号相加。
4.如权利要求3所述的固体摄像装置,其中,
上述加法部对来自3×3的9个像素或者5×5的25个像素的中心像素的信号乘以规定系数并相加。
5.如权利要求1所述的固体摄像装置,其中,
上述加法部以使RGB的信号比率成为R∶G∶B=1∶1∶1的方式对各RGB信号乘以系数并将各信号相加。
6.如权利要求2所述的固体摄像装置,进一步包括:
检测入射至上述图像部的图像的边缘信号的边缘检测部。
7.如权利要求6所述的固体摄像装置,其中,
上述边缘检测部包括差分判定部,该差分判定部将上述规定区域分割成由含上述中心像素的多个像素形成的4个方框,在上述4个方框的各方框内对含上述中心像素的信号和其他的同色像素的信号之间的差分与规定值进行比较以判定大小。
8.如权利要求7所述的固体摄像装置,进一步包括:
方框选择部,根据上述差分判定部的判定结果从上述4个方框中选择方框。
9.如权利要求1所述的固体摄像装置,其中:
上述加法部对以配置成矩阵状的5×5的像素排列的中心像素为中心的3×3的像素排列进行滤波运算,求得加法信号;
从配置于上述中心像素的周边的5×5的像素排列计算出上述R信号、G信号、B信号的各自的平均值。
10.如权利要求9所述的固体摄像装置,其中,
上述滤波运算在上述3×3的像素排列中,使中心像素的信号成为4倍,使相对上述中心像素配置于行方向、列方向的像素的信号成为2倍,使配置于角部的像素的信号成为1倍,使这些上述信号合计的信号成为1/4。
11.如权利要求9所述的固体摄像装置,其中,
上述滤波运算在上述3×3的像素排列中,使中心像素的信号成为4倍,使配置于上述中心像素的周边的8个像素的信号成为1倍,使这些上述信号合的信号成为1/3。
12.如权利要求1所述的固体摄像装置,其中,
上述加法部将配置成矩阵状的5×5的像素排列分割成,由将其中心像素作为角部的3×3的像素排列形成的4个方框;
选择上述4个方框的至少1个方框,将含中心像素的2×2的4个像素的信号相加。
13.如权利要求11所述的固体摄像装置,其中,
以使含上述中心像素的2×2的信号比率成为R∶G∶B=1∶1∶1的方式乘以系数并相加。
14.如权利要求1所述的固体摄像装置,进一步包括:
信号处理电路,该信号处理电路接收由上述RGB生成部所生成的R信号、G信号、B信号,进行白平衡、轮廓强调、γ校正、及RGB矩阵电路中的至少一种处理。
15.如权利要求1所述的固体摄像装置,其中,
上述光电转换机构含光电二极管。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007-016893 | 2007-01-26 | ||
JP2007016893A JP4966035B2 (ja) | 2007-01-26 | 2007-01-26 | 固体撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101291437A true CN101291437A (zh) | 2008-10-22 |
CN101291437B CN101291437B (zh) | 2015-04-08 |
Family
ID=39667495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200810100394.2A Expired - Fee Related CN101291437B (zh) | 2007-01-26 | 2008-01-25 | 固体摄像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8228407B2 (zh) |
JP (1) | JP4966035B2 (zh) |
CN (1) | CN101291437B (zh) |
TW (1) | TWI373965B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106920217A (zh) * | 2015-12-25 | 2017-07-04 | 展讯通信(上海)有限公司 | 图像矫正的方法及装置 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100976284B1 (ko) | 2007-06-07 | 2010-08-16 | 가부시끼가이샤 도시바 | 촬상 장치 |
JP2010288150A (ja) * | 2009-06-12 | 2010-12-24 | Toshiba Corp | 固体撮像装置 |
TWI420124B (zh) * | 2009-09-23 | 2013-12-21 | Realtek Semiconductor Corp | 邊緣檢測裝置以及應用於邊緣檢測裝置的運算電路 |
JP4881987B2 (ja) * | 2009-10-06 | 2012-02-22 | キヤノン株式会社 | 固体撮像装置および撮像装置 |
CN102129678A (zh) * | 2010-01-12 | 2011-07-20 | 鸿富锦精密工业(深圳)有限公司 | 影像特征模型建立***及方法以及应用其的影像处理*** |
WO2011118071A1 (ja) * | 2010-03-25 | 2011-09-29 | 富士フイルム株式会社 | 画像処理方法および装置,ならびに画像処理プログラムおよびこのプログラムを記録した媒体 |
JP2012191465A (ja) * | 2011-03-11 | 2012-10-04 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP5895195B2 (ja) | 2012-03-13 | 2016-03-30 | パナソニックIpマネジメント株式会社 | ノイズ削減装置およびノイズ削減方法 |
JP6014349B2 (ja) * | 2012-04-10 | 2016-10-25 | キヤノン株式会社 | 撮像装置、制御方法、及びプログラム |
CN104412579B (zh) * | 2012-07-06 | 2016-08-24 | 富士胶片株式会社 | 彩色摄像元件以及摄像装置 |
JP5698875B2 (ja) * | 2012-07-06 | 2015-04-08 | 富士フイルム株式会社 | カラー撮像素子および撮像装置 |
KR102025184B1 (ko) * | 2013-07-31 | 2019-09-25 | 엘지디스플레이 주식회사 | 데이터 변환 장치 및 이를 이용한 디스플레이 장치 |
JP6287058B2 (ja) * | 2013-10-24 | 2018-03-07 | 株式会社リコー | 縮小光学系用の光電変換素子、画像読取装置、画像形成装置及び画像読取方法 |
JP6316043B2 (ja) * | 2014-03-19 | 2018-04-25 | キヤノン株式会社 | 装置、方法、及びプログラム |
CN105245864A (zh) * | 2015-09-09 | 2016-01-13 | 南京理工大学 | 一种摄像机白平衡的处理方法 |
JP2018093284A (ja) * | 2016-11-30 | 2018-06-14 | マクセル株式会社 | 可視近赤外同時撮像装置 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US16205A (en) * | 1856-12-09 | Machine eoe | ||
US134713A (en) * | 1873-01-07 | Improvement in compounds for use in tobacco-pipes | ||
US200773A (en) * | 1878-02-26 | Improvement in book-shelves | ||
US114526A (en) * | 1871-05-09 | Improvement in stalk-pullers | ||
JPH04235472A (ja) | 1991-01-09 | 1992-08-24 | Canon Inc | 撮像装置 |
JP2951461B2 (ja) | 1991-12-16 | 1999-09-20 | 日本電気ホームエレクトロニクス株式会社 | カラービデオカメラ |
JP3503372B2 (ja) | 1996-11-26 | 2004-03-02 | ミノルタ株式会社 | 画素補間装置及びその画素補間方法 |
JPH11220751A (ja) * | 1998-02-02 | 1999-08-10 | Mitsubishi Electric Corp | 撮像装置 |
JP4239234B2 (ja) * | 1998-04-16 | 2009-03-18 | 株式会社ニコン | 電子スチルカメラ |
JP2000197067A (ja) * | 1998-12-28 | 2000-07-14 | Fuji Photo Film Co Ltd | 固体撮像装置および画像デ―タ作成方法 |
JP3803950B2 (ja) * | 1999-03-04 | 2006-08-02 | 株式会社リコー | 画像合成処理方法、画像合成処理装置及び記録媒体 |
JP2001036809A (ja) * | 1999-07-16 | 2001-02-09 | Fuji Photo Film Co Ltd | 固体撮像装置および画像処理方法 |
US6628330B1 (en) * | 1999-09-01 | 2003-09-30 | Neomagic Corp. | Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera |
JP2001245307A (ja) | 2000-03-01 | 2001-09-07 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP4210021B2 (ja) | 2000-06-21 | 2009-01-14 | 富士フイルム株式会社 | 画像信号処理装置および画像信号処理方法 |
US7196724B2 (en) * | 2000-12-08 | 2007-03-27 | Nikon Corporation | Image signal processing device, digital camera and computer program product that perform white balance adjustment using pixel outputs from extracted areas |
JP3850241B2 (ja) | 2001-07-19 | 2006-11-29 | シャープ株式会社 | 照明装置およびそれを用いた液晶表示装置 |
JP4451044B2 (ja) * | 2002-02-21 | 2010-04-14 | 株式会社メガチップス | 混成画素補間装置および混成画素補間方法 |
JP4235472B2 (ja) | 2002-04-08 | 2009-03-11 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、プログラム及び記憶媒体 |
JP2004172859A (ja) * | 2002-11-19 | 2004-06-17 | Sony Corp | 撮像装置および撮像方法 |
JP2005167874A (ja) * | 2003-12-05 | 2005-06-23 | Sanyo Electric Co Ltd | 固体撮像素子及び画像信号処理装置 |
US7440016B2 (en) | 2003-12-22 | 2008-10-21 | Hewlett-Packard Development Company, L.P. | Method of processing a digital image |
US7502505B2 (en) | 2004-03-15 | 2009-03-10 | Microsoft Corporation | High-quality gradient-corrected linear interpolation for demosaicing of color images |
JP4167200B2 (ja) | 2004-04-13 | 2008-10-15 | 富士フイルム株式会社 | 信号処理装置、信号処理方法及びデジタルカメラ |
JP4840740B2 (ja) | 2004-12-01 | 2011-12-21 | 株式会社メガチップス | 画素補間方法および画像判定方法 |
US8049789B2 (en) * | 2006-12-15 | 2011-11-01 | ON Semiconductor Trading, Ltd | White balance correction using illuminant estimation |
-
2007
- 2007-01-26 JP JP2007016893A patent/JP4966035B2/ja not_active Expired - Fee Related
-
2008
- 2008-01-24 TW TW097102636A patent/TWI373965B/zh not_active IP Right Cessation
- 2008-01-24 US US12/019,173 patent/US8228407B2/en not_active Expired - Fee Related
- 2008-01-25 CN CN200810100394.2A patent/CN101291437B/zh not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106920217A (zh) * | 2015-12-25 | 2017-07-04 | 展讯通信(上海)有限公司 | 图像矫正的方法及装置 |
CN106920217B (zh) * | 2015-12-25 | 2020-06-02 | 展讯通信(上海)有限公司 | 图像矫正的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4966035B2 (ja) | 2012-07-04 |
US20080180556A1 (en) | 2008-07-31 |
CN101291437B (zh) | 2015-04-08 |
JP2008187274A (ja) | 2008-08-14 |
TW200836555A (en) | 2008-09-01 |
TWI373965B (en) | 2012-10-01 |
US8228407B2 (en) | 2012-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101291437B (zh) | 固体摄像装置 | |
JP6725613B2 (ja) | 撮像装置および撮像処理方法 | |
US9225948B2 (en) | Pixel interpolation apparatus, imaging apparatus, pixel interpolation processing method, integrated circuit, and non-transitory computer readable storage medium | |
CN101247529B (zh) | 固体摄像装置 | |
CN101321295B (zh) | 摄像装置 | |
CN101282485B (zh) | 图像处理装置 | |
KR101012537B1 (ko) | 고체 이미지 센서 | |
TWI737979B (zh) | 圖像去馬賽克裝置及方法 | |
CN101006731A (zh) | 图像处理装置及图像处理方法、摄像装置以及计算机程序 | |
CN101690242A (zh) | 固态图像传感装置 | |
JPH10341447A (ja) | 画像信号処理装置 | |
JP5698875B2 (ja) | カラー撮像素子および撮像装置 | |
US9160937B2 (en) | Signal processing apparatus and signal processing method, solid-state imaging apparatus, electronic information device, signal processing program, and computer readable storage medium | |
CN101473659B (zh) | 摄像装置以及信号处理方法 | |
US20130077858A1 (en) | Image processing module and image processing method | |
US20160269693A1 (en) | Pixel interpolation apparatus, imaging apparatus, pixel interpolation processing method, and integrated circuit | |
US9251602B2 (en) | Pixel interpolation apparatus, imaging apparatus, pixel interpolation processing method, integrated circuit, and non-transitory computer readable storage medium | |
KR100996797B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 화상 처리를 달성하는프로그램 | |
JP4334151B2 (ja) | 画像補間装置 | |
JPH09266544A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150408 Termination date: 20170125 |
|
CF01 | Termination of patent right due to non-payment of annual fee |