CN102224736A - 摄像装置 - Google Patents

Abstract

采用具有两种2×2像素的彩色滤光器模式的彩色滤光器阵列。模式A(201)是相对于G的彩色滤光器降低了R与B的彩色滤光器的透过率的模式，模式B(202)是相对于R与B的彩色滤光器降低了G的彩色滤光器的透过率的模式。据此，在用于运动图像摄像的相邻4个像素混合时生成不同的三种以上的色彩，在用于静止图像摄影的全部像素独立读出时通过对摄像元件的输出进行修正能够生成与RGB拜耳滤光器等价的输出。

Description

摄像装置

技术领域

本发明涉及数码相机(DSC)、摄录机(video movie)、移动电话等使用的摄像装置，尤其涉及处理静止图像与运动图像这两者的摄像装置。

背景技术

近年来，在DSC、摄录机、移动电话等中，处理静止图像与运动图像这两者的摄像设备正在增加。静止图像与运动图像所要求的像素数不同，因此在这些摄像设备中在运动图像时对摄像元件的像素进行间隔抽取(間引ㄑ)或混合等处理，由此减少像素数，同时实现运动图像所要求的较高的帧速。

在专利文献1中，公开了混合同色像素，例如将像素数减少至1/9的技术。为了混合同色像素进行跳越像素混合，通过改进CCD型摄像元件的电极来实现，同时在水平和垂直方向上进行奇数像素混合，据此确保混合后的重心的均匀性。

同色像素混合在混合后仍得到与混合前相同的颜色，但是，仅进行同色的彩色滤光器的像素的混合，因此存在受到彩色滤光器模式的制约，难以进行自由混合的问题。

专利文献2中公开了异色像素混合技术。这是在CCD型摄像元件中改进彩色滤光器，由此在异色像素混合中也能实现彩色化的技术。尤其是，以往的RGB拜耳(Bayer)阵列的彩色滤光器是2×2像素的模式，因此混合相邻4个像素只能得到一种颜色，而公开了使用3×1像素或3×2像素的模式进行彩色化的方法。

专利文献3中公开了扩大静止图像摄影时的动态范围的技术。该技术为：在n为2以上的整数时，在摄像元件上以像素为单位按照方格图案粘贴将来自透镜的入射光截至1/n的减光滤光器，将从该摄像元件输出的图像数据中与减光滤光器有关的像素的数据变为n倍，并与周围的像素进行平均化。

专利文献1：JP特开2004-312140号公报

专利文献2：JP特开2003-116061号公报

专利文献3：JP特开2002-112110号公报

若改变彩色滤光器阵列，则不仅是在混合后，在混合前的静止图像时，也变得无法使用与以往的彩色滤光器对应的图像处理方法。以往，在一般的DSC中使用RGB拜耳阵列的彩色滤光器，利用与其对应的图像处理得到Y(亮度)信号以及C(色差)信号，将其以JPEG方式进行压缩以得到存储图像，一般采用上述原理。

RGB拜耳方式是历史最悠久的单芯片照相机的彩色化方法，它的高画质化技术的积累成为大量技术资产，舍弃该方法会产生很大的不利。尤其是，考虑到要求高画质的静止图像处理，希望混合前的图像处理能够使用RGB拜耳处理。

另一方面，异色像素混合由于混合不同色彩，因而原理上存在色彩变淡的缺点，所谓的色彩调制度降低的缺点，具体而言是从混合后的信号得到的各色信号变小的缺点。因此，在图像处理中必须对色彩信号进行放大。放大不仅对信号进行放大，还对噪声进行放大，产生色彩S/N恶化的问题。为了实现色彩S/N的提高，一直以来设计用于抑制噪声的噪声抑制技术，此处色彩S/N的问题不作为对象。但是，色彩调制度的降低还带来伪色的增加的问题。即，在单芯片照相机的彩色化中，使用设置了在空间上配置在不同位置处的不同的色彩滤光器的像素的信号，因此产生将被摄物的明暗图案误判断为色彩，生成本来不存在的色彩的问题。同时还具有色彩信号的放大进一步使该伪信号增加的缺点。

发明内容

本发明鉴于上述问题而作，目的是提供具有如下特征的新的彩色滤光器模式及其处理方法，即在实现上述异色像素混合时的彩色化时，仅添加简单的修正处理就能在全像素独立读出时使用以往的RGB拜耳处理。

除此以外，提供扩大动态范围这一新价值也是本发明的目的。

本发明的另一目的在于，为了实现运动图像与静止图像的兼顾，防止在摄像元件中进行异色像素混合的情况下成为重大问题的色彩调制度的降低所引起的伪信号的产生。

用于解决问题的手段

为了实现上述目的，基于本发明的第一观点的摄像装置的特征在于包括：摄像元件，为了对被摄物的像进行光电转换，具有在水平方向以及垂直方向上作为各个像素排列的多个光电转换部；混合部，用于混合并输出所述摄像元件的水平方向以及垂直方向上相邻的4个像素的电荷；以及控制部，用于选择控制不进行所述4个像素混合而独立输出全部像素的信号的动作方式与输出所述4个像素混合后的信号的动作方式；在所述两种方式的任一种中都能取得三种以上的独立的色彩信号的彩色滤光器阵列设置在所述摄像元件中；该摄像装置还包括修正部，在独立输出所述全部像素的信号的动作方式时修正所述摄像元件的输出，以便能够进行RGB拜耳处理。

具体而言，其特征在于，彩色滤光器阵列是对RGB拜耳阵列以指定的模式对透过率给予了调制的阵列。

另外，具有如下特征，即修正部以像素为单位施加增益，以抵消对RGB拜耳阵列给予的指定的透过率的调制模式，通过这种简单的方法能够进行通常的RGB拜耳处理。

另外，在彩色滤光器阵列上的透过率较高的像素已饱和的情况下，仅使用未饱和的像素进行插值后，进行RGB拜耳处理，据此能够实现动态范围的扩大。

另外，具有如下特征，即在4个像素混合时，以在垂直方向上混合的2行为单位，逐行改变水平方向的2个像素的混合的组合，由此能够得到独立的三种色彩以上的色彩信号，在相邻4个像素混合时也能实现彩色化。

另外，基于本发明的第二观点的摄像装置的特征在于包括：摄像元件，为了对被摄物的像进行光电转换，具有在水平方向以及垂直方向上作为各个像素排列的多个光电转换部，并且为了得到彩色图像，使特定的色彩通过的彩色滤光器设置在每个光电转换部中；像素混合部，用于混合并输出所述多个像素的电荷；以及混合组合改变部，改变像素混合的组合；通过改变混合的组合，在混合后的信号中，在水平以及垂直或倾斜方向上相邻的信号的差值的正负在同一位置处发生反转。

具体而言，所述混合组合改变部对每帧改变组合。而且，还包括：色彩信号计算部，用于通过在混合后的信号中取得在水平以及垂直或倾斜方向上相邻的信号的差而得到色彩信号；色彩信号帧存储器，将该色彩信号计算部的输出存储一帧；以及帧间色彩信号减法计算部，执行存储的前一帧的色彩信号与输入的当前帧的色彩信号的减法计算。

(发明效果)

基于本发明的第一观点的摄像装置具有相邻4个像素混合方式和全部像素独立读出方式，因而在静止图像时能够使用全部像素生成高精细的图像，在运动图像时能够利用相邻4个像素混合提高帧速以得到运动图像。静止图像时利用简单的修正处理能够变换为与以往的RGB拜耳阵列等价的彩色滤光器模式，能够原样使用在此之前的高画质化技术，能够简单地得到与以往相同的高画质静止图像。除外还能进行动态范围的扩大，因此能够得到比以往更好的高画质静止图像。另外，运动图像时混合相邻的4个像素，因而能够简化摄像元件的混合部，并且像素混合的范围与同色像素混合时相比较窄，因此频率特性优越，能够实现分辨率高于以往的运动图像。

基于本发明的第二观点的摄像装置对每帧改变像素混合的组合，据此在混合后的信号中，在水平以及垂直或倾斜方向上相邻的信号的差值的正负在同一位置处发生反转，通过包括：色彩信号计算部，作为色彩信号生成该差值；色彩信号帧存储器，存储一帧的色彩信号；以及帧间色彩信号减法计算部，执行存储的前一帧的色彩信号与输入的当前帧的色彩信号的减法计算；在同一位置处色彩信号变为反转关系，利用这些色彩信号的减法计算将色彩信号放大至2倍，同时抵消时间上相关性高的被摄物的明暗图案所产生的影响，据此能够有效地抑制由被摄物的明暗图案引起的伪色的产生。尤其是，在色彩调制度降低的异色像素混合中有用性非常高。

附图说明

图1是表示本发明的实施方式所涉及的摄像装置的整体结构的模块图。

图2是图1中的摄像元件的彩色滤光器阵列图。

图3是图1中的数字信号处理部的用于进行静止图像处理的结构图。

图4是图3中的增益修正部的动作说明图。

图5是根据图2的结构的动态范围扩大的概略说明图。

图6是根据图2的结构的动态范围扩大的详细说明图。

图7是图3中的高亮度插值部的动作说明图。

图8是图1的摄像装置的运动图像摄影时的色彩信号提取处理的说明图。

图9是相邻像素混合与跳越像素混合的频率特性比较图。

图10是图1中的摄像元件的另一彩色滤光器阵列图。

图11是图1的摄像装置的运动图像摄影时的色彩信号生成方法的说明图。

图12是与图11相比改变了像素混合的组合的图。

图13是表示在存在被摄物的明暗图案的情况下的色彩信号例子的图。

图14是与图13相比改变了像素混合的组合的图。

图15是图1中的主要部分的详细结构图。

具体实施方式

图1表示作为本发明的实施方式所涉及的摄像装置的数码相机(DSC)的整体结构。该DSC由光学***的透镜101、CCD等摄像元件102、摄像元件驱动部103、模拟信号处理部104、模拟/数字转换部105、数字信号处理部106、图像压缩延伸部107、图像存储部108、以及图像显示部109构成。

根据图1的DSC，透过透镜101的被摄物的像在摄像元件102上成像。摄像元件102由摄像元件驱动部103驱动以进行光电转换，输出摄像信号。接着，模拟信号处理部104进行噪声除去、放大等处理，模拟/数字转换部105将摄像信号转换为数字信号。数字信号处理部106输入数字化了的摄像信号，生成由亮度信号(Y)与色彩信号(C)构成的图像信号。取得该图像信号的图像显示部109显示图像。图像压缩延伸部107与该图像显示并行地压缩从数字信号处理部106接收的图像信号，压缩了的图像数据被存储到图像存储部108中。该图像存储部108中存储的图像数据还能由图像压缩延伸部107进行延伸，经由数字信号处理部106在图像显示部109中再生图像。

以下，说明图1的DSC的静止图像摄影模式与运动图像摄影模式各自的动作。

<静止图像摄影模式>

静止图像摄影模式是独立输出摄像元件102的全部像素的信号的“全像素读出”模式。通过摄像元件驱动部103进行的摄像元件102的读出方法已经是公知的技术，因此不再进行详细的说明。

图2中表示本发明的摄像元件102的彩色滤光器阵列。采用由以2×2像素为单位的两种模式构成的4×2像素作为基本阵列。两种模式基本上采用RGB拜耳阵列，但对透过率进行了改变。201所示的模式A中，G像素为通常的透过率，但使R与B像素的透过率变为1/2。202所示的模式B中，R与B像素为通常的透过率，但使G像素的透过率变为1/2。并且，在某两行中以模式A、模式B、模式A的顺序进行滤光器配置，在接下来的两行中在水平方向上错开两个像素，以模式B、模式A、模式B的顺序进行滤光器配置。

从摄像元件102输出的信号经过模拟信号处理部104以及模拟/数字转换部105，输入到数字信号处理部106中。

图3中表示数字信号处理部106的用于进行静止图像处理的结构例。在以往的RGB拜耳处理部304的基础上，追加增益修正部301、高亮度插值部302、以及合成部303。

图4中表示增益修正部301的处理。在模式A中将R像素与B像素放大至2倍，在模式B中将G像素放大至2倍。据此，与通常的RGB拜耳阵列等价，因此能够使用以往的RGB拜耳处理部304。

图5是表示作为附加功能的动态范围扩大的原理的图。横轴是输入到摄像元件102的输入曝光量，纵轴是摄像元件102的输出。在通常的透过率的彩色滤光器中，输入与输出的关系为曲线401。即，在低亮度侧的区域X中输出相对于输入曝光量成比例增加，但在高亮度侧的区域Y中输出等于饱和设定水平403，成为固定输出。与此相对，在1/2的透过率的彩色滤光器中，与曲线401相比斜率变为1/2，成为在区域X以及区域Y中单调增加的曲线402。即，考虑到输出的饱和设定水平403，在通常的RGB拜耳阵列中只能再现区域X的曝光域，但在本发明的方式的情况下，区域Y的曝光域也能再现，动态范围变为2倍。

图6中表示具体的处理。1/2的透过率的彩色滤光器的输出(曲线402)利用增益修正部301放大至2倍，成为曲线501。在区域X中使用通常的透过率的彩色滤光器与1/2的透过率的彩色滤光器这两者的输出，进行通常的拜耳处理以生成图像。在区域Y中通常的透过率的彩色滤光器饱和，无法使用，因此仅使用1/2的透过率的彩色滤光器的输出来生成图像。因此，需要进行由图3所示的高亮度插值部302进行的插值处理，如图7所示以2×2像素的模式为单位进行插值处理，生成全部像素。另外，通常重视中间灰度，高亮度部利用所谓的Knee处理进行压缩，因而表示输入与输出的关系的曲线的斜率变小，结果是作为整体变为曲线502。据此，能够实现大于饱和设定水平403的输出最大值504。如上所述分别在区域X以及区域Y中合成图像并进行输出，这是合成部303的作用。

<运动图像摄影模式>

运动图像摄影模式是混合相邻的4个像素并进行读出的模式。在本发明中，通过所述彩色滤光器阵列与像素混合的组合，在相邻4个像素混合时也能得到三种以上的色彩，这是最大的特征。

在摄像元件102以及摄像元件驱动部103中进行相邻4个像素混合的具体方法是公知的，尤其是CCD型摄像元件的详细方法记载在专利文献2中，因而不再进行说明。

图8中表示本发明的相邻4个像素混合时的色彩信号生成方法。逐行切换使用模式A(601)、模式B(602)进行混合的方式与在水平方向上错开一个像素使用模式C(603)、模式D(604)进行混合的方式。并且上下取得差。

这样，如图8所示，依次得到4种色差信号605，即：

(1)模式A-模式C＝(2G+0.5R+0.5B)-(1.5G+R+0.5B)＝-0.5(R-G)

(2)模式B-模式C＝(G+R+B)-(1.5G+R+0.5B)＝0.5(B-G)

(3)模式B-模式D＝(G+R+B)-(1.5G+0.5R+B)＝0.5(R-G)

(4)模式A-模式D＝(2G+0.5R+0.5B)-(1.5G+0.5R+B)＝-0.5(B-G)

按每个像素得到R系与B系的色差信号，并且每两个像素这些值进行反转。据此，在进行相邻4个像素混合的运动图像摄影时也能实现彩色化。

此外，在图8中使用箭头，示意性地表示色差信号的产生。利用由箭头连接的混合后的像素间的计算产生色差信号，箭头所示那一侧的混合的像素为正的要素。

如图9所示，相邻像素混合比跳越像素混合的频率特性更优，具有在运动图像时也能够实现高分辨率的特征。在相邻像素混合时成为以奈奎斯特(nyquist)频率(f0)为零点的低通滤波器(曲线701)，而在1像素跳越的像素混合时成为以1/2奈奎斯特频率(f0/2)为零点的低通滤波器(曲线702)，因而1/2奈奎斯特频率(f0/2)附近的高域信号丢失。

此外，在本实施方式中，作为透过率的具体的调制方法，仅说明了以一定的模式配置1/2透过率的像素的例子，但透过率不限于1/2，另外，配置模式也不限于本实施方式，在不脱离本发明的主旨的范围内能够得到各种实施方式。

图10中表示摄像元件102的另一彩色滤光器阵列图。与图2的例子同样，在图10中，仍然采用由以2×2像素为单位的两种模式构成的4×2像素作为基本阵列。201所示的模式A中，G像素为通常的透过率，但使R与B像素的透过率变为1/2。202所示的模式B中，R与B像素为通常的透过率，但使G像素的透过率变为1/2。但是，与图2的例子不同，在任意两行中，均不在水平方向上错开，始终以模式A、模式B、模式A的顺序进行滤光器配置。

在采用图10所示的彩色滤光器阵列的情况下，也能在独立读出全部像素的静止图像摄影模式中，仅追加用于抵消透过率的变动的增益修正处理，就适用与以往相同的与RGB拜耳阵列对应的图像处理。

图11中，以在彩色滤光器上如何生成色彩信号的观点示意性地表示基于图10的彩色滤光器阵列的运动图像摄影模式的情况下相邻4个像素混合时的色彩信号生成方法。相邻4个像素混合的滤光器组合中有模式A至D的四种组合，得到四种RGB平衡性不同的信号。如图11所示，有使用模式A(801)、模式B(802)进行混合的行，和在水平方向上错开一个像素使用模式C(803)、模式D(804)进行混合的行，二者逐行进行切换。像素混合后的信号配置成为所谓的偏移取样的模式，还能够实现水平分辨率的提高。

色彩信号生成通过在上下的行中取得差而进行，得到R-G、B-G信号。它们可以说是相当于所谓的色差信号的信号。如图11所示，在倾斜方向上取得差后，在如下情况下依次得到4种色差信号，即：

(1)模式A-模式C＝(2G+0.5R+0.5B)-(1.5G+0.5R+B)＝-0.5(B-G)

(2)模式B-模式C＝(G+R+B)-(1.5G+0.5R+B)＝0.5(R-G)

(3)模式B-模式D＝(G+R+B)-(1.5G+R+0.5B)＝0.5(B-G)

(4)模式A-模式D＝(2G+0.5R+0.5B)-(1.5G+R+0.5B)＝-0.5(R-G)

此处，每个像素得到R系与B系的色差信号，并且每两个像素这些值进行反转。据此，在进行相邻4个像素混合的运动图像摄影时也能实现彩色化。

此外，在图11中使用箭头，示意性地表示色差信号的产生。由箭头在混合后的像素间进行连接，利用该像素间的计算生成色差信号。另外，箭头所示那一侧的4个像素得到的信号为正的要素。

在下一帧中，如图12所示改变像素混合的组合。即，模式A、B的行在水平方向上错开一个像素，变为模式C、D。模式C、D的行同样错开一个像素，变为模式A、B。据此，模式A、B的行与模式C、D的行上下替换。在该状态下与图11的情况同样地在上下行中取得差后，在如下情况下依次得到色差信号，即：

(1)’模式C-模式A＝(1.5G+0.5R+B)-(2G+0.5R+0.5B)＝0.5(B-G)

(2)’模式C-模式B＝(1.5G+0.5R+B)-(G+R+B)＝-0.5(R-G)

(3)’模式D-模式B＝(1.5G+R+0.5B)-(G+R+B)＝-0.5(B-G)

(4)’模式D-模式A＝(1.5G+R+0.5B)-(2G+0.5R+0.5B)＝0.5(R-G)

即，可以知道，相对于前一帧，同一位置处的色彩信号的正负发生反转。

从作为前一帧的图11的色彩信号中减去图12所示的色彩信号后，在如下情况下依次得到色彩信号，即：

(1)-(1)’＝B-G

(2)-(2)’＝-(R-G)

(3)-(3)’＝-(B-G)

(4)-(4)’＝R-G

即，色彩信号放大至2倍。另外，垂直方向的被摄物的明暗差的影响被抵消。图13以及图14用具体例子表示该情形。

在图13以及图14中，设想仅得到R信号的红色被摄物，示意性地表示在垂直方向上存在明暗差的情况。即，被摄物图案的上面的行假设为R，下面的行假设为0.5R。在此情况下，在进行与图11同样的混合组合的情况下，如图13所示，在如下情况下依次得到色差信号，即：

(1)模式A-模式C＝0.25(＝-0.5(B-G))

(2)模式B-模式C＝0.75(＝0.5(R-G))

(3)模式B-模式D＝0.5(＝0.5(B-G))

(4)模式A-模式D＝0(＝-0.5(R-G))

本来，B成分以及G成分不存在，因而(1)与(3)应该为0，但却存在值。这是伪色。

接着，在进行与图12同样的混合组合的情况下得到图14所示的结果，在如下情况下依次得到色差信号，即：

(1)模式C-模式A＝0.25(＝0.5(B-G))

(2)模式C-模式B＝0(＝-0.5(R-G))

(3)模式D-模式B＝0.5(＝-0.5(B-G))

(4)模式D-模式A＝0.75(＝0.5(R-G))

取得图13与图14的结果的差后，得到如下结果，即：

(1)-(1)’＝0(＝B-G)

(2)-(2)’＝-0.75(＝-(R-G))

(3)-(3)’＝0(＝-(B-G))

(4)-(4)’＝0.75(＝R-G)

即，伪色的B-G成分变为0，仅得到正确的R-G成分。

此外，在本实施方式中，色彩信号通过垂直方向的差得到，因此通过在垂直方向上改变混合的组合来反转色彩信号，抵消垂直方向的被摄物的明暗差的影响。但是，严格来讲，色彩信号通过还在水平方向上错开一个像素的倾斜方向的差得到，因此还受到水平方向的一个像素的明暗差的影响。如图11、图12的箭头方向所示，在垂直方向上作为正负发挥作用的像素成分发生反转，但在水平方向上不发生反转。即，受到水平的一个像素的明暗差的影响。

不过，水平的一个像素的明暗差在独立读出全部像素的静止图像模式下也产生影响，因此通常通过光学低通滤波器进行抑制。换言之，像素混合时混合后的像素间的距离较远是产生伪色的重要原因。此处，在垂直方向上计算对象相距两个像素，光学低通滤波器的效果变小而产生的伪色在本实施方式中被有效地除去。与此相对，水平方向仅相距一个像素，本来伪色就较小，因此在不采取水平方向的对策的本实施方式中也不会产生较大的问题。

图15是表示实施上述异色像素混合处理的摄像装置的结构的图。与图1所示的DSC的整体结构例相同的部分附加相同的编号。在摄像元件102内设置混合相邻像素的像素混合部901。在摄像元件驱动部103内设置改变像素混合的组合的混合组合改变部902。利用混合组合改变部902，对于每帧，混合的组合如图11、图12所示进行改变。实际的像素组合由摄像元件102内的像素混合部901进行。对从摄像元件102输出的信号而言，如图11、图12所示，在倾斜方向上相邻的信号的差的正负在同一位置处对于每帧发生反转。摄像元件102的信号经过模拟信号处理部104以及模拟/数字转换部105进行数字化，输入到数字信号处理部106中。数字信号处理部106中设置亮度信号处理部903与色彩信号处理部904，色彩信号处理部904内设置色彩信号计算部905、色彩信号帧存储器906、帧间色彩信号减法计算部907、以及其他处理部908。

此外，色彩信号帧存储器906可以与其他的处理部一起使用一个半导体芯片构成，也可以采用另外的半导体芯片。

输入到数字信号处理部106的摄像元件102的信号通过亮度信号处理部903生成亮度信号(Y信号)，通过色彩信号处理部904生成色彩信号。作为色彩信号，通常使用相当于与亮度信号的差的色差信号。色差信号中有R-Y与B-Y两种。在色彩信号处理部904中，首先如前所述取得像素混合的信号的倾斜方向的差。这通过色彩信号计算部905进行，如前所述得到R-G与B-G。G信号与亮度信号光谱接近，因而认为它们相当于色差信号。生成的色差信号通过色彩信号帧存储器906存储。接着，在帧间色彩信号减法计算部907中，执行当前的色差信号与前一帧的色差信号的减法计算，如前所述得到排除了被摄物的明暗图案的影响的色差信号。随后，色差信号通过其他处理部908进行与以往同样的处理。其中包含γ处理和用于使光谱进一步接近R-Y、B-Y的矩阵处理等。生成的亮度信号与色差信号如前述的整体结构的说明那样，被发送到图像压缩延伸部107和图像显示部109。

此外，彩色滤光器模式和混合的组合不限于本实施方式，在不脱离本发明的主旨的范围内能够得到各种实施方式。

(产业上的可利用性)

如上所述，基于本发明的第一观点的摄像装置兼顾高画质运动图像与高精细静止图像，尤其是对静止图像能够适用以往的图像处理，据此，作为图像处理不设置新的处理就能保持与以往同等的画质，而且还具有动态范围的扩大这一新的价值。另外，对于运动图像，能够实现分辨率特性优越的相邻像素混合中的彩色化。作为结果，能够实现在运动图像以及静止图像这两方面都优于以往的摄像装置，有用性非常高。

另外，基于本发明的第二观点的摄像装置为了实现运动图像与静止图像的兼顾，能够非常有效地防止在摄像元件中进行异色像素混合的情况下成为重大问题的色彩调制度的降低所引起的伪信号的产生。利用本发明能够消除异色像素混合中的重大问题，选择以前不存在的自由的像素混合模式。其结果是，能够实现多种静止图像与运动图像的组合，有用性非常高。

符号说明

101透镜

102摄像元件

103摄像元件驱动部

104模拟信号处理部

105模拟/数字转换部

106数字信号处理部

107图像压缩延伸部

108图像存储部

109图像显示部

201、202彩色滤光器阵列中的两种2×2像素模式

301静止图像用的增益修正部

302静止图像用的高亮度插值部

303静止图像用的合成部

304静止图像用的RGB拜耳处理部

401表示通常的透过率的像素的输入曝光量与输出的关系的曲线

402表示通常的1/2的透过率的像素的输入曝光量与输出的关系的曲线

501表示将通常的1/2的透过率的像素放大至2倍时的输入曝光量与输出的关系的曲线

502表示来自合成部的输出与输入曝光量的关系的曲线

601～604相邻4个像素混合时进行混合的彩色滤光器模式

605色差信号

701表示相邻像素混合时的频率特性的曲线

702表示一个像素的跳越像素混合时的频率特性的曲线

801～804相邻4个像素混合时进行混合的彩色滤光器模式

901像素混合部

902混合组合改变部

903亮度信号处理部

904色彩信号处理部

905色彩信号计算部

906色彩信号帧存储器

907帧间色彩信号减法计算部

908(色彩信号处理部中的)其他处理部

Claims (13)

1.一种摄像装置，其特征在于包括：

摄像元件，为了对被摄物的像进行光电转换，具有在水平方向以及垂直方向上作为各个像素排列的多个光电转换部；

混合部，用于混合并输出所述摄像元件的水平方向以及垂直方向上相邻的4个像素的电荷；以及

控制部，用于选择控制不进行所述4个像素混合而独立输出全部像素的信号的动作方式与输出所述4个像素混合后的信号的动作方式；

在两种所述方式的任一种中都能取得三种以上的独立的色彩信号的彩色滤光器阵列设置在所述摄像元件中；

该摄像装置还包括修正部，所述修正部在独立输出所述全部像素的信号的动作方式时修正所述摄像元件的输出，以便能够进行RGB拜耳处理。

2.根据权利要求1所述的摄像装置，其特征在于：

还包括动态范围扩大部，该动态范围扩大部在独立输出所述全部像素的信号的动作方式时通过进行修正能够进行动态范围的扩大。

3.根据权利要求1所述的摄像装置，其特征在于：

所述彩色滤光器阵列是对RGB拜耳阵列以指定的模式对透过率给予了调制的阵列。

4.根据权利要求1所述的摄像装置，其特征在于：

所述彩色滤光器阵列具有两种2×2像素的彩色滤光器模式，一种是相对于G的彩色滤光器降低了R与B的彩色滤光器的透过率的模式，另一种是相对于R与B的彩色滤光器降低了G的彩色滤光器的透过率的模式。

5.根据权利要求3所述的摄像装置，其特征在于：

所述修正部以像素为单位施加增益，以抵消对所述RGB拜耳阵列给予的指定的透过率的调制模式。

6.根据权利要求2所述的摄像装置，其特征在于：

所述动态范围扩大部在对RGB拜耳阵列以指定的模式对透过率给予了调制的彩色滤光器阵列上的透过率较高的像素已饱和的情况下，仅使用未饱和的像素进行插值后，进行所述RGB拜耳处理。

7.根据权利要求1所述的摄像装置，其特征在于：

在所述4个像素混合时，以在垂直方向上混合的2行为单位，逐行改变水平方向的2个像素的混合的组合，由此得到独立的三种色彩以上的色彩信号。

8.一种摄像装置，其特征在于包括：

摄像元件，为了对被摄物的像进行光电转换，具有在水平方向以及垂直方向上作为各个像素排列的多个光电转换部，并且为了得到彩色图像，使特定的色彩通过的彩色滤光器按每个光电转换部设置；

像素混合部，用于混合并输出所述多个像素的电荷；以及

混合组合改变部，改变像素混合的组合；

通过改变混合的组合，在混合后的信号中，在水平以及垂直或倾斜方向上相邻的信号的差值的正负在同一位置处发生反转。

9.根据权利要求8所述的摄像装置，其特征在于：

所述混合组合改变部对每帧改变组合。

10.根据权利要求8所述的摄像装置，其特征在于还包括：

色彩信号计算部，用于通过在混合后的信号中取得在水平以及垂直或倾斜方向上相邻的信号的差而得到色彩信号；

色彩信号帧存储器，将所述色彩信号计算部的输出存储一帧；以及

帧间色彩信号减法计算部，执行存储的前一帧的色彩信号与输入的当前帧的色彩信号的减法计算。

11.根据权利要求8所述的摄像装置，其特征在于：

被混合的所述多个像素的组合中包含具有两种以上的彩色滤光器的像素。

12.根据权利要求8所述的摄像装置，其特征在于：

所述彩色滤光器是RGB原色滤光器。

13.根据权利要求8所述的摄像装置，其特征在于：

所述像素混合在水平以及垂直地相邻的4个像素中进行。

Images