CN103621070B - 摄像装置及摄像装置的控制方法 - Google Patents

Abstract

提供摄像装置、摄像装置的控制程序及摄像装置的控制方法，即使在使用了基本排列图案的尺寸较大的滤色器时，也可减少校正处理的负荷。摄像装置将从摄像元件输出的图像数据分割为沿着预先规定的方向的每行的行图像数据，在将构成滤色器的基本排列图案分割为沿着预先规定的方向的图案行时的图案行上的各滤光片所对应的多个校正数据所构成的行校正数据中，读出与被分割的行图像数据对应的行校正数据，通过读出的行校正数据，对应基本排列图案的每图案行对行图像数据进行校正。

Description

摄像装置及摄像装置的控制方法

技术领域

本发明涉及摄像装置、摄像装置的控制程序及摄像装置的控制方法，尤其涉及具有滤色器的摄像装置、摄像装置的控制程序及摄像装置的控制方法。

背景技术

对于由摄像元件所拍摄的摄像信号，通常进行以下处理：对因摄像元件的特性等引起的画质变差进行改善、校正(例如参照专利文献1及专利文献2)。

例如，在对由具有不同颜色的多个滤光片以预先规定的图案配置而成的滤色器的摄像装置所拍摄的摄像信号进行校正时，需要进行以下处理：对应从摄像元件获得的各像素的各颜色定义设定参数(校正数据)并进行校正。

由于滤色器重复配置有预先规定的基本排列图案而构成，因此颜色定义的种类由基本排列图案的尺寸规定。例如，当基本排列图案是现有的拜耳排列时，只要具有2×2像素量的最大四种校正值即可。

专利文献1：日本特开2008-288649号公报

专利文献2：日本特开2009-177418号公报

发明内容

发明要解决的问题

但是，例如在为了判别亮度的相关方向并适当地进行校正而使用了比拜耳排列大的排列的滤色器时，必要的校正数据增加，因此存在校正处理的处理负荷增大的问题。

本发明为了解决上述问题而提出，其目的在于提供即使在使用了基本排列图案的尺寸较大的滤色器的情况下也能够减少校正处理的负荷的摄像装置、摄像装置的控制程序及摄像装置的控制方法。

用于解决问题的方法

为了解决上述问题，本发明的摄像装置的特征在于具有：摄像元件，包括排列于水平方向及垂直方向的多个光电转换元件；滤色器，设于由上述多个光电转换元件构成的多个像素上，排列有第一滤光片和第二滤光片的基本排列图案在水平及垂直方向上重复配置，上述第一滤光片与最有助于获得亮度信号的第一颜色对应，上述第二滤光片与上述第一颜色以外的两色以上的第二颜色分别对应，并且，上述第一滤光片配置为在上述基本排列图案内在水平、垂直及倾斜方向的各方向上含有两个以上相邻的部分；分割单元，将从上述摄像元件输出的图像数据分割为沿着预先规定的方向的每行的行图像数据；存储单元，对应每图案行存储行校正数据，该行校正数据由将上述基本排列图案分割为沿着上述预先规定的方向的图案行时的图案行上的各滤光片所对应的多个校正数据构成；及校正单元，从上述存储单元读出与由上述分割单元分割的行图像数据对应的行校正数据，通过读出的行校正数据，对应上述每图案行校正上述行图像数据。

根据本发明，对应基本排列图案的沿着预先规定的方向的每图案行来准备行校正数据，将图像数据分割为行图像数据，对应各行图像数据进行校正，因此即使在使用了基本排列图案的尺寸大的滤色器、即颜色定义多的滤色器的情况下，与对应各基本排列图案进行校正时相比，也能够减少校正处理的负荷。此外，预先规定的方向例如可以是水平方向、垂直方向及倾斜方向的任一个。

另外，与最有助于获得亮度信号的第一颜色对应的第一滤光片配置为在上述基本排列图案内在水平、垂直及倾斜(NE、NW)方向的各方向上含有两个以上相邻的部分，因此能够基于各方向上相邻的第一颜色像素的像素值的差值，以最小像素间隔来判别亮度的相关方向位于上述四个方向中的哪个方向。由此，在算出从由彩色摄像元件输出的马赛克图像中提取的去马赛克算法处理的对象像素的像素位置上的其他颜色的像素值时，如上所述，根据通过最小像素间隔的像素值而判别出的亮度的相关方向，使用存在于相关方向上的其他颜色的像素的像素值，从而能够高精度地推定其他颜色的像素的像素值，能够抑制高频部产生伪色。

此外也可以是，具有间拔单元，在摄像模式是动画模式的情况下，上述间拔单元从上述摄像元件以预先规定的间拔图案进行间拔并读出行图像数据，上述校正单元从上述存储单元读出与由上述间拔单元读出的行图像数据对应的行校正数据，通过读出的行校正数据来校正上述行图像数据。

根据本发明，如摄影模式是动画模式时那样图像数据被间拔并读出的情况下，只要仅读出与读出的行图像数据对应的行校正数据即可，能够减轻动画模式中的校正处理的负荷。

并且也可以是以下构成，上述滤色器中，上述第一滤光片及与上述第二颜色分别对应的第二滤光片分别在上述基本排列图案内在上述滤色器的水平及垂直方向的各行内配置有一个以上。

并且，也可以是以下构成，上述基本排列图案是与N×N(N为4以上的整数)像素对应的正方排列图案。

并且，也可以是以下构成，上述滤色器包括与由上述第一滤光片构成的2×2像素对应的正方排列。

根据本发明，能够基于与2×2像素对应的正方排列的四个像素的各像素间的像素值的差值，以最小像素间隔来判别亮度的相关方向位于上述四个方向中的哪个方向。

并且，也可以是以下构成，上述第一颜色是绿(G)色，上述第二颜色是红(R)色和蓝(B)色。

并且，也可以是以下构成，上述滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且，上述滤色器由第一排列和第二排列交替地在水平及垂直方向上排列而构成，上述第一排列与3×3像素对应，在中心配置有R滤光片，在四角配置有B滤光片，隔着中心的R滤光片上下左右配置有G滤光片，上述第二排列与3×3像素对应，在中心配置有B滤光片，在四角配置有R滤光片，隔着中心的B滤光片上下左右配置有G滤光片。

根据本发明，在以上述第一排列或第二排列为中心提取出5×5像素(马赛克图像的局部区域)的情况下，隔着上述5×5像素的中心像素(R像素或B像素)，存在在水平及垂直方向上分别相邻的G像素。这些G像素(共八个像素)能够用于四个方向的相关方向的判别。

并且，也可以是以下构成，上述滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且，上述滤色器由第一排列和第二排列交替地在水平方向及垂直方向上排列而构成，上述第一排列与3×3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片上下配置有B滤光片、左右配置有R滤光片，上述第二排列与3×3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片上下配置有R滤光片、左右配置有B滤光片。

根据本发明，在以上述第一排列或第二排列为中心提取出5×5像素(马赛克图像的局部区域)的情况下，在上述5×5像素的四角存在2×2像素的G像素。这些2×2像素的G像素的像素值能够用于四个方向的相关方向的判别。

并且，也可以是以下构成，上述滤色器中，隔着上述第二滤光片的任一色的滤光片在水平及垂直方向上分别连续配置有上述第一滤光片。

根据本发明，能够基于与这些连续的第一滤光片对应的像素的像素值的差值，以最小像素间隔来判别亮度的相关方向位于上述四个方向中的哪个方向。

并且，也可以是以下构成，上述滤色器为相对于上述基本排列图案的中心而点对称。

根据本发明，能够减小后段的处理电路的电路规模。

本发明的摄像程序的特征在于，用于使控制摄像装置的计算机作为分割单元和校正单元而发挥功能，上述摄像装置具有：摄像元件，包括排列于水平方向及垂直方向的多个光电转换元件；滤色器，设于由上述多个光电转换元件构成的多个像素上，排列有第一滤光片和第二滤光片的基本排列图案在水平及垂直方向上重复配置，上述第一滤光片与最有助于获得亮度信号的第一颜色对应，上述第二滤光片与上述第一颜色以外的两色以上的第二颜色分别对应，并且，上述第一滤光片配置为在上述基本排列图案内在水平、垂直及倾斜方向的各方向上含有两个以上相邻的部分；及存储单元，对应每图案行存储行校正数据，该行校正数据由将上述基本排列图案分割为沿着预先规定的方向的图案行时的图案行上的各滤光片所对应的多个校正数据构成，上述分割单元将从上述摄像元件输出的图像数据分割为沿着上述预先规定的方向的每行的行图像数据，上述校正单元从上述存储单元读出与由上述分割单元分割的行图像数据对应的行校正数据，通过读出的行校正数据，对应上述每图案行校正上述行图像数据。

发明效果

根据本发明，具有以下效果：即使在使用了基本排列图案的尺寸较大的滤色器时，也能够防止校正处理的负荷增大。

附图说明

图1是第一实施方式涉及的摄像装置的概略框图。

图2是第一实施方式涉及的滤色器的构成图。

图3是表示第一实施方式涉及的滤色器所含的基本排列图案的图。

图4A是表示第一实施方式涉及的滤色器所含的6×6像素的基本排列图案分割为3×3像素的A排列和B排列、并将它们在水平及垂直方向上重复配置而成的滤色器的图。

图4B是表示图4A的滤色器中的G像素的特征性配置的图。

图5是用于说明判别出纵向上存在相关方向时的去马赛克算法处理时的像素插值方法的图。

图6是用于说明判别出左斜上方向上存在相关方向时的去马赛克算法处理时的像素插值方法的图。

图7是表示摄像装置所执行的处理的流程图。

图8是用于说明通过第一实施方式涉及的摄像装置对应每行图像数据使用行校正数据进行校正的情况的图。

图9是第二实施方式涉及的摄像装置的概略框图。

图10是用于说明通过第二实施方式涉及的摄像装置对应每行图像数据使用行校正数据进行校正的情况的图。

图11是第三实施方式涉及的滤色器的构成图。

图12是表示第三实施方式涉及的滤色器所含的基本排列图案的图。

图13是表示第三实施方式涉及的滤色器所含的6×6像素的基本排列图案分割为3×3像素的A排列和B排列、并将它们在水平及垂直方向上重复配置而成的滤色器的图。

图14是表示第三实施方式涉及的滤色器中的G像素的特征性配置的图。

图15是第四实施方式涉及的滤色器的构成图。

图16是第五实施方式涉及的滤色器的构成图。

图17是第六实施方式涉及的滤色器的构成图。

图18是第七实施方式涉及的滤色器的构成图。

图19是第七实施方式涉及的滤色器的构成图。

具体实施方式

以下，参照附图说明本发明的实施方式。

(第一实施方式)

图1表示本实施方式涉及的摄像装置10的概略框图。摄像装置10构成为包括：光学***12、摄像元件14、数据控制部16、图像存储器部18、分割控制部20、摄像校正处理部22及校正表格存储部24。

光学***12构成为例如包括：由多个光学镜头组成的镜头组、光圈调节机构、变焦机构及自动调焦机构等。

摄像元件14是在包括排列于水平方向及垂直方向的多个光电转换元件在内的摄像元件、例如CCD(Charge Coupled Device：电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等摄像元件上配置有滤色器的结构的所谓单板式的摄像元件。

图2表示本实施方式涉及的滤色器的一部分。在各像素上配置红(R)、绿(G)、蓝(B)三原色的滤色器中的任一种。

(滤色器排列的特征)

第一实施方式的滤色器具有下述特征(1)、(2)、(3)及(4)。

(特征(1))

图2所示的滤色器包括由6×6像素所对应的正方排列图案构成的基本排列图案P(粗框所示的图案)，该基本排列图案P在水平方向及垂直方向上重复配置。即，该滤色器中，R、G、B各色滤光片(R滤光片、G滤光片、B滤光片)以规定的周期性排列。

如此，因R滤光片、G滤光片、B滤光片以规定的周期性排列，所以在进行从彩色摄像元件读出的R、G、B信号的去马赛克算法(插值)处理(也称为马赛克处理)等时，能够按照重复图案进行处理。

并且，在以基本排列图案P为单位进行间拔处理以缩小图像时，间拔处理后的缩小图像的滤色器排列能够与间拔处理前的滤色器排列相同，能够使用通用的处理电路。

(特征(2))

构成图2所示的滤色器的基本排列图案P中，最有助于获得亮度信号的颜色(在本实施方式中是G色)所对应的G滤光片、G色以外的其他颜色(在本实施方式中是R、B)所对应的R滤光片、B滤光片在基本排列图案内的水平及垂直方向的各行内配置有一个以上。

R、G、B滤光片分别配置于基本排列图案P内的水平及垂直方向的各行内，所以能够抑制莫尔条纹(伪色)的产生。

(特征(3))

亮度系像素所对应的G滤光片在基本排列图案P内，在水平、垂直及倾斜(NE、NW)方向的各方向上含有两个以上相邻的部分而配置。

图3表示将图2所示的基本排列图案P四分为3×3像素的状态。

如图3所示，基本排列图案P也能够被视作：由实线框围成的3×3像素的A排列和由虚线框围成的3×3像素的B排列在水平、垂直方向上交替排列而得到的排列。

A排列中，在中心配置有R滤光片，在四角配置有B滤光片，隔着中心的R滤光片上下左右配置有G滤光片。另一方面，B排列中，在中心配置有B滤光片，在四角配置有R滤光片，隔着中心的B滤光片上下左右配置有G滤光片。这些A排列和B排列中，R滤光片和B滤光片的位置关系相反，而其他配置相同。

如图4A所示，第一实施方式的滤色器也能够被视作：上述A排列和B排列在水平及垂直方向上交替地配置。

现在，如图4A所示，在对于从摄像元件14输出的马赛克图像以A排列为中心提取出5×5像素的局部区域(粗框所示的区域)时，该局部区域内的八个G像素如图4B所示，配置为十字状。若将这些G像素按照从左到右的顺序称为G1、G2、G3、G4，按照从上到下的顺序称为G5、G6、G7、G8，则像素G1G2、像素G3G4在水平方向上相邻，像素G5G6、像素G7G8在垂直方向上相邻，像素G6G3、像素G2G7在左上斜方向上相邻，像素G6G2、像素G3G7在右上斜方向上相邻。

因此，通过求出这些相邻的像素的像素值的差的绝对值，能够以最小像素间隔来判别水平、垂直及倾斜(NE、NW)方向的各方向中亮度变化最小的方向(相关性大的相关方向)。

即，水平方向的差的绝对值之和是|G1－G2|+|G3－G4|，水平方向的差的绝对值之和是|G5－G6|+|G7－G8|，右上斜方向的差的绝对值之和是|G6-G2|+|G3－G7|，左上斜方向的差的绝对值之和是|G6－G3|+|G2－G7|。

能够判别出这四个相关绝对值中取得最小的差的绝对值的方向上存在相关性(相关方向)。此外，判别出的相关方向能够在进行去马赛克算法(插值)处理等时使用。

(使用了相关方向的插值方法)

接着，说明利用了如上所述进行了方向判别的相关方向的插值方法。

如图5所示，在判别出纵向存在相关方向、插值求出图5所示的粗框内的3×3像素(A排列)的各像素的像素位置上的其他颜色的像素值时，使用存在于相关方向附近的相同颜色的像素的像素值。

在对G像素进行插值时，B22、B24的像素位置上的G像素值G22’、G24’使用G23的像素值，B42、B44的像素位置上的G的像素值G42’、G44’使用G43的像素值。另一方面，R33的像素位置上的G像素值G33’使用G32和G34的像素值的平均值。

在对R、B的像素值进行插值时，B22的像素位置上的R的像素值R22’使用R21的像素值，G23的像素位置上的R、B的像素值R23’、B23’分别使用R21和R25的像素值的平均值、B22和B24的像素值的平均值，B22、B24的像素位置上的R的像素值R22’、R24’分别使用R21、R25的像素值。

G32的像素位置上的R、B的像素值R32’、B32’分别使用R33、B30的像素值，R33的像素位置上的B的像素值B33’使用B30和B36的像素值的平均值，G34的像素位置上的R、B的像素值R34’、B34’分别使用R33、B36的像素值。

B42的像素位置上的R的像素值R42’使用R41的像素值，G43的像素位置上的R、B的像素值R43’、B43’分别使用R41和R45的像素值的平均值、B42和B44的像素值的平均值，B44的像素位置上的R的像素值R44’使用R45的像素值。

在B排列的情况下，通过对换R、B而进行同样的处理，来进行RGB的像素值的插值。

通过对应各3×3像素重复以上处理，对RGB的像素值进行插值。

另一方面，如图6所示，在判别出左斜上方向存在相关方向、插值求出图6所示的粗框内的3×3像素(A排列)的各像素的像素位置上的其他颜色的像素值的情况下，在相关方向附近存在进行插值的颜色的像素时，使用该像素值，在相关方向上不存在进行插值的颜色的像素时，利用附近存在的插值完的像素的RGB的像素值的差或比(色差或色比)的关系进行插值。

首先，从在插值方向上存在进行插值的颜色的像素的像素进行插值。在图6中，B22的像素位置上的R的像素值R22’使用R33的像素值，G32的像素位置上的R的像素值R32’使用R21的像素值，B42的像素位置上的G的像素值G42’使用G31和G53的像素值的平均值。之后，R23’、B33’、R43’、G24’、R34’、R44’也同样地使用存在于相关方向上的进行插值的颜色的像素的像素值。

接着，说明在相关方向上不存在进行插值的颜色的像素的像素插值的处理方法。

在插值求出图6的B22的像素位置上的G的像素值G22’时，使用G13和插值后的像素值B13’及G31和插值后的像素值B31’的色差进行插值。具体而言通过计算下式来算出值。

[数1]

G22’＝B22+(G13+G31)/2－(B13’+B31’)/2

同样地，G32的像素位置上的B的像素值B32’、B42的像素位置上的R的像素值R42’的插值方法如下式所示。

[数2]

B32’＝G32+B31’－G31

R42’＝B42+R33－B33’

进行同样的处理来进行B32’、G33’、B43’、R24’、B34’、G44’的插值。

通过对应各3×3像素重复以上处理，对RGB的像素值进行插值。

另外，在根据A排列、B排列中的RGB的滤色器的对称性而判别出相关方向是横向时、或判别出在右斜上方向存在相关方向时，也与上述判别为是纵向时、或判别为是左斜上方向时一样，能够插值求出RGB的像素值。

并且，在上述[数1]式、[数2]式中，使用色差进行插值，但也可以使用色比进行插值。

(特征(4))

构成图2所示的滤色器的基本排列图案P相对于该基本排列图案P的中心而点对称。

如图3所示，基本排列图案内的A排列及B排列分别相对于中心的R滤光片或B滤光片而点对称，且上下左右对称(线对称)。

通过该对称性，能够减小或简化后段的处理电路的电路规模。

此外，通过将基本排列图案在水平方向及垂直方向上重复配置，能够构成图2所示的滤色器的基本排列图案存在多个，在第一实施方式中，为便于说明，将基本排列图案形成点对称的基本排列图案P称为基本排列图案。

此外，在后述其他实施方式的滤色器中，对于各滤色器也存在多个基本排列图案，但将其代表性的基本排列图案称为该滤色器的基本排列图案。

数据控制部16将从摄像元件14输出的图像数据暂时存储到图像存储器18，并且按照来自分割控制部20的指示，将图像存储器18中存储的图像数据分割为沿着水平方向的每行的分割了的行图像数据，将分割后的行图像数据依次输出到摄像校正处理部22。

校正表格存储部24对应每图案行预先存储图案行校正数据，该图案行校正数据由将基本排列图案P分割为沿着水平方向的图案行时的图案行上的各滤光片所对应的多个校正数据构成。

如图3所示，本实施方式涉及的滤色器的基本排列图案P与6×6像素对应，因此校正表格存储部24存储由与第一图案行至第六图案行分别对应的第一行校正数据至第六行校正数据构成的校正表格。滤色器是重复配置有基本排列图案P的构成，因此校正表格存储部24仅存储该6×6像素量的校正表格即可。此外，校正表格是用于校正因滤色器的排列引起的画质的变差的校正数据。

摄像校正处理部22按照来自分割控制部20的指示，从校正表格存储部24读出每行的行校正数据，按照基本排列图案的每图案行对从数据控制部16输出的行图像数据进行校正。即，摄像校正处理部22在行图像数据是(n+1)行(n＝0、1、2、……)的行图像数据时，从校正表格存储部24读出第一行校正数据并进行校正。同样地，在行图像数据是(n+2)行的行图像数据时，读出第二行校正数据进行校正，在行图像数据是(n+3)行的行图像数据时，读出第三行校正数据进行校正，在行图像数据是(n+4)行的行图像数据时，读出第四行校正数据进行校正，在行图像数据是(n+5)行的行图像数据时，读出第五行校正数据进行校正，在行图像数据是(n+6)行的行图像数据时，读出第六行校正数据进行校正。

接着，作为本实施方式的作用，参照图7所示的流程图对摄像装置10所执行的处理进行说明。

首先，在步骤100中，数据控制部16从摄像元件14读出图像数据，并依次存储到图像存储器18。

在步骤102中，数据控制部16按照来自分割控制部20的指示，将图像存储器18中存储的图像数据分割为沿着水平方向的每行的行图像数据，将分割后的行图像数据依次输出到摄像校正处理部22。

在步骤104中，摄像校正处理部22按照来自分割控制部20的指示，从校正表格存储部24读出每行的行校正数据。

在步骤106中，摄像校正处理部22基于从校正表格存储部24读出的行校正数据，对应基本排列图案的每图案行对从数据控制部16输出的行图像数据进行校正。即，如图8所示，基于第一行校正数据至第六行校正数据，对第(n+1)至(n+6)行的行图像数据依次进行校正。重复进行该处理直到对图像数据的所有行图像数据执行了该处理为止。

校正后的行图像数据输出到后段的例如未图示的去马赛克算法电路等。在去马赛克算法电路中，如上所述，基于判别出的相关方向执行去马赛克算法(插值)处理。

如此，对应沿着基本排列图案的水平方向的每图案行准备行校正数据，将图像数据分割为行图像数据，对应各行图像数据进行校正，因此即使在使用了基本排列图案的尺寸较大的滤色器、即颜色定义多的滤色器的情况下，与对应各基本排列图案进行校正时相比，能够减少校正处理的负荷。此外，在本实施方式中，说明了对应沿着基本排列图案的水平方向的每图案行准备行校正数据并将图像数据沿着水平方向分割为行图像数据而对应各行图像数据进行校正的情况，但不限于此，例如也可以是：对应沿着基本排列图案的垂直方向的每图案行准备行校正数据，将图像数据沿着垂直方向分割为行图像数据，对应各行图像数据进行校正。

并且，摄像装置10能够构成为包括含有CPU、ROM、RAM、非易失性ROM等的计算机。在这种情况下，能够将上述处理的处理程序例如预先存储到非易失性ROM，由CPU读入并执行。

(第二实施方式)

接着，说明本发明的第二实施方式。在本实施方式中，说明对动画模式下所拍摄的图像进行动画处理的情况。此外，对与第一实施方式相同的部分标注相同的附图标记，省略其详细说明。

图9表示本实施方式涉及的摄像装置30。如该图所示，摄像装置30与图1所示的摄像装置10的不同点在于具有动画控制部26及驱动部28。其他构成与摄像装置10相同，因此省略详细说明。

动画控制部26在摄影模式是动画模式时，指示驱动部28间拔并读出拍摄到的图像，并且指示分割控制部20基于与间拔读出的行图像数据对应的行校正数据进行校正。

在驱动部28中，控制摄像元件14以通过由动画控制部26所指示的间拔方法输出图像数据。

此外，作为摄影模式，包括拍摄静止图像的静止图像模式及HD动画模式、实时取景动画模式(实时取景显示模式)等动画模式，其中，上述HD动画模式中，对拍摄到的图像进行间拔，生成较高分辨率的HD(高清)动画数据，并记录于未图示的存储卡等记录介质；上述实时取景动画模式中，对拍摄到的图像进行间拔，将较低分辨率的实时取景动画输出到未图示的显示部。

接着，作为本实施方式的作用，说明摄像装置30所执行的处理。

在摄影模式是动画模式时摄像装置30所执行的处理与图7所示的处理大致相同，但在步骤100中，以与摄影模式对应的间拔方法读出图像数据。即，动画控制部26对驱动部28指示摄像元件14以通过与摄影模式对应的间拔方法输出图像数据。由此，数据控制部16读出根据摄影模式进行间拔的行图像数据，依次存储到图像存储器18。

在步骤102中，数据控制部16按照来自分割控制部20的指示，将图像存储器18中存储的图像数据分割为沿着水平方向的每行的行图像数据，将分割后的行图像数据依次输出到摄像校正处理部22。

在步骤104中，摄像校正处理部24按照来自分割控制部20的指示，读出从校正表格存储部24间拔读出的行校正数据。

例如如图10所示，在间拔读出的行是(n+1)行、(n+4)行时，从校正表格存储部24读出与它们对应的第一行校正数据及第四行校正数据。

在步骤106中，摄像校正处理部22基于从校正表格存储部24读出的行校正数据，对从数据控制部16输出的行图像数据进行校正。即，如图10所示，基于第一行校正数据及第四行校正数据，依次校正第(n+1)行及第(n+4)行的行图像数据。重复进行该处理直到对间拔读出的全部行图像数据执行了该处理为止。

如此，在本实施方式中，如摄影模式是动画模式时那样，在图像数据被间拔并读出的情况下，只要仅读出与读出的行图像数据对应的行校正数据即可，能够减轻动画模式下的校正处理的负荷。

(第三实施方式)

接着，说明本发明的第三实施方式。在本实施方式中，说明滤色器的变形例。

图11表示本实施方式涉及的滤色器。如该图所示，本实施方式涉及的滤色器包括由6×6像素所对应的正方排列图案构成的基本排列图案P(粗框所示的图案)，该基本排列图案P在水平方向及垂直方向上重复配置。即，该滤色器排列中，R、G、B各色滤光片(R滤光片、G滤光片、B滤光片)以规定的周期性排列。

并且，构成该滤色器排列的基本排列图案P与第一实施方式同样，R、G、B所有颜色的滤光片在基本排列图案内的水平及垂直方向的各行内配置有一个以上。

并且，与亮度系像素对应的G滤光片在基本排列图案P内在水平、垂直及倾斜(NE、NW)方向的各方向上含有两个以上相邻的部分而配置。

图12表示将图11所示的基本排列图案P四分为3×3像素的状态。

如图12所示，基本排列图案P能够被视为：由实线框围成的3×3像素的A排列和由虚线框围成的3×3像素的B排列在水平、垂直方向上交替排列而得到的排列。

A排列及B排列中，作为亮度系像素的G滤光片分别配置于四角和中央，配置于两条对角线上。并且，A排列中，R滤光片隔着中央的G滤光片而排列于水平方向上，B滤光片排列于垂直方向上，另一方面，在B排列中，B滤光片隔着中央的G滤光片而排列于水平方向上，R滤光片排列于垂直方向上。即，A排列和B排列中，R滤光片和B滤光片的位置关系相反，而其他配置相同。

并且，A排列和B排列的四角的G滤光片如图13所示，A排列和B排列在水平、垂直方向上交替地配置，从而成为与2×2像素对应的正方排列的G滤光片。

即，图11所示的滤色器排列(基本排列图案P)包括由G滤光片构成的2×2像素所对应的正方排列。

现在，如图13所示，在对于从摄像元件14输出的马赛克图像以A排列为中心提取了5×5像素的局部区域时，该局部区域内的四角的2×2像素的G像素变为图14所示的配置。

如图14所示，在将2×2像素的G像素的像素值按照从左上到右下的顺序称为G1、G2、G3、G4时，这些G像素的像素值的垂直方向的差的绝对值是(|G1－G3|+|G2－G4|)/2，水平方向的差的绝对值是(|G1－G2|+|G3－G4|)/2，右上斜方向的差的绝对值是|G2－G3|，左上斜方向的差的绝对值是|G1－G4|。

能够判别为这四个相关绝对值中取得最小的差的绝对值的方向上存在相关性(相关方向)。

现在，如图13或图14所示，以3×3像素的A排列位于中央的方式从马赛克图像中提取了5×5像素的局部区域时，2×2像素的G像素配置于四角。因此，在将上述局部区域内的A排列的3×3像素作为去马赛克算法处理的对象像素时，求出四角的各方向的相关绝对值的总和(或平均值)，将各方向的相关绝对值的总和(或平均值)中取得最小的值的方向判别为去马赛克算法处理的对象像素中的亮度的相关方向。

并且，构成图11所示的滤色器排列的基本排列图案P相对于该基本排列图案的中心(四个G滤光片的中心)而点对称。并且，如图12所示，基本排列图案内的A排列及B排列也分别相对于中心的G滤光片而点对称，且上下左右对称(线对称)。

如此，第三实施方式涉及的滤色器具有与第一实施方式涉及的滤色器的特征(1)、(2)、(3)及(4)相同的特征。

而且，第三实施方式涉及的滤色器中，G滤光片配置于滤色器排列的倾斜(NE、NW)方向的各行内，具有能够进一步提高高频区域内的去马赛克算法处理的再现精度这一第一实施方式的滤色器所没有的特征。

(第四实施方式)

接着，说明本发明的第四实施方式。在本实施方式中，说明滤色器的变形例。

图15表示本实施方式涉及的滤色器。如该图所示，本实施方式涉及的滤色器包括由4×4像素所对应的正方排列图案构成的基本排列图案(粗框所示的图案)，该基本排列图案在水平方向及垂直方向上重复配置。即，该滤色器排列中，R、G、B各色滤光片(R滤光片、G滤光片、B滤光片)以规定的周期性排列。

并且，图15所示的滤色器排列中，R、G、B所有颜色的滤光片在基本排列图案内的水平及垂直方向的各行内配置有一个以上。

而且，与亮度系像素对应的G滤光片在基本排列图案内在水平、垂直及倾斜(NE、NW)方向的各方向上含有两个以上相邻的部分而配置。根据这些相邻的G滤光片所对应的G像素的像素值，能够以最小像素间隔来判别水平、垂直及倾斜(NE、NW)方向的各方向的亮度的相关性。

并且，构成滤色器排列的基本排列图案相对于该基本排列图案的中心而点对称。

该第四实施方式涉及的滤色器具有与第一实施方式涉及的滤色器的特征(1)、(2)、(3)及(4)相同的特征。

(第五实施方式)

接着，说明本发明的第五实施方式。在本实施方式中，说明滤色器的变形例。

图16表示本实施方式涉及的滤色器。如该图所示，本实施方式涉及的滤色器包括由5×5像素所对应的正方排列图案构成的基本排列图案(粗框所示的图案)，该基本排列图案在水平方向及垂直方向上重复配置。即，该滤色器排列中，R、G、B各色滤光片(R滤光片、G滤光片、B滤光片)以规定的周期性排列。

并且，图16所示的滤色器排列中，R、G、B所有颜色的滤光片在基本排列图案内的水平及垂直方向的各行内配置有一个以上。

而且，与亮度系像素对应的G滤光片在基本排列图案内在水平、垂直及倾斜(NE、NW)方向的各方向上含有两个以上相邻的部分而配置。根据这些相邻的G滤光片所对应的G像素的像素值，能够以最小像素间隔来判别水平、垂直及倾斜(NE、NW)方向的各方向的亮度的相关性。

该第五实施方式涉及的滤色器具有与第一实施方式涉及的滤色器的特征(1)、(2)及(3)相同的特征。

(第六实施方式)

接着，说明本发明的第六实施方式。在本实施方式中，说明滤色器的变形例。

图17表示本实施方式涉及的滤色器。如该图所示，本实施方式涉及的滤色器包括由7×7像素所对应的正方排列图案构成的基本排列图案(粗框所示的图案)，该基本排列图案在水平方向及垂直方向上重复配置。即，该滤色器排列中，R、G、B各色滤光片(R滤光片、G滤光片、B滤光片)以规定的周期性排列。

并且，图17所示的滤色器排列中，R、G、B所有颜色的滤光片在基本排列图案内的水平方向及垂直方向的各行内配置。

而且，与亮度系像素对应的G滤光片在基本排列图案内在水平、垂直及倾斜(NE、NW)方向的各方向上含有两个以上相邻的部分而配置。即，在基本排列图案内，包括上下左右相邻的2×2像素的G像素群存在四组。根据这些相邻的G滤光片所对应的G像素的像素值，能够以最小像素间隔来判别水平、垂直及倾斜(NE、NW)方向的各方向的亮度的相关性。

并且，构成滤色器排列的基本排列图案相对于该基本排列图案的中心而点对称。

该第六实施方式涉及的滤色器具有与第一实施方式涉及的滤色器的特征(1)、(2)、(3)及(4)相同的特征。

(第七实施方式)

接着，说明本发明的第七实施方式。在本实施方式中，说明滤色器的变形例。

图18表示本实施方式涉及的滤色器。如该图所示，本实施方式涉及的滤色器包括由8×8像素所对应的正方排列图案构成的基本排列图案(粗框所示的图案)，该基本排列图案在水平方向及垂直方向上重复配置。即，该滤色器排列中，R、G、B各色滤光片(R滤光片、G滤光片、B滤光片)以规定的周期性排列。

并且，图18所示的滤色器排列中，R、G、B所有颜色的滤光片在基本排列图案内的水平方向及垂直方向的各行内配置。

而且，与亮度系像素对应的G滤光片在基本排列图案内在水平、垂直及倾斜(NE、NW)方向的各方向上含有两个以上相邻的部分而配置。即，在基本排列图案内，包括上下左右相邻的2×2像素的G像素群存在四组。根据这些相邻的G滤光片所对应的G像素的像素值，能够以最小像素间隔来判别水平、垂直及倾斜(NE、NW)方向的各方向的亮度的相关性。

并且，构成滤色器排列的基本排列图案相对于该基本排列图案的中心而点对称。

该第七实施方式涉及的滤色器具有与第一实施方式涉及的滤色器的特征(1)、(2)、(3)及(4)相同的特征。

此外，在上述实施方式中，说明了具有RGB三原色的滤色器的彩色摄像元件，但本发明不限于此，也可以适用于RGB三原色+其他颜色(例如翠绿色(E))的四色滤色器，例如图19所示的滤色器。

在以上第三实施方式至第七实施方式的变形例所示的具有基本排列图案是N×N(N为4以上的自然数)的正方排列的滤色器排列的摄像元件的摄像装置中，如第一实施方式所示，对应沿着基本排列图案的水平方向的每图案行准备行校正数据，将图像数据分割为行图像数据，对应各行图像数据进行校正，从而即使在使用了基本排列图案的尺寸较大(N为4以上)的滤色器、即颜色定义多的滤色器的情况下，与对应各基本排列图案进行校正时相比，也能够减少校正处理的负荷。此外，不限于此，例如也可以是：对应沿着基本排列图案的垂直方向的每图案行准备行校正数据，将图像数据沿着垂直方向分割为行图像数据，对应各行图像数据进行校正。

同样地，如第二实施方式所示，如摄影模式是动画模式时那样图像数据被间拔并读出的情况下，通过仅读出与所读出的行图像数据对应的行校正数据，能够减轻动画模式下的校正处理的负荷。

并且，基本排列图案不限于N×N(N为4以上的自然数)的正方排列的滤色器排列，即便基本排列图案为N×M(N、M分别是3以上的自然数)的排列也可以适用。但是，考虑到去马赛克算法处理、动画摄影时的间拔处理等图像处理的容易性，N及M优选为10以下。

并且，本发明也可以适用于具有向作为原色RGB的互补色的C(青色)、M(品红色)、Y(黄色)中加入了G的四色互补色系的滤色器的彩色摄像元件。

而且，本发明不限于上述实施方式，不言而喻能够在不脱离本发明主旨的范围内进行各种变形。

附图标记

10 摄像装置

12 光学***

14 摄像元件

16 数据控制部

18 图像存储器

20 分割控制部

22 摄像校正处理部

24 校正表格存储部

26 动画控制部

28 驱动部

30 摄像装置

Claims (16)

1.一种摄像装置，具有：

摄像元件，包括排列于水平方向及垂直方向的多个光电转换元件；

滤色器，设于由上述多个光电转换元件构成的多个像素上，排列有第一滤光片和第二滤光片的基本排列图案在水平及垂直方向上重复配置，上述第一滤光片与最有助于获得亮度信号的第一颜色对应，上述第二滤光片与上述第一颜色以外的两色以上的第二颜色分别对应，并且，上述第一滤光片配置为在上述基本排列图案内在水平、垂直及倾斜方向的各方向上含有两个以上相邻的部分；

分割单元，将从上述摄像元件输出的图像数据分割为沿着预先规定的方向的每行的行图像数据；

存储单元，对应每图案行存储行校正数据，该行校正数据由将上述基本排列图案分割为沿着上述预先规定的方向的图案行时的图案行上的各滤光片所对应的多个校正数据构成；及

校正单元，从上述存储单元读出与由上述分割单元分割的行图像数据对应的行校正数据，通过读出的行校正数据，对应上述每图案行校正上述行图像数据，

上述第一颜色是绿(G)色，上述第二颜色是红(R)色和蓝(B)色，

上述滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且，

上述滤色器由第一排列和第二排列交替地在水平及垂直方向上排列而构成，上述第一排列与3×3像素对应，在中心配置有R滤光片，在四角配置有B滤光片，隔着中心的R滤光片上下左右配置有G滤光片，上述第二排列与3×3像素对应，在中心配置有B滤光片，在四角配置有R滤光片，隔着中心的B滤光片上下左右配置有G滤光片。

2.根据权利要求1所述的摄像装置，其中，

具有间拔单元，在摄像模式是动画模式的情况下，上述间拔单元从上述摄像元件以预先规定的间拔图案进行间拔并读出行图像数据，上述校正单元从上述存储单元读出与由上述间拔单元读出的行图像数据对应的行校正数据，通过读出的行校正数据来校正上述行图像数据。

3.根据权利要求1所述的摄像装置，其中，

上述第一滤光片及与上述第二颜色分别对应的第二滤光片分别在上述基本排列图案内在上述滤色器的水平及垂直方向的各行内配置有一个以上。

4.根据权利要求1所述的摄像装置，其中，

上述基本排列图案是与N×N像素对应的正方排列图案，N为4以上的整数。

5.根据权利要求1所述的摄像装置，其中，

上述滤色器包括与由上述第一滤光片构成的2×2像素对应的正方排列。

6.根据权利要求1～5中任一项所述的摄像装置，其中，

上述滤色器中，隔着上述第二滤光片的任一色的滤光片在水平及垂直方向上分别连续配置有上述第一滤光片。

7.根据权利要求1所述的摄像装置，其中，

上述滤色器为相对于上述基本排列图案的中心而点对称。

8.一种摄像装置，具有：

摄像元件，包括排列于水平方向及垂直方向的多个光电转换元件；

滤色器，设于由上述多个光电转换元件构成的多个像素上，排列有第一滤光片和第二滤光片的基本排列图案在水平及垂直方向上重复配置，上述第一滤光片与最有助于获得亮度信号的第一颜色对应，上述第二滤光片与上述第一颜色以外的两色以上的第二颜色分别对应，并且，上述第一滤光片配置为在上述基本排列图案内在水平、垂直及倾斜方向的各方向上含有两个以上相邻的部分；

分割单元，将从上述摄像元件输出的图像数据分割为沿着预先规定的方向的每行的行图像数据；

存储单元，对应每图案行存储行校正数据，该行校正数据由将上述基本排列图案分割为沿着上述预先规定的方向的图案行时的图案行上的各滤光片所对应的多个校正数据构成；及

校正单元，从上述存储单元读出与由上述分割单元分割的行图像数据对应的行校正数据，通过读出的行校正数据，对应上述每图案行校正上述行图像数据，

上述第一颜色是绿(G)色，上述第二颜色是红(R)色和蓝(B)色，

上述滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且，

上述滤色器由第一排列和第二排列交替地在水平方向及垂直方向上排列而构成，上述第一排列与3×3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片上下配置有B滤光片、左右配置有R滤光片，上述第二排列与3×3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片上下配置有R滤光片、左右配置有B滤光片。

9.根据权利要求8所述的摄像装置，其中，

具有间拔单元，在摄像模式是动画模式的情况下，上述间拔单元从上述摄像元件以预先规定的间拔图案进行间拔并读出行图像数据，上述校正单元从上述存储单元读出与由上述间拔单元读出的行图像数据对应的行校正数据，通过读出的行校正数据来校正上述行图像数据。

10.根据权利要求8所述的摄像装置，其中，

上述第一滤光片及与上述第二颜色分别对应的第二滤光片分别在上述基本排列图案内在上述滤色器的水平及垂直方向的各行内配置有一个以上。

11.根据权利要求8所述的摄像装置，其中，

上述基本排列图案是与N×N像素对应的正方排列图案，N为4以上的整数。

12.根据权利要求8所述的摄像装置，其中，

上述滤色器包括与由上述第一滤光片构成的2×2像素对应的正方排列。

13.根据权利要求8～12中任一项所述的摄像装置，其中，

上述滤色器中，隔着上述第二滤光片的任一色的滤光片在水平及垂直方向上分别连续配置有上述第一滤光片。

14.根据权利要求8所述的摄像装置，其中，

上述滤色器为相对于上述基本排列图案的中心而点对称。

15.一种摄像装置的控制方法，

上述摄像装置具有：

摄像元件，包括排列于水平方向及垂直方向的多个光电转换元件；

滤色器，设于由上述多个光电转换元件构成的多个像素上，排列有第一滤光片和第二滤光片的基本排列图案在水平及垂直方向上重复配置，上述第一滤光片与最有助于获得亮度信号的第一颜色对应，上述第二滤光片与上述第一颜色以外的两色以上的第二颜色分别对应，并且，上述第一滤光片配置为在上述基本排列图案内在水平、垂直及倾斜方向的各方向上含有两个以上相邻的部分；及

存储单元，对应每图案行存储行校正数据，该行校正数据由将上述基本排列图案分割为沿着预先规定的方向的图案行时的图案行上的各滤光片所对应的多个校正数据构成，

上述第一颜色是绿(G)色，上述第二颜色是红(R)色和蓝(B)色，

上述滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且，

上述滤色器由第一排列和第二排列交替地在水平及垂直方向上排列而构成，上述第一排列与3×3像素对应，在中心配置有R滤光片，在四角配置有B滤光片，隔着中心的R滤光片上下左右配置有G滤光片，上述第二排列与3×3像素对应，在中心配置有B滤光片，在四角配置有R滤光片，隔着中心的B滤光片上下左右配置有G滤光片，

上述控制方法中，

将从上述摄像元件输出的图像数据分割为沿着上述预先规定的方向的每行的行图像数据，

从上述存储单元读出与所分割的行图像数据对应的行校正数据，通过读出的行校正数据，对应上述每图案行校正上述行图像数据。

16.一种摄像装置的控制方法，

上述摄像装置具有：

摄像元件，包括排列于水平方向及垂直方向的多个光电转换元件；

滤色器，设于由上述多个光电转换元件构成的多个像素上，排列有第一滤光片和第二滤光片的基本排列图案在水平及垂直方向上重复配置，上述第一滤光片与最有助于获得亮度信号的第一颜色对应，上述第二滤光片与上述第一颜色以外的两色以上的第二颜色分别对应，并且，上述第一滤光片配置为在上述基本排列图案内在水平、垂直及倾斜方向的各方向上含有两个以上相邻的部分；及

存储单元，对应每图案行存储行校正数据，该行校正数据由将上述基本排列图案分割为沿着预先规定的方向的图案行时的图案行上的各滤光片所对应的多个校正数据构成，

上述第一颜色是绿(G)色，上述第二颜色是红(R)色和蓝(B)色，

上述滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且，

上述滤色器由第一排列和第二排列交替地在水平方向及垂直方向上排列而构成，上述第一排列与3×3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片上下配置有B滤光片、左右配置有R滤光片，上述第二排列与3×3像素对应，在中心和四角配置有G滤光片，隔着中心的G滤光片上下配置有R滤光片、左右配置有B滤光片，

上述控制方法中，

将从上述摄像元件输出的图像数据分割为沿着上述预先规定的方向的每行的行图像数据，

从上述存储单元读出与所分割的行图像数据对应的行校正数据，通过读出的行校正数据，对应上述每图案行校正上述行图像数据。