CN103004218A - 三维摄像装置、摄像元件、透光部、及图像处理装置 - Google Patents

Abstract

本发明提供一种三维摄像装置，其包括：具有第1透光区域(1L)及第2透光区域(1R)的透光部(1)；具有多个单位块的摄像元件(2a)；成像部(3)；以及基于从摄像元件(2a)输出的光电变换信号来生成多视点图像的图像处理部。对于可见光的波长λ而言，在将表示第1透光区域(1L)的分光透过率的函数表示为TL(λ)、将表示第2透光区域(1R)的分光透过率的函数表示为TR(λ)、将表示第1种像素的分光透过率的函数表示为T1(λ)、将表示第2种像素的分光透过率的函数表示为T2(λ)时，TL(λ)≠TR(λ)且T1(λ)≠T2(λ)成立，TL(λ)、TR(λ)、T1(λ)、T2(λ)在红色、绿色、蓝色的各波段内均分别具有至少1个极大值及极小值。

Description

三维摄像装置、摄像元件、透光部、及图像处理装置

技术领域

本申请涉及利用一个光学***与一个摄像元件来生成多视点图像的单眼式三维摄像技术。

背景技术

近年来，利用了CCD或CMOS等固体摄像元件(以下有时称为“摄像元件”。)的数码相机或数码放映机的高功能化、高性能化令人瞠目结舌。尤其是，由于半导体制造技术的进步，固体摄像元件中的像素构造的微细化也正在发展。结果，实现了固体摄像元件的像素及驱动电路的高集成化。因而，在短短的几年之间，摄像元件的像素数从100万像素左右显著地增加为1000万像素以上。进而，通过摄像而得的图像的质量也飞跃地提高。另一方面，对于显示装置而言，借助薄型的由液晶或等离子构成的显示器，不占地方且高分辨率，从而高对比度的显示成为可能，实现了较高的性能。这种影像的高品质化的趋势从二维图像向三维图像扩展。最近，虽然需要偏光眼镜，但正在开始开发高画质的三维显示装置。

对于三维摄像技术而言，作为具有简单构成的典型的方式，有以下的方式：利用由2台照相机构成的摄像***而分别取得右眼用的图像及左眼用的图像。在这种所谓的双眼摄像方式中，由于利用的是2台照相机，故摄像装置变得大型，成本也会升高。因而，正在研究利用一台照相机来取得具有视差的多个图像(以下有时称为“多视点图像”。)的方式(单眼摄像方式)。

例如，在专利文献1中公开了利用透过轴的方向互相正交的2枚偏光板和旋转的偏光滤光器的方式。图13是表示基于该方式的摄像***的构成的示意图。摄像装置具备：0度偏光的偏光板11、90度偏光的偏光板12、反射镜13、半反射镜14、圆形的偏光滤光器15、使圆形的偏光滤光器15旋转的驱动装置16、光学透镜3、取得由光学透镜成像的像的摄像装置9。在此，半反射镜14将透过偏光板11后被反射镜13反射的光反射，使透过偏光板12之后的光透过。根据以上的构成，分别透过被配置于互相分离开的场所的偏光板11、12之后的光经由半反射镜14、圆形的偏光滤光器15、及光学透镜3，然后入射到摄像装置9，由此可取得图像。该方式中的摄像原理为：通过使圆形的偏光滤光器15旋转，从而以各自的定时捕捉入射到2枚偏光板11、12的每一枚中的光，取得具有视差的2个图像。

然而，在上述方式中，由于一边使圆形的偏光滤光器15旋转、一边拍摄因时间分割而不同位置的图像，故存在无法同时取得具有视差的2个图像的课题。再有，由于利用机械式驱动，故在耐久性方面会存在问题。而且，由于利用偏光板11、12及偏光滤光器15来接受全部的入射光，故也存在摄像装置9接受的光量(受光量)也会下降50％以上的课题。

与上述方式相对，在专利文献2中公开了不利用机械式驱动而同时取得具有视差的2个图像的方式。基于该方式的摄像装置利用反射镜将从2个入射区域入射的光聚光，通过用2种偏光滤光器交替地排列而成的摄像元件进行受光，从而不利用机械式驱动部就能取得具有视差的2个图像。

图14是表示该方式的摄像***的构成的示意图。该摄像***具有：透过轴的方向互相正交的2个偏光板11、12；反射镜13；光学透镜3；以及摄像元件2。摄像元件2在其摄像面上具备多个像素10、与像素一一对应地配置的偏光滤光器17、18。偏光滤光器17、18在所有像素上交替地排列。在此，偏光滤光器17、18的透过轴的朝向分别和偏光板11、12的透过轴的朝向一致。

根据以上的构成，入射光透过偏光板11、12并被反射镜13反射，通过光学透镜3之后入射到摄像元件1的摄像面。分别透过偏光板11、12之后入射到摄像元件1的光，分别透过偏光滤光器17、18，然后被与偏光滤光器17、18对置的像素进行光电变换。在此，若将由分别通过偏光板11、12后入射到摄像元件1的光而形成的图像分别称为右眼用图像、左眼用图像，则右眼用图像、左眼用图像分别由与偏光滤光器17、18对置的像素组而得到。

如此，在专利文献2所公开的方式中，不再利用专利文献1所公开的旋转的圆形的偏光滤光器，而是在摄像元件的像素上交替地配置透过轴的方向互相正交的2种偏光滤光器。由此，与专利文献1的方式相比，虽然分辨率会下降到1/2，但利用一个摄像元件可同时取得具有视差的右眼用图像与左眼用图像。然而，在该技术中，也与专利文献1的技术同样，由于入射光透过偏光板及偏光滤光器之际光量会减少，故摄像元件的受光量大幅度减少。

针对摄像元件的受光量下降这一问题，在专利文献3中公开了以一个摄像元件可取得具有视差的多个图像和通常图像的技术。根据该技术，通过在取得具有视差的2个图像时和取得通常图像时机械式替换构成要素的一部分，从而利用一个摄像元件就能取得具有视差的2个图像和通常图像。取得具有视差的2个图像之际，在光路上配置2个偏光滤光器这一点和专利文献2所公开的技术相同。另一方面，取得通常图像之际，以机械的方式从光路取下偏光滤光器。通过采用这种机构，从而可获得具有视差的多个图像和光利用率高的通常图像。

在上述的专利文献1～3所公开的方式中，虽然利用的是偏光板或偏光滤光器，但作为其他探讨，也有利用滤色器的方式。例如，在专利文献4中公开了利用滤色器来同时取得具有视差的2个图像的方式。图15是示意地表示专利文献4所公开的摄像***的图。摄像***具备：透镜3、透镜光圈19、配置了透过波段不同的2个滤色器20a、20b的光束限制板20、感光薄膜21。在此。滤色器20a、20b例如是分别使红色系、蓝色系的光透过的滤光器。

根据以上的构成，入射光透过透镜3、透镜光圈19、及光束限制板20之后在感光薄膜上成像。此时，在光束限制板20中的2个滤色器20a、20b中，分别只透过红色系、蓝色系的光。结果，在感光薄膜上可形成由分别透过了这2个滤色器的光构成的品红色系的颜色的像。在此，由于滤色器20a、20b的位置不同，故在感光薄膜上形成的像会产生视差。在此，若根据感光薄膜来制作照片，并使用将红色薄膜及蓝色薄膜分别作为右眼用及左眼用而粘贴在一起的眼镜，则可观看具有纵深感的图像。如此，根据专利文献4所公开的技术，可使用2个滤色器来生成多视点图像。

专利文献4所公开的技术可在感光薄膜上成像来制作具有视差的多个图像，而专利文献5中公开了将具有视差的图像变换为电信号来取得的技术。图16是示意地表示该技术中的光束限制板的图。在该技术中，利用的是在与摄像光学***的光轴垂直的平面上设置有透过红色光的R区域22R、透过绿色光的G区域22G、透过蓝色光的B区域22B的光束限制板22。通过用具有红色用的R像素、绿色用的G像素、蓝色用的B像素的彩色摄像元件来接受透过了这些区域的光，从而可取得由透过了各区域的光形成的图像。

再有，专利文献6也公开了利用与专利文献5同样的构成来取得具有视差的多个图像的技术。图17是示意地表示专利文献6所公开的光束限制板的图。在该技术中，也可通过使入射光透过被设于光束限制板23上的R区域23R、G区域23G、B区域23B，来制作具有视差的图像。

专利文献7也同样地公开了利用相对于光轴对称地配置且颜色互不相同的一对滤光器来生成具有视差的多个图像的技术。作为一对滤光器而利用红色的滤光器及蓝色的滤光器，由此探测红色光的R像素观测透过红色滤光器后的光，探测蓝色光的B像素观测透过蓝色滤光器后的光。由于红色滤光器与蓝色滤光器的位置不同，故R像素所接受的光的入射方向和B像素所接受的光的入射方向互不相同。结果，用R像素观测到的图像和用B像素观测到的图像成为视点互不相同的图像。通过按照每个像素从这些图像中求取对应点，从而可计算视差量。根据计算出的视差量和照相机的焦点距离信息，可求取从照相机到被摄体为止的距离。

专利文献8公开了根据利用光圈而取得的2个图像来求取被摄体的距离信息的技术，这些光圈安装了口径尺寸互不相同的2枚滤色器(例如红色与蓝色)，或者将颜色不同的2枚滤色器相对于光轴而安装于左右对称的位置上。该技术中，在观测分别透过口径尺寸互不相同的红色及蓝色的滤色器后的光的情况下，按每种颜色观测到的模糊程度是不同的。因而，与红色及蓝色的滤色器分别对应的2个图像根据被摄体的距离而成为模糊程度不同的图像。通过从这些图像中求取对应点并对模糊的程度进行比较，从而可获得从照相机到被摄体为止的距离信息。另一方面，在观测分别透过相对于光轴而被安装到左右对称的位置上且颜色不同的2枚滤色器之后的光的情况下，按每种颜色观测到的入射光的方向是不同的。因而，与红色及蓝色的滤色器分别对应的2个图像就成为具有视差的图像。通过从这些图像中求取对应点并求取对应点间的距离，从而可获得从照相机到被摄体为止的距离信息。

根据上述的专利文献4～8所示出的技术，通过在光束限制板上配置RGB的滤色器，从而可生成具有视差的图像。然而，由于利用了光束限制板，故入射光量会减少。再有，为了提高视差的效果，需要将RGB的滤色器配置到互相分离开的位置上，缩小这些部件的面积，但这样一来入射光量会进一步减少。

针对以上的技术，在专利文献9中公开了可利用配置有RGB的滤色器的光圈来获得具有视差的多个图像和在光量上没有问题的通常图像的技术。在该技术中，在闭合了光圈的状态下仅接受透过RGB滤色器的光，在打开了光圈的状态下从光路中剔除RGB的滤色器区域，因此可将入射光全部接受。由此，在闭合了光圈的状态下可取得具有视差的图像、而在打开了光圈的状态下可获得光利用率高的通常图像。

在先技术文献

专利文献

专利文献1：JP特开昭62-291292号公报

专利文献2：JP特开昭62-217790号公报

专利文献3：JP特开2001-016611号公报

专利文献4：JP特开平2-171737号公报

专利文献5：JP特开2002-344999号公报

专利文献6：JP特开2009-276294号公报

专利文献7：JP特开2010-38788号公报

专利文献8：JP特开2010-79298号公报

专利文献9：JP特开2003-134533号公报

发明内容

-发明所要解决的技术问题-

根据现有技术，虽然可生成多视点图像，但由于利用的是偏光板或滤色器，故入射到摄像元件的光量有所减少。为了确保入射光量，需要将偏光部分或滤色器区域从光路上剔除的机构，在现有技术中不利用那种机构则无法同时获得多视点图像和光利用率高的图像。

本发明的实施方式提供一种不利用机械式驱动就能够取得光利用率高的多视点图像的摄像技术。

用于解决技术问题的方案

为了解决上述课题，本发明的一形态涉及的三维摄像装置具备：具有第1透光区域及第2透光区域的透光部；被配置为接受透过了所述透光部的光且在摄像面上排列有各自包括第1种像素及第2种像素的多个单位块的摄像元件；在所述摄像元件的摄像面形成像的成像部；以及基于从所述第1种像素及所述第2种像素输出的光电变换信号来生成多视点图像的图像处理部。对于可见光的波长λ而言，在将表示所述第1透光区域的分光透过率的函数表示为TL(λ)、将表示所述第2透光区域的分光透过率的函数表示为TR(λ)、将表示所述第1种像素的分光透过率的函数表示为T1(λ)、将表示所述第2种像素的分光透过率的函数表示为T2(λ)时，TL(λ)≠TR(λ)且T1(λ)≠T2(λ)成立，TL(λ)、TR(λ)、T1(λ)、T2(λ)在红色、绿色、蓝色的各波段内均分别具有至少1个极大值及极小值。

本发明的一形态涉及的摄像元件被利用于上述的三维摄像装置中。

本发明的一形态涉及的透光部被利用于上述的三维摄像装置中。

本发明的一形态涉及的图像处理装置基于从三维摄像装置输出的信号来生成图像，该三维摄像装置具备：具有第1透光区域及第2透光区域的透光部；被配置为接受透过了所述透光部的光且在摄像面上排列有各自包括第1种像素及第2种像素的多个单位块的摄像元件；以及在所述摄像元件的摄像面形成像的成像部。在此，对于可见光的波长λ而言，在将表示所述第1透光区域的分光透过率的函数表示为TL(λ)、将表示所述第2透光区域的分光透过率的函数表示为TR(λ)、将表示所述第1种像素的分光透过率的函数表示为T1(λ)、将表示所述第2种像素的分光透过率的函数表示为T2(λ)时，TL(λ)≠TR(λ)且T1(λ)≠T2(λ)成立，TL(λ)、TR(λ)、T1(λ)、T2(λ)在红色、绿色、蓝色的各波段内均分别具有至少1个极大值及极小值。所述图像处理装置基于从所述第1及第2种像素输出的光电变换信号来生成多视点图像。

上述的一般且特定的形态可利用***、方法、及计算机程序来安装，或者能够利用***、方法及计算机程序的组合来实现。

-发明效果-

根据本发明的实施方式，通过利用具有透过率比现有的滤色器更高的多个透光区域的透光部，从而不利用机械式驱动就能生成光利用率高的多视点图像。

附图说明

图1是示意地表示透光部及摄像元件的单位块的一例的图。

图2A是表示2个透光区域的分光透过率特性的一例的曲线图。

图2B是表示2个透过滤光器的分光透过率特性的一例的曲线图。

图3是表示透光部及摄像元件的单位块的其他例的图。

图4是表示示例性的实施方式1中的摄像装置的整体构成的框图。

图5是表示示例性的实施方式1中的透光板、光学透镜、及摄像元件的概略构成的示意图。

图6是示例性的实施方式1中的透光板的主视图。

图7是示例性的实施方式1中的摄像元件的基本色构成图。

图8是表示示例性的实施方式1中的透光板的分光透过率特性的图。

图9是示例性的实施方式2中的摄像元件的基本色构成图。

图10是示例性的实施方式3中的摄像元件的基本色构成图。

图11是表示示例性的实施方式3中的摄像元件的颜色要素的分光透过率特性的图。

图12是表示示例性的实施方式3中的透光板的分光透过率特性的图。

图13是专利文献1中的摄像***的构成图。

图14是专利文献2中的摄像***的构成图。

图15是专利文献4中的摄像***的构成图。

图16是专利文献5中的光束限制板的外观图。

图17是专利文献6中的光束限制板的外观图。

具体实施方式

本发明的示例性的实施方式的概要如下所述。

(1)本发明的一形态涉及的三维摄像装置具备：具有第1透光区域及第2透光区域的透光部；被配置为接受透过所述透光部之后的光的摄像元件，该摄像元件在摄像面上排列有分别包括第1种像素及第2种像素的多个单位块；在所述摄像元件的摄像面上形成像的成像部；以及基于从所述第1种像素及所述第2种像素输出的光电变换信号来生成多视点图像的图像处理部。对于可见光的波长λ而言，在将表示所述第1透光区域的分光透过率的函数示为TL(λ)、将表示所述第2透光区域的分光透过率的函数示为TR(λ)、将表示所述第1种像素的分光透过率的函数示为T1(λ)、将表示所述第2种像素的分光透过率的函数示为T2(λ)时，TL(λ)≠TR(λ)且T1(λ)≠T2(λ)成立，TL(λ)、TR(λ)、T1(λ)、T2(λ)在红色、绿色、蓝色的各波段内均分别具有至少1个极大值及极小值。

(2)在一实施方式中，TL(λ)＝T1(λ)TR(λ)＝T2(λ)成立。

(3)在项目(2)所述的三维摄像装置的某一形态中，TL(λ)、TR(λ)、T1(λ)、T2(λ)为周期函数。

(4)在项目(1)～(3)中任一项所述的三维摄像装置的某一形态中，所述第1种像素包括第1感光单元及与所述第1感光单元对置配置的第1透过滤光器，所述第2种像素包括第2感光单元及与所述第2感光单元对置配置的第2透过滤光器，T1(λ)是表示所述第1透过滤光器的分光透过率的函数，T2(λ)是表示所述第2透过滤光器的分光透过率的函数。

(5)在项目(4)所述的三维摄像装置的某一形态中，各单位块还包括第3种像素及第4种像素，所述第3种像素包括第3感光单元及与所述第3感光单元对置配置且有选择地使第1颜色成分的光透过的第3透过滤光器，所述第4种像素包括第4感光单元及与所述第4感光单元对置配置且有选择地使第2颜色成分的光透过的第4透过滤光器，所述图像处理部利用从所述第3种像素及所述第4种像素输出的光电变换信号来生成颜色信息。

(6)在项目(1)～(3)中任一项所述的三维摄像装置的某一形态中，所述第1种像素包括：多个感光单元；以及与所述多个感光单元的每一个对置配置且分光透过率特性互不相同的多个透过滤光器，所述第2种像素包括：一个感光单元；以及与所述一个感光单元对置配置的一个透过滤光器，T1(λ)是表示所述第1种像素所包含的所述多个透过滤光器的分光透过率的总和的函数，T2(λ)是表示所述第2种像素所包含的所述一个透过滤光器的分光透过率的函数。

(7)在项目(6)所述的三维摄像装置的某一形态中，所述第1种像素所包含的所述多个透过滤光器构成为有选择地使互不相同的颜色成分的光透过。

(8)在项目(7)所述的三维摄像装置的某一形态中，所述第1种像素所包含的所述多个感光单元的个数及所述多个透过滤光器的个数均为3个，构成为：所述多个透过滤光器之中第1透过滤光器有选择地使红颜色成分的光透过、第2透过滤光器有选择地使绿颜色成分的光透过、第3透过滤光器有选择地使蓝颜色成分的光透过。

(9)在项目(1)～(3)中任一项所述的三维摄像装置的某一形态中，所述第1种像素具有：多个感光单元；以及与所述多个感光单元对置配置且分光透过率特性互不相同的多个透过滤光器，所述第2种像素具有：多个感光单元；以及与所述多个感光单元对置配置且分光透过率特性互不相同的多个透过滤光器，T1(λ)是表示所述第1种像素所包含的所述多个透过滤光器的分光透过率的总和的函数，T2(λ)是表示所述第2种像素所包含的所述多个透过滤光器的分光透过率的总和的函数。

(10)在项目(9)所述的三维摄像装置的某一形态中，所述第1及第2种像素均具有：第1～第N(N为3以上的整数)感光单元；以及分别与所述第1～第N感光单元对置配置的第1～第N透过滤光器，所述第1种像素所包含的所述第1～第N透过滤光器构成为分别有选择地使第1～第N颜色成分的光透过，所述第2种像素所包含的所述第1～第N透过滤光器构成为分别有选择地使所述第1～第N颜色成分的光透过，所述第1种像素所包含的第i(i为1～N为止的整数)透过滤光器的所述第i颜色成分中的分光透过率特性和所述第2种像素所包含的第i透过滤光器的所述第i颜色成分中的分光透过率特性是不同的。

(11)在项目(10)所述的三维摄像装置的某一形态中，N＝3，所述第1～第3颜色成分分别为红色、绿色、蓝色。

(12)在项目(1)～(11)中任一项所述的三维摄像装置的某一形态中，所述图像处理部基于从所述第1及第2种像素输出的所述信号来生成彩色的多视点图像。

(13)在项目(1)～(12)中任一项所述的三维摄像装置的某一形态中，还具有保存从所述摄像元件输出的信号的记录部，所述图像处理部基于所述记录部所保存的所述信号来生成所述多视点图像。

(14)本发明的一形态涉及的摄像元件被利用于项目(1)～(13)中任一项所述的三维摄像装置中。

(15)本发明的一形态涉及的透光部被利用于项目(1)～(13)中任一项所述的三维摄像装置中。

(16)本发明的一形态涉及的图像处理装置是基于从三维摄像装置输出的信号来生成图像的图像处理装置，该三维摄像装置具备：具有第1透光区域及第2透光区域的透光部；配置为接受透过所述透光部之后的光且在摄像面上排列有分别包括第1种像素及第2种像素的多个单位块的摄像元件；以及在所述摄像元件的摄像面形成像的成像部。在此，对于可见光的波长λ而言，在将表示所述第1透光区域的分光透过率的函数示为TL (λ)、将表示所述第2透光区域设为分光透过率的函数示为TR (λ)、将表示所述第1种像素的分光透过率的函数示为T1(λ)、将表示所述第2种像素的分光透过率的函数示为T2(λ)时，TL (λ)≠TR (λ)且T1(λ)≠T2(λ)成立，TL (λ)、TR (λ)、T1(λ)、T2(λ)在红色、绿色、蓝色的各波段内均分别具有至少1个极大值及极小值。所述图像处理装置基于从所述第1及第2种像素输出的光电变换信号来生成多视点图像。

以下，在对本发明的具体实施方式进行说明之前，首先简单地说明本发明的实施方式中的基本原理。在以下的说明中，有时将表示图像的信号或者信息仅称为“图像”。

本发明实施方式涉及的三维摄像装置(以下仅称为“摄像装置”。)具备：具有2个透光区域的透光部；在摄像面上排列有各自包括至少2种像素的多个单位块的摄像元件；在摄像元件的摄像面上形成像的成像部；以及基于从摄像元件输出的信号来生成多视点图像的图像处理部。

图1是示意地表示摄像装置中的透光部1、摄像元件的一个单位块所包含的2个像素50-1、50-2的构成例的图。其中，省略了成像部等其他构成要素的图示。在图1所示的构成例中，像素50-1包括感光单元60-1、以及与其对置地配置于光入射侧的透过滤光器40-1。同样地，像素50-2包括感光单元60-2、以及与其对置地配置于光入射侧的透过滤光器40-2。如此，在本说明书中，将一个感光单元及与其对置配置的一个透过滤光器的组合称为“像素”。

图1所示的透光部1具有2个透光区域1L、1R。透光区域1L、1R的透过率的波长依赖性(以下称为“分光透过率”。)互不相同，虽然不是完全透明的，但具有也使红色(R)、绿色(G)、蓝色(B)的任一波段(颜色成分)的光透过的特性。

2个感光单元60-1、60-2接受入射光并输出与所接受到光的强度相应的电信号(以下称为“光电变换信号”或者“像素信号”。)。与感光单元60-1、60-2对置的透过滤光器40-1、40-2具有截止入射光的一部分的特性。透过滤光器40-1、40-2的分光透过率特性也互不相同，虽然不是完全透明的，但具有也使红色(R)、绿色(G)、蓝色(B)的任一波段的光透过的特性。

图2A是表示透光区域1L、1R的分光透过率特性的一例的曲线图，图2B是表示透过滤光器40-1、40-2的分光透过率特性的一例的曲线图。在这些曲线图中，横轴表示波长、纵轴表示透过率。另外，关于横轴的波长，仅示出可见光的波段、即400nm～700nm附近的范围。图2A中，将波长设为λ，将表示透光区域1L、1R的透过率的函数分别表示为TL(λ)、TR(λ)。再有，在图2B中，将表示透过滤光器40-1、40-2的透过率的函数分别表示为T1(λ)、T2(λ)。在此，将约400nm～约500nm定义为蓝色的波段、将约500nm～约600nm定义为绿色的波段、将约600nm～约700nm定义为红色的波段。其中，该定义说到底只是为了方便而已，将哪一波段定义为哪种颜色是可以任意地确定的。

如图2A所示，TL(λ)、TR(λ)互不相同，在红色、绿色、蓝色的各波段内均具有极大值及极小值。同样地，如图2B所示，T1(λ)、T2(λ)互不相同，在红色、绿色、蓝色的各波段内均具有极大值及极小值。如此，本发明实施方式所利用的透光区域1L、1R、及透过滤光器40-1、40-2具有与现有技术中利用的滤色器相异的分光透过率特性。

只要各分光透过率特性为：TL≠TR且T1≠T2成立，TL、TR、T1、T2的任一个在红色、绿色、蓝色的各波段内都具有极大值及极小值的特性，则并未限于图2A、2B所示的特性。其中，从提高光利用率的观点出发，TL、TR、T1、T2能够设计为例如对于任一颜色成分而言都能平均地成为50％以上的透过率。

根据以上的构成，基于从2个感光单元60-1、60-2输出的光电变换信号，能生成多视点图像。在以下的说明中，将从感光单元60-1、60-2输出的光电变换信号分别表示为W1s、W2s。再有，将透过透光区域1L后入射到感光单元60-1、60-2的光所感受的透过率的积分分别表示为W1Ls、W2Ls。同样地，将透过透光区域1R后入射到感光单元60-1、60-2的光所感受的透过率的积分分别表示为W1Rs、W2Rs。即，W1Ls、W2Ls、W1Rs、W2Rs分别用以下的式1～4来表示。

[数1]

W1Ls＝k∫TL(λ)T1(λ)dλ(1)

[数2]

W1Rs＝k∫TR(λ)T1(λ)dλ(2)

[数3]

W2Ls＝k∫TL(λ)T2(λ)dλ(3)

[数4]

W2Rs＝k∫TR(λ)T2(λ)dλ(4)

在此，入射光是无彩色的，即可忽略入射光的强度的波长依赖性，假定可见光以外的光成分被红外线截止滤光器等除去。再有，k为比例系数，积分区间为可见光的波段(例如400nm～700nm)。

还有，在假定为透光区域1L、1R、及透过滤光器40-1、40-2完全透明的情况下，将表示通过透光区域1L、1R后入射到一个感光单元的光的强度的信号分别表示为IMG(L)、IMG(R)。在此，因为感光单元60-1、60-2的空间尺寸是微小的，两者是接近的，所以假定为入射到感光单元60-1、60-2的光的强度大致相等。这样一来，IMG(L)、IMG(R)分别相当于从透光区域1L、1R的位置观察到被摄体时的图像的一部分。因此，如果针对图像生成所利用的所有像素来求取IMG(L)、IMG(R)，则可获得多视点图像。

如果忽略比例系数，则利用矩阵，可用以下的式5来表示光电变换信号W1s、W2s。

[数5]

$\left(\begin{array}{c}W1s\\ W2s\end{array}\right)=\left(\begin{array}{cc}W1\mathrm{Ls}& W1\mathrm{Rs}\\ W2\mathrm{Ls}& W2\mathrm{Rs}\end{array}\right)\left(\begin{array}{c}\mathrm{IMG}\left(L\right)\\ \mathrm{IMG}\left(R\right)\end{array}\right)---\left(5\right)$

根据式5，表示多视点图像的信号IMG(L)、IMG(R)，利用式5中的矩阵的逆矩阵，由以下的式6来表示。

[数6]

$\left(\begin{array}{c}\mathrm{IMG}\left(L\right)\\ \mathrm{IMG}\left(R\right)\end{array}\right)={\left(\begin{array}{cc}W1\mathrm{Ls}& W1\mathrm{Rs}\\ W2\mathrm{Ls}& W2\mathrm{Rs}\end{array}\right)}^{-1}\left(\begin{array}{c}W1s\\ W2s\end{array}\right)---\left(6\right)$

式6中的矩阵的各要素是根据透光区域1L、1R、及透过滤光器40-1、40-2的分光透过率特性导出的已知的数。因此，图像处理部通过执行以式6来表示的运算，从而可生成多视点图像。根据本发明的实施方式，由于在透光区域1L、1R、及透过滤光器40-1、40-2中例如利用的是图2A、图2B所示的透过率高的滤光器，而不是通常的滤色器，故与现有技术的情况相比，能够进一步提高光利用率。

另外，在以上的例子中，透过滤光器40-1、40-2独立且分别具有图2B所示的特性，但在本发明中并不限于这种例子，也可以利用多个透过滤光器的组合来实现上述的分光透过率特性。图3是示意地表示那种构成的一例的图。在图示的构成中，一个单位块包括4个感光单元60-1、60-2、60-3、60-4、及与这些感光单元对置配置的4个透过滤光器40-1、40-2、40-3、40-4。在该例中，将包括感光单元60-1及透过滤光器40-1的像素、和包括感光单元60-3及透过滤光器40-3的像素统称为第1种像素。同样地，将包括感光单元60-2及透过滤光器40-2的像素、和包括感光单元60-4及透过滤光器40-4的像素统称为第2种像素。

而且，将透过滤光器40-1、40-3合起来的特性和图2B中的以T1(λ)来表示的特性一致。这例如在透过滤光器40-1的特性与图2B中的T1(λ)的短波长侧(约400nm～约550nm)的特性一致、透过滤光器40-3的特性与图2B中的T1(λ)的长波长侧(约550nm～约700nm)的特性一致的情况下可实现。同样地，将透过滤光器40-2、40-4合起来的特性和图2B中的以T2(λ)来表示的特性一致。该情况下，从感光单元60-1、60-3输出的光电变换信号的和信号与上述的信号W1s一致，从感光单元60-2、60-4输出的光电变换信号的和信号与上述的信号W2s一致。因此，该情况下也可根据基于式6的运算，来获得多视点图像。

在图3所示的例子中，虽然将2个像素的组合作为一种像素来处理，但也可以将3个以上的像素的组合作为一种像素来处理。即便在那种情况下，也可以通过将一种像素所包含的多个透过滤光器的分光透过率的总和作为上述的T1或者T2来处理，并对多个光电变换信号进行合计，从而获得同样的效果。

以下，参照图4～图12来说明本发明的更具体的实施方式。在以下的说明中，在所有附图中对共同或者对应的要素赋予相同的符号。

(实施方式1)

首先，对本发明第1实施方式的摄像装置进行说明。图4是表示本实施方式中的摄像装置的整体构成的框图。本实施方式的摄像装置是数字式的电子照相机，具备摄像部100、和基于由摄像部100生成的信号来生成表示图像的信号(图像信号)的信号处理部200。摄像装置也可以具备不但生成静止图像、还生成运动图像的功能。

摄像部100包括：具备排列于摄像面上的多个感光单元的彩色固体摄像元件2a(以下仅称为“摄像元件”。)；具有分光透过率特性互不相同的2个透光区域的透光板1(透光部)；用于在摄像元件2a的摄像面上形成像的光学透镜3；以及红外线截止滤光器4。摄像部100还具备：产生用于驱动摄像元件2a的基本信号并且接收来自摄像元件2a的输出信号后向信号处理部200送出的信号产生/接收部5；以及基于由信号产生/接收部5生成的基本信号来驱动摄像元件2a的元件驱动部6。摄像元件2a是典型的CCD或者CMOS传感器，利用公知的半导体制造技术来制造。信号产生/接收部5及元件驱动部6例如由CCD驱动器等LSI构成。

信号处理部200具备：对从摄像部100输出的信号进行处理来生成多视点图像的图像处理部7；保存图像信号的生成中所利用的各种数据的存储器30；以及将所生成的图像信号及纵深信息向外部送出的接口(IF)部8。图像处理部7能够借助公知的数字信号处理处理器(DSP)等硬件和执行包括图像信号生成处理在内的图像处理的软件的组合适宜地实现。存储器30由DRAM等构成。存储器30记录从摄像部100得到的信号，并且暂时记录由图像处理部7生成的图像数据或被压缩后的图像数据。这些图像数据经由接口部8而向未图示的记录介质或显示部等送出。

另外，本实施方式的摄像装置可具备电子快门、取景器、电源(电池)、闪光灯等公知的构成要素，但这些的说明对于本发明的理解而言并不是特别必要的，因此省略。再有，上述构成是一例，在本实施方式中，透光板1、摄像元件2a、图像处理部7以外的构成要素可将公知的要素适当组合后来利用。

以下，更详细地说明摄像部100的构成。在以下的说明中，利用图中所示的xy坐标。

图5是示意地表示摄像部100中的透光板1、透镜3、及摄像元件2a的配置关系的图。在图2中，省略透光板1、透镜3、及摄像元件2a以外的构成要素。透镜3可以是由多个透镜组构成的透镜单元，但在图5中为了简化而描述为单个透镜。透光板1具有分光透过率特性互不相同的2个透过区域1L、1R，使入射光的至少一部分透过。透镜3是公知的透镜，将透过透光板1之后的光聚光，从而在摄像元件2a的摄像面2b上成像。另外，图5所示的各构成要素的配置关系说到底只是一例而已，本发明并未限于这种例子。例如，只要可在摄像面2b上形成像，透镜3也可以比透光板1更远离摄像元件2a的方式配置。再有，也可以将透镜3与透光板1一体地构成。

图6是本实施方式中的透光板1的主视图。本实施方式中的透光板1的形状和透镜3同样，是圆形的，但也可以是四边形等其他形状。透光板1二分为位于图左侧的透光区域1L和位于图右侧的透光区域1R。透光区域1L、1R具有互不相同的分光透过率特性。透光区域1L、1R虽然均不是完全透明的，但按照红色、绿色、蓝色的任一波段的光也至少一部分透过的方式来设计其分光透过率特性。

图7示出以矩阵状排列于摄像元件2a的摄像面2b上的多个感光单元60的一部分。各感光单元60典型的是包括光电二极管，借助光电变换将与各自的受光量相应的光电变换信号输出。与感光单元60各自对置地在光入射侧配置透过滤光器。如图7所示，本实施方式中的滤光器排列是以2行2列为基本的排列，第1行第1列为红色要素(R)、第2行第1列为蓝色要素(B)、第1行第2列为透明要素(W1)、第2行第2列也为透明要素(W2)。其中，透明要素W1、W2的分光透过率特性互不相同。透明要素W1、W2均不是完全透明的，但被设计为红色、绿色、蓝色的任一颜色成分的光也透过至少一部分。本实施方式中，透明要素W1及与其对置的感光单元相当于第1种像素，透明要素W2及与其对置的感光单元相当于第2种像素。

透光板1中的透光区域1L、1R、及、摄像元件1的透明要素W1、W2例如利用电介质多层膜来制作。通过利用电介质多层膜，从而对于所期望的波长的光而言，可制作透过率变为极大或者极小的透过滤光器。利用公知的颜料等来制作摄像元件1的红色要素(R)及蓝色要素(B)。

图8是表示本实施方式中的透光板1的透光区域1L、1R的分光透过率特性的曲线图。如图8所示，透光区域1L的分光透过率特性近似地为三角函数Sin的平方特性，透光区域1R的分光透过率特性近似地为三角函数Cos的平方特性。即，两者的波形虽然是同样的，但相位相差90度。本实施方式中，设计为：摄像元件2a的透明要素W1的分光透过率特性等于透光区域1L的特性，透明要素W2的分光透过率特性等于透光区域1R的特性。

根据以上的构成，在曝光中入射到摄像装置的光通过透光板1、透镜3、红外线截止滤光器4后在摄像元件2a的摄像面2b上成像，并被各感光单元60进行光电变换。由各感光单元60输出的光电变换信号经由信号产生/接收部5而被送到信号处理部200。信号处理部200中的图像处理部7基于送来的信号而生成2个多视点图像。进而，本实施方式中，在这些多视点图像上叠加颜色信息，从而生成彩色多视点图像。

以下，对经由透光板1而对被摄体进行了摄像时的摄像装置的动作进行说明。在此，对于摄像元件2a的各像素信号而言，用Rs来表示透过R要素并被进行光电变换的光形成的信号，用Bs来表示透过B要素并被进行光电变换的光形成的信号，用W1s来表示透过W1要素并被进行光电变换的光形成的信号，用W2s来表示透过W2要素并被进行光电变换的光形成的信号。

被摄体的红色成分及蓝色成分通过透光板1的透光区域1L及1R、透镜、红外线截止滤光器、红色要素及蓝色要素之后由摄像元件2a进行光电变换，由此生成Rs信号、Bs信号。同样，虽然被摄体的白色成分(红色、绿色、蓝色的所有成分)通过摄像元件的W1要素与W2要素之后被进行光电变换，但这些信号量根据向透光区域1L、1R入射的光量之差而有所不同。其理由在于：W1要素与W2要素的分光透过率特性不同，并且W1要素及W2要素的特性分别与透光区域1L及1R的特性相等。换言之，由于W1要素使透过了透光区域1L的光比透过了透光区域1R的光更多地透过，W2要素使透过了透光区域1R的光比透过了透光区域1L的光更多地透过，故W1要素及W2要素的信号量互不相同。

以下，对本实施方式中的光电变换信号W1s、W2s进行说明。首先，对通过透光板1的透光区域1L及W1要素并被进行光电变换的光形成的信号W1Ls、和通过透光区域1R及W1要素并被进行光电变换的光形成的信号W1Rs进行说明。如上所述，透光区域1L及W1要素的透过率与三角函数Sin的平方成比例，透光区域1R及W2要素的透过率与三角函数Cos的平方成比例，将包含这些比例系数在内的光电变换效率设为k。

由于信号W1Ls与透光区域1L及W1要素的透过率的积分成比例，故用以下的式1来表示。另一方面，由于信号W1Rs与透光区域1R及W1要素的透过率的积分成比例，故用以下的式2来表示。在此，在可见光的整个波段内进行积分。

[数7]

W1Ls＝k∫sin²[(λ-400)π/100]sin²[(λ-400)π/100]dλ(7)

[数8]

W1Rs＝k∫cos²[(λ-400)π/100]sin²[(λ-400)π/100]dλ  (8)

在此，为了使式7、式8的计算容易，基于图8，将积分范围设为可见光的400～700nm，若置换为将波长λ为400nm的情况设为角度θ＝0弧度、将波长λ为500nm的情况设为角度θ＝π弧度的数据，则式7、式8分别可改写为以下的式9、式10。

[数9]

$W1\mathrm{Ls}=6k{\∫}_0^{\mathrm{\π}/2}{\sin }^2\mathrm{\θ}\×{\sin }^2\mathrm{\θd\θ}---\left(9\right)$

[数10]

$W1\mathrm{Rs}=6k{\∫}_0^{\mathrm{\π}/2}{\cos }^2\mathrm{\θ}\×{\sin }^2\mathrm{\θd\θ}---\left(10\right)$

式9、式10还可以分别变形为以下的式11、式12。

[数11]

$W1\mathrm{Ls}=6k{\∫}_0^{\mathrm{\π}/2}{\sin }^4\mathrm{\θd\θ}=6k{\∫}_0^{\mathrm{\π}/2}{\left(\frac{1-\cos 2\mathrm{\θ}}{2}\right)}^2\mathrm{d\θ}=6k{\∫}_0^{\mathrm{\π}/2}\frac{1-2\cos 2\mathrm{\θ}+{\cos }^{2}2\mathrm{\θ}}{4}\mathrm{d\θ}$

$=\frac{3k}{2}(\frac{\mathrm{\π}}{2}+{\∫}_0^{\mathrm{\π}/2}\frac{1+\cos 4\mathrm{\θ}}{2}\mathrm{d\θ})=\frac{9\mathrm{k\π}}{8}---\left(11\right)$

[数12]

$W1\mathrm{Rs}=6k{\∫}_0^{\mathrm{\π}/2}\frac{{\left(\sin 2\mathrm{\θ}\right)}^2}{4}\mathrm{d\θ}=6k{\∫}_0^{\mathrm{\π}/2}\frac{1-\cos 4\mathrm{\θ}}{8}\mathrm{d\θ}=\frac{3\mathrm{k\π}}{8}---\left(12\right)$

同样，由于信号W2Ls与透光区域1L及W2要素的透过率的积分成比例，故用以下的式13来表示。另一方面，由于信号W2Rs与透光区域1R及W2要素的透过率的积分成比例，故用以下的式14来表示。

[数13]

W2Ls＝k∫cos²[(λ-400)π/100]sin²[(λ-400)π/100]dλ    (13)

[数14]

W2Rs＝k∫cos²[(λ-400)π/100]cos²[(λ-400)π/100]dλ     (14)

在此，由于式13的右边和式8的右边相等，故两者的计算结果相等。关于式14，与上述同样地若将积分变量λ变换为θ，则可获得以下的式15。

[数15]

$W2\mathrm{Rs}=6k{\∫}_0^{\mathrm{\π}/2}{\cos }^4\mathrm{\θd\θ}=6k{\∫}_0^{\mathrm{\π}/2}{\left(\frac{1+\cos 2\mathrm{\θ}}{2}\right)}^2\mathrm{d\θ}=6k{\∫}_0^{\mathrm{\π}/2}\frac{1+2\cos 2\mathrm{\θ}+{\cos }^{2}2\mathrm{\θ}}{4}\mathrm{d\θ}$

$=\frac{3k}{2}(\frac{\mathrm{\π}}{2}+{\∫}_0^{\mathrm{\π}/2}\frac{1+\cos 4\mathrm{\θ}}{2}\mathrm{d\θ})=\frac{9\mathrm{k\π}}{8}---\left(15\right)$

根据以上的内容可知：W1Ls∶W1Rs＝3∶1，W2Ls∶W2Rs＝1∶3。这意味着：对于透过W1要素并被进行光电变换的信号而言，透过了透光区域1L的成分和透过了透光区域1R的成分的信号量不同，其比率为3∶1。另一方面，意味着：对于透过W2要素并被进行光电变换的信号而言，透过了透光区域1L的成分与透过了透光区域1R的成分的信号比率为1∶3。

在此，若用IMG(L)来表示由入射透光区域1L的光而得到的图像、用IMG(R)来表示由入射到透光区域1R的光而得到的图像，则这些图像与像素信号W1s、W2s的关系用以下的式16来表示。

[数16]

$\left(\begin{array}{c}W1s\\ W2s\end{array}\right)=\left(\begin{array}{cc}1& 1/3\\ 1/3& 1\end{array}\right)\left(\begin{array}{c}\mathrm{IMG}\left(L\right)\\ \mathrm{IMG}\left(R\right)\end{array}\right)---\left(16\right)$

再有，通过在两边乘以式16的右边的2行2列的矩阵的逆矩阵，从而获得以下的式17。

[数17]

$\left(\begin{array}{c}\mathrm{IMG}\left(L\right)\\ \mathrm{IMG}\left(R\right)\end{array}\right)=\frac{9}{8}\left(\begin{array}{cc}1& -1/3\\ -1/3& 1\end{array}\right)\left(\begin{array}{c}W1s\\ W2s\end{array}\right)---\left(17\right)$

如上所述，通过利用本实施方式中的透光板1与透明要素W1及W2，从而图像处理部7可生成多视点图像。根据本实施方式，由于透明要素W1、W2具有使RGB所有颜色透过的特性，故透过这些要素并被进行光电变换的光形成的信号可用作亮度信号。

接着，对本实施方式中的彩色信号处理进行说明。根据上述的构成，从摄像元件2a获得像素信号W1s、W2s、Rs、Bs。图像处理部7将W1s及W2s作为亮度信号来处理，将Rs、Bs作为颜色信号来处理。由摄像元件2a而得的各像素信号被送到图像处理部7，因而根据像素信号W1s、W2s并利用基于式17的运算，能生成具有视差的2个图像(信号IMG(L)、IMG(R)构成的图像)。其中，这些多视点图像仅包括亮度信息而不包括颜色信息。因而，将亮度信号YL设为YL＝W1s+W2s，在生成色差信号(Rs-YL)与(Bs-YL)之后，将利用带通滤光器把这些色差信号变为低频带的信号，叠加到所得到的多视点图像中。之后图像处理部7如下这样地进行多视点图像的彩色化处理。若将被彩色化的多视点图像的1个设为cIMG(L)，分别用cIMG(L)r、cIMG(L)g、cIMG(L)b来表示其RGB成分，则用式18来表示cIMG(L)r、cIMG(L)g、cIMG(L)b。

[数18]

$\left(\begin{array}{c}\mathrm{cIMG}\left(L\right)r\\ \mathrm{cIMG}\left(L\right)g\\ \mathrm{cIMG}\left(L\right)b\end{array}\right)=\left(\begin{array}{ccc}M11& M12& M13\\ M21& M22& M23\\ M31& M32& M33\end{array}\right)\left(\begin{array}{c}\mathrm{IMG}\left(L\right)\\ \mathrm{Rs}-\mathrm{YL}\\ \mathrm{Bs}-\mathrm{YL}\end{array}\right)---\left(18\right)$

式18将亮度信号及2个色差信号变换为RGB信号，用M11～M33来表示该变换矩阵的要素。

同样地，若将被彩色化的多视点图像的另一方设为cIMG(R)，并用cIMG(R)r、cIMG(R)g、cIMG(R)b来表示其RGB成分，则用以下的式19来表示cIMG(R)r、cIMG(R)g、cIMG(R)b。

[数19]

$\left(\begin{array}{c}\mathrm{cIMG}\left(R\right)r\\ \mathrm{cIMG}\left(R\right)g\\ \mathrm{cIMG}\left(R\right)b\end{array}\right)=\left(\begin{array}{ccc}M11& M12& M13\\ M21& M22& M23\\ M31& M32& M33\end{array}\right)\left(\begin{array}{c}\mathrm{IMG}\left(R\right)\\ \mathrm{Rs}-\mathrm{YL}\\ \mathrm{Bs}-\mathrm{YL}\end{array}\right)---\left(19\right)$

式18、式19中的矩阵要素M11～M33可预先借助仿真来求取。图像处理部7利用基于式18、式19的运算，将亮度信号及2个色差信号变换为彩色信号cIMG(L)r、cIMG(L)g、cIMG(L)b。

本实施方式中，利用亮度信息来生成多视点图像，在之后的彩色化处理中在2个多视点图像中通用颜色信号。本来，作为人类的视觉特性来说，颜色的识别能力要比亮度的识别能力还低，因此即便借助这种处理来生成彩色多视点图像，在视觉特性方面也没有问题。

如上所述，根据本实施方式，可利用具有虽然分光透过率特性不同、但使可见光整个波段透过的2个透光区域1L、1R的透光板1、及配置了具有与透光区域1L、1R同样的光学特性的2种透明要素W1、W2的摄像元件2a。由此，可根据2种亮度信息来生成多视点图像。进而，通过利用配置有R要素、B要素的像素的信号，从而可实现多视点图像的彩色化。尤其是在本实施方式中，由于透光板1中并不存在遮光部，而且使RGB所有颜色的光透过，故存在光利用率高的优点。

另外，在本实施方式中，在透明要素W1、W2以外，作为颜色要素利用的是红色要素R及蓝色要素B，但2种颜色要素并未限于红色及蓝色，只要是不同的颜色，也可以是任意的颜色要素。此外，关于这些配置而言，并未限于图7所示的配置。例如，也可以采用将图7所示的配置以纸面垂直方向为轴旋转45度而成的斜交型配置。再有，对于透光板1及摄像元件2a的透明要素W1、W2的分光透过率特性而言，无需是近似于图8所示的三角函数的平方的特性。只要W1、W2的分光透过率特性相对于波长的变化来说光透过率具有周期性的变动、且这些变动的相位不同，何种特性都可以。进而，无需设计为：透光区域1L及透明要素W1的分光透过率特性相等，透光区域1R及透明要素W2的分光透过率特性相等。即便将这些要素的分光透过率设为完全不同，只要预先得知各分光透过率特性的函数形式，就能借助信号处理获得同样的效果。

(实施方式2)

接着，对本发明的第2实施方式进行说明。本实施方式中，虽然摄像元件2a的基本色构成不同于上述的实施方式1，但除此以外和实施方式1同样。因而，在以下的说明中，以与实施方式1不同的点为中心进行说明，省略与重复事项相关的说明。

图10是表示本实施方式中的摄像元件2a的一个单位块中的基本色构成的图。本实施方式中的摄像元件2a的滤光器排列以2行2列为基本，第1行第1列为红色要素(R)、第2行第1列为蓝色要素(B)、第1行第2列为绿色要素(G)、第2行第2列为透明要素(W2)。透明要素W2和实施方式1中的透明要素W2要素相同。在此，B、G、R的各颜色要素的分光透过率特性分别和图8中的透光区域1L的400～500nm、500～600nm、600～700nm中的特性相同。即，将RGB要素的分光透过率特性合计在一起的结果和图8中的透光区域1L的特性是相同的。另一方面，透光板1和实施方式1的透光板相同。本实施方式中，红色要素R、蓝色要素B、绿色要素G、及与这些要素对置的3个感光单元的组合相当于第1种像素，透明要素W2及与其对置的感光单元相当于第2种像素。

以下，在与实施方式1中的信号处理对比的同时，对本实施方式的信号处理进行说明。实施方式1中，摄像元件2a具有W1要素，虽然可以利用其信号来生成图像，在本实施方式中取代W1要素而将对R、G、B要素的信号进行合计后的信号作为W1s信号。结果，与W1要素及W2要素相关的运算和实施方式1中的运算是相同的。与实施方式1同样，基于式17来生成根据入射到透光区域1L的光而得到的图像IMG(L)及根据入射到透光区域1R的光而得到的图像IMG(R)。

再有，对于多视点图像的彩色化而言，也通过与实施方式1中的处理同样的处理来进行。图像处理部7首先利用信号Rs、Bs、W1s、W2s来生成亮度信号YL＝W1s+W2s、和2个色差信号(Rs-YL)及(Bs-YL)。接下来，利用带通滤光器(band filter)将色差信号变为低频带后将这些信号和2个多视点图像进行叠加。之后的处理也和实施方式1同样地基于式18、19来执行，从而生成彩色多视点图像。

如上所述，根据本实施方式，通过利用配置有R要素、G要素、B要素、及W2要素的摄像元件2a，从而可生成彩色多视点图像。通过将R、G、B的各颜色要素的分光透过率特性的合计值设为与图8所示的透光区域1L相同的特性，可获得与实施方式1同样的效果。

另外，本实施方式中，如图9所示，虽然将摄像元件2a的基本色构成设为R要素、G要素、B要素、及W2要素，但不限于图4所示的配置，即便各要素的配置不同也没有问题。

(实施方式3)

接下来，对本发明的第3实施方式进行说明。本实施方式的摄像装置和实施方式1的摄像装置相比较，在透光板1的2个透光区域1L、1R的分光透过率特性、及摄像元件2a中的滤光器构成上是不同的。以下，以与实施方式1不同的点为中心进行说明，针对重复之处则省略说明。

本实施方式中，将摄像元件2a的一个单位块中的基本色构成设为3行2列。图10是表示该基本色构成的图。如图所示，第1行第1列配置红色要素(R1)、第2行第1列配置绿色要素(G1)、第3行第1列配置蓝色要素(B1)，第1行第2列配置红色要素(R2)、第2行第2列配置绿色要素(G2)、第3行第2列配置蓝色要素(B2)。虽然R1要素及R2要素均主要使红色波段的光透过，但两者的分光透过率特性不同。同样地，虽然G1要素及G2要素均主要使绿色波段的光透过，但两者的分光透过率特性不同。再有，虽然B1要素及B2要素均主要使蓝色波段的光透过，但两者的分光透过率特性不同。

图11是表示这些各要素的分光透过率特性的曲线图。在图11中，400nm～500nm波段中的实线表示R1的特性、500nm～600nm波段中的实线表示G1的特性、600nm～700nm波段中的实线表示B1的特性。同样地，400nm～500nm波段中的虚线表示R2的特性、500nm～600nm波段中的虚线表示G2的特性、600nm～700nm波段中的虚线表示B2的特性。本实施方式中，红色要素R1、绿色要素G1、蓝色要素B1、及与这些要素对置的3个感光单元的组合相当于第1种像素，红色要素R2、绿色要素G2、蓝色要素B2、及与这些要素对置的3个感光单元的组合相当于第2种像素。

另一方面，对于透光板1的分光透过率特性而言，也与实施方式1、2中的特性不同。图12是表示本实施方式中的透光板1的分光透过率特性的曲线图。本实施方式中的透光板1的分光透过率曲线和实施方式1、2中的分光透过率曲线相比较，峰值(极大点)与谷值(极小点)的个数较多。

若着眼于摄像元件2a的各颜色要素的分光透过率曲线及透光板1的各透光区域的分光透过率曲线的相位，则R1、G1、B1的特性和透光区域1L的特性大致同相，R1、G1、B1的特性和透光区域1R的特性大致反相。再有，R2、G2、B2的特性和透光区域1R的特性大致同相，R2、G2、B2的特性和透光部1L的特性大致反相。在此，将R1、G1、B1要素综合而标记为C1要素，将R2、G2、B2要素综合而标记为C2要素。而且，以一般化的记号将透过了C1、C2要素的光形成的光电变换信号分别表示为C1s、C2s。根据上述的分光透过率特性，透过透光区域1L和C1要素的光量要比透过透光区域1R和C1要素的光量还多。同样地，透过透光区域1R和C2要素的光量要比透过透光区域1L区域和C2要素的光量还多。

根据以上的构成，用以下的式20来表现信号C1s及C2s、和由入射到透光区域1L的光而得到的图像IMG(L)及由入射到透光区域1R的光而得到的图像IMG(R)之间的关系。

[数20]

$\left(\begin{array}{c}C1s\\ C2s\end{array}\right)=\left(\begin{array}{cc}C11& C12\\ C21& C22\end{array}\right)\left(\begin{array}{c}\mathrm{IMG}\left(L\right)\\ \mathrm{IMG}\left(R\right)\end{array}\right)---\left(20\right)$

在矩阵要素C11～C22中，C11＞C12、C22＞C21成立。根据该关系，一定得求取C11～C22的矩阵的逆矩阵，能够用信号C1s、C2s来表示图像IMG(L)与图像IMG(R)。在此，虽然代表各颜色的信号而表示为C1s、C2s，但实际上基于RGB各颜色的信号来执行式20所示的运算。即，可根据RGB各颜色的信号来计算图像IMG(L)与图像IMG(R)。

如上所述，根据本实施方式，可利用包括具有互不相同的分光透过率特性的1组R要素(R1、R2)、1组G要素(G1、G2)及1组B要素(B1、B2)的摄像元件2a、和具有分光透过率特性互不相同的2个透光区域1L、1R的透光板1。而且，R1、G1、B1的特性和透光区域1L的特性大致同相，R2、G2、B2的特性和透光区域1R的特性大致同相。再有，R1、G1、B1的特性和透光区域1R的特性大致反相，R2、G2、B2的特性和透光区域1L的特性大致反相。根据这种构成，可利用各颜色信号来获得视差图像IMG(L)、IMG(R)。进而，由于透光板1使RGB各颜色的光透过，故具有可提高光利用率的效果。

另外，在本实施方式中，虽然将摄像元件2a的基本色构成设为3行2列，但并未限于此，即便为以2行3列为基本的构成也是没有问题的。再有，对于颜色要素而言，不限于R要素、G要素、B要素，只要是不同的3种颜色要素，就能在进行信号处理之际通过实施矩阵运算而变换为RGB信号，因此无论利用何种颜色要素都是没有问题的。例如，取代R、G、B的各要素，也可以利用蓝绿(Cy)、黄(Ye)、品红(Mg)的滤色器。

本实施方式中，虽然在一个单位块中包含有3种滤色器的对，但该对的数也可以比3多。将本实施方式的构成一般化，第1及第2种像素也可以都具有第1～第N(N为3以上的整数)感光单元、和与这些感光单元分别对置配置的第1～第N透过滤光器。该情况下，任一种像素中构成为：第1～第N透过滤光器分别有选择地使第1～第N颜色成分的光透过。而且，设计为：第1种像素所包含的第i(i为1～N为止的整数)透过滤光器的第i颜色成分中的分光透过率特性和第2种像素所包含的第i透过滤光器的第i颜色成分中的分光透过率特性是不同的。根据以上的构成，如果可将来自N个感光单元的输出的合计作为一个输出来处理，则获得与本实施方式同样的效果。

(其他实施方式)

在上述的各实施方式中，对透光板1进行二分并使各区域的分光透过率特性不同，但本发明不限于这种构成。例如，对透光板1进行3分割，将其中的2个区域设为与上述任一实施方式中的2个透光区域相同的特性，剩下的1个区域即便设为完全透过，同样也能获得多视点图像。例如，如实施方式3那样在摄像元件2a的基本色构成为图10所示的构成的情况下，由于在式20中的C11～C22中加入了透明成分W，故信号C1s、C2s与图像IMG(L)、IMG(R)的关系用以下的式21来表示。

[数21]

$\left(\begin{array}{c}C1s\\ C2s\end{array}\right)=\left(\begin{array}{cc}C11+W& C12+W\\ C21+W& C22+W\end{array}\right)\left(\begin{array}{c}\mathrm{IMG}\left(L\right)\\ \mathrm{IMG}\left(R\right)\end{array}\right)---\left(21\right)$

通过将式21中的矩阵的逆矩阵从左边相乘到式21中，从而可获得表示多视点图像的信号IMG(L)及IMG(R)。其中，该例中与多视点图像相关的比率(C11∶C12)及(C22∶C21)分别成为(C11+W∶C12+W)及(C22+W∶C21+W)，因此所取得的视差量变得要比没有透明成分W的情况少。

在上述的各实施方式中，虽然对从摄像元件2a输出的信号直接进行处理来生成表示视差的信号，但也可以临时保存到记录介质，之后一边读出该记录介质所保存的数据、一边生成多视点图像。

进而，以上实施方式中的图像处理部7生成彩色多视点图像，但在不需要彩色信息的情况下，也可以构成为仅生成白黑的多视点图像而不进行彩色化处理。该情况下，无需利用彩色摄像元件，摄像元件只要具有图1所示的2种透过滤光器即可。

在以上的实施方式中，虽然由被内置于摄像装置中的图像处理部来进行图像处理，但也可以使与摄像装置独立的其他装置来执行该图像处理。例如，通过使其他装置(图像处理装置)读入由具有上述各实施方式中的摄像部100的摄像装置取得的信号，让被内置于该图像处理装置中的计算机来执行规定上述信号运算处理的程序，这样也可以获得同样的效果。

-工业可用性-

本发明实施方式涉及的三维摄像装置对于利用了固体摄像元件的所有照相机来说都是有效的。例如，可利用于数码相机或数码摄像机等民用照相机、或者工业用的固体监视照相机等。

-符号说明-

1透光板

1L、1R透光区域

2固体摄像元件

2a彩色固体摄像元件

2b摄像面

3光学透镜

4红外线截止滤光器

5信号产生/接收部

6元件驱动部

7图像处理部

8图像接口部

9摄像装置

10像素

11  0度偏光的偏光板

12  90度偏光的偏光板

13反射镜

14半反射镜

15圆形的偏光滤光器

16使偏光滤光器旋转的驱动装置

17、18偏光滤光器

19透镜光圈

20、22、23光束限制板

20a使红色系的光透过的滤色器

20b使蓝色系的光透过的滤色器

21感光薄膜

22R、23R光束限制板的R光透过区域

22G、23G光束限制板的G光透过区域

22B、23B光束限制板的B光透过区域

30存储器

40透过滤光器

50像素

60感光单元

Claims (16)

1.一种三维摄像装置，具备：

透光部，其具有第1透光区域及第2透光区域；

摄像元件，其配置为接受透过了所述透光部的光，该摄像元件在摄像面上排列有各自包括第1种像素及第2种像素的多个单位块；

成像部，其在所述摄像元件的摄像面上形成像；以及

图像处理部，其基于从所述第1种像素及所述第2种像素输出的光电变换信号来生成多视点图像，

对于可见光的波长λ而言，在将表示所述第1透光区域的分光透过率的函数表示为TL(λ)、将表示所述第2透光区域的分光透过率的函数表示为TR(λ)、将表示所述第1种像素的分光透过率的函数表示为T1(λ)、将表示所述第2种像素的分光透过率的函数表示为T2(λ)时，

TL(λ)≠TR(λ)且T1(λ)≠T2(λ)成立，

TL(λ)、TR(λ)、T1(λ)、T2(λ)在红色、绿色、蓝色的各波段内均分别具有至少1个极大值及极小值。

2.根据权利要求1所述的三维摄像装置，其中，

TL(λ)＝T1(λ)且TR(λ)＝T2(λ)成立。

3.根据权利要求2所述的三维摄像装置，其中，

TL(λ)、TR(λ)、T1(λ)、T2(λ)为周期函数。

4.根据权利要求1～3中任一项所述的三维摄像装置，其中，

所述第1种像素包括第1感光单元、及与所述第1感光单元对置配置的第1透过滤光器，

所述第2种像素包括第2感光单元、及与所述第2感光单元对置配置的第2透过滤光器，

T1(λ)是表示所述第1透过滤光器的分光透过率的函数，

T2(λ)是表示所述第2透过滤光器的分光透过率的函数。

5.根据权利要求4所述的三维摄像装置，其中，

各单位块还包括第3种像素及第4种像素，

所述第3种像素包括第3感光单元、及与所述第3感光单元对置配置且有选择地使第1颜色成分的光透过的第3透过滤光器，

所述第4种像素包括第4感光单元、及与所述第4感光单元对置配置且有选择地使第2颜色成分的光透过的第4透过滤光器，

所述图像处理部利用从所述第3种像素及所述第4种像素输出的光电变换信号来生成颜色信息。

6.根据权利要求1～3中任一项所述的三维摄像装置，其中，

所述第1种像素包括多个感光单元、及与所述多个感光单元各自对置配置且分光透过率特性互不相同的多个透过滤光器，

所述第2种像素包括一个感光单元、及与所述一个感光单元对置配置的一个透过滤光器，

T1(λ)是表示所述第1种像素所包含的所述多个透过滤光器的分光透过率的总和的函数，

T2(λ)是表示所述第2种像素所包含的所述一个透过滤光器的分光透过率的函数。

7.根据权利要求6所述的三维摄像装置，其中，

所述第1种像素所包含的所述多个透过滤光器构成为有选择地使互不相同的颜色成分的光透过。

8.根据权利要求7所述的三维摄像装置，其中，

所述第1种像素所包含的所述多个感光单元的个数及所述多个透过滤光器的个数均为3个，

在所述多个透过滤光器之中，构成为：第1透过滤光器有选择地使红色的颜色成分的光透过，第2透过滤光器有选择地使绿色的颜色成分的光透过，第3透过滤光器有选择地使蓝色的颜色成分的光透过。

9.根据权利要求1～3中任一项所述的三维摄像装置，其中，

所述第1种像素具有多个感光单元、及与所述多个感光单元对置配置且分光透过率特性互不相同的多个透过滤光器，

所述第2种像素具有多个感光单元、及与所述多个感光单元对置配置且分光透过率特性互不相同的多个透过滤光器，

T1(λ)是表示所述第1种像素所包含的所述多个透过滤光器的分光透过率的总和的函数，

T2(λ)是表示所述第2种像素所包含的所述多个透过滤光器的分光透过率的总和的函数。

10.根据权利要求9所述的三维摄像装置，其中，

所述第1及第2种像素均具有第1～第N感光单元、及与所述第1～第N感光单元分别对置配置的第1～第N透过滤光器，其中N为3以上的整数，

所述第1种像素所包含的所述第1～第N透过滤光器构成为分别有选择地使第1～第N颜色成分的光透过，

所述第2种像素所包含的所述第1～第N透过滤光器构成为分别有选择地使所述第1～第N颜色成分的光透过，

所述第1种像素所包含的第i透过滤光器的所述第i颜色成分中的分光透过率特性和所述第2种像素所包含的第i透过滤光器的所述第i颜色成分中的分光透过率特性不同，其中i为1～N的整数。

11.根据权利要求10所述的三维摄像装置，其中，

N＝3，

所述第1～第3颜色成分分别为红色、绿色、蓝色。

12.根据权利要求1～11中任一项所述的三维摄像装置，其中，

所述图像处理部基于从所述第1及第2种像素输出的所述信号来生成彩色多视点图像。

13.根据权利要求1～12中任一项所述的三维摄像装置，其中，

该三维摄像装置还具有对从所述摄像元件输出的信号进行保存的记录部，

所述图像处理部基于所述记录部所保存的所述信号来生成所述多视点图像。

14.一种摄像元件，其被利用于权利要求1～13中任一项所述的三维摄像装置中。

15.一种透光部，其被利用于权利要求1～13中任一项所述的三维摄像装置中。

16.一种图像处理装置，其基于从三维摄像装置输出的信号来生成图像，该三维摄像装置具备：具有第1透光区域及第2透光区域的透光部；被配置为接受透过了所述透光部的光且在摄像面上排列有各自包括第1种像素及第2种像素的多个单位块的摄像元件；以及在所述摄像元件的摄像面形成像的成像部，对于可见光的波长λ而言，在将表示所述第1透光区域的分光透过率的函数表示为TL(λ)、将表示所述第2透光区域的分光透过率的函数表示为TR(λ)、将表示所述第1种像素的分光透过率的函数表示为T1(λ)、将表示所述第2种像素的分光透过率的函数表示为T2(λ)时，TL(λ)≠TR(λ)且T1(λ)≠T2(λ)成立，TL(λ)、TR(λ)、T1(λ)、T2(λ)在红色、绿色、蓝色的各波段内均分别具有至少1个极大值及极小值，其中，

该图像处理装置基于从所述第1及第2种像素输出的光电变换信号来生成多视点图像。

Images