CN103052914B - 三维摄像装置 - Google Patents

Abstract

本发明提供一种三维摄像装置。该三维摄像装置具备：具有第1透光区域(1L)以及第2透光区域(1R)的光透射部(1)；被配置成接受透射过光透射部(1)的光的摄像元件(2a)；在摄像元件(2a)的摄像面形成像的成像部(3)；和按照连续地执行至少两次摄像的方式驱动上述摄像元件、且按照在每次摄像时调换上述第1透光区域的位置以及上述第2透光区域的位置的方式驱动上述光透射部的摄像驱动部。第1透光区域(1L)使包含于红色的波段内的第1波段的光、和包含于绿色的波段内的第2波段的光透射。第2透光区域1R使包含于绿色的波段内且波长比上述第2波段还短的第3波段的光、和包含于蓝色的波段内的第4波段的光透射。

Description

三维摄像装置

技术领域

本申请涉及采用一个光学***和一个摄像元件来生成视差图像的单眼的三维摄像技术。

背景技术

近年来，关于采用了CCD或CMOS等固体摄像元件(以下有时称为“摄像元件”。)的数码相机或数字电影的高功能化、高性能化备受瞩目。尤其随着半导体制造技术的进步，固体摄像元件中的像素构造的微细化得到发展。其结果，谋求了固体摄像元件的像素以及驱动电路的高集成化。因此，在仅仅数年中摄像元件的像素数便从100万像素程度显著地增加到1000万像素以上。进而，通过摄像所得到的图像的质量也飞跃地提高。

另一方面，关于显示装置，由于基于薄型的液晶或等离子的显示器不占地方、能够以高分辨率进行高对比度的显示，从而实现高的性能。这种影像的高品质化的潮流正在从二维图像向三维图像扩展。最近虽然需要偏振眼镜，但是高像质的三维显示装置开始被开发。

关于三维摄像技术，作为具有单纯构成的代表性方式，有采用由两个照相机构成的摄像***来分别取得右眼用的图像以及左眼用的图像的方式。在这种所谓的双眼摄像方式中，由于采用两个照相机，因此摄像装置变得大型，成本也变高。因此，研究采用一个照相机来取得具有视差的多个图像(以下有时称作“多视点图像”。)的方式(单眼摄像方式)。

例如，在专利文献1中公开了采用透射轴的方向互相正交的2个偏振板和进行旋转的偏振滤光器的方式。图11是表示基于该方式的摄像***的结构的示意图。该摄像装置具备偏振0度的偏振板11、偏振90度的偏振板12、反射镜13、半透半反镜14、圆形的偏振滤光器15、使圆形的偏振滤光器15旋转的驱动装置16、光学镜头3和取得由光学镜头3成像后的像的摄像装置29。在此，半透半反镜14将透射偏振板11并被反射镜13反射出的光反射，使透射了偏振板12的光透射。根据以上的结构，分别透射了在互相分离的场所处配置的偏振板11、12之后的光经由半透半反镜14、圆形的偏振滤光器15以及光学镜头3而入射到摄像装置29，取得图像。该方式中的摄像的原理为：通过使圆形的偏振滤光器15旋转，从而在不同的定时捕捉分别入射到两个偏振板11、12的光，取得具有视差的两个图像。

但是，在上述方式中，由于在使圆形的偏振滤光器15旋转的同时以分时的方式对不同位置所对应的图像进行摄像，因此存在不能同时取得具有视差的两个图像的课题。在此基础上，由于由偏振板11、12以及偏振滤光器15接受全部入射光，因此还存在摄像装置29所接受的光的量(受光量)降低50％以上的课题。

相对于上述方式，在专利文献2中公开了不采用机械式驱动而能同时取得具有视差的两个图像的方式。基于该方式的摄像装置通过反射镜聚集从两个入射区域入射的光，通过两个种类的偏振滤光器被交替地排列的摄像元件进行受光，从而不采用机械式驱动就能取得具有视差的两个图像。

图12是表示该方式中的摄像***的结构的示意图。该摄像***具有透射轴的方向互相正交的两个偏振板11、12、反射镜13、光学镜头3和摄像元件2。摄像元件2在其摄像面上具备多个像素10、和与像素一一对应地配置的偏振滤光器17、18。偏振滤光器17、18在全部像素上被交替地排列。在此，偏振滤光器17、18的透射轴的朝向分别与偏振板11、12的透射轴的朝向一致。

通过以上的结构，入射光透射偏振板11、12，被反射镜13反射，通过光学镜头3而入射到摄像元件1的摄像面。分别透射偏振板11、12而入射到摄像元件1的光，分别透射偏振滤光器17、18而在与这些偏振滤光器相对置的像素中被光电变换。在此，将由分别通过偏振板11、12而入射到摄像元件1的光所形成的图像分别称作右眼用图像、左眼用图像。于是，右眼用图像、左眼用图像分别是从与偏振滤光器17、18相对置的像素组中得到的。

如上那样，在专利文献2所公开的方式中，在摄像元件的像素上交替地配置透射轴的方向互相正交的两个种类的偏振滤光器来代替采用专利文献1所公开的进行旋转的圆形的偏振滤光器。由此，与专利文献1的方式相比，虽然分辨率降低到1/2，但却能够采用一个摄像元件而同时得到具有视差的右眼用图像和左眼用图像。然而，在该技术中，也与专利文献1的技术同样地，由于入射光透射偏振板以及偏振滤光器时光量减少，因此摄像元件的受光量减少得较多。

对于摄像元件的受光量降低这样的问题，在专利文献3中公开了能够由一个摄像元件取得具有视差的多个图像和通常图像的技术。根据该技术，通过在取得具有视差的两个图像时和取得通常图像时机械地调换一部分构成要素，由此通过一个摄像元件取得具有视差的两个图像和通常图像。在取得具有视差的两个图像时在光路上配置两个偏振滤光器这一点与专利文献2所公开的技术相同。另一方面，在取得通常图像时，偏振滤光器被机械地从光路中卸下。通过采取这种机构，从而能够得到具有视差的多个图像和光利用率高的通常图像。

在上述的专利文献1～3所公开的方式中，虽然采用了偏振板或偏振滤光器，但作为其他的研究，也有采用了滤色器的方式。例如，在专利文献4中公开了采用滤色器来同时取得具有视差的两个图像的方式。图13是示意地表示专利文献4所公开的摄像***的图。摄像***具备镜头3、镜头光圈19、配置有透射波段不同的两个滤色器20a、20b的光束限制板20和感光薄膜21。在此，滤色器20a、20b是例如使红色***、蓝色***的光分别透射的滤光器。

根据以上的结构，入射光透射镜头3、镜头光圈19以及光束限制板20，成像于感光薄膜。此时，在光束限制板20之中的两个滤色器20a、20b中，分别只透射红色***、蓝色***的光。其结果，在感光薄膜上形成有由分别透射了这两个滤色器之后的光所构成的品红色***的颜色的像。在此，由于滤色器20a、20b的位置不同，因此在感光薄膜上所形成的像中会产生视差。在此，如果根据感光薄膜制作照片，并使用红色薄膜以及蓝色薄膜分别作为右眼用以及左眼用而被粘贴成的眼镜，则能够看到具有进深感的图像。如上那样，根据专利文献4所公开的技术，能够使用两个滤色器来制作多视点图像。

专利文献4所公开的技术为在感光薄膜上成像并制作具有视差的多个图像的技术，但另一方面，在专利文献5中公开了将具有视差的图像变换为电信号来取得的技术。图14是示意地表示该技术中的光束限制板的图。在该技术中采用的是在与摄像光学***的光轴垂直的平面上设置有透射红色光的R区域22R、透射绿色光的G区域22G、透射蓝色光的B区域22B的光束限制板22。通过由具有红色用的R像素、绿色用的G像素、蓝色用的B像素的彩色摄像元件来接受透射过这些区域的光，从而取得由透射了各区域之后的光所产生的图像。

此外，在专利文献6中也公开了采用与专利文献5同样的结构来取得具有视差的多个图像的技术。图15是示意地表示专利文献6所公开的光束限制板的图。在该技术中也能通过入射光透射在光束限制板23中设置的R区域23R、G区域23G、B区域23B来制作具有视差的图像。

专利文献7也同样公开了采用相对于光轴而对称地配置的、颜色互相不同的一对滤光器来生成具有视差的多个图像的技术。通过利用红色滤光器以及蓝色滤光器作为一对滤色器，从而探测红色光的R像素观测透射了红色滤光器的光，探测蓝色光的B像素观测透射了蓝色滤光器的光。由于红色滤光器和蓝色滤光器的位置不同，因此R像素所接受的光的入射方向和B像素所接受的光的入射方向互相不同。其结果，由R像素所观测的图像和由B像素所观测的图像成为视点互相不同的图像。通过根据这些图像按每个像素求得对应点，从而算出视差量。根据所算出的视差量和照相机的焦点距离信息求得从照相机到被摄体为止的距离。

专利文献8公开了如下技术：采用安装了孔径尺寸互相不同的两个滤色器的光圈、或者颜色不同的两个滤色器相对于光轴被安装在左右对称的位置处的光圈而取得两个图像，根据所取得的两个图像求得被摄体的距离信息。在该技术中，在对分别透射了孔径尺寸互相不同的红色以及蓝色滤色器的光进行观测的情况下，被观测的模糊的程度因每个颜色而不同。因此，与红色以及蓝色滤色器分别对应的两个图像成为模糊的程度因被摄体的距离而不同的图像。根据这些图像求得对应点，并对模糊的程度进行比较，由此取得从照相机到被摄体为止的距离信息。另一方面，在对分别透射了相对于光轴被安装在左右对称的位置处的颜色不同的两个滤色器而得到的光进行观测的情况下，被观测的入射光的方向因每个颜色而不同。因此，与红色以及蓝色滤色器分别对应的两个图像成为具有视差的图像。根据这些图像求得对应点，并求得对应点间的距离，由此得到从照相机到被摄体为止的距离信息。

根据上述专利文献4～8所示的技术，通过在光束限制板中配置RGB的滤色器从而能够生成具有视差的图像。但是，由于采用光束限制板，因此入射光量减少。此外，为了提高视差的效果而需要将RGB的滤色器配置在互相分离的位置，减小这些滤色器的面积，但如果那样做则入射光量会进一步减少。

相对于以上的技术，在专利文献9中公开了采用配置有RGB的滤色器的光圈而能得到具有视差的多个图像和在光量上没有问题的通常图像的技术。在该技术中，在关闭光圈的状态下只接受透射过RGB的滤色器的光，在打开光圈的状态下由于RGB的滤色器区域从光路中去除，因此能够接受所有的入射光。由此，能够在关闭光圈的状态下取得具有视差的图像，在打开光圈的状态下取得光利用率高的通常图像。

现有技术文献

专利文献

专利文献1：JP特开昭62-291292号公报

专利文献2：JP特开昭62-217790号公报

专利文献3：JP特开2001-016611号公报

专利文献4：JP特开平2-171737号公报

专利文献5：JP特开2002-344999号公报

专利文献6：JP特开2009-276294号公报

专利文献7：JP特开2010-38788号公报

专利文献8：JP特开2010-79298号公报

专利文献9：JP特开2003-134533号公报

非专利文献

非专利文献1：森上雄太、高木健、石井抱：視点変換アイリスによる実時間単眼ステレオシステム、第27回日本口ボツト学会学術講演会講演論文集、3R2-06、2009.

发明内容

发明所要解决的课题

无论在采用了偏振的现有技术中还是在采用了滤色器的现有技术中都能生成多视点图像，但由于偏振板或者滤色器而入射到摄像元件的光的量大幅度地减少。为了确保入射光量，虽然利用将偏振区域或者滤色器区域从光路上去除的机构也能取得光利用率高的通常图像，但即使采用这种结构也具有多视点图像自身的光利用率低这样的课题。

本发明的实施方式鉴于上述课题，其目的在于基于滤色器比偏振板能廉价地制作的背景，提供一种采用滤色器能取得光利用率高的多视点图像的摄像技术。

用于解决课题的技术方案

为了解决上述课题，本发明的一方式的三维摄像装置具备：光透射部，其具有第1透光区域以及第2透光区域；摄像元件，其被配置成接受透射过上述光透射部的光；成像部，其在上述摄像元件的摄像面形成像；和摄像驱动部，其驱动上述摄像元件以及上述光透射部。上述第1透光区域具有使包含于蓝色的波段内的第1波段的光、和包含于绿色的波段内的第2波段的光透射的特性，上述第2透光区域具有使包含于绿色的波段内且波长比上述第2波段还长的第3波段的光、和包含于红色的波段内的第4波段的光透射的特性。上述摄像驱动部按照连续地执行至少两次摄像的方式驱动上述摄像元件，并且按照在每次摄像时调换上述第1透光区域的位置以及上述第2透光区域的位置的方式驱动上述光透射部。

上述的一般且特定的方式，能采用***、方法以及计算机程序来实现，或者能采用***、方法以及计算机程序的组合来实现。

发明效果

根据本发明的实施方式，与现有技术相比较，能够生成光利用率高的多视点图像。

附图说明

图1是表示实施方式1中的摄像装置的结构的框图。

图2是表示实施方式1中的透光板、光学镜头以及摄像元件的概略结构的示意图。

图3是实施方式1中的透光板的正面视图。

图4是表示实施方式1中的透光板的分光透射率特性的图。

图5是表示实施方式1中的摄像元件的基本颜色结构的图。

图6是表示实施方式1中的摄像元件的各颜色要素的分光透射率特性的图。

图7是表示实施方式1中的透光板的旋转的图。

图8A是表示实施方式1的变形例中的透光板的分光透射率特性的另一例的图。

图8B是实施方式1的变形例中的透光板的正面视图。

图8C是表示实施方式1的变形例中的基本颜色结构的图。

图8D是表示实施方式1的变形例中的摄像元件的各颜色要素的分光透射率特性的图。

图9是表示实施方式1的变形例中的透光板的结构的图。

图10是实施方式2中的透光板的正面视图。

图11是专利文献1中的摄像***的结构图。

图12是专利文献2中的摄像***的结构图。

图13是专利文献4中的摄像***的结构图。

图14是专利文献5中的光束限制板的外观图。

图15是专利文献6中的光束限制板的外观图。

具体实施方式

(1)为了解决上述课题，本发明的一方式的三维摄像装置具备：光透射部，其具有第1透光区域以及第2透光区域，上述第1透光区域具有使包含于蓝色的波段内的第1波段的光、和包含于绿色的波段内的第2波段的光透射的特性，上述第2透光区域具有使包含于绿色的波段内且波长比上述第2波段还长的第3波段的光、和包含于红色的波段内的第4波段的光透射的特性；摄像元件，其被配置成接受透射过上述光透射部的光；成像部，其在上述摄像元件的摄像面形成像；和摄像驱动部，其按照连续地执行至少两次摄像的方式驱动上述摄像元件，并且按照在每次摄像时调换上述第1透光区域的位置以及上述第2透光区域的位置的方式驱动上述光透射部。

(2)项目(1)所记载的三维摄像装置在某方式中，还具备图像处理部，该图像处理部基于从上述摄像元件输出的像素信号来生成多视点图像。

(3)项目(1)或者(2)所记载的三维摄像装置在某方式中，上述摄像元件具有在摄像面上被排列成二维状的多个像素块，上述多个像素块的每一个具有：主要感知上述第1波段的光的第1像素、主要感知上述第2波段的光的第2像素、主要感知上述第3波段的光的第3像素、和主要感知上述第4波段的光的第4像素。

(4)项目(1)～(3)中任一项所记载的三维摄像装置在某方式中，上述第1透光区域以及上述第2透光区域被构成为：表示上述第1透光区域的分光透射率特性的函数和表示上述第2透光区域的分光透射率特性的函数之和不具有波长依赖性。

(5)项目(1)～(4)中任一项所记载的三维摄像装置在某方式中，上述光透射部还具有透明区域。

(6)项目(1)～(5)中任一项所记载的三维摄像装置在某方式中，上述第2波段为500nm以上且550nm以下，上述第3波段为550nm以上且600nm以下。

(7)项目(1)～(6)中任一项所记载的三维摄像装置在某方式中，上述摄像元件具有拜耳型的像素排列。

(8)项目(1)～(7)中任一项所记载的三维摄像装置在某方式中，上述第1透光区域以及上述第2透光区域相对于上述光透射部的中心而被对称地配置，上述摄像驱动部通过使上述光透射部以上述光透射部的中心为轴旋转180度，由此在每次摄像时调换上述第1透光区域的位置以及上述第2透光区域的位置。

(9)本发明的一方式的图像处理装置，基于从三维摄像装置输出的信号来生成多视点图像，该三维摄像装置具备：光透射部，其具有第1透光区域以及第2透光区域，上述第1透光区域具有使包含于蓝色的波段内的第1波段的光、和包含于绿色的波段内的第2波段的光透射的特性，上述第2透光区域具有使包含于绿色的波段内且波长比上述第2波段还长的第3波段的光、和包含于红色的波段内的第4波段的光透射的特性；摄像元件，其被配置成接受透射过上述光透射部的光；成像部，其在上述摄像元件的摄像面形成像；和摄像驱动部，其按照连续地执行至少两次摄像的方式驱动上述摄像元件，并且按照在每次摄像时调换上述第1透光区域的位置以及上述第2透光区域的位置的方式驱动上述光透射部。

以下，参照附图，说明本发明的具体实施方式。在以下的说明中，对多个图中相同或对应的构成要素赋予同一符号。在以下的说明中，有时将表示图像的信息或者信号简称为“图像”。

(实施方式1)

图1是表示本发明的第1实施方式中的摄像装置的整体结构的框图。本实施方式的摄像装置是数字式的电子照相机，具备摄像部100、和基于由摄像部100生成的信号来生成表示图像的信号(图像信号)的信号处理部200。

摄像部100具备：彩色固体摄像元件2a(以下简称为“摄像元件”。)，其具备在摄像面上排列的多个光感知单元；透光板1(光透射部)，其具有透射率的波长依赖性(分光透射率特性)互相不同的两个透光区域；光学镜头3，其用于在摄像元件2a的摄像面上形成像；和红外截止滤光器4。摄像部100还具备：信号产生/接收部5，其产生用于驱动摄像元件2a的基本信号，并且接收来自摄像元件2a的输出信号后送出到信号处理部200；元件驱动部6，其基于由信号产生/接收部5生成的基本信号来驱动摄像元件2a；和旋转驱动部9，其使透光板2旋转。在本实施方式中，信号产生/接收部5、元件驱动部6以及旋转驱动部9的组合作为本发明中的摄像驱动部发挥功能。

摄像元件2a典型地为CCD或者CMOS传感器，通过公知的半导体制造技术被制造。信号产生/接收部5以及元件驱动部6例如由CCD驱动器等LSI构成。旋转驱动部9具有使透光板2旋转的电动机，能够与元件驱动部6联动地使透光板2以其中心为轴进行旋转。

信号处理部200具备：图像处理部7，其对从摄像部100输出的信号进行处理来生成多视点图像；存储器30，其保存用于生成图像信号的各种数据；和接口(IF)部8，其将所生成的图像信号送出到外部。图像处理部7通过公知的数字信号处理器(DSP)等硬件和执行包括图像信号生成处理的图像处理的软件的组合能适当地实现。存储器30通过DRAM等构成。存储器30记录从摄像部100得到的信号，并且暂时记录由图像处理部7所生成的图像数据或被压缩的图像数据。这些图像数据经由接口部8而被送出到未图示的记录介质或显示部等。

另外，本实施方式的摄像装置可具备电子快门、取景器、电源(电池)、闪光灯等公知的构成要素，但这些说明对于本发明的理解没有特别的必要性，因此省略。此外，上述的结构只是一例，在本实施方式中，透光板1、摄像元件2a、图像处理部7以外的构成要素能够适当组合公知的要素来采用。

以下，对摄像部100的结构进行更详细的说明。在以下的说明中，采用图中所示的xy坐标。

图2是示意地表示摄像部100中的透光板1、镜头3以及摄像元件2a的配置关系的图。在图2中，省略了透光板1、镜头3以及摄像元件2a以外的构成要素的图示。镜头3可为由多个透镜组构成的透镜单元，但在图2中为了简单，描绘为单独的透镜。透光板1具有分光透射率特性互相不同的两个透光区域1L、1R，并使至少一部分入射光透射。镜头3为公知的镜头，对透射了透光板1的光进行聚集，在摄像元件2a的摄像面2b成像。另外，图2所示的各构成要素的配置关系只不过是一例，本发明并不限于这样的例子。例如，如果能在摄像面2b形成像，则镜头3也可比透光板1更远离摄像元件2a地配置。此外，镜头3和透光板1也可构成为一体。

图3是本实施方式中的透光板1的正面视图。本实施方式中的透光板1的形状与镜头3同样为圆形，但也可为其他形状。透光板1被2分割为位于图左侧的透光区域1L和位于图右侧的透光区域1R。在本实施方式中，区域1L由蓝绿色(Cy)的滤色器(以下称作“Cy滤光器”)构成，区域1R由黄色(Ye)的滤色器(以下称作“Ye滤光器”)构成。其中，本实施方式中的Cy滤光器以及Ye滤光器与通常的Cy滤光器以及Ye滤光器不同，关于绿色(G)成分的光而分别被设计为：长波长侧或者短波长侧的光的透射率变低。即，被设计为：Cy滤光器主要使蓝色(B)以及短波长侧的绿色(G1)的波段的光透射，Ye滤光器主要使长波长侧的绿色(G2)以及红色(R)的波段的光透射。

图4是表示透光区域1R、1L的分光透射率特性的例子的图。在图4中，横轴表示入射光的波长λ，纵轴表示光透射率。在此，将约400nm～约500nm定义为B的波段，将约500nm～约600nm定义为G的波段，将约600nm～约700nm定义为R的波段。而且，将G的波段之中的、约500nm～约550nm定义为G1的波段，将G的波段之中的、约550nm～约600nm定义为G2的波段。另外，该定义只不过是为了方便，将哪个波段定义为什么颜色也可任意地决定。如图4所示，本实施方式中的Cy滤光器以及Ye滤光器均仅使G成分的光透射通常的约1/2。其结果，表示Cy滤光器的分光透射率特性的函数和表示Ye滤光器的分光透射率特性的函数之和大致成为表示透明的分光透射率特性的函数。由此，能够防止透光板1所引起的着色。

图5表示在摄像元件2a的摄像面2b上被排列成矩阵状的多个光感知单元60的一部分。各光感知单元60典型地包括光电二极管，通过光电变换而输出与各个受光量相应的光电变换信号(像素信号)。与光感知单元60的每一个相对置地在光入射侧配置滤色器(颜色要素)。

本实施方式中的滤色器排列如图5所示那样为将2行2列设为基础的排列。第1行第1列为红色要素(R)，第1行第2列为第1绿色要素(G1)，第2行第1列为第2绿色要素(G2)，第2行第2列为蓝色要素(B)。该排列为所谓的拜耳排列，但两个绿色要素的分光透射率特性与通常的绿色要素的分光透射率特性不同。在本实施方式中，有时将B要素以及与B要素相对置的光感知单元称作第1像素。同样地，有时将G1要素以及与G1要素相对置的光感知单元称作第2像素，将G2要素以及与G2要素相对置的光感知单元称作第3像素，将R要素以及与R要素相对置的光感知单元称作第4像素。如图5所示，摄像元件2a具有如下结构：多个像素块40在摄像面2b上被排列成二维状，多个像素块40的每一个具有第1～第4像素。

图6是表示本实施方式中的各颜色要素的分光透射率特性的图。在图6中，单点划线表示R要素的透射率，实线表示G1要素以及G2要素的透射率，双点划线表示B要素的透射率。在本实施方式中，在G1要素以及G2要素中具有特征，G1要素的透射率的峰值移位到蓝色侧(短波长侧)，G2要素的透射率的峰值移位到红色侧(长波长侧)。此外，将B要素的透射率和G1要素的透射率相加后的结果成为与透光板1中的透光区域1L的分光透射率特性大致同样的特性。同样地，将R要素的透射率和G2要素的透射率相加后的结果成为与透光板1的透光区域1R的分光透射特性大致同样的特性。

根据这种结构，本实施方式中的第1～第4像素分别主要感知R、G1、G2、B的波段的光，并输出与这些波段的光的强度相应的光电变换信号。

透光板1中的透光区域1L、1R以及摄像元件2a的各要素采用例如公知的颜料或电介质多层膜等来制作。虽然理想的情况是被设计成：透光板1中的Cy滤光器只使B光以及G1光透射，Ye滤光器只使R光以及G2光透射，但是也可如图4所示那样，使其他颜色的一部分光透射。同样地，虽然理想的情况是被设计成：R要素、B要素、G1要素、G2要素分别只使R光、B光、G1光、G2光透射，但是也可如图6所示那样，使其他颜色的一部分光透射。

根据以上的结构，在曝光中入射到摄像装置的光通过透光板1、镜头3、红外截止滤光器4而被成像到摄像元件2a的摄像面2b，通过各光感知单元60被光电变换。通过各光感知单元60所输出的光电变换信号经由信号产生/接收部5而被送出到信号处理部200。信号处理部200中的图像处理部7基于所送来的信号来生成两个多视点图像。

图7是示意地表示本实施方式中的摄像时的透光板1的状态的图。本实施方式中的摄像装置使透光板1如图7(a)、(b)所示那样旋转来进行两次摄像，通过运算处理来生成1对多视点图像。例如非专利文献1所记载的那样，对透光板1赋予传动带，并由电动机使传动带旋转，从而能够实现透光板1的旋转。旋转驱动部9通过这种机构使透光板1旋转，摄像元件2a在图7(a)、(b)的各状态下取得像素信号。

如上那样，在旋转的前后，调换Cy滤光器的位置和Ye滤光器的位置。在本说明书中，将图左侧的透光区域表示为1L，将右侧的透光区域表示为1R。因此，在从图7(a)所示的状态旋转了180度后的图7(b)的状态下，Ye滤光器位于透光区域1L，Cy滤光器位于透光区域1R。

以下，说明经由透光板1而对被摄体进行了摄像时的摄像装置的动作。在此，针对摄像元件2a的各像素信号而言，用Rs表示透射R要素并被光电变换的光的强度的信号，用G1s表示透射G1要素并被光电变换的光的强度的信号，用G2s表示透射G2要素并被光电变换的光的强度的信号，用Bs表示透射B要素并被光电变换的光的强度的信号。其中，在摄像了n次的情况下，假设用Rs(i)、G1s(i)、G2s(i)、Bs(i)表示第i次(i为1以上且n以下的整数)的各信号。另外，在本实施方式中，虽然n＝2，但也可为n≥3。

首先，在图7(a)所示的状态下进行第一次摄像。此时，关于R光以及G2光而言，与透光板1的透光区域1L相比透光区域1R透射较多的光。因此，从摄像元件2a的R要素以及G2要素所对置的光感知单元输出的像素信号，与透射了透光区域1L的光所产生的信号成分相比包括较多的透射了透光区域1R的光所产生的信号成分。另一方面，关于B光以及G1光而言，与透光板1的透光区域1R相比透光区域1L透射较多的光。因此，从摄像元件2a的B要素以及G1要素所对置的光感知单元输出的像素信号，与透射了透光区域1R的光所产生的信号成分相比包括较多的透射了透光区域1L的光所产生的信号成分。由第一次摄像所得到的像素信号从信号产生/接收部5被送出到图像处理部7，从而生成并保持图像信号。

接下来，透光板1通过旋转驱动部9从图7(a)的状态起以中心为轴旋转了180度之后成为图7(b)所示的状态。在该状态下进行第2次摄像。此时，透光板1成为与上述相反的状态。因此，从摄像元件2a的R要素以及G2要素所对置的光感知单元输出的像素信号，与透射了透光区域1R的光所产生的信号成分相比包括较多的透射了透光区域1L的光所产生的信号成分。另一方面，从摄像元件2a的B要素以及G1要素所对置的光感知单元输出的像素信号，与透射了透光区域1L的光所产生的信号成分相比包括较多的透射了透光区域1R的光所产生的信号成分。该情况也同样地，像素信号从信号产生/接收部5被送出到图像处理部7，从而生成并保持图像信号。

根据通过以上的两次摄像所得到的像素信号Rs(1)、Rs(2)、G1s(1)、G1s(2)、G2s(1)、G2s(2)、Bs(1)、Bs(2)，并通过信号运算生成多视点图像。在此，在假定出透光区域1L、1R以及摄像元件2a上的各颜色要素为完全透明时，将表示分别透射了透光区域1L、1R并被光电变换的光的强度的信号表示为L、R。于是，像素信号Rs(1)、Rs(2)、G1s(1)、G1s(2)、G2s(1)、G2s(2)、Bs(1)、Bs(2)与信号L、R之间的关系由以下的式1～4表示。其中，假设在符号L、R上分别添加下标r、g1、g2、b来表示信号L、R中的R、G1、G2、B成分。于是，关于R成分而言用式1表示，关于G1成分而言用式2表示，关于G2成分而言用式3表示，关于B成分而言用式4表示。

[数1]

(式1) $\left(\begin{array}{c}\mathrm{Rs}\left(1\right)\\ \mathrm{Rs}\left(2\right)\end{array}\right)=\left(\begin{array}{cc}\mathrm{rM}11& \mathrm{rM}12\\ \mathrm{rM}21& \mathrm{rM}22\end{array}\right)\left(\begin{array}{c}{L}_r\\ R_r\end{array}\right)$

[数2]

(式2) $\left(\begin{array}{c}G1s\left(1\right)\\ G1s\left(2\right)\end{array}\right)=\left(\begin{array}{cc}g1M11& g1M12\\ g1M21& g1M22\end{array}\right)\left(\begin{array}{c}{L}_{g1}\\ R_{g1}\end{array}\right)$

[数3]

(式3) $\left(\begin{array}{c}G2s\left(1\right)\\ G2s\left(2\right)\end{array}\right)=\left(\begin{array}{cc}g2M11& g2M12\\ g2M21& g2M22\end{array}\right)\left(\begin{array}{c}{L}_{g2}\\ R_{g2}\end{array}\right)$

[数4]

(式4) $\left(\begin{array}{c}\mathrm{Bs}\left(1\right)\\ \mathrm{Bs}\left(2\right)\end{array}\right)=\left(\begin{array}{cc}\mathrm{bM}11& \mathrm{bM}12\\ \mathrm{bM}21& \mathrm{bM}22\end{array}\right)\left(\begin{array}{c}{L}_b\\ R_b\end{array}\right)$

在此，式1～式4的右边的2行2列的矩阵的各要素是用透射透光板1的各透光区域并入射到摄像元件2a的各颜色要素所对置的光感知单元中的光所感受的透射率的波长积分值而表示的比例系数。例如，式1中的rM11以及rM12为与第一次摄像相关的系数，分别由以下的式5以及式6表示。

[数5]

(式5)rM11＝K∫_rCy(λ)O(λ)R(λ)dλ

[数6]

(式6)rM12＝K∫_rYe(λ)O(λ)R(λ)dλ

在此，K为比例常数，将入射光的波长设为λ，将透光板1的Cy滤光器、Ye滤光器的分光透射率特性分别表示为Cy(λ)、Ye(λ)，将摄像元件2a的R要素的分光透射率特性表示为R(λ)，将包括其他的镜头3、红外截止滤光器4、摄像元件2a自身在内的所有要素的分光透射率特性表示为O(λ)。在此，在积分符号之下所赋的符号“r”表示：积分运算针对R的波段执行。例如，在符合上述的波段的定义的情况下，在λ＝600nm～700nm的范围中进行积分。

此外，式1中的rM21以及rM22为与第二次摄像相关的系数，且rM21＝rM12，rM22＝rM11。在本实施方式中，由于两次摄像在短时间的期间内被连续地进行，因此忽略在两次摄像的期间内所能产生的入射光量的变化。因此，上述的两个等式成立。

针对式2～式4的右边的2行2列的矩阵要素，也将式5、6中的R(λ)置换为各颜色要素的分光透射率特性，仅将积分范围变更为该颜色的波段就能够通过同样的计算来求得。即、g1M11、g1M12、g2M11、g2M12、bM11、bM12分别由以下的式7～12表示。在此，将G1要素的分光透射率特性设为G1(λ)，将G2要素的分光透射率特性设为G2(λ)，将B要素的分光透射率特性设为B(λ)。

[数7]

(式7)g1M11＝K∫_g1Cy(λ)O(λ)G1(λ)dλ

[数8]

(式8)g1M12＝K∫_g1Ye(λ)O(λ)G1(λ)dλ

[数9]

(式9)g2M11＝K∫_g2Cy(λ)O(λ)G2(λ)dλ

[数10]

(式10)g2M12＝K∫_g2Ye(λ)O(λ)G2(λ)dλ

[数11]

(式11)bM11＝K∫_bCy(λ)O(λ)B(λ)dλ

[数12]

(式12)bM12＝K∫_bYe(λ)O(λ)B(λ)dλ

在此，式7～式12中的积分符号之下所赋的符号排、g2、b表示：积分运算分别针对G1、G2、B的波段进行。例如，在符合上述的波段的定义的情况下，针对式7、式8而在λ＝500nm～550nm的范围中进行积分，针对式9、式10而在λ＝550nm～600nm的范围中进行积分，针对式11、式12而在λ＝400nm～500nm的范围中进行积分。

此外，关于与第二次摄像相关的系数而与R成分同样地，g1M21＝g1M12、g1M22＝g1M11、g2M21＝g2M12、g2M22＝g2M11、bM21＝bM12、bM22＝bM11成立。

另外，在上述的说明中，为了求得各矩阵要素，进行了限定于各颜色成分的波段内的积分运算，但并不限定于这种方法。例如，也可将表示滤色器以外的构成要素的光透射率的函数O(λ)按B、G1、G2、R的颜色成分而设为不同的函数，并针对可见光的全部波段(例如400nm～700nm)进行积分运算。此外，也可通过在除去积分中的函数O(λ)而针对可见光的全部波段进行了积分运算的结果上乘以考虑O(λ)所产生的效果而规定的常数，由此求得各矩阵要素。

图像处理部7通过进行将式1～式4中的2行2列的矩阵的逆矩阵在各式的两边从左相乘的处理，由此求得表示通过透射了透光板1的左侧区域1L的光所形成的图像的信号L的各颜色成分、和表示通过透射了右侧区域1R的光所形成的图像的信号R的各颜色成分。信号L的各颜色成分Lr、Lg1、Lg2、Lb以及信号R的各颜色成分Rr、Rg1、Rg2、Rb通过以下的式13～式16所示的运算求得。

[数13]

(式13) $\left(\begin{array}{c}{L}_r\\ R_r\end{array}\right)={\left(\begin{array}{cc}\mathrm{rM}11& \mathrm{rM}12\\ \mathrm{rM}21& \mathrm{rM}22\end{array}\right)}^{-1}\left(\begin{array}{c}\mathrm{Rs}\left(1\right)\\ \mathrm{Rs}\left(2\right)\end{array}\right)$

[数14]

(式14) $\left(\begin{array}{c}{L}_{g1}\\ R_{g1}\end{array}\right)={\left(\begin{array}{cc}g1M11& g1M12\\ g1M21& g1M22\end{array}\right)}^{-1}\left(\begin{array}{c}G1s\left(1\right)\\ G1s\left(2\right)\end{array}\right)$

[数15]

(式15) $\left(\begin{array}{c}{L}_{g2}\\ R_{g2}\end{array}\right)={\left(\begin{array}{cc}g2M11& g2M12\\ g2M21& g2M22\end{array}\right)}^{-1}\left(\begin{array}{c}G2s\left(1\right)\\ G2s\left(2\right)\end{array}\right)$

[数16]

(式16) $\left(\begin{array}{c}{L}_b\\ R_b\end{array}\right)={\left(\begin{array}{cc}\mathrm{bM}11& \mathrm{bM}12\\ \mathrm{bM}21& \mathrm{bM}22\end{array}\right)}^{-1}\left(\begin{array}{c}\mathrm{Bs}\left(1\right)\\ \mathrm{Bs}\left(2\right)\end{array}\right)$

图像处理部7进而通过以下的式17以及式18所示的计算来生成构成这些亮度图像的信号L、R。

[数17]

(式17)L＝L_r+L_g1+L_g2+L_b

[数18]

(式18)R＝R_r+R_g1+R_g2+R_b

图像处理部7按图5所示的每个像素块40来执行以上的信号运算处理。由此按每个像素块40所生成的信号L、R的集合作为1对多视点图像而从图像接口部8输出。

如上所述，根据本实施方式，采用在水平方向(x方向)上并列配置有Cy滤光器、Ye滤光器的透光板1、以及配置有透射率互相不同的两个种类的G要素的拜耳(Bayer)排列的摄像元件2a，在使透光板1进行180度旋转的前后执行两次摄像。通过对各颜色信号进行采用了2×2矩阵的运算，从而能够得到多视点图像。由于透光板1按照使补色光(Cy，Ye)透射的方式被设计，因此与现有技术的情况相比，提高了光利用率，能够得到灵敏度上良好的彩色多视点图像。

另外，本实施方式中的透光板1的Cy滤光器以及Ye滤光器如图4所示，虽然分光透射率特性不同，但却按照遍及可见光的全部波段内的透射率的积分值大致相等的方式被设计。然而，Cy滤光器以及Ye滤光器也可不需要这样设计，而使一方的滤光器的透射率的积分值比另一方的透射率的积分值大。例如如图8A所示那样，也可构成为：对于绿色光的透射率而言，Cy滤光器使约70％的绿色光透射，Ye滤光器使约30％的绿色光透射。不管Cy滤光器以及Ye滤光器的分光透射率特性如何，只要其函数形式是已知的，就能通过上述的信号处理来生成多视点图像。

此外，在本实施方式中，在透光板1之中的透光区域1L、1R中采用了Cy滤光器以及Ye滤光器，但是也可采用其他不同的滤色器。如果将这些滤色器的分光透射率特性相加后的结果具有接近于透明的特性，则能够得到与本实施方式同样的效果。另外，在本说明书中，所谓“透明”意味着针对可见光的任意波长的光而具有大概80％以上的透射率的特性。此外，在某方式中，两个透光区域1L、1R能构成为表示这些透光区域的分光透射率特性的函数之和不具有波长依赖性。在此，所谓“不具有波长依赖性”意味着表示分光透射率特性的函数在可见光的波段中的最大值与最小值之比收纳于大概0.8～1.0的范围内的情况。

进而，透光板1之中的两个透光区域1L、1R不需要构成为将透光板1进行2分割。例如如图8B所示那样，也可将透光板1的左侧区域的一部分设为透光区域1L，将右侧区域的一部分设为透光区域1R，其他区域由遮光性的部件形成。在采用这种结构的情况下，与图3所示的结构相比，虽然入射光量降低，但却能得到更显著的视差信息。即使在采用这种结构的情况下，透光区域1L、1R也能相对于透光板1的中心而被对称地配置。此外，不需要将两个透光区域1L、1R的尺寸设计为必须相等。即使两者的尺寸存在差异，也能通过信号处理对该差异进行补偿。

此外，关于摄像元件2a的颜色配置，在本实施方式中也采用了拜耳型的排列，但并不限定于该排列。例如如图8C所示那样，即使为调换第二行的B要素和G2要素的配置也没有问题。此外，摄像元件2a的像素排列并不限于图5所示的正方排列，也可采用像素在相对于x轴以及y轴倾斜的方向上排列的斜交型的排列。

进而，关于摄像元件2a的颜色要素，除了第一G要素以及第二G要素以外还采用了R要素以及B要素，但并不限定于这些要素。例如即使采用R光的透射率高的品红色要素来代替R要素，采用B光的透射率高的品红色要素来代替B要素，也没有问题。当然，采用这些要素的情况具有能进一步提高光利用率的效果。此外，G1要素以及G2要素的遍及可见光的全部波段内的透射率的积分值也可互相不同。例如如图8D所示那样，也可将与G1要素的绿色光相关的透射率设计为约70％，将与G2要素的绿色光相关的透射率设计为约30％。即使各要素的分光透射率特性与本实施方式中的分光透射率特性不同，只要它们的函数形式已知，就能适用与上述同样的信号处理。

进而，在本实施方式中，作为摄像元件2a的各像素块中的绿色要素而采用了G1以及G2这两个种类的滤光器，但也可代替它们而采用使大部分绿色光透射的通常的绿色要素。在这种情况下，成为与通常的拜耳(Bayer)排列完全相同的颜色要素的组合，式2以及式3被总括为一个式子。

在以上的实施方式中，通过旋转驱动部9使透光板1旋转，由此使配置于两个透光区域的滤色器的位置互相调换，但两个滤色器的调换也可与旋转动作无关。例如如图9所示，也可通过使滤色器向一个方向滑动来调换两个滤色器的位置。在图9所示的透光板1中安装配置有三个滤色器的滑动板1a，通过使滑动板1a滑动由此能够调换透光区域1L、1R的分光透射率特性。在图示的例子中，在滑动板1a中，在中央处配置有Cy滤光器，在两端处配置有Ye滤光器。如图9(a)所示那样，在没有滑动板1a的状态下透光区域1L、1R是透明的。如图9(b)所示那样，在Cy滤光器位于透光区域1L的位置、且Ye滤光器位于透光区域1R的位置的状态下进行第一次摄像。接下来，如图9(c)所示那样，在Ye滤光器位于透光区域1L的位置、且Cy滤光器位于透光区域1R的位置的状态下进行第二次摄像。即使采用这种结构，也能得到与本实施方式同样的效果。

(实施方式2)

接下来，说明本发明的第2实施方式。本实施方式与实施方式1的主要不同点在于，透光板1的结构以及图像处理部7的处理。以下，以与实施方式1的不同点为中心来进行说明，省略对共同的事项的说明。

图10是本实施方式中的透光板1的正面视图。透光板1为圆形，具有透光区域1L、1R和两个透明区域W。透光区域1L、1R相对于y轴而被对称地配置。两个透明区域W相对于x轴而被对称地配置。透光区域1L、1R以及两个透明区域W分别具有扇形的形状。与实施方式1同样地，在透光区域1L、1R中分别配置有Cy滤光器、Ye滤光器。这些滤光器的特性与实施方式1的滤光器的特性相同。透明区域W由使大部分入射光(可见光)与波长无关地透射的部件(例如玻璃、空气等)构成。透明区域W的光透射率从光利用率的观点出发能设定为高的值。透光区域1L、1R的面积被设计为相等。

在本实施方式中，关于透光板1以外的设备的结构以及进行两次拍摄的动作控制与实施方式1相同，但图像处理部4中的运算处理不同。

以下，说明本实施方式中的运算处理的流程。首先，用两种方法来表示由分别透射了透光板1的透光区域1L、1R、以及透明区域W的光所形成的被摄体图像。具体而言，通过由R成分、G1成分、B成分表示的第1表达式、以及由R成分、G2成分、B成分表示的第2表达式这两种表达式来表示图像信号。接下来，对于各个表达式，采用各颜色成分的信号来算出由入射到透光板1的各区域的光所形成的图像。最后，通过将各颜色成分的信号彼此之间合成来生成彩色的多视点图像。采用3×3矩阵的式子来表示入射到实际的各区域的光所产生的信号与颜色成分的信号之间的关系。在此，在假定出透光板1的区域1L、1R、W以及摄像元件2a的各颜色要素全部为完全透明的情况下，用L、R、C来分别表示用来表示通过透射了透光区域1L、1R、以及透明区域W的光所形成的图像的信号。此外，关于这些图像，分别通过在各个符号上附加带括号的下标i来表示与第i次(i＝1，2)的摄像相关的信号。于是，像素信号Rs(1)、Rs(2)、G1s(1)、G1s(2)、G2s(1)、G2s(2)、Bs(1)、Bs(2)与图像信号L、R、C之间的关系针对第一次摄像而由式19、式20表示，针对第二次摄像而由式21、式22表示。

[数19]

(式19) $\left(\begin{array}{c}\mathrm{Rs}\left(1\right)\\ G1s\left(1\right)\\ \mathrm{Bs}\left(1\right)\end{array}\right)=\left(\begin{array}{ccc}\mathrm{Mu}11& \mathrm{Mu}12& \mathrm{Mu}13\\ \mathrm{Mu}21& \mathrm{Mu}22& \mathrm{Mu}23\\ \mathrm{Mu}31& \mathrm{Mu}32& \mathrm{Mu}33\end{array}\right)\left(\begin{array}{c}{L}_1\\ R_1\\ C_1\end{array}\right)$

[数20]

(式20) $\left(\begin{array}{c}\mathrm{Rs}\left(1\right)\\ G2s\left(1\right)\\ \mathrm{Bs}\left(1\right)\end{array}\right)=\left(\begin{array}{ccc}\mathrm{Mu}11& \mathrm{Mu}12& \mathrm{Mu}13\\ {\mathrm{Mu}21}^{\′}& \mathrm{Mu}{22}^{\′}& \mathrm{Mu}{23}^{\′}\\ \mathrm{Mu}31& \mathrm{Mu}32& \mathrm{Mu}33\end{array}\right)\left(\begin{array}{c}{L}_1\\ R_1\\ C_1\end{array}\right)$

[数21]

(式21) $\left(\begin{array}{c}\mathrm{Rs}\left(2\right)\\ G1s\left(2\right)\\ \mathrm{Bs}\left(2\right)\end{array}\right)=\left(\begin{array}{ccc}\mathrm{Mv}11& \mathrm{Mv}12& \mathrm{Mv}13\\ \mathrm{Mv}21& \mathrm{Mv}22& \mathrm{Mv}23\\ \mathrm{Mv}31& \mathrm{Mv}32& \mathrm{Mv}33\end{array}\right)\left(\begin{array}{c}{L}_2\\ R_2\\ C_2\end{array}\right)$

[数22]

(式22) $\left(\begin{array}{c}\mathrm{Rs}\left(2\right)\\ G2s\left(2\right)\\ \mathrm{Bs}\left(2\right)\end{array}\right)=\left(\begin{array}{ccc}\mathrm{Mv}11& \mathrm{Mv}12& \mathrm{Mv}13\\ {\mathrm{Mv}21}^{\′}& \mathrm{Mv}{22}^{\′}& \mathrm{Mv}{23}^{\′}\\ \mathrm{Mv}31& \mathrm{Mv}32& \mathrm{Mv}33\end{array}\right)\left(\begin{array}{c}{L}_1\\ R_1\\ C_1\end{array}\right)$

在此，式19～22中的3行3列的矩阵的各要素为透射透光板1的各区域并入射到摄像元件2a的与各颜色要素相对置的光感知单元的光所感受的透射率的波长积分所表示的比例系数。例如式19中的3行3列的矩阵的各要素通过以下的式23～式31所示的计算来求得。但是，这些式子中的K’为比例系数，W(λ)为表示透光板1的W区域的分光透射率特性的函数。

[数23]

(式23)Mu11＝K′∫_rCy(λ)O(λ)R(λ)dλ

[数24]

(式24)Mu12＝K′∫_rYe(λ)O(λ)R(λ)dλ

[数25]

(式25)Mu13＝K′∫_rW(λ)O(λ)R(λ)dλ

[数26]

(式26)Mu21＝K′∫_g1Cy(λ)O(λ)G1(λ)dλ

[数27]

(式27)Mu22＝K′∫_g1Ye(λ)O(λ)G1(λ)dλ

[数28]

(式28)Mu23＝K′∫_g1W(λ)O(λ)G1(λ)dλ

[数29]

(式29)Mu31＝K′∫_bCy(λ)O(λ)B(λ)dλ

[数30]

(式30)Mu32＝K′∫_bYe(λ)O(λ)B(λ)dλ

[数31]

(式31)Mu33＝K′∫_bW(λ)O(λ)B(λ)dλ

在式19和式20、或者式21和式22中，仅与G1成分和G2成分有关系的参数不同，与其他的颜色成分有关系的参数相同。在式19～22的各式中，如果将右边的3×3矩阵的逆矩阵在两边从左相乘，则如以下的式32～式35所示那样，能够得到透射了各区域的光所形成的图像。但是，在这些式子中右边的3×3矩阵为式19～式22中的3×3矩阵的逆矩阵。

[数32]

(式32) $\left(\begin{array}{c}{L}_1\\ R_1\\ C_1\end{array}\right)=\left(\begin{array}{ccc}\mathrm{iMu}11& \mathrm{iMu}12& \mathrm{iMu}13\\ \mathrm{iMu}21& \mathrm{iMu}22& \mathrm{iMu}23\\ \mathrm{iMu}31& \mathrm{iMu}32& \mathrm{iMu}33\end{array}\right)\left(\begin{array}{c}\mathrm{Rs}\left(1\right)\\ G1s\left(1\right)\\ \mathrm{Bs}\left(1\right)\end{array}\right)$

[数33]

(式33) $\left(\begin{array}{c}{L}_1\\ R_1\\ C_1\end{array}\right)=\left(\begin{array}{ccc}\mathrm{iMu}{11}^{\′}& \mathrm{iMu}{12}^{\′}& \mathrm{iMu}{13}^{\′}\\ \mathrm{iMu}{21}^{\′}& \mathrm{iMu}{22}^{\′}& \mathrm{iMu}23^{\′}\\ \mathrm{iMu}{31}^{\′}& \mathrm{iMu}{32}^{\′}& \mathrm{iMu}{33}^{\′}\end{array}\right)\left(\begin{array}{c}\mathrm{Rs}\left(1\right)\\ G2s\left(1\right)\\ \mathrm{Bs}\left(1\right)\end{array}\right)$

[数34]

(式34) $\left(\begin{array}{c}{L}_2\\ R_2\\ C_2\end{array}\right)=\left(\begin{array}{ccc}\mathrm{iMv}11& \mathrm{iMv}12& \mathrm{iMv}13\\ \mathrm{iMv}21& \mathrm{iMv}22& \mathrm{iMv}23\\ \mathrm{iMv}31& \mathrm{iMv}32& \mathrm{iMv}33\end{array}\right)\left(\begin{array}{c}\mathrm{Rs}\left(2\right)\\ G1s\left(2\right)\\ \mathrm{Bs}\left(2\right)\end{array}\right)$

[数35]

(式35) $\left(\begin{array}{c}{L}_2\\ R_2\\ C_2\end{array}\right)=\left(\begin{array}{ccc}\mathrm{iMv}{11}^{\′}& \mathrm{iMv}{12}^{\′}& \mathrm{iMv}{13}^{\′}\\ \mathrm{iMv}{21}^{\′}& \mathrm{iMv}{22}^{\′}& \mathrm{iMv}23^{\′}\\ \mathrm{iMv}{31}^{\′}& \mathrm{iMv}{32}^{\′}& \mathrm{iMv}{33}^{\′}\end{array}\right)\left(\begin{array}{c}\mathrm{Rs}\left(2\right)\\ G2s\left(2\right)\\ \mathrm{Bs}\left(2\right)\end{array}\right)$

图像处理部7通过基于由式32～式35所示的运算所求得的两组L1、R1、C1、L2、R2、C2的运算，生成多视点图像。具体而言，例如通过以下的过程，生成构成多视点图像的亮度信号L、R、C。首先，将式32中的L1、式33中的L1、式34中的L2、式34中的L2的平均值设为L的亮度信号。同样地，关于R、C也将各个信号的平均值设为亮度信号。

·L的亮度：{(式32的L1)+(式33的L1)+(式34的L2)+(式35的L2)}/4

·R的亮度：{(式32的R1)+(式33的R1)+(式34的R2)+(式35的R2)}/4

·C的亮度：{(式32的C1)+(式33的C1)+(式34的C2)+(式35的C2)}/4

接下来，关于颜色信号，利用L、R、C均共用的信号。例如，如以下那样求得R值、G值、B值。

·R值：(Rs(1)+Rs(2))/2

·G值：(G1s(1)+G2s(1)+G1s(2)+G2s(2))/4

·B值：(Bs(1)+Bs(2))/2

接下来，根据这些R、G、B值来制作色差信号。在此，基于NTSC方式制作以下的色差信号R-Y以及B-Y。

·R-Y＝0.7R-0.59G-0.11B

·B-Y＝-0..3R-0.59G+0.89B

最后，设L、R、C的各亮度信号为YL，关于L、R、C分别通过以下的运算求得R、G、B值。

R＝(R-Y)+YL

B＝(B-Y)+YL

G＝(YL-0.3R-0.11B)/0.59

通过以上的运算能够生成彩色多视点图像。另外，上述的方法为以多视点图像的亮度信息为中心来生成，颜色信息附加地叠加的方法。其理由在于，人类的视觉具有相对于亮度信息而言敏感但是相对于颜色信息而言不相对敏感的视觉上的特性。

如以上那样，根据本实施方式，采用了：在水平方向(x方向)上配置Cy滤光器以及Ye滤光器，进一步加入了透明区域W的透光板1；和采用透射率互相不同的两个种类的G要素的拜耳(Bayer)排列的彩色固体摄像元件。在使透光板1旋转180度前后进行了两次摄像，对各颜色的信号进行采用了3×3矩阵的运算，从而能够得到多视点图像。在本实施方式中，由于透光板1由补色滤光器和透明部件构成，因此起到如下效果：实现能够得到光利用率高、在灵敏度上良好的多视点图像。

另外，在本实施方式中，在透光板1中，使Cy滤光器的区域、Ye滤光器的区域、透明区域的尺寸相等，但并不限定于此，即使这些区域的尺寸不同也没有问题。

在以上的实施方式中，假设内置于摄像装置的图像处理部7执行图像处理，但也可使与摄像装置独立的其他装置执行该图像处理。例如，使其他装置(图像处理装置)读入通过具有上述的各实施方式中的摄像部100的摄像装置所取得的信号，并使内置于该图像处理装置中的计算机执行规定上述信号运算处理的程序，也能得到同样的效果。

产业上的利用可能性

本发明的实施方式涉及的三维摄像装置对于采用了固体摄像元件的所有照相机是有效的。例如，能够利用于数码相机或数码摄像机等的家庭用照相机、产业用的固体监控照相机等。

符号说明：

1透光板

1L、1R透光区域

2固体摄像元件

2a彩色固体摄像元件

3光学镜头

4红外截止滤光器

5信号产生以及图像信号接收部

6元件驱动部

7图像处理部

8图像接口部

9旋转驱动部

10像素

11偏振0度的偏振板

12偏振90度的偏振板

13反射镜

14半透半反镜

15圆形的偏振滤光器

16使偏振滤光器旋转的驱动装置

17、18偏振滤光器

19镜头光圈

20、22、23光束限制板

20a使红色***的光透射的滤色器

20b 使蓝色***的光透射的滤色器

21感光薄膜

22R、23R光束限制板的R光透射区域

22G、23G光束限制板的G光透射区域

22B、23B光束限制板的B光透射区域

29摄像装置

30存储器

40像素块

60光感知单元

100摄像部

200信号处理部

Claims (8)

1.一种三维摄像装置，具备：

光透射部，其具有第1透光区域以及第2透光区域，上述第1透光区域具有使包含于蓝色的波段内的第1波段的光、和包含于绿色的波段内的第2波段的光透射的特性，上述第2透光区域具有使包含于绿色的波段内且波长比上述第2波段还长的第3波段的光、和包含于红色的波段内的第4波段的光透射的特性；

摄像元件，其被配置成接受透射过上述光透射部的光，且该摄像元件具有主要感知上述第1波段的光的第1像素、主要感知上述第2波段的光的第2像素、主要感知上述第3波段的光的第3像素、和主要感知上述第4波段的光的第4像素；

成像部，其在上述摄像元件的摄像面形成像；

摄像驱动部，其驱动上述摄像元件使得连续地执行至少两次摄像，并且驱动上述光透射部使得在每次摄像时调换上述第1透光区域的位置以及上述第2透光区域的位置；和

图像处理部，其基于从上述摄像元件输出的像素信号，通过利用了矩阵的运算来生成多视点图像，

上述矩阵的各要素是用透射上述第1透光区域或者上述第2透光区域并入射到上述摄像元件的上述第1像素～第4像素的一个像素中的光所感受的透射率的波长积分值而表示的比例系数。

2.根据权利要求1所述的三维摄像装置，其中，

上述摄像元件具有在摄像面上被排列成二维状的多个像素块，

上述多个像素块的每一个具有上述第1像素～第4像素。

3.根据权利要求1或2所述的三维摄像装置，其中，

上述第1透光区域以及上述第2透光区域被构成为：表示上述第1透光区域的分光透射率特性的函数和表示上述第2透光区域的分光透射率特性的函数之和不具有波长依赖性。

4.根据权利要求1或2所述的三维摄像装置，其中，

上述光透射部还具有透明区域。

5.根据权利要求1或2所述的三维摄像装置，其中，

上述第2波段为500nm以上且550nm以下，上述第3波段为550nm以上且600nm以下。

6.根据权利要求1或2所述的三维摄像装置，其中，

上述摄像元件具有拜耳型的像素排列。

7.根据权利要求1或2所述的三维摄像装置，其中，

上述第1透光区域以及上述第2透光区域相对于上述光透射部的中心而被对称地配置，

上述摄像驱动部通过使上述光透射部以上述光透射部的中心为轴旋转180度，由此在每次摄像时调换上述第1透光区域的位置以及上述第2透光区域的位置。

8.一种图像处理装置，基于从三维摄像装置输出的信号，通过利用了矩阵的运算来生成多视点图像，该三维摄像装置具备：

光透射部，其具有第1透光区域以及第2透光区域，上述第1透光区域具有使包含于蓝色的波段内的第1波段的光、和包含于绿色的波段内的第2波段的光透射的特性，上述第2透光区域具有使包含于绿色的波段内且波长比上述第2波段还长的第3波段的光、和包含于红色的波段内的第4波段的光透射的特性；

摄像元件，其被配置成接受透射过上述光透射部的光，且该摄像元件具有主要感知上述第1波段的光的第1像素、主要感知上述第2波段的光的第2像素、主要感知上述第3波段的光的第3像素、和主要感知上述第4波段的光的第4像素；

成像部，其在上述摄像元件的摄像面形成像；和

摄像驱动部，其驱动上述摄像元件使得连续地执行至少两次摄像，并且驱动上述光透射部使得在每次摄像时调换上述第1透光区域的位置以及上述第2透光区域的位置，

其中，上述矩阵的各要素是用透射上述第1透光区域或者上述第2透光区域并入射到上述摄像元件的上述第1像素～第4像素的一个像素中的光所感受的透射率的波长积分值而表示的比例系数。