CN102365859A - 摄像装置和摄像方法 - Google Patents

Abstract

本发明提供一种摄像装置和摄像方法，该摄像装置具备：多个摄像元件；多个固体透镜，分别在多个摄像元件上成像；多个光轴控制部，对分别入射至多个摄像元件的光的光轴方向进行控制；多个影像处理部，将多个摄像元件各自输出的光电变换信号转换为影像信号；立体图像处理部，基于多个影像处理部转换之后的多个影像信号进行立体匹配处理，由此求出每个像素的偏移量，生成以像素间距对超过多个摄像元件的像素间距的偏移量进行标准化之后的合成参量；和影像合成处理部，基于立体图像处理部生成的合成参量对多个影像处理部各自转换的影像信号进行合成，由此生成高清晰影像。

Description

摄像装置和摄像方法

技术领域

本发明涉及摄像装置和摄像方法。

本申请基于2009年3月30日在日本申请的特愿2009-083276号主张优先权，并将其内容援引与此。

背景技术

近年来，高画质的数字照相机和数字摄像机(以下，称为数字相机)得到急速普及。此外，伴随着数字相机的小型化、薄型化，在便携电话终端等中搭载了小型的高画质数字相机。代表数字相机的摄像装置由摄像元件、成像光学***(镜头光学***)、图像处理器、缓冲存储器、闪存(卡型存储器)、图像监视器以及控制这些部件的电路和机械机构等构成。摄像元件中通常使用CMOS(Complementary Metal Oxide Semiconductor)传感器或CCD(Charge Coupled Device)传感器等的固体电子器件。对在摄像元件上成像的光量分布进行光电变换，所得到的电信号由图像处理器和缓冲存储器进行信号处理。作为图像处理器使用DSP(Digital SignalProcessor)等。此外，作为缓冲存储器使用DRAM(Dynamic Random AccessMemory)等。所拍摄的图像记录存储在卡型闪存等中，记录存储的图像能够显示在监视器上。

使得在摄像元件上成像的光学***，通常为了除去像差而由几个非球面透镜构成。此外，在具备光学变焦功能的情况下，则需要改变组合透镜的焦距、透镜与摄像元件之间间隔的驱动机构(促动器)。随着摄像装置的高画质化、高功能化的要求，摄像元件进行着多像素化、高清晰化，成像光学***进行着更低像差、高精度化，并且进行着变焦功能、自动聚焦功能、手抖修正功能等的高功能化。伴随于此，出现了摄像装置变大难以小型化、薄型化的问题。

为了解决这种问题，提出了如下方案，通过在成像光学***中采用复眼构造、或者组装液晶透镜或液体透镜等非固体透镜，由此使摄像装置小型化、薄型化。例如，提出了如下的摄像透镜装置，由配置成平面状的固体透镜阵列、液晶透镜阵列、一个摄像元件构成(例如专利文献1)。该摄像透镜装置如图36所示那样，由透镜***和一个摄像元件2003构成，该透镜***具有固定焦距的透镜阵列2001、相同数目的可变焦型的液晶透镜阵列2002，该摄像元件2003对通过该透镜***成像的光学像进行摄像。通过该结构将与透镜阵列2001的数目相同的图像分割在单一的摄像元件2003上进行成像。对由该摄像元件2003得到的多个图像，在运算装置2004中进行图像处理，重新构成整个图像。此外，从该运算装置2004检测聚焦信息，经由液晶驱动装置2005驱动液晶透镜阵列2002的各液晶透镜，来进行自动聚焦。这样，在专利文献1的摄像透镜装置中，通过组合液晶透镜和固体透镜，实现了自动聚焦功能和变焦功能，且实现了小型化。

此外，还已知一种由一个非固体透镜(液体透镜、液晶透镜)、固体透镜阵列、一个摄像元件构成的摄像装置(例如专利文献2)。该摄像装置如图37所示那样，由液晶透镜2131、复眼光学***2120、图像合成器2115、驱动电压运算部2142构成。与专利文献1相同，该摄像装置在单一的摄像元件2105上形成与透镜阵列的数目相同的图像，然后通过图像处理重新构成图像。这样，在专利文献2的摄像装置中，通过组合一个非固体透镜(液体透镜、液晶透镜)和固体透镜阵列，以小型、薄型的方式实现了调焦功能。

此外，已知一种方法，在由作为摄像元件的检测器阵列和摄像透镜阵列构成的具有子像素分辨率的薄型相机中，改变二个副相机上的图像的相对的位置偏差，从而增大合成图像的分辨率(例如专利文献3)。在该方法中，在一个的副相机中设置光圈，由该光圈遮挡一半像素的光，从而解决了无法基于被摄体距离改善分辨率的问题。此外，在专利文献3中，组合了能够从外部提供电压来控制焦距的液体透镜，改变焦距的同时图像的成像位置和像素的相位也改变，从而增大了合成图像的分辨率。这样，在专利文献3的薄型相机中，通过组合摄像透镜阵列和具有遮光部件的摄像元件，实现了合成图像的高清晰化。此外，通过在摄像透镜阵列和摄像元件中组合液体透镜，从而实现了合成图像的高清晰化。

此外，已知一种图像生成方法和装置，基于多个摄像单元的图像信息，针对其立体图像的视差小的特定区域进行超清晰插值处理，将图像映射至空间模型(例如专利文献4)。在该装置中解决了如下问题，即：基于由多个摄像单元所拍摄的图像，在生成视点变换图像的过程中进行的空间模型生成中，贴附在远处的空间模型的图像数据欠缺清晰度。

先行技术文献

专利文献

专利文献1：JP特开2006-251613号公报

专利文献2：JP特开2006-217131号公报

专利文献3：JP特表2007-520166号公报

专利文献4：JP特表2006-119843号公报

发明概要

发明要解决的问题

但是，在专利文献1～3的摄像透镜装置中，由于光学***与摄像元件相对位置的调整精度影响到画质，因此存在在组装时需要正确地调整光学***与摄像元件的相对位置的问题。此外，在仅以机械精度调整相对位置的情况下，需要高精度的非固体透镜等，由此存在成本变高的问题。此外，即便在装置组装时正确地调整了光学***和摄像元件的相对位置，但由于使用时间的变化等光学***与摄像元件的相对位置发生变化，有时出现画质劣化。虽然再次进行位置调整的话画质会变好，但存在必需进行与组装时同样的调整的问题。再有，在具备多个光学***和摄像元件的装置中，由于调整的位置较多，因此还存在需要很长的作业时间的问题。

此外，在专利文献4的图像生成方法及其装置中，为了生成视点变换图像，需要生成正确的空间模型，但存在难以按照立体图像高精度地取得空间模型这种的立体的信息的问题。特别在立体图像的视差小的远处的图像中，受到图像的亮度变化或噪声的影响等，难以按照立体图像高精度地取得空间模型这种的立体信息。因此，即便生成了在立体图像的视差小的特定区域中进行过超清晰处理的图像，也难以高精度地向空间模型映射。

发明内容

本发明是鉴于这种情况提出的，其目的在于提供一种摄像装置和摄像方法，为了实现高画质的摄像装置，容易进行光学***与摄像元件的相对位置的调整，而无需人工对其操作。

此外，本发明的目的在于提供一种能够与立体图像的视差无关也就是与摄影距离无关地生成高画质且高清晰的二维图像的摄像装置和摄像方法。

解决问题的手段

(1)基于本发明的一个方面的摄像装置具备：多个摄像元件；多个固体透镜，在所述多个摄像元件的各个摄像元件上成像；多个光轴控制部，对分别入射至所述多个摄像元件的光的光轴方向进行控制；多个影像处理部，将所述多个摄像元件各自输出的光电变换信号变换为影像信号；立体图像处理部，基于所述多个影像处理部变换之后的多个影像信号，进行立体匹配处理，由此求出每个像素的偏移量，并生成将超过所述多个摄像元件的像素间距的偏移量以所述像素间距标准化之后的合成参量；和影像合成处理部，基于所述立体图像处理部所生成的所述合成参量，对所述多个影像处理部各自变换的所述影像信号进行合成，由此生成高清晰影像。

(2)此外，基于本发明的一个方面的摄像装置还可以具备立体图像噪声降低处理部，该立体图像噪声降低处理部基于由所述立体图像处理部生成的所述合成参量，降低所述立体匹配处理中使用的视差图像的噪声。

(3)此外，在基于本发明的一个方面的摄像装置中，所述影像合成处理部，可以基于由所述立体图像处理部生成的所述视差图像，仅对规定区域进行高清晰化。

(4)此外，基于本发明的一个方面的摄像方法，其包括：对分别入射至多个摄像元件的光的光轴方向进行控制，将所述多个摄像元件各自输出的光电变换信号变换为影像信号，基于变换之后的多个影像信号，进行立体匹配处理，由此求出每个像素的偏移量，并生成将超过所述多个摄像元件的像素间距的偏移量以所述像素间距标准化之后的合成参量，基于所述合成参量对所述影像信号进行合成，由此生成高清晰影像。

发明的效果

根据本发明，由于具备多个摄像元件、在所述多个摄像元件的各个摄像元件上成像的多个固体透镜、对分别入射至所述多个摄像元件的光的光轴方向进行控制的多个光轴控制部，因此其效果在于，容易进行光学***和摄像元件相对位置的调整，而不需要人工作业，能够实现高画质的摄像装置。特别是由于能够进行控制将入射的光的光轴设定在摄像元件面上的任意位置，因此能够简单地进行光学***和摄像元件之间的位置调整，能够实现高画质的摄像装置。此外，由于基于摄像对象和多个光轴控制部的相对位置控制光轴的方向，因此能够在摄像元件面的任意位置进行光轴设定，能够实现焦点调整范围广的摄像装置。

由于摄像装置具备：多个摄像元件；多个固体透镜，在多个摄像元件的各个摄像元件上成像；多个光轴控制部，对分别入射至多个摄像元件的光的光轴方向进行控制；多个影像处理部，将多个摄像元件各自输出的光电变换信号变换为影像信号；立体图像处理部，基于多个影像处理部变换之后的多个影像信号，进行立体匹配处理，由此求出每个像素的偏移量，并生成将超过多个摄像元件的像素间距的偏移量以像素间距标准化之后的合成参量；和影像合成处理部，基于立体图像处理部所生成的合成参量，对多个影像处理部各自变换的影像信号进行合成，由此生成高清晰影像，因此，能够与立体图像的视差无关地、也就是与摄影距离无关地生成高画质且高清晰的二维图像。

此外，根据本发明，由于还具备立体图像噪声降低处理部，该立体图像噪声降低处理部基于由立体图像处理部生成的合成参量，降低立体匹配处理中使用的视差图像的噪声，因此能够除去立体匹配处理中的噪声。

此外，根据本发明，由于影像合成处理部可基于由立体图像处理部生成的视差图像，仅对规定区域进行高清晰化，因此能实现高清晰化处理的高速化。

附图说明

图1是表示本发明的第1实施方式所涉及的摄像装置的结构框图。

图2是图1所示的第1实施方式所涉及的摄像装置的单位摄像部的详细结构图。

图3A是第1实施方式所涉及的液体透镜的正面图。

图3B是第1实施方式所涉及的液体透镜的剖面图。

图4是说明第1实施方式所涉及的摄像装置中使用的液晶透镜的功能的示意图。

图5是说明第1实施方式所涉及的摄像装置的液晶透镜的示意图。

图6是说明图1所示的第1实施方式所涉及的摄像装置的摄像元件的示意图。

图7是摄像元件的详细结构图。

图8是表示图1所示的摄像装置的整体结构的框图。

图9是第1实施方式所涉及的摄像装置的影像处理部的详细框图。

图10是第1实施方式所涉及的摄像装置的影像处理的影像合成处理部的详细框图。

图11是第1实施方式所涉及的摄像装置的影像处理的控制部的详细框图。

图12是说明控制部的动作的一例的流程图。

图13是表示图12所示的子像素影像合成高清晰化处理的动作的说明图。

图14是说明高清晰判定的一例的流程图。

图15是说明控制电压变换处理的一例的流程图。

图16是说明相机校准的一例的流程。

图17是说明单位摄像部的相机校准的示意图。

图18是说明多个单位摄像部的相机校准的示意图。

图19是说明多个单位摄像部的相机校准的其他的示意图。

图20是表示摄像装置的摄像的情况的示意图。

图21是说明高清晰的子像素的示意图。

图22是说明高清晰的子像素的其他的示意图。

图23A是表示摄像对象(被摄体)和成像的关系的说明图。

图23B是表示摄像对象(被摄体)和成像的关系的说明图。

图23C是表示摄像对象(被摄体)和成像的关系的说明图。

图24A是说明摄像装置的动作的示意图。

图24B是说明摄像装置的动作的示意图。

图25A是由于安装误差摄像元件偏离安装时的示意图。

图25B是由于安装误差摄像元件偏离安装时的示意图。

图26A是表示光轴偏移控制的动作的示意图。

图26B是表示光轴偏移控制的动作的示意图。

图27A是表示摄像距离和光轴偏移的关系的说明图。

图27B是表示摄像距离和光轴偏移的关系的说明图。

图28A是表示摄像距离和光轴偏移的关系的说明图。

图28B是表示摄像距离和光轴偏移的关系的说明图。

图29A是表示基于纵深和光轴偏移的像偏移的效果的说明图。

图29B是表示基于纵深和光轴偏移的像偏移的效果的说明图。

图30是说明生成每个像素的并进参量的一例的流程图。

图31是表示平行立体结构的情况下的极线的一例的说明图。

图32是表示平行立体结构的情况下的基于区域匹配的一例的说明图。

图33是表示视差图像的一例的说明图。

图34是其他实施方式所涉及的摄像装置的影像处理的影像合成处理部的详细框图。

图35是说明噪声除去的一例的流程图。

图36是表示现有的摄像装置的结构框图。

图37是表示其他现有的摄像装置的结构框图。

具体实施方式

以下，参照图像对本发明的实施方式进行详细说明。图1是表示本发明的第1实施方式所涉及的摄像装置的整体结构的功能框图。图1所示的摄像装置1具备6个***的单位摄像部2～7。单位摄像部2由摄像透镜8和摄像元件14构成。同样，单位摄像部3由摄像透镜9和摄像元件15构成。单位摄像部4由摄像透镜10和摄像元件16构成。单位摄像部5由摄像透镜11和摄像元件17构成。单位摄像部6由摄像透镜12和摄像元件18构成。单位摄像部7由摄像透镜13和摄像元件19构成。各摄像透镜8～13使来自摄影对象的光分别在对应的各摄像元件14～19上成像。图1所示的符号20～25表示入射至各摄像元件14～19的光的光轴。

以下，以单位摄像部3为例说明信号的流程。由摄像透镜9所成的像，通过摄像元件15进行光电变换，将光信号变换为电信号。由摄像元件15变换之后的电信号，通过影像处理部27基于预先设定的参量变换至影像信号。影像处理部27将变换之后的影像信号输出至影像合成处理部38。影像合成处理部38中，输入将从其他的单位摄像部2、4～7输出的电信号由所对应的各影像处理部26、27～31进行变换处理之后的影像信号。在影像合成处理部38中，将各单位摄像部2～7中拍摄的6个影像信号取得同步的同时合成为一个影像信号，作为高清晰影像输出。在此，影像合成处理部38基于后述的立体图像处理的结果合成高清晰影像。此外，影像合成处理部38在所合成的高分辨率影像低于预先设定的判定值的情况下，基于其判定结果生成控制信号，输出至6个控制部32～37。各控制部32～37基于所输入的控制信号，进行所对应的各摄像透镜8～13的光轴控制。然后，影像合成处理部38再次进行高清晰影像的判定。如果该判定结果良好，则影像合成处理部38输出高清晰影像，如果判定结果不佳则反复进行控制摄像透镜8～13的动作。

接下来，参照图2对图1所示的单位摄像部3的摄像透镜9以及控制该摄像透镜9的控制部33的详细结构进行说明。单位摄像部3由液晶透镜(非固体透镜)301和光学透镜(固体透镜)302构成。此外，控制部33由控制施加于液晶透镜301的电压的4个电压控制部33a、33b、33c、33d构成。电压控制部33a、33b、33c、33d基于影像合成处理部38生成的控制信号决定施加于液晶透镜301的电压，以控制液晶透镜301。图1所示的其他的单位摄像部2、4～7摄像透镜8、10～13以及控制部32、34～37，也是与摄像透镜9和控制部33相同的结构，因此在此省略其详细说明。

接下来，参照图3A和图3B，说明图2所示的液晶透镜301的结构。图3A是第1实施方式中的液晶透镜301的正面图。图3B是第1实施方式中的液晶透镜301的剖面图。

本实施方式中的液晶透镜301由透明的第1电极303、第2电极304、透明的第3电极305、液晶层306、第1绝缘层307、第2绝缘层308、第3绝缘层311、第4绝缘层312构成。

液晶层306配置在第2电极304与第3电极305之间。第1绝缘层307配置在第1电极303与第2电极304之间。第2绝缘层308配置在第2电极304与第3电极305之间。第3绝缘层311配置在第1电极303的外侧。第4绝缘层312配置在第3电极305的外侧。

在此，第2电极304具有圆形的孔，如图3A的俯视图所示，由纵横分割出的4个电极304a、304b、304c、304d构成。各个电极304a、304b、304c、304d能够独立地施加电压。此外，液晶层306按照与第3电极305对置的方式使液晶分子向一个方向定向，通过在夹着液晶层306的电极303、304、305之间施加电压，以进行液晶分子的定向控制。此外，在绝缘层308中，为了大口径化例如采用几百μm左右厚度的透明的玻璃(状物)等。

作为一例以下示出液晶透镜301的尺寸。第2电极304的圆形孔的尺寸约为φ2mm。第2电极304与第1电极303的间隔为70μm。第2绝缘层308的厚度为700μm。液晶层306的厚度为60μm。在本实施方式中，第1电极303与第2电极304设定为不同的层，但也可以形成在同一面上。在这种情况下，第1电极303的形状设定为尺寸小于第2电极304的圆形孔的圆形，配置在第2电极304的孔位置，在第2电极304的分割部分设置电极取出部。此时，第1电极303和构成第2电极的电极304a、304b、304c、304d，能够分别独立地进行电压控制。通过采用这种构成，能够减少整体的厚度。

接下来，说明图3A和图3B所示的液晶透镜301的动作。在图3A和图3B所示的液晶透镜301中，在透明的第3电极305与由铝薄膜等构成的第2电极304之间施加电压。与此同时，也在第1电极303与第2电极304之间施加电压。由此，能够在具有圆形孔的第2电极304的中心轴309形成轴对象的电场梯度。由于这样形成的圆形电极的边沿周围的轴对象的电场梯度，使得液晶层306的液晶分子在电场梯度的方向定向。其结果因液晶层306的定向分布的变化，异常光的折射率分布从圆形电极的中心至周边发生变化，由此能够使其发挥透镜的作用。通过向第1电极303、第2电极304施加电压，从而能够自由地改变该液晶层306的折射率，能够自由地进行凸透镜或凹透镜等光学特性的控制。

在本实施方式中，在第1电极303与第2电极304之间施加20Vrms的有效电压，在第2电极304与第3电极305之间施加70Vrms的有效电压，在第1电极305与第3电极305之间施加90Vrms的有效电压，从而使其作为凸透镜发挥作用。在此，液晶驱动电压(各电极间施加的电压)是正弦波或者占空比为50％的矩形波的交流波形。所施加的电压值由有效电压(rms：root mean square value)表示。例如，100Vrms的交流正弦波是具有±144V的峰值的电压波形。此外，作为交流电压的频率例如使用1kHz。再有，在构成第2电极304的电极304a、304b、304c、304d与第3电极305之间分别施加不同的电压。由此，施加同一电压时成为轴对称的折射率分布，相对于具有圆形孔的第2电极中心轴309成为轴偏移的非对称的分布，可得到从入射光前进的方向偏离的效果。在这种情况下，通过适当改变在分割出的第2电极304与第3电极305之间施加的电压，能够改变入射光的偏离方向。例如，在电极304a与电极305之间、电极304c与电极305之间分别施加70Vrms，在电极304b与电极305之间、电极304d与电极305之间分别施加71Vrms，从而符号309示出的光轴位置偏移至符号310示出的位置。其偏移量例如为3μm。

图4是说明液晶透镜301的光轴偏移功能的示意图。如前所述，对电极304a、304b、304c、304d的每一个，控制在构成第2电极的电极304a、304b、304c、304d与第3电极305之间施加的电压。由此，能够使摄像元件的中心轴和液晶透镜的折射率分布的中心轴偏移。这相当于相对摄像元件面A01透镜在其xy面内偏移。因此，能够使入射至摄像元件的光线在其u、v面内偏向。

图5表示图2所示的单位摄像部3的详细结构。单位摄像部3中的光学透镜302由2个光学透镜302a、302b构成。液晶透镜301配置在光学透镜302a与302b之间。光学透镜302a、302b分别由一个或多个的透镜构成。从物体面A02(参照图4)入射的光线由配置在液晶透镜301的物体面A02侧的光学透镜302a聚光，以光点变小之后的状态入射至液晶透镜301。此时，入射至液晶透镜301的光线的入射角度相对于光轴处于近乎平行的状态。从液晶透镜301射出的光线由配置在液晶透镜301的摄像元件15侧的光学透镜302b在摄像元件15面上成像。通过采用这种结构，能够减小液晶透镜301的直径，能够减小施加于液晶透镜301的电压、增大透镜效果，通过使第2绝缘层308的厚度变薄由此减小透镜的厚度。

在图1所示的摄像装置1中，采用针对一个摄像元件配置一个摄像透镜的结构。但是，也可以构成为在液晶透镜301中在同一基板上构成多个第2电极304，使多个液晶透镜一体化。也就是说，液晶透镜301中的第2电极304的孔部分相当于透镜。因此，在一个基板上配置多个第2电极304的图案，从而各第2电极304的孔部分具有透镜效果。因此，配合多个摄像元件的配置，在同一基板上配置多个第2电极304，从而能够以一个液晶透镜单元对应所有的摄像元件。

此外，在上述的说明中，液晶层的层数为1层。但是，通过使一层的厚度变薄从而以多层构成液晶层，能够确保相同程度的聚光性的同时还能改善响应性。这是基于液晶层越厚则响应速度越差的特征。此外，在由多层构成液晶层的情况下，通过改变各液晶层之间的偏振光的方向，针对入射至液晶透镜的光线能够在所有的偏振光方向获得透镜效果。再有，尽管作为一例例示了电极分割数为4分割的类型，但也可以根据打算移动的方向改变电极的分割数。

接下来，参照图6和图7对图1所示的摄像元件15的结构进行说明。本实施方式中的摄像装置1的摄像元件，作为一例使用CMOS摄像元件。在图6中，摄像元件15由二维排列的像素501构成。本实施方式的CMOS摄像元件的像素尺寸为5.6μm×5.6μm，像素间距为6μm×6μm，有效像素数为640(水平)×480(垂直)。在此，像素是摄像元件进行的摄像动作的最小单位。通常，一个像素对应一个光电变换元件(例如，光电二极管)。在5.6μm角的像素尺寸之中，存在具有一定面积(空间上的宽度)的受光部，像素将入射至受光部的光进行平均化和积分求出光的强度，并变换为电信号。进行平均化的时间由电子式或机械式的快门等控制，其动作周期一般与摄像装置1输出的视频信号的帧频率一致，例如60Hz。

图7表示摄像元件15的详细结构。CMOS摄像元件15的像素501中，由放大器516对光电二极管515进行光电变换之后的信号电荷进行放大。各像素的信号通过由垂直扫描电路511和水平扫描电路512控制开关517，从而按照垂直水平地址方式被选择，作为电压或电流经由CDS518(Correlated Double Sampling)、开关519、放大器520作为信号S01被取出。开关517与水平扫描线513以及垂直扫描线514连接。CDS518是进行相关二重采样的电路，能够抑制由放大器516等产生的随机噪声之中的1/f噪声。对于像素501以外的像素也具有相同的结构和功能。此外，由于CMOS逻辑LSI制造工艺的应用能够进行大量生产，为此较之于具有高电压逻辑电路的CCD图像传感器是更为廉价，并且因为元件小所以耗电少，在原理上不会发生污点(smear)和发白(blooming)，以上便是CMOS摄像元件的优点。本实施方式中，尽管使用了黑白的CMOS摄像元件15，但也可以使用分别在各像素安装了R、G、B滤色器的彩色的CMOS摄像元件。使用按照方格花纹反复配置R、G、G、B的拜尔构造，能够简单地以一个摄像元件实现彩色化。

接下来，参照图8对摄像元件1的整体构造进行说明。在图8中，对于图1所示的相同的部分附于相同的符号，并省略其说明。在图8中，符号P001是对摄像装置1的处理动作进行总控制的CPU(Central ProcessingUnit)，有时也称为微型控制器(微型计算机)。符号P002是由非易失性存储器构成的ROM(Read Only Memory)，存储CPU·P001的程序和各处理部所需的设定值。符号P003是RAM(Random Access Memory)，存储CPU的暂时的数据。符号P004是VideoRAM，主要用于存储运算过程中的影像信号、图像信号，由SDRAM(Synchronous Dynamic RAM)等构成。

图8中作为CPU·P001的程序保存用具有RAM·P003，作为图像保存用具有VideoRAM·P004，但也可以采用将例如2个RAM模块统一于VideoRAM·P004的结构。符号P005是***总线，连接着CPU·P001、ROM·P002、RAM·P003、VideoRAM·P004、影像处理部27、影像合成处理部38、控制部33。此外，***总线P005还连接于后述影像处理部27、影像合成处理部38、控制部33的各模块的内部模块。CPU·P001作为主机控制***总线P005，双向流动影像处理、图像处理和光轴控制中所需的设定数据。

例如，在将影像合成处理部38的运算过程中的图像保存在VideoRAM·P004中时，使用该***总线P005。也可以将需要高速传输速度的图像信号用的总线、和低速的数据总线设定为不同的总线。在***总线P005连接与未图示的USB或闪存卡这种的外部设备的接口、作为取景器的液晶显示器的显示驱动控制器。

影像合成处理部38针对从其他影像处理部输入的信号S02进行影像合成处理，作为信号S03输出至其他控制部，或作为视频信号S04输出至外部。

接下来，参照图9和图10说明影像处理部27和影像合成处理部38的处理动作。图9是表示影像处理部27的结构框图。在图9中，影像处理部27具有影像输入处理部601、修正处理部602、校正参量存储部603。影像输入处理部601从单位摄像部3取入影像信号，实施例如拐点(knee)处理和伽马处理等信号处理，还实施白平衡控制。影像输入处理部601的输出被输出至修正处理部602，基于后述的校准步骤得到的校正参量实施失真的修正处理。例如，修正处理部602对因摄像元件15的安装误差引起的失真进行校正。校正参量存储部603是RAM(Random AccessMemory)，存储着校准值(校正值)。从修正处理部602输出的完成修正的影像信号输出至影像合成处理部38。校正参量存储部603中所存储的数据例如在摄像装置1的电源接通时，由CPU·P001(图8)进行更新。或者，也可以使校正参量存储部603为ROM(Read Only Memory)，在工场出货时通过校准步骤确定保存数据，并将其存储在ROM中。

影像输入处理部601、修正处理部602以及校正参量存储部603分别连接于***总线P005。例如，影像输入处理部601的上述的伽马处理的特性保存在ROM·P002中。影像输入处理部601基于CPU·P001的程序，经由***总线P005接收ROM·P002(图8)所保存的数据。此外，修正处理部602将运算过程中的图像数据经由***总线P005写入VideoRAM·P004，或者从VideoRAM·P004中读出。在本实施方式中，使用了黑白的CMOS摄像元件15，但也可以使用彩色的CMOS摄像元件。在使用彩色的CMOS摄像元件的情况下，例如在摄像元件1是拜尔构造时，由影像处理部61实施拜尔插值处理。

图10是表示影像合成处理部38的结构框图。影像合成处理部38具有合成处理部701、合成参量存储部702、判定部703、立体图像处理部704。

合成处理部701对多个单位摄像部2～7(图1)的摄像结果(从影像处理部输入的信号S02)进行合成处理。通过合成处理部701的合成处理，如后面所述那样能够改善图像的分辨率。合成参量存储部702例如保存着基于通过后述校准导出的单位摄像部间的三维坐标而求出的图像偏移量的数据。判定部703基于影像合成结果生成输出至控制部的信号S03。立体图像处理部704基于多个的单位摄像部2～7的各摄像图像求出每个像素的偏移量(每个像素的偏移参量)。此外，立体图像处理部704基于摄像条件(距离)，求出按照摄像元件的像素间距标准化之后的数据。

合成处理部701，以该偏移量为基准使图像偏移然后进行合成。判定部703通过对合成处理的结果例如进行傅里叶变换，检测影像信号的高频分量的功率。在此，例如假设合成处理部701进行4个单位摄像部的合成处理的情况。假定摄像元件为宽VGA(854像素×480像素)。此外，假定作为影像合成处理部38的输出的视频信号S04是高清信号(1920像素×1080像素)。在该情况下，由判定部703进行判定的频带大致从20MHz至30MHz。宽VGA的影像信号能够再现的影像频率的频带上限，大致为10MHz至15MHz。使用该宽VGA信号，通过由合成处理部701进行合成处理，可复原出20MHz至30MHz的成分。在此，摄像元件是宽VGA。主要由摄像透镜8～13(图1)构成的摄像光学***，需要具备不会使高清信号的频带劣化的特性。

影像合成处理部38对控制部32～控制部37进行控制，使得该合成后的视频信号S04的频带(在上述例子中为20MHz至30MHz的成分)的功率为最大。为了进行频率轴下的判定，判定部703进行傅里叶变换处理，判定其结果的特定频率以上(例如20MHz)的能量大小。超过摄像元件的频带的影像信号频带的复原效果，因在像素的大小决定的范围内对摄像元件上所成的像进行取样时的相位而变化。为了将该相位设定为最佳状态，使用控制部32～37对摄像透镜8～13进行控制。具体而言，控制部33对摄像透镜9具备的液晶透镜301进行控制。通过控制施加于液晶透镜301的分割出的电极304a、304b、304c、304d的电压的平衡，如图4所示那样摄像元件面上的图像移动。控制结果的理想状态是各个单位摄像部的摄像结果的取样相位在水平、垂直、倾斜方向彼此偏移像素尺寸的1/2。在处于这种理想状态的情况下，作为傅里叶变换的结果的高频带成分的能量最大。也就是说，控制部33通过进行液晶透镜的控制、以及其结果的合成处理的判定的反馈环，使得傅里叶变换的结果的能量最大。

在该控制方法中，以来自影像处理部27的影像信号为基准，经由控制部33以外的控制部32、34～37(图1)来控制摄像透镜2、摄像透镜4～7(图1)。该情况下，摄像透镜2由控制部32控制光轴相位。对于其他的摄像透镜4～7也同样地控制光轴相位。通过进行比各摄像元件的像素小的尺寸下的相位的控制，可使由摄像元件平均化的相位的偏移最佳化。也就是说，将由像素对摄像元件上所成的像进行取样时的取样相位，控制在对于通过光轴相位的控制进行高清晰化而言理想的状态。其结果能够合成高清晰且高画质的影像信号。判定部703对合成处理结果进行判定，如果能够合成高清晰且高画质的影像信号，则维持其控制值，合成处理部701将高清晰且高画质的影像信号作为信号S04进行视频输出。另一方面，如果不能合成出高清晰且高画质的影像信号，则再次进行摄像透镜的控制。

这里，为了使摄像元件1的像素和摄像对象的成像的相位为像素的尺寸以下，而命名并定义了子像素，但分割像素的子像素的构造在摄像元件上实际是不存在的。此外，影像合成处理部38的输出例如是视频信号S04，向未图示的显示器输出，或者输出至未图示的图像记录部并记录在磁带或IC卡中。合成处理部701、合成参量存储部702、判定部703、立体图像处理部704，分别连接于***总线P005。合成参量存储部702由RAM构成。例如，存储部702在摄像装置1的电源接通时，由CPU·P001经由***总线P005进行更新。此外，合成处理部701将运算过程中的图像数据经由***总线P005写入VideoRAM·P004，或者从VideoRAM·P004中读出。

立体图像处理部704，求出按照每个像素的偏移量(每个像素的偏移参量)和每个像素的像素间距进行标准化之后的数据。这在拍摄的影像的一个画面之中以多个图像偏移量(每个像素的偏移量)来合成影像的情况下、具体而言在打算拍摄交点位于从摄影距离近的被摄体至远的被摄体的影像的情况下是有效的。也就是说，能够拍摄景深较深的影像。相反在一个画面中应用一个图像偏移量而不是每个像素的偏移量的情况下，能够拍摄景深较浅的影像。

接下来，参照图11说明控制部33的结构。在图11中，控制部33具有电压控制部801、液晶透镜参量存储部802。电压控制部801按照从影像合成处理部38的判定部703输入的控制信号，对摄像透镜9具备的液晶透镜301的各电极的电压进行控制。被控制的电压是以从液晶透镜参量存储部802输出的参量值为基准，由电压控制部801决定的。通过这种处理，液晶透镜301的电场分布可被理想地控制，如图4所示那样控制光轴。其结果在取入相位被修正的状态下在摄像元件15中进行光电变换。通过这种控制，像素的相位被理想地进行控制。其结果，可改善视频输出信号的分辨率。如果控制部33的控制结果为理想的状态，则作为判定部703的处理的傅里叶变换的结果的能量检测为最大。为了达到这种状态，控制部33构成基于摄像透镜9、影像处理部27、影像合成处理部38的反馈环，按照使得高频的能量最大的方式控制液晶透镜。电压控制部801、液晶透镜参量存储部802分别连接于***总线P005。液晶透镜参量存储部802例如由RAM构成，在摄像装置1的电源接通时，由CPU·P001经由***总线P005进行更新。

此外，图9～图11所示的校正参量存储部63、合成参量存储部702以及液晶透镜参量存储部802，也可以使用相同的RAM或ROM，形成按照存储的地址进行区分使用的结构。此外，也可以是使用ROM·P002或RAM·P003的一部分地址的结构。

接下来，说明摄像装置1的控制动作。图12是表示摄像装置1的动作的流程图。在此，表示在影像合成处理中使用影像的空间频率信息的一例。首先，当CPU·P001指示控制处理开始时，修正处理部602从校正参量存储部603读取校正参量(步骤S901)。修正处理部602基于所读取的校正参量，进行各个单位摄像部2～7的修正(步骤S902)。该修正是后述的除去每个单位摄像部2～7的失真。

接下来，合成处理部701从合成参量存储部702读取合成参量(步骤S903)。此外，立体图像处理部704求出按照每个像素的偏移量(每个像素的偏移参量)以及摄像元件的像素间距标准化之后的数据。然后，合成处理部701基于读取的合成参量、和按照每个像素的偏移量(每个像素的偏移参量)以及摄像元件的像素间距标准化之后的数据，执行子像素影像合成高清晰化处理(步骤S904)。如后面所述，合成处理部701基于以子像素为单位的相位不同的信息构筑高清晰图像。

接下来，判定部703实行高清晰判定(步骤S905)，判定是否为高清晰(步骤S906)。判定部703在内部保持着判定用的阈值，判定高清晰的程度，并将该判定结果的信息分别输出至控制部32～37。各控制部32～37在实现了高清晰的情况下不改变控制电压，作为液晶透镜参量保持同一值(步骤S907)。另一方面，在步骤S906中，判定为不是高清晰的情况下，控制部32～37改变液晶透镜301的控制电压(步骤S908)。CPU·P001管理控制结束条件，例如判定摄像装置1的电源关断的条件是否成立(步骤S909)。在步骤S909中如果控制结束条件不满足，则CPU·P001返回至步骤S903反复上述的处理。另一方面，在步骤S909中，如果满足了控制结束条件，CPU·P001结束图12所示的流程图的处理。此外，控制结束条件也可以设定为在摄像装置1的电源关断时预先使高清晰判定次数为10次，反复进行指定次数的步骤S903～S909的处理。

接下来，参照图13对图12所示的子像素影像合成高清晰化处理(步骤S904)的动作进行说明。图像尺寸、倍率、转动量和偏移量是合成参量B01，在合成参量读取处理(步骤S903)中从合成参量存储部702读出。基于合成参量B01的图像尺寸和倍率，决定坐标B02。此外，基于坐标B02、合成参量B01的转动量和偏移量来进行变换运算B03。

在此，假设从4个单位摄像部得到一个高清晰图像的情况。基于由各个单位摄像部拍摄的4个图像B11～B14，使用转动量和偏移量的参量在一个坐标系B20重叠。然后，根据4个图像B11～B14、和基于距离的权重系数进行滤波运算。例如，作为滤波器使用三次方(近似三次)滤波器。根据处于距离d的像素所取得的权重w如下式。

w＝1-2×d2+d3  (0≤d＜1)

＝4-8×d+5×d2-d3(1≤d＜2)

＝0(2≤d)

接下来，参照图14对图12所示的判定部703进行的高清晰判定处理(步骤S905)的详细动作进行说明。首先，判定部703提取定义范围的信号(步骤S1001)。例如在将以帧为单位的一个画面设定为定义范围的情况下，由未图示的帧存储器模块预先存储一画面的信号。例如，如果是VGA分辨率，则一个画面是由640×480像素组成的二维的信息。针对该二维信息，判定部703执行傅里叶变换，将时间轴的信息变换为频率轴的信息(步骤S1002)。接下来，通过HPF(High pass filter：高通滤波器)提取高频信号(步骤S1003)。例如，假设摄像元件9是纵横比为4∶3、60fgs(Frame Per Second)(逐行)的VGA信号(640像素×480像素)、作为影像合成处理部的输出的视频输出信号为Quad-VGA的情况。假设VGA信号的界限分辨率约为8MHz、在合成处理中再现10MHz～16MHz的信号的情况。在该情况下，HPF例如具有使10MHz以上的成分通过的特性。判定部703将该10MHz以上的信号与阈值进行比较来进行判定(步骤S1004)。例如，在将傅里叶变换之后的结果的DC(直流)成分设为1的情况下，将10MHz以上的能量阈值设定为0.5，与该阈值进行比较。

在上述的说明中，说明了以某分辨率的摄像结果的1帧的图像为基准进行傅里叶变换的情况。但是，在以行为单位(水平同步反复的单位，如果是高清信号，则为有效像素数1920像素单位)对定义范围进行定义的情况下，不需要帧存储器模块，能够减小电路规模。在这种情况下，例如如果是高清信号，则可以例如按照行数的1080次反复实行傅里叶变换，综合以行为单位的1080次的阈值比较判定，来判定一个画面的高清晰度。此外，也可以使用几帧的以画面为单位的阈值比较判定结果来判定。这样，以多个判定结果为基础进行综合判定，从而能够除去突发的噪声的影响等。此外，在阈值判定中，既可以使用固定的阈值，也可以适当变更阈值。也可以另行提取要判定的图像的特征，以其结果为基础来切换阈值。例如，可以通过直方图检测来提取图像的特征。此外，也可以与过去的判定结果相关联地变更当前的阈值。

接下来，参照图15对图12所示的控制部32～37执行的控制电压变更处理(步骤S908)的详细动作进行说明。在此，虽然以控制部33的处理动作为例进行说明，但控制部32、34～37的处理动作也同样。首先，电压控制部801(图11)，从液晶透镜参量存储部802读出当前的液晶透镜的参量值(步骤S1101)。然后，电压控制部801更新液晶透镜的参量值(步骤S1102)。作为液晶透镜参量事先掌握过去的历史记录。例如，针对当前的4个电压控制部33a、33b、33c、33d，将电压控制部33a的电压按照过去的历史记录每间隔5V提高至40V、45V、50V的情况下，判定为历史记录和本次都不是高清晰，因此判定为应该进一步提高电压。并且，一边保持电压控制部33b、电压控制部33c、电压控制部33d的电压值，一边将电压控制部33a的电压更新至55V。这样，依次更新提供给4个液晶透镜的电极304a、304b、304c、304d的电压值。此外，作为历史记录更新液晶透镜参量的值。

通过以上的处理动作，以子像素为单位对多个单位摄像部2～7的摄像图像进行合成，进而判定其高清晰的程度，并按照维持高清晰性能的方式变更控制电压。由此，能够实现高画质的摄像装置1。通过对分割出的电极304a、电极304b、电极304c、电极304d施加不同的电压，可改变以摄像元件的像素对通过摄像透镜8～13在摄像元件上所成的像进行取样时的取样相位。该控制的理想状态是各个单位摄像部的摄像结果的采样相位彼此在水平、垂直、倾斜方向偏移像素尺寸的1/2。由判定部703进行是否是理想状态的判定。

接下来，参照图16说明相机校准的处理动作。该处理动作例如是在摄像装置1的工场生产时进行的处理，在摄像装置的电源接通时通过同时按下多个操作按键等特定操作来执行。该相机校准处理由CPU·P001执行。首先，调整摄像装置1的作业者准备图案间距已知的格子图案或方格花纹的测试图，一边改变姿势和角度一边以格子图案的30种姿势进行摄像以取得图像(步骤S1201)。接下来，CPU·P001按照每个单位摄像部2～7对该摄像图像进行解析，导出每个单位摄像部2～7的外部参量值、内部参量值(步骤S1202)。例如，如果是被称为针孔相机模型的一般的相机模型，则外部参量值中，相机的姿势在三维下的转动信息和平移信息的6个为外部参量。同样，内部参量是5个。导出这种的参量的处理是校正(校准)处理。在一般的相机模型中，外部参量是相对于世界坐标表示相机姿势的横摇、纵摇、滚动的三轴向量和表示平行移动成分的平移向量的三轴成分的合计6个参量。此外，内部参量为5个，分别是相机的光轴与摄像元件相交的图像中心(u0、v0)、在摄像元件上假设的坐标的角度和纵横比、焦距。

接下来，CPU·P001将所得到的参量存储在校正参量存储部603中(步骤S1203)。如前所述，通过在单位摄像部2～7的修正处理(图12所示的步骤S902)中使用该参量，单位摄像部2～7各自的相机失真得到修正。也就是说，有时本来是直线的格子图案因相机失真而变为曲线被摄像到，这种情况下通过该相机校准处理导出用于将其复原至直线的参量，以进行单位摄像部2～7的修正。

接下来，CPU·P001将单位摄像部2～7间的参量作为单位摄像部2～7间的外部参量导出(步骤S1204)。然后，更新在合成参量存储部702以及液晶透镜参量存储部802中存储的参量(步骤S1205、S1206)。该值在子像素影像合成高清晰化处理S904、和控制电压变更S908中使用。

此外，这里示出了摄像装置1内的CPU·P001或微型计算机具备相机校准功能的情况。但是，也可以例如另行准备个人计算机，并在该个人计算机上执行同样的处理，仅将所得到的参量下载至摄像装置1中。

接下来，参照图17对单位摄像部2～7的相机校准的原理进行说明。在此，针对相机的投影的情况使用图17所示的针孔相机模型。在针孔相机模型中，到达图像平面的光通过作为所有透镜的中心的一点的针孔C01，在与图像平面C02交叉的位置成像。此外，将以下坐标系称为图像坐标系，在该坐标系中，将光轴与图像平面C02的交点设为原点，配合相机元件的配置轴取得X轴和Y轴的。此外，将如下的坐标系称为相机坐标系，在该坐标系中，将相机的透镜中心设为原点，将光轴设为Z轴，平行于X轴和Y轴取得X轴和Y轴。在此，对于表示空间的坐标系的世界坐标系(X_w，Y_w，Z_w)下的三维坐标M＝[X，Y，Z]^T和作为其投影的图像坐标系(x，y)上的点m＝[u，v]^T，按照(1)式那样将其关联起来。

$s\tilde{m}=A\left[\begin{array}{cc}R& t\end{array}\right]\tilde{M}\·\·\·\left(1\right)$

在(1)式中，A是内部参量矩阵，是如下的(2)式那样的矩阵。

$A=\left[\begin{array}{ccc}\mathrm{\α}& \mathrm{\γ}& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right]\·\·\·\left(2\right)$

在(2)式中，α、β是由像素的大小和焦距的积构成的比例系数。(u₀，v₀)是图像中心，γ是表示图像的坐标轴的失真的参量。此外，[R  t]是外部参量矩阵，是将3×3的旋转矩阵R和平行移动矩阵t排列之后的4×3矩阵。

在Zhang的校准方法中，一边移动贴有已知图案的平板一边拍摄(3次以上)图像，能够求出内部参量、外部参量、透镜失真参量。在该方法中，将校准平面C03(图17)设定为世界坐标系的Z_w＝0的平面进行校准。由(1)式示出的校准平面C03的点M和拍摄该平面的图像上的对应的点m之间的关系，能够按照下面的(3)式进行改写。

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{cccc}{r}_1& r_2& r_3& t\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 0\\ 1\end{array}\right]=A\left[\begin{array}{ccc}{r}_1& r_2& t\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]\·\·\·\left(3\right)$

平面上的点与图像上的点之间的关系是3×3的单应(homography)矩阵H，能够如(4)式那样进行记述。

$s\tilde{m}=H\tilde{M}$ H＝A[r₁ r₂ t]                …(4)

当提供一个校准平面C03的图像时，就得到一个单应矩阵H。当得到该单应矩阵H＝[h₁ h₂ h₃]时，由(4)式可得到(5)式。

[h₁ h₂ h₃]＝λA[r₁ r₂ t]                        …(5)

由于R是旋转矩阵，因此r₁和r₂正交。因此，得到以下所示的与内部参量相关的2个限制公式(6)式、(7)式。

h₁ ^TA^-TA^-1h₂＝0                                  …(6)

h₁ ^TA^-TA^-1h₁＝h₂ ^TA^-TA^-1h₂                        …(7)

如(8)式所示那样，A^-TA^-1是3×3的对象矩阵，包含6个未知数，针对1个H能够建立2个公式。因此，只要得到3个以上的H就能够决定内部参量A。在此，因为A^-TA^-1具有对象性，所以如(9)式那样定义将由以下的(8)式表示的B的要素排列之后的向量b。

$B=A^{-T}{A}^{-1}=\left[\begin{array}{ccc}{B}_{11}& B_{12}& B_{13}\\ B_{12}& B_{22}& B_{23}\\ B_{13}& B_{23}& B_{33}\end{array}\right]\·\·\·\left(8\right)$

b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T             …(9)

在将单应矩阵H的第i列向量设为h_i＝[h_i1 h_i2 h_i3]^T、(i＝1，2，3)时，通过以下的(10)式来表示h_i ^TBh_j。

$h_i^{T}B{h}_j=v_{\mathrm{ij}}^{T}b\·\·\·\left(10\right)$

此外，(10)式中的V_ij由以下的(11)式表示。

v_ij＝[h_i1h_j1 h_i1h_j2+h_i2h_j1 h_i2h_j2 h_i3h_j1+h_i1h_j3 h_i3h_j2+h_i2h_j3 h_i3h_j3]^T

                                                                        …(11)

由此，(6)式和(7)式将成为以下的(12)式那样。

$\left[\begin{array}{c}{v}_{12}^T\\ {(v_{11}-v_{22})}^T\end{array}\right]b=0\·\·\·\left(12\right)$

如果得到n个图像，则通过累积n个上述的式子，能够得到以下的(13)式。

Vb＝0                                            …(13)

在此，V是2n×6的矩阵。由此，b作为对应于V^TV的最小固有值的固有向量求出。在该情况下，尽管在n≥3时能够直接得到与b相关的解，但是在n＝2时，通过设定内部参量中的γ＝0，从而将使[0 10 0 0 0]b＝0代入(13)式中来求出解。此外，如果n＝1则仅能够求出2个内部参量。因此，例如通过仅将α和β设为未知，将剩余的内部参量设为已知，来进行求解。如果求出b进而求出B，则基于B＝μA-TA通过(14)式可计算出相机的内部参量。

$\left.\begin{array}{c}{v}_0=(B_{12}{B}_{13}-B_{11}{B}_{23})/(B_{11}{B}_{22}-B_{12}^2)\\ \mathrm{\μ}=B_{33}-[B_{13}^2+v_0(B_{12}{B}_{13}-B_{11}{B}_{23})]/B_{11}\\ \mathrm{\α}=\sqrt{\mathrm{\μ}/B_{11}}\\ \mathrm{\β}=\sqrt{\mathrm{\μ}{B}_{11}/(B_{11}{B}_{22}-B_{12}^2)}\\ \mathrm{\γ}=-B_{12}{\mathrm{\α}}^2\mathrm{\β}/\mathrm{\μ}\\ u_0=\mathrm{\γ}{v}_0/\mathrm{\β}-B_{13}{\mathrm{\α}}^2/\mathrm{\μ}\end{array}\right\}\·\·\·\left(14\right)$

此外，如果由此求出内部参量，则针对外部参量，通过(5)式而得到以下的(15)式。

$\left.\begin{array}{c}{r}_1=\mathrm{\λ}{A}^{-1}{h}_1\\ r_2=\mathrm{\λ}{A}^{-1}{h}_2\\ r_3=r_1\×r_2\\ t=\mathrm{\λ}{A}^{-1}{h}_3\\ \mathrm{\λ}=1/\left|\right|A^{-1}{h}_1\left|\right|=1/\left|\right|A^{-1}{h}_2\left|\right|\end{array}\right\}\·\·\·\left(15\right)$

通过将至此求得的参量作为初始值的非线性最小二乘法来对参量进行最优化，能够得到最佳的外部参量。

如上述，在所有的内部参量未知的情况下，使用从不同的视点将内部参量固定的状态下拍摄的3个以上的图像，从而能够进行相机校准。此时，一般图像个数越多则参量估计精度越高。此外，在用于校准的图像之间的转动小的情况下误差变大。

接下来，参照图18、图19，说明基于相机校准中求得的表示相机(摄像装置)的位置、姿势的参量，以子像素的精度将各图像中拍摄相同区域的区域对应起来的方法。

图18中表示由作为基本的摄像元件15(将此称为基本相机D01)和与其相邻的摄像元件16(将此称为相邻相机D02)将对象物体面D03上的点M经由液晶透镜D04、D05向各摄像元件15、16上的点m₁和m₂投影(摄影)的情况。

此外，图19是使用图17所示的针孔相机模型来图示图18的情况。在图19中，符号D06表示作为基本相机D01的相机透镜的中心的针孔。符号D07表示作为相邻相机D02的相机透镜的中心的针孔。此外，符号D08表示基本相机D01的图像平面，Z1表示基本相机D01的光轴。此外，符号D09表示相邻相机D02的图像平面，Z2表示相邻相机D02的光轴。

世界坐标系上的点M与图像坐标系上的点m之间的关系，因相机的移动性等使用中心射影矩阵P来表示时，通过(1)式能够按照以下的(16)式来表示。

m＝PM                …(16)

通过使用计算出的P，能够描述三维空间中的点与二维空间平面上的点之间的对应关系。在图19所示的结构中，将基本相机D01的中心射影矩阵设为P₁，将相邻相机D02的中心射影矩阵设为P₂。为了从图像平面D08上的点m₁求出与该点对应的图像平面D09上的点m₂，使用以下的方法。

(1)基于(16)式，根据以下的(17)式来从m₁求出三维空间的点M。由于中心射影矩阵P是3×4的矩阵，因此使用P的伪逆矩阵来求出。

M＝(P₁ ^TP₁)^-1P₁ ^Tm₁            …(17)

(2)由计算出的三维位置，通过以下的(18)式，使用相邻相机的中心射影矩阵P₂求出相邻图像的对应点m₂。

m₂＝P₂((P₁ ^TP₁)^-1P₁ ^Tm₁)                …(18)

由于相机参量P具有模拟的值，因此计算出的基本图像和相邻图像的对应点m₂以子像素为单位求出。由于在使用相机参量的对应点匹配中，已经求出相机参量，因此其优点在于仅通过矩阵计算就能够迅速计算出对应点。

接下来，对透镜的失真和相机校准进行说明。至此，尽管按照将透镜视为一点的针孔模型进行了说明，但是实际上由于透镜具有有限的大小，因此存在无法以针孔模型进行说明的情况。以下针对这种情况下的失真的修正进行说明。在使用凸透镜的情况下，由于入射光发生折射而产生失真。将针对这种放射方向的失真的修正***设为k₁、k₂、k₅。此外，在透镜与摄像元件不是平行配置的情况下，产生切线方向的失真。将针对其法线方向的失真的修正***设为k₃、k₄。将这些的失真称为失真像差。在此，失真修正式能够表示为以下的式(19)、式(20)、式(21)。

$x_d=(1+k_1{r}^2+k_2{r}^4+k_5{r}^6)x_u+2k_3{x}_u{y}_u+k_4(r^2+2x_u^2)\·\·\·\left(19\right)$

$y_d=(1+k_1{r}^2+k_2{r}^4+k_5{r}^6)y_u+k_3(r^2+2y_u^2)+2k_4{x}_u{y}_u\·\·\·\left(20\right)$

$r^2=x_u^2+y_u^2\·\·\·\left(21\right)$

在此，(x_u，y_u)是没有歪曲像差的理想透镜的摄像结果的图像坐标。(x_d、y_d)是有歪曲像差的透镜的图像坐标。对于其坐标的坐标系，双方都是前述的图像坐标系X轴、Y轴。此外，r是从图像中线至(x_u，y_u)的距离。图像中心由上述的内部参量u₀、v₀来确定。如果假定以上模型，并通过校准导出系数k₁～k₅和内部参量，则可求出基于有无失真的成像坐标的差，进而修正因实物透镜引起的失真。

图20是表示摄像装置1的摄像情况的示意图。由摄像元件15和摄像透镜9构成单位摄像部3对摄像范围E01进行摄像。由摄像元件16和摄像透镜10构成的单位摄像部4，对摄像范围E02进行摄像。由两个单位摄像部3、4对大致相同的摄像范围进行摄像。例如在摄像元件15、16的配置间隔为12mm，单位摄像部3、4的焦距为5mm，距摄像范围的距离为600mm，单位摄像部3、4的光轴彼此平行的情况下，摄像范围E01、E02的不同的范围的区域约为3％左右。这样，对同一部分进行摄像后通过合成处理部38进行高清晰化处理。

接下来，参照图21、图22对摄像装置1的高清晰化进行说明。

此外，图21的波形1表示被摄体的轮廓。图21的波形2表示由单一的摄像装置拍摄的结果。图21的波形3表示由单一的摄像装置拍摄的结果。图21的波形4表示合成处理部的输出。

在图21中，横轴表示空间的宽度。该空间的宽度表示现实的空间的情况、和摄像元件上的假设空间宽度的情况的双方。由于如果使用外部参量和内部参量它们彼此之间能够进行变换或换算，因此上述的双方是相同意义的。此外，在视为从摄像元件依次读出的影像信号的情况下，图21的横轴取时间轴。在这种情况下，在显示器进行显示时，由于在观察者的眼中认为是空间的宽度，因此在为影像信号的时间轴的情况下与空间的宽度也是相同意义的。图21的纵轴是振幅、强度。由于以摄像元件的像素对物体发射光的强度进行光电变换之后作为电压电平输出，因此也可以视为振幅。

图21的波形1是现实空间下的物体轮廓。以摄像元件的像素的宽度对该轮廓即物体的反射光强度进行积分。因此，由单位摄像部2～7，像图21的波形2那样进行读取。作为一例，该积分使用LPF(Low Pass Filter：低通滤波器)进行。图21的波形2中的箭头F01是摄像元件的像素宽度。图21的波形3是由不同的单位摄像部2～7拍摄的结果，以图21的波形3中的箭头F02所示的像素的宽度对光进行积分。如图21的波形2、图21的波形3所示，由摄像元件的分辨率(像素的尺寸)决定的宽度以下的反射光的轮廓(分布)，无法在摄像元件中进行再现。

但是，本实施方式的特征在于，在图21的波形2、图21的波形3中在双方的相位关系中使其具有偏移量。具有这种的偏移量来取入光，并在合成处理部中进行最佳合成，从而能够再现图21的波形4所示的轮廓。从图21的波形1～波形4可知，最能够再现图21的波形1的轮廓的是图21的波形4，与相当于图21的波形4的箭头F03的宽度的摄像元件像素尺寸的性能等效。在本实施方式中，使用多个以液晶透镜为代表的非固体透镜和由摄像元件构成的单位摄像部，能够得到超过上述平均化(使用LPF的积分)的析像界限的视频输出。

图22是表示2个单位摄像部的相对的相位关系的示意图。在后级的图像处理中进行高清晰化的情况下，优选摄像元件的采样相位的相对关系是等间隔的。在此，所谓采样与取样为相同意义，是指取出离散的位置处的模拟信号的处理。在图22中，假设使用2个单位摄像部的情况。因此，其相位关系如图22的状态1所示，理想的是0.5像素尺寸G01的相位关系。如图22的状态1所示，在2个单位摄像部中分别入射光G02。

但是，由于摄像距离、摄像装置1的组装的关系，会出现图22的状态2和图22的状态的情况。在这种情况下，即便仅使用平均化之后的影像信号进行图像处理运算，对于已经按照图22的状态2、图22的状态3的相位关系进行平均化的信号而言，将不能复原。因此，需要按照图22的状态4所示那样对图22的状态2、图22的状态3的相位关系进行高精度控制。在本实施方式中，如箭头G03、G04所示那样，通过基于图4所示的液晶透镜的光轴偏移来实现该控制。通过以上的处理，由于总是确保理想的相位关系，因此能够向观察者提供最佳的图像。

在此，图22中对一维的相位关系进行了说明。例如，使用4个单位摄像部分别设定水平、垂直、倾斜45度的各方向的一维偏移，从而通过图22所示的动作能够进行二维空间的相位控制。此外，例如使用2个单位摄像部，相对于基准的单位摄像部在二维(水平、垂直、水平+垂直)上对其中一个的单位摄像部进行相位控制，从而也可以实现二维的相位控制。

例如，假设使用4个单位摄像部对大致相同的摄像对象(被摄体)进行摄像从而得到4个图像的情况。以某图像为基准，对各个图像进行傅里叶变换从而在频率轴判定特征点，计算针对基准图像的转动量和偏移量，使用该旋转量和偏移量进行内插滤波处理，从而能够得到高清晰图像。例如，如果摄像元件的像素数为VGA(640×480像素)，则由4个VGA的单位摄像部可得到Quad-VGA(1280×960像素)的高清图像。

在上述的内插滤波处理中，例如使用三次方(近似三次)法。这是基于距内插点的距离进行加权的处理。摄像元件1的分辨率界限是VGA，但摄像透镜具有使Quad-VGA的频带通过的能力，VGA以上的Quad-VGA的频带成分可作为折返失真(混叠：aliasing)以VGA分辨率被摄像。使用该折返失真通过影像合成处理可复原Quad-VGA的高频带成分。

图23A～图23C是表示摄像对象(被摄体)与成像的关系的图。

此外，在图23B中，符号I01表示像的光强分布图。符号I02表示P1的对应点。符号I03表示摄像元件M的像素。符号I04表示摄像元件N的像素。

在图23B中，如符号I05所示，由于对应点和像素的相位关系，因此按照像素进行平均化的光束量不同，利用该信息可实现高清晰化。此外，如符号I06所示，通过图像移动使对应点彼此重叠。

在图23C中，符号I02表示P1的对应点。在图23C中，如符号I07所示，进行由液晶透镜实施的光轴偏移。

在图23A～图23C中，以忽略透镜失真的针孔模型为基础。对于透镜失真较小的摄像装置，能够以该模型进行说明，能够仅以几何光学进行说明。在图23A中，P1是摄像对象，距离摄像装置为摄像距离H。针孔O、O’相当于2个单位摄像部的摄像透镜。图23A是表示由摄像元件M、N的2个单位摄像部对一个像进行摄像的情况的示意图。图23B表示在摄像元件的像素上P1的像成像的情况。这样，可确定像素和所成的像的相位。该相位由摄像元件彼此的位置关系(基线长B)、焦距f、摄像距离H决定。

也就是说，有时因摄像元件的安装精度而与设计值有所不同，此外关系也会因摄像距离而变换。在这种情况下，通过某个组合会如图23C那样出现彼此相位一致的情况。图23B的光强度分布示意表示针对某宽度的光的强度。在摄像元件中针对这种光的输入在像素的宽度范围内进行平均化。如图23B所示那样，由2个单位摄像部以不同的相位取入的情况下，相同的光强度分布以不同的相位被平均化。因此，在后级的合成处理中能够再现高频带成分(例如，如果是摄像元件是VGA分辨率，则是VGA分辨率以上的高频带)。在此，由于使用2个单位摄像部，因此理想的是有0.5像素的相位偏移。

但是，当像图23C那样相位一致时，由各自的摄像元件所取得的信息是相同的，不能实现高清晰化。因此，如图23C所示，通过光轴偏移将相位控制在最佳状态，从而实现高清晰化。通过进行图14的处理来实现最佳的状态。优选相位关系是所使用的单位摄像部的相位为等间隔的。在本实施方式中，由于具有光轴偏移功能，因此能够通过来自外部的电压控制实现这种最佳的状态。

图24A和图24B是说明摄像装置1的动作的示意图。图24A和图24B图示了通过由2个单位摄像部构成的摄像装置进行摄像的情况。此外，在图24A中，符号Mn表示摄像元件M的像素。此外，符号Nn表示摄像元件N的像素。

为了方便说明，各个摄像元件以像素为单位放大进行记载。由u、v的二维定义摄像元件的平面，图24A相当于u轴的剖面。摄像对象P0、P1处于相同摄像距离H。P0的像分别在u0、u’0处成像。u0、u’0是以各自的光轴为基准的摄像元件上的距离。在图24A中，由于P0处于摄像元件M的光轴上，因此u0＝0。此外，P1的各个像距光轴的距离为u1、u’1。在此，P0、P1在摄像元件M、N上成像的位置的、针对摄像元件M、N的像素的相对的相位左右了像偏移的性能。该关系由摄像距离H、焦距f、摄像元件的光轴间的距离即基线长B来决定。

在图24A和图24B中，各自成像的位置也就是u0和u’0偏移了像素尺寸的一半。u0(＝0)位于摄像元件M的像素的中心。相对于此，u’0在摄像元件N的像素的周边成像。也就是说，出现了偏离了像素尺寸的半个像素的关系。u1和u’1也同样地偏移了半个像素的尺寸。图24B是通过对各自拍摄的图像的同一图像之间进行运算，来复原和生成一个图像的动作的示意图。Pu表示u方向的像素尺寸，Pv表示v方向的像素尺寸。在图24B中，以四边形示出的区域表示像素。在图24B中，出现了彼此偏移了像素的一半的关系，是用于实现像偏移从而生成高清晰图像的理想的状态。

相对于图24A和图24B，图25A和图25B是例如由于安装误差摄像元件N较设计偏离了像素尺寸的一半而安装的情况的示意图。

此外，在图25A中，符号Mn表示摄像元件M的像素。此外，符号Nn表示摄像元件N的像素。

此外，在图25B中，由四边形示出的区域表示像素。此外，符号Pu表示u方向的像素尺寸，Pv表示v方向的像素尺寸。

在该情况下，u1和u’1相互的关系相对于各自摄像元件的像素为相同的相位。在图25A中，双方都在相对于像素靠左侧的位置成像。u0(＝0)和u’0的关系也同样。因此，如图25B那样彼此的相位大致一致。

图26A和图26B是相对于图25A和图25B使本实施方式的光轴偏移动作时的示意图。

此外，在图26A中，符号Mn表示摄像元件M的像素。此外，符号Nn表示摄像元件N的像素。

此外，在图26B中，由四边形示出的区域表示像素。此外，符号Pu表示u方向的像素尺寸，符号Pv表示v方向的像素尺寸。

图26A中的光轴偏移J01这种的针孔O’向右方向的移动，是其动作的像。这样，使用光轴偏移部件使针孔O’偏离，从而相对于摄像元件的像素能够控制摄像对象成像的位置。由此，如图26B那样能够实现理想的相位关系。

接下来，参照图27A和图27B对摄像距离和光轴偏移的关系进行说明。

此外，在图27A中，符号Mn表示摄像元件M的像素。此外，符号Nn表示摄像元件N的像素。

此外，在图27B中，由四边形示出的区域表示像素。此外，符号Pu表示u方向的像素尺寸，符号Pv表示v方向的像素尺寸。

图27A和图27B说明从以摄像距离H0拍摄P0的状态将被摄体切换至处于距离H1的物体P1的情况的示意图。在图27A中，由于假设P0、P1分别在摄像元件M上的光轴上，因此u0＝0，此外u1＝0。关注于P0、P1在摄像元件N上成像时的、摄像元件B的像素与P0、P1的像之间的关系。P0在摄像元件M的像素的中心成像。相对于此，在摄像元件N中，在像素的周围成像。因此，可以说拍摄到P0时是最佳的位置关系。图27B是表示被摄体为P1时的各个摄像元件的相位关系的示意图。如图27B那样将被摄体变更至P1之后，彼此的相位大致一致。

因此，如图28A的符号J20所示那样，在被摄体P1摄像时，通过光轴偏移部件移动光轴，能够如图28B所示那样控制在理想的相位关系，能够实现基于像偏移的高清晰化。

此外，在图28A中，符号Mn表示摄像元件M的像素。此外，符号Nn表示摄像元件N的像素。

此外，在图28B中，由四边形示出的区域表示像素。此外，符号Pu表示u方向的像素尺寸，符号Pv表示v方向的像素尺寸。

在此，为了得到摄像距离的信息，另行设置测量距离的测距部件即可。或者，也可以由本实施方式的摄像装置测量距离。在一般的测量等中例如使用多个相机(单位摄像部)测量距离。其测距性能与作为相机间的距离的基线长和相机的焦距成正比例，与距测距物体的距离成反比例。

假设例如由8眼结构即8个单位摄像部构成本实施方式的摄像装置。在测量距离也就是距被摄体的距离为500mm的情况下，8眼相机中的各自的光轴间距离(基线长)较短的4个相机分配给摄像、像偏移处理，由剩余的各个基线长较长的4个相机测量距被摄体的距离。此外，在测量与被摄体的距离较远的2000mm的情况下，使用8眼来进行像偏移的高清晰处理。在进行测距的情况下，例如也可通过对拍摄的图像的分辨率进行解析来判定模糊(虚化)量，从而估计距离的处理来进行。如上述那样，在与被摄体的距离为500mm的情况下，也可以并用TOF(Time of Flight)这种的其他测距部件来提高测距的精度。

接下来，参照图29A和图29B，对基于纵深和光轴偏移的像偏移的效果进行说明。

此外，在图29A中，符号Mn表示摄像元件M的像素。此外，符号Nn表示摄像元件N的像素。

此外，在图29B中，横轴表示距中心的距离(单位：像素)，纵轴表示Δr(单位：mm)。

图29A是表示将纵深Δr考虑在内拍摄P1、P2时的示意图。各自距光轴的距离的差(u1-u2)为(22)式。

(u1-u2)＝Δr×u1/H        …(22)

在此，u1-u2是由基线长B、摄像距离H、焦距f决定的值。在此，使这些的条件B、H、f固定视为常数。此外，假定通过光轴偏移部件使其处于理想的光轴关系。Δr和像素的位置(在摄像元件上所成的像距光轴的距离)的关系成为(23)式那样。

Δr＝(u1-u2)×H/u1        …(23)

也就是说，Δr与u1处于反比例的关系。此外，图29B作为一例假定像素尺寸6μm、摄像距离600mm、焦距5mm的情况，导出了纵深引起的影响收敛在一个像素的范围内的条件。在纵深引起的影响收敛在一个像素的范围内的条件下，可充分得到像偏移的效果。因此，例如使视场角变窄等，如果通过应用程序分开使用，则能够避免基于纵深的像偏移的性能劣化。

如图29A和图29B所示，在Δr较小(景深浅)的情况下，在一个画面中应用同一图像偏移量进行高清晰化处理即可。对于Δr较大(景深较深)的情况，参照图27A、图27B和图30进行说明。图30是表示图10所示的立体图像处理部704的处理动作的流程图。在图27A、图27B中，由具有某基线长的多个摄像元件的像素进行的采样的相位偏离，因摄像距离而变化。因此，为了在某个摄像距离下进行高清晰化，需要根据摄像距离改变图像偏移量。例如，在被摄体具有较大的纵深的情况下，即便在某距离是最佳的相位差，但该相位在其他距离下不是最合适的。也就是说，需要针对每个像素改变偏移量。在此，由(24)式表示摄像距离和在摄像元件上成像的点的移动量。

u0-u1＝f×B×((1/H0)-(1/H1))    …(24)

立体图像处理部704(参照图10)，求出按照这些每个像素的偏移量(每个像素的偏移参量)和摄像元件的像素间距标准化之后的数据。立体图像处理部704使用基于预先求出的相机参量修正之后的2个摄像图像进行立体匹配(步骤S3001)。通过立体匹配求出图像中的对应的特征点，据此计算每个像素的偏移量(每个像素的偏移参量)(步骤S3002)。接下来，立体图像处理部704比较每个像素的偏移量(每个像素的偏移参量)和摄像元件的像素间距(步骤S3003)。该比较结果为每个像素的偏移量小于摄像元件的像素间距的情况下，将每个像素的偏移量用作合成参量(步骤S3004)。另一方面，在每个像素的偏移量大于摄像元件的像素间距的情况下，求出按照摄像元件的像素间距标准化之后的数据，将该数据用作合成参量(步骤S3005)。基于在此求出的合成参量进行影像合成，由此能够与摄像距离无关地得到高清晰化图像。

在此，对立体匹配进行说明。所谓立体匹配是以一个图像为基准相对于该图像中的位置(u，v)的像素，从其他图像中搜索相同的空间点的投影点的处理。相机投影模型中所需的相机参量预先通过相机校准求出。因此，对应点的搜索能够限定在直线(极线：epipolar line)上。特别是本实施方式那样平行地设定各单位摄像部的光轴的情况下，如图31所示，极线K01成为相同的水平线上的直线。

这样，由于相对于基准图像的另一个图像上的对应点被限定在极线K01上，因此在立体匹配中仅在该极线K01上进行搜索即可。这对于降低匹配的误差提高处理速度是较重要的。此外，图31的左侧的四边形表示基准图像。

作为具体的搜索方法，存在基于区域的匹配(area-based matching)和基于特征的匹配(feature-based matching)等。如图32所示，基于区域的匹配使用模板求出对应点。此外，图32的左侧的四边形表示基准图像。

另一方面，基于特征的匹配提取各图像的边沿或角部等的特征点，并求出该特征点彼此之间的对应。

作为求出更正确的对应点的方法，存在被称为多基准线立体的方法。这是利用基于更多的相机的多个立体图像对而不仅仅是利用基于一组相机的立体匹配的方法。相对于作为基准的相机，利用各种长度、方向的基线(基准线)的立体相机的对，得到立体图像。多个图像对中的视差例如在平行立体的情况下，各视差通过分别除以基线长，由此成为对应于纵深方向的距离的值。因此，对表示从各立体图像对得到的立体匹配的信息、具体而言是针对各个视差/基线长的对应的可能性的SSD(Sum of SquaredDifferences)等的评价函数求和，由此决定最可能的对应位置。也就是说，如果研究针对各视差/基线长的SSD的和即SSSD(Sum of SSD)的变化，可发现更加明确的最小值。因此，能够降低立体匹配的对应误差，且能够提高估计精度。此外，在多基准线立体中，还能够减轻在某个相机中看到的部分在其他的相机中隐藏在物体的阴影中从而看不见的遮挡(occlusion)的问题。

图33表示视差图像的一例。图33的图像1是原图像(基准图像)。图33的图像2是求出针对图33的图像1的各像素的视差的结果的视差图像。对于视差图像，图像的亮度越高则视差越大，也就是说摄像物处于靠近相机的位置。另一方面，亮度越低则视差越小，也就是说表示摄像物处于远离相机的位置。

接下来，参照图34对立体图像处理中的噪声除去进行说明。图34是表示进行立体图像处理中的噪声除去时的影像合成处理部38的结构的框图。图34所示的影像合成处理部38与图10所示的影像合成处理部38的不同点在于，设置了立体图像噪声降低处理部705。参照图35中的立体图像处理中的噪声除去的处理动作的流程图，说明图34所示的影像合成处理部38的动作。在图35中，步骤S3001～S3005的处理动作与图30所示的立体图像处理部704进行的步骤S3001～S3005相同。立体图像噪声降低处理部705在步骤S3105中求出的每个像素的合成参量的偏移量是与相邻的周围的合成参量的偏移量有很大差异的值的情况下，置换为相邻的像素的偏移量的频度最高值，由此进行噪声除去(步骤S3106)。

再次参照图33对处理量的降低动作进行说明。使用立体图像处理部704中求出的合成参量，通常对图像整体进行高清晰化。但是，例如仅对图33的图像1的脸部的部分(视差图像的亮度高的部分)进行高清晰化，而背景的山的部分(视差图像的亮度低的部分)不进行高清晰化，从而能够降低处理量。该处理如上述那样能够从视差图像中提取有脸部的图像部分(距离近、视差图像的亮度高的部分)，使用该图像部分的图像数据和由立体图像处理部求出的合成参数同样地进行高清晰化。因为由此能够降低耗电，所以在使用电池等工作的便携设备中是有效的。

如以上所说明那样，通过液晶透镜的光轴偏移控制，能够将个别摄像装置得到的影像信号合成为高清晰的影像。此外，在现有技术中由于摄像元件上的串扰而产生画质劣化，难以进行高清晰化。但是，根据本实施方式的摄像装置，通过控制入射至摄像元件的光的光轴能够消除串扰，能够实现可得到高画质的图像的摄像装置。此外，在现有的摄像装置中，通过图像处理取入摄像元件上所成的像，因此需要使摄像元件的分辨率大于所需的摄像分辨率。但是，在本实施方式的摄像装置中，能够进行将入射至摄像元件的光的光轴设定在任意位置的控制，而不仅仅是控制液晶透镜的光轴方向。因此，能够减小摄像元件的尺寸，可搭载于要求轻薄短小的便携终端等中。此外，能够与摄影距离无关地生成高画质且高清晰的二维图像。再有，能够除去因立体匹配引起的噪声，能够提高高清晰处理的速度。

产业上的可利用性

本发明能够适用于：与立体图像的视差无关地、也就是与摄影距离无关地生成高画质且高清晰的二维图像的摄像装置。

附图符号的说明：

1  摄像装置

2～7    单位摄像部

8～13   摄像透镜

14～19  摄像元件

20～25  光轴

26～31  影像处理部

32～37  控制部

38  影像合成处理部

Claims (4)

1.一种摄像装置，其具备：

多个摄像元件；

多个固体透镜，在所述多个摄像元件的各个摄像元件上成像；

多个光轴控制部，对分别入射至所述多个摄像元件的光的光轴方向进行控制；

多个影像处理部，将所述多个摄像元件各自输出的光电变换信号变换为影像信号；

立体图像处理部，基于所述多个影像处理部变换之后的多个影像信号，进行立体匹配处理，由此求出每个像素的偏移量，并生成将超过所述多个摄像元件的像素间距的偏移量以所述像素间距标准化之后的合成参量；和

影像合成处理部，基于所述立体图像处理部所生成的所述合成参量，对所述多个影像处理部各自变换的所述影像信号进行合成，由此生成高清晰影像。

2.根据权利要求1所述的摄像装置，其中，

还具备立体图像噪声降低处理部，该立体图像噪声降低处理部基于由所述立体图像处理部生成的所述合成参量，降低所述立体匹配处理中使用的视差图像的噪声。

3.根据权利要求1或2所述的摄像装置，其中，

所述影像合成处理部，基于由所述立体图像处理部生成的所述视差图像，仅对规定区域进行高清晰化。

4.一种摄像方法，其包括：

对分别入射至多个摄像元件的光的光轴方向进行控制，

将所述多个摄像元件各自输出的光电变换信号变换为影像信号，

基于变换之后的多个影像信号，进行立体匹配处理，由此求出每个像素的偏移量，并生成将超过所述多个摄像元件的像素间距的偏移量以所述像素间距标准化之后的合成参量，

基于所述合成参量对所述影像信号进行合成，由此生成高清晰影像。

Images