CN105379245B - 复眼摄像装置 - Google Patents

Abstract

提供即使由于透镜阵列以及支架伴随环境条件的变化而变形而产生传感器阵列上的各单眼像的位置偏差的情况下也能够迅速且良好地进行图像处理的复眼摄像装置。图像处理电路(80)至少基于与第一位置(T1)和第二位置(T2)的差异相关的信息、以及表示伴随着透镜阵列(10)的环境条件的变化的变形的程度的信息，执行图像处理。对例如伴随环境条件等的变化而产生的传感器阵列(60)上的各单眼像的位置的变化、即与传感器阵列(60)上的光学像对应而得到的图像的位置的变化进行校正。由此，即使在从透镜部(10a)的光轴(OA)方向看时的透镜阵列(10)以及支架(50)的变形中心不一致，也能够迅速且准确地掌握传感器阵列(60)上的各单眼像的位置偏差，能够相对于环境条件的变化进行良好的图像处理。

Description

复眼摄像装置

技术领域

本发明涉及包含具有二维排列的多个透镜部的透镜阵列的复眼摄像装置。

背景技术

近年的对于摄像光学***的薄型化的要求非常高。为了对其进行应对，进行了与基于光学设计的全长缩短或伴随于此的误差灵敏度增大对应的制造精度提高，但为了应对进一步的薄型化的要求，通过以往的一个光学***和摄像元件来得到像的方法变得不充分。

因此，为了应对对薄型化的要求而关注被称为复眼光学***的光学***，该光学***是在对摄像元件的检测区域进行分割，并以对应于每一个的方式配置光学***，对所得到的图像进行处理从而进行最终的图像输出的复眼摄像装置中使用的光学***。但是，在包含复眼光学***的摄像装置中，根据环境温度等环境条件的变化而摄像装置的透镜部的排列间距等发生变化，所以需要对其进行应对，例如考虑通过图像处理来进行解决。

作为进行图像处理的复眼摄像装置的一例，记载了在透镜阵列和摄像元件之间配置了与各透镜对应而开矩形的孔的遮光壁的摄像装置，将遮光壁设为遵从周围温度的变化所导致的透镜阵列的形状变化那样的形状或材质，从向能够在单眼像间获取遮光壁的影子的摄像元件入射的亮度信息取得反映了遮光壁的位置的二值图像，基于此来计算伴随着周围温度的变化的遮光壁的歪斜量而进行校正(参照专利文献1)。

但是，根据本发明人们的研究，判明了仅着眼于透镜阵列或遮光壁的变形，则存在不能充分应对环境温度等环境条件的变化的情况。认为这是因为通常透镜阵列以与摄像元件对置的方式被支架(Holder)保持，但该支架由于环境条件而变形等引起摄像元件上的各单眼像的位置变化在外观上变得复杂从而变得不能准确地应对环境条件的变化。更详细而言，使伴随着环境条件的变化的支架的变形中心和透镜阵列的变形中心一致实际上是困难的，所以认为伴随环境条件的变化而产生的透镜部相对于摄像元件的偏移变得复杂。在上述专利文献1中，使用遮光壁的影子的位置来间接地掌握伴随着温度变化的透镜阵列的变形，但遮光壁的影子的位置易于由于光源的状态或摄像装置的使用环境等而受到影响从而检测结果易于变得不稳定。此外，难以使遮光壁和摄像元件密接，被投影到摄像元件上的遮光壁的影子易于变得模糊。从而，存在不能准确地求得遮光壁的位置、特别是四角的位置的顾虑。此外，在专利文献1中，根据遮光壁的变形而间接地估计透镜阵列的变形，因此不能准确地掌握透镜阵列的变形、以及对透镜阵列进行保持的框体的变形。从而，在专利文献1的摄像装置中，难以高精度地实现根据通过各个透镜部而成像的相同的视野的图像得到一个高分辨率的图像的超分辨处理(超解像処理)、以及各个透镜部的视差的计算。

现有技术文献

专利文献

专利文献1：(日本)特开2011－147079号公报

发明内容

本发明的目的在于，提供即使在透镜阵列以及支架由于环境条件的变化而变形而产生传感器阵列上的各单眼像的位置偏差的情况下也能够迅速且良好地进行图像处理的复眼摄像装置。

为了解决上述课题，本发明所涉及的复眼摄像装置具备：复眼光学***，包含具有在相对于光轴垂直的方向上二维地排列的多个透镜部的透镜阵列；传感器阵列，通过复眼光学***，与多个透镜部对应的多个光学像被成像，输出与多个光学像对应的图像信号；支架，将复眼光学***保持为与传感器阵列对置；以及图像处理电路，用于对从传感器阵列输出的图像信号进行处理，在基准环境条件下，在从光轴方向看时的伴随着支架的环境条件的变化的变形的中心位置即第一位置、和从光轴方向看时的伴随着透镜阵列的环境条件的变化的变形的中心位置即第二位置分离的状态下，透镜阵列被固定于支架，图像处理电路至少基于与第一位置和第二位置的差异相关的信息、以及表示伴随着透镜阵列的环境条件的变化的变形的程度的信息来进行图像处理。在此，第一位置是，在固定有透镜阵列的支架伴随环境条件的变化而膨胀或收缩时的、从透镜部的光轴方向看时的成为变形的中心的支架上的位置。在传感器阵列或设置了传感器阵列的基板上固定支架的情况下，第一位置能够设为与传感器阵列的相对位置实质上没有变化的地方。此外，第二位置是，在相对于支架而固定的透镜阵列伴随环境条件的变化而膨胀或收缩时的、从透镜部的光轴方向看时的成为变形的中心的透镜阵列上的位置。第二位置能够设为相对于支架的固定处而相对位置实质上没有变化的地方。作为与第一位置和第二位置的差异相关的信息，例如能够使用表示从第一位置至第二位置的移动的矢量。作为表示伴随着透镜阵列的环境条件的变化的变形的程度的信息，例如能够使用表示从透镜阵列的线膨胀系数导出的透镜阵列内的每个位置的变形的矢量。

在上述复眼摄像装置中，图像处理电路至少基于与第一位置和第二位置的差异相关的信息、以及表示伴随着透镜阵列的环境条件的变化的变形的程度的信息，执行图像处理。例如，对伴随环境温度的变动等环境条件的变化而产生的传感器阵列上的各单眼像的位置的变化、即与传感器阵列上的光学像对应而得到的图像的位置的变化进行校正。由此，即使在从透镜部的光轴方向看时的透镜阵列以及支架的变形中心不一致，也能够迅速且准确地掌握传感器阵列上的各单眼像的位置偏差，能够相对于环境条件的变化进行良好的图像处理。

在本发明的具体的侧面或方式中，透镜阵列通过粘结剂被粘结于支架。

在本发明的另一侧面，透镜阵列的被粘结部设置在对透镜阵列之中设置多个透镜部的透镜部排列区域的中心成为点对称的位置上。

在本发明的再另一侧面，透镜阵列的被粘结部以包围多个透镜部的方式连续。

在本发明的再另一侧面，支架具有顶板部和支撑该顶板部的腿部。

在本发明的再另一侧面，透镜阵列被固定于支架的顶板部。

在本发明的再另一侧面，透镜阵列的物体侧面被固定于支架的顶板部的像侧面。

在本发明的再另一侧面，支架被配置为具有在伴随环境条件的变化而产生与光轴垂直的方向的形状变化时，相对于传感器阵列实质上相对位置不变的变形中心。

在本发明的再另一侧面，具备设置了传感器阵列的基板，支架被固定于基板。

在本发明的再另一侧面，具备设置了传感器阵列的基板，支架的腿部被固定于基板。

在本发明的再另一侧面，透镜阵列由树脂形成。

在本发明的再另一侧面，支架由树脂形成。能够容易地得到适合透镜阵列、传感器阵列等的形状的支架。

在本发明的再另一侧面，支架的线膨胀系数α1(1/℃)、第一位置与第二位置的距离L(mm)、以及传感器阵列的像素间距P(mm)满足30L·α1＜5P的关系。在此，上述关系式设想30℃的温度变化。

在本发明的再另一侧面，支架的线膨胀系数α1、第一位置与第二位置的距离L、以及传感器阵列的像素间距P满足30L·α1＜2P的关系。

在本发明的再另一侧面，支架的线膨胀系数α1、以及透镜阵列的线膨胀系数α2满足1.2＞α2/α1＞0.8的关系。此时，由于透镜阵列的线膨胀系数和支架的线膨胀系数接近，所以环境条件变化时的两者的变形量变得接近，因此在传感器阵列中成像的多个光学像的相对的位置偏差变得比较小。

在本发明的再另一侧面，透镜阵列的线膨胀系数α2、以及传感器阵列的线膨胀系数α3满足α2/α3＞5的关系。

在本发明的再另一侧面，图像处理电路使用表示从第一位置至第二位置的移动的第一矢量、和表示透镜阵列内的每个位置的变形的第二矢量的合成矢量来进行图像处理。

在本发明的再另一侧面，图像处理电路基于与第一位置以及第二位置的差异相关的信息、和表示伴随着透镜阵列的环境条件的变化的变形的程度的信息，对与环境条件相应的各单眼像的传感器阵列上的存在区域进行估计，执行与所估计出的存在区域对应的图像信号的模式匹配，求得伴随着环境条件的变化的各单眼像的位置变化的校正量。

在本发明的再另一侧面，基准环境条件是将环境温度设定为室温的条件。

在本发明的再另一侧面，复眼光学***还具备将透镜阵列设为第一透镜阵列而在第一透镜阵列的光轴方向上重叠配置的第二透镜阵列。

附图说明

图1A以及1B是说明一实施方式的复眼摄像装置的俯视图以及剖面图。

图2是说明复眼摄像装置之中的透镜阵列层叠体和支架的图。

图3A～3C是表示在环境条件发生了变化的情况下的各透镜部相对于传感器阵列的偏移的情形的示意图。

图4是说明表示伴随环境条件的变化而产生的传感器阵列上的图像的位置偏差的实际测量结果的图。

图5A是表示实施方式所涉及的复眼摄像装置的基本的结构的框图，图5B是功能性地说明在数字处理电路中设置的图像处理电路的框图。

图6是说明在传感器阵列的光电转换面上排列的多个转换区域或输入图像的概念图。

图7是表示图像处理电路中的动作的流程的流程图。

图8是用于说明来自各合成透镜的输入图像的温度变化所导致的像素位置的偏差的图。

图9是用于说明图7的步骤S12中的、作为第一位置偏差估计处理工序的位置偏差概略估计处理的第一具体例的图。

图10是用于说明位置偏差概略估计处理的第二具体例的图。

图11是用于说明位置偏差概略估计处理的第三具体例的图。

图12是用于说明位置偏差概略估计处理的变形例的图。

图13A～13C是用于说明图7的步骤S13中的、第二位置偏差估计处理工序的具体例的图。

图14是表示图7的步骤S14中的超分辨处理的流程的图。

图15是说明在图14的步骤S33中使用的恶化信息的图。

图16是表示恶化信息的具体例的图。

具体实施方式

〔摄像装置的像检测部〕

图1A以及1B是说明本发明的一实施方式所涉及的复眼摄像装置之中的用于进行像检测的像检测部的俯视图以及剖面图。

如图1A以及1B等所示，摄像装置100(复眼摄像装置)具备透镜阵列层叠体1、具有与构成透镜阵列层叠体1的各个合成透镜1a对应的传感器区域61的传感器阵列60、包含对由传感器阵列60检测到的图像信号进行适合于视野分割方式或超分辨方式的图像处理的图像处理电路80的数字处理电路103、以及安装传感器阵列60的基板SB。其中，透镜阵列层叠体1、传感器阵列60、以及基板SB作为像检测部而发挥作用。在此，视野分割方式是指，对于由各个透镜成像的不同的视野的图像，通过图像处理而将各视野的图像进行拼接从而得到一个图像的方式。此外，超分辨方式是指，根据由各个透镜成像的相同的视野的图像，通过图像处理而得到一个高分辨率的图像的方式。另外，在本说明书中，图像处理是指，为了根据各个单眼像而得到重构图像，通过包含计算机等运算装置的图像处理电路而对图像数据实施的校正或转换等加工处理。

图示的透镜阵列层叠体1是将多个(具体而言两个)透镜阵列10、20进行了积叠的层叠体，作为复眼光学***而使用。在以下的说明中，有时将透镜阵列层叠体1称为透镜阵列。这些第一以及第二透镜阵列10、20是在XY面上平行地延伸的四角平板状的构件，沿与XY面垂直的Z轴方向积叠而相互接合。

透镜阵列层叠体1在与传感器阵列60对置的状态下被收纳在矩形框状的支架50中。在透镜阵列层叠体1中，物体侧的第一透镜阵列10是光学材料即透光性的热可塑性树脂制的一体成形品、换言之是由热可塑性树脂构成的一体物。第一透镜阵列10从中心轴AX方向或Z轴方向看具有矩形的轮廓。在此，中心轴AX是指后述的多个透镜部10a的排列区域(透镜部排列区域LR)的中心的轴。第一透镜阵列10具有分别为光学元件的多个透镜部10a、从周围支撑多个透镜部10a的支撑部10b、以及在支撑部10b的外侧延伸为带状的四角框状的边缘部10r。构成第一透镜阵列10的多个透镜部10a在XY面上平行地排列的正方的栅格点(在图示的例子中4×4的16点)上二维地被配置。各透镜部10a在物体侧的第一主面10p上具有凸的第一光学面11a，在像侧的第二主面10q上具有凸的第二光学面11b。第一以及第二光学面11a、11b例如成为非球面。支撑部10b为平板状的部分，以分别包围各透镜部10a的四周的方式具备多个周围部分10c。处于支撑部10b的横向的周边或外侧的四角框状的边缘部10r成为用于将第一透镜阵列10与第二透镜阵列20接合的部分。另外，还能够理解为在第一透镜阵列10中，存在在支撑部10b上透镜部10a被排列在栅格点上的区域、以及没有设置透镜部10a的框状的区域。

像侧的第二透镜阵列20是热可塑性树脂制的一体成形品，从中心轴AX方向看具有矩形的轮廓。第二透镜阵列20具有分别为光学元件的多个透镜部20a、从周围支撑多个透镜部20a的支撑部20b、以及在支撑部20b的外侧延伸为带状的四角框状的边缘部20r。多个透镜部20a在XY面上平行地排列的正方的栅格点(在图示的例子中4×4的16点)上二维地被配置。各透镜部20a在物体侧的第一主面20p上具有凹的第一光学面21a，在像侧的第二主面20q上具有凸的第二光学面21b。第一以及第二光学面21a、21b例如成为非球面。支撑部20b为平板状的部分，以分别包围各透镜部20a的四周的方式具备多个周围部分20c。处于支撑部20b的横向的周边或外侧的四角框状的边缘部20r成为用于将第二透镜阵列20与第一透镜阵列10接合的部分。另外，还能够理解为在第二透镜阵列20中，存在在支撑部20b上透镜部20a被排列在栅格点上的区域、以及没有设置透镜部20a的框状的区域。

以上的透镜阵列10、20通过机械或手工作业而依次积叠，从而由于自身的构造以及自重或静电力等而相互定位。也就是说，被自对准(self-alignment)。其中，也可以在透镜阵列上设置定位部，使其偏置而抵接从而进行定位。此外，透镜阵列10、20在积叠时在边缘部10r、20r间供应例如光硬化性树脂而在积叠后使光硬化性树脂硬化，从而相互接合或粘结。通过这样的接合或粘结，得到具备二维地排列为矩阵状的多个合成透镜1a的透镜阵列层叠体1。各合成透镜1a的光轴OA与多个透镜部10a、20a的整体区域的中心轴AX成为平行。

另外，在第一透镜阵列10和第二透镜阵列20之间，配置有被一对支撑部10b、20b夹持而固定的较薄的遮光性的第一光圈板(絞り板)41。对该第一光圈板41省略详细的说明，但与各透镜部10a对应而形成有多个开口。在第二透镜阵列20的像侧，配置有通过粘结等而被支撑部20b固定的较薄的遮光性的第二光圈板42。对该第二光圈板42省略详细的说明，但与各透镜部20a等对应而形成有多个开口。

以上的透镜阵列10、20或透镜阵列层叠体1为树脂制，因此轻量且薄型、廉价。其另一面，存在透镜阵列10、20与传感器阵列60相比线膨胀系数更大，传感器阵列60上的各单眼像的位置偏差变大的趋势。因此，透镜阵列10、20或透镜阵列层叠体1对于支架50的组装方法变得重要，在该组装方法适当的情况下，更显著地发现对传感器阵列60上的各单眼像的位置偏差进行校正的效果。另外，在使用透镜阵列层叠体1的情况下，各单眼通过由多组透镜部10a、20a构成的光学***构成，所以对高画质化来说变得有利。

支架50为热可塑性树脂制的一体成形品，具有从透镜阵列层叠体1的中心轴AX方向看具有矩形的轮廓的顶板部50a、以及沿着该轮廓而配置为圆周状且从顶板部50a沿中心轴AX方向延伸的壁状的腿部50b。支架50在配置成通过顶板部50a以及腿部50b来包围透镜阵列层叠体1、传感器阵列60等的状态下，通过对腿部50b的底面整体进行粘结而固定在基板SB上。在这样将支架50固定在基板SB上的情况下，还能够将在传感器阵列60上附带的电路在基板SB上接近于传感器阵列60而配置，能够实现摄像装置(复眼摄像装置)100的性能提高。特别是，通过将支架50的腿部50b固定在基板SB上，变得易于掌握伴随着环境条件的变化的支架50的变形，图像处理变得容易。

通过使用具有顶板部50a以及腿部50b的上述那样的支架50，能够在支架50内确保传感器阵列60的容纳或配置空间，且在与传感器阵列60对置的位置上，配置能够将透镜阵列层叠体1从构成其的第一透镜阵列10的主面侧支撑的顶板部50a。此外，通过在支架50的顶板部50a的像侧粘结第一透镜阵列10的主面而进行固定，变得比较难以妨碍包含向与透镜部10a、20a的光轴OA垂直的方向的透镜阵列层叠体1或透镜阵列10、20的移动在内的变形，变得易于掌握伴随环境条件的变化而产生的透镜阵列10、20等的变形。在收纳透镜阵列层叠体1的支架50的物体侧，配置有通过对支架50的粘结等而固定的入射光圈板45。对支架50的顶板部50a或入射光圈板45省略详细的说明，但与各透镜部10a等对应而形成有多个开口。关于支架50，其腿部50b与基板SB粘结固定，所以根据环境温度的变化，主要是顶板部50a变形。因此，顶板部50a的对角中心与变形中心大致一致。另外，支架50的顶板部50a还被所粘结的透镜阵列层叠体1(透镜阵列10、20)拘束，但增大支架50的尺寸，或利用柔软性高的粘结剂等，能够减小透镜阵列10、20的拘束所导致的影响。另外，通过以支架50来保持透镜阵列10、20，即使在传感器阵列60的周围设置其他构件，复眼光学***也能够确保与传感器阵列60对置的空间。

以上的支架50为树脂制，因此廉价，能够容易地得到具有适合透镜阵列10、20或传感器阵列60等的形状。其另一面，存在与传感器阵列60相比线膨胀系数更大，传感器阵列60上的各单眼像的位置偏差变大的趋势。因此，更显著地发现对传感器阵列60上的各单眼像的位置偏差进行校正的效果。

传感器阵列60被安装在基板SB上。在传感器阵列60上设置的传感器区域61是将进行光电转换的多个像素二维地排列的区域，也可以被配置在传感器阵列60上的与各个合成透镜1a对应的局部存在的区域上，也可以被配置在传感器阵列60的整体上。另外，在基板SB上，除了传感器阵列60之外，还安装有后述的AD转换部101b等。

以下，参照图1B、图2等，详细叙述透镜阵列层叠体1、支架50等。如图1B、图2等所示，透镜阵列层叠体1在支架50的顶板部50a的像侧面被粘结剂固定。由此，由透镜阵列10、20构成的透镜阵列层叠体1被容纳在支架50内且高精度且稳定固定在支架50内的适当部位，结果上能够相对于传感器阵列60高精度且稳定固定。在本实施方式的情况下，透镜阵列层叠体1的被粘结部QB被配设于对透镜阵列层叠体1之中设置多个透镜部10a、20a的区域(透镜部排列区域LR)的中心轴AX成为点对称的位置。具体而言，在透镜阵列层叠体1之中第一透镜阵列10的物体侧的主面10p、和支架50的顶板部50a的像侧面之间，第一透镜阵列10的被粘结部QB以连续且在俯视时大致成为正方形以使包围多个透镜部10a的方式配设粘结剂(另外，在图1A、1B、以及图2中，被粘结部QB不能从物体侧直接观察，所以以虚线示出)。在此，在透镜阵列层叠体1的中心轴AX上，配置有由被粘结部QB包围的区域的中心即支撑基准点OS。通过这样配置被粘结部QB，根据环境条件的变化，透镜阵列层叠体1从中心轴AX或支撑基准点OS比较没有歪斜而各向同性地膨胀变形或收缩变形，中心轴AX或支撑基准点OS与后述的第二位置T2大致一致。特别是，将透镜阵列10的被粘结部QB连续设置以使包围多个透镜部10a整体，从而易于实现各向同性的变形。透镜阵列层叠体1被支架50固定，以使成为在基准环境条件下，从光轴OA方向看时的伴随着支架50的环境变化的变形的中心位置即第一位置T1、和伴随着透镜阵列层叠体1的环境变化的变形的中心位置即第二位置T2分离距离L的状态。

在此，基准环境条件是将支架50以及透镜阵列层叠体1设为成为用于规定变形的程度的基准的形状的环境条件。例如，若使产生支架50以及透镜阵列层叠体1的变形的因子为环境温度，则支架50以及透镜阵列层叠体1成为基准形状的温度(例如20℃的常温)为基准环境条件。此时，能够在室温下装配透镜阵列层叠体1、支架50等，能够容易地制作摄像装置100。

此外，第一位置T1是，固定有透镜阵列层叠体1的支架50伴随环境条件的变化而主要沿平面方向变形时的、相对于支撑支架50的构件(在本实施方式中基板SB)从光轴OA方向看时的相对位置实质上没有变化的支架50上的位置。在本实施方式的情况下，第一位置T1是，在支架50中，被固定在基板SB上的部分的中心、即在俯视的支架50中矩形框的中心(对角线的交点)。在基板SB和传感器阵列60的环境变化时的变形与支架50的变形相比充分小的情况下，第一位置T1还能够看作相对于传感器阵列60位置不变。像这样，通过在支架50上存在相对于传感器阵列60位置不变的第一位置T1，变得易于掌握伴随着环境条件的变化的支架50的变形，图像处理变得容易。

此外，在本实施方式中，第二位置T2是，相对于支架50固定的透镜阵列层叠体1伴随环境条件的变化而主要沿平面方向变形时的、相对于支架50相对位置实质上没有变化的透镜阵列层叠体1上的位置。在本实施方式的情况下，第二位置T2是，在透镜阵列层叠体1中，框状的被粘结部QB的中心(对角线的交点)。也就是说，透镜部排列区域LR的中心轴AX与变形中心大致一致。

另外，设为第一位置T1和第二位置T2分离的状态是由于，第一，难以使两者准确地一致的理由。第二，在如下的要因下，不能将支架50的形状设为与透镜阵列层叠体1的透镜部排列区域LR的纵横比相同的形状的理由。具体而言，(1)在传感器阵列60中，除了光电转换部以外需要读出部等功能部，(2)存在传感器阵列60的引线接合(wire bonding)没有配设于四边的情况，(3)存在在基板SB上安装传感器阵列60的情况下，必须在传感器阵列60附近配置电阻或电容器等其他电部件的情况，(4)复眼摄像装置的设计上的要求，(5)在透镜阵列10、20为塑料制的情况下，在用于射出成形的门部的旁边为了提高射出的稳定性而设置空白部的结果，透镜阵列10、20的形状变得不是相对于透镜部排列区域相似的形状等。由于这些理由，透镜阵列层叠体1的透镜部排列区域LR被固定在相对于支架50偏移的位置上，难以使透镜阵列层叠体1的透镜部排列区域LR的中心位置和支架50的中心一致，伴随环境温度等的环境条件的变化，在传感器阵列60上成像的各光学像的位置示出与以透镜部10a、20a的排列的中心为起点的各向同性的变化不同的举动。

如已经说明那样，透镜阵列层叠体1以及支架50分别由树脂形成。透镜阵列层叠体1(透镜阵列10、20)的线膨胀系数α2和支架50的线膨胀系数α1优选满足1.2＞α2/α1＞0.8的关系。存在支架50、透镜阵列层叠体1的线膨胀系数α1、α2变得比传感器阵列60的线膨胀系数更大(例如5倍以上)，传感器阵列60上的各单眼像的位置偏差变大的趋势。此外，透镜阵列层叠体1的线膨胀系数和支架50的线膨胀系数比较接近，所以在环境条件变化时的变形中心位置变得接近于支架50的第一位置T1，因此在传感器阵列60上成像的多个光学像的相对的位置偏差变得比较小。由此，能够防止在位置偏差的前后产生的相当于非重复部分的像素变多，用于校正的计算变得简单。

支架50的线膨胀系数α1(1/℃)、第一位置T1与第二位置T2的距离L(mm)、以及传感器阵列60的像素间距P(mm)满足30L·α1＜5P、更优选满足30L·α1＜2P的关系。通过这样，能够可靠地确保由透镜阵列10、20的透镜部10a、20a、支架50、以及传感器阵列60的相对位置的关系决定的为了图像取得所需的有效区域。换言之，不需要非必要地增多传感器阵列60的像素数。在此，上述关系式成为设想30℃的温度变化的关系式。

透镜阵列层叠体1(透镜阵列10、20)的线膨胀系数α2、以及传感器阵列60的线膨胀系数α3满足α2/α3＞5的关系。通过这样，与伴随着环境温度的变化的透镜阵列10、20的变形量相比，能够充分减小伴随着环境温度的变化的传感器阵列60的变形量，变得易于减轻对图像处理的负荷。

以下，说明环境条件变化时的透镜阵列层叠体1的变形、位置偏差的状态。在以下为了使说明简单，说明第一透镜阵列10的形状变化状态，但关于透镜阵列层叠体1的形状变化状态也是同样。也就是说，关于第一透镜阵列10而产生的变形、位置偏差，关于透镜阵列层叠体1也同样地产生。此时，在第一以及第二透镜阵列10、20间存在稍微的膨胀率差的情况下，产生将第一以及第二透镜阵列10、20的膨胀率平均化后的变形、位置偏差。

在假设为支架50没有产生变形的情况下，在环境条件变化时，仅第一透镜阵列10变形，其变形中心即第二位置T2与支撑中心(支撑基准点OS)或中心轴AX一致，第一透镜阵列10以支撑中心(支撑基准点OS)或中心轴AX为中心而各向同性地变形。从而，如图3B所示，相对于传感器阵列60以第二位置T2为中心而各向同性且放射状地产生位置偏差。另外，在使支架50的变形中心、透镜阵列层叠体1的变形中心、以及传感器阵列60的中心位置一致的情况下也同样。

另一方面，如本实施方式那样，在支架50的变形中心即第一位置T1和第一透镜阵列10的变形中心即第二位置T2分离距离L的情况下(参照图2)，第一透镜阵列10以第一位置T1为中心而各向同性地变形，且由于支架50的变形而相对于传感器阵列60移动。

在图3A中，将表示支架50的变形所导致的第二位置T2的移动的矢量M1以一点划线来表示，将表示第一透镜阵列10的变形的矢量M2以二点划线来表示。将矢量M1和矢量M2进行合成后的方向成为在环境条件发生了变化时的相对于第一透镜阵列10的基板SB、传感器阵列60等的变形矢量M3。从传感器阵列60侧，观察为恰如以某一点(图3A的坐标SP0)为中心，各透镜部10a放射状地进行了移动。在环境条件的变化的程度为图3A的1/2的情况下，如图3C所示，第一透镜阵列10的变形矢量M3变为一半的大小。另外，在图3A～3C中，为了易于理解而将各矢量M1、M2、M3夸张而图示。

从而，作为单纯的模型，通过将表示透镜阵列10自身的变形的程度的矢量M2、和表示透镜阵列10的移动的矢量M1进行合成，能够大致准确地掌握这些影响所导致的位置偏差。例如，预先存储基准环境条件下的矢量M1、M2，与环境条件的变化配合而校正矢量M1、M2，从而能够通过校正后的矢量M1、M2的合成来掌握位置偏差。实际上，为了更准确地进行校正，优选在基于两个矢量而预测了偏差之后，缩小区域而进行图像分析从而进行校正。通过这样，能够准确且快速进行校正。另外，传感器区域61具有能够充分覆盖环境条件的变化所导致的单眼像的位置偏差的像素数的区域。

图4是表示说明透镜阵列层叠体1的环境条件变化所导致的变形、位置偏差的实际测量结果的图。在实际测量时，使用4×4个透镜部以2.5mm的间距进行了矩阵排列的11mm角的塑料制透镜阵列10、和顶板部50a的尺寸为横(X方向)13.9mm、纵(Y方向)13.7mm的塑料制支架50。透镜阵列10的材质设为环状聚烯烃即三井化学公司制APEL(线膨胀系数70×10^－6/℃)，支架50的材质设为聚碳酸酯(线膨胀系数60×10^－6/℃)。作为传感器阵列60，使用了像素间距P为1.7μm，线膨胀系数为4×10^－6/℃的传感器阵列。透镜阵列10使用热硬化性粘结剂而粘结在支架50上，以使第一位置T1和第二位置T2的距离L成为1.5mm。此时，相对于多个透镜部10a的排列的中心对称地以包围多个透镜部10a的方式四边形状地涂覆粘结剂而粘结在支架50上。将支架50的腿部50b粘结固定在安装了传感器阵列60的基板上。并且，使环境温度从26℃变化至58℃，对所得到的图像进行分析，从而对各单眼像的中心位置的变化进行测定。图4是关于与各单眼对应的16个图像数据，仅取出中心像素附近而排列的图。伴随环境温度上升而产生位置偏差，在外观上，观测到以从透镜部排列区域LR的中心轴AX偏差的位置(坐标SP0)为中心而放射状地产生了位置偏差。

〔摄像装置的电路部分〕

图5A是说明本实施方式所涉及的摄像装置的基本的电路结构的框图。如图示那样，摄像装置100包含像检测部101、CPU(中央处理单元，Central Processing Unit)102、数字处理电路103、图像显示部104、卡接口(I/F)107、存储部108、操作键109。

另外，摄像装置100能够构成为以独立的装置将各部具体化的***，通用地说，作为数字照相机、个人计算机、便携通信终端等而具体化。即，数字照相机等的用户使用摄像装置100来拍摄被摄体，从而能够在图像显示部104中对高分辨率的图像进行视觉辨认，能够在存储部108中保管高分辨率的图像。具体而言，在摄像装置100中，像检测部101对来自被摄体的光进行检测而生成相当于被摄体的图像信号(输入图像)，数字处理电路103的图像处理电路80对该图像信号进行后述那样的图像处理，从而生成与输入图像相比具有高频率分量的高分辨率的输出图像(以下，也称为“高分辨率图像”)。并且，数字处理电路103将该高分辨率图像输出至图像显示部104、存储部108等。

像检测部101是通过拍摄被摄体，从而作为数据而生成被摄体的图像(将被摄体影像化后的输入图像)的部分，也称为照相机模块。像检测部101如已经说明那样，包含如图1A以及1B所示的包含光学***的主体部分101a、以及与该主体部分101a连接的A/D(模拟至数字，Analog to Digital)转换部101b。A/D转换部101b将由主体部分101a检测到的表示被摄体的影像信号(模拟电信号)转换为数字信号而进行输出。在从A/D转换部101b即像检测部101输出的数字信号中，包含与将被摄体影像化后的输入图像相关的信息。另外，像检测部101还能够包含用于对摄像装置100的各部分进行控制的控制处理电路等。

CPU102基于预先在ROM或RAM中储存的程序、设定值来执行处理，从而对像检测部101、数字处理电路103、图像显示部104、卡接口(I/F)107等的动作统一地进行控制，使摄像装置100的整体进行摄像等与用户的请求相应的动作或状态监视等预定的动作。上述的第一位置T1、第二位置T2、支架50的线膨胀系数α1、透镜阵列层叠体1(透镜阵列10、20)的线膨胀系数α2、传感器阵列60的线膨胀系数α3、矢量W1、W2、以及环境温度的变化所导致的矢量W1、W2的校正系数等被存储在ROM或RAM中。

数字处理电路103在CPU102的控制下进行动作，执行包括遵从本实施方式的图像处理的各种数字处理。数字处理电路103典型地说由DSP(数字信号处理器，Digital SignalProcessor)、ASIC(专用集成电路，Application Specific Integrated Circuit)、LSI(大规模集成电路，Large Scale Integration)、FPGA(现场可编程门阵列，Field-Programmable Gate Array)等构成。该数字处理电路103包含对由像检测部101得到的输入图像进行包含超分辨处理等的所期望的图像处理而生成输出图像的图像处理电路80。

图像显示部104对由像检测部101提供的输入图像、由数字处理电路103生成的输出图像、摄像装置100相关的各种设定信息、控制用GUI(图形用户界面，Graphical UserInterface)画面等进行显示。

卡接口(I/F)107是用于将由数字处理电路103的图像处理电路80生成的输出图像或图像数据写入至存储部108，或从存储部108读出图像数据等的接口。存储部108是对由图像处理电路80生成的图像数据、其他各种信息(摄像装置100的控制参数，动作模式等的设定值)进行储存的存储设备。该存储部108由闪速存储器、光盘、磁盘等构成，将数据非易失性地存储。

图5B是功能性地说明在数字处理电路103中设置的图像处理电路80的框图。图像处理电路80对由像检测部101取得的输入图像，实施遵从本实施方式的图像处理方法从而生成高分辨率图像。更具体而言，图像处理电路80包含用于进行后述的位置偏差估计处理的位置偏差估计部81、超分辨处理部82、输入输出部83。位置偏差估计部81还包含用于进行第一位置偏差估计处理工序的第一估计部81a和用于进行第二位置偏差估计处理工序的第二估计部81b。第一估计部81a包含用于设定后述的搜索区域的设定部81d。此外，超分辨处理部82包含用于基于所估计的位置偏差等而计算在超分辨处理中使用的参数的计算部82a。

超分辨处理部82对输入图像进行后述的超分辨处理。超分辨处理是生成超过输入图像具有的奈奎斯特频率的频率信息的处理。此时，位置偏差估计部81进行后述的第一位置偏差估计处理工序以及第二位置偏差估计处理工序，关于各个输入图像，估计从基准图像的位置偏差。

〔动作概要〕

在摄像装置100中，对通过作为照相机阵列而发挥作用的像检测部101拍摄从而得到的分别不同的视点的多个输入图像实施超分辨处理，得到高分辨率图像。

摄像装置100对在图6所示的传感器阵列60的光电转换面PC上排列为矩阵状的多个转换区域AR中检测到的多个输入图像IG，考虑环境条件(温度变化等)所导致的像素位置的偏差而进行超分辨处理。此时，摄像装置100关于与被投射到传感器阵列60上的图像对应的输入图像IG，不仅考虑透镜阵列层叠体1等的温度变动引起的向周边的一致的膨胀或向中心的一致的收缩的现象，还考虑支架50、透镜阵列层叠体1等引起的具有温度依赖性的空间性地一致的偏移现象，预先以较高的准确度来评价像素位置的偏差而进行超分辨处理。

〔动作流程〕

(整体动作)

图7是表示本实施方式所涉及的摄像装置100中的动作的流程的流程图。

首先，在摄像装置100中，执行通过构成像检测部101的16个单眼照相机分别取得输入图像IG的处理，从而取得图6所示的16张输入图像IG(步骤S11)。具体而言，与通过图6的传感器阵列60的16个转换区域AR中的光电转换而分别得到的输入图像IG对应的数字图像信号被输入至数字处理电路103的图像处理电路80。在此，例如设为被输入1000×750像素左右的低分辨率的图像。另外，在图像处理电路80中，能够对所得到的数字图像信号进行前处理，由此后述的位置偏差的检测、校正变得容易。在该前处理中，包含高斯滤波器那样的平滑化的处理，还能够通过解马赛克处理而得到每个颜色(RGB)的图像。

若取得输入图像，则进行图像处理模式的选择(步骤S10)。在寻求高画质的情况下选择模式1，在寻求高速性的情况下选择模式2。模式的选择能够预先切换为配合由操作者的操作键的操作而指定的图像处理模式，或根据静止图像拍摄和动态图像拍摄等的拍摄方式而自动地切换。

在选择了模式1的情况下转移至步骤S12，在选择了模式2的情况下转移至步骤S16。在步骤S12中，在图像处理电路80的第一估计部81a中，执行位置偏差概略估计处理作为第一位置偏差估计处理工序。在该处理工序中，被估计以像素为单位(整数像素)的偏差量。另外，在此，被估计构成透镜阵列层叠体1的各合成透镜1a由于温度变化而位置发生变化所导致的每个输入图像IG的像素的位置偏差。

接着，基于以像素为单位的偏差量，在图像处理电路80的第二估计部81b中，执行第二位置偏差估计处理工序(步骤S13)。在此，被估计以子像素为单位(小数像素)的偏差量。

并且，在图像处理电路80的超分辨处理部82中，考虑在步骤S12、S13中得到的位置偏差量而执行超分辨处理(步骤S14)，生成4000×3000像素左右的高分辨率图像作为输出图像OG。

(位置偏差概略估计处理)

图8以及图9是用于说明上述步骤S12中的作为第一位置偏差估计处理工序的位置偏差概略估计处理的具体例的图。以下，作为环境条件为温度而进行说明。图8是用于说明来自各合成透镜1a的输入图像IG的温度变化所导致的像素位置的偏差的图，作为一例，是示意性地表示温度上升30℃前后的输入图像IG的图。此外，图9是说明着眼于一个转换区域AR的输入图像IG的偏移(包含放大)的图。

在图8的温度上升前的图(左图)中，16个实线矩形分别表示传感器阵列60上的输入图像IG(A～P)。在图8的温度上升后的图(右图)中，16个虚线矩形表示温度上升前的输入图像A～P，16个实线矩形表示温度上升后的输入图像A～P。输入图像的标号A～P还识别构成透镜阵列层叠体1的合成透镜1a。也就是说，有时构成透镜阵列层叠体1的16个合成透镜1a由标号A～P来表示。

如图8所示，若温度上升，则各合成透镜1a以及支架50膨胀，所以各输入图像的拍摄范围整体上发生变化。在本实施方式中，摄像装置100将来自被配设在内侧的四个透镜部之中的一个合成透镜1a的输入图像IG(K)用作上述步骤S12中的位置偏差概略估计处理时的基准图像。另外，在本处理中，在以上的伸缩时，全部输入图像IG(A～P)作为相似形状而伸缩，假设为保持相对全等的关系而执行处理。

例如，设为输入图像IG上的间隔的延伸相对于30℃的温度上升为1/1000倍。此时，若设为作为基准图像的输入图像IG(K)和离它最远的输入图像IG(A)的距离为沿倾斜方向(X方向、Y方向分别)4000像素，则输入图像IG(A)由于30℃的温度变化而沿倾斜方向(X方向，Y方向分别)变化4像素。也就是说，输入图像IG(A)相对于输入图像IG(K)的相对位置在标准温度±30℃的环境下，在9×9像素的范围内变化。

在上述步骤S12中，以作为基准图像的输入图像IG(K)上的图8中以小圆表示的像素(基准像素)CP为基准，关于剩余的输入图像IG(A～J、L～P)上的对应的基准像素CP’，以像素为单位来估计温度引起的膨胀以及收缩所导致的位置偏差。在此，输入图像IG(K)上的基准像素CP基于第一位置T1以及第二位置T2来决定。也就是说，使用第一位置T1、第二位置T2、从第一位置T1向第二位置T2的第一矢量W1、以及透镜阵列层叠体1(透镜阵列10、20)的线膨胀系数α2，计算温度变化所导致的移动最小的像素而决定基准像素CP。若基准像素CP为温度变化所导致的移动小的像素，则存在能够使后述的搜索区域的余量宽度变窄的效果。

如图9所示，除了作为基准图像的输入图像IG(K)之外的输入图像IG(A～J、L～P)之中，例如在输入图像IG(A)中，与没有温度变化所导致的位置偏差的情况对应的像素CP’被确定为预先适当设定的坐标位置(虚线圆)。并且，在对±30℃的温度变化所导致的位置偏差进行估计的情况下，以该像素CP为中心，覆盖伴随±30℃的温度变化而在输入图像IG(A)中设想的偏移量的范围A1成为用于搜索与基准像素CP对应的像素的最低限度的区域。在此，覆盖在输入图像IG(A)中设想的偏移量的范围A1成为，在将从基准像素CP至像素CP’的距离设为D，将每单位温度的伸缩率设为β的情况下，在以像素CP’为中心而由长度D×β×60(60为温度且℃单位)的对角线规定的四边形的周围扩大一定的余量宽度。如图8所示，范围A1所示的搜索区域为按每个输入图像IG(A～J、L～P)设定的一组搜索区域，离作为基准图像的输入图像IG(K)越远则越宽，此外沿放射状的方向被设定为较长。具体而言，范围(搜索区域)A1被设定为对以下的表1那样的值追加了余量宽度的区域。

〔表1〕

在以上的表中，若将输入图像IG的X方向的间距设为Px，将Y方向的间距设为Py，则值a、b使用伸缩率β，成为相当于Px×β×30、Py×β×30的值。

关于搜索区域(也称为被估计的存在区域)，上述范围A1为例示，不限定于上述范围A1。在输入图像IG(A～J、L～P)中，若认为基准像素CP’沿着规定上述范围A1的对角线而偏移，则与将范围A1全部设定为搜索区域相比，将沿着对应于对角线的线段TL的细长的范围A2设定为搜索区域则搜索的效率变得更好。即，如图9所示，通过确定在降低了30℃温度的情况下成为对应于像素CP’的位置的像素CP1、和在上升了30℃温度的情况下成为对应于像素CP’的位置的像素CP2，从而将连接像素CP1和像素CP2且扩大了一定的余量宽度的范围A2设为搜索区域。图10是关于成为检索的对象的全部输入图像IG(A～J、L～P)，示出搜索区域的范围A2的图。此时，范围A2相对于输入图像IG的轴X、Y倾斜。

关于其他输入图像IG(B～J、L～P)，也通过同样的方法，将覆盖在输入图像IG(B～J、L～P)中设想的偏移量的范围A1、更优选沿着连接±30℃的上限和下限的线段TL而扩大了一定的余量宽度的细长的范围A2设为搜索区域。

另外，也可以基于第一位置T1、第二位置T2、第一位置T1与第二位置T2的距离L、以及透镜阵列层叠体1(透镜阵列10、20)的线膨胀系数α2来决定搜索区域。此时，由于省略上述的过程，处理变得高速。

以上，以不能确定像检测部101的温度为前提，但在摄像装置100具备用于检测像检测部101周边的温度的温度传感器的情况下，还能够如图11所示那样将进一步限制了范围A2的接近于正方形的范围A3设为搜索区域。图示的范围A3相当于与标准温度相比上升了+30℃的情况。也就是说，范围A3对应于像检测部101周边的温度，在范围A2内移动。

以上那样的范围A1、A2、A3以通过比较简易的方法估计出的单眼像的存在区域为前提，将这样的范围A1、A2、A3设为搜索区域而执行模式匹配，从而能够将对图像处理的负荷设为比较小。

另外，与上述搜索区域对应的范围A2、A3等除了考虑温度变化之外，例如考虑实际的合成透镜1a间的距离等从设计值的偏差，能够设为与仅根据温度变化而设想的余量宽度相比更大地向外侧扩大的范围。

在上述搜索区域即范围A1、A2、A3(优选的是范围A2、A3)内，使用包含输入图像IG(A)的基准像素CP’的图像来进行模板匹配处理，与输入图像IG(K)的基准像素CP一致度最高的像素TP被确定为位于与基准像素CP对应的位置的像素。作为在此的模板匹配处理的一例，列举NCC(归一化相关系数，Normalized Cross Correlation)。作为其他例，也可以是SAD(绝对差总和，Sum of Absolute Difference)、SSD(平方差总和，Sum of SquaredDifference)等。并且，关于其他输入图像IG(B～J、L～P)，在同样的搜索区域即范围A1、A2、A3(优选的是范围A2、A3)内，进行上述模板匹配处理，在各输入图像IG(A～J、L～P)中，位于与输入图像IG(K)的基准像素CP对应的位置的像素被确定。

图12是对应于图9的图，是说明搜索区域的设定等的变形例的图。此时，基准像素CP尽管处于输入图像IG(K)上，但被设定于从设为没有温度所导致的位置偏差的点SP分离的位置。结果，基准像素CP也在比较宽的范围内偏移，但在摄像装置100具备用于检测像检测部101周边的温度的温度传感器的情况下，根据像检测部101的周边温度而选择范围A2’中的特定处的像素CPV，将该像素设为模板匹配处理用的基准像素CP即可。

(位置偏差估计处理1)

以下，说明图7的步骤S13中的作为第二位置偏差估计处理工序的位置偏差估计处理1。在该位置偏差估计处理1中，以更高精度地提高步骤S12中的概略估计的子像素单位来进行位置偏差估计。

图13A～13C是用于说明上述步骤S13中的位置偏差估计处理1的图。如图13A所示，关于温度变化后的一个输入图像IG(A)，被估计以子像素为单位的位置偏差。在以通过上述步骤S12的第一位置偏差估计处理工序而确定的、在输入图像IG(A)中相当于基准像素CP’的像素TP为中心的例如3×3像素的范围的规定范围A4内，以模板匹配中的每个像素的一致度(例如NCC值)为基础进行二次曲面拟合(参照图13B)。在步骤S13的位置偏差估计处理1中，作为一例，能够采用在论文“位置ずれ量を考慮した画素選択に基づくロバスト超分辨処理(基于考虑了位置偏差量的像素选择的鲁棒超分辨处理)”(电子信息通信学会论文志，Vol.J92－D，No.5，pp.650－660，2009，2009年5月)中记载的方法。即，如图13B以及13C所示，每个像素的一致度之中一致度最高的像素的坐标被确定为偏差量。像这样，在设定搜索区域后进行模式匹配，因此与对全部图像进行模式匹配相比，能够高速地进行处理。

以上，说明了关于基准图像的输入图像IG(A)，进行精密的位置偏差估计的处理，但关于其他输入图像IG(B～J、L～P)，也以通过上述步骤S12的第一位置偏差估计处理工序而确定的像素TP为基准，进行与输入图像IG(A)的情况相同的处理，从而能够进行精密的位置偏差估计。

另外，在步骤S13中，也可以代替上述的二次曲面拟合，采用通过X坐标以及Y坐标分别拟合为二次曲线等的其他方法。

(位置偏差估计处理2)

在步骤S10中选择了模式2的情况下，在步骤S16中，执行简易的位置偏差估计处理即位置偏差估计处理2。在本步骤中，根据基于第一位置T1与第二位置T2的差异的矢量W1、和基于透镜阵列10的各向同性的变形的矢量W2，简易地估计位置偏差。具体而言，在摄像装置内设置温度传感器，在通过测定了两矢量W1、W2的环境温度来进行校正之后，根据两者的合成矢量而计算每个像素的偏差量，该计算结果估计为表示位置偏差。或者，根据图像数据的分离的多个像素而估计温度变化，基于此而校正两矢量W1、W2，对校正后的两矢量进行合成而估计位置偏差。根据该方法，不进行上述那样的基于搜索区域的设定或模式匹配的准确的位置偏差检测，因此能够高速地进行位置偏差估计。也就是说，能够通过比较简易的运算，掌握伴随着环境条件的变化的单眼像的位置偏差，能够迅速地进行良好的图像处理。另外，在矢量W1的计算时，也可以根据基准温度下的支架形状以及透镜阵列形状，计算第一位置T1以及第二位置T2，也可以在将透镜阵列10粘结在支架50上后，使温度升降而实际测量第一位置T1以及第二位置T2。矢量W2根据位置而分别不同，但视为以第二位置T2为中心的各向同性的变形，从而能够作为相对于第二位置T2的位置的函数而容易地计算。

(超分辨处理)

图14是表示上述步骤S14中的超分辨处理的流程的图。在图14中，作为具体例，示出在进行在论文“Fast and Robust Multiframe Super Resolution”(IEEE TRANSACTIONSON IMAGE PROCESSING,VOL.13,NO.10,OCTOBER 2004 page.1327-1344)中记载的处理的情况下的超分辨处理的流程。

如图14所示，在步骤S31中，对输入图像中的一张实施双线性法等插值处理而将输入图像的分辨率转换为超分辨处理后的分辨率即高分辨率，从而生成作为初始图像的输出候选图像。

在步骤S32中，计算用于使噪声稳定地收敛的BTV(双边总变分，Bilateral TotalVariation)量。

在步骤S33中，将上述生成的输出候选图像和16张量的输入图像进行比较，计算残差。即，在步骤S33中，上述生成的输出候选图像基于各输入图像及其恶化信息(表示超分辨后的图像和输入图像之间的关系的信息)而被转换(低分辨率化)为输入图像尺寸(参照图15的步骤S41)，计算与16张量的输入图像的差异并进行记录(参照图15的步骤S42)。并且，该差异被返回超分辨处理后的尺寸(参照图15的步骤S43)，被设为残差。

在步骤S34中，根据在上述步骤S31中生成的输出候选图像而计算的残差和BTV量减少而生成下一输出候选图像。

上述步骤S31～S34的处理直至输出候选图像收敛为止被重复，收敛后的输出候选图像作为超分辨处理后的输出图像而被输出。

重复也可以是大致充分地收敛的次数(例如200次)等被预先规定的次数，也可以是在每次一系列的处理时，进行收敛判定，根据其结果而重复。

图15是用于说明在上述步骤S33中使用的恶化信息的图。恶化信息是指，表示输入图像各自相对于超分辨处理后的高分辨率图像的关系的信息，例如以矩阵形式来表示。在恶化信息中，包含在上述步骤S13中估计的输入图像各自的子像素等级的偏差量、下采样量、以及模糊量等。

参照图15，在将输入图像以及超分辨处理后的高分辨率图像分别以一维的矢量表现的情况下，恶化信息通过表示其转换的矩阵来规定。摄像装置100基于通过上述步骤S12以及S13的估计处理而估计出的位置偏差，计算在超分辨处理中使用的参数，作为恶化信息而编入。

图16是表示恶化信息的具体例的图。摄像装置100在像素的偏差量被估计为0.25像素，下采样量为纵向以及横向分别1/4的情况下，规定如图16所示那样的恶化信息。在对应于输入图像内的1像素的1处、与超分辨处理后的高分辨率图像的16处的16像素对应时，在恶化信息中，在16处记载有1/16的系数。因此，在像素的偏差量为0.25像素的情况下，对于高分辨率图像的16像素分别贡献其偏差量的1/16量。

另外，上述步骤S14中的超分辨处理不限定于图14所示的处理，只要是根据多张输入图像生成一张图像的重构型超分辨处理则也可以采用其他处理。在上述步骤S32中计算的拘束项也可以使用例如4附近拉普拉斯等其他拘束项来代替BTV量。

根据以上说明的复眼摄像装置，图像处理电路80至少基于与第一位置T1和第二位置T2的差异相关的信息、以及表示透镜阵列层叠体1(透镜阵列10、20)的伴随着环境条件的变化的变形的程度的信息，执行图像处理。例如，对伴随环境温度的变动等环境条件的变化而产生的传感器阵列60上的各单眼像的位置的变化、即与传感器阵列60上的光学像对应而得到的图像的位置的变化进行校正。由此，即使在从透镜部10a、20a的光轴OA方向看时的透镜阵列10、20以及支架50的变形中心不一致，也能够迅速且准确地掌握传感器阵列60上的各单眼像的位置偏差，能够相对于环境条件的变化进行良好的图像处理。

以上，以传感器阵列60、基板SB基本不膨胀收缩为前提，但传感器阵列60、基板SB也存在与支架50相比更少但伴随着温度的稍微的膨胀收缩，也可以考虑此而进行计算。

此外，在上述实施方式中，说明了由于支架50、透镜阵列层叠体1或第一透镜阵列10的变形而像的形成位置沿着摄像面产生位置偏差的情况，但有时像的形成位置伴随环境温度而沿光轴OA方向微少产生位移(焦点偏差)。此时，还能够进行对伴随环境温度而产生的局部的焦点偏差进行补偿的处理。具体而言，在图13A～13C所示的第二位置偏差估计处理工序时进行模糊程度估计处理，关于各个输入图像，对从基准图像的模糊程度进行估计。也就是说，在上述变形后的步骤S13中，在估计以子像素为单位(小数像素)的偏差量时还估计模糊程度。并且，在上述步骤S14中，考虑位置偏差量以及模糊程度而执行超分辨处理。

在上述实施方式中，设支架50、透镜阵列层叠体1等的温度变形为线性，但有时由于这些构件间的固定条件、支架50的形状而具有非线性的分量。此时，能够还考虑这样的非线性的分量而估算收缩的方位，此时，例如还能够设为上述搜索区域的范围A2曲线地延伸而进行图像处理。

以上，说明了实施方式所涉及的复眼摄像装置，但本发明所涉及的复眼摄像装置不限于上述例示。例如，构成各透镜阵列10、20的透镜部10a、20a的排列、其光学面11a、11b等的形状等能够根据透镜阵列层叠体1或摄像装置100的用途或规格而适当变更。例如透镜部10a、20a不限于在4×4的栅格点上排列，能够在例如3×3、5×5等的栅格点上排列。此外，栅格不限于正方的栅格，也可以是长方的栅格。

在上述各实施方式中，作为环境条件为环境温度而进行了说明，但不限于此，也可以是周边环境的湿度、周边环境中的特定分量的浓度、或其中多个要素的组合。也可以根据需要设置湿度传感器、气体传感器等。

此外，在上述实施方式中，将透镜阵列层叠了两张，但也可以不层叠而是单层的透镜阵列。此外，也可以将透镜阵列层叠三张以上。

将透镜阵列层叠体1的相对于支架50的被粘结部QB设为在俯视时大致正方形，但也可以设为矩形、圆形。

在上述实施方式中，透镜阵列10、20设为树脂制，但也可以是玻璃制。此外，作为树脂，不限于热可塑性树脂，能够使用热硬化性树脂、光硬化性树脂等。此外，透镜阵列10、20也可以是例如在玻璃的基板上二维地排列了树脂的透镜部的晶片级透镜。

此外，在上述实施方式中，将支架50固定在基板SB上，但也可以固定在传感器阵列60上。

此外，在上述实施方式中，使透镜阵列10、20的支撑基准点OS与中心轴AX一致，但还能够将支撑基准点OS从中心轴AX积极地挪动而配置。

Claims (20)

1.一种复眼摄像装置，具备：

复眼光学***，包含具有在相对于光轴垂直的方向上二维地排列的多个透镜部的透镜阵列；

传感器阵列，与所述多个透镜部对应的多个光学像通过所述复眼光学***被成像，输出与所述多个光学像对应的图像信号；

支架，将所述复眼光学***保持为与所述传感器阵列对置；以及

图像处理电路，用于对从所述传感器阵列输出的图像信号进行处理，

在基准环境条件下，在从所述光轴方向看时的伴随着所述支架的环境条件的变化的变形的中心位置即第一位置、和从所述光轴方向看时的伴随着所述透镜阵列的环境条件的变化的变形的中心位置即第二位置分离的状态下，所述透镜阵列被固定于所述支架，

所述图像处理电路至少基于与所述第一位置和所述第二位置的差异相关的信息、以及表示伴随着所述透镜阵列的环境条件的变化的变形的程度的信息来进行图像处理。

2.如权利要求1所述的复眼摄像装置，其中，

所述透镜阵列通过粘结剂被粘结于所述支架。

3.如权利要求2所述的复眼摄像装置，其中，

所述透镜阵列的被粘结部设置在对所述透镜阵列之中设置所述多个透镜部的透镜部排列区域的中心成为点对称的位置上。

4.如权利要求3所述的复眼摄像装置，其中，

所述透镜阵列的被粘结部以包围多个透镜部的方式连续。

5.如权利要求1至4的任一项所述的复眼摄像装置，其中，

所述支架具有顶板部和支撑该顶板部的腿部。

6.如权利要求5所述的复眼摄像装置，其中，

所述透镜阵列被固定于所述支架的所述顶板部。

7.如权利要求6所述的复眼摄像装置，其中，

所述透镜阵列的物体侧面被固定于所述支架的所述顶板部的像侧面。

8.如权利要求1至4的任一项所述的复眼摄像装置，其中，

所述支架被配置为具有在伴随环境条件的变化而产生与所述光轴垂直的方向的形状变化时，相对于所述传感器阵列实质上相对位置不变的变形中心。

9.如权利要求1至4的任一项所述的复眼摄像装置，具备：

基板，设置了所述传感器阵列，

所述支架被固定于所述基板。

10.如权利要求5所述的复眼摄像装置，具备：

基板，设置了所述传感器阵列，

所述支架的腿部被固定于所述基板。

11.如权利要求1至4的任一项所述的复眼摄像装置，其中，

所述透镜阵列由树脂形成。

12.如权利要求1至4的任一项所述的复眼摄像装置，其中，

所述支架由树脂形成。

13.如权利要求1至4的任一项所述的复眼摄像装置，其中，

所述支架的线膨胀系数α1、所述第一位置与所述第二位置的距离L、以及传感器阵列的像素间距P满足

30L·α1＜5P

的关系。

14.如权利要求1至4的任一项所述的复眼摄像装置，其中

所述支架的线膨胀系数α1、所述第一位置与所述第二位置的距离L、以及传感器阵列的像素间距P满足

30L·α1＜2P

的关系。

15.如权利要求1至4的任一项所述的复眼摄像装置，其中，

所述支架的线膨胀系数α1、以及所述透镜阵列的线膨胀系数α2满足

1.2＞α2/α1＞0.8

的关系。

16.如权利要求1至4的任一项所述的复眼摄像装置，其中，

所述透镜阵列的线膨胀系数α2、以及所述传感器阵列的线膨胀系数α3满足

α2/α3＞5

的关系。

17.如权利要求1至4的任一项所述的复眼摄像装置，其中，

所述图像处理电路使用表示从所述第一位置至所述第二位置的移动的第一矢量、和表示所述透镜阵列内的每个位置的变形的第二矢量的合成矢量来进行图像处理。

18.如权利要求1至4的任一项所述的复眼摄像装置，其中，

所述图像处理电路基于与所述第一位置以及所述第二位置的差异相关的信息、和表示伴随着所述透镜阵列的环境条件的变化的变形的程度的信息，对与环境条件相应的各单眼像在所述传感器阵列上的存在区域进行估计，执行与所估计出的存在区域对应的图像信号的模式匹配，求得伴随着环境条件的变化的各单眼像的位置变化的校正量。

19.如权利要求1至4的任一项所述的复眼摄像装置，其中，

所述基准环境条件是将环境温度设定为室温的条件。

20.如权利要求1至4的任一项所述的复眼摄像装置，其中，

所述复眼光学***还具备将所述透镜阵列设为第一透镜阵列而在所述第一透镜阵列的所述光轴方向上重叠配置的第二透镜阵列。