CN103403494A - 摄像装置 - Google Patents

Abstract

本发明的摄像装置具备：镜头光学***，其具有第1区域、第2区域、第3区域，所述第1区域使第1波段的光透过，所述第2区域使所述第1波段的光透过，具有相对于由透过了所述第l区域的光线产生的对焦特性而使对焦特性不同的光学特性，所述第3区域使与所述第1波段不同的第2波段的光透过；摄像元件，通过了所述镜头光学***的光入射到该摄像元件，具有多个第1、第2、第3像素；和微透镜阵列，其配置在所述镜头光学***与所述摄像元件之间，使通过了所述第1区域的光入射至所述多个第1像素，使通过了所述第2区域的光入射至所述多个第2像素，使通过了所述第3区域的光入射至所述多个第3像素。

Description

摄像装置

技术领域

本发明涉及照相机等的摄像装置。

背景技术

近年来，在汽车的车间距离测量、照相机的自动焦点***、三维形状测量***中，使用根据多个摄像光学***间的视差来测量到被摄体(测距对象物)的距离的测距装置。

在这种的测距装置中，由配置在左右或者上下的一对摄像光学***在各自的摄像区域形成图像，根据这些图像的视差通过三角测量来检测到被摄体的距离。

此外，作为由单个摄像光学***测量到被摄体的距离的方式，已知DFD(Depth From Defocus，离焦深度)法。DFD法是通过所取得的图像的虚化量的解析来算出距离的方法，但是由于单个图像中无法判别是被摄体本身的模样、还是因被摄体距离而出现了虚化，因此采用根据多个图像来估计距离的方法(专利文献1、非专利文献1)。

【在先技术文献】

【专利文献】

【专利文献1】专利第3110095号公报

【非专利文献】

【非专利文献1】Xue Tu，Youn-sik Kang and Murali Subbarao Two-and Three-Dimensional Methods for Inspection and Metrology V.Edited byHuang，Peisen S..Proceedings of the SPIE，Volume6762，pp.676203(2007).

发明内容

【发明的概要】

【发明要解决的技术问题】

但是，在上述现有技术中，谋求摄像装置的小型化、低成本化、测距精度的提高等。本发明的非限定性的某个例示实施方式提供一种小型且能够高精度地测量距离的摄像装置。

【用于解决技术问题的手段】

本发明的一个方式的摄像装置具备：镜头光学***，其具有第1区域、第2区域、第3区域，所述第1区域透过第1波段的光，所述第2区域透过所述第1波段的光，并具有使对焦特性与由透过了所述第1区域的光线所产生的对焦特性不同的光学特性，所述第3区域透过与所述第1波段不同的第2波段的光；摄像元件，通过了所述镜头光学***的光入射到该摄像元件，且该摄像元件具有多个第1像素、第2像素、第3像素；和微透镜阵列，其配置在所述镜头光学***与所述摄像元件之间，使通过了所述第1区域的光入射至所述多个第1像素，使通过了所述第2区域的光入射至所述多个第2像素，使通过了所述第3区域的光入射至所述多个第3像素。

【发明效果】

根据本发明的一个方式涉及的测距装置，使用单个摄像***就能够进行高精度的距离测量。

附图说明

图1是表示本发明的摄像装置A的实施方式1的示意图。

图2是从被摄体侧观察本发明的实施方式1中的光学元件L1的主视图。

图3是本发明的实施方式1中的阵列状光学元件K的立体图。

图4(a)是放大表示图1所示的阵列状光学元件K以及摄像元件N的图，(b)是表示阵列状光学元件K和摄像元件N上的像素的位置关系的图。

图5是表示在本发明的实施方式1中由通过了光学区域D1以及光学区域D2的光线产生的球面像差的曲线图。

图6是每个被摄体距离的点像强度分布的示意图。

图7是表示本发明的实施方式1中的被摄体距离和清晰度(图像的锐度)的关系的曲线。

图8(a)至(c)表示16×16尺寸的图像块的亮度分布，(d)至(f)表示对(a)至(c)各自所示的图像块以二维方式进行傅立叶变换而得到的频谱。

图9(a)是表示作为被摄体的白黑图的图。(b)是表示(a)的被摄体的亮度的剖面的图。(c)是表示由图1的摄像装置A拍摄的图像的每个颜色的亮度的剖面的图。(d)是表示(c)的G1(绿)以及R(红)的亮度的二次微分的图。(e)表示从(c)的G2(绿)、B(蓝)的亮度中减去(d)的二次微分的情况下的亮度的剖面的图。

图10是表示本发明的实施方式1中的被摄体距离和清晰度(图像的锐度)的其他的关系的曲线。

图11是表示本发明的实施方式1中的被摄体距离和清晰度(图像的锐度)的其他的关系的曲线。

图12是表示实施方式1中的摄像装置A的剖面图。

图13是表示实施方式1的其他摄像装置的图。

图14是从被摄体侧观察本发明的实施方式1中的其他光学元件L1的主视图。

图15是从被摄体侧观察本发明的实施方式1中的其他光学元件L1的主视图。

图16(a)以及(b)是放大表示本发明的实施方式2中的阵列状光学元件K以及摄像元件N的图。

图17(a)以及(b)是表示本发明的实施方式3中的各光学区域和遮光部件的位置关系的主视图。

图18是表示本发明的摄像装置A的实施方式4的示意图。

图19是从被摄体侧观察本发明的实施方式4中的光学元件L1的主视图。

图20是本发明的实施方式4中的阵列状光学元件K的立体图。

图21(a)是放大表示图18所示的阵列状光学元件K以及摄像元件N的图，(b)是表示阵列状光学元件K和摄像元件N上的像素的位置关系的图。

图22是本发明的实施方式4中的信号处理部的流程图。

图23是表示在本发明的实施方式4中由通过了光学区域D1以及光学区域D2的光线形成的球面像差的曲线。

图24是表示本发明的实施方式4中的被摄体距离和清晰度(图像的锐度)的关系的曲线。

图25(a)至(c)是16×16尺寸的图像块的亮度分布图，(d)至(f)是表示对图25(a)至(c)各自示出的图像块以二维方式进行傅立叶变换而得到的频谱的图。

图26(a)是表示作为被摄体的白黑图的图。(b)是表示(a)的被摄体的亮度的剖面的图。(c)是表示由图1的摄像装置A拍摄的图像的亮度的剖面的图。(d)是表示(c)的G1的亮度的二次微分的图。(e)是表示从(c)的G2的亮度中减去(d)的二次微分的情况下的亮度的剖面的图。

图27是表示本发明的实施方式4中的被摄体距离和清晰度(图像的锐度)的关系的曲线。

图28是表示本发明的实施方式4中的被摄体距离和清晰度(图像的锐度)的关系的曲线。

图29(a)是表示本发明的实施方式4的被摄体图像的图。(b)是表示(a)的被摄体图像的深度图的图。

图30是本发明的实施方式4中的以高斯分布表示的PSF(点扩散函数)剖面强度的分布图。

图31(a)以及(b)是表示本发明的实施方式4中的被摄***置和PSF的关系的图。

图32(a)至(c)是表示本发明的实施方式4中的PSF的二维数据的图。

图33(a)以及(b)是本发明的实施方式4中的PSF的二维强度的分布图。

图34是表示本发明的实施方式4中的、根据图29(b)的深度图对图29(a)的被摄体图像进行重新聚焦的图像的图。

图35是表示本发明的实施方式5中的被摄***置和PSF的关系的图。

图36是表示本发明的摄像装置A的实施方式6的示意图。

图37(a)是放大表示图36所示的阵列状光学元件K以及摄像元件N的图，(b)是表示阵列状光学元件K和摄像元件N上的像素的位置关系的图。

图38是表示本发明的实施方式6中的被摄体距离和清晰度(图像的锐度)的关系的曲线。

图39(a)是表示作为被摄体的白黑图的图。(b)是表示(a)的被摄体的亮度的剖面的图。(c)是表示由图36的摄像装置A拍摄的图像的每个颜色的亮度的剖面的图。(d)是表示(c)的G1(绿)以及R(红)的亮度的二次微分的图。(e)是表示从(c)的G2(绿)、B(蓝)的亮度中减去(d)的二次微分的情况下的亮度的剖面的图。

图40是表示本发明的实施方式6中的被摄体距离和清晰度(图像的锐度)的关系的曲线。

图41是表示本发明的实施方式6中的被摄体距离和清晰度(图像的锐度)的关系的曲线。

图42是从被摄体侧观察本发明的实施方式7中的光学元件L1的主视图。

图43是本发明的实施方式7中的阵列状光学元件K的立体图。

图44(a)是放大表示本发明的实施方式7中的阵列状光学元件K和摄像元件N的图，(b)是表示阵列状光学元件K和摄像元件N上的像素的位置关系的图。

图45是表示本发明的实施方式7中的被摄体距离和清晰度(图像的锐度)关系的曲线。

图46是表示本发明的实施方式7中的被摄体距离和清晰度(图像的锐度)的关系的曲线。

图47是表示本发明的实施方式7中的被摄体距离和清晰度(图像的锐度)的关系的曲线。

图48是表示本发明的摄像装置A的实施方式8的示意图。

图49(a)是放大表示本发明的实施方式中发生串扰的情况下的摄像面的附近的图，(b)是放大表示减少串扰的情况下的摄像面的附近的图。

图50(a1)是表示具有相对于光轴而旋转非对称的形状的微透镜阵列的立体图。(a2)是表示(a1)所示的微透镜阵列的等高线的图。(a3)是将(a1)、(a2)所示的微透镜应用于本发明的阵列状光学元件的情况下的、光线追踪仿真的结果的图。(b1)是表示具有相对于光轴而旋转对称的形状的微透镜阵列的立体图。(b2)是表示(b1)所示的微透镜阵列的等高线的图。(b3)是表示将(b1)、(b2)所示的微透镜应用于本发明的实施方式的阵列状光学元件的情况下的、光线追踪仿真的结果的图。

图51是表示本发明的实施方式中摄像元件上的滤波器排列的其他实施方式的图。

具体实施方式

根据本申请发明的研究，在现有的采用多个摄像光学***的结构中，摄像装置大型化且高成本化。此外，由于存在使多个摄像光学***的特性一致、并且使2个摄像光学***的光轴高精度地平行的必要性，因此在制造上较为困难，进而由于需要用来求出照相机参数的校准(calibration)工序，因此一般认为需要较多的工时。

在专利文献1以及非专利文献1所公开的这种DFD法中，能够由1个摄像光学***算出到被摄体的距离。但是，在专利文献1以及非专利文献1的方法中，需要改变到对焦的被摄体的距离(对焦距离)，按时间分割获取多个图像。在将这种方法应用于运动图像时，由于因摄影的时间差而在图像间产生偏差，因此存在测距精度下降的这种课题。

此外，专利文献1中公开了一种摄像装置，通过棱镜来分割光路，由后焦点(back focus)不同的2个摄像面进行摄像，从而通过一次摄像就能够测量到被摄体的距离。但是，在这种方法中，由于需要2个摄像面，因此存在摄像装置大型化、且成本大幅提高的这种课题。

本申请发明者鉴于这样的课题，想到了新的摄像装置。本发明的一个方式的概要如以下所示。

本发明的一个方式的摄像装置，具备：镜头光学***，其具有第1区域、第2区域、第3区域，所述第1区域使第1波段的光透过，所述第2区域使所述第1波段的光透过，并具有相对于由透过了所述第1区域的光线所产生的对焦特性而使对焦特性不同的光学特性，所述第3区域使与所述第1波段不同的第2波段的光透过；摄像元件，其入射通过了所述镜头光学***的光，具有多个第1像素、第2像素、第3像素；和微透镜阵列，其配置在所述镜头光学***与所述摄像元件之间，使通过了所述第1区域的光入射至所述多个第1像素，使通过了所述第2区域的光入射至所述多个第2像素，使通过了所述第3区域的光入射至所述多个第3像素。

所述镜头光学***还可以具有使与所述第1、第2波段不同的第3波段的光透过的第4区域，所述摄像元件还具有多个第4像素，所述微透镜阵列使通过了所述第4区域的光入射至所述多个第4像素。

所述第1、第2、第3区域可以是以所述镜头光学***的光轴为中心进行分割而得到的区域。

在所述镜头光学***中，由透过了所述第3区域以及所述第4区域的光线所产生的对焦特性，可以与由透过了所述第1区域的光线所产生的对焦特性以及由透过了所述第2区域的光线所产生的对焦特性的任意一个相等。

在一次的摄像中，光线可以入射至所述第1、第2、第3区域。

所述第1、第2区域可以使绿色频带的光线通过，所述第3区域可以使蓝色频带的光线通过，所述第4区域可以使红色频带的光线通过。

可以在被摄体距离处在某个规定的范围内的情况下，由入射至所述第1区域的光所形成的点像强度分布大致恒定，由入射至所述第2区域的光所形成的点像强度分布根据到被摄体的距离而变化。

所述第1区域的表面以及所述第2区域的表面可以具有彼此不同的曲率半径。

所述多个第1以及第2像素可以通过一次的摄像分别生成第1亮度信息以及第2亮度信息，所述摄像装置还具备第1信号处理部，所述第1信号处理部利用所述第1亮度信息以及所述第2亮度信息来生成第1图像以及第2图像。

所述第1信号处理部可以具备清晰度检测部，所述清晰度检测部按图像中每个规定区域检测所述多个第1像素至所述第4像素的亮度信息之中至少1个以上的像素成分的清晰度，基于所述各个清晰度之中最高的清晰度的成分，对其他像素的亮度信息的成分进行清晰化。

所述第1信号处理部可以利用预先存储的点像强度分布函数，进行由入射至所述第1区域的光到达的像素的亮度信息所形成的图像的复原处理，生成被复原的清晰化图像。

所述第1信号处理部可以利用单个所述点像强度分布函数，进行由入射至所述第1区域的光到达的像素的亮度信息所形成的图像的整个区域的复原处理，生成被复原的清晰化图像。

所述第1信号处理部还可以具备清晰度检测部，所述清晰度检测部按所述被复原的清晰化图像中的每个规定区域来检测清晰度，基于所述被复原的清晰化图像中的每个规定区域的清晰度，对其他像素的亮度信息的成分进行清晰化。

本发明的摄像装置还可以具备第2信号处理部，其算出到被摄体的距离，所述第2信号处理部利用所述第1图像以及所述第2图像，算出到被摄体的距离。

可以在被摄体距离处在某个固定的范围内的情况下，所述第1图像的清晰度与所述第2图像的清晰度之比的值，和到所述被摄体的距离之间具有相关关系，所述第2信号处理部基于所述相关关系、所述第1图像的清晰度与所述第2图像的清晰度之比，算出到所述被摄体的距离。

所述第1信号处理部还可以具备对比度检测部，所述对比度检测部对在所述多个第1像素中得到的第1图像的对比度和在所述多个第2像素中得到的第2图像的对比度进行检测，在被摄体距离处在某个固定的范围内的情况下，所述第1图像的对比度与所述第2图像的对比度之比，和所述被摄体距离之间具有相关关系，所述第2信号处理部基于所述相关关系、所述第1图像的对比度、所述第2图像的对比度，来算出到所述被摄体的距离。

所述第2信号处理部，可以利用将所述第1图像和所述第2图像相加之后的图像的亮度信息、和所述第1图像或者所述第2图像的亮度信息，来算出到所述被摄体的距离。

可以在被摄体距离处在某个固定的范围内的情况下，根据所述被复原的清晰化图像和由入射至所述第2区域的光所形成的图像而导出的点像强度分布函数，与所述被摄体距离之间具有相关关系，所述第2信号处理部，基于所述相关关系、所述点像强度分布函数，来算出到所述被摄体的距离。

所述第2区域、所述第3区域、以及所述第4区域可以具有彼此不同的光学功率，与所述第2区域、所述第3区域、以及所述第4区域具有彼此相等的光学功率的情况相比，所述第2区域、所述第3区域、以及所述第4区域透过的光的对焦位置更近。

本发明的摄像装置还可以具备遮光部件，其设置在所述第1区域与所述第2区域之间的边界部。

所述镜头光学***还可以具备光圈，所述第1区域以及所述第2区域配置在所述光圈附近。

所述第2信号处理部，可以按图像的每个规定区域来算出被摄体距离，所述摄像装置还可以具备第3信号处理部，所述第3信号处理部利用在所述第2信号处理部中算出的每个所述规定区域的被摄体距离来生成被重新聚焦的图像。

所述第2信号处理部，可以利用每个所述规定区域的被摄体距离，生成每个被摄体距离的点扩散函数。

可以从作为所述点扩散函数的强度变化成为极大的被摄体距离的至少1个最佳聚焦位置起越是在被摄体距离方向上远离，则所述点扩散函数的强度的变化越小。

所述至少1个最佳聚焦位置可以是从外部输入的位置或者由所述第2信号处理部决定的位置。

所述第3信号处理部，可以利用每个所述规定区域的被摄体距离、所述点扩散函数，生成所述被重新聚焦的图像。

所述点扩散函数可以是高斯函数。

所述第3信号处理部，可以按每个规定区域利用傅立叶变换来进行所述点扩散函数的卷积运算，生成所述被重新聚焦(refocus)的图像。

所述第3信号处理部，可以基于每个所述规定区域的被摄体距离，进行空间滤波处理，来生成所述被重新聚焦的图像。

所述至少1个最佳聚焦位置可以断续地存在多个。

本发明的摄像装置还可以具备在所述镜头光学***的附近、即所述第1区域、所述第2区域、所述第3区域以及所述第4区域分别配置的第1至第4滤波器，所述第1滤波器使第1波段的光透过，所述第2滤波器使第1波段的光透过，所述第3滤波器使第2波段的光透过，所述第4滤波器使第3波段的光透过。

所述镜头光学***还可以具备光圈，所述第1至第4滤波器被配置在所述光圈附近。

本发明的一个方式的摄像***具备上述摄像装置、生成彩色图像的第1信号处理装置，所述第1信号装置利用通过所述一次摄像而得到的所述多个第1像素、所述多个第2像素、所述多个第3像素、以及所述多个第4像素的亮度信息来生成所述彩色图像。

本发明的摄像***还可以具备算出到被摄体的距离的第2信号处理装置，所述第2信号处理装置利用通过所述一次摄像而得到的所述多个第1像素、所述多个第2像素的亮度信息来算出到被摄体的距离。

本发明的其他方式的摄像***具备摄像装置和信号处理装置，其中，所述摄像装置具备：镜头光学***，其具有第1区域以及第2区域，所述第2区域具有相对于由通过了所述第1区域的光线所产生的对焦特性而使对焦特性不同的光学特性；摄像元件，其至少具有通过了所述镜头光学***光入射的多个第1像素和多个第2像素；和阵列状光学元件，其配置在所述镜头光学***与所述摄像元件之间，使通过了所述第1区域的光入射至所述多个第1像素，使通过了所述第2区域的光入射至所述多个第2像素，所述信号处理装置具备：第1信号处理部，其利用在所述多个第1像素中得到的第1图像以及在所述多个第2像素中得到的第2图像的亮度信息，按摄像图像的每个规定区域算出被摄体距离；和第2信号处理部，其利用在所述第1信号处理部中算出的每个所述规定区域的被摄体距离，生成被重新聚焦的图像。

根据上述的摄像装置以及摄像***，利用单个光学***，通过一次的摄像，就能够获取用于彩色图像的输出以及被摄体距离的测量的亮度信息。因此，无需如使用多个摄像光学***的摄像装置那样使多个摄像光学***间的特性、位置一致。此外，在运动图像的摄影中，即便随着时间的经过而被摄体的位置发生变化，也能够测量到被摄体的正确的距离。此外，能够与任意的被摄***置对焦，例如能够获取使主要的人物／物品清晰化、且仅使背景虚化的具有鲜明感(vivid)的图像。以下，参照附图对本发明的摄像装置的实施方式进行说明。

(实施方式1)

图1是表示实施方式1的摄像装置A的示意图。本实施方式的摄像装置A具备：以V为光轴的镜头光学***L、在镜头光学***L的焦点附近配置的阵列状光学元件K、摄像元件N、第1信号处理部C1、第2信号处理部C2、和存储部Me。

镜头光学***L，由来自被摄体(未图示)的光束B1至B4所入射的光学元件L1、通过了光学元件L1的光所入射的光圈S、和通过了光圈S的光所入射的透镜L2构成。光学元件L1，具有光学区域D1、以及与通过了光学区域D1的光线的对焦特性相比，具有使对焦特性不同的光学特性的光学区域D2。光学元件L1也可以配置在光圈S的附近。

图2是从被摄体侧观察光学元件L1的主视图。光学区域D2具有子光学区域d2A、d2B、d2C。光学元件L1中的光学区域D1、子光学区域d2A、d2B以及d2C，是以光轴V为边界中心在与光轴V垂直的面内进行上下左右的4分割而得到的。光学区域D1具有与子光学区域d2B相同的分光透过率特性。光学区域D1、子光学区域d2A、d2C分别具有不同的分光透过率特性。

例如，光学区域D1以及子光学区域d2B具有第1分光透过率特性，主要使绿色频带的光线通过，吸收其他频带的光线。子光学区域d2A具有第2分光透过率特性，主要使红色频带的光线通过，吸收其他频带的光线。此外，子光学区域d1C具有第3分光透过率特性，主要使蓝色频带的光线通过，吸收其他频带的光线。

通过在光学元件L1的一部分设置例如使不同波段的光透过的滤波器(例如由有机材料或电介质多层膜形成的滤波器)，能够使得光学区域D1以及子光学区域d2A、d2B、d2C各自的区域透过的光的波段不同。此外，光学元件L1的材料本身也可以具有分光透过率特性。例如在光学元件L1由树脂构成的情况下，通过预先对树脂添加上色材料，能够使得光学区域D1以及子光学区域d2A、d2B、d2C各自的区域透过的光的波段不同。此外，在光学元件L1由玻璃构成的情况下，通过预先在玻璃中添加金属等的微粒子，能够使得各个区域透过的光的波段不同。此外，代替使用吸收材料，而在光学元件L1的表面形成多层干涉膜，也能够使各个区域透过的光的波段不同。该情况下，光学元件L1是反射型的滤色器，可通过蒸镀法等形成。

再者，在图2所示的例子中，透过了子光学区域d2A、d2B、d2C的光线的对焦特性是相同的。由此，因为规定的被摄体距离处的清晰度相同，因此能够获得自然的彩色图像。不过，透过了子光学区域d2A、d2B、d2C的光线的对焦特性也可以不相同。

图2中，虚线s表示光圈S的位置。图1所示的光束B1、B2、B3、B4分别是通过光学元件L1上的光学区域D1、子光学区域d2A、d2B、d2C的光束。光束B1、B2、B3、B4按光学元件L1、光圈S、透镜L2、阵列状光学元件K的顺序通过，并到达摄像元件N上的摄像面Ni(图4等所示)。

图3是阵列状光学元件K的立体图。在阵列状光学元件K的摄像元件N侧的面，光学要素M1配置成栅格状。各个光学要素M1的剖面(纵方向以及横方向各自的剖面)是圆弧状，各个光学要素M1向摄像元件N侧突出。这样，光学要素M1是微透镜，阵列状光学元件K是微透镜阵列。

如图1所示，阵列状光学元件K被配置在镜头光学***L的焦点附近，且配置在距摄像面Ni规定距离的位置。实际上，虽然光学元件L1中的光学特性对作为镜头光学***L整体的对焦特性带来影响，但例如只要以透镜L2的焦点为基准来决定配置决定阵列状光学元件K的位置即可。

再者，本实施方式中，“对焦特性不同”，是指在以规定波长的光进行比较的情况下在该光学***中有助于光的聚集的特性的至少一个是不同的。具体而言，是指在利用规定波长的光进行比较的情况下，通过了光学区域D1、D2的光的镜头光学***L的焦点距离、到对焦的被摄体为止的距离、清晰度成为固定值以上的距离范围等不同。通过调整光学区域D1、D2的曲率半径、非球面系数、折射率，由此能够使得镜头光学***L的对焦特性不同。

本实施方式中，通过1次的摄像而通过了光学区域D1以及子光学区域d2A、d2B、d2C的光，在通过透镜L2之后，入射至阵列状光学元件K。阵列状光学元件K使通过了光学区域D1以及子光学区域d2A、d2B、d2C的光分别入射至摄像元件N上的像素。

图4(a)是放大表示图1所示的阵列状光学元件K以及摄像元件N的图，图4(b)是表示阵列状光学元件K与摄像元件N上的像素的位置关系的图。阵列状光学元件K被配置成形成了光学要素M1的面朝向摄像面Ni侧。

如图4(b)所示，在摄像面Ni，像素P配置成矩阵状。像素P能够区别为像素P1、P2、P3以及P4。

为了进行说明，将配置成2行2列的像素P1、P2、P3以及P4的1组称为“像素群Pg”。在1个像素群Pg内，将像素P1的位置设为(1、1)时，像素P2配置在(2、2)的位置，像素P3配置在(2、2)的位置，像素P4配置在(1、2)的位置。都是绿色频带的光入射的像素P1以及像素P3在摄像面Ni的面内被配置在倾斜的位置。这样，本实施方式中，入射至像素P1、P2、P3以及P4的光的波段也可以根据拜尔排列进行排列。像素P1和像素P3的位置也可以颠倒。此外，也可以根据拜尔排列以外的排列进行排列。再者，由于通过光学区域D1以及子光学区域d2A、d2B、d2C而获得R、G、B的各波段的光，因此无需在像素P1、P2、P3以及P4形成滤色器，只要使用单色的传感器即可。

阵列状光学元件K被配置成形成了光学要素M1的面朝向摄像面Ni侧。阵列状光学元件K的一个光学要素M1被配置成与摄像面Ni上的2行2列的像素P1～P4(像素群Pg)的4个像素对应。在摄像面Ni上，设置微透镜Ms使其覆盖像素P1、P2、P3以及P4的表面。

阵列状光学元件K被设计成：通过了光学元件L1上的光学区域D1(图1、图2所示)的光束B1(图1中实线所示的光束B1)(的大部分)到达摄像面Ni上的像素P3，通过了子光学区域d2A的光束B2(的大部分)到达摄像面Ni上的像素P4，通过了子光学区域d2B的光束B3(的大部分)到达摄像面Ni上的像素P1，通过了子光学区域d2C的光束B4(的大部分)到达摄像面Ni上的像素P2。具体而言，通过适当地设定阵列状光学元件K的折射率、距摄像面Ni的距离及光学要素M1表面的曲率半径等的参数，从而实现上述结构。

光学区域D1以及子光学区域d2A、d2B、d2C中使用的滤波器，例如是由有机材料形成的滤波器。再者，具有第1分光透过率特性、第2分光透过率特性以及第3分光透过率特性的各个特性的滤波器，主要使彼此不同波段的光线透过。不过，各个滤波器透过的光的波段的一部分也可以重叠。此外，并不限于RGB的原色系的滤波器，也可以使用补色系(蓝绿色、洋红、黄色)的滤波器。

光圈S是全部视场角的光束通过的区域。因此，通过在光圈S的附近***具有对对焦特性进行控制的光学特性的面，能够同样地控制全部视场角的光束的对焦特性。即，在本实施方式中，光学元件L1也可以设置在光圈S的附近。将使得光学***L的对焦特性彼此不同的光学区域D1、D2配置在光圈S的附近，从而能够将与区域的分割数相应的对焦特性赋予光束。

图1中，光学元件L1被设置在通过了光学元件L1的光直接(不经由其他的光学部件)入射于光圈S的位置。光学元件L1也可以较之光圈S而设置在摄像元件N侧。在该情况下，光学元件L1可以被设置在光圈S与透镜L2之间，通过了光圈S的光直接(不经由其他的光学部件)入射至光学元件L1。

此外，阵列状光学元件K，具有根据光线的入射角而分配出射方向的功能。因此，能够按照与在光圈S的附近被分割出的光学区域D1以及子光学区域d2A、d2B、d2C对应的方式，向摄像面Ni上的像素分配光束。

第1信号处理部C1(图1所示)，利用通过一次摄像而在像素P1、P2、P3以及P4所得到的多个亮度信息来生成彩色图像。以下，具体说明生成彩色图像的方法。

在图1的摄像装置A的光学***中，光学区域D1具有非球面，光学区域D2(子光学区域d2A、d2B、以及d2C)具有平面。此外，为了简化说明，假定透镜L2是没有像差的理想透镜来进行说明。

由于光学区域D2具有平面，因此在通过了光学区域D2和透镜L2的光线中如图5的实线所示的曲线那样没有产生球面像差(或者较少)。在没有球面像差的情况下，随着偏移焦点而点像强度分布发生变化。即，随着被摄体距离的变化而点像强度分布发生变化。

此外，由于光学区域D1的非球面形状，通过了光学区域D1和透镜L2的光线所产生的球面像差如图5的虚线所示的曲线那样。通过调整光学区域D1的非球面形状，能够引起这种的球面像差。通过这种的球面像差，在镜头光学***L的焦点附近的规定的范围内，能够使得通过了光学区域D1的光线的点像强度分布大致恒定。即，在规定的被摄体距离范围内使得点像强度分布大致恒定。

图6是每个被摄体距离的点像强度分布的示意图。图6的左列是仅提取像素P3的点像强度分布而以0等级遮盖像素P1、P2、P4的点像强度分布的结果。也就是由通过了光学区域D1光束所形成的点像强度分布。此外，右列是仅提取像素P1的点像强度分布而以0等级遮盖像素P2、P3、P4的点像强度分布的结果。也就是由通过了子光学区域d2B的光束所形成的点像强度分布。可知即便被摄体距离变化像素P3的点像强度分布也大致恒定，在像素P1的点像强度分布中被摄体距离越远则点像的大小越小。

随着点像强度分布的变化，清晰度也变化。由于点像的大小越小则图像的清晰度越增加，因此在以曲线表示被摄体距离和清晰度的关系时，成为图7这种的关系。在图7的曲线中，G1表示由像素P3(绿色的成分)生成的图像(由通过了光学区域D1的光所生成的图像)的规定区域的清晰度，G2、R、B分别表示由像素P1(绿色的成分)、像素P4(红色的成分)、P2(蓝色的成分)生成的图像的规定区域的清晰度。

基于规定的大小的图像块内相邻的像素间的亮度值的差值，能够求出清晰度。此外，也能够基于对规定大小的图像块的亮度分布进行傅立叶变换之后的频谱来求取。

在将规定大小的块内的清晰度设为E，基于像素P1、P2、P3、以及P4的每个成分中相邻的像素间的亮度值的差值来求取清晰度的情况下，例如采用(式1)。

【式1】

$E=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\sqrt{{\left(\mathrm{\Δ}{x}_{i,j}\right)}^2+{\left(\mathrm{\Δ}{y}_{i,j}\right)}^2}$

如前述，由于像素P1、P2、P3、以及P4形成拜尔排列，因此在求取各个成分的清晰度时，在图像的x方向、y方向都是提取每隔1像素的像素信息来进行计算。

(式1)中Δx_i，j是规定大小的图像块内的坐标(i，j)处的像素的亮度值与坐标(i+2，j)的像素的亮度值之间的差值，Δy_i，j是规定大小的图像块内的坐标(i，j)处的像素的亮度值与坐标(i，j+2)的像素的亮度值之间的差值。之所以利用坐标j以及坐标j+2进行计算，是因为在像素P3、P1的各个像素得到的图像中横方向(x方向)、纵方向(y方向)的亮度信息是每隔1像素而形成的。

通过(式1)的计算，规定大小的图像块内的亮度值的差越大，则得到越大的清晰度。

虽然图像的清晰度也能够利用前述的(式1)来求取，但也可以基于对规定大小的块内的清晰度进行傅立叶变换而得到的频谱来求取。

图8(a)至(c)表示尺寸为16×16的图像块的亮度分布。清晰度按图8(a)、(b)、(c)的顺序变小。图8(d)至(f)表示对图8(a)至(c)各自所示的图像块按二维进行傅立叶变换从而得到的频谱。图8(d)至(f)中为了容易理解，而对各频谱的强度进行对数变换来进行表示，频谱越强则表示得越亮。各频谱中中央的亮度最高的位置为直流成分，越是靠近周边部则频率越高。

图8(d)至(f)中可知图像的清晰度越小则越缺失高的频谱。因此，为了根据这些频谱来求取清晰度，例如能够提取频谱整体或者一部分来求取清晰度。

在生成彩色图像的情况下，可以以像素P1、P2、P3、以及P4的亮度信息为基础，仅补齐每个像素位置所缺失的颜色信息从而生成彩色图像，但如图7所示那样G1的清晰度比G2、B、R的清晰度小，因此也可以对G1的清晰度进行清晰化之后生成彩色图像。

图9是说明基于G2、B、R的清晰度对G1的清晰度进行清晰化的方法的图。图9(a)是作为被摄体的黑白图，图9(b)是表示(a)的被摄体的亮度的剖面的图。如图9(b)所示，图表(chart)的亮度的剖面是阶梯状，但是例如在将图表配置在从到达像素P1、P2、P4的光线最对焦的被摄***置向跟前偏移了少许的规定位置来进行摄像时，图像的亮度剖面成为如图9(c)所示那样。图9(c)的曲线中，G1是由像素P3(绿色的成分)生成的图像的亮度剖面，G2、B、R分别是由像素P1(绿色的成分)、像素P2(蓝色的成分)、像素P4(红色的成分)生成的图像的亮度剖面。这样，可以说G2、B、R的亮度剖面较之G1的亮度剖面更接近于图9(b)的实际的图表的亮度剖面，清晰度较高。

在拍摄图9(a)这种黑白图表的情况下，G2、B、R各自的亮度剖面是大致相同的剖面，但由于实际上是拍摄所有颜色成分的被摄体图像，因此图9(c)的G2、B、R的亮度剖面大部分情况是不一致的。因此，也可以根据G2、B、R的亮度剖面来检测各自的清晰度，选择清晰度高的颜色成分，使得G1的亮度剖面清晰化。清晰度的检测在第1信号处理部C1内的清晰度检测部中进行。在选择清晰度高的亮度剖面，对其亮度剖面进行二次微分时，得到图9(d)的分布，能够检测清晰度高的颜色成分的图像的边沿。接下来，从图9(c)的G1的亮度分布中减去图9(d)的分布，由此得到图9(e)的分布，能够使得G1的亮度分布清晰化。在此，在减去图9(d)的分布时，在对图9(d)的分布乘以规定系数之后，从图9(c)的G1的亮度分布中减去其乘积结果，由此能够控制G1的清晰化程度。

在本实施方式中，为了简化说明，以一维的方式进行了使图像清晰化的说明，但由于图像是二维的，因此实际上以二维进行清晰化处理。

通过以上的图像处理，图7的实线所示的G1的清晰度被清晰化成虚线所示的G1’那样，能够使所生成的彩色图像清晰化。

图10是表示将图1中光学区域D1的光学面从非球面形状置换为球面形状的情况下的被摄体距离与清晰度的关系的曲线。在这种情况下，也与图7的情况同样地能够使彩色图像清晰化。

在图10中，因被摄体距离从而清晰度高的颜色成分不同。因此，根据G1、G2、R、以及B的亮度剖面检测各自的清晰度，选择清晰度最高的颜色成分来使其他颜色成分清晰化。

通过以上这种的图像处理，图10中实线所示的G1、G2、R、以及B的清晰度分别被清晰化成由虚线示出的G1’、G2’、R’、以及B’那样，能够使所生成的彩色图像清晰化。

接下来，说明其他的图像清晰化手法。图11是说明基于对G1的清晰度清晰化之后的G1’来清晰化G2、B、R的清晰度的方法的图。光学区域D1、D2的结构与图7的情况相同，由通过了光学区域D1的光线所形成的点像强度分布在规定的被摄体距离范围内大致恒定。因此，分别提取像素P3(G1的成分)所形成的点像强度分布，在规定的被摄体距离范围内大致恒定。如果在规定的被摄体距离范围中点像强度分布大致恒定，则提取像素P3(G1的成分)所形成的图像能够与被摄体距离无关地基于规定的点像强度分布进行复原。

以下说明基于预先存储的点像强度分布函数来复原摄影图像的方法。在将原图像设为f(x，y)、将点像强度分布设为h(x，y)时，摄影图像g(x，y)能够由(式2)表示。

【式2】

$g(x,y)=f(x,y)\⊗h(x,y)$

其中，

表示卷积。

在对(式2)的两边进行傅立叶变换时，成为(式3)。

【式3】

G(u，v)＝F(u，v)H(u，v)

在此，将(式4)的逆滤波器Hinv(u，v)适用于劣化图像G(u，v)，从而如(式5)那样求出原图像的二维傅立叶变换F(u，v)。对其进行逆傅立叶变换，从而能够获得原图像f(x，y)作为复原图像。

【式4】

$\mathrm{Hinv}(u,v)=\frac{1}{H(u,v)}$

【式5】

F(u，v)＝Hinv(u，v)G(u，v)

但是，在H(u，v)成为0或者极小的值时，Hinv(u，v)发散，因此，利用(式6)这种的维纳滤波器(Wiener filter)Hw(u，v)来复原劣化图像。

【数6】

$\mathrm{Hw}(u,v)=\frac{1}{H(u,v)}\frac{{\left|H(u,v)\right|}^2}{{\left|H(u,v)\right|}^2+{\left|N(u,v)\right|}^2/{\left|F(u,v)\right|}^2}$

在(式6)中，N(u，v)为噪声。由于通常噪声和原图像F(u，v)是未知的，因此实际上使用常数k通过(式7)的滤波器来复原劣化图像。

【式7】

$\mathrm{Hw}(u,v)=\frac{1}{H(u,v)}\frac{{\left|H(u,v)\right|}^2}{{\left|H(u,v)\right|}^2+k}$

通过这种的复原滤波器，图11的实线所示的G1的清晰度能够清晰化成虚线所示的G1’。这样，根据本实施方式，利用点像强度分布函数，能够进行由入射至光学区域D1的光所到达的像素的亮度信息形成的图像的全区域的复原处理。一般情况下，由于点像强度分布函数是根据光学***的摄像位置而变化的，因此可利用与各摄像位置对应的点像强度分布函数。但是，在点像强度分布函数几乎不依赖于摄像位置的光学***的情况下，能够利用单个点像强度分布函数来进行图像的全区域的复原处理。尽管需要在存储器等中预先保存点像强度分布函数，但通过利用单个点像强度分布，能够降低存储器的使用量。再有，与图9所示的方法同样，根据G1’的亮度剖面(被复原的清晰化图像)按每个规定区域检测各自的清晰度(清晰度检测部)，对清晰度高的颜色成分的亮度剖面进行二次微分，从G2、B、R中减去其结果，能够将G2、B、R的清晰度如图11的虚线所示的G2’、B’、R’那样进行提高。这样，能够基于清晰度对其他像素的亮度信息的成分进行清晰化。

通过以上这样的图像处理，图11的实线所示的G1的清晰度、以及G2、B、R的清晰度能够如虚线所示的G1’以及虚线所示的G2’、B’、R’那样提高，能够使得所生成的彩色图像清晰化。通过这样的清晰化处理，较之图7所示的清晰化处理，能够进一步扩展景深。

接下来，说明具体求取被摄体距离的方法。

图12是表示实施方式1中的摄像装置A的剖面图。图12中，对于与图1相同的构成要素，赋予与图1相同的符号。图12中省略了阵列状光学元件K(图1等所示)的图示，但是在图12的区域H实际上包括阵列状光学元件K。区域H具有图4(a)所示的结构。

表1以及表2是图12所示的摄像装置A的光学***的设计数据。表1以及表2中，Ri表示各面的近轴曲率半径(mm)，di表示各面的面中心间隔(mm)，nd表示透镜或者滤波器的d线的折射率，vd表示各光学元件的d线的阿贝(Abbe)数。此外，在将面顶点的切平面至光轴方向的距离设为x，将距光轴的高度设为h，将r设为近轴曲率半径，将k设为圆锥常数，将Am(m＝4，6，8，10)设为第m次的非球面系数时，非由(式8)表示球面形状。此外，表3表示光学区域D1、子光学区域d2A、d2B、d2C的分光透过率特性。光学区域D1与子光学区域d2B是同一分光透过率特性。

【数8】

$\text{x=}\frac{\frac{1}{r}{h}^2}{1+\sqrt{1-(1+k){\left(\frac{1}{r}\right)}^2{h}^2}}+A_4{h}^4+A_6{h}^6+A_8{h}^8+A_{10}{h}^{10}$

【表1】

镜头数据

焦点距离＝10mm，F值＝2.8

视场角2ω＝１0°，有效摄像圆形＝Φ1.75mm

【表2】

【表3】

·分光透过率特性

区域d2A	400～500nm
		区域D1	500～600nm
区域d2C	600～700nm2
		区域d2B	500～600nm

图1所示的第1信号处理部C1，输出提取来自像素P3(G1的成分)的亮度信息而得到的第1图像I1(图1所示)、提取来自像素P1(G2的成分)的亮度信息而得到的第2图像I2。由于2个光学区域D1、D2的光学特性彼此不同，因此第1、第2图像I1、I2的图像的清晰度(利用亮度而算出的值)因被摄体距离而不同。存储部Me(图1所示)中存储通过了光学区域D1、D2的各自区域的光的清晰度和被摄体距离之间的相关关系。在第2信号处理部C2(图1所示)中，基于第1、第2图像I1、I2的清晰度和上述相关关系能够获得到被摄体的距离。

在此，图7以及图11中的Z的范围表示G2变化、并且G1几乎不变化的区域。在Z的范围中，能够利用这样的关系求出被摄体距离。例如，在Z的范围中，由于被摄体距离和、清晰度G1与G2之比存在相关，因此预先将被摄体距离和、清晰度G1、G2之比的相关关系存储在存储部Me中。

在使用摄像装置时，在一次摄像的结果所得到的数据之中、按各运算块的每一个求出仅在像素P3(G1的成分)所生成的第1图像I1和仅在像素P1(G2的成分)所生成的第2图像I2的清晰度之比。然后，能够利用存储部Me中存储的相关关系，求出被摄体距离。具体而言，按各运算块的每一个，比较上述相关关系中的清晰度之比、第1图像I1与第2图像I2的清晰度之比的值。进而，将与两者相一致的值对应的被摄体距离作为摄影时的到被摄体的距离。

为了根据仅由像素P3生成的第1图像I1的清晰度和仅由像素P1生成的第2图像I2的清晰度之比而唯一地求出被摄体距离，清晰度之比需要在规定的被摄体距离范围内全部不同。

在图7、图10以及图11中，在Z的范围内，由于清晰度之比全部不同，因此能够唯一地求出被摄体距离。此外，在清晰度的值过低时，无法求出其比值，因此清晰度的值可以为固定值以上。

再者，被摄体距离与清晰度的关系，由光学区域D1、D2中的面的曲率半径、非球面系数、折射率来决定。也就是说，光学区域D1、D2需要具有第1图像I1的清晰度和第2图像I2的清晰度之比在规定的距离范围内全部不同这种的光学特性。

再者，在本实施方式中，如果是利用亮度算出的值(亮度信息)，则也可以利用清晰度以外的值、例如对比度来求出被摄体距离。例如能够根据规定的运算块内的最大亮度值和最低亮度值之比求出对比度。清晰度是亮度值的差值，相比之下，对比度是亮度值之比。既可以根据作为最大亮度值的一点和作为最低亮度值的一点之比来求出对比度，也可以根据例如亮度值的高位数点的平均值和亮度值的低位数点的平均值之比来求出对比度。在被摄体距离处在某个固定范围内的情况下，第1图像I1的对比度和第2图像I2的对比度，与被摄体距离具有相关关系。在利用对比来求取被摄体距离的情况下，也与清晰度的情况同样，预先将被摄体距离、和对比度之比之间的相关关系存储在存储部Me中。在该情况下，第1信号处理部C1具备对比度检测部，该对比度检测部检测由像素P3得到的第1图像I1的对比度、和由像素P1得到的第2图像I2的对比度。按各运算块的每一个来求出第1图像I1和第2图像I2的对比度之比，能够利用相关关系求出被摄体距离(第2信号处理部C2)。

此外，在本实施方式中，也可以利用清晰度和对比度以外的值、例如点像强度分布来求取被摄体距离。以下说明根据第1图像I1和第2图像I2求出点像强度分布的方法。

在利用上述的(式7)来复原仅由像素P3(G1的成分)生成的第1图像I1时，求出与原图像f(x，y)极为接近的复原图像i1’(x，y)。在此，在将仅由像素P1(G2的成分)生成的第2图像设为i2(x，y)、将通过光学区域D2的光线的点像强度分布设为h2(x，y)时，i2(x，y)可由(式9)表示。

【数9】

$i2(x,y)\≈{i1}^{\′}(x,y)\⊗h2(x,y)$

其中，表示卷积。

在对(式9)的两边进行傅立叶变换时，成为(式10)。

【式10】

I2(u，v)≈I1′(u，v)H2(u，v)

若对(式10)进行变形，则如(式11)那样求出点像强度分布h2(x，y)的频域的值H2(u，v)。

【式11】

$H2(u,v)\≈\frac{I2(u,v)}{{I1}^{\′}(u,v)}$

通过对其进行逆傅立叶变换，能够求出通过光学区域D2的光线的点像强度分布h2(x，y)。

由于通过光学区域D2的光线的点像强度分布h2(x，y)因被摄体距离而变化，因此在被摄体距离处在某个固定范围内的情况下，点像强度分布h2(x，y)与被摄体距离具有相关性。能够利用该相关关系求出被摄体距离。

在以代表性的数值表示点像强度分布的情况下，例如能够例如利用点像强度分布的直径。与清晰度、对比度的情况同样地，预先将被摄体距离与点像的直径之间的相关关系存储在存储部Me中。按各块的每一块根据第1图像I1和第2图像I2求出点像强度分布，通过根据点像强度分布来求出点像的直径，由此能够利用相关关系求出被摄体距离。点像的直径例如能够根据点像强度分布的半值幅度求出。

本实施方式也可以具备在如图10那样使各光学区域的曲率半径彼此不同的情况下生成对第1图像I1以及第2图像I2进行相加之后的图像的结构。通过第1图像I1以及第2图像I2的相加而生成的图像中清晰度为固定值以上的距离范围，比第1图像I1以及第2图像I2大。该情况下，通过相加而生成的图像的清晰度、与第1图像I1或者第2图像I2的任意一个图像的清晰度之比，和被摄体距离具有相关关系。预先存储该相关关系，能够按图像的每个规定区域而求出被摄体距离。

再者，本实施方式的摄像装置的光学***可以是像侧远心(telecentric)光学***。由此，即便视场角变化，阵列状光学元件K的主光线入射角也以接近于0度的值进行入射，因此在摄像区域的整个区域能够降低到达像素P1、P2、P3、以及P4的光束间的串扰。

此外，如前述在本实施方式中，为了简化说明而将透镜L2作为理想透镜来进行说明，但也可以不使用理想透镜。例如，不是理想透镜的透镜具有轴上色差，但如前述那样，由于能够选择清晰度高的颜色成分来清晰化其他的颜色成分，因此即便不是理想透镜，也能够生成清晰度的彩色图像。此外，在求取被摄体距离的情况下，由于基于单个颜色成分(本实施方式中绿色的成分)来求取距离，因此也可以具有轴上色差。

此外，在使用不是理想透镜的透镜的情况下，可以是用光学元件L1来修正轴上色差的结构。本实施方式中，假定光学元件L1的光学区域D2(子光学区域d2A、d2B、以及d2C)全部具有平面，但各自具有不同的光学面，由此能够修正轴上色差。如上述，通过了子光学区域d2A、d2B、以及d2C的光线分别到达像素P4、像素P1、以及像素P2。由于像素P4、像素P1、以及像素P2中分别主要是红色、绿色、以及蓝色的波长成分的光到达，因此在透镜L2中应用具有轴上色差的透镜的情况下，针对子光学区域d2A、d2B、以及d2C的各光学面，使各个光学面上的光学功率不同，以使得各个波段的光的对焦位置相等。通过这种结构，较之子光学区域d2A、d2B以及d2C具有相等的光学功率的情况，由于能够使透过了子光学区域d2A、d2B以及d2C的光的对焦位置彼此靠近，因此能够通过光学元件L1来修正透镜L2中产生的轴上色差。通过由光学元件L1来修正轴上色差，从而能够减少构成透镜L2的透镜个数，能够使得光学***小型化。

此外，在本实施方式中，光学元件L1与透镜L2分离，但也可以在透镜L2设置光学区域D1、D2，而除去光学元件L1的结构。该情况下，可以构成为光圈S配置在透镜L2的光学区域D1、D2的附近。

此外，在本实施方式1中，使得光学区域D1与子光学区域d2B的面积相等。通过这种构成，能够使得像素P3与像素P1的曝光时间相等。在光学区域D1与子光学区域d2B的面积不同的情况下，可以使得像素P3与像素P1的曝光时间不同。例如，在光学区域D1的面积比子光学区域d2B的面积大的情况下，可以使像素P3的曝光时间比像素P1的曝光时间短。

如以上所述，在本实施方式中，通过利用采用单个摄像***的一次摄像就能够获取彩色图像和被摄体距离这两者。即，通过利用本实施方式涉及的摄像装置进行一次摄像，就能够获取彩色图像输出及用于被摄体距离测量的亮度信息。并且，利用该亮度信息能够获取彩色图像及被摄体距离这两者。对于被摄体距离，由于能够按各运算块的每一个进行计算，因此能够获取彩色图像的任意图像位置的被摄体距离。因此，也能够获取图像整个区域的被摄体距离图。此外，由于通过单个摄像***能够获得到被摄体的距离，因此无需如使用多个摄像光学***的摄像装置那样使多个摄像光学***间的特性、位置一致。此外，由于在一次的摄像中，光线入射在光学区域D1、D2(子光学区域d2A、d2B、d2C)，因此不会产生因摄影时的时间差而引起的图像间的偏差。此外，在使用本实施方式的摄像装置拍摄运动图像的情况下，即便因时间的经过而在被摄体的位置发生变化，也能够测量出到被摄体的正确距离。

本实施方式中，摄像装置也可以具有图13所示的这种结构。图13是表示实施方式1的其他的摄像装置的图。图13所示的摄像装置中，通过第1信号处理部C1，由像素P3得到的第1图像I1、由像素P1得到的第2图像I2、由像素P2、P4分别得到的第3、第4图像I3、I4被输出。通过第2信号处理部C2，利用由第1图像I1和第2图像I2中相邻的像素间的亮度值之差(清晰度)所表示的亮度信息来执行测距运算。通过第3信号处理部C3，对各波段的图像I1～I4之中波段不同的至少2个以上的图像进行合成从而生成彩色图像。

在图13所示的构成中，例如通过合成图像I2、I3、I4来生成彩色图像。再者，也能够取代图像I2而使用图像I1，该情况下，如图7所示那样由于被摄体距离对应的清晰度G1与G2、G3、G4不同，因此成为不自然的图像。因此，在彩色图像的形成中使用图像I1的情况下，可以如图7所示那样通过图像处理变换为鲜明的图像。例如，可以使用基于拉普拉斯算子滤波(Laplacian filter)处理的清晰化处理。

此外，表1中假定子光学区域d2A、d2B、d2C的3个区域具有平面，光学区域D1具有生成大致恒定的点像强度分布的非球面，但也可以如图14所示，光学区域D1具有平面，而子光学区域d2A、d2B、d2C的3个区域具有生成大致恒定的点像强度分布的光学面。该情况下，与图2相同，利用通过了光学区域D1和子光学区域d2B的图像I1、I2能够测量到被摄体的距离。此外，能够合成由各个像素得到的图像从而生成彩色图像。此时，通过图像处理，对清晰度低的图像进行清晰化时，可得到鲜明的彩色图像。

此外，如图15所示，也可以光学区域D1和子光学区域d2C具有平面，而子光学区域d2A、d2B的2个区域具有生成大致恒定的点像强度分布的光学面。该情况下，可以在对图像I4、图像I2实施了清晰化处理之后形成彩色图像。

(实施方式2)

本实施方式2与实施方式1的不同在于，将微透镜阵列形成在摄像面上。在此，本实施方式中省略与实施方式1同样的内容的详细说明。

图16(a)以及(b)是放大表示阵列状光学元件K以及摄像元件N的图。本实施方式中，微透镜阵列Md形成在摄像元件N的摄像面Ni上。在摄像面Ni，与实施方式1等同样，像素P配置成矩阵。这些多个像素P对应1个微透镜的光学要素。本实施方式中，也与实施方式1同样，能够将通过了光学元件L1上的不同区域的光束分别导向不同的像素。此外，图16(b)是表示本实施方式的变形例的图。在图16(b)所示的构成中，在摄像面Ni上形成微透镜Ms，使其覆盖像素P，在微透镜Ms的表面上层叠阵列状光学元件K。在图16(b)所示的构成中，较之图16(a)的构成能够提高聚光效率。

(实施方式3)

本实施方式3与实施方式1、2的不同点在于，在光学元件L1的各光学区域的边界部配置遮光部件。在此，本实施方式中省略与实施方式1同样的内容的详细说明。

图17(a)是在实施方式3的光学区域D1、D2的边界部配置了遮光部件Q的主视图。此外，图17(b)是在实施方式3的光学区域D1、以及子光学区域d2A、d2B、以及d2C的边界部配置了遮光部件Q的主视图。

在各区域的边界部，由于形状不连续地变化，因此在边界部产生层差，有时会产生无用光。因此，通过在各边界部配置遮光部件Q，从而能够抑制无用光的产生。作为遮光部件Q，例如只要采用掺了碳黑的聚酯薄膜等即可。遮光部件Q可以与光圈一体式地形成。

此外，图17(b)中表示通过使用线状的遮光部件Q，从而被遮光部件Q隔开的区域的形状成为扇形的方式。本实施方式中，在使光透过的部分可以使用具有圆形、椭圆形、或者矩形等形状的开口的遮光部件，使得被遮光部件Q隔开的各部分成为圆形、椭圆、或者矩形。

(实施方式4)

图18是表示实施方式4的摄像装置A的示意图。本实施方式的摄像装置A具备以V为光轴的镜头光学***L、在镜头光学***L的焦点附近配置的阵列状光学元件K、摄像元件N、第2信号处理部C2、第3信号处理部C3、和存储部Me。

镜头光学***L由光学元件L1、光圈S和透镜L2构成，光学元件L1具备具有2个光学区域D1、D2，这2个光学区域D1、D2具有使彼此对焦特性不同的光学特性，且来自被摄体(未图示)的光束B1、B2入射到光学元件L1，通过了光学元件L1的光入射到光圈S，通过了光圈S的光入射到透镜L2。光学元件L1可以配置在光圈S的附近。

图19是从被摄体侧观察光学元件L1的主视图。光学元件L1中的光学区域D1和D2，以光轴V为边界中心在垂直于光轴V的面内被2分割为上下两部分。在图19中，虚线s表示光圈S的位置。图18中，光束B1是通过光学元件L1上的光学区域D1的光束，光束B2是通过光学元件L1上的光学区域D2的光束。光束B1、B2依次通过光学元件L1、光圈S、透镜L2、阵列状光学元件K，到达摄像元件N上的摄像面Ni(图21等中所示)。

图20是阵列状光学元件K的立体图。在阵列状光学元件K的摄像元件N侧的面，在垂直于光轴V的面内，横方向细长的多个光学要素M1配置在纵方向。各个光学要素M1的剖面(纵方向的剖面)具有向摄像元件N侧突出的圆弧状的形状。这样，阵列状光学元件K具有双凸透镜(lenticular lens)的结构。

如图18所示，阵列状光学元件K配置在镜头光学***L的焦点附近，配置在距摄像面Ni规定距离的位置。实际上，光学元件L1中的光学特性会对作为镜头光学***L全体的对焦特性带来影响，但配置阵列状光学元件K的位置只要例如以透镜L2的焦点为基准来决定即可。再者，在本实施方式中，“对焦特性不同”，是指在其光学***中有助于光的聚集的至少一个特性是不同的，具体而言，是指焦点距离、到对焦的被摄体的距离、清晰度为固定值以上的距离范围等不同。通过调整光学区域D1、D2中的曲率半径、非球面系数、或折射率，能够使得镜头光学***L的对焦特性不同。

在本实施方式中，通过了2个光学区域D1、D2之后的光在通过透镜L2之后，入射至阵列状光学元件K。阵列状光学元件K使通过了光学区域D1的光入射至摄像元件N的像素P1(图21等所示)，使通过了光学区域D2的光入射至摄像元件N的像素P2。

图21(a)是放大表示图18所示的阵列状光学元件K以及摄像元件N的图，图21(b)是表示阵列状光学元件K和摄像元件N上的像素的位置关系的图。阵列状光学元件K被配置成形成光学要素M1的面朝向摄像面Ni侧。在摄像面Ni，像素P被配置成矩阵状。像素P能够区别为像素P1以及P2。

像素P1在横方向(行方向)排列成1行进行配置。在纵方向(列方向)，像素P1每隔1个进行配置。此外，像素P2在横方向(行方向)排列成1行进行配置。在纵方向(列方向)，像素P2每隔1个进行配置。此外，像素P1的行和像素P2的行在纵方向(列方向)交互配置。

阵列状光学元件K被配置成其中一个光学要素M1对应于由摄像面Ni上的1行的像素P1以及1行的像素P2构成的2行像素。在摄像面Ni上，以覆盖像素P1以及P2的表面的方式设置微透镜Ms。

阵列状光学元件K被设计成：使通过了光学元件L1上的光学区域D1(图18、图19所示)的光束B1(图18中实线所示的光束B1)的大部分到达摄像面Ni上的像素P1，使通过了光学区域D2的光束(图18中虚线所示的光束B2)的大部分到达摄像面Ni上的像素P2。具体而言，通过适当设定阵列状光学元件K的折射率、距摄像面Ni的距离及光学要素M1表面的曲率半径等的参数，从而能够实现上述结构。

光圈S是全部视场角的光束通过的区域。因此，通过在光圈S的附近***具有控制对焦特性的光学特性的面，能够同样地控制全部视场角的光束的对焦特性。即，本实施方式中，光学元件L1可以设置在光圈S的附近。将具有使彼此对焦特性不同的光学特性的光学区域D1、D2配置在光圈S的附近，从而能够将与区域的分割数相应的对焦特性赋予光束。

图18中，光学元件L1被设置在通过了光学元件L1的光直接(不经由其他的光学部件)入射至光圈S的位置。光学元件L1可以较之光圈S而设置在摄像元件N侧。该情况下，光学元件L1可以设置在光圈S与透镜L2之间，通过了光圈S的光直接(不经由其他的光学部件)入射至光学元件L1。

此外，阵列状光学元件K具有根据光线的入射角来分配出射方向的功能。因此，能够对摄像面Ni上的像素分配光束，使其对应于在光圈S的附近分割出的光学区域D1、D2。

图22是说明本实施方式的信号处理部的处理内容的流程图。信号处理部具有生成重新聚焦图像的功能。在此，所谓重新聚焦，是指利用由摄像装置得到的图像(摄像图像)重构与处在期望的(任意的)被摄体距离的被摄体对焦的图像。再者，“被摄体距离”，是指从摄像装置到被摄体的距离。通过进行重新聚焦，从而在图像中，位于期望的被摄体距离的被摄体的清晰度成为比其周围区域的清晰度高的状态。此外，所谓重新聚焦图像，是位于期望的被摄体距离的被摄体的清晰度处于比其周围区域的清晰度高的状态的图像。

如图22所示，首先，在步骤ST1中，求出从摄像元件N得到的图像的亮度信息，根据需要对图像进行清晰化。在此，“亮度信息”的具体例是清晰度、对比度或者点像强度分布。再者，如图18所示，从摄像元件N得到的图像被分为基于第1像素P1的第1图像I1、和基于第2像素P2的第2图像I2。在本步骤ST1中，求出这2个图像I1、I2的亮度信息。

接下来，在步骤ST2中，利用亮度信息，按图像的每个规定区域算出到被摄体的距离，生成深度图(depth map)。

接下来，在步骤ST3中，基于想要对焦的位置(最佳聚焦位置)，按每个被摄***置生成PSF。最佳聚焦位置可以是用户从摄像装置A的外部输入的，也可以是摄像装置A内的第2信号处理部C2决定的。

最后，在步骤ST4中，对清晰化图像卷积基于深度图所决定的PSF，生成任意位置的重新聚焦图像。例如，步骤ST1至ST3由第2信号处理部C2实施，步骤ST4由第3信号处理部C3实施。再者，步骤ST1中的图像的清晰化步骤、和步骤ST2、ST3也可以适当调换。以下，具体说明流程图的各项目。

首先，说明步骤ST1。再者，以下以“亮度信息”是清晰度的情况为例进行说明。

在图18的摄像装置A的光学***中，光学区域D1具有平面，光学区域D2具有非球面形状。此外，为了简化说明，假定透镜L2是没有像差的理想透镜来进行说明。

由于光学区域D1的表面是平面，因此如图23的实线所示，不会因通过了光学区域D1和透镜L2的光线而产生球面像差。在没有球面像差的情况下，随着偏移焦点从而点像强度分布发生变化。即，随着被摄体距离的变化而点像强度分布发生变化。

此外，根据光学区域D2的非球面形状，通过了光学区域D2和透镜L2的光线的球面像差成为如图23的虚线所示的曲线那样。通过调整光学区域D2的非球面形状，从而能够提供这种的球面像差。通过这种的球面像差，在镜头光学***L的焦点附近的规定的范围内，能够使得通过了光学区域D2的光线的点像强度分布大致恒定。即，在规定的被摄体距离范围内使得点像强度分布大致恒定。

伴随着点像强度分布的变化，清晰度也变化。由于点像的大小越小则图像的清晰度越增加，因此在以曲线表示被摄体距离和清晰度的关系时，成为如图24那样的关系。在图24的曲线中，G1表示由像素P1得到的图像(第1图像I1)的规定区域的清晰度，G2表示由像素P2得到的图像(第2图像I2)的规定区域的清晰度。

清晰度能够基于在规定大小的图像块内相邻的像素间的亮度值的差值而求出。此外，也能够基于对规定大小的图像块的亮度分布进行傅立叶变换之后的频谱而求出。

在将规定大小的块内的清晰度设为E，基于相邻的像素间的亮度值的差值而求出清晰度的情况下，利用例如(式12)。

【式12】

$E=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\sqrt{{\left(\mathrm{\Δ}{x}_{i,j}\right)}^2+{\left(\mathrm{k\Δ}{y}_{i,j}\right)}^2}$

(式12)中，Δxi，j是规定大小的图像块内的坐标(i，j)处的像素的亮度值和坐标(i+1，j)的坐标的像素的亮度值的差值，Δyi，j是规定大小的图像块内的坐标(i，j)处的像素的亮度值和坐标(i，j+2)的坐标的像素的亮度值的差值，k是系数。之所以利用坐标j以及坐标j+2来计算Δy_i，j在y方向的亮度值，是因为在像素P1、P2各自中得到的图像中纵方向(y方向)的亮度信息是每隔1个像素而形成的。优选对Δy_i，j乘以规定的系数(例如k=0.5)。

第1、第2图像I1、I2各自中，y方向的图像的亮度信息每隔1个像素而产生缺失。可以通过在y方向相邻的像素的亮度信息对缺失的像素的亮度信息进行插值来生成。例如，在图像中，在坐标(i，j+1)的亮度信息缺失的情况下，只要对坐标(i，j)和坐标(i，j+2)的亮度信息进行平均，对坐标(i，j+1)进行插值即可。在通过(式1)来求取坐标(i，j+1)的清晰度E的情况下，只要设定k=1即可，Δy_i，j成为规定大小的图像块内的坐标(i，j)处的像素的亮度值和坐标(i，j+1)的坐标的像素的亮度值(通过坐标(i，j+2)的亮度信息进行插值之后的值)的差值。通过(式2)的计算，规定大小的图像块内的亮度值的差越大，则获得越大的清晰度。

图像的清晰度能够利用上述的(式12)求出，但也可以基于对规定大小的块内的清晰度进行傅立叶变换之后的频谱而求出。

图25(a)至(c)表示尺寸为16×16的图像块的亮度分布。清晰度按图25(a)、(b)、(c)的顺序变小。图25(d)至(f)表示对图25(a)至(c)各自示出的图像块以二维方式进行傅立叶变换而得到的频谱。图25(d)至(f)中，为了容易理解，对各频谱的强度进行对数变换来显示，频谱越强则显示得越亮。各频谱中中央的亮度最高的位置是直流成分，越是接近于周边部则频率越高。

在图25(d)至(f)中，可知图像的清晰度越小则越是缺失高的频谱。因此，在根据这些频谱来求取清晰度时，例如通过提取频谱全体或者一部分从而能够求出清晰度。

图26是说明基于G1的清晰度对G2的清晰度进行清晰化的方法的图。图26(a)是作为被摄体的黑白图，图26(b)是表示(a)的被摄体的亮度的剖面的图。如图26(b)所示，图表的亮度的剖面为阶梯状，例如在将图表配置在从到达像素P1的光线最对焦的被摄***置向跟前偏移了少许之后的规定位置来进行摄像时，图像的亮度剖面如图26(c)那样。图26(c)的曲线中，G1是由像素P1生成的图像的亮度剖面，G2是由像素P2生成的图像的亮度剖面。这样，G1的亮度剖面比G2的亮度剖面更接近于图26(b)的实际的图表的亮度剖面，可以说清晰度更高。

在对清晰度高的G1的亮度剖面进行二次微分时，得到图26(d)的分布，能够检测出G1的图像的边沿。接下来，从图26(c)的G2的亮度分布中减去图26(d)的分布，由此得到图26(e)的分布，能够清晰化G2的亮度分布。在此，在减去图26(d)的分布时，通过对图26(d)的分布乘以规定的系数之后，从图26(c)的G2的亮度分布中减去结果，由此能够控制G2的清晰化程度。

在本实施方式中，为了简化说明，以一维方式进行了清晰化图像的说明，但由于图像是二维的，因此实际上以二维进行清晰化处理。

通过以上这种的图像处理，图24的实线所示的G2的清晰度能够清晰化成由虚线示出的G2’那样，能够使得所生成的图像清晰化。

图27是表示将图18中光学区域D2的表面从非球面形状置换为球面形状的情况下的被摄体距离与清晰度的关系的曲线。在这种情况下也与图24的情况同样，能够清晰化图像。

在本实施方式中，如图27所示，因被摄体距离而清晰度高的成分不同。因此，根据G1以及G2的亮度剖面检测各自的清晰度，选择清晰度高的成分，使其他的成分清晰化。

通过以上的图像处理，图27的实线所示的G1以及G2的清晰度分别能够清晰化成虚线所示的G1’以及G2’那样，能够对所生成的图像进行清晰化。

接下来，说明其他的图像清晰化方法。图28是说明基于对G2的清晰度清晰化之后的G2’来清晰化G1的清晰度的方法的图。光学区域D1、D2的结构与图24的情况相同，由通过了光学区域D2的光线形成的点像强度分布，在规定的被摄体距离范围内大致恒定。因此，提取像素P2(G2的成分)所形成的点像强度分布，在规定的被摄体距离范围内大致恒定。如果在规定的被摄体距离范围中点像强度分布大致恒定，则提取像素P2(G2的成分)所形成的图像能够与被摄体距离无关地基于规定的点像强度分布进行复原。

以下说明基于点像强度分布来复原摄影图像的方法。在将原图像设为f(x，y)，将点像强度分布设为h(x，y)时，摄影图像g(x，y)可由(式13)表示。

【式13】

$g(x,y)=f(x,y)\⊗h(x,y)$

其中，

表示卷积。

对(式13)的两边进行傅立叶变换时，成为(式3)。

【式3】

G(u，v)＝F(u，v)H(u，v)

在此，通过将(式14)的逆滤波器Hinv(u，v)应用于劣化图像G(u，v)，从而如(式15)那样求出原图像的二维傅立叶变换F(u，v)。通过对其进行逆傅立叶变换，从而能够获得原图像f(x，v)作为复原图像。

【式14】

$\mathrm{Hinv}(u,v)=\frac{1}{H(u,v)}$

【式15】

F(u，v)＝Hinv(u，v)G(u，v)

但是，在H(u，v)为0或者极小值时，Hinv(u，v)发散，因此利用(式16)那样的维纳滤波Hw(u，v)来复原劣化图像。

【式16】

$\mathrm{Hw}(u,v)=\frac{1}{H(u,v)}\frac{{\left|H(u,v)\right|}^2}{{\left|H(u,v)\right|}^2+{\left|N(u,v)\right|}^2/{\left|F(u,v)\right|}^2}$

在(式16)中，N(u，v)为噪声。通常，由于噪声和原图像F(u，v)是未知的，因此实际上利用常数k通过(式17)的滤波器来复原劣化图像。

【式17】

$\mathrm{Hw}(u,v)=\frac{1}{H(u,v)}\frac{{\left|H(u,v)\right|}^2}{{\left|H(u,v)\right|}^2+k}$

通过这样的复原滤波器，由图28的实线示出的G2的清晰度能够清晰化成以虚线示出的G2’那样。再有，与图26所述的方法同样地，对G2’的亮度剖面进行二次微分，从G1中减去其结果，由此G1的清晰度被清晰化，能够清晰化成由图28的虚线示出的G1’那样。

通过以上的图像处理，图28的实线所示的G2的清晰度、以及G1的清晰度能够清晰化成虚线所示的G2’以及虚线所示的G1’那样。通过这样的清晰化处理，较之图24所示的清晰化处理，能够扩大景深。

接下来，具体说明图22的步骤ST2的深度图生成。深度图是按摄影图像的每个规定区域(各运算块)求取被摄体距离而生成的。

图18所示的第2信号处理部C2，被输入提取像素P1(G1的成分)而得到的第1图像I1(图18所示)、和提取像素P2(G2的成分)而得到的第2图像I2。由于2个光学区域D1、D2的光学特性彼此不同，因此第1、第2图像I1、I2的图像的清晰度(利用亮度算出的值)因被摄体距离而不同。存储部Me(图18所示)中存储通过了光学区域D1、D2的各个区域的光的清晰度和被摄体距离之间的相关关系。第3信号处理部C3(图18所示)中，基于第1、第2图像I1、I2的清晰度和上述相关关系来获得到被摄体的距离。

在此，图24以及图28中的Z的范围表示G1变化、并且G2几乎不变化的区域。Z的范围中，能够利用这种关系来求取被摄体距离。例如，在Z的范围中，由于被摄体距离、和清晰度G1与G2之比存在相关，因此预先将被摄体距离与、清晰度G1、G2之比的相关关系存储在存储部Me中。

在使用摄像装置时，在一次摄像的结果所得到的数据(摄像图像)之中，按各运算块的每一个求出仅由像素P1(G1的成分)生成的第1图像I1和仅由像素P2(G2的成分)生成的第2图像I2的清晰度之比。并且，利用存储部Me中所存储的相关关系，求出被摄体距离。具体而言，按各运算块的每一块，比较上述相关关系中的清晰度之比、第1图像I1与第2图像I2的清晰度之比的值。并且，将与两者相一致的值对应的被摄体距离作为到摄影时的被摄体的距离。

为了根据仅由像素P1生成的第1图像I1的清晰度和仅由像素P2生成的第2图像I2的清晰度之比唯一地求出被摄体距离，需要清晰度之比在规定的被摄体距离范围内完全不同。

在图24、图27以及图28中，在Z的范围内，清晰度之比完全不同，因此能够唯一地求出被摄体距离。此外，在清晰度的值过低时，无法求出比值，因此，清晰度的值可以为固定值以上。

再者，被摄体距离与清晰度的关系由光学区域D1、D2的曲率半径、非球面系数、折射率来决定。也就是说，光学区域D1、D2，需要具有第1图像I1的清晰度和第2图像I2的清晰度之比在规定的距离范围内全部不同的这种光学特性。

再者，在本实施方式中，如果是利用亮度而算出的值(亮度信息)，则也可以利用清晰度以外的值、例如利用对比度来求出被摄体距离。对比度，例如能够根据规定的运算块内的最大亮度值与最低亮度值之比来求出。清晰度是亮度值的差值，相比之下，对比度是亮度值之比。既可以根据作为最大亮度值的一点和作为最低亮度值的一点之比来求出对比度，也可以根据例如亮度值的高位数点的平均值、和亮度值的低位数点的平均值之比来求出对比度。在利用对比度来求出被摄体距离的情况下，也与清晰度的情况同样，预先将被摄体距离和、对比度之比之间的相关关系存储在存储部Me中。按各运算块的每一个求出第1图像I1和第2图像I2的对比度之比，利用相关关系能够求出被摄体距离。

此外，在本实施方式中，也可以利用清晰度、对比度以外的值、例如点像强度分布来求取被摄体距离。以下，说明根据第1图像I1和第2图像I2来求出点像强度分布的方法。

利用上述的(式17)，对仅由像素P2(G2的成分)生成的第2图像I2进行复原时，求出与原图像f(x，v)极为接近的复原图像i2’(x，v)。在此，在将仅由像素P1(G1的成分)生成的第1图像设为i1(x，v)，将通过区域D1的光线的点像强度分布设为h1(x，v)时，I1(x，v)能够由(式18)表示。

【式18】

$i1(x,y)\≈{i2}^{\′}(x,y)\⊗h1(x,y)$

其中，

表示卷积。

在对(式18)的两边进行傅立叶变换时，成为(式19)。

【式19】

I1(u，v)≈I2′(u，v)H1(u，v)

在对(式19)进行变形时，如(式20)那样，求出点像强度分布h1(x，v)的频域的值H1(u，v)。

【式20】

$H1(u,v)\≈\frac{I1(u,v)}{{I2}^{\′}(u,v)}$

通过对其进行逆傅立叶变换，能够求出通过区域D1的光线的点像强度分布h1(x，y)。

通过区域D1的光线的点像强度分布h1(x，v)，因被摄体距离而变化，因此点像强度分布h1(x，v)和被摄体距离具有相关。能够利用该相关关系求出被摄体距离。

在以代表性的数值表示点像强度分布的情况下，例如可利用点像强度分布的直径。与清晰度、对比度的情况同样，预先将被摄体距离与点像的直径的相关关系存储在存储部Me中。按各块的每一个块根据第1图像I1和第2图像I2求出点像强度分布，通过根据点像强度分布求出点像的直径，从而利用相关关系能够求出被摄体距离。点像的直径例如能够根据点像强度分布的半值幅度来求取。

本实施方式在如图27那样使各区域的曲率半径彼此不同的情况下，也可以具备生成对第1图像I1和第2图像I2进行相加而得到的图像的结构。在通过第1图像I1和第2图像I2的相加而生成的图像中，清晰度为固定值以上的距离范围比第1图像以及第2图像大。该情况下，通过相加而生成的图像的清晰度与第1图像I1或者第2图像I2的任意图像的清晰度之比，与被摄体距离具有相关关系。预先存储该相关关系，能够按图像的每个规定区域求出被摄体距离。

在算出摄影图像的被摄体距离，并以单色的亮度值(例如256灰度)表示被摄体距离时，得到表示进深信息的图像。该图像是深度图。图29(a)是本实施方式的被摄体图像(摄像图像)，图29(b)是图29(a)的被摄体图像的深度图。由256灰度进行显示，越白则意味着越在跟前存在被摄体，而越黑则意味着越在进深处存在被摄体。图29(b)中，检验图案的完全黑的位置是测距中的错误位置。这是因为在被摄体图像中具有宽的均匀的亮度值的位置在其中央附近不产生清晰度变化，而无法进行测距。但是，即便是无法测距的位置，也不会影响重新聚焦图像的生成。其原因在于，在具有宽的均匀的亮度值的范围的中央附近，不管有无重新聚焦的计算，图像的清晰度都不变化。深度图未必是256灰度。也可以是16位(65536灰度)的图像，也未必是图像数据，也可以是与距离相应的数值数据。此外，也可以包含负值，只要表示出被摄体的相对的位置关系即可。

接下来，具体说明图22的步骤ST3的PSF的生成。PSF是例如按每个被摄***置(被摄体距离)而生成的。再有，也可以按每个视场角(像素或者规定的区域)而生成PSF。

也可以由数学式表示PSF的形状。例如，是(式21)所示的高斯分布(高斯函数)。这是因为将任意的被摄***置的PSF应用于数学式通过简单的计算就能够逐次得到，而无需事先将庞大的被摄体PSF数据存储在存储器中。

【式21】

$\mathrm{Weight}(i,j)=\exp (-\frac{i^2+j^2}{{2\mathrm{\σ}}^2})$

σ＝k·d+0.001

在此，i是PSF的横方向的坐标，j是PSF的纵方向的坐标，(i，j)＝(0，0)表示PSF的中心。此外，Weight(i，j)表示i、j处的PSF的强度(权重)，d是被摄体距离，将最佳聚焦位置表示为原点(d＝0)。在此，所谓“最佳聚焦位置”是指PSF的强度变化极大的被摄体的位置(被摄体距离)。在“PSF的强度变化”大的情况下，PSF的峰值尖锐，例如峰值的半值幅度小。另一方面，在“PSF的强度变化”小的情况下，PSF的峰值平缓，例如峰值的半值幅度大。此外，k是增益调整用的系数，调整PSF的强度变化。对σ相加“0.001”，但这是(i，j)＝(0，0)时的防止发散用的常数，设定相对于k·d充分小的值。该常数未必是“0.001”，可以适当变更。

图30是通过(式21)的高斯分布而求出的PSF剖面强度分布。设定为j＝0、i＝-5～5、σ＝14而描绘曲线。在i＝0、j＝0时，PSF的强度最大，是左右对称(旋转对称)的分布。尽管PSF的强度分布也未必是旋转对称，但为了生成没有偏斜的自然的重新聚焦图像，优选是旋转对称。

PSF的强度的变化(清晰度)通过k来进行调整。需要设定成：在被摄***置为最佳聚焦位置的情况下PSF最尖锐，随着远离最佳聚焦位置而变得平缓。将哪个被摄***置作为最佳聚焦位置可以任意设定。最佳聚焦位置既可以用户从外部输入，也可以由第2信号处理部C2决定。在用户决定最佳聚焦位置的情况下，用户可以选择图像上的区域，第2信号处理部C2求出用户所选择的区域的被摄体距离，将其设定为最佳聚焦位置。或者，用户也可以直接选择被摄体距离。一旦决定了最佳聚焦位置，则将该被摄***置作为原点。

图31是与被摄***置d2对焦的情况下的PSF剖面强度分布的变化的示意图。在图31(a)中，在略微远离被摄***置d2的位置即被摄***置d3，PSF的强度的倾斜度相对于被摄***置d2的倾斜度而变得平缓。在进一步远离的被摄***置d1，PSF的强度的倾斜度变得更加平缓。在(式21)中，将d的原点(＝0)设定为最佳聚焦位置，从而被摄***置越是远离最佳聚焦位置则σ的绝对值越大，可将PSF强度的倾斜度设定得平缓。此外，通过在(式21)中增大k的值，能够调整PSF的强度分布相对于被摄***置的变化程度。图31(b)是将k的值设定得大于图31(a)的情况。(b)较之(a)，PSF的强度分布相对于被摄***置更急剧变化，在相同的被摄***置d1(或者d3)处比较PSF的强度分布时，(b)成为更平缓的倾斜度。这样，可以适当调整k的值，调整后述的图像的虚化的变化。此外，(式21)的σ的式相对于d而线性变化，但除了线性函数以外也可以使用2次函数、多项式等的非线性的函数。通过使用非线性的函数，能够对PSF相对于被摄***置d的强度变化、即虚化的变化进行非线性调整。

图31中表示PSF强度的一剖面，但PSF是在进深方向也存在的二维数据。在实际的计算中可以使用图32所示的这种强度的二维矩阵。将(i，j)＝(0，0)作为原点从而通过(式21)能够求出。优选矩阵的行数和列数相同，优选分别是奇数。这是因为：能够在矩阵的中心设定1个位置的原点，能够形成以此为轴的旋转对称的PSF。尽管矩阵的行数/列数是任意的，但越大越能够增加虚化量。另一方面，越是减少矩阵的行数/列数则越能够缩短计算时间。图32(a)是3×3矩阵的PSF强度的二维分布，(b)是5×5矩阵的PSF强度的二维分布，(c)是7×7矩阵的PSF强度的二维分布。与图30同样，设定为σ＝1.4来进行求取。矩阵内的值最好进行归一化以使得矩阵整体的累计值为1。具体而言，在以(式21)算出数值后，求出矩阵内的所有成分的累计值，各成分除以其累计值从而能够计算出各值。进行归一化的理由是，为了防止此后的重新聚焦时的卷积后的图像的亮度变化。通过将PSF的强度累计值归一化为1，从而能够在重新聚焦的前图像和后图像中将图像的明亮度保持在固定。PSF数据的归一化可以在PSF算出时实施，也可以在重新聚焦处理之前实施。此外，作为参考，图33(a)中表示将图32(c)的7×7矩阵的PSF强度分布的数值数据表现为256灰度来进行图像化的情况。同样，图33(b)是图32(c)的三维曲线。

在PSF的计算中，可以不使用数学式而使用光学***所具有的实际的PSF值，但该情况下，由于需要通过仿真每隔固定间隔预先计算每个被摄体距离的PSF，因此作为数据库需要庞大的存储器。另一方面，通过使用由数学式表现的高斯分布在重新聚焦计算时能够生成任意的被摄***置的PSF，可节约存储器，并且有助于缩短计算时间。此外，在由高斯分布表现时，在被摄***置为最佳聚焦位置时的PSF中，中心为1而周围为0，不会使得最佳聚焦位置的图像劣化。换言之，最佳聚焦位置的PSF的强度变化比其他的被摄***置的PSF的强度变化大，随着在被摄体距离方向上远离最佳聚焦位置，PSF的强度变化变小。

再者，表示PSF的数学式可以是高斯分布以外的公式。例如可以是包含高阶次数的非球面式。

接下来，说明图22的步骤ST4的重新聚焦图像的生成。该处理利用步骤ST2中求出的被摄体距离、和步骤ST3中生成的PSF来进行。在第3信号处理部C3中实施该处理。使其与图29(b)的深度图对应，同时针对清晰化图像的各像素实施PSF的卷积处理。例如，在假定深度图的某个像素(i，j)=(i0，j0)处的被摄***置为图31的d1时，针对以清晰化图像的像素(i0，j0)为中心的矩阵(=与PSF同一矩阵数的矩阵)，利用相应的d1的PSF来进行卷积运算。针对清晰化图像的所有像素实施该操作。通过该处理，相比于清晰化图像是在任意的被摄***置处都为图像的虚化较少的状态的图像，而重新聚焦图像成为仅与所希望的位置良好地对焦、而其他位置被虚化的具有鲜明感的图像。

图34是基于图29(b)的深度图对图29(a)的被摄体图像进行重新聚焦的图像。将最佳聚焦位置(相当于图31的d2)设为跟前的桔子，将PSF的矩阵的区域设为15×15、k=1来进行处理。图29(a)中，是一样地进行对焦的图像，但图34的重新聚焦图像在跟前进行聚焦，而其他的背景随着变远而越来越虚化。再者，图29(b)中，成为测距检测失败的位置可以通过其他例外处理而省略重新聚焦处理。或者，也可以通过适当的被摄体距离的值来实施重新聚焦的生成。这是因为：由于亮度值为固定的区域，因此不管有无实施重新聚焦，清晰度都不会变化，

再者，在本实施方式中，可以仅进行步骤ST1之中的求出图像的清晰度(亮度信息)的处理，而省略图像的清晰化处理。该情况下，可以针对从传感器(光电二极管)获取的图像(摄像图像)，直接实施重新聚焦处理。在此，从传感器获取的图像可以是图18所示的第1、第2图像I1、I2，也可以是包含来自第1、第2像素P1、P2的图像在内的图像。在省略清晰化处理的情况下，可以使用图28中清晰度更高的G1的图像(第1图像I1)。这种处理在想要对已虚化的位置进一步进行强调虚化的情况下特别有效。

此外，也可以仅对图像的特定区域实施重新聚焦处理。仅对想要虚化的位置进行处理，能够缩短计算时间。

此外，也未必使用PSF，例如可以仅对想要虚化的区域实施平均化滤波等的空间滤波处理来形成虚化。此外，可以仅对想要清晰化的区域实施清晰化滤波等的空间滤波处理，使得目的被摄体图像变得清洗。在这些情况下，只要不进行图22所示的流程图的步骤ST3，而在步骤ST4中基于深度图决定想要虚化的区域(或者想要变清晰的区域)并进行空间滤波处理即可。

在此，说明省略了图22的步骤ST1中的清晰化处理的情况下的、重新聚焦图像生成方法的一例。

在步骤ST1中，在求出图像的亮度信息之后，检测清晰度最高的(处于对焦的)规定区域。然后，基于步骤ST2中所生成的深度图，根据距检测为清晰度最高的区域的被摄体之间的距离，按每个规定区域来进行虚化处理。例如，进行虚化处理，使得距被检测为清晰度最高的区域的被摄体的距离越远的区域的虚化程度，比越近的区域越大。由此，能够针对没有对焦而处于虚化的位置进一步进行强调虚化。此外，也可以利用复原滤波器或空间滤波器对被检测为清晰度最高区域的区域进行清晰化。由此，能够进一步强调摄影图像中的清晰区域和虚化区域。再者，在该方法中，在利用复原滤波器进行清晰化的情况下，作为所使用的PSF(点像强度分布)，可以是根据函数而被保持的，也可以保持并使用根据光学***的特性按每个被摄体距离预先求出的。此外，进一步希望保持并使用每个视场角的PSF。这是为了实现精度更高的清晰化。

此外，对于图像的端部的卷积，由于原图像的像素不足因此可以进行其他分支计算处理。例如，可以根据图像端部的一部分晕影(vignetting)来相应地使用PSF的一部分来进行计算。

作为PSF的卷积运算处理，也可以使用傅立叶变换。例如，最好使用DFT(Discrete Fourier Transform，离散傅立叶变换)或FFT(Fast FourierTransform，快速傅立叶变换)，能够缩短计算时间。这在被摄体距离固定的区域(规定的区域)较宽的情况下特别有效，将被摄体距离固定的区域作为1个块来进行运算。例如，生成与所运算的图像的块尺寸一致的PSF矩阵，对其分别进行傅立叶变换，在频率空间上进行计算。若进行傅立叶变换，则卷积运算由于能够在频率空间上以各成分间的积进行计算，因此计算量骤减。在频率空间上取积之后，对其进行逆傅立叶变换，从而能够获得与进行卷积运算的结果同样的图像。

再者，本实施方式的摄像装置的光学***可以是像侧远心光学***。由此，即便视场角变化，由于阵列状光学元件K的主光线入射角也以接近于0度的值入射，因此在摄像区域整个区域，能够降低到达像素P1以及P2的光束间的串扰。

此外，如前述，在本实施方式中，为了简化说明，假定透镜L2为理想透镜进行了说明，但也未必使用理想透镜。

此外，在本实施方式中，光学元件L1与透镜L2相分离，但也可以是在透镜L2设置光学区域D1、D2而除去光学元件L1的结构。该情况下，光圈S可以配置在透镜L2的光学区域D1、D2的附近。

如以上，在本实施方式中，通过使用单个摄像***的(例如一次)摄像，能够获取图像和被摄体距离的双方。由于能够按各运算块的每一个算出被摄体距离，因此能够获取图像的任意位置的被摄体距离。因此，也能够获取图像整个区域的深度图。由此，在进行了摄影之后，能够与图像中的全部的被摄体对焦。

此外，由于能够通过单个摄像***获得到被摄体的距离，因此无需如使用多个摄像光学***的摄像装置那样使得多个摄像光学***间的特性、位置一致。此外，在使用本实施方式的摄像装置拍摄运动图像的情况下，即便随着时间经过而被摄体的位置发生变化，也能够测量到被摄体的正确的距离。

(实施方式5)

本实施方式5与实施方式4的不同点在于，断续地设置了多个地方的最佳聚焦位置。在此，本实施方式中省略与实施方式4同样的内容的详细说明。

在本实施方式中，如图35所示，将最佳聚焦位置设定在2个地方或者任意的多个地方。除了位置d2以外，位置d4也设定为最佳聚焦位置。位置d5位于位置d2和位置d4之间，但PSF的强度分布比位置d2、d4平缓。“断续地设置多个位置的最佳聚焦位置”是指，存在多个PSF的强度变化为极大的点(最佳聚焦位置)，该多个最佳聚焦位置之间的PSF的强度变化比最佳聚焦位置的强度变化小。再者，多个最佳聚焦的PSF的强度变化的大小彼此可以不同。

在将最佳聚焦位置设置为两处时，(式21)中由4次函数表示σ。也未必使用4次函数，可以使用4次以上的次数，还可以使用指数或对数表现。如果使用图35所示的方法，在对附近为1人、远方为1人的共计2人的人物进行摄影而得到的图像中，能够对附近、远方的双方人物进行对焦，使得除此以外的背景虚化。这是在现有的光学***中无法实现的技术。例如甚至连由Fno非常小的单反式照相机得到的虚化效果，也只能在附近、远方或者两者之间的任意一个位置的被摄***置处进行对焦。此外，并不限定于任意的2个地方，也可以将2个以上的多个地方的物体设定为最佳聚焦，而使除此以外的部分虚化。

(实施方式6)

本实施方式6与实施方式4的不同点在于，对像素配备了具有分光透过率特性的滤波器。在此，本实施方式中省略与实施方式4同样的内容的说明。

图36是表示实施方式6的摄像装置A的示意图。本实施方式的摄像装置A具备：以V为光轴的镜头光学***L、在镜头光学***L的焦点附近配置的阵列状光学元件K、摄像元件N、第2信号处理部C2、第3信号处理部C3、第1信号处理部C1、和存储部Me。

图37(a)是放大表示图36所示的阵列状光学元件K以及摄像元件N的图，图37(b)表示阵列状光学元件K与摄像元件N上的像素的位置关系的图。阵列状光学元件K被配置成形成了光学要素M1的面朝向摄像面Ni侧。在摄像面Ni，像素P配置成矩阵状。像素P能够区别为像素P1、P2、P3以及P4。

在像素P1以及P2配备具有第1分光透过率特性的滤波器，主要使绿色频带的光线通过，吸收其他频带的光线。在像素P3配备具有第2分光透过率特性的滤波器，主要使红色频带的光线通过，吸收其他频带的光线。此外，在像素P4配备具有第3分光透过率特性的滤波器，主要使蓝色频带的光线通过，吸收其他频带的光线。

像素P1以及像素P3各自在相同的行中交替配置。此外，像素P2以及像素P4各自在相同的行中交替配置。像素P1和P3的行、像素P2和P4的行在纵方向(列方向)交替配置。这样，各个多个像素P1、P2、P3以及P4形成拜尔排列。在以拜尔排列配置像素P1、P2、P3以及P4的情况下，都具有使绿色频带的光透过的滤波器的像素P1以及像素P2，在摄像面Ni的面内配置在倾斜的位置。像素P3和像素P4的位置可以是相反的。

阵列状光学元件K被配置成：该光学要素M1的一个与由摄像面Ni上的1行像素P1、P3以及1行像素P2、P4构成的2行的像素对应。在摄像面Ni上，设置微透镜Ms以覆盖像素P1、P2、P3以及P4的表面。

阵列状光学元件K被设计成：通过了光学元件L1上的光学区域D1(图36、图19所示)的光束B1(图36中实线所示的光束B1)的大部分到达摄像面Ni上的像素P1以及P3，通过了光学区域D2的光束(图36中虚线所示的光束B2)的大部分到达摄像面Ni上的像素P2以及P4。具体而言，通过适当设定阵列状光学元件K的折射率、距摄像面Ni的距离及光学要素M1表面的曲率半径等的参数，实现上述结构。

光圈S是全部视场角的光束通过的区域。因此，通过在光圈S的附近***具有控制对焦特性的光学特性的面，从而能够同样地控制整个视场角的光束的对焦特性。即，在本实施方式中，光学元件L1可以设置在光圈S的附近。将彼此具有使对焦特性不同的光学特性的光学区域D1、D2配置在光圈S的附近，从而能够将与区域的分割数相应的对焦特性赋予光束。

图36中，光学元件L1被设置在通过了光学元件L1的光直接(不经其他光学部件)入射至光圈S的位置。光学元件L1也可以较之光圈S而设置在摄像元件N侧。该情况下，光学元件L1可以设置在光圈S与透镜L2之间，通过了光圈S的光直接(不经由其他光学部件)入射至光学元件L1。

此外，阵列状光学元件K具有根据光线的入射角来分配出射方向的功能。因此，能够对摄像面Ni上的像素分配光束，使得与在光圈S的附近被分割的光学区域D1、D2对应。

第1信号处理部C1(图36所示)，利用多个像素P1、P2、P3以及P4的亮度信息来生成彩色图像。以下，具体说明生成彩色图像的方法。

在图36的摄像装置A的光学***中，假定光学区域D1具有平面，光学面区域D2具有非球面形状。此外，为了简化说明，假定透镜L2是没有像差的理想透镜来进行说明。

由于光学区域D1的表面是平面，因此如图23的曲线中实线所示那样。不会产生由通过了光学区域D1和透镜L2的光线引起的球面像差。在没有球面像差的情况下，随着偏移焦点而点像强度分布变化。即，随着被摄体距离的变化而点像强度分布发生变化。

此外，根据光学区域D2的非球面形状，通过了光学区域D2和透镜L2的光线引起的球面像差如图23的虚线所示的曲线那样。通过调整光学区域D2的非球面形状，从而能够提供这种球面像差。通过这样的球面像差，在镜头光学***L的焦点附近的规定的范围内，能够使得通过了光学区域D2的光线的点像强度分布大致恒定。即，在规定的被摄体距离范围内能够使点像强度分布大致恒定。

随着点像强度分布的变化，清晰度也发生变化。由于点像的大小越小则图像的清晰度越增加，因此在以曲线表示被摄体距离和清晰度的关系时，成为图38这种的关系。在图38的曲线中，G1、R分别表示由像素P1(绿色的成分)、P3(红色的成分)生成的图像的规定区域的清晰度，G2、B分别表示由像素P2(绿色的成分)、P4(蓝色的成分)生成的图像的规定区域的清晰度。

清晰度能够基于规定的大小的图像块内相邻的像素间的亮度值的差值而求出。此外，也能够基于对规定大小的图像块的亮度分布进行傅立叶变换后的频谱而求出。

在将规定大小的块内的清晰度设为E，按像素P1、P2、P3、以及P4的每个成分基于相邻的像素间的亮度值的差值来求取清晰度的情况下，例如使用(式22)。

【式22】

$E=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\sqrt{{\left({\mathrm{\Δx}}_{i,j}\right)}^2+{\left({\mathrm{\Δy}}_{i,j}\right)}^2}$

如前述，由于像素P1、P2、P3、以及P4形成拜尔排列，因此为了求出各个成分的清晰度，在图像的x方向、y方向都提取每隔1像素的像素信息来计算。

在(式22)中，△x_i，j是规定大小的图像块内的坐标(i，j)处的像素的亮度值和坐标(i+2，j)的坐标的像素的亮度值的差值，Δy_i，j是规定大小的图像块内的坐标(i，j)处的像素的亮度值和坐标(i，j+2)处的坐标的像素的亮度值之间的差值。

通过(式22)的计算，规定大小的图像块内的亮度值的差越大，则得到越大的清晰度。

在生成彩色图像的情况下，也可以以像素P1、P2、P3、以及P4的亮度信息为基础，仅按每个像素位置补齐所缺失的颜色信息来生成彩色图像，但如图38那样，由于G2、B的清晰度比G1、R的清晰度小，因此也可以在对G1、R的清晰度进行清晰化后生成彩色图像。

图39是说明基于G1、R的清晰度来对G2、B的清晰度进行清晰化的方法的图。图39(a)是作为被摄体的黑白图表，图39(b)是表示(a)的被摄体的亮度的剖面的图。如图39(b)所示，图表的亮度的剖面是阶梯状，但例如在将图表配置在距到达像素P1、P3的光线最对焦的被摄***置向跟前偏移少许的规定位置来进行摄像时，图像的亮度剖面成为图39(c)那样。在图39(c)的曲线中，G1、R分别是由像素P1(绿色的成分)、P3(红色的成分)生成的图像的亮度剖面，G2、B分别是由像素P2(绿色的成分)、P4(蓝色的成分)生成的图像的亮度剖面。这样，G1、R的亮度剖面较之G2、B的亮度剖面，可以说接近于图39(b)的实际图表的亮度剖面，清晰度更高。

在拍摄图39(a)这种的黑白图表的情况下，G1的亮度剖面和R的亮度剖面成为大致相同的剖面，但实际上由于拍摄所有颜色成分的被摄体图像，因此大部分情况下图39(c)的G1、R的亮度剖面不一致。因此，可以根据G1、R的亮度剖面检测各自的清晰度，选择清晰度高的颜色成分，使G2、B的亮度剖面清晰化。在选择清晰度高的亮度剖面，对该亮度剖面进行二次微分时，得到图39(d)的分布，能够检测清晰度高的颜色成分的图像边沿。接下来，从图39(c)的G2、B各自的亮度分布中减去图39(d)的分布，得到图39(e)的分布，能够使得G2、B的亮度分布清晰化。在此，在减去图39(d)的分布时，在对图39(d)的分布乘以规定系数之后，从图39(c)的G2、B的亮度分布中减去结果，由此能够控制G2、B的清晰化程度。

在本实施方式中，为了简化说明，以一维进行清晰化图像的说明，但由于图像是二维的，因此实际上以二维进行清晰化处理。

通过以上的图像处理，能够使图38的实线所示的G2、B的清晰度清晰化成虚线所示的G2’、B’，能够对所生成的彩色图像清晰化。

图39是表示在图36中将光学区域D2的表面从非球面形状置换为球面形状的情况下的被摄体距离和清晰度的关系的曲线。在这种的情况下，也能够与图38的情况同样地对彩色图像清晰化。

在本实施方式中，如图40所示，清晰度高的颜色的成分因被摄体距离而不同。因此，根据G1、G2、R、以及B的亮度剖面检测各自的清晰度，选择清晰度最高的颜色成分，对其他的颜色成分进行清晰化。

通过以上的这种图像处理，图40的实线示出的G1、G2、R、以及B的清晰度分别能够清晰化成虚线所示的G1’、G2’、R’、以及B’那样，能够对所生成的彩色图像进行清晰化。

接下来，说明其他的图像清晰化手法。图41是说明基于对G2、B的清晰度进行清晰化之后的G2’、B’来清晰化G1、R的清晰度的方法的图。光学区域D1、D2的结构与图38的情况相同，由通过了光学区域D2的光线形成的点像强度分布在规定的被摄体距离范围内大致恒定。因此，分别提取像素P2(G2的成分)、P4(B的成分)而形成的点像强度分布，在规定的被摄体距离范围内大致恒定。如果在规定的被摄体距离范围中点像强度分布大致恒定，则分别提取像素P2(G2的成分)、P4(B的成分)而形成的图像，能够与被摄体距离无关地基于规定的点像强度分布进行复原。

以下说明基于点像强度分布复原摄影图像的方法。在将原图像设为f(x，y)，将点像强度分布设为h(x，y)时，摄影图像g(x，y)能够由(式23)表示。

【式23】

$g(x,y)=f(x,y)\⊗h(x,y)$

其中，

表示卷积。

在对(式23)的两边进行傅立叶变换时，成为(式24)。

【式24】

G(u，v)＝F(u，v)H(u，v)

在此，通过将(式25)的逆滤波器Hinv(u，v)应用于劣化图像G(u，v)，从而如(式26)那样求出原图像的二维傅立叶变换F(u，v)。通过对其进行逆傅立叶变换，从而能够得到原图像f(x，y)作为复原图像。

【式25】

$\mathrm{Hinv}(u,v)=\frac{1}{H(u,v)}$

【式26】

F(u，v)＝Hinv(u，v)G(u，v)

但是，在H(u，v)为0或者极小的值时，由于Hinv(u，v)发散，因此，利用(式27)这种的维纳滤波器Hw(u，v)来复原劣化图像。

【式27】

$\mathrm{Hw}(u,v)=\frac{1}{H(u,v)}\frac{{\left|H(u,v)\right|}^2}{{\left|H(u,v)\right|}^2+{\left|N(u,v)\right|}^2/{\left|F(u,v)\right|}^2}$

在(式27)中，N(u，v)为噪声。通常由于噪声和原图像F(u，v)是未知的，因此实际上利用常数k通过(式28)的滤波器来复原劣化图像。

【式28】

$\mathrm{Hw}(u,v)=\frac{1}{H(u,v)}\frac{{\left|H(u,v)\right|}^2}{{\left|H(u,v)\right|}^2+k}$

通过这样的复原滤波器，图41的实线所示的G2、B的清晰度能够清晰化成虚线所示的G2’、B’那样。进而，与图39所示的方法同样，根据G2’、B’的亮度剖面检测各自的清晰度，对清晰度高的颜色成分的亮度剖面进行二次微分，从G1、R中减去其结果，G1、R的清晰度得到清晰化，能够清晰化成图41的虚线所示的G1’、R’那样。

通过以上的图像处理，图41的实线所示的G2、B的清晰度、以及G1、R的清晰度能够清晰化成虚线所示的G2’、B’以及虚线所示的G1’、R’那样，能够对所生成的彩色图像进行清晰化。通过这样的清晰化处理，较之图38所示的清晰化处理，能够扩大景深。

再者，本实施方式的摄像装置的光学***可以是像侧远心光学***。由此，即便是视场角变化，阵列状光学元件K的主光线入射角也以接近于0度的值入射，因此，在摄像区域整个区域能够降低到达像素P1、P2、P3、以及P4的光束间的串扰。

此外，如前述，在本实施方式中，为了简化说明而将透镜L2作为理想透镜来进行说明，但也可以不使用理想透镜。例如，不是理想透镜的透镜具有轴上色差，但如前述那样，由于能够选择清晰度高的颜色成分来清晰化其他的颜色成分，因此即便不是理想透镜，也能够生成清晰度的彩色图像。此外，在求取被摄体距离的情况下，由于基于单个颜色成分(本实施方式中绿色的成分)来求取距离，因此也可以具有轴上色差。

此外，本实施方式中光学元件L1与透镜L2相分离，但可以是在透镜L2设置光学区域D1、D2而除去光学元件L1的结构。该情况下，光圈S可以配置在透镜L2的光学区域D1、D2的附近。

如以上，在本实施方式中，通过使用单个摄像***的(例如一次)摄像，能够获取彩色图像和被摄体距离的双方。对于被摄体距离，由于能够按各运算块的每一个来算出，因此能够获取彩色图像的任意位置的被摄体距离。因此，也能够获取图像整个区域的深度图。此外，由于能够通过单个摄像***获得到被摄体的距离，因此无需如使用多个摄像光学***的摄像装置那样使得多个摄像光学***间的特性、位置一致。此外，在使用本实施方式的摄像装置拍摄运动图像的情况下，即便随着时间经过而被摄体的位置发生变化，也能够测量到被摄体的正确的距离。

此外，重新聚焦在R、G、B各成分中能够与实施方式4同样地实施。具体而言，在图22所示的步骤ST1中，对于RBG的各个颜色，求出亮度信息(清晰度等)，根据需要对RBG之中清晰度低的颜色进行清晰化。接下来，在步骤ST2中求出到被摄体的距离。进而，利用在第1信号处理部C1中生成的彩色图像来生成深度图。接下来，在步骤ST3中，基于最佳聚焦位置，按每个被摄***置生成PSF。此时，只要针对RGB的3色生成1个PSF即可。不过，考虑轴上色差等，也可以针对RGB分别生成PSF。接下来，在步骤ST4中，能够生成任意的被摄***置的彩色的重新聚焦图像。

(实施方式7)

本实施方式7与实施方式6的不同点在于：使光学元件L1的区域分割的面积不同，将阵列状光学元件从双凸透镜置换为微透镜。在此，本实施方式中省略与实施方式4至6同样的内容的详细说明。

图42是从被摄体侧观察光学元件L1的主视图，光学元件L1被分割为光学区域D1和D2。此外，光学区域D2进一步被分割为子光学区域d2A、d2B以及d2C。如图42所示，光学区域D1、子光学区域d2A、d2B以及d2C以光轴V为边界中心在垂直于光轴V的面内被上下左右4分割。光学区域D1和D2彼此具有使对焦特性不同的光学特性。

图43是阵列状光学元件K的立体图。在阵列状光学元件K的摄像元件N侧的面，光学要素M2被配置成栅格状。各个光学要素M2的剖面(纵方向以及横方向的各个剖面)为圆弧状，各个光学要素M2向摄像元件N侧突出。这样，光学要素M2为微透镜，阵列状光学元件K为微透镜阵列。

图44(a)是放大表示阵列状光学元件K和摄像元件N的图，图44(b)是表示阵列状光学元件K和摄像元件N上的像素的位置关系的图。阵列状光学元件K与实施方式4同样配置在镜头光学***L的焦点附近，并且配置在距摄像面Ni规定距离的位置。此外，在摄像面Ni上设置微透镜Ms以使得覆盖像素P1、P2、P3、以及P4的表面。

在像素P1、P2、P3、以及P4分别配备具有与实施方式6相同的分光透过率特性的滤波器。

此外，阵列状光学元件K被配置成形成了光学要素M2的面朝向摄像面Ni侧。阵列状光学元件K被配置成该光学要素M2的一个与摄像面Ni的2行2列的像素P1～P4的4个像素对应。

通过这样的结构，通过了图42所示的光学元件L1的光学区域D1以及子光学区域d2A、d2B、以及d2C的光束的大部分分别到达摄像面Ni上的像素P1、像素P2、像素P3、以及像素P4。

与实施方式6同样，通过第1信号处理部C1利用多个像素P1、P2、P3以及P4的亮度信息来生成彩色图像。以下，具体说明生成彩色图像的方法。

在图42中，光学区域D1具有非球面，子光学区域d2A、d2B、以及d2C全部具有平面。此外，为了简化说明，假定透镜L2是没有像差的理想透镜来进行说明。

通过光学区域D1的非球面形状，能够与实施方式4同样地在镜头光学***L的焦点附近的规定范围内使通过了光学区域D1的光线的点像强度分布大致恒定。即，在规定的被摄体距离范围内能够使点像强度分布大致恒定。

此外，由于光学区域D2是平面，因此与实施方式6同样不会产生球面像差。在没有球面像差的情况下，随着从焦点偏移而点像强度分布变化。即，随着被摄体距离的变化而点像强度分布发生变化。

与实施方式6同样，在以曲线表示被摄体距离和清晰度的关系时，成为图45那样的关系。在图45的曲线中，G1表示由像素P1(绿色的成分)生成的图像的规定区域的清晰度，G2、R、以及B分别表示像素P2(绿色的成分)、P3(红色的成分)以及P4(蓝色的成分)生成的图像的规定区域的清晰度。

在生成彩色图像的情况下，与实施方式6同样，可以以像素P1、P2、P3、以及P4的亮度信息为基础，按每个像素位置仅补齐所缺失的颜色信息来生成彩色图像，但由于如图45那样G1的清晰度比G2、R、以及B的清晰度小，因此可以与图26中所说明的方法同样，在使G1的清晰度清晰化后生成彩色图像。

通过以上的这种图像处理，能够提高图45中实线所示的G1的清晰度成为虚线所示的G1’那样，能够使得所生成的彩色图像清晰化。

图46是表示在图45中将光学区域D1的光学面从非球面形状置换为球面形状的情况下的被摄体距离和清晰度的关系的曲线。在这种情况下，也能够与图45的情况同样地对彩色图像清晰化。

在本实施方式中，如图46所示，因被摄体距离而清晰度高的颜色成分不同。因此，根据G1、G2、R、以及B的亮度剖面检测各自的清晰度，选择清晰度最高的颜色成分，对其他颜色成分进行清晰化。

通过以上的这种的图像处理，图46的实线所示的G1、G2、R、以及B的清晰度分别能够清晰化成虚线所示的G1’、G2’、R’、以及B’那样，能够对所生成的彩色图像进行清晰化。

接下来，说明其他的图像清晰化手法。图46是说明基于对G1的清晰度清晰化之后的G1’来清晰化G2、R、B的清晰度的方法的图。光学区域D1的结构与图45的情况相同，由通过了光学区域D1的光线所形成的点像强度分布在规定的被摄体距离范围内大致恒定。因此，提取像素P1(G1的成分)而形成的点像强度分布在规定的被摄体距离范围内大致恒定。如果在规定的被摄体距离范围中点像强度分布大致恒定，则提取像素P1(G1的成分)而形成的图像，能够与被摄体距离无关地基于规定的点像强度分布进行复原。

通过实施方式6中说明的复原滤波器，图47的实线所示的G1的清晰度能够清晰化成虚线所示的G1’那样。进而，与图26中示出的方法同样，对G1’的亮度剖面进行二次微分，从G2、R、以及B中减去其结果，G2、R、以及B的清晰度得到清晰化，能够清晰化成图47的虚线所示的G2’、R’、以及B’那样。

再者，在本实施方式中，光学元件L1和透镜L2彼此分离，但也可以是在透镜L2设置光学区域D1、D2而除去光学元件L1的结构。该情况下，光圈S可以配置在透镜L2的光学区域D1、D2的附近。

此外，如前述，在本实施方式中，为了简化说明，将透镜L2假定为理想透镜来进行了说明，但也可以不使用理想透镜。例如，尽管不是理想透镜的透镜具有轴上色差，但可以构成为利用光学元件L1来修正轴上色差。在本实施方式中，图42中，假定光学元件L1的光学区域d2A、d2B、以及d2C全部具有平面，但各自具有不同的光学面，由此能够修正轴上色差。如前述，通过了子光学区域d2A、d2B、以及d2C的光线分别到达像素P2、像素P3、以及像素P4。由于像素P2、像素P3、以及像素P4各自具有主要使绿色、红色、以及蓝色的波长成分通过的滤波器，因此在透镜L2中应用具有轴上色差的透镜的情况下，子光学区域d2A、d2B、以及d2C可以使各自的区域面上的光学功率不同，以使各像素所设置的滤波器的波段处的对焦位置相等。通过这种结构，较之子光学区域d2A、d2B以及d2C具有相等的光学功率的情况，由于能够使通过了子光学区域d2A、d2B以及d2C的光的对焦位置彼此接近，因此，能够由光学元件L1修正在透镜L2所产生的轴上色差。通过由光学元件L1来修正轴上色差，从而能够减少构成透镜L2的透镜个数，使得光学***小型化。

通过以上的这种图像处理，图47的实线所示的G1的清晰度、以及G2、R、B的清晰度能够清晰化成虚线所示的G1’、以及虚线所示的G2’、R’、B’那样，能够使得所生成的彩色图像清晰化。通过这样的清晰化处理，较之图45所示的清晰化处理，能够扩大景深。

在本实施方式中，相对于实施方式6，仅仅是清晰度G1与清晰度G2的关系相反，测量到被摄体的距离的方法能够同样地实施。此外，获取重新聚焦图像的方法也与实施方式6同样地实施。

如以上，在本实施方式中，与实施方式6同样，通过利用单个摄像***的(例如一次的)摄像，就能够获取彩色图像和被摄体距离这两者，并且能够生成重新聚焦图像。

(实施方式8)

本实施方式8与实施方式7的不同点在于，将滤色器设置在光圈附近，在摄像面上不设置滤色器。在此，本实施方式中省略与实施方式4至7同样的内容的详细说明。

图48是表示实施方式8的摄像装置A的示意图。本实施方式的摄像装置A具备：以V为光轴的镜头光学***统L、在镜头光学***L的焦点附近配置的阵列状光学元件K、摄像元件N、第2信号处理部C2、第3信号处理部C3、第1信号处理部C1、和存储部Me。

实施方式8中，与图42同样，假定光学元件L1的光学区域D1具有非球面，子光学区域d2A、d2B、以及d2C全部具有平面。光学元件L1的各区域分别具有固有的分光透过率特性，光学区域D1以及子光学区域d2A、d2B、以及d2C分别具有通过G、G、B、以及R的光的特性，分别使其在像素P1、P2、P4、以及P3进行聚光。本实施方式中，使用由像素P1(绿色的成分)、P2(绿的成分)、P3(红色的成分)、以及P4(蓝色的成分)得到的图像来生成清晰化图像，并且利用从P1(绿色的成分)和P2(绿色的成分)得到的图像来测量被摄体距离，并生成深度图。PSF数据的生成、重新聚焦方法，能够与实施方式4至7同样地实施。

此外，也可以将透过彼此不同波段的光的滤波器、和使对焦特性不同的光学元件L1分离配置。该情况下，该滤波器、光学元件L1都可以配置在光圈S的附近。此外，配置该滤波器、光学元件L1的顺序不受限定。该情况下，光学区域D1以及子光学区域d2A、d2B、d2C是包括光学元件L1以及滤波器两者的区域。该情况下，各滤波器可以设定在各光学区域的附近，另外也可以设置在光圈附近。此外，该滤波器及光学元件L1之中的任意一方也可以形成在配置于光圈S附近的透镜L2的光学面上。

如以上，本实施方式中，通过与实施方式7同样地采用单个摄像***的(例如一次的)摄像，能够获取彩色图像和被摄体距离的双方，并且能够生成重新聚焦图像。

(其他实施方式)

另外，实施方式1至8是光学区域的光学面被配置在光学元件L1中的被摄体侧的面的方式，但光学区域也可以配置在光学元件L1的像侧的面。

此外，透镜L2的构成为1枚，但也可以是多个群或者多枚的结构的透镜。

此外，多个光学区域也可以形成于在光圈附近配置的透镜L2。

此外，也可以将透过彼此不同波段的光的滤波器、和使对焦特性不同的光学元件L1分离配置。该情况下，该滤波器、光学元件L1都可以配置在光圈S的附近。此外，配置该滤波器、光学元件L1的顺序不受限定。该情况下，光学区域D1以及子光学区域d2A、d2B、d2C是包括光学元件L1以及滤波器的双方的区域。此外，该滤波器及光学元件L1之中的任意一方也可以形成在配置于光圈S附近的透镜L2的光学面上。

此外，光学元件L1相对于光圈的位置而配置在被摄体侧，但也可以相对于光圈的位置而配置在像侧。

此外，在上述的实施方式1至8中，假定镜头光学***L为像侧远心光学***，但也可以是像侧非远心光学***。图49(a)是放大表示摄像部附近的图。图49(a)中，仅表示通过阵列状光学元件K的光之中通过1个光学区域的光束。如图49(a)所示，在镜头光学***L是非远心光学***的情况下，光会漏至相邻像素从而产生串扰，但通过如图49(b)那样使得阵列状光学元件相对于像素排列而偏移Δ，由此能够降低串扰。由于上述入射角因像高而不同，因此上述偏移量Δ只要根据光束入射至摄像面的入射角来设定即可。

在镜头光学***统L为像侧远心光学***的情况下，由于光学元件L1的光学区域D1、D2中的2个曲率半径分别不同，因此由各个区域得到的图像(第1图像I1以及第2图像I2)的倍率不同。在此，在按图像的每个区域算出上述这种的清晰度之比的情况下，在光轴外彼此参照的规定区域偏移，无法正确地求出清晰度之比。该情况下，也可以进行修正使得第1图像I1以及第2图像I2的倍率大致相同，来求出规定区域的清晰度之比。由此，能够正确地求出规定区域的清晰度之比。

实施方式1至8是具备第1信号处理部C1、第2信号处理部C2、第3信号处理部C3以及存储部Me(图18等所示)的摄像装置。但是，摄像装置也可以不具备这些的信号处理部以及存储部。该情况下，只要利用摄像装置的外部的PC等，进行由第1信号处理部C1、第2信号处理部C2以及第3信号处理部C3进行的处理即可。即，可以由具备摄像装置、和外部的信号处理装置的***实现，该摄像装置具备镜头光学***L、阵列状光学元件K以及摄像元件N。根据该方式中的摄像装置，通过利用单个摄像光学***的一次摄像，能够获取用于多色图像输出及被摄体距离测量的亮度信息。此外，通过外部的信号处理部利用该亮度信息而进行的处理，能够获取多颜色图像及被摄体距离这两者。

再者，在本实施方式的测距方法中，也可以不使用清晰度和被摄体距离的相关关系。例如，在表示清晰度、对比度、或者点像的直径与被摄体距离之间的关系的式子中导入所得到的清晰度、对比度、或者点像的直径，由此可以得到被摄体距离。

此外，本实施方式3中的微透镜阵列的各光学要素(微透镜)相对于各光学要素(微透镜)的光轴可以是旋转对称形状。以下，与相对于光轴而具有旋转非对称的形状的微透镜进行比较来说明。

图50(a1)是表示相对于光轴而具有旋转非对称的形状的微透镜阵列的立体图。通过在阵列之上形成四角柱状的抗蚀剂并进行热处理，使抗蚀剂的角部变圆，利用该抗蚀剂进行图案化，由此形成这种的微透镜阵列。图50(a2)表示图50(a1)所示的微透镜的等高线。在具有旋转非对称的形状的微透镜中，纵横方向(与微透镜的底面的四边平行的方向)和倾斜方向(微透镜的底面的对角线方向)的曲率半径不同。

图50(a3)是表示将图50(a1)、(a2)所示的微透镜应用于本发明的阵列状光学元件的情况下的光线追踪仿真的结果的图。在图50(a3)中，仅示出通过阵列状光学元件K的光之中通过1个光学区域的光束，但这样在旋转非对称形状的微透镜的情况下，光会漏至相邻的像素从而产生串扰。

图50(b1)是表示相对于光轴而具有旋转对称的形状的微透镜阵列的立体图。这种的旋转对称形状的微透镜能够通过热压印(imprint)、UV压印制法在玻璃板等之上形成。

图50(b2)中表示旋转对称形状的微透镜的等高线。在具有旋转对称的形状的微透镜中，纵横方向和倾斜方向的曲率半径相等。

图50(b3)是表示在将图50(b1)、(b2)所示的微透镜应用于本发明的阵列状光学元件的情况下的、光线追踪仿真的结果的图。在图50(b3)中，仅表示通过阵列状光学元件K的光之中通过1个光学区域的光束，可知不会发生图50(a3)这种的串扰。这样，由于通过使微透镜成为旋转对称形状，能够降低串扰，因此能够抑制测距运算中的精度劣化。

此外，在实施方式1至8中，第1像素和第2像素彼此在倾斜方向上相邻，但如图51那样，第1像素和第2像素也可以在上下方向上相邻。

像素P即便具有图4、21等的任意一个配置，此外即便光学元件L1具有图2、图14、图15等的任意一个结构，通过了光学区域D1、D2之中的任意一个的光也会入射至像素P2中，通过了光学区域D1、D2之中的任意一个的光也会入射至像素P4中这一点是相同。

更加优选：仅使通过了光学区域D1、D2之中的任意一方的光入射至像素P2中，仅使通过了光学区域D1、D2之中的任意一方的光入射至像素P4中。不过，通过了光学区域D1以及子光学区域d2A、d2B、以及d2C的光束的一部分，有可能入射至摄像面Ni上的像素以外的区域、或者相邻的像素等。因此，在本说明书以及权利要求中，例如，所谓“仅使通过了光学区域D1的光入射至像素P2”，并不是意味着来自光学区域D2的光全部不会入射至像素P2中，而是表示入射至像素P2的光的大部分(例如80％以上)是来自光学区域D1的光。

【工业上的可利用性】

本申请公开的摄像装置，作为数字照相机或数字摄像机等的摄像装置是有用的。此外，也能够应用于汽车的周围监视用以及乘客监视用的测距装置或游戏机、PC、便携终端、内视镜等的三维信息输入用的测距装置的用途。

【符号说明】

A               摄像装置

L               镜头光学***

L1              光学元件

L2              透镜

D1、D2          光学区域

d2A、d2B、d2C   子光学区域

S               光圈

K               阵列状光学元件

N               摄像元件

Ni              摄像面

Me              存储部

Ms、Md          摄像元件上的微透镜

M1              微透镜的光学要素

P1、P2、P3、P4  摄像元件上的像素

Pg              像素群

C1、C2、C3      第1、第2、第3信号处理部

Q               遮光部件。

Claims (35)

1.一种摄像装置，具备：

镜头光学***，其具有第1区域、第2区域、第3区域，所述第1区域透过第1波段的光，所述第2区域透过所述第1波段的光，并具有使对焦特性与由透过了所述第1区域的光线所产生的对焦特性不同的光学特性，所述第3区域透过与所述第1波段不同的第2波段的光；

摄像元件，通过了所述镜头光学***的光入射到该摄像元件，且该摄像元件具有多个第1像素、第2像素、第3像素；和

微透镜阵列，其配置在所述镜头光学***与所述摄像元件之间，使通过了所述第1区域的光入射至所述多个第1像素，使通过了所述第2区域的光入射至所述多个第2像素，使通过了所述第3区域的光入射至所述多个第3像素。

2.根据权利要求1所述的摄像装置，其中，

所述镜头光学***还具有使与所述第1、第2波段不同的第3波段的光透过的第4区域，

所述摄像元件还具有多个第4像素，

所述微透镜阵列，使通过了所述第4区域的光入射至所述多个第4像素。

3.根据权利要求1或2所述的摄像装置，其中，

所述第1、第2、第3区域是以所述镜头光学***的光轴为中心进行分割而得到的区域。

4.根据权利要求2所述的摄像装置，其中，

在所述镜头光学***中，由透过了所述第3区域以及所述第4区域的光线所产生的对焦特性，与由透过了所述第1区域的光线所产生的对焦特性以及由透过了所述第2区域的光线所产生的对焦特性的任意一个相等。

5.根据权利要求1至4中任一项所述的摄像装置，其中，

在一次的摄像中，光线入射至所述第1、第2、第3区域。

6.根据权利要求2所述的摄像装置，其中，

所述第1、第2区域使绿色频带的光线通过，所述第3区域使蓝色频带的光线通过，所述第4区域使红色频带的光线通过。

7.根据权利要求1至6中任一项所述的摄像装置，其中，

在被摄体距离处在某个规定的范围内的情况下，由入射至所述第1区域的光所形成的点像强度分布大致恒定，由入射至所述第2区域的光所形成的点像强度分布，根据到被摄体的距离而变化。

8.根据权利要求1至7中任一项所述的摄像装置，其中，

所述第1区域的表面以及所述第2区域的表面具有彼此不同的曲率半径。

9.根据权利要求1至8中任一项所述的摄像装置，其中，

所述多个第1以及第2像素通过一次的摄像分别生成第1亮度信息以及第2亮度信息，

所述摄像装置还具备第1信号处理部，所述第1信号处理部利用所述第1亮度信息以及所述第2亮度信息来生成第1图像以及第2图像。

10.根据权利要求2所述的摄像装置，其中，

所述第1信号处理部具备清晰度检测部，所述清晰度检测部按图像中每个规定区域检测所述多个第1像素至所述第4像素的亮度信息之中至少1个以上的像素成分的清晰度，

基于所述各个清晰度之中最高的清晰度的成分，对其他像素的亮度信息的成分进行清晰化。

11.根据权利要求10所述的摄像装置，其中，

所述第1信号处理部利用预先存储的点像强度分布函数，进行由入射至所述第1区域的光到达的像素的亮度信息所形成的图像的复原处理，生成被复原的清晰化图像。

12.根据权利要求11所述的摄像装置，其中，

所述第1信号处理部利用单个所述点像强度分布函数，进行由入射至所述第1区域的光到达的像素的亮度信息所形成的图像的整个区域的复原处理，生成被复原的清晰化图像。

13.根据权利要求12所述的摄像装置，其中，

所述第1信号处理部还具备清晰度检测部，所述清晰度检测部按所述被复原的清晰化图像中的每个规定区域来检测清晰度，

基于所述被复原的清晰化图像中的每个规定区域的清晰度，使其他像素的亮度信息的成分清晰化。

14.根据权利要求9所述的摄像装置，其中，

还具备第2信号处理部，其算出到被摄体的距离，

所述第2信号处理部利用所述第1图像以及所述第2图像，算出到被摄体的距离。

15.根据权利要求14所述的摄像装置，其中，

在被摄体距离处在某个固定的范围内的情况下，所述第1图像的清晰度与所述第2图像的清晰度之比的值，和到所述被摄体的距离具有相关关系，

所述第2信号处理部基于所述相关关系、以及所述第1图像的清晰度与所述第2图像的清晰度之比，算出到所述被摄体的距离。

16.根据权利要求14所述的摄像装置，其中，

所述第1信号处理部还具备对比度检测部，所述对比度检测部对在所述多个第1像素中得到的第1图像的对比度和在所述多个第2像素中得到的第2图像的对比度进行检测，

在被摄体距离处在某个固定的范围内的情况下，所述第1图像的对比度与所述第2图像的对比度之比，和所述被摄体距离具有相关关系，

所述第2信号处理部，基于所述相关关系、所述第1图像的对比度、和所述第2图像的对比度，来算出到所述被摄体的距离。

17.根据权利要求14所述的摄像装置，其中，

所述第2信号处理部，利用将所述第1图像和所述第2图像相加之后的图像的亮度信息、和所述第1图像或者所述第2图像的亮度信息，来算出到所述被摄体的距离。

18.根据权利要求13所述的摄像装置，其中，

在被摄体距离处在某个固定的范围内的情况下，根据所述被复原的清晰化图像和由入射至所述第2区域的光所形成的图像而导出的点像强度分布函数，与所述被摄体距离具有相关关系，

所述第2信号处理部，基于所述相关关系、所述点像强度分布函数，来算出到所述被摄体的距离。

19.根据权利要求2所述的摄像装置，其中，

所述第2区域、所述第3区域、以及所述第4区域，具有彼此不同的光学功率，

与所述第2区域、所述第3区域、以及所述第4区域具有彼此相等的光学功率的情况相比，所述第2区域、所述第3区域、以及所述第4区域透过的光的对焦位置更近。

20.根据权利要求1至19中任一项所述的摄像装置，其中，

还具备遮光部件，其设置在所述第1区域与所述第2区域之间的边界部。

21.根据权利要求1至20中任一项所述的摄像装置，其中，

所述镜头光学***还具备光圈，

所述第1区域以及所述第2区域被配置在所述光圈附近。

22.根据权利要求14至18中任一项所述的摄像装置，其中，

所述第2信号处理部，按图像的每个规定区域来算出被摄体距离，

所述摄像装置还具备第3信号处理部，所述第3信号处理部利用在所述第2信号处理部中算出的每个所述规定区域的被摄体距离，来生成被重新聚焦的图像。

23.根据权利要求22所述的摄像装置，其中，

所述第2信号处理部，利用每个所述规定区域的被摄体距离，生成每个被摄体距离的点扩散函数。

24.根据权利要求23所述的摄像装置，其中，

从作为所述点扩散函数的强度变化成为极大的被摄体距离的至少1个最佳聚焦位置起越是在被摄体距离方向上远离，则所述点扩散函数的强度的变化越小。

25.根据权利要求24所述的摄像装置，其中，

所述至少1个最佳聚焦位置，是从外部输入的位置或者由所述第2信号处理部决定的位置。

26.根据权利要求23至25中任一项所述的摄像装置，其中，

所述第3信号处理部，利用每个所述规定区域的被摄体距离、所述点扩散函数，生成所述被重新聚焦的图像。

27.根据权利要求23所述的摄像装置，其中，

所述点扩散函数是高斯函数。

28.根据权利要求26或27所述的摄像装置，其中，

所述第3信号处理部，通过按每个规定区域利用傅立叶变换来进行所述点扩散函数的卷积运算，从而生成所述被重新聚焦的图像。

29.根据权利要求22所述的摄像装置，其中，

所述第3信号处理部，基于每个所述规定区域的被摄体距离，进行空间滤波处理，来生成所述被重新聚焦的图像。

30.根据权利要求24所述的摄像装置，其中，

所述至少1个最佳聚焦位置断续地存在多个。

31.根据权利要求2至6中任一项所述的摄像装置，其中，

还具备在所述镜头光学***的附近、即所述第1区域、所述第2区域、所述第3区域以及所述第4区域分别配置的第1滤波器至第4滤波器，

所述第1滤波器让第1波段的光透过，

所述第2滤波器让第1波段的光透过，

所述第3滤波器让第2波段的光透过，

所述第4滤波器让第3波段的光透过。

32.根据权利要求31所述的摄像装置，其中，

所述镜头光学***还具备光圈，

所述第1滤波器至第4滤波器被配置在所述光圈附近。

33.一种摄像***，具备：

权利要求2所述的摄像装置；和

生成彩色图像的第1信号处理装置，

所述第1信号装置，利用通过所述一次摄像而得到的所述多个第1像素、所述多个第2像素、所述多个第3像素、以及所述多个第4像素的亮度信息来生成所述彩色图像。

34.根据权利要求33所述的摄像***，其中，

还具备算出到被摄体的距离的第2信号处理装置，

所述第2信号处理装置，利用通过所述一次摄像而得到的所述多个第1像素、所述多个第2像素的亮度信息来算出到被摄体的距离。

35.一种摄像***，具备摄像装置和信号处理装置，其中，

所述摄像装置具备：

镜头光学***，其具有第1区域以及第2区域，所述第2区域具有使对焦特性与由通过了所述第1区域的光线所产生的对焦特性不同的光学特性；

摄像元件，其至少具有通过了所述镜头光学***光所射入的多个第1像素和多个第2像素；和

阵列状光学元件，其配置在所述镜头光学***与所述摄像元件之间，使通过了所述第1区域的光入射至所述多个第1像素，使通过了所述第2区域的光入射至所述多个第2像素，

所述信号处理装置具备：

第1信号处理部，其利用在所述多个第1像素中得到的第1图像以及在所述多个第2像素中得到的第2图像的亮度信息，按摄像图像的每个规定区域算出被摄体距离；和

第2信号处理部，其利用在所述第1信号处理部中算出的每个所述规定区域的被摄体距离，生成被重新聚焦的图像。

Images