CN105791801A - 图像处理装置、图像拾取装置和图像处理方法 - Google Patents

Abstract

本公开涉及图像处理装置、图像拾取装置和图像处理方法。图像处理装置包括被配置为获取具有相互不同的视角的多个图像的图像捕获条件信息的图像捕获条件获取器(260)；被配置为获取包含于多个图像中的被照体的距离信息的距离信息获取器(230)；被配置为获取视角信息的视角信息获取器(240)；和被配置为基于图像捕获条件信息、距离信息和视角信息从多个图像产生与视角信息对应的图像的图像产生器(224)，并且，距离信息是图像中的各位置上的被照体距离信息。

Description

图像处理装置、图像拾取装置和图像处理方法

技术领域

本发明涉及包括多个排列的光学***的复眼图像拾取装置。

背景技术

复眼图像拾取装置通过将包含于典型的图像拾取装置中的单个成像光学***(透镜)分成多个成像光学***实现各透镜的小型化。但是，常规的复眼图像拾取装置需要机械移动机构，因此图像拾取***的尺寸增大。因此，在常规的复眼图像拾取装置中，难以添加可通过移动构成光学***的透镜的位置的方法来改变用于捕获图像的视角的光学变焦功能。此外，以前，通过放大被捕获图像中的希望区域的图像处理实现变焦(数字变焦)的技术是已知的。在该方法中，倍率随变焦倍率(变焦力)的增大而增大，而分辨率相应地劣化。

日本专利公开No.2011-55246公开了设置视角不同的短焦(广角)透镜单元和长焦(望远)透镜单元以执行摄影以包括被照体的相同部分的图像拾取装置。在日本专利公开No.2011-55246中公开的图像拾取装置在变焦倍率小的情况下通过使用具有宽视角的照相机执行电子变焦，并且，在变焦倍率大的情况下通过使用具有窄视角的照相机执行数字变焦。在这种情况下，通过与长焦透镜对应的图像拾取元件获得的放大的图像适配到通过与短焦透镜对应的图像拾取元件获得的宽图像的一部分中，因此减少由数字变焦导致的分辨率的劣化。

但是，在日本专利公开No.2011-55246所公开的图像拾取装置中，视场深度根据具有不同的视角的透镜单元而改变，因此，当捕获三维被照体图像时，通过合成多个图像而生成的图像的质量劣化。

发明内容

本发明提供了能够减少由视场深度的差异导致的图像质量的劣化的图像处理装置、图像拾取装置和图像处理方法。

作为本发明的一个方面的图像处理装置包括：被配置为获取具有相互不同的视角的多个图像的图像捕获条件信息的图像捕获条件获取器；被配置为获取包含于所述多个图像中的被照体的距离信息的距离信息获取器；被配置为获取视角信息的视角信息获取器；和被配置为基于图像捕获条件信息、距离信息和视角信息从所述多个图像产生与视角信息对应的图像的图像产生器，并且，距离信息是图像中的各位置处的被照体距离信息。

作为本发明的另一方面的图像拾取装置包括：被配置为获取具有相互不同的视角的多个图像的图像拾取器件；被配置为获取所述多个图像的图像捕获条件信息的图像捕获条件获取器；被配置为获取包含于所述多个图像中的被照体的距离信息的距离信息获取器；被配置为获取视角信息的视角信息获取器；和被配置为基于图像捕获条件信息、距离信息和视角信息从所述多个图像产生与视角信息对应的图像的图像产生器，并且，距离信息是图像中的各位置处的被照体距离信息。

作为本发明的另一方面的图像处理方法包括以下步骤：获取具有相互不同的视角的多个图像的图像捕获条件信息；获取包含于所述多个图像中的被照体的距离信息；获取视角信息；和基于图像捕获条件信息、距离信息和视角信息从所述多个图像产生与视角信息对应的图像，并且，距离信息是图像中的各位置处的被照体距离信息。

参照附图阅读示例性实施例的以下描述，本发明的其它特征和方面将变得清晰。

附图说明

图1是实施例1、3和4中的每一个中的图像拾取装置的前视图。

图2是实施例1和3中的每一个中的图像拾取装置的框图。

图3是实施例1中的被捕获图像的说明图。

图4是示出实施例1～3中的每一个中的图像处理的流程图。

图5是各实施例中的几何转换处理的说明图。

图6是示出各实施例中的距离信息计算处理的流程图。

图7是各实施例中的提取对应区域的方法的说明图。

图8是各实施例中的距离信息的计算结果的说明图。

图9是示出实施例1中的权重计算处理的流程图。

图10是实施例1中的权重计算处理的说明图。

图11是实施例1～3中的每一个中的图像处理的效果的说明图。

图12是实施例2中的图像拾取装置的前视图。

图13是实施例2中的图像拾取装置的框图。

图14是示出实施例2中的权重计算处理的流程图。

图15是示出实施例3中的权重计算处理的流程图。

图16是实施例3中的基于边缘强度的权重计算处理的说明图。

图17是实施例4中的图像拾取装置的框图。

图18是示出实施例4中的图像处理的流程图。

图19是示出实施例4中的模糊添加处理的流程图。

图20是实施例4中的模糊添加处理的说明图。

图21是实施例4中的图像处理的效果的说明图。

具体实施方式

以下将参照附图描述本发明的示例性实施例。

[实施例1]

首先，将描述实施例1中的图像处理装置。本实施例的图像处理装置基于具有相互不同的视角的多个图像(即，捕获的图像数据)和由用户规定的视角信息(即，规定的视角)产生与规定的视角对应的图像(即，视角图像数据)。在产生图像时，可通过增大规定的视角来获得宽视角图像数据。另一方面，可通过减小规定的视角来获得望远图像数据。换句话说，用户可通过改变规定的视角改变视角图像数据的变焦倍率。本实施例的图像处理可用作产生用于捕获图像的预览图像数据的处理，或者用作在捕获图像之后产生具有任意的变焦倍率的图像数据的处理。

首先，参照图1，将描述本实施例中的图像拾取装置的外部配置。图1是图像拾取装置100的前视图，并且，它示出包括多个图像拾取器件的复眼类型的多视点图像拾取装置(复眼图像拾取装置)的例子。如图1所示，图像拾取装置100包括能够获取彩色图像数据的四个图像拾取器件101a、101b、102a和102b(多个图像拾取器件)、以及图像拾取按钮103。图像拾取器件101a、101b、102a和102b被设置为使得它们的光轴相互平行。

在本实施例中，图像拾取器件101a和101b中的每一个的视角被称为θ₁，并且，图像拾取器件102a和102b中的每一个的视角被称为θ₂。换句话说，图像拾取器件101a和101b具有相同的视角，并且，图像拾取器件102a和102b具有相同的视角。在本实施例中，满足θ₁>θ₂，因此，图像拾取器件101a和101b中的每一个具有比图像拾取器件102a和102b中的每一个宽的视角。当用户按下图像拾取按钮103时，图像拾取器件101a、101b、102a和102b通过使用各自的传感器(图像拾取元件)接收被照体的光学信息。然后，由传感器接收的信号从模拟信号被转换成数字信号(即，对于通过传感器接收的信号执行A/D转换)，因此同时获得多个数字数据(捕获的图像数据)。根据复眼型图像拾取装置，可以获得从多个视点位置捕获同一被照体的一组被捕获图像数据。本实施例中的图像拾取装置100包括四个图像拾取器件，但是，图像拾取器件的数量不限于此，它可以是两个或更多个。

下面，参照图2，将描述图像拾取装置100的配置。图2是图像拾取装置100的框图。图像拾取装置100包括图像拾取器件101a、101b、102a和102b和A/D转换器210。此外，图像拾取装置100包括图像处理器220、距离信息计算器230(距离信息获取器)、信息输入器件240(视角信息获取器)、图像拾取控制器250和图像捕获条件获取器260，并且，它们构成图像处理装置。另外，图像拾取装置100包括***控制器270、记录介质280和显示装置290。图像处理器220包括视点位置控制器221(位置控制器)、几何转换器222、权重计算器223(权重确定器或分辨率劣化量计算器)和图像产生器224。距离信息计算器230(距离信息获取器)包含基准图像(standardimage)选择器231、对应点提取器232和视差计算器233。

图像拾取装置100是透镜一体式图像拾取装置，但本实施例不限于此。作为替代方案，图像拾取装置可包括具有成像光学***(光学***)的透镜装置、和可拆装地附接透镜装置的具有图像拾取元件的图像拾取装置体部。在本实施例中，描述透镜一体式图像拾取装置。

下面，参照图3，将描述本实施例中的被捕获图像。图3是被捕获图像的说明图。为了简化说明，图3示出在通过参照图1描述的图像拾取装置100的四个图像拾取器件101a、101b、102a和102b的布置聚焦于同一被照体(人)的同时捕获的图像。通过图像拾取器件101a、101b、102a和102b获得的图像(被捕获图像)分别被称为I101a、I101b、I102a和I102b。

如图3所示，与图像拾取器件101a和101b对应的图像I101a和I101b是具有宽的被照体空间的被捕获图像。另一方面，与图像拾取器件102a和102b对应的图像I102a和I102b是根据图像拾取器件的视角的具有窄的被照体空间的被捕获图像。在本实施例中，对于图像拾取器件中的每一个，图像拾取元件的尺寸、像素的尺寸和光学***的F数中的每一个被设定为相同。另一方面，各图像拾取器件中的光学***的焦距相互不同。在这种情况下，图像拾取器件的视场深度根据光学***的焦距和F数被确定，因此，图像拾取器件101a和101b的视场深度深，而图像拾取器件102a和102b的视场深度浅。因此，关于与被聚焦的被照体(人181)相比位置更远的被照体(山182)，与图像I101a和I101b中的每一个中的山182的分辨率相比，图像I102a和I102b中的每一个中的山182的分辨率劣化。

在图2中，A/D转换器210将从包含于图像拾取器件中的每一个中的图像拾取元件输出的模拟信号转换成数字信号，并且它向图像处理器220供给数字信号。图像处理器220对从A/D转换器210输出的图像数据中的每一个执行预定的像素内插处理、颜色转换处理、伽马处理和噪声减少处理等，并且，它通过使用被捕获图像数据中的每一个执行预定的计算处理。

如后面描述的那样，视点位置控制器221控制图像数据(被捕获的图像数据)的视点。几何转换器222基于图像拾取器件101a和101b的视角θ₁、图像拾取器件102a和102b的视角θ₂以及由用户规定的规定视角θ′放大或缩小图像。权重计算器223基于图像拾取器件101a、101b、102a和102b的图像捕获条件(图像捕获条件信息)、规定视角θ′和被照体距离信息确定要被用于合成多个图像的权重(权重信息)。图像产生器224将通过权重计算器223计算的权重乘以通过几何转换器222转换的图像数据，以合成多个图像。作为结果，产生用户希望的图像(具有规定视角的图像)。

基准图像选择器231从通过各图像拾取器件成像的多个视差图像选择基准图像以计算被照体距离信息。对应点提取器232提取视差图像中的每一个中的对应像素(对应点)。视差计算器233计算通过对应点提取器232提取的所有对应点的视差(视差量)中的每一个。距离信息计算器230基于通过视差计算器233计算的视差计算图像中的被照体距离信息。

信息输入器件240检测与由用户选择和输入的希望的图像捕获条件(诸如规定视角θ′、F数和曝光时间)有关的信息，并且向***控制器270供给该数据(输入信息)。基于从***控制器270输出的信息，图像拾取控制器250移动设置在各图像拾取器件中的聚焦透镜(未示出)，并且控制与各图像拾取器件对应的图像拾取元件以获取必要的图像。图像捕获条件获取器260获取包含各图像拾取元件的焦距、F数和间隔距离(基线长度)等的图像捕获条件(图像捕获条件信息)。

记录介质280存储多个静止图像或移动图像，并且，它存储图像文件的文件头。此外，记录介质280可暂时存储各条信息。显示装置290显示摄影时的预览图像、被捕获图像、菜单功能、焦距范围和视角范围等，并且，例如，它包括液晶显示元件。此外，显示装置290可具有触摸屏功能。在这种情况下，用户的指令，诸如通过使用触摸屏捕获图像的指令和用于变焦的指令，可被视为信息输入器件240的输入。在图像拾取装置100中设置有其它元件，但其描述被省略，原因是它们不是本实施例的本质。以下，假定规定视角θ′处于θ₂≤θ′≤θ₁的范围内。

下面，参照图4，将描述通过本实施例的图像处理装置进行的一系列处理(图像处理)中的过程。图4是示出本实施例中的图像处理的流程图。图4的各步骤主要由图像拾取装置100的各部分基于***控制器270的指令执行。在本实施例中，与由图像拾取器件101a、101b、102a和102b捕获的图像数据对应的图像(被捕获图像)分别被称为I_1a(x,y)、I_1b(x,y)、I_2a(x,y)和I_2b(x,y)。

首先，在步骤S100，图像处理器220通过图像拾取器件101a、101b、102a或102b和A/D转换器210获取多个图像(图像信号)。图像处理器220对多个获取的图像信号执行预定计算处理，以产生多个图像数据。在这种情况下，优选地是图像处理器220执行校正处理，使得多个图像的亮度水平或白平衡相互一致。在此校正处理中，可在后期执行的图像合成中减少诸如亮度不均匀或颜色不均匀的有害效果。

随后，在步骤S101，图像捕获条件获取器260获取包含各图像拾取器件的焦距、F数和各图像拾取器件的间隔距离(基线长度)等的图像捕获条件(图像捕获条件信息)。然后，在步骤S102，距离信息计算器230基于根据多个图像计算的视差(视差量)和作为已知信息的各图像拾取器件的焦距以及与基线长度有关的数据(即，图像捕获条件信息)计算被照体的距离信息。将在后面描述步骤S102的距离信息计算处理的细节。随后，在步骤S103，信息输入器件240从记录介质280或***控制器270等获取由用户输入的用户希望的规定视角θ′(规定视角信息)。

随后，在步骤S104，视点位置控制器221通过使用分别在步骤S100、S101和S103中获取的多个图像数据、图像捕获条件信息和规定视角信息来执行图像(视点)的定位(对准或调整)。经定位(对准或调整)的图像分别被称为J_1a(x,y)、J_1b(x,y)、J_2a(x,y)和J_2b(x,y)。将在后面描述步骤S104的视点的定位处理的细节。

随后，在步骤S105，几何转换器222执行各图像的几何转换，即，各图像的放大处理或缩小处理。图5是由几何转换器222执行的几何转换处理的说明图。在图5中，图像301和302分别与经定位的图像J_1a和J_2a对应。如上所述，图像拾取器件101a的视角θ₁大于或等于规定视角θ′，并且，图像拾取器件102a的视角θ₂小于或等于规定视角θ′。图像303对应于将图像301放大tanθ₁/tanθ′倍的图像。图像304对应于通过修剪图像303以使其具有视角θ′而获得的图像。图像305对应于将图像302缩小tanθ₂/tanθ′倍的图像。图像306与其周边区域为零(即，变黑)以具有视角θ′的图像对应。

几何转换器222基于分别与通过视点位置控制器221定位视点的图像对应的图像301和302产生图像304和306。以下，图像304和306分别表示为几何转换图像K_1a(x,y)和K_2a(x,y)。通过相同的几何转换，可分别基于图像J_1b(x,y)和J_2b(x,y)产生几何转换图像K_1b(x,y)和K_2b(x,y)。

随后，在步骤S106，权重计算器223计算用于几何转换之后的被捕获图像数据中的每一个的权重(权重系数w_1a(x,y)、w_2a(x,y)、w_1b(x,y)和w_2b(x,y))。权重基于分别在步骤S101、S102和S103获取的图像捕获条件信息、被照体的距离信息和规定视角信息被确定。将在后面描述权重计算器223的处理的细节。

最后，在步骤S107，图像产生器224分别将权重系数w_1a(x,y)和w_2a(x,y)乘以几何转换图像K_1a(x,y)和K_2a(x,y)，以根据下式(1)执行加法和合成处理。

I_synth(x,y)＝[w_1a(x,y)K_1a(x,y)+w_2a(x,y)K_2a(x,y)]/[w_1a(x,y)+w_2a(x,y)]

…(1)

产生的具有规定视角θ′的图像数据被存储于记录介质280中。类似地，图像产生器224可合成几何转换图像K_1b(x,y)和K_2b(x,y)以产生具有规定视角的图像数据。然后，产生规定视角的处理完成。

下面，参照图6，将描述计算被照体的距离信息的处理(图4中的步骤S102)。图6是示出计算距离信息的处理的流程图。图6的各步骤主要通过距离信息计算器230基于***控制器270的指令执行。在本实施例中，将描述在使用通过捕获最宽被照体空间的图像拾取器件101a和101b获得的视差图像时所执行的处理。

首先，在步骤S200，当图像捕获指令信号根据用户的操作被输入到信息输入器件240时，***控制器270给予使通过图像拾取器件101a和101b的光学***(成像光学***)形成的光学图像在各图像拾取器件的图像拾取元件上形成的指令。然后，***控制器270通过A/D转换器210向图像处理器220传送视差图像。图像处理器220对于传送的视差图像执行预定计算处理，以产生与各图像拾取器件101a和101b对应的图像数据(视差图像数据)。

随后，在步骤S201，基准图像选择器231选择视差图像数据中的一个作为用于计算视差(视差量)的基准图像。在本实施例中，通过图像拾取器件101a获得的图像(视差图像数据)被选择为基准图像(基准图像数据)。

随后，在步骤S202，对应点提取器232相对于由基准图像选择器231选择的基准图像将通过图像拾取器件101b获得的图像设定为参照图像(referenceimage)(参照图像数据)。然后，对应点提取器232检测参照图像中的与基准图像对应的像素(对应点)。例如，对应像素(对应点)指的是例如在图3所示的对于被照体(人181)获得的视差图像数据中与同一被照体对应的各像素。

参照图7，将详细描述提取对应被照体区域(像素)的方法、即对应区域的提取方法。图7是对应区域的提取方法的说明图。如图7所示，以图像的左上角为原点，定义各图像中的坐标(x,y)，并且，水平方向和垂直方向分别被称为x轴和y轴。基准图像数据I_1a(x,y)(与本实施例的图3中的图像I101a对应)的图像坐标(x,y)的亮度被称为F1(x,y)，并且，参照图像数据I_1b(x,y)(与本实施例的图3中的图像I101b对应)的亮度被称为F2(x,y)。

以下，将描述搜索与基准图像数据中的任意坐标(x,y)(由图7中的基准图像数据I_1a(x,y)的竖线表示的像素)对应的参照图像数据的像素(由图7中的参照图像数据I_1b(x,y)的竖线表示的像素)。在这种情况下，它可通过搜索与坐标(x,y)处的基准图像数据的亮度F1(x,y)最相似的参照图像数据的亮度来获得。但是，典型地，难以搜索与任意像素最相似的像素。因此，也通过使用图像坐标(x,y)附近的像素搜索相似像素，这是被称为块匹配的方法。

例如，将描述块尺寸是3的条件下的块匹配处理。位于基准图像数据中的任意坐标(x,y)的像素和在位于坐标(x,y)的像素前面以及后面的位于(x-1,y)和(x+1,y)的两个像素、即总共三个像素的亮度值被称为F1(x,y)、F1(x-1,y)和F1(x+1,y)。另一方面，参照图像数据中的在x方向上相对于坐标(x,y)偏移k的像素的亮度值被称为F2(x+k,y)、F2(x+k-1,y)和F2(x+k+1,y)。在这种情况下，位于基准图像数据中的坐标(x,y)的像素与参照图像数据中的像素的相似度E被定义为由下式(2)表达。

$\begin{array}{c}E=\[F1(x,y)-F2(x+k,y)\]+\[F1(x-1,y)-F2(x+k-1,y)\]\\ +\[F1(x+1,y)-F2(x+k+1,y)\]=\underset{j=-1}{\overset{1}{\Σ}}\[F1(x+j,y)-F2(x+k+j,y)\]\end{array}\mathrm{...}\left(2\right)$

在式(2)中，在依次改变k的值的同时计算相似度E的值，并且，在该处相似度E被最小化的坐标(x+k,y)是参照图像数据中的关于基准图像数据的坐标(x,y)的对应点(对应区域)。为了简化描述，描述了在水平方向上具有基线的视差图像，并且，在本实施例中，可通过使用相同的原理对垂直方向或斜方向检测对应点(对应区域)。

随后，在图6中的步骤S203，视差计算器233计算通过对应点提取器232提取的各对应点的视差。例如，与通过块匹配方法获得的和基准图像数据中的各像素对应的参照图像数据中的各像素的像素位置的差值被计算为对应点处的视差。随后，在步骤S204，距离信息计算器230基于通过视差计算器233计算的视差、作为已知信息的成像光学***的焦距和图像拾取器件的基线长度数据，计算被照体的距离信息。

参照图8，将描述被照体的距离信息的例子。图8是距离信息的计算结果的说明图，并且，它示出被照体的距离的例子。在图8中，距离信息401与图3中的图像I101a对应，并且，距离信息402与图3中的图像I102a对应。根据从白色到黑色的灰度(gradation)示出距离。换句话说，近距离的被照体(人411a和411b)由白色示出，并且，远距离的被照体(山412a和412b)由灰色示出。由于在具有不同的视角的图像之间各图像拾取器件的视角不同而被照体距离相同，因此，同一被照体区域被计算为相似距离信息。

在本实施例中，描述了在使用图像拾取器件101a和101b时执行的距离信息的计算处理，并且，可根据相同的原理通过使用其它图像拾取器件(例如，一对图像拾取器件102a和102b)计算距离信息。当要通过使用具有不同的视角的图像提取对应点时，优选地是通过从具有宽视角的图像切出与具有窄视角的图像对应的部分来提取对应点。

最后，在步骤S205，***控制器270在记录介质280上记录通过距离信息计算器230计算的被照体的距离信息，然后流程结束。

下面，将详细描述图4中的步骤S104的各图像的视点定位。视点位置控制器221执行通过各图像拾取器件捕获的图像I_1a(x,y)、I_1b(x,y)、I_2a(x,y)和I_2b(x,y)的定位(位置的对准或调整)。在本实施例中，将描述图像I_2a(x,y)要相对于图像I_1a(x,y)的视点位置定位(对准)的情况。与图5中的图像301和图像303之间的关系类似，通过图像拾取器件101a获得的图像I₁被放大tanθ₁/tanθ₂倍，然后它被修剪，并且经放大和修剪的图像被称为I₁′。

随后，获得图像I₂(x,y)与图像I₁′(x,y)之间的各像素(区域)的视差。在图5的情况下，仅对图像304的区域获得视差。关于视差量，可通过在距离信息的计算中执行的块匹配获得从图像I₁′(x,y)观看的图像I₂(x,y)的视差(d_x(x,y),d_y(x,y))。本实施例不限于块匹配，如果可对每一像素(区域)获得视差，则可使用诸如图形切割的其它方法。

最后，将图像I₂(x,y)偏移视差(-d_x(x,y),-d_y(x,y))，以计算由下式(3)表达的图像I₂′(x,y)。

I'₂(x,y)＝I₂(x+d_x'(x,y),y+d_y'(x,y))…(3)

作为结果，可以获得通过关于通过图像拾取器件101a获得的图像的视点对准(定位)通过图像拾取器件102a获得的图像的视点而获得的图像。

在本实施例中，描述了使用图像I_1a(x,y)和I_2a(x,y)的视点的定位处理，并且，该处理可针对一对其它的被捕获图像(例如，一对图像I_1a(x,y)和I_1b(x,y))执行。在本实施例中，各图像拾取器件的光轴是平行的，并且，本实施例也可被应用于光轴不相互平行的配置。但是，在这种情况下，必须在捕获图像之前事先估计照相机的位置或姿态。作为估计方法，可以使用捕获尺寸已知的图案以基于对应点估计照相机的位置或姿势的方法。作为替代方案，某个场景的多个图像可被捕获以与特征点关联，以估计照相机的位置或姿势。通过执行从照相机的位置或姿势的参数导出的投影转换，图像可被转换成与在光轴平行时捕获的图像等同的图像。

视点被定位(对准或调整)的图像被称为J_1a(x,y)、J_1b(x,y)、J_2a(x,y)和J_2b(x,y)。通过视点位置控制器221对视点进行定位的处理如上所述。

下面，参照图9，将描述图像的权重计算处理(图4中的步骤S106)。图9是示出权重计算处理的流程图。图9的各步骤主要由权重计算器223基于***控制器270的指令执行。

在步骤S300，权重计算器223基于分别在步骤S101、S102和S103中获得的图像捕获条件信息、距离信息和规定视角信息，计算各图像中的分辨率的劣化量。作为各图像中的分辨率的劣化的因素，存在依赖于作为图像拾取器件的图像捕获条件的焦距和F数确定的视场深度所导致的散焦区域中的模糊(模糊量)。由几何转换器222执行的针对规定视角θ′的放大或缩小处理所导致的内插的劣化也是因素中的一种。由这两种因素导致的分辨率的劣化量可基于在各前面的步骤获得的图像捕获条件信息、距离信息和规定视角信息被计算。

随后，在步骤S301，权重计算器223基于各图像中的分辨率的劣化量确定要在图像合成中使用的权重(权重系数)。以下，参照图10，将描述步骤S301的确定权重的方法。图10是权重计算器223进行的权重计算处理的说明图。在图10中，点线503表示图像拾取器件102a的视角θ₂的范围。附图标记501表示用于图像304的权重系数。关于权重系数501，“1”被存储作为在点线503所指示的视角的范围之外的权重系数，另一方面，权重系数基于点线503所指示的视角范围内的图像304的分辨率的劣化量被确定。关于权重系数501，白色部分表示权重系数为0。附图标记502表示用于图像306的权重系数。关于权重系数502，白色部分表示权重系数为1且黑色部分表示权重系数为0。

关于要聚焦的被照体(人)，由视场深度导致的模糊量几乎没有差别。因此，关于被照体(人)的区域，仅出现由于几何转换导致的放大或缩小的劣化。在这种情况下，由于由放大劣化导致的分辨率的劣化量增大，因此确定关于权重系数501，点线503内的人的被照体区域中的分辨率的劣化比关于权重系数502的该劣化大，因此，权重系数被设定为0。另一方面，确定关于权重系数502的人的被照体区域中分辨率的劣化小，因此，权重系数被设定为1。

在本实施例中，各图像拾取器件中的图像拾取元件的尺寸、像素的尺寸和光学***的F数中的每一个被设定为相同。另一方面，各图像拾取器件中的光学***的焦距相互不同。图像拾取器件的视场深度根据光学***的焦距和F数被确定，因此，在本实施例中，图像拾取器件101a的视场深度深，而图像拾取器件101b的视场深度浅。因此，在与图像拾取器件102a对应的被捕获图像中，关于位于比被聚焦的人更远的距离的被照体(山)，分辨率由于视场深度而大大劣化。在本实施例中，关于被照体(山)，由视场深度导致的分辨率的劣化比由几何转换导致的放大的劣化大。因此，对于关于权重系数502的除被照体部分(人)以外的位于远方位置的被照体部分，权重系数被设定为0。相反，对于关于权重系数501的位于远方位置的被照体部分，确定分辨率的劣化小，因此，权重系数被设定为1。

下面，参照图11，将描述本实施例中的图像处理的效果。图11是本实施例中的图像处理的效果的说明图。在图11中，附图标记601表示通过根据规定视角简单地合成通过放大广角图像获得并且被修剪的图像与通过缩小望远图像获得的图像而获得的图像。附图标记602表示通过本实施例中的图像处理产生的具有规定视角的图像。附图标记603表示望远侧的视角区域。

从图11可以看出，关于图像601，由于望远侧的视场深度所导致的分辨率的劣化的影响，视角区域603中的山(被照体)部分的分辨率大大劣化。另外，在视角区域603的边界，分辨率水平差增大。另外，对于人(被照体)，由于广角侧的放大处理所导致的分辨率的劣化的影响，视角区域603中的分辨率轻微劣化。另一方面，对于图像602，由于执行图像的权重处理，因此，在图像601中产生的与分辨率有关的问题得到解决。

如上所述，根据本实施例，可产生具有与任意规定视角对应的规定视角的图像数据。换句话说，在包括具有不同的离散视角的多个光学***的复眼图像拾取装置中，可减少由视场深度的不同导致的合成图像的图像质量的劣化。此外，通过合成图像K_1b(x,y)和K_2b(x,y)，可减少在图像中出现的噪声，并且，可提高图像的S/N比。另外，通过基于在前面的阶段获取的被照体距离信息对于产生的图像执行模糊添加处理，可以产生具有任意的视场深度的图像。

[实施例2]

下面，将描述本发明的实施例2中的图像拾取装置。

首先，参照图12，描述本实施例中的图像拾取装置的外部配置。图12是图像拾取装置1000的前视图，并且，它示出包括多个图像拾取器件的复眼型的多视点图像拾取装置(复眼图像拾取装置)的例子。如图12所示，图像拾取装置1000包括能够获取颜色图像数据的两个图像拾取器件1001和1002(多个图像拾取器件)、和图像拾取按钮1003。图像拾取器件1001和102被设置为相互分开基线长度R，使得它们的光轴相互平行。

在本实施例中，图像拾取器件1001的视角被称为θ₁，并且，图像拾取器件1002的视角被称为θ₂。在本实施例中，满足θ₁>θ₂，因此，图像拾取器件1001具有比图像拾取器件1002宽的视角。当用户按下图像拾取按钮1003时，图像拾取器件1001和1002通过使用各自传感器(图像拾取元件)接收被照体的光学信息。然后，由传感器接收的信号从模拟信号被转换成数字信号(即，对于通过传感器接收的信号执行A/D转换)，因此同时获得多个数字数据(被捕获图像数据)。图像拾取装置1000包括通过使用诸如激光测距装置的光波测距仪检测被照体的距离的距离测量器1004。根据复眼型图像拾取装置，可以获得从多个视点位置捕获同一被照体的一组被捕获图像数据。

下面，参照图13，将描述图像拾取装置1000的配置。图13是图像拾取装置1000的框图。图像拾取装置1000与参照图2描述的实施例1的图像拾取装置100的不同在于，它包括图像拾取器件1001和1002、距离测量器1004、包含模式选择器1241的信息输入器件1240、和距离信息计算器1230。本实施例中的图像拾取装置1000的其它配置与实施例1中的图像拾取装置100相同，并因此省略其描述。在本实施例中，通过图像拾取器件1001捕获的图像与图3中的图像I101a类似，并且，通过图像拾取器件1002捕获的图像与图3中的图像I102a类似。

距离信息计算器1230基于来自包括诸如激光测距装置的光波测距仪的距离测量器1004的信息计算图像中的被照体的距离信息。信息输入器件1240检测与由用户选择和输入的希望的图像捕获条件(诸如规定视角θ′、F数和曝光时间)有关的信息(数据)，并且它向***控制器270供给该数据。模式选择器1241选择用户希望的图像捕获模式。本实施例中的图像拾取装置1000可选择图像的分辨率优先的分辨率优先模式或图像的噪声水平优先的S/N优先模式中的任一个，但它不限于此。

本实施例中的图像处理装置所进行的一系列处理中的过程与图4所示的过程相同，因此，其描述被省略。关于距离信息计算处理，与实施例1不同，由于使用了激光测距装置，因此，在实施例1中描述的距离计算处理不是必需的。关于视点定位处理，它与实施例1相同，因此省略其描述。

下面，参照图14，将描述本实施例中的对于图像的权重计算处理(图4中的步骤S106)。图14是示出本实施例中的权重计算处理的流程图。图14的各步骤主要由权重计算器223基于***控制器270的指令执行。

首先，在步骤S400，权重计算器223基于分别在图4中的步骤S101、S102和S103获得的图像捕获条件信息、距离信息和规定视角信息计算各图像中的分辨率的劣化量。随后，在步骤S401，权重计算器223获取通过模式选择器1241选择的用户希望的图像捕获模式选择信息。在本实施例中，选择图像分辨率优先的分辨率优先模式或图像噪声水平优先的S/N优先模式中的任一个。

随后，在步骤S402，权重计算器223基于各图像中的分辨率的劣化量和图像捕获模式选择信息确定要在执行图像合成时使用的权重(权重系数)。以下，将描述步骤S402中的权重的确定方法。分辨率优先模式中的确定权重的方法与实施例1类似。另一方面，在S/N优先模式中，不是根据分辨率的劣化量简单地将“0”或“1”设定为权重，而是在一定程度上允许分辨率的劣化，并且，各区域中的权重被设定为0到1之间的值。

例如，在图10中，对于关于权重系数501的点线503内的被照体部分(人)，确定由放大处理导致的劣化的程度比关于权重系数502的被照体部分(人)中的劣化程度小，因此，权重系数被设定为0.3。对于关于权重系数502的除被照体部分(人)以外的位于远方位置的被照体部分，确定由视场深度导致的劣化程度大，因此，权重系数被设定为0.2。如上所述，通过根据分辨率劣化程度使用具有大的分辨率劣化量的图像区域作为合成图像，虽然会出现分辨率的轻微劣化，但仍可实现降低合成图像的噪声的效果。

根据本实施例，可在分辨率优先模式中实现与实施例1类似的效果，并且，如果允许分辨率的最小劣化，则可在S/N优先模式中降低产生的图像的噪声。

[实施例3]

下面，将描述本发明的实施例3中的图像拾取装置。本实施例与权重计算处理有关，它与实施例1中的权重计算处理的不同在于，除了参照图9描述的实施例1中的处理以外，还使用边缘强度作为确定材料。本实施例中的图像拾取装置的配置与实施例1中的图像拾取装置100相同，因此省略其描述。

参照图15，将描述本实施例中的图像的权重计算处理(图4中的步骤S106)。图15是示出本实施例中的权重计算处理的流程图。图15中的各步骤主要由权重计算器223基于***控制器270的指令执行。

首先，在步骤S500，权重计算器223基于分别在图4中的步骤S101、S102和S103获得的图像捕获条件信息、距离信息和规定视角信息计算各图像中的分辨率的劣化量。

随后，在步骤S501，权重计算器223检测各图像中的边缘(尖锐区域)并且计算其强度(边缘强度)。以下，参照图16，将描述基于通过权重计算器223计算的边缘强度来确定权重(权重系数)的方法、即权重计算处理。图16是权重计算处理的说明图。

在本实施例中，通过使用由下式(4)代表的索贝尔滤波器，根据下式(5)计算边缘强度G(x,y)。

$\begin{array}{cc}{h}_h=\left(\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right)& h_v=\left(\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right)\end{array}\mathrm{...}\left(4\right)$

$G(x,y)=\sqrt{{(h_h*I)}^2+{(h_v*I)}^2}\mathrm{...}\left(5\right)$

在式(5)中，符号“*”和“I”分别表示卷积和图像。当由式(5)表达的边缘强度G(x,y)的值大于或等于阈值T时，权重计算器223确定该区域为边缘(边缘区域)，并且确定以该区域的像素为中心的具有s×s的尺寸的块的权重(权重系数)。

当像素值为[0，255]时，例如，采用阈值T＝20和块尺寸s＝10。如图16所示，对图像304和图像306中的每一个计算边缘强度，比较两个图像之间的边缘强度，并且，边缘强度较低的部分的权重被设定为0(即，黑色部分)。例如，关于图16中的权重系数701，边缘强度对于人(被照体)的边缘区域由于放大处理所导致的劣化而下降，因此，权重系数为0。另一方面，关于图16中的权重系数702，边缘强度对于山(被照体)的边缘区域由于视场深度所导致的劣化而下降，因此，权重系数为0。

随后，在图15中的步骤S502，权重计算器223基于各图像中的分辨率的劣化量和边缘强度确定要在图像合成中使用的权重(权重系数)。以下，将描述步骤S502中的确定权重的方法。在步骤S502，权重计算器223将图10所示的基于分辨率的劣化量的权重与图16所示的基于边缘强度的权重相加，或者将基于分辨率的劣化量的权重乘以基于边缘强度的权重，以确定合成权重(合成权重系数)。

如上所述，关于边缘区域及其周边区域，具有较低边缘强度的区域的权重被设定为0，而具有较高边缘强度的区域的权重被设定为1，使得边缘区域的分辨率被保持。另一方面，关于实体区域，可通过使用用于合成图像的两个图像来提高S/N。当出现距离信息或边缘强度的计算误差时，可基于两种信息确定权重，因此，可减小在确定要在图像合成时使用的权重时出现的误差。

根据本实施例，边缘强度被用于权重计算，因此通过关于实体区域使用用于合成图像的两个图像，可保持边缘区域的分辨率，同时提高S/N。此外，当出现距离信息或边缘强度的计算误差时，可基于这两种信息确定权重，因此，可减小在确定要在图像合成时使用的权重时出现的误差。

[实施例4]

下面将描述本发明的实施例4中的图像拾取装置。

首先，参照图17，将描述本实施例中的图像拾取装置的配置。图17是图像拾取装置2000的框图。图像拾取装置2000与参照图2描述的实施例1的图像拾取装置100的不同在于，没有权重计算器223，而是设置了模糊添加器225(分辨率劣化量计算器)。本实施例中的图像拾取装置2000的其它配置与实施例1中的图像拾取装置100相同，因此省略其描述。

模糊添加器225基于图像拾取器件101a、101b、102a和102b的图像捕获条件信息、被照体的距离信息和规定视角信息添加模糊，使得各图像在图像合成期间具有相似的视场深度。本实施例的图像处理器220与实施例1的不同在于，它在图像合成期间执行模糊添加处理，而不是权重计算处理。

下面，参照图18，将描述本实施例中的图像拾取装置所执行的一系列处理(图像处理)中的过程。图18是示出本实施例中的图像处理的流程图。图18的各步骤主要由图像拾取装置2000的各部分基于***控制器270的指令执行。图18中的步骤S600～S605分别与图4中的步骤S100～S105相同。

在步骤S606，模糊添加器225基于图像捕获条件信息、被照体的距离信息和规定视角信息向几何转换之后的被捕获图像数据中的每一个添加模糊。在后面将描述模糊添加器225的处理的细节。最后，在步骤S607，图像产生器224合成被添加了模糊的图像中的每一个，使得视场深度彼此相似，并且，它产生具有规定视角的图像数据。产生的具有规定视角的图像数据存储于记录介质280中。然后，图18中的流程结束。

下面，参照图19，将详细描述由模糊添加器225执行的模糊添加处理。图19是示出模糊添加处理的流程图。图19的各步骤主要由模糊添加器225基于***控制器270的指令执行。

首先，在步骤S700，模糊添加器225基于分别在步骤S601、S602和S603获得的图像捕获条件信息、被照体的距离信息和规定视角信息计算各图像中的分辨率的劣化量。

随后，在步骤S701，模糊添加器225基于各图像中的分辨率的劣化量向各图像添加模糊。以下，参照图20，将描述步骤S701的模糊添加处理。图20是模糊添加处理的说明图。在图20中，点线803表示图像拾取器件102a的视角θ₂的范围。附图标记801表示通过基于被照体的距离信息向图像304添加模糊以使其具有与图像306相似的视场深度而获得的图像。

在本实施例中，各图像拾取器件中的图像拾取元件的尺寸、像素的尺寸和光学***的F数中的每一个被设定为相同。另一方面，各图像拾取器件中的光学***的焦距相互不同。图像拾取器件的视场深度根据光学***的焦距和F数被确定，因此，在本实施例中，图像拾取器件101a的视场深度深，而图像拾取器件102a的视场深度浅。因此，在与图像拾取器件102a对应的图像中，关于位置比被聚焦的人远的被照体(山)，分辨率由于视场深度而大大劣化。

在本实施例中，关于被照体(山)，由视场深度导致的分辨率的劣化比由几何转换导致的放大劣化大。因此，依赖于距离的模糊被添加到图像801中的被照体(人)部分之外的位于远方位置的被照体部分，使得获得具有与图像802相似的视场深度的图像。具体而言，对于图像304执行通过使用实现模糊效果的滤波器进行的滤波处理。在本实施例中，使用可调整模糊量的高斯滤波。在本实施例中，高斯分布的标准偏差被设定为作为基于被照体的距离信息可变的模糊量的滤波系数。

下面，参照图21，将描述本实施例中的图像处理的效果。图21是本实施例中的图像处理的效果的说明图。附图标记901表示通过根据规定视角简单地合成通过放大广角图像获得并且被修剪的图像与通过缩小望远图像获得的图像而获得的图像。附图标记902表示通过本实施例中的图像处理产生的具有规定视角的图像。附图标记903表示望远侧的视角区域。

从图21可以看出，关于图像901，在视角区域903的边界，分辨率水平差增大。另一方面，关于图像902，由于在执行模糊添加处理以使得图像中的每一个具有相似的视场深度之后合成图像中的每一个，因此，在图像901中产生的与分辨率有关的问题得到解决。

如上所述，根据本实施例，可产生具有与任意规定视角对应的规定视角的图像数据。换句话说，在包括具有不同的离散视角的多个光学***的复眼图像拾取装置中，可减少由视场深度的不同导致的合成图像的图像质量的劣化。此外，通过合成图像K_1b(x,y)和K_2b(x,y)，可减少在图像中出现的噪声，并且，可提高图像的S/N比。另外，通过基于在前面的阶段中获取的被照体距离信息对于产生的图像执行模糊添加处理，可以产生具有任意的视场深度的图像。

如上所述，在各实施例中，图像处理装置包括图像捕获条件获取器260、距离信息获取器230(1230)、视角信息获取器240(1240)和图像产生器224。图像捕获条件获取器被配置为获取具有相互不同的视角的多个图像的图像捕获条件信息。距离信息获取器被配置为获取包含于多个图像中的被照体的距离信息。视角信息获取器被配置为获取视角信息(规定视角信息)。图像产生器被配置为基于图像捕获条件信息、距离信息和视角信息从多个图像产生与视角信息(规定视角信息)对应的图像。距离信息是图像中的各位置处的被照体距离信息。

优选地，图像产生器被配置为基于通过使用图像捕获条件信息、距离信息和视角信息计算的分辨率的劣化量，从多个图像产生与视角信息对应的图像。优选地，图像处理装置包括被配置为控制多个图像的视点的位置以使它们相互一致的位置控制器(视点位置控制器221)。

优选地，图像处理装置包括被配置为基于图像捕获条件信息、距离信息和视角信息确定权重的权重确定器(权重计算器223)。图像产生器被配置为基于权重产生与视角信息对应的图像。更优选地，权重确定器被配置为基于图像捕获条件信息、距离信息和视角信息计算多个图像中的每一个的分辨率的劣化量，并基于分辨率的劣化量确定权重。优选地，图像处理装置包括被配置为选择图像捕获模式的模式选择器1241。图像捕获模式包含分辨率优先模式和S/N优先模式。权重确定器被配置为根据通过模式选择器选择的图像捕获模式确定权重。优选地，权重确定器被配置为基于多个图像中的每一个的特征量确定权重。更优选地，多个图像中的每一个的特征量是图像中的每一个的边缘强度。

优选地，图像处理装置包括被配置为基于图像捕获条件信息、距离信息和视角信息向多个图像中的每一个添加模糊的模糊添加器225。图像产生器被配置为从包含通过模糊添加器添加的模糊的多个图像产生与视角信息对应的图像。更优选地，模糊添加器被配置为基于图像捕获条件信息、距离信息和视角信息计算多个图像中的每一个的分辨率的劣化量，并且基于分辨率的劣化量添加模糊。更优选地，模糊添加器被配置为基于图像捕获条件信息、距离信息和视角信息计算多个图像中的每一个的分辨率的劣化量，并且基于分辨率的劣化量添加模糊。更优选地，模糊添加器被配置为随着分辨率的劣化量的减小而增加模糊。优选地，模糊添加器被配置为添加模糊以便减少多个图像中的视场深度的差异。更优选地，模糊添加器被配置为添加模糊以使得多个图像中的视场深度相互一致。

优选地，多个图像包含在相同的视角获取的多个图像。优选地，距离信息获取器被配置为基于具有相互不同的视点的多个图像获取距离信息。

[其它实施例]

本发明的实施例还可通过读出并执行记录于存储介质(也可被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个实施例的功能的和/或包含用于执行上述实施例中的一个或更多个实施例的功能的一个或更多个电路(例如，专用集成电路(ASIC))的***或装置的计算机实现，或者通过由***或装置的计算机通过例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个实施例的功能和/或控制一个或更多个电路以执行上述实施例中的一个或更多个实施例的功能而执行的方法来实现。计算机可包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可包含单独的计算机或单独的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可例如从网络或存储介质被提供给计算机。存储介质可包含例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算***的存储器、光盘(诸如紧致盘(CD)、数字万用盘(DVD)或蓝光盘(BD)^TM)、快擦写存储器设备和存储卡等中的一个或更多个。

虽然已参照示例性实施例说明了本发明，但应理解，本发明不限于公开的示例性实施例。以下的权利要求的范围应被赋予最宽的解释以包含所有的变更方式和等同的结构和功能。

Claims (17)

1.一种图像处理装置，包括：

图像捕获条件获取器，被配置为获取具有相互不同的视角的多个图像的图像捕获条件信息；

距离信息获取器，被配置为获取包含于所述多个图像中的被照体的距离信息；

视角信息获取器，被配置为获取视角信息；和

图像产生器，被配置为基于所述图像捕获条件信息、所述距离信息和所述视角信息从所述多个图像产生与视角信息对应的图像，

其特征在于，所述距离信息是图像中的各位置处的被照体距离信息。

2.根据权利要求1所述的图像处理装置，其特征在于，图像产生器被配置为基于通过使用所述图像捕获条件信息、所述距离信息和所述视角信息计算的分辨率的劣化量从所述多个图像产生与视角信息对应的图像。

3.根据权利要求1所述的图像处理装置，其特征在于，还包括被配置为控制所述多个图像的视点的位置以使它们相互一致的位置控制器。

4.根据权利要求1所述的图像处理装置，还包括被配置为基于所述图像捕获条件信息、所述距离信息和所述视角信息确定权重的权重确定器，

其特征在于，图像产生器被配置为基于所述权重产生与视角信息对应的图像。

5.根据权利要求4所述的图像处理装置，其特征在于权重确定器被配置为：

基于所述图像捕获条件信息、所述距离信息和所述视角信息计算所述多个图像中的每一个的分辨率的劣化量；以及

基于分辨率的所述劣化量确定权重。

6.根据权利要求4所述的图像处理装置，还包括被配置为选择图像捕获模式的模式选择器，

其特征在于，

图像捕获模式包含分辨率优先模式和S/N优先模式，以及

权重确定器被配置为根据通过模式选择器选择的图像捕获模式确定权重。

7.根据权利要求4所述的图像处理装置，其特征在于，权重确定器被配置为基于所述多个图像中的每一个的特征量确定权重。

8.根据权利要求7所述的图像处理装置，其特征在于，所述多个图像中的每一个的特征量是图像中的每一个的边缘强度。

9.根据权利要求1所述的图像处理装置，还包括被配置为基于所述图像捕获条件信息、所述距离信息和所述视角信息向所述多个图像中的每一个添加模糊的模糊添加器，

其特征在于，图像产生器被配置为从包含通过模糊添加器添加的模糊的多个图像产生与视角信息对应的图像。

10.根据权利要求9所述的图像处理装置，其特征在于，模糊添加器被配置为：

基于所述图像捕获条件信息、所述距离信息和所述视角信息计算所述多个图像中的每一个的分辨率的劣化量；和

基于分辨率的所述劣化量添加模糊。

11.根据权利要求10所述的图像处理装置，其特征在于，模糊添加器被配置为随着分辨率的劣化量的减小而增大模糊。

12.根据权利要求9所述的图像处理装置，其特征在于，模糊添加器被配置为添加模糊以减少所述多个图像中的视场深度的差异。

13.根据权利要求12所述的图像处理装置，其特征在于，模糊添加器被配置为添加模糊以使得所述多个图像中的视场深度相互一致。

14.根据权利要求1所述的图像处理装置，其特征在于，所述多个图像包含在相同的视角获取的多个图像。

15.根据权利要求1～14中的任一项所述的图像处理装置，其特征在于，距离信息获取器被配置为基于具有相互不同的视点的所述多个图像获取距离信息。

16.一种图像拾取装置，包括：

图像拾取器件，被配置为获取具有相互不同的视角的多个图像；

图像捕获条件获取器，被配置为获取所述多个图像的图像捕获条件信息；

距离信息获取器，被配置为获取包含于所述多个图像中的被照体的距离信息；

视角信息获取器，被配置为获取视角信息；和

图像产生器，被配置为基于所述图像捕获条件信息、所述距离信息和所述视角信息从所述多个图像产生与视角信息对应的图像，

其特征在于，距离信息是图像中的各位置处的被照体距离信息。

17.一种图像处理方法，包括以下步骤：

获取具有相互不同的视角的多个图像的图像捕获条件信息；

获取包含于所述多个图像中的被照体的距离信息；

获取视角信息；和

基于所述图像捕获条件信息、所述距离信息和所述视角信息从所述多个图像产生与视角信息对应的图像，

其特征在于，所述距离信息是图像中的各位置处的被照体距离信息。