CN103986854B

CN103986854B - 图像处理设备、摄像设备和控制方法

Info

Publication number: CN103986854B
Application number: CN201410044919.0A
Authority: CN
Inventors: 山田惠司
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-02-07
Filing date: 2014-02-07
Publication date: 2017-12-05
Anticipated expiration: 2034-02-07
Also published as: US20140218593A1; US10855903B2; US9615016B2; JP2014153890A; US20170180630A1; JP6159097B2; CN103986854A

Abstract

本发明涉及一种图像处理设备、摄像设备和控制方法。在本发明的图像处理设备中，在图像信号中选择多个被摄体，并且指定用于聚焦于所选择的各被摄体的被摄体距离。然后设置由所指定的被摄体距离所定义的被摄体距离范围。然后，基于该图像信号，图像处理设备生成聚焦于在所设置的被摄体距离范围中要聚焦的各被摄体的重建图像。

Description

图像处理设备、摄像设备和控制方法

技术领域

本发明涉及一种图像处理设备、摄像设备和控制方法，尤其涉及用于在拍摄之后基于输出数据来生成在任意被摄体距离处聚焦的图像的技术。

背景技术

近年来，提出了如下技术：在诸如数字照相机等的摄像设备中，在拍摄期间将光的强度分布和行进方向记录作为输出数据，从而使得可以在记录之后基于该输出数据来生成焦点位置位于任意像面上的图像。

Ren.Ng等人，“Light Field Photography with a Hand-held PlenopticCamera”,Stanford University Computer Science Tech Report CTSR,2005-02公开了如下方法(光场摄影)：通过使穿过摄像镜头的不同分割光瞳区域的光束经由微透镜阵列在图像传感器的像素(光电转换元件)上成像，来单独记录从各方向入射的光。在这样所获得的输出数据(光场数据、以下称为“LF数据”)中，相邻像素记录从不同方向入射的光束。

通过从与各微透镜相关联的像素中提取来自同一方向的光束，可以基于LF数据来生成从该方向拍摄到的图像。此外，通过设置焦点位置、并且将记录了穿过包括该焦点位置的焦平面中的一个点的光束的像素的输出相加，可以在拍摄之后虚拟地生成(重建)在所指定的焦点位置(像面)处聚焦的图像的像素。

此外，通过仅使用LF数据中的、接收到穿过有限范围的分割光瞳区域的光束的像素，可以获得与在摄像光学***中应用光圈的情况等同的效果。具体地，通过仅使用同对应于出射光瞳的中央的分割光瞳区域相对应的像素来生成重建图像，还可以生成景深深的且在宽范围的被摄体距离处聚焦的图像。

然而，在如上所述生成深景深的重建图像的情况下，存在除期望被摄体以外的被摄体也聚焦的情况。例如，正通过作为期望被摄体的人物的前方或后方的行人等也有可能聚焦。特别地，在重建图像中，与期望被摄体相比、拍摄期间位于离摄像设备更近的位置处的被摄体的存在感较高。

发明内容

本发明是考虑到传统技术的这些问题而作出的。本发明提供用于生成良好地聚焦于多个期望被摄体的图像的图像处理设备、摄像设备和控制方法。

本发明的第一方面提供一种图像处理设备，包括：获得部件，用于获得如下数据，根据该数据能够生成聚焦于任意像面的重建图像；显示部件，用于将图像显示到显示介质；选择部件，用于选择所述显示部件所显示的图像上的多个被摄体；设置部件，用于指定与所述选择部件所选择的多个被摄体相对应的聚焦位置，并且设置由所指定的聚焦位置所定义的聚焦范围；以及生成部件，用于基于所述数据来生成聚焦于与所述设置部件所设置的聚焦范围相对应的各被摄体的重建图像。

本发明的第二方面提供一种摄像设备，包括：摄像部件，用于输出如下数据，根据该数据能够生成聚焦于任意像面的重建图像；显示部件，用于将图像显示到显示介质；选择部件，用于选择所述显示部件所显示的图像上的多个被摄体；设置部件，用于指定与所述选择部件所选择的多个被摄体相对应的聚焦位置，并且设置由所指定的聚焦位置所定义的聚焦范围；以及生成部件，用于基于所述数据来生成聚焦于与所述设置部件所设置的聚焦范围相对应的各被摄体的重建图像。

本发明的第三方面提供一种图像处理设备的控制方法，包括以下步骤：获得步骤，在该步骤中，所述图像处理设备的获得部件获得如下数据，根据该数据能够生成聚焦于任意像面的重建图像；显示步骤，在该步骤中，所述图像处理设备的显示部件将图像显示到显示介质；选择步骤，在该步骤中，所述图像处理设备的选择部件选择所述显示步骤中所显示的图像上的多个被摄体；设置步骤，在该步骤中，所述图像处理设备的设置部件指定与所述选择步骤中所选择的多个被摄体相对应的聚焦位置，并且设置由所指定的聚焦位置所定义的聚焦范围；以及生成步骤，在该步骤中，所述图像处理设备的生成部件基于所述数据来生成聚焦于与所述设置步骤中所设置的聚焦范围相对应的各被摄体的重建图像。

本发明的第四方面提供一种摄像设备的控制方法，包括以下步骤：摄像步骤，在该步骤中，所述摄像设备的摄像部件输出如下数据，根据该数据能够生成聚焦于任意像面的重建图像；显示步骤，在该步骤中，所述摄像设备的显示部件将图像显示到显示介质；选择步骤，在该步骤中，所述摄像设备的选择部件选择所述显示步骤中所显示的图像上的多个被摄体；设置步骤，在该步骤中，所述摄像设备的设置部件指定与所述选择步骤中所选择的多个被摄体相对应的聚焦位置，并且设置由所指定的聚焦位置所定义的聚焦范围；以及生成步骤，在该步骤中，所述摄像设备的生成部件基于所述数据来生成聚焦于与所述设置步骤中所设置的聚焦范围相对应的各被摄体的重建图像。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明实施例的数字照相机100的功能结构的框图。

图2是用于说明根据本发明实施例的微透镜阵列105和摄像单元106之间的关系的图。

图3是用于说明根据本发明实施例的、穿过出射光瞳301的各区域的光束和用于对这些光束进行光电转换的光电转换元件之间的关系的图。

图4A和4B是示出根据本发明实施例的、出射光瞳301的各区域和与各微透镜相对应的光电转换元件之间的对应关系的图。

图5是用于说明根据本发明实施例的、穿过重建面中的指定位置的光束所具有与摄像面中的穿过位置的关系的图。

图6是示出根据本发明实施例的数字照相机100中所执行的重建图像生成处理的流程图。

图7是示出根据本发明实施例的数字照相机100中所执行的被摄体选择处理的流程图。

图8A和8B是用于说明根据本发明实施例的对象LF数据的图。

图9是示出根据本发明实施例的D区域的分布的直方图。

图10A、10B、10C和10D是用于说明根据本发明实施例的输出图像的生成的图。

具体实施方式

以下将参考附图来详细说明本发明的例示实施例。注意，以将本发明应用于作为图像处理设备的一个示例的如下数字照相机为例来说明以下实施例，其中该数字照相机可以在拍摄之后基于LF数据来生成聚焦于位于任意被摄体距离处的被摄体的图像。然而，本发明可应用于可以基于LF数据来生成聚焦于位于任意被摄体距离处的被摄体的图像的任何装置。

此外，如下定义本说明书中所使用的以下术语。

·“光场(LF)数据”

LF数据是指从本实施例的数字照相机100的摄像单元106输出的图像信号。该图像信号的各像素表示与所穿过的摄像光学***104的光瞳区域和入射方向的组合不同的光束相对应的信号强度。LF数据有时还被称为“光线空间信息”。

·“重建图像”

重建图像是根据LF数据所生成的并且聚焦于位于任意被摄体距离处的被摄体的图像。具体地，通过根据与要生成图像的被摄体距离相对应的焦平面(即，重建面)中的像素配置而对与穿过各像素的光束相对应的LF数据中的像素的像素值进行合成，来获得该焦平面中的像素的像素值。重建面中的像素配置是基于在图像传感器位于重建面的情况下要入射的光束的入射方向所确定的。可以通过获得像素配置中的与一个微透镜相对应的像素的像素值的总和来生成重建图像的一个像素。

数字照相机100的结构

图1是示出根据本发明的本实施例的数字照相机100的功能结构的框图。

控制单元101例如是CPU，并且控制数字照相机100的各块的操作。具体地，控制单元101通过读出存储在ROM102中的后面所述的拍摄处理或再聚焦运动图像生成处理所用的操作程序、将该操作程序展开至RAM103并执行该操作程序，来控制各块的操作。

ROM102例如是可重写非易失性存储器，并且存储数字照相机100的各块所用的操作程序、以及各块的操作所需的参数等。

RAM103是易失性存储器。RAM103不仅用作用于展开数字照相机100的各块所用的操作程序的区域，而且还用作用于存储在各块的操作中所输出的中间数据等的存储区域。

摄像单元106是诸如CCD或CMOS传感器等的图像传感器。摄像单元106根据来自控制单元101的指示而接收从时序发生器(TG)(未示出)输出的定时信号，对利用摄像光学***104在图像传感器的光电转换元件面上成像得到的光学图像进行光电转换，并且输出模拟图像信号。注意，摄像光学***104包括物镜、调焦透镜和光圈等。此外，本实施例的数字照相机100具有设置在图像传感器的各光电转换元件上的微透镜，并且在光轴上的图像传感器和摄像光学***104之间还单独具有微透镜阵列105。

微透镜和光电转换元件之间的关系

以下参考附图来说明在本发明的数字照相机100中设置在光轴上的图像传感器和摄像光学***104之间的微透镜阵列105。

如图2所示，本实施例的微透镜阵列105由多个微透镜201构成。在图2中，z轴是摄像光学***104的光轴，x轴是数字照相机100处于横向姿势的情况下的水平方向，并且y轴是垂直方向。注意，在图2所示的示例中，为了简便，将微透镜阵列105描述为由5行×5列排列的微透镜201构成，但微透镜阵列105的结构不限于此。

此外，图2示出利用网格表示构成摄像单元106的图像传感器的光电转换元件202的示例。各微透镜201与预定数量的光电转换元件202相对应，并且在图2所示的示例中，一个微透镜201与5×5=25个像素的光电转换元件202相对应。穿过一个微透镜201的光束根据这些光束的入射方向而分离，并且在相应的光电转换元件202上成像。

图3示出入射到与一个微透镜201相对应的光电转换元件202p1～p5上的光束。在图3中，上方向与垂直向上方向相对应。该图示出在数字照相机100处于横向姿势的情况下、如从横方向观看到的入射到光电转换元件202上的光束的光路。如该图所示，入射到水平排列的光电转换元件202p1～p5上的光束是穿过通过垂直地分割摄像光学***104的出射光瞳301所获得的五个区域a1～a5、然后穿过一个微透镜201的光束。注意，附加至这些区域的数字表示与接收穿过这些区域的光束的光电转换元件202的对应关系。

注意，尽管图3示出如从横方向观看到的入射到光电转换元件202上的光束的光路的示例，但光束的分离不限于垂直方向，并且在水平方向上也同样地进行分离。具体地，在如从图像传感器侧观看到的、将摄像光学***104的出射光瞳301分割成图4A所示的区域的情况下，穿过各区域的光束入射到图4B所示的光电转换元件202中的附加有相同的识别数字的光电转换元件上。注意，这里假定摄像光学***104和微透镜阵列105的各微透镜具有大致相同的光圈值(F值)。

AFE107和DFE108对摄像单元106所生成的图像信号进行校正处理等。具体地，AFE107对从摄像单元106输出的模拟图像信号进行基准电平调整(钳位处理)和A/D转换处理，并且将LF数据输出至DFE108。DFE108校正所输入的LF数据中的微小基准电平偏差等。

图像处理单元109对利用DFE108进行了校正处理的LF数据应用诸如颜色校正处理等的各种图像处理。在本实施例中，图像处理单元109还进行用于基于LF数据来生成聚焦于位于任意被摄体距离处的被摄体的图像(即，重建图像)的处理。可以使用诸如上述的Ren所公开的技术等的“光场摄影”来生成重建图像。

重建图像生成方法

以下参考附图来说明用于生成聚焦于指定被摄体距离处的被摄体的重建图像的方法的概述。

首先，可以利用以下方法来获取用于聚焦于拍摄范围中所包括的指定被摄体的被摄体距离。首先，图像处理单元109根据LF数据生成分别与穿过不同光瞳分割区域的两个光束相对应的图像，并且检测这些图像中的指定被摄体的图像之间的差(散焦量)。然后，控制单元101基于这样所检测到的散焦量来计算用于聚焦于指定被摄体的被摄体距离。

在图4B所示的示例中，对于各微透镜，可以通过将相应像素中的第一列和第二列的像素的像素值相加来生成与出射光瞳301的左半部分的分割光瞳区域相对应的图像A。此外，可以通过将相应像素中的第四列和第五列的像素的像素值相加来生成与出射光瞳301的右半部分的分割光瞳区域相对应的图像B。这可以通过以下表达式来表示。

这样所获得的两种类型的重建图像是光轴为相应的光瞳分割区域的重心位置的图像。

具体地，由于这两种类型的重建图像因光轴偏差而存在图像偏差，因此可以通过对这两个图像进行相关计算来针对各被摄体检测图像偏差量(光瞳分割相位差)。可以基于这样所获得的图像偏差量来分析用于聚焦于LF数据的拍摄范围中所包括的被摄体的被摄体距离，并且例如可以生成聚焦于指定被摄体的重建图像作为附加图像。

以下说明聚焦于指定被摄体距离处的被摄体的重建图像的生成。在本实施例的数字照相机100中，如上所述与一个微透镜相对应的各像素接收穿过摄像镜头的出射光瞳的不同分割光瞳区域的光束。对于微透镜阵列105中的所有微透镜而言，同样如此。此外，由于各微透镜接收从不同方向穿过摄像镜头的光束，因此图像传感器的每个像素均接收到从所有的不同方向入射的光束。

由于该原因，在以下说明中，使用由出射光瞳内的所穿过的光瞳区域的坐标(u,v)和相应微透镜的位置坐标(x',y')所表示的光路来定义入射到通过拍摄所获得的LF数据的各像素上的光束。在重建图像的生成中，对于与要生成重建图像的任意被摄体距离相对应的重建面上的像素(x,y)，可以通过对具有穿过该点的光路的光束进行积分来获得该像素(x,y)的像素值。

图5示出在数字照相机100处于横向姿势的情况下、如从垂直方向观看到的水平面(xz平面)中的光束的光路。尽管以下说明xz平面中的穿过重建面的各像素的光束的光路，但对于yz平面也同样如此。

设(u,v)表示光瞳区域的坐标、并且(x,y)表示重建面中的像素的坐标，则以下表达式获得接收穿过分割光瞳区域和重建面上的像素的光束的微透镜阵列105中的微透镜的位置坐标(x',y')。

注意，F表示从摄像镜头到微透镜阵列的距离，并且αF表示从拍摄镜头到重建面的距离(α是再聚焦系数，其作为用于确定相对于重建面的距离的可变系数)。

此外，设L(x',y',u,v)表示接收该光束的光电转换元件的输出，则如通过以下表达式所示，通过针对拍摄镜头的光瞳区域对L(x',y',u,v)求积分来获得在重建面上要形成的图像中的坐标(x,y)处的像素的输出E(x,y)。

注意，如果将光瞳区域的代表坐标设置为(u,v)，则可以通过简单相加来对该表达式求解。

显示单元110是诸如紧凑型LCD等的数字照相机100所具有的显示装置。显示单元110显示图像处理单元109所生成的并且在任意被摄体距离处聚焦的图像。如上所述，在本实施例的通过对从摄像单元106输出的模拟图像信号进行A/D转换所获得的LF数据中，相邻像素处的图像没有连结。由于该原因，不是将LF数据而是将图像处理单元109所生成的图像数据显示在显示单元110上。

记录介质111例如是数字照相机100的内部存储器、或者诸如存储卡或HDD等的连接至数字照相机100的可移除记录装置。记录介质111记录LF数据、以及根据该LF数据所生成的并且在任意像面处聚焦的图像。

操作输入单元112是诸如电源按钮或快门按钮等的数字照相机100的用户界面。在检测到用户操作了用户界面时，操作输入单元112将与所检测到的操作相对应的控制信号输出至控制单元101。

重建图像生成处理

以下参考图6的流程图来具体说明在具有上述结构的本实施例的数字照相机100中所执行的重建图像生成处理中的处理。例如，可以通过控制单元101读出存储在ROM102中的相应处理程序、将该处理程序展开至RAM103并执行该处理程序来实现与该流程图相对应的处理。注意，例如将该重建图像生成处理作为在如下情况下开始的处理来进行说明：将数字照相机100设置为浏览模式并且启动，然后用户给出用以根据记录在记录介质111上的LF数据来生成重建图像的指示。

在步骤S601中，控制单元101根据给出生成指示的对象LF数据来设置用于获取表示相对于被摄体的距离的相应信息的距离信息获取区域(以下称为“D区域”)。D区域是构成对象LF数据的像素阵列中的二维区域，并且是以与一个微透镜201相对应的像素组(光电转换元件202)为单位定义的。具体地，根据基于LF数据可以生成的重建图像的最小分辨率来定义D区域的大小。例如，在图2所示的示例中，与一个微透镜201相对应的5×5个像素的组对应于重建图像的最小分辨率，因此将D区域定义为水平方向上的像素数是5的倍数、并且垂直方向上的像素数是5的倍数的区域。

注意，如下结构是可以的：以与根据对象LF数据可以生成的重建图像的最小分辨率相对应的像素组为单位来定义D区域，并且根据针对相对于被摄体的距离所需的精度、以及诸如装置计算能力、计算量和所需帧频等的限制来将D区域的大小设置为适当大小。

在步骤S602中，针对步骤S601中所设置的各D区域，控制单元101计算表示相对于该区域中所包括的被摄体的代表距离的信息。具体地，针对对象LF数据的各D区域，控制单元101使图像处理单元109生成与穿过两个不同的分割光瞳区域的光束相对应的散焦量检测所用的两种类型的重建图像(检测图像)。该步骤中所生成的检测图像可以对应于如前面所述、穿过了通过将出射光瞳301的区域分割成左半部分和右半部分的分割光瞳区域所获得的分割光瞳区域的光束。然而，本发明的实现不限于此；检测图像仅需是与穿过出射光瞳301的光束中的、穿过光轴不同的两种类型的分割光瞳区域的光束相对应的两种类型的图像，并且选择分割光瞳区域的方法不限于此。

然后，控制单元101根据分析所获得的散焦量的结果来计算各D区域的代表距离。注意，代表距离例如可以是与位于相应D区域的中央的被摄体有关的距离、或者可以是针对相应区域中的所有被摄体所获得的距离的平均值。

在步骤S603中，控制单元101执行被摄体选择处理，其中该被摄体选择处理用于使得用户能够选择在最终生成的重建图像(即，最终图像)中要聚焦的被摄体(聚焦被摄体)。

被摄体选择处理

以下参考图7的流程图来说明步骤S603中所执行的被摄体选择处理的详细内容。

在步骤S701中，在控制单元101的控制下，图像处理单元109生成用于使得用户能够指定在最终图像中要聚焦的聚焦被摄体的选择重建图像。该选择重建图像例如可以是为了在获得对象LF数据时设置的被摄体距离(像面)处聚焦而生成的图像。可选地，为了容易地识别被摄体，选择重建图像可以是使用与穿过诸如出射光瞳301的中央部等的有限范围的分割光瞳区域的光束相对应的像素所生成的深景深的图像。

在步骤S702中，控制单元101将图像处理单元109所生成的选择重建图像发送至显示单元110，并且使该选择重建图像连同指示用户选择聚焦被摄体的消息一起进行显示。本实施例的显示单元110例如可以是包括用于检测触摸操作的传感器的触摸面板显示器，并且用户能够通过对显示在显示单元110上的选择重建图像进行触摸操作来选择聚焦被摄体。在进行触摸操作的情况下，将触摸操作检测信号发送至操作输入单元112，并且操作输入单元112将该检测信号转换成控制信号并将该控制信号输出至控制单元101。

在步骤S703中，控制单元101判断是否进行了第一次聚焦被摄体选择。在本实施例中，假定数字照相机100具有检测与图像中所包括的人物的面部相对应的区域的功能，并且假定在步骤S703中，判断用户是否选择了要作为聚焦被摄体的面部区域。注意，聚焦被摄体不限于人物的面部区域，并且可以是数字照相机100具有检测功能的指定被摄体。此外，尽管在本实施例中将聚焦被摄体作为人物的面部区域来进行说明，但本发明的实现不限于此，并且可以将诸如位于用户所指定的位置处的建筑物等的被摄体设置为聚焦被摄体。

在控制单元101判断为进行了第一次聚焦被摄体选择的情况下，该过程进入步骤S704，并且在判断为没有进行第一次聚焦被摄体选择的情况下，重复步骤S703的处理。

在步骤S704中，利用控制单元101将与输出图像中要聚焦的被摄体距离范围的一端处的被摄体距离相对应的D区域设置为第一被摄体区域。具体地，控制单元101指定表示与选择重建图像中的、作为所选择的聚焦被摄体的面部区域所位于的位置相对应的D区域的代表距离的信息，并且将具有相同的代表距离信息的D区域设置为第一被摄体区域。

在步骤S705中，控制单元101判断是否进行了第二次聚焦被摄体选择。在控制单元101判断为进行了第二次聚焦被摄体选择的情况下，该过程进入步骤S706，并且在判断为没有进行第二次聚焦被摄体选择的情况下，重复步骤S705的处理。

在步骤S706中，利用控制单元101将与输出图像中要聚焦的被摄体距离范围的另一端处的被摄体距离相对应的D区域设置为第二被摄体区域。具体地，控制单元101指定表示与选择重建图像中的、作为第二次所选择的聚焦被摄体的面部区域所位于的位置相对应的D区域的代表距离的信息，并且将具有相同的代表距离信息的D区域设置为第二被摄体区域。

在步骤S707中，控制单元101判断在所设置的被摄体距离范围中是否包括中间被摄体；在包括了中间被摄体的情况下，控制单元101将与中间被摄体的被摄体距离相对应的D区域设置为中间被摄体区域，然后被摄体选择处理完成。具体地，针对被摄体距离范围中所包括的各面部区域，控制单元101指定表示与选择重建图像中的该位置相对应的D区域的代表距离的信息，并且将具有相同的代表距离信息的D区域设置为中间被摄体区域。

例如，考虑选择重建图像是图8A所示的图像的情况。选择重建图像800按相对于数字照相机100的距离依次增大的顺序包括被摄体801、被摄体802以及被摄体803和804。如图9所示，这里可以将代表距离的分布示出为针对用于聚焦于被摄体的被摄体距离的直方图。

假定选择被摄体801作为第一聚焦被摄体，并且选择被摄体803作为第二聚焦被摄体。这里，在输出图像中要聚焦的被摄体距离范围为图9中的从对包括被摄体801的面部区域的D区域的数量进行计数的901～对包括被摄体803(和被摄体804)的面部区域的D区域的数量进行计数的902。在本实施例中，从该被摄体距离范围内所包括的D区域中，针对包括人物的面部区域的各D区域和具有与该D区域相同的代表距离的各D区域，使用为了在相应的被摄体距离处聚焦所生成的图像来进行输出图像生成。在图8A所示的示例中，被摄体802是被摄体801和被摄体803之间的中间被摄体。由于该原因，针对具有与包括被摄体801、802、803和804的D区域相同的代表距离的各D区域，使用为了在与该代表距离相对应的被摄体距离处聚焦而生成的像素组作为要输出的重建图像中的像素。具体地，在图8A所示的示例中，如图8B所示的、根据各区域的代表距离而具有不同的交叉影线的D区域的组是生成在输出图像中要聚焦的被摄体的图像时所要使用的区域。在图8B中，区域811与图9中的对包括被摄体801的面部区域的D区域的数量进行计数的区域组901(第一被摄体区域)相对应。此外，区域812与图9中的对包括被摄体802的面部区域的D区域的数量进行计数的区域组903(中间被摄体区域)相对应。此外，区域813与图9中的对包括被摄体803和804的面部区域的D区域的数量进行计数的区域组902(第二被摄体区域)相对应。

这样，通过执行被摄体选择处理，用户可以通过简单操作来选择输出图像中要聚焦的被摄体。换句话说，即使利用在拍摄包括要聚焦的大量被摄体的场景的情况下所获得的LF数据，也可以容易地选择期望被摄体。

注意，在本实施例中，说明了以下：选择两种类型的被摄体，然后将由要聚焦的两个被摄体的被摄体距离所包围的范围设置为输出图像中要聚焦的被摄体距离范围。然而，本发明的实现不限于此，并且可以使用其它方法来设置被摄体距离范围。例如，如下结构是可以的：通过选择图8A中的被摄体803和无限远(背景或远端)并选择被摄体801和前景(近端)来设置不聚焦的被摄体距离范围，然后将没有包括在这些范围中的范围设置为要聚焦的被摄体距离。此外，如下结构是可以的：选择被摄体801和被摄体803，之后选择被摄体802作为要从中间被摄体中排除的被摄体，并且将分割得到的范围设置为要聚焦的被摄体距离范围。换句话说，将由用于聚焦于所选择的至少两个被摄体的被摄体距离所定义的范围设置为要聚焦的被摄体距离范围，这是足够的。

在通过这样执行被摄体选择处理而设置了输出图像中要聚焦的被摄体距离范围之后，控制单元101进入步骤S604的处理。

在步骤S604中，在控制单元101的控制下，针对被摄体距离范围中所包括的第一被摄体区域、第二被摄体区域和中间被摄体区域中的每一个，图像处理单元109生成在与该区域相对应的被摄体距离处所聚焦的重建图像。在设置了以上参考图8A所述的被摄体距离范围的情况下，生成图10A～10C所示的在与各区域相对应的被摄体距离处所聚焦的重建图像。

此外，图像处理单元109针对没有包括在被摄体距离范围中的区域，生成在指定被摄体距离处聚焦的重建图像。该指定被摄体距离例如可以是拍摄期间在摄像光学***104中所设置的被摄体距离。此外，从使被摄体距离范围中所包括的被摄体在输出图像中显著的观点，优选所选择的指定被摄体距离不同于在该被摄体距离范围内要聚焦的被摄体的被摄体距离，例如没有包括在所设置的被摄体距离范围中的被摄体距离。

注意，在区域之间的边界附近的D区域的情况下，为了减轻在下一步骤S605中的合成之后的不连续性，可以针对与两个D区域的代表距离的中间值附近的代表距离相对应的被摄体距离来生成重建图像。

在步骤S605中，在控制单元101的控制下，图像处理单元109对步骤S604中所生成的各区域的重建图像进行合成，并且生成输出图像。具体地，图像处理单元109进行合成以使得使用如图10A～10C所示所生成的重建图像的像素作为输出图像中的相应区域的像素，由此生成输出图像(图10D)。

在步骤S606中，控制单元101将所生成的输出图像发送至显示单元110并且显示该输出图像，由此重建图像生成处理完成。

注意，在本实施例中说明了以下：针对通过两次聚焦被摄体选择所设置的被摄体范围中所包含的各被摄体，生成聚焦于该被摄体的重建图像，然后合成所生成的重建图像。然而，本发明的实现不限于此。例如，如果用于聚焦于所选择的各聚焦被摄体的被摄体距离之间的差大、并且生成在没有包括所选择的被摄体的区域中不聚焦的输出图像，则输出图像可能是不自然地进行了焦点调整的图像。在这种情况下，如下结构是可以的：如果用于聚焦于所选择的聚焦被摄体的被摄体距离之间的差大于预定长度，则控制单元101进行控制，从而使图像处理单元109生成景深深从而广泛地聚焦于拍摄范围中的被摄体的图像。换句话说，可以生成在还要聚焦于在所设置的被摄体距离范围中没有包括的被摄体的条件下所生成的重建图像作为输出图像。如上所述，深景深的图像可以是使用LF数据的像素中的、与穿过诸如出射光瞳301的中央部等的有限范围的分割光瞳区域的光束相对应的像素而生成的图像。

如上所述，本实施例的图像处理设备可以生成良好地聚焦于多个期望被摄体的图像。具体地，利用该图像处理设备，在图像信号中选择多个被摄体，并且指定用于聚焦于所选择的多个被摄体各自的被摄体距离。然后设置由所指定的被摄体距离所定义的被摄体距离范围。然后，基于该图像信号，图像处理设备生成聚焦于在所设置的被摄体距离范围中要聚焦的各被摄体的重建图像。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims

1.一种图像处理设备，其特征在于，包括：

获得部件，用于获得如下数据，在拍摄该数据之后根据该数据能够生成聚焦于任意像面的重建图像；

显示部件，用于将与所述数据相对应的图像显示到显示介质；

选择部件，用于选择所述显示部件所显示的图像上的多个被摄体；

设置部件，用于指定与所述选择部件所选择的多个被摄体相对应的聚焦位置，并且设置由所指定的聚焦位置所定义的聚焦范围；以及

生成部件，用于通过向所述数据应用重建处理来生成聚焦于与所述设置部件所设置的聚焦范围相对应的各被摄体的重建图像。

2.根据权利要求1所述的图像处理设备，其中，所述生成部件针对所述重建图像中包括的与所述聚焦范围相对应的各被摄体的区域，通过对为了使该区域的被摄体聚焦而选择的所述数据的像素值进行相加来生成各像素。

3.根据权利要求1所述的图像处理设备，其中，所述生成部件生成由所述设置部件所设置的聚焦范围来定义景深的重建图像。

4.根据权利要求1所述的图像处理设备，其中，

所述数据是摄像设备所获得的图像信号，其中在所述图像信号中，各像素与所述摄像设备的摄像光学***中的分割光瞳区域和入射方向的组合不同的光束相对应，该光束穿过所述分割光瞳区域，

所述图像处理设备还包括分析部件，所述分析部件用于针对两个不同的分割光瞳区域中的各分割光瞳区域，使用所述图像信号中的与穿过同一分割光瞳区域的光束相对应的像素来生成图像，并且基于所生成的两种类型的图像之间的差来分析所述图像信号中包括的各被摄体的距离，以及

其中，所述设置部件参考所述分析部件所进行的分析的结果，来指定用于聚焦于所述多个被摄体中的各被摄体的聚焦范围。

5.根据权利要求2所述的图像处理设备，其中，所述生成部件针对所述重建图像中包括的不与所述聚焦范围相对应的各被摄体的区域，通过对为了不使该区域的被摄体聚焦而选择的所述数据的像素值进行相加来生成各像素。

6.根据权利要求1所述的图像处理设备，其中，

所述生成部件生成选择重建图像，所述选择重建图像是聚焦于预定焦点位置处的被摄体以使得用户能够指定在最终图像中要聚焦的聚焦被摄体的重建图像，以及

所述选择部件接收在所述生成部件所生成的所述选择重建图像中对所述多个被摄体中的各被摄体的选择。

7.根据权利要求1所述的图像处理设备，其中，在所述设置部件所设置的聚焦范围比预定范围宽的情况下，所述生成部件生成还聚焦于位于远端处或近端处的被摄体的重建图像。

8.一种摄像设备，其特征在于，包括：

摄像部件，用于输出如下数据，在拍摄该数据之后根据该数据能够生成聚焦于任意像面的重建图像；

9.一种图像处理设备的控制方法，其特征在于，包括以下步骤：

获得步骤，在该步骤中，所述图像处理设备的获得部件获得如下数据，在拍摄该数据之后根据该数据能够生成聚焦于任意像面的重建图像；

显示步骤，在该步骤中，所述图像处理设备的显示部件将与所述数据相对应的图像显示到显示介质；

选择步骤，在该步骤中，所述图像处理设备的选择部件选择所述显示步骤中所显示的图像上的多个被摄体；

设置步骤，在该步骤中，所述图像处理设备的设置部件指定与所述选择步骤中所选择的多个被摄体相对应的聚焦位置，并且设置由所指定的聚焦位置所定义的聚焦范围；以及

生成步骤，在该步骤中，所述图像处理设备的生成部件通过向所述数据应用重建处理来生成聚焦于与所述设置步骤中所设置的聚焦范围相对应的各被摄体的重建图像。

10.一种摄像设备的控制方法，其特征在于，包括以下步骤：

摄像步骤，在该步骤中，所述摄像设备的摄像部件输出如下数据，在拍摄该数据之后根据该数据能够生成聚焦于任意像面的重建图像；

显示步骤，在该步骤中，所述摄像设备的显示部件将与所述数据相对应的图像显示到显示介质；

选择步骤，在该步骤中，所述摄像设备的选择部件选择所述显示步骤中所显示的图像上的多个被摄体；

设置步骤，在该步骤中，所述摄像设备的设置部件指定与所述选择步骤中所选择的多个被摄体相对应的聚焦位置，并且设置由所指定的聚焦位置所定义的聚焦范围；以及

生成步骤，在该步骤中，所述摄像设备的生成部件通过向所述数据应用重建处理来生成聚焦于与所述设置步骤中所设置的聚焦范围相对应的各被摄体的重建图像。