CN103002218B - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置及图像处理方法。本发明改善了用户想要锐聚焦的区域的图像质量。估计代表包括摄影对象的场景的深度方向中的位置的深度值来生成深度图。焦点图生成单元基于虚拟聚焦参数和深度图，通过区域划分操作来生成代表要被锐聚焦的区域(对焦区域)以及要被模糊化的区域(离焦区域)的焦点图。对焦区域图像处理单元在图像处理中更着重于对焦区域以生成对焦区域图像。离焦区域图像处理单元在图像处理中更着重于离焦区域以生成离焦区域图像。图像混合单元通过混合对焦区域图像和离焦区域图像来生成重聚焦图像。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及图像处理装置及图像处理方法，尤其涉及用于对从多视点拍摄的多个图像合成以生成重聚焦图像的图像处理装置及图像处理方法。

背景技术

已知一种图像重聚焦方法，该方法通过对从多个视点拍摄的图片进行图像位置对准操作及图像合成操作来由所述图片生成以期望的虚拟焦距重聚焦的图像(参见日本专利特开2011-22796号公报，以及MIRU2008图像识别·理解论文集(日本，2008年)第1057-1062页“基于未校准合成光圈摄影法的散焦控制(DefocusControlBasedonUncalibrated,SynthesizedAperturePhotography)”(NatsumiKusumoto等所著))。根据日本专利特开2011-22796号公报中公开以及由NatsumiKusumoto等在MIRU2008图像识别·理解论文集(日本，2008年)第1057-1062页“基于未校准合成光圈摄影法的散焦控制”中提出的发明，通过使用在不同摄影位置拍摄的多个图像、根据各图像的摄影位置以及拍摄者所希望聚焦的被摄体距离来使各图像移动或变形、然后合成所述图像，来生成重聚焦图像。

由NatsumiKusumoto等在MIRU2008图像识别·理解论文集(日本，2008年)第1057-1062页“基于未校准合成光圈摄影法的散焦控制”中提出的方法，通过估计来在多个摄影图像之间生成中间视点图像，以改善景深外的离焦(out-of-focus)区域的图像质量。然而，该方法存在中间视点图像的生成产生使甚至人们希望聚焦的区域模糊的效果的问题。该方法的另一问题在于由于增加了输出图像的分辨率，所以需要大量中间视点图像以创建平滑的模糊灰阶，从而需要巨大的计算成本。因此本发明的目的在于提高要被保持对焦(infocus)的区域的质量，同时削减用于生成中间视点图像的计算成本。

发明内容

为了解决上述问题，本发明的图像处理装置包括：摄影数据输入单元，其获取从至少两个不同的视点位置拍摄的多个图像；输入单元，其输入代表从照相机至虚拟焦平面的距离的重聚焦参数；距离估计单元，其生成针对所获取的图像的、表示对应于像素的摄影对象与照相机之间的距离的深度图；焦点图生成单元，其通过根据所述重聚焦参数由所述深度图计算包括要被锐聚焦的对焦区域以及要被模糊化的离焦区域的区域，来生成表示所述对焦区域以及所述离焦区域的焦点图；对焦区域图像处理单元，其通过对所述对焦区域进行预定操作并且对包括至少摄影图像的一组图像进行合成来生成合成图像；离焦区域图像处理单元，其通过对所述离焦区域进行与所述对焦区域图像处理单元进行的所述预定操作不同的操作、并且对包括至少摄影图像的一组图像进行合成来生成合成图像；以及图像混合单元，其通过根据所述焦点图将所述对焦区域的合成图像与所述离焦区域的合成图像混合来生成重聚焦图像。

通过对用户想要锐聚焦(sharplyfocused)的区域以及对用户想要模糊化的区域进行不同的操作，本发明提供了改善要被锐聚焦的区域的图像质量、同时使用于生成当从虚拟中间视点位置拍摄时将会出现的图像的计算成本最小的能力。

根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出本发明的实施例中的图像处理装置的***结构的框图；

图2示出本发明的实施例中的摄影；

图3是本发明的实施例中的示意性功能结构；

图4示出了本发明的实施例中的离焦区域图像处理单元的详情；

图5示出了通过本发明的实施例中的焦点图生成单元进行的处理的概要；

图6示出了通过本发明的实施例中的焦点图生成单元进行的处理的概要；

图7示出了本发明的实施例中摄影位置与虚拟视点位置之间的关系；

图8示出了本发明的实施例中摄影位置与虚拟视点位置之间的关系；

图9示出了本发明的实施例中摄影位置与虚拟视点位置之间的关系；

图10示出了本发明的实施例中的权重系数的示例；

图11示出了本发明的实施例中的权重系数的示例；

图12示出了本发明的实施例中摄影位置之间的距离与到被摄体距离之间的关系；

图13是示出在本发明的实施例中进行的步骤的序列的流程图；

图14是示出由本发明的实施例中的距离估计处理执行的步骤的序列的流程图；

图15是示出由本发明的实施例中的焦点图生成处理进行的步骤的序列的流程图；

图16是示出通过本发明的实施例中的对焦区域图像处理进行的步骤的序列的流程图；

图17是示出由实施例1中的离焦区域图像处理进行的步骤的序列的流程图；

图18是示出由本发明的实施例中的图像插值处理进行的步骤的序列的流程图；

图19是示出由本发明的实施例中的图像合成处理进行的步骤的序列的流程图；

图20是示出由实施例1中的图像混合处理进行的步骤的序列的流程图；

图21示出了在实施例1中的图像混合处理中使用的混合比率的示例；

图22是示出由实施例2中的离焦区域图像处理进行的步骤的序列的流程图；

图23示出由实施例2中的图像混合处理进行的处理的概要；以及

图24是示出由实施例2中的图像混合处理进行的步骤的序列的流程图。

具体实施方式

[实施例1]

本实施例涉及重聚焦处理，其由多视点摄影设备或具有多个照相机单元的照相机拍摄的多个图像，生成通过图像处理以期望的虚拟焦距聚焦的图像。即，本实施例的重聚焦处理涉及，对用户想要聚焦的区域进行分辨率增强操作，以及在用户想要模糊化的区域中，生成具有比输出分辨率低的分辨率的离焦图像。首先，将通过参照图1来描述本实施例的图像处理装置的示例***结构。

在图1中，CPU101使用RAM102作为工作存储器来执行ROM103和硬盘驱动器(HDD)105中存储的程序，以经由***总线112控制各种部件。HDD接口(I/F)104是例如用于与诸如HDD105和光盘驱动器等的辅助存储设备连接的串行ATA(SATA)接口。CPU101可以通过HDDI/F104从HDD105读取数据，并且向HDD105写入数据。另外，CPU101可以将HDD105中存储的数据展开到RAM102上，还将在RAM102上展开的数据存储到HDD105中。CPU101然后将在RAM102上展开的数据作为程序来执行。输入接口(I/F)106是例如用于与诸如键盘和鼠标等的输入设备107连接的诸如USB和IEEE1394的串行总线接口。输出接口(I/F)108是例如用于与诸如监视器和投影仪等的输出设备109连接的DVI和HDMI。CPU101可以通过输出I/F108向用于显示的输出设备109发送数据。照相机接口(I/F)110是例如用于与诸如数字照相机的照相机111连接的诸如USB和IEEE1394的串行总线接口。CPU101可以通过照相机I/F110控制照相机111以拍摄图片。CPU101还可以通过照相机I/F110从照相机111获取图片数据。

图2示出了本实施例中的照相机111。该摄影设备是具有用于拍摄图片的九个照相机单元201-209的多视点照相机。为了简单说明，这九个照相机单元201-209被均匀布置在方形网格点上。假设这些照相机单元的纵轴和横轴及光轴布置在相同的方向上。这些照相机单元201-209在其传感器(图像感测设备)接收被摄体的光学信息，将接收的光学信号进行AD转换以一次生成多个摄影图像(数字数据)。利用上述结构的多视点照相机，可以获得从多个视点位置进行的同一被摄体的多个拍摄。这里应当注意，照相机单元的数量并不限于在该示例情况中采用的九个，只要摄影设备具有两个以上照相机单元，就可应用本发明。还要注意，虽然在该示例中这九个照相机单元被均匀分布在方形网格点上，但是可以根据***结构使用任意其他布置。

接着，将通过参照图3来说明执行本实施例中的一系列处理的功能的概要结构。作为CPU101的功能单元的图片数据输入单元301从存储设备检索通过照相机111在不同位置拍摄的被摄体的多个图像302以及包括照相机111的视角和位置的照相机信息303。存储设备包括但是不限于照相机111、ROM103和HDD105。作为CPU101的功能单元的参数输入单元304从输入设备107或存储设备检索包括到虚拟焦平面的距离的重聚焦参数或虚拟聚焦参数305、以及虚拟光圈参数(virtualirisparameter)306。这里注意，存储设备包括但是不限于ROM103和HDD105。另外，参数输入单元304还从输入设备109或从诸如ROM103和HDD105等的存储设备检索通过重聚焦处理生成的重聚焦图像的分辨率318。

作为CPU101的功能单元的距离估计单元307基于摄影图像302和照相机信息303通过立体匹配，来估计代表包含关注对象的场景的深度位置的深度值，以生成深度图308。焦点图生成单元309基于虚拟聚焦参数305和深度图308通过区域划分处理，来生成代表用户想要锐化图像的区域(对焦区域)以及用户想要模糊图像的区域(离焦区域)的焦点图310。焦点图生成单元309用作CPU101的功能单元。

作为CPU101的功能单元的对焦区域图像处理单元311根据摄影图像302、照相机信息及焦点图310，通过将重点放在对焦区域来进行图像处理，以生成对焦区域图像312。作为CPU101的功能单元的离焦区域图像处理单元313使用摄影图像302、照相机信息303、焦点图310及虚拟光圈参数306，通过将重点放在离焦区域来进行图像处理，以生成离焦区域图像314。作为CPU101的功能单元的图像混合单元315使用对焦区域图像、离焦区域图像314和焦点图310，通过图像混合处理生成重聚焦图像316。作为CPU101的功能单元的图像输出单元317向输出设备109和诸如HDD105的辅助存储设备发送重聚焦图像316。

图4示出了离焦区域图像处理单元中的功能的概要结构。作为CPU101的功能单元的图像缩小单元401缩小摄影图像302以生成缩小图像405。通过合成缩小图像、然后放大合成图像，这使得为生成图像合成处理所需的插值图像而进行的计算的成本降低。作为CPU101的功能单元的图像插值单元402基于照相机信息303设置虚拟视点位置409，使得它们在图像302的摄影位置之间。然后，通过在缩小图像405之间插值来生成如果从各个虚拟视点位置409拍摄将会获得的插值图像406。

作为CPU101的功能单元的图像合成单元403使用照相机信息303、虚拟视点位置409、虚拟聚焦参数305、虚拟光圈参数306以及焦点图310，来合成缩小图像405以及插值图像406。图像合成处理生成(离焦区域的)合成图像407。作为CPU101的功能单元的图像放大单元404将(离焦区域的)合成图像407放大至重聚焦图像的分辨率318，以生成离焦区域图像408。

图13是示出通过本实施例的图像处理装置进行的处理的整体序列的流程图。更具体地说，描述图13的流程图中所示的过程的计算机可执行程序被从ROM103或HDD105加载到CPU101执行计算机可执行程序的RAM102。图13的流程图仅示出处理的整体流程，所以将通过进一步参照图14至图20来说明作为本实施例的特征的各处理的详情。

在步骤S901中，图片数据输入单元301使用照相机111拍摄图片302，并且获取图片或摄影图像302以及包括照相机111的各照相机单元的视角和摄影位置的照相机信息303。作为选择，诸如照相机111的照相机单元的视角和摄影位置的照相机信息303可以被预先存储在诸如ROM103和HDD105的存储设备中，并且被图片数据输入单元301从中检索。

在步骤S902中，参数输入单元304从输入设备107检索包括虚拟焦距的虚拟聚焦参数305、包括针对用于图像合成的各图像的权重系数的虚拟光圈参数306、以及要生成的重聚焦图像的分辨率318。或者还可以将虚拟聚焦参数305、虚拟光圈参数306以及重聚焦图像分辨率318预先存储在诸如ROM103或HDD105的存储设备中，然后使参数输入单元304从存储设备检索它们。

在步骤S903中，距离估计单元307基于在步骤S901中获取的摄影图像302和照相机信息303，通过进行距离估计操作来估计关注场景的深度以生成该场景的深度图308。稍后将通过参照图14来详细说明距离估计处理。

在步骤S904中，焦点图生成单元309基于在步骤S902中获取的虚拟聚焦参数305以及在步骤S903中生成的深度图308来执行焦点图生成操作，以生成示出用户想要聚焦的区域(对焦区域)以及用户想要模糊化的区域(离焦区域)的焦点图310。稍后将通过参照图15来描述焦点图生成处理的详情。

在步骤S905中，对焦区域图像处理使用通过步骤S901获取的摄影图像302和照相机信息303、通过步骤S902获取的重聚焦图像分辨率319、以及通过步骤S904生成的焦点图310。基于这些信息，对焦区域图像处理单元311进行对焦区域图像处理以生成对焦区域图像312。稍后将通过参照图16来说明对焦区域图像处理的详情。

在步骤S906中，离焦区域图像处理单元313进行离焦区域图像处理来生成离焦区域图像314，所述离焦区域图像处理使用通过前述处理获取的摄影图像302和照相机信息303、重聚焦图像分辨率318、虚拟聚焦参数305、虚拟光圈参数306以及焦点图310。稍后将通过参照图17至图19来说明离焦区域图像处理的详情。

在步骤S907中，图像混合单元315对通过步骤S905生成的对焦区域图像312以及通过步骤S906生成的离焦区域图像314进行图像混合操作，以生成重聚焦图像316。稍后将通过参照图20来描述图像混合处理的详情。

在步骤S908中，在退出该实施例的整个处理之前，图像输出单元317向包括输出设备109和HDD105的辅助存储设备输出重聚焦图像316。<距离估计处理>

这里将详细说明在图13的流程图中的步骤S903中进行的距离估计处理。距离估计处理基于在不同位置拍摄的多个图像302，通过估计到关注场景的距离来生成深度图308，并且通过使用深度图308来将该场景划分为用户想要聚焦的区域(对焦区域)以及其他区域(离焦区域)。作为场景划分操作的结果，生成焦点图。针对距离估计，可以使用任意已知的方法。其中有立体方法(stereomethod)和多基线立体方法。在该实施例中，立体方法用于距离估计。以下将通过参照图14的流程图来说明距离估计处理的详情。

在图14中的步骤S1001中，从该处理中要使用的摄影图像302中选择两个图像。在该实施例中，选择通过照相机111的中心照相机单元205拍摄的图像以及通过在水平方向紧邻着第一照相机单元的照相机单元206拍摄的图像。注意，可以使用照相机单元的任意其他组合。第一图像被称为基准图像，第二图像被称为目标图像。

在步骤S1002中，将经历后续处理的关注像素初始化。在下一步骤S1003中，检查是否针对全部像素确定了距离值。如果发现针对全部像素计算了距离值，则在退出处理之前处理进行到下一步骤S1007，输出深度图像。如果发现仍要被计算的任意像素，则处理进行到步骤S1004。

在步骤S1004中，选择基准图像中的由关注像素和周围像素构成的区域，然后进行在所选择的区域块与目标图像之间的图案匹配，以找到目标图像中与关注像素相对应的像素(对应像素)。然后在步骤S1005中通过使用照相机信息303、关注像素以及通过步骤S1004确定的对应像素来针对关注像素计算距离值p。使用图12所示的α、β和s将距离值p表达如下。

$p=\frac{sin\mathrm{\&alpha;}sin\mathrm{\&beta;}}{sin(\mathrm{\&pi;}-\mathrm{\&alpha;}-\mathrm{\&beta;})}s$

这里，使用照相机单元205的水平视角、基准图像的摄影位置以及关注像素的坐标来计算α；使用照相机单元206的水平视角、目标图像的摄影位置以及对应像素的坐标来计算β；s是由基准图像和目标图像的摄影位置计算出的两个照相机单元之间的距离。在步骤S1006中，在返回到步骤S1003之前更新关注像素，在步骤S1003中，如果存在任何未处理的像素，则针对该像素类似地确定距离值p，如果没有发现未处理的像素，则处理进行到步骤S1007，在步骤S1007中进行输出处理。

在步骤S1007中，输出将基准图像中的距离值p视为各像素的像素值的深度图308。基于映射照相机的被摄体的各像素的距离的深度图，生成焦点图。虽然在本实施例中步骤S1001选择了照相机单元205和206用于距离估计，但是可以使用照相机单元的任意其他组合来用于该目的。<焦点图生成处理>

这里，我们将详细说明如图13的流程图中的步骤S904进行的焦点图生成处理。使用通过步骤S902获取的虚拟聚焦参数305以及通过步骤S903获取的深度图308，该处理将场景划分为用户想要聚焦的区域(对焦区域)以及其他区域(离焦区域)以生成焦点图310。参照图15的流程图，将详细描述焦点图生成处理。

在步骤S1101中将对焦区域设置如下。令从虚拟聚焦参数305获取的虚拟焦距为d，深度图308中的像素值为D(i,j)。此时，D(i,j)等于d的像素(i,j)的集合被视为对焦区域。在步骤S902中按照如下进行离焦区域设置。在深度图308中，认为在对焦区域之外的像素集合形成离焦区域。在步骤S903中，依据关注像素是包括在对焦区域中还是离焦区域中，对各像素分配不同的标签值以生成焦点图310。

通过上述处理获得的焦点图310的示例如图5中所示。假定深度图308为由距离值d0、d1和d2代表的图像，另外假定从虚拟聚焦参数305获得的虚拟焦距为d2。在该情况下，深度图308中距离值为d2的像素集合被设置为焦点图中的对焦区域，而距离值为d0和d1的像素集合被设置为离焦区域。

尽管在该示例中在步骤S1101中，深度图308中像素值D(i,j)等于虚拟焦距d的区域被视为对焦区域，但是可以采用设置对焦区域的其他方法。例如，满足[d-α1≤D(i,j)≤d+α2]的像素D(i,j)可以被视为对焦区域。此时，如通过虚拟光圈参数306进行确定一样，通过考虑重聚焦图像316中的虚拟景深来确定α1和α2的值。

<离焦区域图像处理>

该实施例的特征在于，在对焦区域中以及在离焦区域中进行不同的图像处理，因此下文中将对这二者进行说明。首先，这里将说明如通过图13的流程图中的步骤S906进行的离焦区域图像处理的详情。在生成离焦区域图像314时，离焦区域图像处理将重点主要放在焦点图310中被设置为离焦区域的区域。虽然将通过参照图17的流程图以及图4所示的处理单元的结构来详细描述离焦区域图像处理，但是稍后将更加详细地呈现该处理的各个部分。即，为了减轻处理负荷，该处理通过在合成图像之前进行目标图像的缩小以及对缩小图像的插值操作来缩减要处理的数据量，如以下说明中描述的。稍后将通过参照图18和图19来描述图像插值操作以及图像合成操作的详情。

在步骤S1301中，图像缩小单元401对摄影图像302进行图像缩小操作以生成缩小图像405。图像缩小操作可以使用如双线性方法和双三次方法的已知方法。可以根据作为整体的照相机、被摄体以及环境的需求来任意确定缩小图像的分辨率，只要其低于摄影图像302的分辨率即可。例如，可以根据如通过受照相机信息303、虚拟聚焦参数305和虚拟光圈参数306限制的离焦区域的模糊度来确定缩小图像的分辨率。作为选择，可以从参数输入单元304来获取预定分辨率。

图像插值单元402在步骤S1302对缩小图像405进行插值操作以生成插值图像406。稍后将通过参照图18来描述图像插值处理的详情。在步骤S1303中，图像合成单元403使用缩小图像405、插值图像406、焦点图310、虚拟聚焦参数305以及虚拟光圈参数306来生成(离焦区域的)合成图像407。稍后将通过参照图19来描述图像合成处理的详情。

在步骤S1304中，图像放大单元404将通过前续步骤生成的(离焦区域的)合成图像407放大至重聚焦图像的分辨率319，以在退出处理前生成离焦区域图像408。针对图像放大处理，可以使用诸如双线性方法以及双三次方法的已知方法。

<图像插值处理>

将通过参照图18来详细说明如通过图17的步骤S1302进行的图像插值处理。在图像插值处理中，第一步骤是基于照相机信息303设置虚拟视点位置409，从而在图像302的摄影位置之间插值。接下来，基于在步骤S1301中获得的缩小图像405，通过视差插值处理来生成与各虚拟视点位置409对应的插值图像406。现在，通过参照图18的流程图以及图4所示的处理单元，将详细描述图像插值处理如下。

在步骤S1401中将虚拟视点位置409设置为用于生成插值图像。图7中示出了摄影位置与虚拟视点位置之间的关系。x轴601、y轴602以及z轴603对应于各照相机单元的水平方向、垂直方向以及光轴方向，所有这些在作为其原点的相关联的摄影位置以直角相互交叉。虚拟视点位置409被设置为使得其位于摄影位置之间。在该示例中，虚拟视点位置409按照以等间隔位于摄影位置之间的方式被设置在网格结构中，如图7至图9所示。

在步骤S1402中，从缩小图像405中相继选择摄影位置横向彼此邻接的两个图像，并且通过使用视差插值处理在这两个图像之间生成对应于虚拟视点位置409的插值图像406。图8示出了要用于在步骤S1402中生成插值图像的虚拟视点位置。视差插值处理可以使用已知的方法。例如，可以基于通过两个图像之间的块匹配计算的针对各像素的视差、通过插值来生成针对中间视点的图像。另一方法可以包括将这两个图像的一个图像的特征点与另一个图像中的对应点匹配，并且基于这两个图像之间的特征点关系进行变形操作以生成针对中间视点的图像。还可以采用在其他领域中已知的任意期望方法。

在步骤S1403中，从缩小图像405和通过步骤S1402生成的插值图像406中相继选择摄影位置纵向上彼此邻接的一对图像，并且通过进行视差插值处理在这两个图像之间生成对应于虚拟视点位置409的插值图像。图9示出了用于在步骤S1403中生成插值图像的虚拟视点位置。视差插值处理可以采用与步骤S1402中使用的方法类似的方法。步骤S1404输出通过步骤S1402和步骤S1403生成的插值图像406。

<图像合成处理>

接下来，将说明在图17的步骤S1303中进行的图像合成处理。图像合成处理根据虚拟光圈参数306首先设置针对各图像的权重系数。然后，基于照相机信息303和虚拟视点位置409，该处理使各图像偏移，并且通过对不同区域使用不同权重系数来进行加权，以生成(离焦区域的)合成图像407。参照图19的流程图以及图4所示的处理单元的结构，将详细描述图像合成处理。

步骤S1501基于在步骤S902获取的虚拟光圈参数306来设置要在合成处理中使用的权重系数。首先，将通过参照图10和图11来说明用于图像合成操作的权重系数。虚拟光圈参数306是要被应用于在摄影位置及虚拟视点位置409获得的那些图像的一组系数。摄影位置和虚拟视点位置409被表示为如图10所示的P0-P24，在摄影位置P_m(m＝0-24)获得的图像表示为I_m。此时，根据虚拟光圈参数306，可以设置对应于图像I_m的权重系数的值A(m)，如图11所示。这里，权重系数被设置为使得它们遵循以P₁₂为中心的高斯函数，并且还被归一化为使得权重系数的和为1。这使得离焦区域能够被平滑地模糊化。

在步骤S1502中基于照相机信息303和虚拟视点位置409来计算针对各图像的偏移量。如果焦距被表示为d，则针对图像I_m的水平偏移量Δi(m,d)和垂直偏移量Δj(m,d)可以被表达为：

$\mathrm{\&Delta;}i(m,d)=\frac{(s_m-s^{\&prime;})W}{2dtan\left(\frac{{\mathrm{\&theta;}}_w}{2}\right)}$

$\mathrm{\&Delta;}j(m,d)=\frac{(t_m-t^{\&prime;})H}{2d\tan \left(\frac{{\mathrm{\&theta;}}_h}{2}\right)}$

这里，W和H分别代表图像的水平大小和垂直大小，θ_w代表照相机单元的水平视角，θ_h代表照相机单元的垂直视角，(s_m,t_m)代表P_m在xy平面上的坐标。(s’,t’)是照相机单元205的摄影位置P₁₂在xy平面上的坐标。

在步骤S1503中通过使用由步骤S1502确定的偏移量以及由步骤S1501确定的权重系数来对缩小图像405和插值图像406进行加权，以生成(离焦区域的)合成图像407。如果我们令(离焦区域的)合成图像407为H，则合成操作被表达如下：

$H(i,j)=\underset{m}{\&Sigma;}A\left(m\right)I_m(i+\mathrm{\&Delta;}i(m,d),j+\mathrm{\&Delta;}j(m,d\left)\right)$

在步骤S1504中，输出通过前续步骤生成的(离焦区域的)合成图像407。<对焦区域图像处理>

这里，我们将描述如步骤S905进行的对焦区域图像处理。对焦区域图像处理更加重视被设置为焦点图310中的对焦区域的区域(相比其他区域)以生成对焦区域图像312。将通过参照图16的流程图来说明对焦区域图像处理的详情。

在步骤S1201中进行与图19的流程图中说明的处理类似的图像合成处理。然而，注意，虽然在图19中m＝0-24，但是仅针对摄影位置(即m＝0,2,4,10,12,14,20,22,24)执行步骤S1201中的处理，并且仅使用摄影图像302来代替缩小图像405和插值图像406。从而，位置P_m仅代表摄影位置，图像I_m仅代表摄影图像302。另外，针对权重系数A(m)，对应于摄影位置的系数被再次归一化用于合成操作。在上述条件下执行图像合成处理以生成(对焦区域的)合成图像。

在步骤S1202中对(对焦区域的)合成图像进行已知的分辨率增强操作以生成对焦区域图像312。例如，可以进行锐化操作来提高对焦区域的清晰度(sharpness)。还可以使用其他分辨率增强操作，包括可以基于在图像合成处理中计算出的偏移量进行的超高分辨率操作。可应用于该实施例的一个这种超高分辨率操作是使用MAP(MaximumAPosteriori，最大后验)估计的方法。MAP方法通过使将关于高分辨率图像的概率信息与均方误差(squarederror)相加的评价函数最小化来估计高分辨率图像。换言之，由于用于使后验概率最大化的优化问题，该方法使用关于高分辨率图像的在前信息以及代表图像之间的位置偏移的参数，并且估计高分辨率图像。可以使用该技术领域中已知的各种其他方法来获得对焦区域图像312。

<图像混合处理>

接下来，将说明如通过步骤S907进行的图像混合处理。图像混合处理根据焦点图310混合对焦区域图像312和离焦区域图像314以生成重聚焦图像316。将通过参照图20的流程图和图3所示的结构来描述图像混合处理的详情。

在步骤S1601中将要通过混合处理处理的关注像素的参考号(index)初始化。在步骤S1602中检查是否针对全部像素完成了混合处理。如果是，则处理移动到步骤S1606，其中在退出处理前输出重聚焦图像。如果发现混合处理未完成，则处理进行到步骤S1603。

在步骤S1603中确定要混合对焦区域图像312的像素值和离焦区域图像314的像素值的混合比率。该步骤也参照焦点图来查看是否将与要处理的像素对应的像素设置为对焦区域。如果是，则该像素的混合比率r_b被设置为1.0。如果发现像素被设置为离焦区域，则其混合比率r_b被设置为0.0。在步骤S1604中根据以下等式对像素值执行混合操作。

R(i,j)＝r_bI_in(i,j)+(1-r_b)I_out(i,j)

这里，R(i,j)是通过混合处理生成的重聚焦图像的像素值，I_in是对焦区域图像312的像素值，I_out是离焦区域图像314的像素值。在步骤S1605中将正被处理的像素的参考号递增1。在步骤S1606中输出通过混合处理生成的重聚焦图像。

如上所述，该实施例在对焦区域与离焦区域之间切换处理。即，在对焦区域中进行分辨率增强操作，而在离焦区域中在进行放大之前生成缩小、合成图像。这使得对焦区域中的图像质量能够被改善，而同时使用于生成图像合成处理所需的插值图像的计算成本最小化。

虽然在本实施例的图像混合处理中，已经描述要采用对焦区域图像312或离焦区域图像314的像素值，但是本发明不限于这种方法。为了使这两个区域之间的界限更不明显，可以额外进行以下处理。如图6所示，通过扩展对焦区域获得的扩展对焦区域被设置在焦点图中。这可以例如通过将对焦区域的边缘加宽r个像素来形成。扩展对焦区域的大小和形状不限于该示例，可以进行任意期望设置，只要扩展区域围住对焦区域即可。

接下来，在图像混合处理中，针对扩展对焦区域的混合比率r_b被确定为使得其与距对焦区域的距离成比例地线性改变，如图21所示。即，随着扩展对焦区域中的关注像素远离对焦区域，对焦区域图像312对该像素做出贡献的因素在混合操作期间变小。通过使用由此确定的混合比率进行图像混合操作，能够使得对焦区域与离焦区域之间的界限更不明显，如图6所示。

[实施例2]

在实施例1中针对通过离焦区域图像处理生成的(离焦区域的)合成图像仅使用了一个分辨率。第二实施例提供具有不同分辨率的多个离焦区域图像，并且在图像混合处理中，根据从深度图获得的距离信息选择要使用的图像。这能够导致用于生成图像合成处理所需的插值图像的计算成本进一步地降低。

在整个处理中，该实施例中的离焦区域图像处理和图像混合处理二者均与实施例1中的相应处理不同，由此将详细描述。其他处理与实施例1的相应处理类似，因此省略其说明。

<离焦图像处理>

将通过参照图22的流程图来说明本实施例中的离焦区域图像处理的详情。针对与图17中描述的实施例1的离焦区域图像处理中的相应步骤类似的步骤，使用同样的附图标记，并且省略其说明。

在步骤S1701中设置构成(离焦区域的)合成图像的分辨率的多个缩小分辨率S_n(n为1或更大)。例如，n个分辨率可以被设置为摄影图像302在水平和垂直方向上的分辨率的1/2,1/4,1/8,…。或者，能够从深度图308、虚拟聚焦参数305以及虚拟光圈参数306来估计针对距场景中的被摄体的各距离的模糊水平，并且基于估计的模糊水平来设置多个分辨率。

在图23中，深度图308具有四个距离值d1、d2、d3、d4(d1>d2>d3>d4)，d4代表到对焦区域的距离。在这种情况下，对应于d1、d2和d3的三个缩小分辨率分别被设置为S1、S2和S3(S1<S2<S3)。

在步骤S1702中将要处理的区域的缩小分辨率设置为初始值。然后在步骤S1703中，进行检查以查看是否完成了针对步骤S1701设置的全部缩小分辨率S_n的处理。如果是，则处理进行到步骤S1705，其中在退出处理之前输出离焦区域图像。如果仍剩余有任何未处理的分辨率，则处理进行到步骤S1301以处理剩余分辨率。

在步骤S1302和S1303中进行与实施例1中相同的处理。在步骤S1704中，缩小分辨率被改变为已被处理的其他分辨率。在步骤S1705中输出通过前述步骤生成的多个(离焦区域的)合成图像407作为离焦区域图像408。

<图像混合处理>

使用对焦区域图像312、具有不同分辨率的多个离焦区域图像314以及深度图308来进行该实施例中的图像混合处理。将通过参照图24的流程图以及图23的混合处理来描述该实施例的图像混合处理的详情。在步骤S1901中将要通过混合操作处理的像素的参考号设置为初始值。

在步骤S1902中检查是否针对全部像素完成了混合操作。如果是，则处理进行到步骤S1907，其中在退出处理前输出重聚焦图像。如果不是，则进行到步骤S1903。在步骤S1903中参照图23所示的深度图308以获取与正在处理的像素的位置相对应的距离值。

在步骤S1904中选择与通过步骤S1903获取的距离值相对应的离焦区域图像。如果例如获取的距离值在图23中为d1，则选择具有分辨率S₁的图像；如果距离值为d2，则选择具有分辨率S₂的图像。

在步骤S1905中通过已知的图像插值操作(例如，双三次方法)来获取与通过步骤S1904选择的离焦区域图像中正被处理的像素的位置相对应的像素值。在步骤S1906中将正被处理的像素的参考号增加1。在步骤S1907中输出通过混合操作生成的重聚焦图像。

如上所述，在执行混合操作中通过准备具有不同分辨率的多个离焦区域图像并且使用从深度图获取的距离信息，能够进一步降低用于生成图像合成处理所需的插值图像的计算成本。

[其他实施例]

本发明的各方面还可以通过读出并执行记录在存储设备上的用于执行上述实施例的功能的程序的***或装置的计算机(或诸如CPU或MPU的设备)来实现，以及通过由***或装置的计算机通过例如读出并执行记录在存储设备上的用于执行上述实施例的功能的程序来执行各步骤的方法来实现。鉴于此，例如经由网络或者从用作存储设备的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (5)

1.一种图像处理装置，该图像处理装置包括：

摄影数据输入单元，其获取从至少两个不同视点位置拍摄的多个图像；

输入单元，其输入代表从照相机至虚拟焦平面的距离的重聚焦参数；

距离估计单元，其生成针对所获取的图像的、表示对应于像素的摄影对象与照相机之间的距离的深度图；

焦点图生成单元，其通过根据所述重聚焦参数由所述深度图计算包括要被锐聚焦的对焦区域以及要被模糊化的离焦区域的区域，来生成表示所述对焦区域以及所述离焦区域的焦点图；

对焦区域图像处理单元，其通过对所述对焦区域进行分辨率增强处理并且对一组摄影图像进行合成，来生成合成图像；

离焦区域图像处理单元，其通过对所述离焦区域进行摄影图像的缩小以及通过所述视点位置之间的插值在缩小图像之间插值来生成插值图像、并且通过将所述缩小图像和所述插值图像合成，来生成合成图像；以及

图像混合单元，其通过根据所述焦点图将所述对焦区域的合成图像与所述离焦区域的合成图像混合，来生成重聚焦图像。

2.根据权利要求1所述的图像处理装置，其中，所述离焦区域图像处理单元还包括：

图像缩小单元，其缩小所述离焦区域中的所述摄影图像；以及

图像插值单元，其在缩小图像之间进行所述插值来生成所述插值图像。

3.根据权利要求2所述的图像处理装置，其中，所述离焦区域图像处理单元通过所述图像缩小单元在所述离焦区域中以比摄影图像的分辨率低的分辨率生成合成图像；

其中，所述离焦区域图像处理单元还包括图像放大单元，该图像放大单元将所述合成图像转变为具有输出分辨率的图像。

4.根据权利要求2所述的图像处理装置，其中，在所述离焦区域中生成并保持具有不同分辨率的多个合成图像。

5.一种图像处理方法，该图像处理方法包括：

摄影数据输入步骤，获取从至少两个不同视点位置拍摄的多个图像；

输入步骤，输入代表从照相机至虚拟焦平面的距离的重聚焦参数；

距离估计步骤，生成针对所获取的图像的、表示对应于像素的摄影对象与照相机之间的距离的深度图；

焦点图生成步骤，通过根据所述重聚焦参数由所述深度图计算包括要被锐聚焦的对焦区域以及要被模糊化的离焦区域的区域，来生成表示所述对焦区域以及所述离焦区域的焦点图；

对焦区域图像处理步骤，通过对所述对焦区域进行分辨率增强处理并且对一组摄影图像进行合成，来生成合成图像；

离焦区域图像处理步骤，通过对所述离焦区域进行摄影图像的缩小以及通过所述视点位置之间的插值在缩小图像之间插值来生成插值图像、并且通过将所述缩小图像和所述插值图像合成，来生成合成图像；以及

图像混合步骤，通过根据所述焦点图将所述对焦区域的合成图像与所述离焦区域的合成图像混合，来生成重聚焦图像。