CN102256056A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

本发明涉及图像处理装置、图像处理方法和程序。一种图像处理装置，包括：输入部，所述输入部接收通过在成像部的第一光学***状态下对被摄体进行拍摄而获得的第一图像数据的输入和通过在成像部的第二光学***状态下对被摄体进行拍摄而获得的第二图像数据的输入，所述第二图像数据的模糊状态不同于第一图像数据的模糊状态；以及距离信息计算部，所述距离信息计算部基于第一图像数据和第二图像数据来计算与沿着被摄体的深度方向的位置对应的距离信息，其中，所述距离信息计算部校正基于光学***的图像高度的模糊变化，以计算距离信息。

Description

图像处理装置、图像处理方法和程序

背景技术

本公开涉及一种能够例如依照用户的偏好向捕捉的图像添加模糊的图像处理装置、图像处理方法和程序。

近年来，对于紧凑式数字静止照相机而言，常常由于照相机的小型化的需求而使用具有较小面积的成像器件。例如，使用1/2.33型CCD(6.2×4.6)。另一方面，35mm全尺寸(36×24)成像器件、APS-C尺寸(23.4×16.7)成像器件等广泛作为较大成像器件。

在具有较小尺寸屏幕的此类紧凑式数字静止照相机中，景深(depthof field)变深，并且能够由相关技术的基于胶片的照相机和使用较大成像器件的数字式单反照相机获得的模糊效果变得微乎其微。在肖像摄影中要求模糊效果，其中通过使背景模糊来将人隔离。在这些情况下，如过去的日本未审查专利申请公开No.2007-66199所述的，已经提出了一种甚至在使用小型成像器件的数字式静止照相机中获得较大的模糊效果的方法。

在日本未审查专利申请公开No.2007-66199中所述的方法中，在肖像照片图像中，检测脸部和人体，并且将除脸部和人体之外的位置视为背景，并对其进行模糊处理。

发明内容

在日本未审查专利申请公开No.2007-66199所述的方法中，均匀地向背景施加模糊处理。然而，原本应当向包括在背景中的具有不同距离的被摄体(subject)添加不同量的模糊。因此，在上述方法中，已经存在该方法相对于自然模糊的添加并不有效的问题。此外，在日本未审查专利申请公开No.2007-66199所述的方法中，存在难以向除了人之外的被摄体应用该方法的问题。

此外，已经提出了一种在改变光学***的状态(例如，聚焦状态)的同时捕捉多个图像、根据多个所捕捉的图像来计算距离信息并基于所获得的距离信息来执行模糊处理的方法。例如，为了获得距离信息，已经提出了一种用不同的镜头参数来捕捉两个图像并通过由根据捕捉的图像和镜头参数估计的模糊圈(confusion circle)的直径的计算来获得被摄体的距离的方法。

在这种方法中，假设散焦的模糊函数是二维各向同性高斯分布。然而，在真实镜头中，模糊函数的形状依照图像高度而大大地改变，并且因此，如果假设各向同性，则依照图像高度，在距离估计值中出现误差。结果，不可避免地使最终模糊处理的精度降低。关于这方面，图像高度是距离图像中心的高度。图像的中心通常与镜头的光轴匹配。

期望的是提供一种图像处理装置、图像处理方法以及程序，其能够基于图像高度来减小估计值的误差，而无论取决于图像高度的模糊函数的形状如何变化，并以高精度提供被适当地应用模糊处理的图像以供观看。

根据本公开的实施例，提供了一种图像处理装置，包括：输入部，所述输入部接收通过在成像部的第一光学***状态下对被摄体进行拍摄而获得的第一图像数据的输入和通过在成像部的第二光学***状态下对被摄体进行拍摄而获得的第二图像数据的输入，所述第二图像数据的模糊状态不同于第一图像数据的模糊状态；以及距离信息计算部，所述距离信息计算部基于第一图像数据和第二图像数据来计算与沿着被摄体的深度方向的位置对应的距离信息，其中，所述距离信息计算部校正基于光学***的图像高度的模糊变化，以计算距离信息。

并且，根据本公开的另一实施例，提供了一种处理图像处理装置的图像的方法，该方法包括：接收通过在成像部的第一光学***状态下对被摄体进行拍摄而获得的第一图像数据的输入和通过在成像部的第二光学***状态下对被摄体进行拍摄而获得的第二图像数据的输入，所述第二图像数据的模糊状态不同于第一图像数据的模糊状态；以及基于第一图像数据和第二图像数据计算与沿着被摄体的深度方向的位置对应的距离信息，其中，通过校正基于光学***的图像高度的模糊变化来计算所述距离信息。

根据本公开的另一实施例，提供了一种用于使计算机执行处理图像的方法的程序，该方法包括：接收通过在成像部的第一光学***状态下对被摄体进行拍摄而获得的第一图像数据的输入和通过在成像部的第二光学***状态下对被摄体进行拍摄而获得的第二图像数据的输入，所述第二图像数据的模糊状态不同于第一图像数据的模糊状态；以及基于第一图像数据和第二图像数据计算与沿着被摄体的深度方向的位置对应的距离信息，其中，通过校正基于光学***的图像高度的模糊变化来计算所述距离信息。

在上述实施例中，以下各项是优选的：

可以在假设在不添加模糊的处理的情况下模糊处理的次数是零的情况下确定模糊处理的次数。

此外，光学***的状态变化可以是聚焦位置变化。

此外，光学***的状态变化可以是光圈变化。

此外，所述滤波器可以是二维高斯滤波器，并且可以设置二维高斯滤波器的标准偏差以校正基于图像高度的模糊变化。

此外，可以将模糊处理的次数转换成物理距离。

距离信息计算部使用随着基于图像高度的模糊变化而具有不同特性的滤波器来计算距离信息。

滤波器包括第一滤波器和特性不同于第一滤波器的第二滤波器，以及距离信息计算部在模糊处理中选择性地使用第一滤波器和第二滤波器来添加模糊。

通过本公开，无论取决于图像高度的模糊函数的变化如何，都能基于图像高度来减少距离信息误差而获得具有更小误差的高精度距离信息。

附图说明

图1是举例说明成像装置的结构的示例的方框图，其为根据本公开的图像处理装置的示例；

图2是本公开的第一实施例的方框图；

图3是根据本公开的第一实施例的用于模糊处理的总体说明的流程图；

图4是根据本公开的第一实施例的举例说明用于获得距离信息的处理流程的流程图；

图5是根据本公开的第一实施例的用于解释用于获得距离信息的处理的示意图；

图6是用于解释Pill Box函数的示意图；

图7是用于解释高斯滤波器的示意图；

图8是根据本公开的第一实施例的用于解释获得距离信息的方法的示意图；

图9是用于解释基于图像高度的模糊函数变化的图示；

图10是用于解释基于图像高度的模糊函数变化的图示；

图11是用于解释距离图的示例的图示；

图12是用于解释依照图像高度来改变高斯滤波器的方法的示例的示意图；

图13是用于解释基于图像高度的模糊函数形状变化的示意图；

图14是用于解释使用二维各向同性高斯函数来对低图像高度区域执行卷积运算的处理的示例的示意图；

图15是用于解释使用二维各向同性高斯函数来对高图像高度区域执行卷积运算的处理的示例的示意图；

图16是用于解释第一实施例中的使用二维各向异性高斯函数来执行卷积运算的处理的示意图；

图17是用于解释第一实施例的变形例中的处理的示例的示意图；

图18是用于解释第一实施例的变形例中的依照高斯滤波器的图像高度来改变滤波器的方法的示例的示意图；

图19是举例说明第一实施例的变形例中的处理的示例的流程图；

图20是举例说明第一实施例的变形例中的处理的另一示例的流程图；以及

图21是举例说明处理循环的次数与相似性之间的关系的示例的示意图。

具体实施方式

下面将给出本公开的实施例的说明。在这方面，将按照以下顺序给出说明。

1.第一实施例

2.第一实施例的变形例

3.第二实施例

4.变形例

在这方面，下述实施例和变形例是本公开的优选特定实施例，并因此提供有在技术上优选的各种限制。然而，在以下说明中，本公开的范围不限于这些实施例和变形例，除非另外具体地描述。

1.第一实施例

“成像装置”

将给出本公开的第一实施例的说明。参考图1，将给出能够应用本公开的成像装置的示例的说明。该成像装置包括照相机部1、数字信号处理部2、SDRAM(同步动态随机存取存储器)3、介质接口(在下文中称为介质I/F)4、控制部5、操作部6、以及LCD(液晶显示器)控制器7、LCD8、以及外部接口(在下文中称为外部I/F)9。可以将记录介质10附着于介质I/F 4并从介质I/F 4拆卸。此外，所述成像装置提供有作为大容量记录介质的硬盘驱动器17，以便存储图像文件。

记录介质10是例如使用半导体存储器的所谓的记忆卡。除记忆卡之外，可以使用硬盘器件、诸如可记录DVD(数字多功能盘)、可记录CD(压缩盘)等光学记录介质、磁盘等。

照相机部1包括光学块11、成像器件12(诸如CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)等)、预处理电路13、光学块驱动器14、CCD驱动器15、以及定时发生电路16。这里，光学块11包括镜头、聚焦机构、快门机构、光圈(光阑)机构等。

控制部5是微型计算机，其中CPU(中央处理单元)51、RAM(随机存取存储器)52、闪速ROM(只读存储器)53、以及定时器电路54被通过***总线55而连接。并且，控制部5控制根据第一实施例的成像装置的每个部。RAM 52主要被用作用于临时存储中间结果等的工作区。闪速ROM 53存储在CPU 51上执行的各种程序和用于处理的必要数据等。定时器电路54具有提供当前日期、当前星期几、当前时间、拍摄日期和时间等并向捕捉的图像文件添加诸如拍摄日期和时间等日期和时间信息的功能。

在拍摄时，光学块驱动器14在控制部5的控制下形成用于操作光学块11的驱动信号，并将该驱动信号供应给光学块11以操作光学块11。在光学块11中，依照来自驱动器14的驱动信号来控制聚焦机构、快门机构和光圈机构，捕捉被摄体图像，并将被摄体图像供应给成像器件12。

成像器件12对来自光学块11的被摄体图像执行光电转换。成像器件12依照来自成像器件驱动器15的驱动信号进行操作，捕捉被摄体图像，并基于来自由控制部5控制的定时发生电路16的定时信号将所捕捉的被摄体图像的电子信号供应给预处理电路13。

在这方面，定时发生电路16在控制部5的控制下形成定时信号以提供预定定时。并且，成像器件驱动器15基于来自定时发生电路16的定时信号来形成将被供应给成像器件12的驱动信号。

预处理电路13对所供应的图像信号执行CDS(相关双重采样)处理以改善信噪比(S/N ratio)，执行AGC(自动增益控制)处理以控制增益，并执行A/D(模拟/数字)转换以形成作为数字信号的图像数据。

来自预处理电路13的数字图像数据被供应给数字信号处理部2。数字信号处理部2对图像数据执行照相机信号处理，诸如马赛克处理、AF(自动聚焦)、AE(自动曝光)、以及AWB(自动白平衡)等。用预定处理方法对已经进行过照相机信号处理的图像数据进行数据压缩，通过***总线55和介质I/F 4供应给加载的记录介质10和/或硬盘驱动器17，并作为符合例如DCF(用于照相机文件***的设计规则)标准的图像文件而被记录在记录介质10和/或硬盘驱动器17上。

并且，依照通过操作部6从用户接收到的输入操作，通过介质I/F 4来从记录介质10读取记录在记录介质10上的图像数据的目标图像数据，并将该数据供应给数字信号处理部2。操作部6包括各种按钮(诸如快门释放按钮等)、杆、转盘等。LCD 8可以包括触控板，并且可以允许由用户用手指或点击物按压屏幕上来进行输入操作。

数字信号处理部2对从记录介质10读取并通过介质I/F 4供应的压缩图像数据执行解压缩处理(展开处理)，并通过***总线55将解压缩之后的图像数据供应给LCD控制器7。LCD控制器7由图像数据形成将被供应给LCD 8的显示图像信号，并将该显示图像信号供应给LCD 8。从而，在LCD 8的屏幕上显示依照记录在记录介质10上的图像数据的图像。此外，可以在控制部5和LCD控制器7的控制下在LCD 8的屏幕上显示菜单等的文本、图形。在这方面，图像的显示形式取决于记录在ROM中的显示处理程序。

此外，成像装置提供有外部I/F 9。例如，外部个人计算机通过外部I/F 9连接到成像装置，并且成像装置被允许从个人计算机接收图像数据，并将该图像数据记录在被加载到成像装置的记录介质上。并且，成像装置被允许将记录在被加载到成像装置的记录介质上的图像数据供应给外部个人计算机。

此外，通信模块被连接到外部I/F 9，使得成像装置能够例如连接到诸如因特网等的网络，并且，成像装置被允许通过网络来获得各种图像数据及其它信息，以便将图像数据记录到被加载到成像装置的记录介质上。可替换地，成像装置被允许通过网络将记录在被加载到成像装置的记录介质上的数据传送到目标目的地。

此外，成像装置被允许读取并再现已经通过外部个人计算机和网络获得并被记录在记录介质上的诸如图像数据的信息，并将该信息显示到LCD 8。

在这方面，可以将外部I/F 9提供为诸如IEEE(电子和电气工程师协会)1394、USB(通用串行总线)等的有线接口或用光波或无线电波实现的无线接口。也就是说，外部I/F 9可以是有线接口或无线接口。可以例如通过外部I/F 9连接到图中未示出的外部计算机，接收从该计算机供应的图像数据，并将图像数据记录在记录介质10上和/或硬盘驱动器17中。还可以将记录在记录介质10上和/或硬盘驱动器17中的图像数据供应给外部计算机等。

通过上述成像装置，可以拍摄被摄体图像(静止图像和运动图像)，并将图像记录在加载的记录介质10上和/或硬盘驱动器17中。此外，可以读取记录在记录介质10上和/或硬盘驱动器17中的图像数据，显示图像，并自由地查看和编辑图像。用于管理图像数据的索引文件被记录在记录介质10和/或硬盘驱动器17的特定区域中。

这里，将给出上述成像装置的操作的示意性描述。成像器件12接收光，并且通过光电转换产生的信号被供应给预处理电路13。然后，对信号进行DS处理和AGC处理，转换成数字信号，并供应给数字信号处理部2。在数字信号处理部2中，对图像数据进行图像质量校正处理，并作为照相机经由镜头图像的图像数据供应给控制部5。从控制部5输入的图像数据被供应给LCD控制器7，并且在LCD 8上显示照相机经由镜头图像。可以在查看LCD 8上显示的照相机经由镜头图像的同时调整视场角。

并且，当操作部6的快门释放按钮被按下时，CPU 51向照相机部1输出控制信号以执行光学块11的快门操作。同时，数字信号处理部2对从预处理电路13供应的单帧图像数据(记录的图像数据)执行处理，并将图像数据存储到SDRAM 3。此外，由数字信号处理部2对记录的图像数据进行压缩编码，已编码数据被存储到硬盘17中，并且还通过***总线55和介质接口4被存储到记录介质10中。

在这方面，对于静止图像数据而言，CPU 51从定时器电路54获得拍摄时的日期和时间，并将数据及该日期和时间一起存储到硬盘17中和记录介质10上。此外，对于静止图像而言，还产生静止图像的缩小图像数据，该缩小图像数据被与原始静止图像相关联地存储到硬盘17和记录介质10中。

另一方面，当硬盘17中和记录介质10上的记录图像数据被再现时，记录的图像数据响应于已经从操作部6输入的操作而被CPU 51读取到SDRAM 3中。并且，由数字信号处理部2对图像数据进行解码。已解码图像数据通过LCD控制器7被供应到LCD 8，并且将在LCD 8上显示再现图像。

“用于模糊处理的配置”

在根据本公开的上述第一实施例中，控制部5的CPU 51执行模糊处理。在图2中示出了与模糊处理有关的配置。聚焦控制部14a控制光学块11中的镜头11a以控制聚焦。聚焦控制部14a包括CPU 51和光学驱动器14。在聚焦控制部14a的控制下，获得彼此具有不同的聚焦的多个捕捉图像。

首先，获得包括合焦的被摄体(例如在前景处的人)的图像(称为第一图像)。接下来，用被相对于第一图像向远侧偏移预定距离的聚焦对相同的被摄体进行拍摄以获得一个图像(称为第二图像)。此外，用被相对于第一图像向近侧偏移相同预定距离的聚焦来获得一个图像(称为第三图像)。三个图像被临时存储在充当数据存储部的RAM 52中。

三个图像具有彼此不同的模糊程度。在第一图像中，前景合焦，因此，第二图像和第三图像中的前景的聚焦偏移的程度变得相等。与第二图像中的背景的模糊相比，第三图像中的背景的模糊程度变大。

距离图(distance-map)生成部56使用上述三个图像之中的两个图像来生成距离信息。距离信息是依照沿图像的深度方向的位置的被摄体距离，例如前景与背景之间的距离。例如，距离图是关于图像中的所有单独像素的距离的信息。

由数字信号处理部2对第一图像进行诸如白平衡、马赛克、边缘增强等信号处理。由模糊处理应用部57依照从距离图生成部56输出的距离信息对数字信号处理部2的输出信号进行模糊处理。仅对除在前景中的被摄体之外的被摄体执行模糊处理。

模糊处理应用部57输出最终图像以便观看。用于观看的图像被记录在记录介质10上和/或硬盘驱动器17中。距离图生成部56和模糊处理应用部57意指由在控制部5的CPU 51中预先设计的程序执行的功能的处理。在这方面，可以通过外部I/F 9从外部装置供应具有不同聚焦的图像。

“模糊处理的一般流程”

接下来，参考图3，将给出聚焦控制部14a、距离图生成部56和模糊处理应用部57的操作的说明。在第一步骤S1中，拍摄第一图像。例如，如果为肖像，则执行拍摄，使得前景中的人合焦。第一图像被存储在RAM 52中。接下来，在步骤S2中，相对于第一图像将聚焦位置向远侧改变预定量。并且，在步骤S3中，拍摄第二图像。

接下来，在步骤S4中，相对于第一图像将聚焦位置向近侧改变预定量。假设聚焦位置的变化量等于获得第二图像的情况。并且在步骤S5中，拍摄第三图像。接下来，在步骤S6中，根据第二图像和第三图像生成为每个像素保持的、关于对应于各个像素的被摄体的距离的信息，即所谓的距离图。最后，在步骤S7中，参考距离图对第一图像进行模糊处理。

对于模糊处理而言，可以使用低通滤波器。依照距离，改变是否应用低通滤波器。并且，根据距离来改变滤波器的强度(截止频率越低，强度越高)。也就是说，例如，不向前景(人)应用低通滤波器，并且向背景应用具有基于与前景的距离的强度的低通滤波器。通过模糊处理，可以生成具有对于观看而言优选的模糊背景的肖像图像。

“距离图的生成”

将参考图4和图5给出步骤S6(距离图的产生)的更详细说明。图5举例说明第二图像和第三图像。首先，如图5所示，选择第二图像中的任何像素，假设其坐标为(x0，y0)。用p来定义以(x0，y0)作为中心的(p×p)的范围，p是相对于稍后描述的q的值而言足够大的值。使用预定高斯滤波器对包括在第二图像的(p×p)范围中的像素值执行卷积运算(图4中的步骤S11)。高斯滤波器是使用高斯函数的用于模糊的滤波器。也就是说，在高斯滤波器中，由高斯函数依照与中心像素的距离来确定组合像素时的权重。

接下来，在步骤S12中，计算由步骤S11的结果得到的以像素值(x0，y0)为中心的(q×q)范围的像素值与以第三图像的像素值(x0，y0)为中心的(q×q)的范围的像素值之间的相似性。对于相似性而言，可以使用SAD(绝对差值和，Sum of Absolute Difference)等。例如，获得对应于第二图像的(q×q)范围中和第三图像的(q×q)范围中的相同位置的两个像素值之间的差的绝对值，并针对(q×q)的像素对绝对值进行积分得到SAD的值。相似性越大，SAD的值变得越小。

在步骤S12之后的确定处理(步骤S13)中，确定相似性的计算处理和相似性值的存储是否已被执行M次。M是足够高的值。如果确定相似性的计算处理和相似性值的存储已被执行M次，则该处理前进至步骤S14。在步骤S14中，在存储的M次的相似性值之中搜索相似性的最大值(使用SAD作为相似性的情况下的最小值)。将对应于相似性最大值的步骤S11和步骤S12的重复次数k确定为距离信息。在这方面，在计算相似性的情况下，在尚未由高斯滤波器执行模糊处理的阶段进行比较。

在第二图像和第三图像中的前景区域中，添加基本上相同的模糊，因此，SAD变小，这被确定为相似性是较大的。在背景区域中，第三图像中的背景的模糊大于第二图像中的背景的模糊，并因此对第二图像执行模糊添加处理，使得相似性变高。

在这方面，对于获得相似性的最大值的方法而言，可以不将预定处理重复M次。例如，在使用SAD的情况下，可以检测SAD的局部最小值，并且可以将直到出现SAD的局部最小值为止的次数k确定为距离信息。此外，对于相似性而言，作为差的绝对值的替代，可以使用差的平方。此外，可以使用除SAD之外的参数来检测相似性。

如上所述，对图像中的所有像素单独地获得k。距离图包括针对每个像素获得的k值。在这种情况下，为了减少计算量，可以创建这样一种距离图，其中不是针对所有像素获得值k、而是针对沿着水平和/或垂直方向以预定的间隔采样的每个像素获得值k。

接下来，将给出为什么值k指示距离信息的说明。首先，定义以下符号。

Img：合焦且未被应用基于散焦的模糊函数的图像

σ₂，σ₃：分别应用于第二图像和第三图像的模糊函数(二维各向同性高斯函数)的标准偏差

σ_f：在步骤S11中应用的高斯滤波器的标准偏差

在几何光学中获得散焦的模糊函数作为如图6所示具有模糊圈的直径的Pill Box函数。当点图像合焦时，在成像表面上生成点图像。然而，如果点图像焦点没对准，则由模糊来生成圆圈图像。此圆圈称为模糊圈。

然而，在真实镜头中，鉴于像差的影响，常常将函数近似成如图7所示的二维各向同性高斯函数。在图7中，中心的位置是要处理的像素的位置(感兴趣的像素)。高斯滤波器的分布(高斯分布的函数)中，距离感兴趣的像素的位置越近、给出用于计算像素平均值的权重越重，以及距离感兴趣的像素的位置越远、给出越轻的权重。标准偏差越小和分布宽度越窄，则平滑效应变得越小。

在本公开的第一实施例中，假设第二图像和第三图像的散焦的模糊函数被近似成二维各向同性高斯函数，并且其标准偏差是σ₂和σ₃。这时，图4所示的处理中的获得k的过程对应于获得以下等式1中的k(G(μ，σ)是平均值μ和标准偏差σ的二维各向同性高斯函数)。此外，方差是与平均值的差的平方期望值。

这里，通常，高斯函数的卷积变成高斯函数，并且将要进行卷积的两个高斯函数的方差的和(σ₂ ²+σ₃ ²)与卷积结果的高斯函数的方差相匹配。通过使用这个事实，可以用以下表达式2来描述k。

$k=\frac{{\mathrm{\σ}}_3^2-{\mathrm{\σ}}_2^2}{{\mathrm{\σ}}_f^2}=\frac{({\mathrm{\σ}}_3-{\mathrm{\σ}}_2)({\mathrm{\σ}}_3+{\mathrm{\σ}}_2)}{{\mathrm{\σ}}_f^2}---\left(2\right)$

根据表达式2，k具有如下所述的关系。

1.次数k与σ_f的平方成反比。如果σ_f是定值，则表达式2的分母变成定值。

2.次数k与(σ₃-σ₂)成比例。可以将值(σ₃-σ₂)近似地解释为第二图像和第三图像的散焦的模糊函数中的模糊圈的直径的差。如果第二图像和第三图像相对于第一图像的散焦量保持恒定，则此值变成定值。也就是说，例如，如果第二图像相对于第一图像向远侧散焦2DoF(景深)，并且第三图像相对于第一图像向近侧散焦2DoF，则(σ₃-σ₂)变成是可容许的模糊圈的四倍的定值。

3.次数k与(σ₃+σ₂)成比例。可以将值(σ₃+σ₂)近似地解释为第二图像和第三图像的散焦的模糊函数的模糊圈的直径的和或其平均值的两倍。

例如，如上所述，第二图像被相对于第一图像向远侧散焦2DoF，并且第三图像被相对于第一图像向近侧散焦2DoF。并且，假设在捕捉第一图像时聚焦的前景位置与背景位置之间的相对距离是n DoF，σ₂变成可容许的模糊圈的(n-2)倍，并且σ₃变成可容许的模糊圈的(n+2)倍。值(σ₃+σ₂)变成可容许的模糊圈的2n倍。因此，(σ₃+σ₂)与前景位置与背景位置之间的相对距离n成比例。

根据上述关系，最后，k具有与前景位置和背景位置的相对距离n成比例的性质。基于该性质，可以通过计算k来获得与前景和背景之间的相对距离成比例的距离信息。在图8中示出k、n、(σ₃+σ₂)之间的关系。也就是说，图8示意性地举例说明存在关系k∝σ₃+σ₂∝n(∝表示∝关系)。

“模糊处理”

在图3中的步骤S7中，依照在图像中计算的单独像素位置的k的值来执行模糊处理。也就是说，如果k的值较大，则执行更强的模糊处理。并且，如果k的值较小，则执行更弱的模糊处理，或者不执行模糊处理。通过执行此类模糊处理，可以获得具有被适当地模糊的背景且适宜观看的图像。

如下所述，使用所计算的k来获得前景位置与背景位置之间的相对物理距离s_f，并且可以使用s_f来执行步骤S7中的模糊处理。

首先，通常，从几何光学中的薄透镜的表达式导出以下表达式3。

$s_f=\frac{f^2(s-f)}{f^2-\mathrm{\δF}(s-f)}---\left(3\right)$

在表达式3中，f是焦距，F是f数，s是合焦距离，δ是模糊圈的直径，并且s_f是远侧被摄体距离。f、F、s的值是镜头的控制值，并因此是给定的。因此，如果确定了δ，则可以获得s_f。几何光学地，将模糊函数表示为某个模糊圈的直径的Pill Box函数。这里，将从表达式2获得的σ₃和σ₂的平均值近似地视为模糊圈。对于表达式3中的δ而言，赋予表达式4。

$\frac{{\mathrm{\σ}}_3+{\mathrm{\σ}}_2}{2}=\frac{k{\mathrm{\σ}}_f^2}{2({\mathrm{\σ}}_3-{\mathrm{\σ}}_2)}---\left(4\right)$

$s_f=\frac{f^2(s-f)}{f^2-\frac{k{\mathrm{\σ}}_f^{2}F(s-f)}{2({\mathrm{\σ}}_3-{\mathrm{\σ}}_2)}}+f---\left(5\right)$

可以使用从表达式5获得的前景位置与背景位置之间的相对分离距离S_f来执行步骤S7中的模糊处理。

“图像高度的影响”

现在，到目前为止已经导出的k或s_f是基于模糊函数是如表达式1所表示的二维各向同性高斯函数的假设。如上所述，模糊函数被作为PillBox函数而几何光学地获得，但是考虑到真实镜头中的衍射和像差的影响，常常被近似为二维各向同性高斯函数。

然而，真实镜头的模糊函数偏离二维各向同性高斯函数。此外，虽然在对应于光轴的图像的中心处保持二维各向同性，但二维各向同性在具有高图像高度的图像的周边普遍地失效。由镜头的设计来确定真实镜头的模糊函数，并且因此可以预先估计模糊函数的变化。取决于位置的模糊函数的变化影响k或s_f的估计误差的发生。因此，最后降低了被施加模糊处理的图像的质量。将如下给出此影响的说明。

图9是按真实镜头的图像高度为0(即图像高度为最大图像高度的0％，这时的图像高度等于用于评估图像高度的平面上与光轴对应的位置)进行散焦时的PSF(点扩散函数)的示例。图10是按真实镜头的高图像高度进行散焦时的PSF的示例。PSF表示点被摄体在像表面上的扩散，并因此表示模糊函数本身。

在图像高度为0处，模糊函数不是二维高斯函数，但是具有各向同性。然而，在高图像高度处，模糊函数是各向异性的。具体地说，在高图像高度处，通常，PSF的扩散宽度常常由于周边的渐晕(vignetting)的影响具有与纵向方向相比在经线方向上变小的趋向。经线(meridional)方向是相对于光轴的径向，并且纵向(sagittal)方向是相对于光轴的同心方向，其垂直于经线方向。

这里，考虑此类模糊函数中的距离估计的误差。如上所述，由表达式2来执行距离估计。当认为模糊函数是二维高斯函数时，表达式2中的值σ₃和σ₂是标准偏差。即使模糊函数的形状偏离高斯函数，通常，也可以认为模糊函数的扩散宽度对应于σ₃和σ₂。

这里，参考图9和图10，进行图像高度为0的情况与高图像高度的情况之间的比较。在高图像高度的情况下，沿经线方向的模糊函数的扩散特别地变小，并且因此发生其中σ₃和σ₂的值在高图像高度的情况下比在图像高度为0的情况下变得更小的现象。结果，距离信息k的估计值在高图像高度下比在图像高度为0的情况下变得更小。

在图11中示出在此类情况下估计的距离图的示例。作为被摄体，假设存在这样一种图像，该图像包括设置在具有相同距离的远处位置处的平面背景和设置在近处位置处的方形对象(square object)(前景)。在距离图中，示出了图中越浓的部分被设置得越近。

位于低图像高度处的近距离处的对象和在图像的中心附近的背景在距离图上的浓度较高，并且被适当地进行距离估计。另一方面，在位于高图像高度处的图像的周边，背景的估计距离值由于上述误差的影响而变小。当基于包括此类误差的距离图在步骤S7中执行模糊处理时，在原本应适当地进行模糊处理的背景部分中具有比在图像周边的正确值少的模糊量。结果，产生不适当的观看图像。

“第一实施例的处理”

为了不受到由上述模糊函数的形状引起的距离估计的误差的影响，在本公开的第一实施例中，执行下述处理。

首先，作为将在步骤S11中使用的高斯滤波器(参考图4)，例如，使用具有在以下表达式6中示出的滤波器系数的高斯滤波器。

$G_1=\frac{1}{64}\×\left(\begin{array}{ccc}1& 6& 1\\ 6& 36& 6\\ 1& 6& 1\end{array}\right)---\left(6\right)$

假设当图9和图10中的模糊函数被近似为高斯函数时，如下描述其各个标准偏差。

σ_center：在将图9中的具有0图像高度的模糊函数近似成二维高斯函数的情况下的标准偏差

σ_mer：在将图10中的高图像高度模糊函数的经线方向形状近似成一维高斯函数的情况下的标准偏差

σ_sag：在将图10中的高图像高度模糊函数的纵向方向形状近似成一维高斯函数的情况下的标准偏差

这里r假设σ_center≌σ_sag＞σ_mer.

当将用表达式6表示的二维各向同性滤波器均匀地施加于整个图像时，如上所述，σ₃和σ₂的值在高图像高度的情况下变得较小。另一方面，σ_f的值对于整个图像而言是恒定的，并且k的值在高图像高度中变得较小，并且发生误差。

为了避免此类高图像高度中的由k的减小而引起的误差，在表达式2中，σ_f的值随着σ₃和σ₂的值变小而减小，并且从而抵消该减小的影响。结果，可以减小由于k的减小而引起的误差。

σ₍₁₆₁₎：被假设为[161]滤波器系数的标准偏差。标准偏差是

σ₍₁₆₁₎×(σ_mer/σ_center)

的高斯滤波器是[1 14 1]，沿纵向方向应用[1 6 1]滤波器，并且沿经线方向应用[1 14 1]滤波器。也就是说，将以下表达式7中的二维滤波器G_2a和G_2b应用于如图10所示的高图像高度的情况。结果，k的值变得大于使用G₁的情况，因此可以减小k的误差。

$G_{2a}=\frac{1}{128}\×\left(\begin{array}{ccc}1& 6& 1\\ 14& 84& 14\\ 1& 6& 1\end{array}\right)$ $G_{2b}=\frac{1}{128}\×\left(\begin{array}{ccc}1& 14& 1\\ 6& 84& 6\\ 1& 14& 1\end{array}\right)---\left(7\right)$

如图12所示，图像被对角线划分成四个区域，在中心附近的圆形区域是具有低图像高度的区域，并且通过将低图像高度区域从原始四个区域排除而产生的四个区域是高图像高度区域。二维高斯滤波器G₁被应用于低图像高度区域，二维高斯滤波器G_2a被应用于上高图像高度区域和下高图像高度区域，并且二维高斯滤波器G_2b被应用于右高图像高度区域和左高图像高度区域。

根据方向来改变高斯滤波器是因为如图13所示高图像高度的模糊函数的变化是旋转对称的，并因此模糊函数的变化和滤波器的变化相匹配。也就是说，沿着纵向方向，改变两种滤波器G_2a和G_2b，并且沿着经线方向，改变G₁和G_2a(或G_2b)这两种滤波器。

在这方面，改变滤波器的方式不限于此。为了更精密地对应于依照图像高度改变的模糊函数，可以沿着纵向方向或沿着经线方向使用许多种滤波器。结果，变得可以进一步减小k的误差。

此外，在上述示例中，应用于经线方向的滤波器的标准偏差小于应用于纵向方向的滤波器的标准偏差，使得获得使σ_f较小的效果。然而，可以使用具有比G1的标准偏差更小的标准偏差的二维各向同性高斯函数来获得相同的效果。

在这种情况下，

σ_high：在将图10中的高图像高度模糊函数近似成二维高斯函数的情况下的标准偏差

σ₍₁₆₁₎×(σ_high/σ_center)

应当使用的具有上述特性的二维各向同性高斯滤波器。

2.第一实施例的变形例

将给出第一实施例的变形例的说明。为了使得容易理解，还给出对第一实施例等的一般说明。

图14示意性地举例说明为了生成低图像高度区域中的距离信息而执行的卷积运算处理。分别如下假设将图像2和图像3的模糊函数近似成高斯函数的情况下的标准偏差。

σ_{2_center}：将具有图像2的0图像高度的模糊函数近似成二维高斯函数的情况下的标准偏差

σ_{3_center}：将具有图像3的0图像高度的模糊函数近似成二维高斯函数的情况下的标准偏差

如上所述，图像2的低图像高度区域中的模糊函数具有各向同性。当使用二维各向同性高斯函数对低图像高度区域中的模糊函数执行卷积运算时，该模糊被扩大。模糊被扩大，使得σ_{2_center}的值变高。结果，σ_{2_center}的值基本上与σ_{3_center}的值匹配，并因此获得具有高精度的相似性。

图15示意性地举例说明为了生成高图像高度区域中的距离信息而执行的卷积运算处理。图15所示的图像2和图像3的模糊函数是示例性的。例如，在图13中，那些模糊函数是在相对于图像中心附近(低图像高度区域)的图的下侧处的高图像高度区域中的模糊函数。

假设当图15所示的图像2和图像3的模糊函数被近似为高斯函数时，如下描述其各个标准偏差。

σ_{2_mer}：在将图像2的高图像高度模糊函数的经线方向形状近似成一维高斯函数的情况下的标准偏差

σ_{2_sag}：在将图像2的高图像高度模糊函数的纵向方向形状近似成一维高斯函数的情况下的标准偏差

σ_{3_mer}：在将图像3的高图像高度模糊函数的经线方向形状近似成一维高斯函数的情况下的标准偏差

σ_{3_sag}：在将图像3的高图像高度模糊函数的纵向方向形状近似成一维高斯函数的情况下的标准偏差

如上所述，在高图像高度区域中，模糊函数是各向异性的。在图15所示的模糊函数的示例中，σ_{2_mer}＜σ_{2_sag}且σ_{3_mer}＜σ_{3_sag}。

使用二维各向同性高斯函数对图像2的高图像高度区域中的模糊函数执行卷积运算。当执行卷积运算时，模糊被扩大，并且σ_{2_mer}的值和σ_{2_sag}的值以相等的比例增加。当执行了预定次数的卷积运算时，作为较小的标准偏差值的σ_{2_mer}的值和σ_{2_sag}的值基本上匹配。这时，相似性变得最大。然而，σ_{2_sag}的值和σ_{3_sag}的值不匹配。也就是说，已产生误差。如果在包括误差的状态下执行距离估计，则难以适当地执行模糊处理，并因此产生不适当的图像。

因此，在第一实施例中，例如，对图像2的高图像高度区域中的模糊函数执行使用二维各向异性高斯函数的卷积运算。如图16所示，通过使用二维各向异性高斯函数来执行卷积运算，可以适当地增加σ_{2_mer}的值和σ_{2_sag}的值。当σ_{2_mer}的值和σ_{2_sag}的值基本上分别与σ_{3_mer}的值和σ_{3_sag}的值匹配时，相似性变成最大值，且不产生误差。因此，能够以高精度来执行距离估计。

在该变形例中，例如，使用二维各向同性高斯函数和一维高斯函数对高图像高度区域中的模糊函数执行卷积运算。图17示意性地举例说明这样一种处理，其中对图像2的高图像高度区域的模糊函数执行使用二维各向同性高斯函数的卷积运算和使用一维高斯函数的卷积运算。

例如，首先，对图像2的模糊函数执行使用二维各向同性高斯函数的卷积运算。通过使用二维各向同性高斯函数来执行卷积运算，σ_{2m_mer}的值和σ_{2_sag}的值增加。在执行使用二维各向同性高斯函数的卷积运算例如M次的时刻，σ_{2_mer}的值和σ_{2_sag}的值相匹配。在此时刻之后，要使用的滤波器从二维高斯滤波器变成一维高斯滤波器，并且执行使用一维高斯函数的卷积运算。也就是说，对已经被执行过使用二维各向同性高斯函数的卷积运算的模糊函数进行使用一维高斯函数的卷积运算。

执行使用一维高斯函数的卷积运算，使得仅对纵向方向图像分量执行模糊处理。通过此模糊处理，只有σ_{2_sag}的值增加，并且σ_{2_mer}的值将不变。在执行使用一维高斯函数的卷积运算例如N次的时刻，σ_{2_sag}的值和σ_{3_sag}的值基本上匹配。这时，图像2的模糊函数与图像3的模糊函数之间的相似性变成最大值。并且，使用二维各向同性高斯函数来执行卷积运算的次数和使用一维高斯函数来执行卷积运算的次数的和((M+N)次)被用作距离信息k。以这种方式，例如，首先可以执行使用二维各向同性高斯函数的卷积运算，并且然后可以执行使用一维高斯函数的卷积运算。通过此处理，获得具有更高精度的相似性。结果，获得具有更高精度的距离信息。

在这方面，图14至图17所示的模糊函数是示例。例如，在具有关系σ_{2_mer}＞σ_{2_sag}的模糊函数的情况下，执行使用二维各向同性高斯函数的卷积运算M次，并且然后仅对沿着经线方向的图像分量执行模糊处理。由使用一维高斯函数的卷积运算来执行该模糊处理。

以这种方式，依照基于图像高度的模糊变化来使用具有不同特性的滤波器。在第一实施例中，作为具有不同特性的滤波器的示例，例如分别在低图像高度区域中和高图像高度区域中使用具有不同系数的二维高斯滤波器。在第一实施例的变形例中，作为具有不同特性的滤波器的示例，例如，在低图像高度区域中使用二维高斯滤波器。在高图像高度区域中，使用在低图像高度区域中使用过的二维高斯滤波器以及一维高斯滤波器。以这种方式，选择性地使用一维高斯滤波器和二维高斯滤波器来执行模糊处理。

图18举例说明将依照图像的区域应用的滤波器系数的示例。例如，图像被划分成四个区域。图像中心附近是低图像高度区域，并且通过从四个区域中排除低图像高度区域产生的其余区域是高图像高度区域。对低图像高度区域应用二维高斯滤波器。对高图像高度区域应用二维高斯滤波器和一维高斯滤波器。对于一维高斯滤波器而言，例如，对高图像高度区域中的图的上区域和下区域应用水平滤波器。对高图像高度区域中的图的左区域和右区域应用垂直滤波器。

图19是举例说明变形例中的处理的示例的流程图。例如由CPU 51来执行下面描述的处理。例如针对以图像2的预定像素为中心的每个块来执行图19所示的处理。对图像2中的所有块执行处理，并最终获得每个像素的距离信息。

在图19中的步骤S21中，对图像2的预定块应用二维高斯滤波器(进行卷积)。并且该处理前进至步骤S22。在步骤S22中，计算被应用了二维高斯滤波器的图像2的块与图像3的相同块之间的相似性。存储所计算的相似性。

与步骤S21和步骤S22中的处理并行地执行步骤23和步骤S24中的处理。在步骤S23中，对图像2的预定块应用一维高斯滤波器。并且该处理前进至步骤S24。在步骤S24中，计算已被应用一维高斯滤波器的图像2的块与图像3的相同块之间的相似性。存储所计算的相似性。

并且处理前进至步骤S25。在步骤S25中，确定在步骤S22中计算的相似性是否减小得比在上一次计算的相似性少(当第一次执行步骤S22中的处理时，为相对于尚未执行步骤S21的模糊处理的图像的相似性)。此外，确定在步骤S24中计算的相似性是否降低得比在上一次计算的相似性少(当第一次执行步骤S24中的处理时，为相对于尚未执行步骤S23的模糊处理的图像的相似性)。并且如果两个相似性都未降低，则该处理前进至步骤S26。

在步骤S26中，从步骤S22和步骤S24中的相似性之中选择输出更高相似性的图像。例如，如果在步骤S22中计算的相似性高于在步骤S24中计算的相似性，则选择已应用二维高斯滤波器的图像。所选图像被作为已应用高斯滤波器的图像输出。使用输出的已应用高斯滤波器的图像作为输入图像。对该输入图像执行步骤S21、步骤S22、步骤S23、步骤S25和步骤S26中的处理，并且该处理绕着从步骤S21至步骤S26的处理而循环。

在步骤S25中，如果在步骤S22中计算的相似性降低得比在前一次计算的相似性小，并且如果在步骤S24中计算的相似性降低得比在前一次计算的相似性小，则该处理前进至步骤S27。在步骤S27中，获得已经执行的从步骤S21至步骤S26的处理的循环次数。所获得的循环次数被作为距离信息k输出。

这里，将给出为什么用上述方法来更好地减小误差的说明。如上所述，高图像高度中的PSF形状由于渐晕而偏离图像中心处的旋转对称的PSF形状。由于

所以在仅使用二维高斯滤波器来估计距离的情况下，获得与图像中心处的估计距离相比更小的值作为估计值。这里，通过注意到

同时使用仅对沿纵向方向的图像分量执行模糊处理的一维高斯滤波器，并因此获得更小的值作为相似性。因此，获得具有高精度的距离估计值。

在这方面，在图19所示的处理中，使用两个相似性都已降低时的循环次数作为距离信息k。这里，可以使用(两个相似性都已降低时的循环次数-1)作为距离信息k。以这种方式，通过获得距离信息k，可以将相似性变成最大值时的循环次数作为距离信息k输出。

在这方面，可以通过由图20中的流程图所示的处理来实现变形例中的处理。下面描述的处理例如由CPU 51执行。例如针对以图像2的预定像素为中心的每个块来执行图20所示的处理。对图像2中的所有块执行处理，并最终获得每个像素的距离信息。

在步骤S31中，对图像2的预定块应用二维高斯滤波器。并且该处理前进至步骤S32。在步骤S32中，计算被应用二维高斯滤波器的图像与图像3的相同块的图像之间的相似性。存储所计算的相似性。并且该处理前进至步骤S33。

在步骤S33中，确定在步骤S32中计算的相似性是否降低得比在上一次计算的相似性小(当第一次执行步骤S32中的处理时，为相对于根本未执行步骤S31的模糊处理的图像的相似性)。作为确定的结果，如果相似性未降低，则该处理使用在步骤S31中执行了模糊处理的图像作为输入图像绕着步骤S31、步骤S32和步骤S33的处理而循环。在步骤S33中，如果在步骤S32中计算的相似性已经降低得比在前一次计算的相似性小，则该处理前进至步骤S34。

在步骤S34中，对输入图像应用一维高斯滤波器。步骤S34中的输入图像是在步骤S33中确定了相似性已降低的时间点处的模糊图像。换种说法，最后一次应用二维高斯滤波器的图像变成输入图像。当对输入图像应用一维高斯滤波器时，该处理前进至步骤S35。

在步骤S35中，计算在步骤S34中已应用一维高斯滤波器的图像与图像3的相同块的图像之间的相似性。存储所计算的相似性。并且该处理前进至步骤S36。在步骤S36中，确定在步骤S35计算的相似性是否降低得比在上一次计算的相似性小(当第一次执行步骤S35中的处理时，为相对于根本未执行步骤S34的模糊处理的图像的相似性)。

作为确定结果，如果相似性尚未降低，则使用在步骤S34中已执行模糊处理的图像作为输入图像来重复步骤S34、步骤S35和步骤S36中的处理循环。在步骤S36中，如果在步骤S35中计算的相似性降低得小于在前一次计算的相似性，则总循环次数作为距离信息k被输出。也就是说，从步骤S31至步骤S33的处理的循环次数和从步骤S34至步骤S36的处理的循环次数的和被作为距离信息k输出。

在这方面，可以将在前一次应用了二维高斯滤波器的图像存储在存储器中。并且在从步骤S33至步骤S34的处理中，可以使用存储在存储器中的图像作为输入图像，并且可以对存储在存储器中的图像应用一维高斯滤波器。例如，假设在已经对图像2应用二维高斯滤波器M次的阶段，相似性已经降低得小于前一次的相似性。这时，步骤S33中的确定变成“是”。在步骤S34中的后续处理中，输入存储在存储器中的前一图像，即已应用了二维高斯滤波器(M-1)次的图像。可以对该输入图像应用一维高斯滤波器。

当对图像2应用二维高斯滤波器时，相似性增加。在步骤S33中的确定中相似性降低的事实意味着在该时间点之前的那一次被应用二维高斯滤波器的图像2与图像3最类似。对该最类似的图像应用一维高斯滤波器，以便获得具有更高精度的相似性。结果，获得具有高精度的距离信息。

对步骤S34至步骤S36的处理也是如此。例如，假设当从步骤S34至步骤S36的处理的循环次数已经达到N次时，步骤S36中的确定变成“是”。由于与上述相同的原因，通过对输入图像应用一维高斯滤波器(N-1)次产生的图像与图像3最类似。并且，可以将(M-1)和(N-1)的和作为距离信息k输出。使用每个处理中的相似性变得最高时的循环的和作为距离信息，并因此获得具有高精度的距离信息。

在这方面，可以对低图像高度区域中的模糊函数应用二维高斯滤波器，并且可以对高图像高度中的模糊函数应用具有不同系数的一维高斯滤波器。例如，对高图像高度区域中的模糊函数应用水平滤波器。当相似性变得最高时，对已被应用水平滤波器的图像应用垂直滤波器。当相似性变得最高时，可以使用应用水平滤波器的次数与应用垂直滤波器的次数的和作为距离信息k。

图21是举例说明处理循环的次数与相似性之间的关系的示例的示意图。起初，在开始处理循环时，相似性在使用二维高斯滤波器的情况下比在使用一维高斯滤波器的情况下变得更高。因此，使用二维高斯滤波器。当继续该处理时，从某个时间点开始，在使用一维滤波器的情况下比在使用二维滤波器的情况下能计算得到更高的相似性。因此，使用一维高斯滤波器。最后，该处理循环在相似性变成最大值时终止，并输出距离信息k。

3.第二实施例

在第一实施例和第一实施例的变形例中，示出了由空间滤波器来检测距离图的应用示例。接下来，在第二实施例中，示出了在频域中检测距离图的应用示例。

根据第二实施例的总方框图和一般处理流程与图1、图2和图3所示的第一实施例中的总方框图和一般处理流程相同。步骤S6的方法(距离图生成)具有如下区别。

假设所获得的第二图像和第三图像的每个像素的坐标是x和y，所获得的图像是d₂(x，y)和d₃(x，y)，模糊函数是h₂(x，y)、h₃(x，y)，没有模糊的合焦的图像是f(x，y)。用以下表达式8和表达式9来表示这些关系。

$d_2(x,y)=h_2(x,y)\⊗f(x,y)---\left(8\right)$

$d_3(x,y)=h_3(x,y)\⊗f(x,y)---\left(9\right)$

这里，以与第一实施例相同的方式，分别将h₂(x，y)和h₃(x，y)近似成具有标准偏差σ₂和σ₃的高斯函数。

当在频域中描述表达式8和表达式9时，假设对应于所获得的第二和第三图像的频率轴分别是ω和ν，已进行了频率变换(DFT：离散傅立叶变换)的所获得的图像是D₂(ω，ν)和D₃(ω，ν)，已经进行了频率变换的模糊函数是H₂(ω，ν)和H₃(ω，ν)，并且已经进行了频率变换的没有模糊的合焦的图像是F(ω，ν)，如下表示各种关系。

D₂(ω，v)＝H₂(ω，v)F(ω，v)                    (10)

D₃(ω，v)＝H₃(ω，v)F(ω，v)                    (11)

通过从表达式10和表达式11消去F(ω，ν)，获得以下表达式。

$k^{\′}={\mathrm{\σ}}_3^2-{\mathrm{\σ}}_2^2=\frac{-2}{{\mathrm{\ω}}^2+{\mathrm{\ν}}^2}\log \frac{D_3(\mathrm{\ω},\mathrm{\ν})}{D_2(\mathrm{\ω},\mathrm{\ν})}---\left(12\right)$

对于图像中每个像素，被摄体距离随被摄体而变化。以表达式2中的假设k是距离信息的类似方法，可以将由表达式12在以某个像素位置(感兴趣的像素位置)(x0，y0)作为第二图像和第三图像的中心的q×q的像素区域中获得的k′的值视为(x0，y0)处的距离信息。这里，在用表达式12进行的k′的计算中，可以使用通过利用ω和ν的特定值的计算产生的值。此外，为了进一步改善所估计的精度，可以使用在表达式13中表示的在每个频率中计算的值的平均值作为距离信息。

${k^{\′}}_C=\∫\∫\frac{-2}{{\mathrm{\ω}}^2+{\mathrm{\ν}}^2}\log \frac{D_3(\mathrm{\ω},\mathrm{\ν})}{D_2(\mathrm{\ω},\mathrm{\ν})}\mathrm{d\ωd\ν}---\left(13\right)$

这里，如表达式12所示的，估计的k′是第三图像与第二图像的高斯模糊函数的平方标准偏差之间的差。因此，以与第一实施例相同的方式，发生由于模糊函数的图像高度依赖性而引起的误差。也就是说，在低图像高度的情况下，k′的值变得比在高图像高度的情况下小，并且发生误差。

在根据本公开的第二实施例中，为了减少此类误差，如以下表达式14所示，根据图像高度来改变距离信息估计计算。也就是说，分两个阶段来执行该变化。在高图像高度时，通过将低图像高度时的k′与校正系数α相乘来产生k′。

$k^{\′}=\frac{-2}{{\mathrm{\ω}}^2+{\mathrm{\ν}}^2}\log \frac{D_3(\mathrm{\ω},\mathrm{\ν})}{D_2(\mathrm{\ω},\mathrm{\ν})}$ (低图像高度时)

$k^{\′}=\mathrm{\α}\frac{-2}{{\mathrm{\ω}}^2+{\mathrm{\ν}}^2}\log \frac{D_3(\mathrm{\ω},\mathrm{\ν})}{D_2(\mathrm{\ω},\mathrm{\ν})}$ (高图像高度时)(14)

这里，如表达式15所示，α是通过用将在低图像高度下的模糊函数近似成二维各向同性高斯函数的情况下的标准偏差除以在将高图像高度下的模糊函数近似成二维各向同性高斯函数的情况下的标准偏差来产生的值。

$\mathrm{\α}=\frac{{\mathrm{\σ}}_{\mathrm{center}}}{{\mathrm{\σ}}_{\mathrm{high}}}---\left(15\right)$

通过校正系数α，减少了高图像高度下的k′的误差，改善了距离估计的精度。最后，可以改善在步骤S7中执行了模糊处理的图像的质量。

在这方面，这里，示出了在两个阶段(即低图像高度和高图像高度)之间进行改变的示例。然而，可以采用增加改变阶段的方法以进一步增加精度。

4.变形例

已经给出了本公开的实施例的具体描述。然而，本公开不限于上述实施例，并且基于本公开的精神和范围，可以进行各种修改。例如，示出了根据是低图像高度还是或高图像高度的区别来改变高斯滤波器的示例。此外，可以减少由从透镜的变化导出的模糊函数的变化引起的距离估计精度的变化。在这种情况下，可以测量用于每一个单元的模糊函数，并调整第一实施例中的G_2a和G_2b，或用于每一个单元的第二实施例中的值α。

此外，在上述实施例中，改变聚焦位置并获得多个图像，并基于那些图像的模糊函数的差来生成距离图。然而，通过改变光圈来获得多个图像，并且可以基于那些图像的模糊函数的差来生成距离图。此外，在上述实施例中，作为示例，将距离图用于模糊处理。另外，可以将距离图用于使用多个视差图像的立体图像的生成处理，或通过依照距离的解卷积的景深扩展图像的生成处理。

在这方面，本公开还可以具有以下配置

(1)

一种图像处理装置，包括：输入部，所述输入部接收通过在成像部的第一光学***状态下对被摄体进行拍摄而获得的第一图像数据的输入和通过在成像部的第二光学***状态下对被摄体进行拍摄而获得的第二图像数据的输入，所述第二图像数据的模糊状态不同于第一图像数据的模糊状态；以及距离信息计算部，所述距离信息计算部基于第一图像数据和第二图像数据来计算与沿着被摄体的深度方向的位置对应的距离信息，其中，所述距离信息计算部计算具有基于光学***的图像高度的模糊的已校正变化的距离信息。

(2)

根据(1)的图像处理装置，其中，所述距离信息计算部执行通过滤波器向第一图像数据添加模糊的模糊处理，确定添加了模糊的第一图像数据与第二图像数据之间的相似性，检测具有相似性的最大值的模糊处理的次数，从所检测的模糊处理的次数获得距离信息，以及在模糊处理中，校正基于光学***的图像高度的模糊变化。

(3)

根据(1)或(2)的图像处理装置，其中，在假设在不添加模糊的处理的情况下模糊处理的次数是零的情况下来确定模糊处理的次数。

(4)

根据(1)至(3)中的任一项的图像处理装置，其中，所述第一光学***状态和所述第二光学***状态是彼此具有不同的聚焦位置的状态。

(5)

根据(1)至(3)中的任一项的图像处理装置，其中，所述第一光学***状态和所述第二光学***状态是彼此具有不同的光圈的状态。

(6)

根据(2)至(5)中的任一项的图像处理装置，其中，所述滤波器是二维高斯滤波器，并且设置该二维高斯滤波器的标准偏差以校正基于图像高度的模糊变化。

(7)

根据(2)至(6)中的任一项的图像处理装置，其中，将模糊处理的次数转换成物理距离。

(8)

根据(1)至(7)中的任一项的图像处理装置，其中，所述距离信息计算部使用随着基于图像高度的模糊变化而具有不同特性的滤波器来计算距离信息。

(9)

根据(2)至(7)中的任一项所述的图像处理装置，其中，所述滤波器包括第一滤波器和特性不同于第一滤波器的第二滤波器，以及所述距离信息计算部在所述模糊处理中选择性地使用第一滤波器和第二滤波器来添加模糊。

(10)

一种处理图像处理装置的图像的方法，该方法包括：接收通过在成像部的第一光学***状态下对被摄体进行拍摄而获得的第一图像数据的输入和通过在成像部的第二光学***状态下对被摄体进行拍摄而获得的第二图像数据的输入，所述第二图像数据的模糊状态不同于第一图像数据的模糊状态；以及基于第一图像数据和第二图像数据计算与沿着被摄体的深度方向的位置对应的距离信息，其中，通过校正基于光学***的图像高度的模糊变化来计算所述距离信息。

(11)

一种用于使计算机执行处理图像的方法的程序，该方法包括：接收通过在成像部的第一光学***状态下对被摄体进行拍摄而获得的第一图像数据的输入和通过在成像部的第二光学***状态下对被摄体进行拍摄而获得的第二图像数据的输入，所述第二图像数据的模糊状态不同于第一图像数据的模糊状态；以及基于第一图像数据和第二图像数据计算与沿着被摄体的深度方向的位置对应的距离信息，其中，通过校正基于光学***的图像高度的模糊变化来计算所述距离信息。

本申请包含与在2010年5月17日在日本专利局提交的日本优先权专利申请JP 2010-112929和2011年3月25日在日本专利局提交的日本优先权专利申请JP 2011-068343中公开的主题内容有关的主题内容，其全部内容被通过引用结合到本文中。

本领域的技术人员应理解的是根据设计要求及其它因素，可以进行各种修改、组合、子组合和替换，只要在所附权利要求书或其等价物的范围内即可。

Claims (11)

1.一种图像处理装置，包括：

输入部，所述输入部接收通过在成像部的第一光学***状态下对被摄体进行拍摄而获得的第一图像数据的输入和通过在成像部的第二光学***状态下对被摄体进行拍摄而获得的第二图像数据的输入，所述第二图像数据的模糊状态不同于第一图像数据的模糊状态；以及

距离信息计算部，所述距离信息计算部基于第一图像数据和第二图像数据来计算与沿着被摄体的深度方向的位置对应的距离信息，

其中，所述距离信息计算部校正基于光学***的图像高度的模糊变化，以计算距离信息。

2.根据权利要求1所述的图像处理装置，

其中，所述距离信息计算部执行通过滤波器向第一图像数据添加模糊的模糊处理，确定添加了模糊的第一图像数据与第二图像数据之间的相似性，检测具有相似性的最大值的模糊处理的次数，

从所检测的模糊处理的次数获得距离信息，以及

在模糊处理中，校正基于光学***的图像高度的模糊变化。

3.根据权利要求2所述的图像处理装置，

其中，在假设在不添加模糊的处理的情况下模糊处理的次数是零的情况下来确定模糊处理的次数。

4.根据权利要求1所述的图像处理装置，

其中，所述第一光学***状态和所述第二光学***状态是彼此具有不同的聚焦位置的状态。

5.根据权利要求1所述的图像处理装置，

其中，所述第一光学***状态和所述第二光学***状态是彼此具有不同的光圈的状态。

6.根据权利要求2所述的图像处理装置，

其中，所述滤波器是二维高斯滤波器，并且设置该二维高斯滤波器的标准偏差以校正基于图像高度的模糊变化。

7.根据权利要求2所述的图像处理装置，

其中，将模糊处理的次数转换成物理距离。

8.根据权利要求1所述的图像处理装置，

其中，所述距离信息计算部使用随着基于图像高度的模糊变化而具有不同特性的滤波器来计算距离信息。

9.根据权利要求2所述的图像处理装置，

其中，所述滤波器包括第一滤波器和特性不同于第一滤波器的第二滤波器，以及

所述距离信息计算部在所述模糊处理中选择性地使用第一滤波器和第二滤波器来添加模糊。

10.一种处理图像处理装置的图像的方法，该方法包括：

接收通过在成像部的第一光学***状态下对被摄体进行拍摄而获得的第一图像数据的输入和通过在成像部的第二光学***状态下对被摄体进行拍摄而获得的第二图像数据的输入，所述第二图像数据的模糊状态不同于第一图像数据的模糊状态；以及

基于第一图像数据和第二图像数据计算与沿着被摄体的深度方向的位置对应的距离信息，

其中，通过校正基于光学***的图像高度的模糊变化来计算所述距离信息。

11.一种用于使计算机执行处理图像的方法的程序，该方法包括：

接收通过在成像部的第一光学***状态下对被摄体进行拍摄而获得的第一图像数据的输入和通过在成像部的第二光学***状态下对被摄体进行拍摄而获得的第二图像数据的输入，所述第二图像数据的模糊状态不同于第一图像数据的模糊状态；以及

基于第一图像数据和第二图像数据计算与沿着被摄体的深度方向的位置对应的距离信息，

其中，通过校正基于光学***的图像高度的模糊变化来计算所述距离信息。

Images