CN104102068B - 自动对焦方法及自动对焦装置 - Google Patents

Abstract

本发明提供一种自动对焦方法及自动对焦装置，适用于自动对焦装置，此方法包括：选取目标物，并使用第一与第二图像传感器拍摄目标物，以产生第一图像与第二图像；依据第一图像与第二图像进行三维深度估测，以产生三维深度图；对三维深度图进行优化处理，以产生优化三维深度图；依据优化三维深度图判断目标物对应的深度信息，并依据深度信息取得关于目标物的对焦位置；以及驱动自动对焦装置根据对焦位置执行自动对焦程序。

Description

自动对焦方法及自动对焦装置

技术领域

本发明涉及一种自动对焦的技术，且特别是有关于一种应用立体视觉图像处理技术进行自动对焦的方法及自动对焦装置。

背景技术

数码相机拥有相当精密复杂的机械结构，更加强化了相机的功能性与操控性。除了使用者的拍摄技巧与四周环境影响等因素之外，数码相机内建的自动对焦(Auto Focus，AF)***，对于拍摄出来的图像画面品质也有相当大的影响。

一般而言，自动对焦技术是指数码相机会移动镜头以变更镜头与被摄物体之间的距离，并对应不同的镜头位置以分别计算被摄主体画面的对焦评估值(以下简称为对焦值)，直到找寻到最大对焦值为止。具体而言，镜头的最大对焦值是表示对应目前镜头所在的位置能取得最大清晰度的被摄主体画面。然而，目前的自动对焦技术中所使用的爬山法(hill-climbing)或回归法(regression)中，镜头的连续推移以及最大对焦值的搜寻时间都需要若干幅图像才能达成一次的对焦，因此容易耗费许多时间。此外，在数码相机移动镜头的过程中可能会移动过头，而需要使镜头来回移动，如此一来，将会造成画面的边缘部分可能会有进出画面的现象，此即镜头画面的呼吸现象，而此现象破坏了画面的稳定性。

另一方面，现有一种立体视觉技术进行图像处理并建立图像三维深度信息的自动对焦技术，可有效减少对焦的耗时及画面的呼吸现象，而可提升对焦速度与画面的稳定性，故在相关领域中渐受瞩目。然而，一般而言，目前的立体视觉技术图像处理在进行图像中各像素点的三维座位位置信息求取时，常常无法对图像中的各点位置做出精准的定位。由于在无材质(texture)、平坦区等区域，较不易辨识相对深度而无法精确求出各点的深度信息，因此可能会造成三维深度图上的破洞。此外，若将自动对焦技术应用于手持电子装置(例如智能手机)，为要求缩小产品的体积，其立体视觉的基准线(stereo baseline)通常需要尽可能地缩小，如此一来定位精准将更加不易，并可能导致三维深度图上的破洞增加，进而影响后续图像对焦程序的执行。

发明内容

本发明提供一种自动对焦方法及自动对焦装置，具有快速的对焦速度及良好的画面稳定性。

本发明的一种自动对焦方法适用于自动对焦装置，其中自动对焦装置包括第一与第二图像传感器。自动对焦方法包括下列步骤。选取目标物，并使用第一与第二图像传感器拍摄目标物，以产生第一图像与第二图像。并依据第一图像与第二图像进行三维深度估测，以产生三维深度图。且对三维深度图进行优化处理，以产生优化三维深度图。更依据优化三维深度图判断目标物对应的深度信息，并依据深度信息取得关于目标物的对焦位置。接着，驱动自动对焦装置根据对焦位置执行自动对焦程序。

本发明的一种自动对焦装置，包括第一与第二图像传感器、对焦模块以及处理单元。第一与第二图像传感器拍摄目标物以产生第一图像与第二图像。对焦模块控制第一与第二图像传感器的对焦位置。处理单元，耦接第一与第二图像传感器以及对焦模块。处理单元对第一图像与第二图像进行三维深度估测，以产生三维深度图，并对三维深度图进行优化处理，以产生优化三维深度图。处理单元依据优化三维深度图判断目标物对应的深度信息，并依据深度信息取得关于目标物的对焦位置，对焦模块依据对焦位置执行自动对焦程序。

在本发明的一实施例中，上述的依据深度信息取得关于目标物的对焦位置的步骤包括：依据深度信息查询深度对照表，以取得关于目标物的对焦位置。

在本发明的一实施例中，上述的选取目标物的方法包括：通过自动对焦装置接收使用者用以选取目标物的点选信号或由自动对焦装置进行目标检测程序，以自动选取目标物，并取得目标物的坐标位置。

在本发明的一实施例中，上述的依据优化三维深度图像判断目标物对应的深度信息并取得对焦位置的步骤包括：选取涵括目标物的区块，并读取区块中的多个邻域像素(neighborhood pixels)的深度信息，对这些邻域像素的深度信息进行统计运算，以获得目标物的优化深度信息。并且，依据优化深度信息取得关于目标物的对焦位置。

在本发明的一实施例中，上述的自动对焦方法还包括：对目标物执行物体追踪程序，以取得关于目标物的至少一特征信息以及运动轨迹，其中特征信息包括重心、色彩、面积、轮廓或形状信息。

在本发明的一实施例中，上述的自动对焦方法还包括：将目标物在不同时间点下的各深度信息储存于深度信息数据库。并且，依据深度信息数据库中的这些深度信息执行移动量估测，以取得关于目标物的深度变化趋势。

在本发明的一实施例中，上述的优化处理为高斯(Gaussian)平滑处理。

在本发明的一实施例中，上述的自动对焦装置还包括储存单元。储存单元耦接处理单元，用以储存第一与第二图像以及深度对照表。处理单元并依据深度信息查询深度对照表，以取得关于目标物的对焦位置。

在本发明的一实施例中，上述的处理单元还包括区块深度估测器。区块深度估测器选取涵括目标物的区块，读取区块中的多个邻域像素的深度信息，对这些邻域像素的深度信息进行统计运算，以获得目标物的优化深度信息，并依据优化深度信息取得关于目标物的对焦位置。

在本发明的一实施例中，上述的处理单元还包括物体追踪模块。物体追踪模块耦接区块深度估测器，追踪目标物以取得至少一特征信息以及运动轨迹，其中特征信息包括重心、色彩、面积、轮廓或形状信息，以使区块深度估测器依据至少一特征信息与这些邻域像素的深度信息进行统计运算。

在本发明的一实施例中，上述的储存单元还包括深度信息数据库，且处理单元还包括移动量预测模块。深度信息数据库用以储存目标物在不同时间点下的各深度信息。移动量预测模块耦接储存单元与对焦模块，并依据深度信息数据库中的这些深度信息执行移动量预测，以取得关于目标物的深度变化趋势，以使对焦模块控制第一与第二图像传感器依据深度变化趋势进行平滑移动。

基于上述，本发明所提供的自动对焦方法以及自动对焦装置通过应用立体视觉的图像处理技术，并对其产生的三维深度图再进行优化处理以取得对焦位置，仅需一幅图像的时间即可完成相关自动对焦步骤的执行。因此，本发明的自动对焦装置以及自动对焦方法具有快速的对焦速度。此外，由于无须进行搜寻，因此也不会造成画面呼吸的现象，而具有良好的稳定性。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是本发明一实施例所示出的一种自动对焦装置的方块图；

图2是本发明一实施例所示出的一种自动对焦方法的流程图；

图3是图1实施例中的一种储存单元与处理单元的方块图；

图4是本发明另一实施例所示出的一种自动对焦方法的流程图；

图5是图4实施例中的一种判断目标物优化深度信息的步骤流程图；

图6是本发明再一实施例所示出的一种自动对焦方法的流程图。

附图标记说明：

100：自动对焦装置；

110：第一图像传感器；

120：第二图像传感器；

130：对焦模块；

140：储存单元；

141：深度信息数据库；

150：处理单元；

151：区块深度估测器；

153：物体追踪模块；

155：移动量预测模块；

S110、S120、S130、S140、S150、S151、S152、S160、S410、S610、S620：步骤。

具体实施方式

图1是本发明一实施例所示出的一种自动对焦装置的方块图。请参照图1，本实施例的自动对焦装置100包括第一图像传感器110与第二图像传感器120、对焦模块130、储存单元140以及处理单元150。在本实施例中，自动对焦装置100例如是数码相机、数码摄像机(Digital Video Camcorder，DVC)或是其他可用以摄像或摄影功能的手持电子装置等，但本发明并不限制其范围。

请参照图1，在本实施例中，第一与第二图像传感器110、120可包括镜头、感光元件或光圈等构件，用以获取图像。此外，对焦模块130、储存单元140以及处理单元150可为硬件及/或软件所实现的功能模块，其中硬件可包括中央处理器、芯片组、微处理器等具有图像运算处理功能的硬件设备或上述硬件设备的组合，而软件则可以是操作***、驱动程序等。在本实施例中，处理单元150耦接第一与第二图像传感器110、120、对焦模块130以及储存单元140，而可用以控制第一与第二图像传感器110、120与对焦模块130，并于储存单元140储存相关信息。以下将搭配图2，针对本实施例的自动对焦装置100各模块的功能进行详细说明。

图2是本发明一实施例所示出的一种自动对焦方法的流程图。请参照图2，在本实施例中，自动对焦方法例如可利用图1中的自动对焦装置100来执行。以下并搭配自动对焦装置100中的各模块以对本实施例的自动对焦方法的详细步骤进行进一步的描述。

首先，执行步骤S110，选取目标物。具体而言，在本实施例中，选取目标物的方法例如可通过自动对焦装置100接收使用者用以选取目标物的点选信号，以选取目标物。举例而言，使用者可以触控方式或移动取像装置到特定区域进行目标物的选取，但本发明不以此为限。在其他可行的实施例中，选取目标物的方法亦可由自动对焦装置100进行目标检测程序，以自动选取目标物，并取得目标物的坐标位置。举例而言，自动对焦装置100可通过使用人脸检测(face detection)、微笑检测或主体检测技术等来进行目标物的自动选择，并取得其坐标位置。但本发明亦不以此为限，此技术领域中具有通常知识者当可依据实际需求来设计自动对焦装置100中可用以选取目标物的模式，在此不予赘述。

接着，执行步骤S120，利用第一图像传感器110以及第二图像传感器120拍摄目标物，以分别产生第一图像与第二图像。举例来说，第一图像例如为左眼图像，第二图像例如为右眼图像。在本实施例中，第一图像与第二图像可储存于储存单元140中，以供后续步骤使用。

接着，执行步骤S130，处理单元150依据第一图像与第二图像进行三维深度估测，以产生三维深度图。具体而言，处理单元150可通过立体视觉技术进行图像处理，以求得目标物在空间中的三维坐标位置以及图像中各点的深度信息。并在得到各点的初步深度信息后，将所有深度信息汇整为一张三维深度图。

接下来再执行步骤S140，处理单元150对此张三维深度图进行优化处理，以产生优化三维深度图。具体而言，在本实施例中，进行优化处理的方法例如是利用图像处理技术将各点的深度信息与其邻近的深度信息进行加权处理。举例而言，在本实施例中，优化处理可为高斯(Gaussian)平滑处理。简言之，在高斯平滑处理中，各点像素值是由周围相邻像素值的加权平均，而原始像素的值有最大的高斯分布值，所以有最大的权重，相邻像素随着距离原始像素越来越远，其权重也越来越小。因此，处理单元150在对三维深度图进行了高斯平滑处理后，图像各点的深度信息将可较为连续，并同时可保留了边缘的深度信息。如此一来，除可避免原先的三维深度图中记载的各点深度信息可能存在深度不精准或不连续的问题外，对于原先存在于三维深度图上的破洞也可利用其邻近区域的深度信息进行修补以达到完整的状况。但值得注意的是，虽上述优化处理方法是以高斯(Gaussian)平滑处理为例示说明，但本发明不以此为限。在其他可行的实施例中，此技术领域中具有通常知识者当可依据实际需求来选择其他适当的统计运算方法以执行优化处理，此处便不再赘述。

接着，再执行步骤S150，处理单元150依据优化三维深度图判断目标物对应的深度信息，并依据深度信息取得关于目标物的对焦位置。具体而言，依据深度信息取得关于目标物的对焦位置的步骤例如是依据深度信息查询深度对照表来取得关于目标物的对焦位置。举例而言，执行自动对焦程序的过程可以是通过对焦模块130控制自动对焦装置100中的步进马达步数(step)或音圈马达电流值以分别调整第一与第二图像传感器110、120的变焦镜头至所需的对焦位置，以进行对焦。因此，将可通过事前步进马达或音圈马达的校正过程，事先求得步进马达的步数或音圈马达的电流值与目标物清晰深度的对应关系，将其结果汇整为深度对照表，并储存于储存单元140中。如此一来，则可依据目前获得的目标物的深度信息查询到此深度信息所对应的步进马达的步数或音圈马达的电流值，并据此取得关于目标物的对焦位置信息。

接着，执行步骤S160，处理单元150驱动自动对焦装置100根据对焦位置执行自动对焦程序。具体而言，由于对焦模块130控制第一与第二图像传感器110、120的对焦位置，因此在取得关于目标物的对焦位置信息后，处理单元150就可驱动自动对焦装置100的对焦模块130，并藉此调整第一与第二图像传感器110、120的变焦镜头至对焦位置，以完成自动对焦。

如此一来，通过上述应用立体视觉的图像处理技术而产生三维深度图，并再对此三维深度图进行优化处理以取得对焦位置的方法，将使得本实施例的自动对焦装置100以及自动对焦方法仅需一幅图像的时间即可完成相关自动对焦步骤的执行。因此，本实施例的自动对焦装置100以及自动对焦方法具有快速的对焦速度。此外，由于无须进行搜寻，因此也不会造成画面呼吸的现象，而具有良好的稳定性。

图3是图1实施例中的一种处理单元与储存单元的方块图。请参照图3，更详细而言，本实施例的自动对焦装置100的储存单元140还包括深度信息数据库141，而处理单元150还包括区块深度估测器151、物体追踪模块153与移动量预测模块155。在本实施例中，区块深度估测器151、物体追踪模块153与移动量预测模块155可为硬件及/或软件所实现的功能模块，其中硬件可包括中央处理器、芯片组、微处理器等具有图像运算处理功能的硬件设备或上述硬件设备的组合，而软件则可以是操作***、驱动程序等。以下将搭配图4至图6，针对本实施例的区块深度估测器151、物体追踪模块153、移动量预测模块155与深度信息数据库141的功能进行详细说明。

图4是本发明另一实施例所示出的一种自动对焦方法的流程图。请参照图4，在本实施例中，自动对焦方法例如可利用图1中的自动对焦装置100与图3中的处理单元150来执行。本实施例的自动对焦方法与图2实施例中的自动对焦方法类似，以下仅针对两者不同之处进行说明。

图5是图4实施例中的一种判断目标物优化深度信息的步骤流程图。图4所示的步骤S150，依据优化三维深度图判断目标物对应的深度信息，并依据深度信息取得关于目标物的对焦位置，还包括子步骤S151以及S152。请参照图5，首先，执行步骤S151，利用区块深度估测器151选取涵括目标物的区块，并读取区块中的多个邻域像素的深度信息，对这些邻域像素的深度信息进行统计运算，以获得目标物的优化深度信息。具体而言，进行此统计运算的目的是为了能够更可靠地计算出目标物的有效深度信息，如此一来，将可藉此避免对焦到不正确的目标的可能性。

举例而言，执行此统计运算的方法例如可为平均运算(mean)、众数运算(mod)、中值运算(median)、最小值运算(minimum)、四分位数(quartile)或其它适合的数学统计运算方式。更详细而言，平均运算指的是以此区块的平均深度信息来做为执行后续自动对焦步骤的优化深度信息，众数运算则是以此区块中数量最多的深度信息作为优化深度信息，中值运算则是以此区块中的深度信息中值作为优化深度信息，最小值运算则是以此区块中的最近物体距离作为优化深度信息，四分位数运算则是以此区块中的深度信息的第一四分位数或第二四分位数作为优化深度信息。值得注意的是，本发明不以此为限，此技术领域中具有通常知识者当可依据实际需求来选择其他适当的统计运算方法以获得目标物的优化深度信息，此处便不再赘述。

接着，再执行步骤S152，依据优化深度信息取得关于目标物的对焦位置，在本实施例中，执行步骤S152的方法已于图2实施例中的步骤S150的方法中详述，在此不再重述。

此外，请再次参照图4，在本实施例中，自动对焦方法还包括执行步骤S410，利用物体追踪模块153对目标物执行物体追踪程序，以取得关于目标物的至少一特征信息以及运动轨迹。具体而言，目标物的特征信息可包括重心、色彩、面积、轮廓或形状信息，物体追踪模块153并可利用不同的物体追踪演算法去获取第一与第二图像中形成目标物的各种成分，再将这些成分集合成较高阶的特征信息，通过比对不同时间点下所产生的连续的第一图像或第二图像间的特征信息来追踪目标物。值得注意的是，本发明并不限定物体追踪演算法的范围，此技术领域中具有通常知识者当可依据实际需求来选择适当的物体追踪演算法以获得目标物的特征信息及运动轨迹，此处便不再赘述。此外，物体追踪模块153还耦接区块深度估测器151，而可反馈其特征信息以及运动轨迹至区块深度估测器151中。区块深度估测器151并可依据目标物的特征信息及追踪估测的像素可信度(相似度)与其邻域像素的深度信息再进行不同加权类型的统计运算，以使目标物的优化深度信息更为精确。

图6是本发明再一实施例所示出的一种自动对焦方法的流程图。请参照图6，在本实施例中，自动对焦方法例如可利用图1中的自动对焦装置100与图3中的处理单元150来执行。本实施例的自动对焦方法与图4实施例中的自动对焦方法类似，以下仅针对两者不同之处进行说明。

在本实施例中，自动对焦方法还包括执行步骤S610与步骤S620。在步骤S610中，可利用储存单元140与处理单元150将目标物在不同时间点下的各深度信息储存于深度信息数据库141(如图3所示出)。具体而言，在自动对焦装置执行步骤S150时，将可不断得到目标物在空间中移动的三维位置信息，因此处理单元150可将目标物在不同时间点下的各深度信息输入并储存至储存单元140的深度信息数据库141。

接着，执行步骤S620，利用移动量预测模块155依据深度信息数据库141中的这些深度信息执行移动量估测，以取得关于目标物的深度变化趋势。具体而言，移动量预测模块155耦接储存单元140与对焦模块130，当移动量预测模块155对深度信息数据库141的这些深度信息执行移动量估测的计算程序时，将可分别取得目标物在空间中移动的三维位置信息变化趋势，特别是关于目标物沿着Z轴的位置变化趋势，亦即目标物的深度变化趋势，将有助于进行目标物在下一瞬间的移动位置预测，并因此有助于自动对焦。更进一步而言，在取得关于目标物的深度变化趋势后，可将此一目标物的深度变化趋势传递至对焦模块130中，并使对焦模块130控制第一与第二图像传感器110、120依据深度变化趋势进行平滑移动。更详细而言，自动对焦装置100在对焦模块130执行自动对焦程序之前将可根据此一目标物的深度变化趋势预先调整第一与第二图像传感器110、120的镜头位置，而使第一与第二图像传感器110、120的镜头位置可较为接近在步骤S150中所取得的对焦位置。如此一来，在自动对焦装置100执行步骤S160的自动对焦程序时的移动过程，将可较为平滑，进而增加自动对焦装置100的稳定性。

此外，深度信息数据库141与移动量预测模块155亦皆可分别反馈此目标物在不同时间点下的各深度信息与其深度变化趋势至物体追踪模块153中，物体追踪模块153并可根据目标物的这些深度信息与其深度变化趋势，再进行特征信号及深度信息的计算与分析，如此一来，将可降低***的运算量，提升运算速度，并使得物体追踪的结果更为准确，亦可提升自动对焦装置100的对焦效能。

综上所述，本发明的实施例的自动对焦方法以及自动对焦装置通过应用立体视觉的图像处理技术，并对其产生的三维深度图再进行优化处理以取得对焦位置，仅需一幅图像的时间即可完成相关自动对焦程序的执行。因此，本发明的自动对焦装置以及自动对焦方法具有快速的对焦速度。此外，由于无须进行反复搜寻，因此也不会造成呼吸现象的产生，而具有良好的对焦稳定性。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种自动对焦方法，适用于自动对焦装置，其特征在于，该自动对焦装置包括第一与第二图像传感器，该自动对焦方法包括：

选取目标物，并使用该第一与该第二图像传感器拍摄该目标物，以产生第一图像与第二图像；

依据该第一图像与该第二图像进行三维深度估测，以产生三维深度图；

对该三维深度图进行优化处理，以产生优化三维深度图；

依据该优化三维深度图判断该目标物对应的深度信息，并依据该深度信息取得关于该目标物的对焦位置；以及

驱动该自动对焦装置根据该对焦位置执行自动对焦程序，

其中上述依据该优化三维深度图判断该目标物对应的该深度信息，并取得该对焦位置的步骤包括：

选取涵括该目标物的区块，并读取该区块中的多个邻域像素的深度信息，对该多个邻域像素的深度信息进行统计运算，以获得该目标物的优化深度信息；以及

依据该优化深度信息取得关于该目标物的该对焦位置。

2.根据权利要求1所述的自动对焦方法，其特征在于，依据该深度信息取得关于该目标物的该对焦位置的步骤包括：

依据该深度信息查询深度对照表，以取得关于该目标物的该对焦位置。

3.根据权利要求1所述的自动对焦方法，其特征在于，选取该目标物的方法包括：

通过该自动对焦装置接收使用者用以选取该目标物的点选信号或由该自动对焦装置进行目标检测程序，以自动选取该目标物，并取得该目标物的坐标位置。

4.根据权利要求1所述的自动对焦方法，其特征在于，还包括：

对该目标物执行物体追踪程序，以取得关于该目标物的至少一特征信息以及运动轨迹，其中该特征信息包括重心、色彩、面积、轮廓或形状信息。

5.根据权利要求1所述的自动对焦方法，其特征在于，还包括：

将该目标物在不同时间点下的各该深度信息储存于深度信息数据库；以及

依据该深度信息数据库中的各该深度信息执行移动量估测，以取得关于该目标物的深度变化趋势。

6.根据权利要求1所述的自动对焦方法，其特征在于，该优化处理为高斯平滑处理。

7.一种自动对焦装置，其特征在于，包括：

第一与第二图像传感器，拍摄目标物以产生第一图像与第二图像；

对焦模块，控制该第一与该第二图像传感器的对焦位置；以及

处理单元，耦接该第一与第二图像传感器以及该对焦模块，该处理单元对该第一图像与该第二图像进行三维深度估测，以产生三维深度图，并对该三维深度图进行优化处理，以产生优化三维深度图，其中该处理单元还包括：

区块深度估测器，选取涵括该目标物的区块，读取该区块中的多个邻域像素的深度信息，对该多个邻域像素的深度信息进行统计运算，以获得该目标物的优化深度信息，并依据该优化深度信息取得关于该目标物的该对焦位置，

其中该对焦模块依据该对焦位置执行自动对焦程序。

8.根据权利要求7所述的自动对焦装置，其特征在于，还包括：

储存单元，耦接该处理单元，用以储存该第一与该第二图像以及深度对照表，

其中该处理单元依据该深度信息查询该深度对照表，以取得关于该目标物的该对焦位置。

9.根据权利要求7所述的自动对焦装置，其特征在于，该处理单元还包括：

物体追踪模块，耦接该区块深度估测器，追踪该目标物以取得至少一特征信息以及运动轨迹，其中该特征信息包括重心、色彩、面积、轮廓或形状信息，以使该区块深度估测器依据该至少一特征信息与该多个邻域像素的深度信息进行该统计运算。

10.根据权利要求8所述的自动对焦装置，其特征在于，该储存单元还包括深度信息数据库，用以储存该目标物在不同时间点下的各该深度信息，且该处理单元还包括：

移动量预测模块，耦接该储存单元与该对焦模块，依据该深度信息数据库中的各该深度信息执行移动量预测，以取得关于该目标物的深度变化趋势，以使该对焦模块控制该第一与该第二图像传感器依据该深度变化趋势进行平滑移动。