CN103973963B

CN103973963B - 图像获取装置及其图像处理方法

Info

Publication number: CN103973963B
Application number: CN201310260044.3A
Authority: CN
Inventors: 庄哲纶; 周宏隆
Original assignee: Altek Semiconductor Corp
Current assignee: Altek Semiconductor Corp
Priority date: 2013-02-06
Filing date: 2013-06-26
Publication date: 2017-11-21
Anticipated expiration: 2033-06-26
Also published as: CN103973963A

Abstract

本发明提供一种图像获取装置及其图像处理方法。此图像处理方法包括下列步骤。以第一焦距获取第一图像，以第二焦距获取第二图像。对第二图像进行几何校正程序，产生位移校正后的第二图像。对第一图像的每一像素点执行梯度运算以产生多个第一梯度值，以及对位移校正后的第二图像的每一像素点执行梯度运算以产生多个第二梯度值。比较各第一梯度值与相对应的各第二梯度值以产生多个第一像素比较结果，根据第一像素比较结果产生第一参数地图。依据第一参数地图与第一图像产生合成图像，至少根据合成图像产生输出图像。

Description

图像获取装置及其图像处理方法

技术领域

本发明是有关于一种图像获取装置及其图像处理方法，且特别是有关于一种通过计算像素梯度值来据以混合图像的图像获取装置及其图像处理方法。

背景技术

随着光学技术的进步，可调整光圈、快门甚至可更换镜头的数码相机逐渐普及，数码相机的功能也趋于多样化。数码相机除了要提供良好的成像品质之外，对焦技术的准确性与速度更是消费者在购买产品时会参考的因素。但以现有的光学***而言，由于多个物体在立体场景中具有不同的远近，故无法在单次拍摄图像的过程中取得完全清晰的全景深图像。亦即，受到镜头光学特性的限制，在使用数码相机取像时只能选择其中一个深度来进行对焦，故在成像中处于其他深度的景物会较为模糊。

现有产生全景深图像的方法大多采用多种不同摄影条件进行拍摄所得的多张图像组合而成。通过改变摄影条件中的一或多个参数进而对同一场景拍摄出不同的多张图像，再通过清晰度判别方法来将这些图像组合成一张清晰的图像。采用上述多种不同摄影条件进行拍摄以合成全景深图像的技巧须仰赖固定的图像获取装置进行拍摄。一般而言，使用者常利用稳定的脚架来固定图像获取装置，以确保所获取的图像之间无明显的几何扭曲。另外，在拍摄过程中，还须避免被摄场景中有任何目标的移动。

另一方面，在使用相机拍摄图像时，为了突显所拍摄图像中的主题，一般会采用所谓散景（bokeh）的拍摄技巧。散景即表示在景深较浅的摄影成像中，落在景深以外的画面会有逐渐产生松散模糊的效果。一般而言，相机镜头所能制造出的散景效果有限。若要获得较佳的散景效果，通常需要同时满足下列几项重要的条件：大光圈、长焦距。换言之，为了达到散景效果需倚赖大孔径镜头来加强远距离目标的模糊化，而让清楚成像的主题得以从背景中突显出来。然而，大孔径镜头的体积庞大且价格昂贵，并非一般消费型相机所能配备。

总而言之，现有产生全景深或是产生散景图像的方法都易导致处理后的图像产生景深不连续或是不够自然的问题。此外，对于拍摄图像上的操作限制更是让使用者感到不便，像是其平均总拍摄时间相当长或繁复的过程，甚至导致最终的结果图像无法令人感到满意。

发明内容

有鉴于此，本发明提供一种图像获取装置及其图像处理方法，可通过不同焦距值所拍摄的图像来判断出图像中的主体，进而产生主体清晰且散景效果自然的图像。另一方面，本发明的图像处理方法也可通过不同焦距值所拍摄的图像来避免产生全景深图像时的鬼影问题。

本发明提出一种图像处理方法，适用于图像获取装置，此图像处理方法包括下列步骤。以第一焦距获取一第一图像，并以第二焦距获取第二图像，其中第一焦距对焦于至少一主体。对第二图像进行几何校正程序，产生位移校正后的第二图像。对第一图像的每一像素点执行梯度运算以产生多个第一梯度值，以及对位移校正后的第二图像的每一像素点执行梯度运算以产生多个第二梯度值。比较各第一梯度值与相对应的各第二梯度值以产生多个第一像素比较结果，并根据这些第一像素比较结果产生第一参数地图。依据第一参数地图与第一图像产生合成图像，并至少根据合成图像产生输出图像。

在本发明的一实施例中，上述的图像处理方法，其中至少根据合成图像产生输出图像的步骤包括：以第三焦距获取第三图像。对第三图像进行几何校正程序，产生位移校正后的第三图像。对合成图像的每一像素点执行梯度运算以产生多个第三梯度值，以及对位移校正后的第三图像的每一像素点执行梯度运算以产生多个第四梯度值。比较各第三梯度值与相对应的各第四梯度值以产生多个第二像素比较结果，并根据这些第二像素比较结果产生第二参数地图。依据第二参数地图，混合位移校正后的第三图像与合成图像而产生输出图像。

在本发明的一实施例中，上述的图像处理方法，其中对第二图像进行几何校正程序，产生位移校正后的第二图像的步骤包括：对第一图像与第二图像进行移动量估测，藉以计算单应性(homography matrix)矩阵。依据单应性矩阵对第二图像进行几何仿射转换(affine transformation)，以获得位移校正后的第二图像。

在本发明的一实施例中，上述的图像处理方法，其中比较各第一梯度值与相对应的各第二梯度值以产生多个第一像素比较结果，并根据这些第一像素比较结果产生参数地图的步骤包括：将这些第二梯度值除以相对应的第一梯度值，产生多个梯度比较值。依据这些梯度比较值产生多个参数值，并将这些参数值记录为参数地图。

在本发明的一实施例中，上述的图像处理方法，其中依据多个梯度比较值产生多个参数值的步骤包括：判断这些梯度比较值是否大于第一梯度临界值。若梯度比较值大于第一梯度临界值，设定梯度比较值所对应的参数值为第一数值。

在本发明的一实施例中，上述的图像处理方法，其中依据这些梯度比较值产生多个参数值的步骤包括：若梯度比较值并无大于第一梯度临界值，判断梯度比较值是否大于第二梯度临界值。若梯度比较值大于第二梯度临界值，设定梯度比较值所对应的参数值为第二数值。若梯度比较值并无大于第二梯度临界值，设定梯度比较值所对应的参数值设定为第三数值，其中，第一梯度临界值大于第二梯度临界值。

在本发明的一实施例中，上述的图像处理方法，其中至少依据第一参数地图与第一图像产生合成图像的步骤包括：对第一图像进行模糊化程序，产生模糊图像。根据第一参考地图混合第一图像与模糊图像以产生主体清晰图像。

在本发明的一实施例中，上述的图像处理方法，其中根据第一参考地图混合第一图像与模糊图像以产生主体清晰图像的步骤包括：判断参数值是否大于第一混合临界值。若参数值大于第一混合临界值，取参数值所对应的模糊图像的像素点作为主体清晰图像的像素点。若参数值并无大于第一混合临界值，判断参数值是否大于第二混合临界值。若参数值大于第二混合临界值，依据参数值计算出对应的主体清晰图像的像素点。若参数值并无大于第二混合临界值，取参数值所对应的第一图像的像素点作为主体清晰图像的像素点，其中，第一混合临界值大于第二混合临界值。

在本发明的一实施例中，上述的图像处理方法，其中至少依据第一参数地图与第一图像产生合成图像的步骤包括：依据第一图像与第二图像中各像素点的像素值计算出各像素点所对应的多个绝对差值和（Sum of Absolute Differences），并依据这些绝对差值和调整第一参数地图中的参数值。根据调整后的第一参考地图，混合第一图像与位移校正后的第二图像以产生全景深图像。

在本发明的一实施例中，上述的图像处理方法，其中依据第一图像与第二图像中各像素点的像素值计算出各像素点所对应的绝对差值和，并依据绝对差值和调整第一参数地图中的参数值的步骤包括：当绝对差值和大于移动临界值，依据绝对差值和决定各参数值的权重因子，并利用权重因子调整参数值，其中各参数值随着对应的绝对差值和的上升而下降。

在本发明的一实施例中，上述的图像处理方法，其中根据经由权重因子调整后的第一参考地图，混合第一图像与位移校正后的第二图像以产生全景深图像的步骤包括：判断参数值是否大于第一混合临界值。若参数值大于第一混合临界值，取参数值所对应的位移校正后的第二图像的像素点作为全景深图像的像素点。若参数值并无大于第一混合临界值，判断参数值是否大于第二混合临界值。若参数值大于第二混合临界值，依据参数值计算出对应的全景深图像的像素点。若参数值并无大于第二混合临界值，取参数值所对应的第一图像的像素点作为全景深图像的像素点，其中第一混合临界值大于第二混合临界值。

从另一观点来看，本发明提出一种图像获取装置，此图像获取装置包括图像获取模块、位移校正模块、梯度计算模块、地图产生模块以及图像合成模块。图像获取模块以第一焦距获取第一图像，并以第二焦距获取第二图像，其中第一焦距对焦于至少一主体。位移校正模块对第二图像进行几何校正程序，产生位移校正后的第二图像。梯度计算模块对第一图像的每一像素点执行梯度运算以产生多个第一梯度值，以及对位移校正后的第二图像的每一像素点执行度运算以产生多个第二梯度值。地图产生模块比较各第一梯度值与相对应的各第二梯度值以产生多个第一像素比较结果，并根据第一像素比较结果产生第一参数地图。图像合成模块依据第一参数地图与第一图像产生合成图像，并至少根据合成图像产生输出图像。

基于上述，本发明通过焦距不同会造成图像不同的特性，对同一场景以不同焦距进行拍摄，并且比较图像间各个像素点的梯度差异而产生参数地图。通过参数地图的资讯，可产生清晰的全景深图像或主体清晰背景模糊的散景图像，达到良好的全景深效果或散景效果。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是本发明一实施例所示出的图像获取装置的功能方块示意图；

图2是本发明一实施例所示出的图像处理方法流程图；

图3为本发明另一实施例所示出的图像处理方法的示意图；

图4是本发明又一实施例所示出的图像获取装置的方块图；

图5是本发明又一实施例所示出的图像处理方法流程图；

图6是本发明又一实施例所示出的图5中步骤S550的详细流程图；

图7是本发明又一实施例所示出的图5中步骤S560的详细流程图；

图8是本发明的再一实施例所示出的图像获取装置的方块图；

图9A是本发明的再一实施例所示出的像素区块的示意图；

图9B是本发明再一实施例所示出的绝对差值和与权重因子的关系示意图。

附图标记说明：

100、400、800：图像获取装置；

110、410、810：图像获取模块；

120、420、820：图像校正模块；

130、430、830：梯度计算模块；

140、440、840：地图产生模块；

150、450、850：图像合成模块；

460：图像模糊模块；

860：地图调整模块；

Img1、Img2、Img3、Img_b、Img_F、Img1_blur、Img2_cal：图像

G1、G2：梯度值；

bokeh_map：散景地图；

map、allin_map：参数地图；

S210～S250、S510～S560、S610～S625、S710～S750：步骤。

具体实施方式

本发明提出一种通过利用不同焦距值所拍摄的多张图像来产生散景图像以及全景深图像的方法。先对焦于欲拍摄的至少一主体进行并进行拍摄，接着利用另一焦距对同一场景进行拍摄。通过比较两张图像的像素梯度来产生参数地图，可据以判断出图像中的主体部分，进而产生具有散景效果的图像。另一方面，通过比较至少两张图像的像素梯度而产生作为混合图像的依据的参数地图，进而产生全景深图像。为了使本发明的内容更为明了，以下列举实施例作为本发明确实能够据以实施的范例。

图1是依照本发明一实施例所绘示的影像图像获取装置的功能方块示意图。请参照图1，本实施例的图像获取装置100例如是数码相机、单反相机、数码摄影机或是其他具有图像获取功能的智能手机、平板电脑、头戴显示器等等，不限于上述。图像获取装置100包括图像获取模块110、图像校正模块120、梯度计算模块130、地图产生模块140以及图像合成模块150。

图像获取模块110包括变焦镜头以及感光元件。感光元件例如是电荷耦合元件（Charge Coupled Device，CCD）、互补性氧化金属半导体（Complementary Metal-OxideSemiconductor，CMOS）元件或其他元件，图像获取模块110还可包括光圈等，在此皆不设限。图像获取模块110可依据不同的焦距值来获取不同的图像。

另一方面，图像校正模块120、梯度计算模块130、地图产生模块140以及图像合成模块150可由软件、硬件或其组合实作而得，在此不加以限制。软件例如是原始码、操作***、应用软件或驱动程序等。硬件例如是中央处理单元(Central Processing Unit，CPU)，或是其他可程式化的一般用途或特殊用途的微处理器(Microprocessor)。

图2是依照本发明一实施例所绘示的影像图像处理方法流程图。本实施例的方法适用于图1的图像获取装置100，以下即搭配图像获取装置100中的各模块说明本实施例的详细步骤：

首先，于步骤S210中，图像获取模块110以第一焦距获取第一图像，并以第二焦距获取第二图像，其中第一焦距对焦于至少一主体。也就是说，图像获取模块110利用两种不同的焦距长度拍摄出两张图像。其中，在相同条件下，以不同焦距所拍摄的画面结果会有所不同。具体来说，就对焦于主体的第一图像而言，其图像中的主体部份是最为清晰的。

于步骤S220中，图像校正模块120对第二图像进行几何校正程序，产生位移校正后的第二图像。由于第一图像与第二图像系由使用者对同一场景连续拍摄所得，期间由于相机的晃动或移动，可能会拍摄出不同角度的图像，即第一图像与第二图像会有位移的产生。因此图像校正模块120对第二图像进行几何校正程序，换言之，几何校正程序可使位移校正后的第二图像的起始像素点位置相同于第一图像的起始像素点位置。

于步骤S230中，梯度计算模块130对第一图像的每一像素点执行一梯度运算以产生多个第一梯度值，以及对位移校正后的第二图像的每一像素点执行梯度运算以产生多个第二梯度值。也就是说，第一图像中的各个像素点具有其第一梯度值，而位移校正后的第二图像中的各个像素点具有其第二梯度值。

于步骤S240中，地图产生模块140比较各第一梯度值与相对应的各第二梯度值以产生多个第一像素比较结果，并根据第一像素比较结果产生第一参数地图。简单来说，地图产生模块140会将位置相同的像素点的梯度值进行比较，对于每个像素点位置而言都会有一个像素比较结果。

于步骤S250中，图像合成模块150依据第一参数地图与第一图像产生合成图像，并至少根据合成图像产生输出图像。详细来说，在取得参数地图之后，图像获取装置100可以依据参数地图混合第一图像以及本身经过其他图像处理后的图像，据以产生合成图像。此外，图像获取装置100也可以依据参数地图混合第一图像与第二图像，据以产生合成图像。

值得一提的是，上述实施方式虽然是以两种焦距所拍摄出来的两张图像为例，但本发明并不限制于此。本发明可视实际应用状况而定，延伸为利用多个焦距所拍摄出来的多张图像来取得最终的输出图像。举例来说，由于焦距不同的图像各分别具有不同的清晰图像部份，因此可通过多张不同焦距的图像而取得清晰的全景深图像。另外，本发明的图像处理方法可通过对焦于主体、背景以及前景的三张图像，进而产生出仅有主体清晰的输出图像。以下将列举另一实施例详细说明之。

图3为依照本发明另一实施例所绘示的图像处理方法的示意图。在本实施例中，图像获取模块110利用第一焦距与第二焦距获取第一图像Img1与第二图像Img2。之后，如同上述实施例的说明，通过图像校正模块120、梯度计算模块130、地图产生模块、图像合成模块150的处理，可据以产生合成图像Img_b，于此不再赘述。需注意的是，上述实施例中图像合成模块150可将合成图像Img_b作为最后的输出图像，但在本实施例中，合成图像Img_b将进一步与另一图像进行合成而产生最终的输出图像Img_F。详细来说，如图3所示，图像获取模块110将再以第三焦距获取第三图像Img3。图像校正模块120对第三图像Img3进行几何校正程序，产生位移校正后的第三图像Img3。

之后，梯度计算模块对合成图像Img_b的每一像素点执行梯度运算以产生多个第三梯度值，以及对位移校正后的第三影Img3像的每一像素点执行该梯度运算以产生多个第四梯度值。地图产生模块140比较各第三梯度值与相对应的各第四梯度值以产生多个第二像素比较结果，并根据第二像素比较结果产生第二参数地图。于此的第二参数地图是通过计算合成图像Img_b与第三图像Img3的梯度值而取得，其内部的参数值将与前述的利用第一图像Img1与第二图像Img2所计算出来的参数地图不同。图像合成模块150依据第二参数地图，混合位移校正后的第三图像Img3与该合成图像Img_b产生输出图像Img_F。基于上述可知，本发明并不限制用以混合出最后输出图像的图像数目，可视实际应用需求而定。

然而，本发明的实现方式不限于上述说明，可以对于实际的需求而酌予变更上述实施例的内容。例如，在本发明的再一实施例中，图像获取装置还可以更包括图像模糊模块，以制作出具有散景效果的主体清晰图像。另外，在本发明的又一实施例中，图像获取装置还可以更包括地图调整模块，以制作出具有良好全景深效果的全景深图像。为了进一步说明本发明的梯度计算模块、地图产生模块以及图像合成模块如何依据不同焦距的图像而合成出散景图像以及全景深图像，以下将分别列举实施例详细说明。

图4是依照本发明的又一实施例所绘示的图像获取装置的方块图。图像获取装置400包括图像获取模块410、图像校正模块420、梯度计算模块430、地图产收模块440、图像合成模块450以及图像模糊模块460。其中，图像获取模块410、图像校正模块420、梯度计算模块430、地图产收模块440以及图像合成模块450相似或类似于图1所示的图像获取模块110、图像校正模块120、梯度计算模块130、地图产收模块140以及图像合成模块150，于此不再赘述。图4所示实施例可以参照图1至图3的相关说明而类推之。

需特别说明的是，与图1所示的图像获取装置100不同的是，图像获取装置400更包括图像模糊模块460。其中，图像模糊模块460例如是采用高斯滤波器(Gaussian filter)、双向滤波器(Bilateral filter)或平均滤波器(Average filter)等，用以对第一图像Img1进行模糊化程序，本发明对此不限制。另外，在本实施例中，假设第二焦距为对焦于背景的焦距。

图5是依照本发明一实施例所绘示的图像处理方法流程图。本实施例的方法适用于图4的图像获取装置400，以下即搭配图像获取装置400中的各模块说明本实施例的详细步骤：

首先于步骤S510中，图像获取模块410以第一焦距获取第一图像Img1，并以第二焦距获取第二图像Img2，其中第一焦距对焦于至少一主体，第二焦距对焦于背景。对焦于主体所拍摄出来的第一图像Img1中，主体较为清晰，背景较为模糊。相较于第一图像Img1，对焦于背景所拍摄出来的第二图像Img2中，背景较为清晰。接着，如步骤S520所述，图像模糊模块460对第一图像Img1进行模糊化程序，以产生模糊图像Img1_blur。

于步骤S530中，图像校正模块420对第二图像Img2进行几何校正程序，产生位移校正后的第二图像Img2_cal。详言之，图像校正模块420可对第一图像Img1与第二图像Img2进行移动量估测，藉以计算出单应性矩阵(homography matrix)。接着，图像校正模块420依据此单应性矩阵对第二图像Img2进行几何仿射转换(affine transformation)，以获得转换后的位移校正后的第二图像Img2_cal。据此，第一图像Img1中主体区域的起始像素点位置会与位移校正后的第二图像Img2_cal主体区域的起始像素点位置相同。

然后，于步骤S540中，梯度计算模块430对第一图像Img1的每一像素点执行梯度运算以产生多个第一梯度值G1，以及对位移校正后的第二图像Img2_cal的每一像素点执行梯度运算以产生多个第二梯度值G2。其中，梯度运算可以是水平方向梯度值运算、垂直方向梯度值运算或二对角线方向梯度值运算，本发明对此不限制。也就是说，第一梯度值与第二梯度值对应于其梯度运算的方式可以是水平方向梯度值、垂直方向梯度值或二对角线方向梯度值。其中，水平方向梯度值为此像素点与二相邻水平方向像素点的灰阶差绝对值之和。垂直方向梯度值为此像素点与二相邻垂直方向像素点的灰阶差绝对值之和。对角线方向梯度值包括此像素点与对角线方向像素点的灰阶差绝对值之和。

需说明的是，在本实施例中，由于第一图像Img1是对焦于主体所拍摄的图像，所以相较于位移校正图像Img2_cal而言，第一图像Img1中的主体会较为清晰。也就是说，第一图像Img1的焦距内主体区域的像素点的梯度值会大于位移校正后的第二图像Img2_cal的相同位置的像素点的梯度值。反之，由于位移校正后的第二图像Img2_cal是对焦于背景所产生的图像，所以第一图像Img1的背景区域的像素点的梯度值会小于位移校正图像Img2_cal的相同位置的像素点的梯度值。

基此，于步骤S550中，地图产生模块440比较各第一梯度值G1与相对应的各第二梯度值G2以产生多个比较结果，并根据比较结果产生参数地图。需说明的是，在本实施例中，参数地图称之为散景地图bokeh_map。详细来说，地图产生模块440将比较第一图像Img1与位移校正后的第二图像Img2_cal中各个相同位置的像素点的梯度值。再者，基于上述第一图像Img1与位移校正后的第二图像Img2_cal中各像素点的梯度值的关系，可通过比较结果判别出第一图像Img1中各个像素点是位于主体区域或背景区域。地图产生模块440通过第一图像Img1与位移校正后的第二图像Img2_cal中各像素点的梯度值的比较结果，可产生出散景地图bokeh_map。换句话说，散景地图bokeh_map带有第一图像Img1与位移校正后的第二图像Img2_cal中各位置相同的像素点的梯度值的比较结果资讯。

最后，于步骤S560中，图像合成模块450根据散景地图bokeh_map混合第一图像Img1与模糊图像Img1_blur以产生主体清晰图像Img1_bokeh。由此可见，第二图像Img2是用以产生散景地图bokeh_map，图像合成模块450是根据散景地图bokeh_map混合第一图像Img1与模糊图像Img1_blur来产生具有散景效果的主体清晰图像Img1_bokeh。如此一来，就可产生保持被摄主体区域的清晰而模糊其他背景区域的散景图像。

另外，以下将更进一步详细说明地图产生模块440如何根据比较各第一梯度值G1与相对应的各第二梯度值G2的结果来产生散景地图bokeh_map。图6是根据本发明实施例所绘示图5中步骤S550的详细流程图。请同时参照图4与图6，在步骤S610中，地图产生模块440将第二梯度值G2除以相对应的第一梯度值G1，产生梯度比较值。在步骤S620中，地图产生模块440依据梯度比较值产生多个参数值，并将参数值记录为散景地图bokeh_map。举例来说，若第一图像Img1与位移校正图像Img2_cal分别具有1024*768个像素点，在经由图像处理模块140运算后将产生1024*768个梯度比较值，则散景地图bokeh_map将包含1024*768个参数值。在此，步骤S620可以分为步骤S621至步骤S625实施之。

地图产生模块440判断各个位置的梯度比较值是否大于第一梯度临界值（步骤S621）。若梯度比较值大于第一梯度临界值，地图产生模块440设定对应于此梯度比较值的参数值为第一数值（步骤S622），于此称第一数值为散景背景值。换言之，若梯度比较值大于第一梯度临界值，代表此位置的像素点位于背景的区域。若梯度比较值并没有大于第一梯度临界值，地图产生模块440判断梯度比较值是否大于第二梯度临界值（步骤S623）。若梯度比较值大于第二梯度临界值，地图产生模块440设定对应于此梯度比较值的参数值为第二数值（步骤S324），在此称第二数值为散景边缘值。简单来说，若梯度比较值介于第二梯度临界值与第一梯度临界值之间，代表此位置的像素点位于主体连接背景之间的边缘区域。若梯度比较值没有大于第二梯度临界值，地图产生模块440设定对应于此梯度比较值的参数值设定为第三数值（步骤S625），在此称第三数值为散景主体值，即此位置的像素点位于主体的区域。需注意的是，散景边缘值将介于散景背景值与散景主体值之间，且第一梯度临界值大于第二梯度临界值，而第一梯度临界值与是第二梯度临界值依据实际情况而适当设定，本发明对此不限制。

举例来说，假设地图产生模块440设定参数值介于0与255之间，则图像处理模块140可利用下列程式码(1）来产生散景地图bokeh_map：

Map=255

else

Map=0

(1)

其中，在此示范性实施例中，散景背景值为255，散景主体值为0，而散景边缘值可通过第一梯度临界、第二梯度临界值以及第二梯度值与第一梯度值之间的比例计算而得。Gra2为第二梯度值，Gra1为第一梯度值，TH1为第一梯度临界值，TH2为第二梯度临界值，Map为散景地图bokeh_map中的多个参数值。

此外，为了详细说明图像合成模块450如何利用散景地图bokeh_map来产生主体清晰图像Img1_bokeh，以下将详细说明之。图7是根据本发明范例实施例所绘示图5中步骤S560的详细流程图，请同时参照图4与图7。需说明的是，第一图像Img1中的各位置的像素点可分别对应至散景地图bokeh_map中的各个参数值。在步骤S710中，图像合成模块450判断各个参数值是否大于第一混合临界值。若参数值大于第一混合临界值，在步骤S720中，图像合成模块450取这些参数值所对应的模糊图像Img1_blur的像素点作为主体清晰图像Img1_bokeh中相同位置的像素点。即此些位置的像素点被判别为背景区域，因此取模糊图像Img1_blur的像素点来产生背景模糊的图像。

若参数值没有大于第一混合临界值，在步骤S730中，图像混合模块150判断参数值是否大于第二混合临界值。若参数值大于第二混合临界值，在步骤S740中，图像合成模块450依据参数值计算此参数值所对应的主体清晰图像Img1_bokeh的像素点。详言之，这些介于第一混合临界值与第二混合临界值之间的参数值所对应的像素点位置被判别是位于背景区域连接主体区域之间的边缘区域。因此可通过合成第一图像Img1与模糊图像Img1_blur，来取得主体清晰图像Img1_bokeh中背景区域连接主体区域之间的边缘区域的像素点。

若参数值没有大于第二混合临界值，在步骤S750中，图像合成模块450取参数值所对应的第一图像Img_1的像素点为主体清晰图像Img1_bokeh的像素点。也就是说，这些参数值所对应的位置被判别位于主体区域中，因此将取清晰的第一图像Img_1中主体区域的像素点作为主体清晰图像Img1_bokeh中的主体区域像素点。其中，第一混合临界值大于第二混合临界值。

举例来说，假设图像合成模块450设定参数值介于0与255之间，图像合成模块450可利用下列程式码(2)来产生主体清晰图像Img1_bokeh：

if(Map≥Blend_TH1)//Background area

Img1_Bokeh=Img1_Blur

else if(Map≥Blend_TH2)//Transition area

w_Bokeh=LUT[Map](LUT is table and value range is0～255)

else//Subject

Img1_Bokeh=Img1

(2)

其中，在此示范性实施例中，Blend_TH1为第一混合临界值，Blend_TH2为第二混合临界值，Map为散景地图bokeh_map中的多个参数值，LUT[]为查表函式。值得一提的是，边缘区域的像素点可通过权重的概念来计算取得。如上述示范性程式码中的公式所示，将参数值作为合成权重w_bokeh，并通过合成权重w_bokeh来合成出边缘区域的像素点。也就是说，对于边缘区域的像素点而言，将视其位置较靠近主体区域或模糊区域来决定其模糊的程度，如此一来就可以产生主体区域与背景区域连接自然的主体清晰图像Img1_bokeh，使散景图像中主体与背景之间的边缘能较为柔和且自然。

在上述实施例中，以第二焦距值对焦于背景为例，因此可据以产生背景模糊而主体清晰的背景模糊图像。经由图3的说明可知，本发明的图像处理方法可以通过多张图像来获得最后的输出图像。基此，在其他实施例中，倘若图像获取装置以对焦于前景的第三焦距获取另一图像。图像获取装置可以利用先前产生的背景模糊图像与对焦于前景的另一图像，经由与上述产生背景模糊图像相同的处理过程，进一步计算而产生前景与背景皆模糊而主体清晰的图像。

图8是依照本发明的再一实施例所绘示的图像获取装置的方块图。请参照图8，在本实施例中，图像获取装置800用以产生全景深的图像。图像获取装置800包括图像获取模块810、图像校正模块820、梯度计算模块830、地图产生模块840、图像合成模块850以及地图调整模块860。其中，图像获取模块810、图像校正模块820、梯度计算模块830、地图产生模块840以及图像合成模块850相似或类似于图4所示的图像获取模块410、图像校正模块420、梯度计算模块430、地图产生模块440以及图像合成模块450，于此不再赘述。

需特别说明的是，与图4所示的图像获取装置400不同的是，本实施例之与图像获取装置800不具有图像模糊模块但更包括地图调整模块860。其中，地图调整模块860用以调整地图产生模块840所产生的参数地图。在本实施例中，图像获取模块810利用第一焦距获取第一图像Img1，并以第二焦距获取第二图像Img2，其中第一焦距对焦于至少一主体，第二焦距对焦于主体以外的区域。

接着，图像校正模块830对第二图像Img2进行几何校正程序，产生位移校正后的第二图像Img2_cal。然后梯度计算模块840对第一图像Img1的每一像素点执行梯度运算以产生多个第一梯度值G1，以及对位移校正后的第二图像Img2_cal的每一像素点执行梯度运算以产生多个第二梯度值G2。接着，地图产生模块840比较各第一梯度值G1与相对应的各第二梯度值G2以产生多个比较结果，并根据比较结果产生参数地图map。关于图像校正模块830产生位移校正后的第二图像Img2_cal的步骤、梯度计算模块830执行梯度运算的步骤，以及地图产生模块840产生参数地图map的步骤与图4所示的图像获取模块400类似，可参照图4与图5的说明而类推之。

一般来说，同一位置像素点于两张图像上的梯度值会相异，也就是本实施例当中的第一梯度值G1与第二梯度值G2。另一方面，对同一位置的像素点而言，倘若该位置的像素点于第一图像中的梯度值较高(即G1大于G2)，通常代表该位置的像素点坐落于第一图像中较为清晰的区域(即第一焦距内的区域)。倘若该位置的像素点于第二图像中的梯度值较高(即G2大于G1)，通常代表该位置的像素点坐落于第二图像中较为清晰的区域(即第二焦距内的区域)。也就是说，地图产生模块840也可以通过程式码(1)而取得参数地图map，但本发明并不限制于此。

因此，在本实施例中，地图产生模块440通过第一图像Img1与位移校正后的第二图像Img2_cal中各像素点的梯度值的比较结果，可产生出参数地图map。换句话说，参数地图map带有第一图像Img1与位移校正后的第二图像Img2_cal中各位置相同的像素点的梯度值的比较结果资讯。如此一来，图像获取装置800可以依据参数地图map得知，某一位置上的像素点是位于第一图像Img1中第一焦距内的清晰部份或是位于第二图像Img2中第二焦距内的清晰部份。据此，图像合成模块850可据以从两张图像中挑选出较为清晰的部份，以合成出清晰部份更多的输出图像。

值得一提的是，在使用者对同一场景进行连续拍摄并获取第一图像与第二图像的过程当中，由于拍摄上的时间差场景中，因此可能导致有个别物体在移动。图像校正模块820是将图像做整***移(或是相机位移)的校正，并不会对场景中的个别物体做校正，因此图像中若有个别移动的物体，会导致混合后的全景深图像出现鬼影现象。本实施例的地图调整模块860即用以改善上述的鬼影现象。

于此，地图调整模块860依据第一图像Img1与第二图像Img2中各像素点的像素值计算出各像素点所对应的多个绝对差值和(Sum of Absolute Differences)，并依据这些绝对差值和调整参数地图map中的多个参数值。地图调整模块860根据调整后的参考地图map，混合第一图像Img1与位移校正后的第二图像Img2_cal以产生全景深图像。

详细来说，首先在第一图像Img1中取得n×n像素区块(n为正整数)。假设n为5，本实施例所取得的5×5像素区块则如图9A所示，其包括25个像素位置P₀₀～P₄₄。类似地，在位移校正后的第二图像Img2_cal中取得以像素位置为中心的n×n像素区块。接着，计算第一图像Img1与位移校正后的第二图像Img2_cal个别的n×n像素区块中每一像素的特定色彩空间分量的绝对差值和并找出其最大值作为代表。绝对差值合能反映Img1与位移校正后的第二图像Img2_cal在n×n像素区块这个局部区域内的特性是否接近。在YCbCr色彩空间下，特定色彩空间分量包括亮度分量、蓝色色度分量，以及红色色度分量，然而本发明并不对色彩空间加以限定。基于YCbCr色彩空间下，本实施例例如是假设n=5并以下列公式来计算第一图像Img1与位移校正后的第二图像Img2_cal的像素位置之间的绝对差值和SAD：

SAD=max(max(SAD_Y,SAD_Cb),SAD_Cr)

其中，i与j代表像素点的位置。如图9A所示的范例，每一像素区块包括25个像素位置P₀₀～P₄₄。而Y1_ij即为第一图像中像素点P_ij的亮度分量，Y2_ij即为第二图像中像素点P_ij的亮度分量。Cb1_ij即为第一图像中像素点P_ij的蓝色色度分量，Cb2_ij即为第二图像中像素点P_ij的蓝色色度分量。Cr1_ij即为第一图像中像素点P_ij的红色色度分量，Cr2_ij即为第二图像中像素点P_ij的红色色度分量。SAD_Y、SAD_Cb以及SAD_Cr则分别为各特定色彩空间分量上的绝对差值和。

基此，本发明的地图调整模块860例如是利用上述计算公式而取得绝对差值和SAD。之后，地图调整模块860将判断绝对差值和SAD是否大于移动临界值TH_SAD。若绝对差值和SAD没有大于移动临界值TH_SAD，代表此像素区块没有被摄物体移动的情况发生，并不需要调整此像素区块对应于参数地图中的参数值。倘若绝对差值和SAD大于移动临界值TH_SAD，代表此像素区块具有被摄物体移动现象，因此地图调整模块860将依照绝对差值和SAD的大小来调整此像素区块对应于参数地图中的参数值。举例来说，地图调整模块860可利用下列程式码(3)来产生调整后的参数地图allin_map：

if(SAD>TH_SAD)

Fac=LUT[SAD];

allin_map=map×Fac

else

allin_map=map

（3）

其中，Fac代表地图调整模块8620用以调整参数地图map的权重因子。由此可知，当绝对差值和SAD大于移动临界值TH_SAD，地图调整模块860依据绝对差值和SAD决定各参数值的权重因子Fac，并利用权重因子Fac调整参数地图map中的参数值。其中，权重因子Fac随着绝对差值和SAD的增加而下降。

图9B绘示为依照本发明再一实施例的绝对差值和与权重因子的关系示意图。如图9B所示，当绝对差值和SAD大于移动临界值TH_SAD，地图调整模块860依据绝对差值和SAD决定各参数值的权重因子，并利用权重因子调整参数值。权重因子随着绝对差值和SAD的增加而下降，也就是说，各参数值随着对应的绝对差值和SAD的上升而下降。

之后，图像合成模块850可以依据调整后的参数地图allin_map，混合第一图像Img1以及经过位移校正的第二图像Img2_cal，以产生不具有鬼影现象的全景深图像Img_AIF。其中，图像合成模块860依据调整后的参数地图allin_map来产生全景深图像的步骤，与图像合成模块460依据散景地图bokeh_map来产生散景图像的步骤相似，请参照图7的相关说明类推之，不再赘述。举例来说，图像合成模块860也可通过程式码(4)而取得最终的全景深图像Img_AIF。

if(Map≥Blend_TH1)//In-of-focus area of image2

Img1_AIF=Img2

else if(Map≥Blend_TH2)//Transition area

w_AIF=LUT[Map](LUT is table and value range is0～255)

else//In-of-focus area of image1

Img1_AIF=Img1

（4）

其中，在此示范性程式码(4)中，假设参数值介于0与255之间，Blend_TH1为第一混合临界值，Blend_TH2为第二混合临界值，Map为调整后参数地图allin_map中的多个参数值，LUT[]为查表函式。值得一提的是，边缘区域的像素点可通过权重的概念来计算取得。如上述示范性程式码中的公式所示，将参数值作为合成权重w_AIF，并通过合成权重w_AIF来合成出边缘区域的像素点。

同样的，经由图3的说明可知，本发明的图像处理方法可以通过多张图像来获得最后的输出图像。基此，在本实施例中，图像获取装置800可以利用多种不同的焦距而获取多张图像，并利用多张焦距不同的图像来合成清晰的全景深图像。就实际的应用情况而言，可先针对场景进行分析，以进一步判断出需要多少张不同焦距的图像来合成出整张图像都清晰的全景深图像。

综上所述，本发明所提供的图像获取装置及其图像处理方法，通过利用至少两张焦距不同的图像来计算出用合成的参数地图，并依据参数地图来合成出主体清晰图像或全景深图像。其中，本发明所提供的图像处理方法可让一个以上的主体目标能够清晰且背景模糊，以凸显图像中一个以上的主体目标。除此之外，通过本发明可使图像中被摄主体与背景之间的连接边缘柔和且自然，达到散景效果良好又自然的图像。另一方面，本发明还可通过利用获取自不同对焦距离的多张图像，来建立图像中每个地方都清楚对焦的全景深图像。另外，而在建立全景深图像时，亦能将图像中的杂讯一并消除，确保所建立的全景深图像不会丧失图像中的细节。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种图像处理方法，适用于图像获取装置，其特征在于，该图像处理方法包括：

以第一焦距获取第一图像，并以第二焦距获取第二图像，其中该第一焦距对焦于至少一主体；

对该第二图像进行几何校正程序，产生位移校正后的该第二图像；

对该第一图像的每一像素点执行梯度运算以产生多个第一梯度值，以及对位移校正后的该第二图像的每一像素点执行该梯度运算以产生多个第二梯度值；

比较各该第一梯度值与相对应的各该第二梯度值以产生多个第一像素比较结果，并根据该些第一像素比较结果产生第一参数地图，包括：

将该些第二梯度值除以相对应的该些第一梯度值，产生多个梯度比较值，其中所述每一像素点对应的一个所述梯度比较值；及

基于该些梯度比较值所位于的数值范围产生多个参数值，并将该些参数值记录为该第一参数地图；以及

依据该第一参数地图与该第一图像产生合成图像，并至少根据该合成图像产生输出图像。

2.根据权利要求1所述的图像处理方法，其特征在于，至少根据该合成图像产生该输出图像的步骤包括：

以第三焦距获取第三图像；

对该第三图像进行该几何校正程序，产生位移校正后的该第三图像；

对该合成图像的每一像素点执行该梯度运算以产生多个第三梯度值，以及对位移校正后的该第三图像的每一像素点执行该梯度运算以产生多个第四梯度值；

比较各该第三梯度值与相对应的各该第四梯度值以产生多个第二像素比较结果，并根据该些第二像素比较结果产生第二参数地图；以及

依据该第二参数地图，混合位移校正后的该第三图像与该合成图像产生该输出图像。

3.根据权利要求1所述的图像处理方法，其特征在于，对该第二图像进行该几何校正程序，产生位移校正后的该第二图像的步骤包括：

对该第一图像与该第二图像进行移动量估测，藉以计算单应性矩阵；以及

依据该单应性矩阵对该第二图像进行几何仿射转换，以获得位移校正后的该第二图像。

4.根据权利要求1所述的图像处理方法，其特征在于，基于该些梯度比较值所位于的数值范围来设定该第一参数地图中所述每一像素点对应至多个参数值其中一个的步骤包括：

判断该些梯度比较值是否大于第一梯度临界值；以及

若该些梯度比较值大于该第一梯度临界值，设定该些梯度比较值所对应的该些参数值为第一数值。

5.根据权利要求4所述的图像处理方法，其特征在于，基于该些梯度比较值所位于的数值范围来设定该第一参数地图中所述每一像素点对应至多个参数值其中一个的步骤包括：

若该些梯度比较值并无大于该第一梯度临界值，判断该些梯度比较值是否大于第二梯度临界值；

若该些梯度比较值大于该第二梯度临界值，设定该些梯度比较值所对应的该些参数值为第二数值；以及

若该些梯度比较值并无大于该第二梯度临界值，设定该些梯度比较值所对应的该些参数值设定为第三数值，

其中，该第一梯度临界值大于该第二梯度临界值。

6.根据权利要求1所述的图像处理方法，其特征在于，至少依据该第一参数地图与该第一图像产生该合成图像的步骤包括：

对该第一图像进行模糊化程序，产生模糊图像；以及

根据该第一参考地图混合该第一图像与该模糊图像以产生主体清晰图像。

7.根据权利要求6所述的图像处理方法，其特征在于，根据该第一参考地图混合该第一图像与该模糊图像以产生该主体清晰图像的步骤包括：

判断该些参数值是否大于第一混合临界值；

若该些参数值大于该第一混合临界值，取该些参数值所对应的该模糊图像的像素点作为该主体清晰图像的像素点；

若该些参数值并无大于该第一混合临界值，判断该些参数值是否大于第二混合临界值；

若该些参数值大于该第二混合临界值，依据该些参数值计算出对应的该主体清晰图像的像素点；以及

若该些参数值并无大于该第二混合临界值，取该些参数值所对应的该第一图像的像素点作为该主体清晰图像的像素点，其中，该第一混合临界值大于该第二混合临界值。

8.根据权利要求1所述的图像处理方法，其特征在于，至少依据该第一参数地图与该第一图像产生该合成图像的步骤包括：

依据该第一图像与该第二图像中各像素点的像素值计算出各像素点所对应的多个绝对差值和，并依据该些绝对差值和调整该第一参数地图中的该些参数值；以及

根据调整后的该第一参考地图，混合该第一图像与位移校正后的该第二图像以产生全景深图像。

9.根据权利要求8所述的图像处理方法，其特征在于，依据该第一图像与该第二图像中各像素点的像素值计算出各像素点所对应的该些绝对差值和，并依据该些绝对差值和调整该第一参数地图中的该些参数值的步骤包括：

当该些绝对差值和大于移动临界值，依据该些绝对差值和决定各该参数值的权重因子，并利用该权重因子调整该些参数值，其中各该参数值随着对应的该绝对差值和的上升而下降。

10.根据权利要求9所述的图像处理方法，其特征在于，根据经由该些权重因子调整后的该第一参考地图，混合该第一图像与位移校正后的该第二图像以产生该全景深图像的步骤包括：

判断该些参数值是否大于第一混合临界值；

若该些参数值大于该第一混合临界值，取该些参数值所对应的位移校正后的该第二图像的像素点作为该全景深图像的像素点；

若该些参数值大于该第二混合临界值，依据该些参数值计算出对应的该全景深图像的像素点；以及

若该些参数值并无大于该第二混合临界值，取该些参数值所对应的该第一图像的像素点作为该全景深图像的像素点，其中，该第一混合临界值大于该第二混合临界值。

11.一种图像获取装置，其特征在于，包括：

图像获取模块，以第一焦距获取第一图像，并以第二焦距获取第二图像，其中该第一焦距对焦于至少一主体；

图像校正模块，对该第二图像进行几何校正程序，产生位移校正后的该第二图像；

梯度计算模块，对该第一图像的每一像素点执行一梯度运算以产生多个第一梯度值，以及对位移校正后的该第二图像的每一像素点执行该梯度运算以产生多个第二梯度值；

地图产生模块，比较各该第一梯度值与相对应的各该第二梯度值以产生多个第一像素比较结果，并根据该些第一像素比较结果产生第一参数地图，其中该地图产生模块将该些第二梯度值除以相对应的该些第一梯度值，产生多个梯度比较值，其中所述每一像素点对应的一个所述梯度比较值，以及基于该些梯度比较值所位于的数值范围产生多个参数值，并将该些参数值记录为该第一参数地图；以及

图像合成模块，依据该第一参数地图与该第一图像产生合成图像，并至少根据该合成图像产生输出图像。

12.根据权利要求11所述的图像获取装置，其特征在于，该图像获取模块以第三焦距获取第三图像，该图像校正模块对该第三图像进行该几何校正程序而产生位移校正后的该第三图像，该梯度计算模块对该合成图像的每一像素点执行该梯度运算以产生多个第三梯度值，该梯度计算模块对位移校正后的该第三图像的每一像素点执行该梯度运算以产生多个第四梯度值，该地图产生模块比较各该第三梯度值与相对应的各该第四梯度值以产生多个第二像素比较结果，该地图产生模块并根据该些第二像素比较结果产生第二参数地图，该图像合成模块依据该第二参数地图混合位移校正后的该第三图像与该合成图像而产生该输出图像。

13.根据权利要求11所述的图像获取装置，其特征在于，还包括图像模糊模块，该图像模糊模块对该第一图像进行一模糊化程序而产生模糊图像，该图像合成模块根据该第一参考地图混合该第一图像与该模糊图像以产生主体清晰图像。

14.根据权利要求11所述的图像获取装置，其特征在于，还包括地图调整模块，该地图调整模块依据该第一图像与该第二图像中各像素点的像素值计算出各像素点所对应的多个绝对差值和，该地图调整模块并依据该些绝对差值和调整该第一参数地图中的该些参数值，该图像合成模块根据调整后的该第一参考地图混合该第一图像与位移校正后的该第二图像以产生全景深图像。