CN102760296B - 多画面中物体的移动分析方法 - Google Patents

Abstract

本发明公开了一种多画面中物体的移动分析方法，适用于一图像获取装置，包括下列步骤。首先，根据图像获取装置在多个光源设定下的噪点，获得多组第一绝对差值和。接着，在这些光源设定中的一拍摄光源设定下，获取两画面。然后，计算两画面间的多个第二绝对差值和。之后，找出物体纹理经过的多个物体区块。之后，根据这些第二绝对差值和，计算各物体区块的一区域移动向量。接着，根据这些第二绝对差值和与拍摄光源设定所对应的这组第一绝对差值和，计算各物体区块的一第一可靠度。然后，根据这些第一可靠度评估这些区域移动向量，以获得一全域移动向量。本发明可评估出较为精准的全域移动向量。

Description

多画面中物体的移动分析方法

技术领域

本发明涉及一种图像处理方法，尤其涉及一种多画面中物体的移动分析方法。

背景技术

图像噪点生成原因很多，例如经由信号放大器作用，废热，镜头与感光元件(sensor)交互作用，信号传递过程干扰等原因都会造成噪点，各个感光元件与不同镜头配合更会有不同程度的影响。在现今图像处理应用中，多画面(multi-frame)合成与分析的技术被广泛讨论与使用，但是遇到很大的难题是如何正确分析出不同画面间的运动关系。以三维降噪(3D noise reduction)为例，一旦使用错误的不同画面间移动分析结果，合成后的图像将容易发现有残像(鬼影)的情形。分析画面之间物体移动的方式很多，但是考虑进高画面更新率(high frame rate)下的分析速度必须够快，硬件成本不希望过高等因素后，较简单有效率的分析法即为绝对差值和(Sum of Absolute Difference，SAD)的方式。

然而，在高噪点环境下，只靠绝对差值和运算进行分析的话极易分析错误。再者，将算出的绝对差值和最小的区块视为最佳近似区块所在处的逻辑也有很大问题。因为，在高噪点环境下，实际上绝对差值和的数值都不小。例如，若是搜寻区域(search region)内最大绝对差值和与最小绝对差值和在数值上几乎没有差异时，硬是把数值最小的位置认定是对应到的坐标点风险极大，很容易造成错误。此外，以似然函数(like lihood function)为基础来做物体移动分析的确可以减少噪点的影响性。但是，这类方法所需要的运算资源太高，在高画面更新率下以互补金属氧化物半导体感光元件(ComplementaryMetal-Oxide-Semiconductor sensor，CMOS sensor)为基础的相关产品更是需要很高的运算速度与效能。像这种复杂又耗时的演算法并不易在真正的图像产品中实践。

发明内容

本发明提供一种多画面中物体的移动分析方法，能够避免噪点对物体移动分析的影响。

本发明提出一种多画面中物体的移动分析方法，适用于一图像获取装置，包括下列步骤。首先，根据图像获取装置在多个光源设定下的噪点，获得多组第一绝对差值和。各光源设定分别对应一组第一绝对差值和。接着，在这些光源设定中的一拍摄光源设定下，藉由图像获取装置获取一第一画面与一第二画面。然后，计算第一画面与第二画面之间的多个第二绝对差值和。之后，找出第一画面与第二画面中物体的纹理经过的多个物体区块。之后，根据这些第二绝对差值和，计算这些物体区块分别的一区域移动向量。接着，根据这些第二绝对差值和与拍摄光源设定所对应的这组第一绝对差值和，计算这些物体区块分别的一第一可靠度。然后，根据这些第一可靠度评估这些区域移动向量，以获得一全域移动向量。

在本发明的一实施例中，根据图像获取装置在这些光源设定下的噪点，获得这些组第一绝对差值和的步骤，包括下列步骤。首先，分别在这些光源设定下，藉由图像获取装置对一灯箱获取多张图像。接着，记录这些张图像在不同位置的第一绝对差值和。

在本发明的一实施例中，记录这些张图像在不同位置的第一绝对差值和的步骤，包括下列步骤。记录这些张图像中的各个区块的四个角落像素的第一绝对差值，以藉由四个角落像素的第一绝对差值和内插出各个区块内像数的第一绝对差值和。

在本发明的一实施例中，记录这些张图像在不同位置的第一绝对差值和的步骤，包括下列步骤。记录这些张图像的各个区块中像素所共用的第一绝对差值和。

在本发明的一实施例中，这些光源条件包括灯箱的亮度、色彩以及图像获取装置的感光度、周围减光中的至少其中之一。

在本发明的一实施例中，找出这些物体区块的步骤，包括下列步骤。首先，计算第一画面与第二画面间各个区块的最大绝对差值和与最小绝对差值和。然后，根据各区块中最大绝对差值和与最小差值和的差异，判断各区块为这些物体区块其中之一或是一背景区块。

在本发明的一实施例中，根据这些第一可靠度评估这些区域移动向量，以获得全域移动向量的步骤，包括下列步骤。首先，根据各区块中最大绝对差值和与最小差值和的差异，计算这些物体区块分别的一第二可靠度。接着，根据这些第一可靠度与这些第二可靠度评估这些区域移动向量，以获得全域移动向量。

在本发明的一实施例中，根据这些第一可靠度与这些第二可靠度评估这些区域移动向量，以获得全域移动向量的步骤，包括下列步骤。首先，根据这些第一可靠度与这些第二可靠度，计算多个平均可靠度。接着，根据这些平均可靠度加权这些区域移动向量，以获得全域移动向量。

在本发明的一实施例中，根据这些第二绝对差值和与拍摄光源设定所对应的这组第一绝对差值和计算这些第一可靠度的步骤，包括下列步骤。首先，计算这组第一绝对差值和的一标准差容忍范围。接着，计算这些第二绝对差值和与这组第一绝对差值和的一比值。再来，比对比值与标准差容忍范围，以获得这些第一可靠度。

基于上述，本发明藉由预先取得受到噪点影响产生的第一绝对差值和，再配合两画面间不同位置所计算出的第二绝对差值和来评估区域移动向量，而可评估出较为精准的全域移动向量。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1为本发明第一实施例的多画面中物体的移动分析方法的流程图。

图2为图像获取装置所获取的画面的示意图。

图3为图1的第一可靠度相对第二、第一绝对差值和比值的曲线示意图。

图4为本发明第一实施例的多画面中物体的移动分析方法的流程图。

图5A与图5B分别为用以说明记录第一绝对差值和两种方式的画面示意图。

图6为用以说明最大绝对差值和与最小绝对差值和的画面示意图。

图7为用以说明第二可靠度与最大、最小绝对值差和关系的曲线示意图。

附图标记：

B、B1：区块

d：标准差容忍范围

E、L：像素

F：画面

F1 F2 F3：图像

M：存储器

O1-O7：物体区块

P1：位置

S110-S170、S210-S274：步骤

SADmax：最大绝对差值和

SADmin：最小绝对差值和

具体实施方式

图1为本发明第一实施例的多画面中物体的移动分析方法的流程图。在本实施例中，图1的流程适用于数码相机、数码摄影机等图像获取装置(未显示)。请参考图1，首先进行步骤S110，根据图像获取装置在多个光源设定下的噪点，获得多组第一绝对差值和。各光源设定分别对应一组第一绝对差值和。举例来说，可预先藉由图像获取装置拍摄不同亮度的灯箱。在对灯箱图像的不同位置进行计算后，即可获得单纯噪点在不同亮度下所造成的第一绝对差值和。

详细而言，可对灯箱从低亮度(LV2)一路拍到高亮度(LV14)，并对应各种亮度计算出灯箱图像的第一绝对差值和。为了节省存储器，可只记录部分级数亮度下的第一绝对差值和。例如只记录LV2、LV5、LV10下的第一决对差值和，而LV3、LV4等的第一绝对差值和可用内插法计算出来。除了亮度外，也可记录图像获取装置在不同感光度下的情形，例如感光度100一路拍到感光度3200。在另一实施例中，还可以藉由图像获取装置对比色图表(color chart)拍摄，以事先量测不同色块对色彩噪点(color noise)的影响。

此外，在又一实施例中，也可考虑进镜头周围色彩减光(lens colorshading)的影响。理论上图像周围色彩的噪点会比较严重，我们以一个情形作例子。在感光度800、灯箱亮度LV10下，对灯箱拍摄下不同的位置都计算第一绝对差值和，并且记录下来。由于角落减光处的噪点通常较为严重，因此第一绝对差值和的数值应该更大。随着感光度越高，第一绝对差值和也应该更大。为了方便储存，可以将灯箱图像分成多个区块，并记录在区块正中心算出来的第一绝对差值和。由于噪点影响会让第一绝对差值和有误差范围，所以还可通过多次实验下记录下来的结果算出其平均值与标准差，以获得校准(calibration)的数据。举例来说，相较于感光度800，感光度3200下的第一绝对差值和的标准差会更高。

值得一提的是，按照上述作法可以先求得图像获取装置的感光元件的噪点特性并且事先记录下来。此外，即使对同一区块进行第一绝对差值和的计算，每一次算到的数值也会有偏差，因此在记录这个差异性的信息的同时，第一绝对差值和变化的差异性也会记录下来。此外，又因为分析的图像是由单调场景(对色灯箱)拍摄而得的。因此，可独立分析随机噪点(random noise)的影响性。

接着进行步骤S120，在这些光源设定中的一拍摄光源设定下，藉由图像获取装置获取一第一画面与一第二画面。然后进行步骤S130，计算第一画面与第二画面之间的多个第二绝对差值和。图2为图像获取装置所获取的画面的示意图。请参考图2，在获取了连续的两张画面F之后，可将画面F分成多个区块B。然后，对这些区块B分别计算出第二绝对差值和。

之后进行步骤S140，找出第一画面与第二画面中物体的纹理经过的多个物体区块。以图2为例，从画面F中的所有区块B中可找出7个物体区块O1-O7。再来进行步骤S150，根据这些第二绝对差值和，计算这些物体区块O1-O7分别的一区域移动向量。在本实施例中，由于画面F中物体区块O1-O7以外的区块B属于平坦区，而这些平坦区易受到噪点干扰。因此，本实施例可忽略平坦区，以避免平坦区干扰。亦或者，将物体区块O1-O7的权重提高，亦可降低平坦区的干扰。

接着进行步骤S160，根据这些第二绝对差值和与拍摄光源设定所对应的这组第一绝对差值和，计算这些物体区块O1-O7分别的一第一可靠度。举例来说，可根据使用者的拍摄设定参数以及亮度分析结果(例如由相机自动曝光(AE)演算法得到)及色相分析结果(例如由自动白平衡(AWB)演算法求得)取出拍摄光源设定。假设使用者正在拍摄的场景亮度分析结果为LV10，感光度设定为800，拍摄区块的色相为中性色，则进入***存储器把这些设定下事先校准的第一绝对差值和取出。取出对应的第一绝对差值和之后，再计算第二绝对差值和与第一绝对差值和的比值，以获得第一可靠度。

图3为图1的第一可靠度相对第二、第一绝对差值和比值的曲线示意图。请参考图3，第二、第一绝对差值和的比值很接近1时，代表第二绝对差值和的运算结果和事先校准的第一绝对差值和很近似。也就是，比值接近1的这个区块只有受到随机噪点的影响而已。此外，由于噪点有一定的变异性(variance)，因此可定义一个标准差容忍范围d。位于1-d-1+d的区间内的比值，都是较有可能是纯随机噪点的影响结果。进一步来说，由于随机分布理论中绝大部分的采样还是会比较接近在比值为1的附近，在这里的可靠度还是最高的。因此，标准差容忍范围d可依靠步骤S110记录下来的第一绝对差值和的差异性来设定。在低感光度下，d值较小；在高感光度下，d值较大。此外，在实际应用上，图3的曲线可先经平滑化的处理，并不以此为限。

然后进行步骤S170，根据这些第一可靠度评估这些区域移动向量，以获得一全域移动向量。举例来说，第一可靠度高的区域移动向量的权重必须提高，而第一可靠度过低的区域移动向量则忽略不计，因此可以得到一个较为精准的全域移动向量结果。

在本实施例中，我们提出增加绝对差值和分析物体移动的可靠性的方法，而使其能随不同拍摄情形下调整分析可靠度。以三维降噪的应用为例来说，当分析可靠度高，帧间滤波(temporal filtering)的权重(weighting)才调高，否则调低帧间滤波的权重，使结果近似为纯空间滤波(spatial filtering)。一方面不但能够避免因错误移动分析而导致鬼影的发生，同时提高了处理后的图像品质。

图4为本发明第一实施例的多画面中物体的移动分析方法的流程图。请参考图1与图4，本实施例与前一实施例相类似，其相似处将不再赘述，而其差异处亦可互相援用，并不以此为限。首先进行步骤S210，根据图像获取装置在多个光源设定下的噪点，获得多组第一绝对差值和。在本实施例中，步骤S210可包括S212与S214等两个子步骤。首先进行步骤S212，分别在这些光源设定下，藉由图像获取装置对一灯箱获取多张图像。在本实施例中，这些光源条件可包括灯箱的亮度、色彩以及图像获取装置的感光度、周围减光中的至少其中之一。

之后进行步骤S214，计算并记录这些张图像在不同位置的第一绝对差值和。图5A与图5B分别为用以说明记录第一绝对差值和两种方式的画面示意图。请参考图5A与图5B，为了简省***存储器，第一绝对差值和的记录可用以下两种方式简化：

请先参考图5A，假设存储器M的数据只放64x64笔第一绝对差值和的数字，但真实图像F1尺寸是4096x4096。此时，真实图像F1内的对应区块B1的大小为长：(4096/64)＝64；高：(4096/64)＝64。也就是说，区块B1中的64x64个像素就共用这个在存储器M内相对应位置P1的第一绝对差值和。

请再参考图5B，我们也可以用双线性内插法(bilinearinterpolation)来得到每个第一绝对差值和的数值。举例来说，对于整张图像F2，可事先记录各个区块的四个角落像素E的第一绝对差值和。当要计算区块内每个像素L对应的第一绝对差值和时，可以用双线性内插演算法来达成。例如说图像大小是4096x4096，可取出65x65个端点的角落像素E，则每个区块大小是64x64。如此一来，即可藉由四个角落像素E的第一绝对差值和内插出各个区块内像数L的第一绝对差值和。

接着进行步骤S220，在这些光源设定中的一拍摄光源设定下，藉由图像获取装置获取一第一画面与一第二画面。然后进行步骤S230，计算第一画面与第二画面之间的多个第二绝对差值和。

之后进行步骤S240，找出第一画面与第二画面中物体的纹理经过的多个物体区块。在本实施例中，步骤S240可包括子步骤S242与步骤S244。首先进行步骤S242，计算第一画面与第二画面间各个区块的最大绝对差值和与最小绝对差值和。详细而言，图6为为用以说明最大绝对差值和与最小绝对差值和的画面示意图。请参考图6，假设图像F3中有N个区块，则每个区块可计算出对应的一最大绝对差值和SADmax与一最小绝对差值和SADmin。

然后进行步骤S244，根据各区块中最大绝对差值和与最小差值和的差异，判断各区块为这些物体区块其中之一或是一背景区块。一般来说，[SADmax-SADmin]越大表示此区域有物体轮廓或边缘经过，[SADmax-SADmin]越小表示此区域变化过小有可能是平坦区或是没有任何移动变化的区域。因此，本实施例可预先设定一门槛值。当一区块的[SADmax-SADmin]大于门槛值时，则判断此区块为物体区块；当一区块的[SADmax-SADmin]小于门槛值时，则判断此区块为背景区块。

再来进行步骤S250，根据这些第二绝对差值和，计算这些物体区块分别的一区域移动向量。接着进行步骤S260，根据这些第二绝对差值和与拍摄光源设定所对应的这组第一绝对差值和，计算这些物体区块分别的一第一可靠度。在本实施例中，步骤S260可包括子步骤S262-S266。首先进行步骤S262，计算这组第一绝对差值和的一标准差容忍范围。接着进行步骤S264，计算这组第二绝对差值和与这些第一绝对差值和的一比值。再来进行步骤S266，比对比值与标准差容忍范围，以获得这些第一可靠度。

然后进行步骤S270，根据这些第一可靠度评估这些区域移动向量，以获得一全域移动向量。在本实施例中，步骤S270可包括子步骤S272与S274。首先进行步骤S272，根据图像F3各区块中最大绝对差值和SADmax与最小差值和SADmin的差异，计算这些物体区块分别的一第二可靠度。图7为用以说明第二可靠度与最大、最小绝对值差和关系的曲线示意图。请参考图7，由于[SADmax-SADmin]越大表示此区块有物体轮廓或边缘经过，那么用此区块分析移动将会有较为可靠的信息。因此，可将此区块的第二可靠度提高；反之[SADmax-SADmin]越小表示此区块变化过小有可能是平坦区或没有任何移动变化的区域。因此，若用此区块分析移动的话，将无法得到可靠的信息，所以将此区的第二可靠度降低。也就是说，[SADmax-SADmin]大于门槛值(图7中的转折点)的第二可靠度提高，而[SADmax-SADmin]小于门槛值的第二可靠度降低。此外，在实际应用上，图7的曲线可先经平滑化的处理，并不以此为限。

接着进行步骤S274，根据这些第一可靠度与这些第二可靠度评估这些区域移动向量，以获得全域移动向量。详细而言，可先根据这些第一可靠度与这些第二可靠度，计算多个平均可靠度。然后根据这些平均可靠度加权这些区域移动向量，以获得全域移动向量。值得一提的是，平均可靠度高的区域移动向量的权重必须提高，而平均可靠度过低的区域移动向量则忽略不计。因此，可以得到一个较为精准的全域移动向量的结果。

综上所述，本发明藉由预先取得受到噪点影响产生的第一绝对差值和，再配合两画面间不同位置所计算出的第二绝对差值和来评估区域移动向量，而可评估出较为精准的全域移动向量。此外，由于绝对差值和对于硬件的成本与需求较低。因此，本发明可有效地节省硬件所需成本。另外，本发明具有高度的弹性，可因存储器的大小、计算量、运算时间改变演算法中区块性(block-wise)或像素性(pixel-wise)的分析方法。再者，在多画面的混色(blending)之下还可避免残像(鬼影)的发生。因此，可避免一般使用者所难以接受的缺陷。另外，因为移动分析使得混色的准确度提高，将可以在平坦区得到最佳的降噪品质，而在边缘处也可保留最正确的细节与物体轮廓。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中的普通技术人员，当可作些许更动与润饰，而不脱离本发明的精神和范围。

Claims (8)

1.一种多画面中物体的移动分析方法，适用于一图像获取装置，包括：

根据该图像获取装置在多个光源设定下的噪点，通过获取多张图像来获得多组第一绝对差值和，其中各光源设定分别对应一组第一绝对差值和；

在该些光源设定中的一拍摄光源设定下，藉由该图像获取装置获取一第一画面与一第二画面；

计算该第一画面与该第二画面之间的多个第二绝对差值和；

找出该第一画面与该第二画面中该物体的纹理经过的多个物体区块；

根据该些第二绝对差值和中对应于该些物体区块的其中之一的至少一第二绝对差值和，计算该些物体区块的该其中之一的一区域移动向量；

计算该拍摄光源设定所对应的该组第一绝对差值和的一标准差容忍范围；

计算该些第二绝对差值和与该组第一绝对差值和的一比值；

比对该比值与该标准差容忍范围，以获得该些物体区块分别的一第一可靠度；以及

根据该些物体区块分别的第一可靠度评估该些物体区块分别的区域移动向量，以获得一全域移动向量。

2.根据权利要求1所述的多画面中物体的移动分析方法，其中根据该图像获取装置在该些光源设定下的噪点，通过获取该些张图像来获得该些组第一绝对差值和的步骤，包括：

分别在该些光源设定下，藉由该图像获取装置对一灯箱获取该些张图像；以及

计算并记录该些张图像在不同位置的第一绝对差值和。

3.根据权利要求2所述的多画面中物体的移动分析方法，其中记录该些张图像在不同位置的第一绝对差值和的步骤，包括：

记录该些张图像中的各个区块的四个角落像素的第一绝对差值，以藉由该四个角落像素的第一绝对差值和内插出各个区块内像数的第一绝对差值和。

4.根据权利要求2所述的多画面中物体的移动分析方法，其中记录该些张图像在不同位置的第一绝对差值和的步骤，包括：

记录该些张图像的各个区块中像素所共用的第一绝对差值和。

5.根据权利要求2所述的多画面中物体的移动分析方法，其中该些光源条件，包括：

该灯箱的亮度、色彩以及该图像获取装置的感光度、周围减光中的至少其中之一。

6.根据权利要求1所述的多画面中物体的移动分析方法，其中找出该些物体区块的步骤，包括：

计算该第一画面与该第二画面间各个区块的最大绝对差值和与最小绝对差值和；以及

根据各区块中最大绝对差值和与最小差值和的差异，判断各区块为该些物体区块其中之一或是一背景区块。

7.根据权利要求6所述的多画面中物体的移动分析方法，其中根据该些物体区块分别的第一可靠度评估该些物体区块分别的区域移动向量，以获得该全域移动向量的步骤，包括：

根据该些区块的其中之一的最大绝对差值和与最小差值和的差异，计算该些物体区块的其中之一的一第二可靠度；以及

根据该些物体区块分别的第一可靠度与该些物体区块分别的第二可靠度评估该些物体区块分别的区域移动向量，以获得该全域移动向量。

8.根据权利要求7所述的多画面中物体的移动分析方法，其中根据该些物体区块分别的第一可靠度与该些物体区块分别的第二可靠度评估该些物体区块分别的区域移动向量，以获得该全域移动向量的步骤，包括：

根据该些第一可靠度与该些第二可靠度，计算多个平均可靠度；以及

根据该些平均可靠度加权该些区域移动向量，以获得该全域移动向量。