CN103139445A - 检测背景移动向量的方法 - Google Patents

Abstract

一种搜寻移动小物体的方法，用于在相邻的二图像帧之间***一***图像帧。此方法包括：选择在该***图像帧中的一***区域。选择通过该***区域预定的多个延伸方向。分别以该些延伸方向同时向二图像帧交会，分析该些延伸方向是否符合相同图像物体移动的条件，且以对应的该延伸方向得到至少一移动向量。取得该第一图像帧与该第二图像帧之间的一全体移动向量。比较该至少一移动向量与该全体移动向量之间的一移动向量差异是否小于一设定值，进而使用对应该移动向量的该第一区域图像数据与该第二区域图像数据作补偿而产生该***区域属于背景的一***图像。

Description

检测背景移动向量的方法

技术领域

本发明是有关于一种在动态图像中，检测背景移动向量的方法，以避免被前景的移动小物体的影响。

背景技术

对于一动态图像的显示，其一般会有背景图像与前景图像。背景图像例如是环境的整体图像，而前景图像例如是在此环境图像中的一移动小物体的图像。背景图像与前景图像一般都会移动。

当利用摄影机拍摄此动态场景时，是一固定的帧速率摄取图像，即是例如每秒拍取24个图像帧。此数字的图像相对于一般的播放速度，例如每秒60个帧的播放速度不会一致。因此配合图像播放模式，其需要在两个帧之间***另一个帧。然而如果在此***帧的***区域上，刚好背景图像与前景图像都移动到此位置，则背景图像与前景图像都会被用来做图像补偿。然而，如果前景图像被不当补偿到背景图像时，会产生前景图像，例如移动小物体的闪耀噪声。

如何能减少移动小物体对背景图像产生干扰也是要提升影响质量所需要考虑的因素其一。

发明内容

本发明提供一种检测背景移动向量的方法，可以减少前景图像对背景图像的干扰噪声。

本发明提供一种检测背景移动向量的方法，用于在一第一图像面与一第二图像面之间***一***图像面。此方法包括选择在该***图像面中的一***区域。以该***区域的一位置为一参考区域，在一预定范围内的多个区域(local region)与该参考区域构成多个延伸方向，分别与该第一图像面与该第二图像面交会得到多对区域图像数据，该每一对区域图像数据有在该第一图像面的一第一区域图像数据以及该第二图像面的一第二区域图像数据。计算该每一对区域图像数据的该第一区域图像数据与该第二区域图像数据之间的一差异值，其中当该差异值小于一设定值时，所对应的该延伸方向视为至少一初阶移动向量。取得该第一图像面与该第二图像面之间的一全体移动向量。比较该至少一移动向量与该全体移动向量之间的一移动向量差异是否小于一设定值，其中如果该移动向量差异小于该设定值，则对应该移动向量的该第一区域图像数据与该第二区域图像数据用于补偿而产生该***区域属于背景的一***图像。

本发明也提供一种检测背景移动向量的方法，用于在一动态图像显示数据中的相邻的一第一图像帧与一第二图像帧之间***一***图像帧。此方法包括选择在该***图像帧中的一***区域。选择通过该***区域预定的多个延伸方向。分别以该些延伸方向同时向该第一图像帧及该第二图像帧交会得到一第一区域图像数据与一第二区域图像数据，分析该些延伸方向是否符合相同图像物体移动的条件，且以对应的该延伸方向得到至少一移动向量。取得该第一图像帧与该第二图像帧之间的一全体移动向量。比较该至少一移动向量与该全体移动向量之间的一移动向量差异是否小于一设定值，其中如果该移动向量差异小于该设定值，则对应的该第一区域图像数据与该第二区域图像数据用于补偿而产生该***区域属于背景的一***图像。

依据本发明一实施例，本发明的检测背景移动向量的方法可以还包括一确认步骤以确认对应该移动向量的该第一区域图像数据与该第二区域图像数据二者都是属背景图像。确认步骤包括以该第一图像面的该第一区域图像数据向该第二图像面寻找出一第一移动向量。检视是否该第一移动向量与该移动向量为不一致。如果该第一移动向量与该移动向量是不一致，则仅用该第二区域图像数据为补偿，以产生该***区域的***图像。

依据本发明一实施例，于本发明的检测背景移动向量的方法中，该确认步骤还包括如果该第一移动向量与该移动向量是一致，则以该第二图像面的该第二区域图像数据向该第一图像面寻找出一第二移动向量。检视是否该第二移动向量与该移动向量为不一致。如果该第二移动向量与该移动向量是不一致，则仅用该第一区域图像数据为补偿，以产生该***区域的***图像。

依据本发明一实施例，于本发明的检测背景移动向量的方法，还包括一确认步骤。该确认步骤包括检视对应该移动向量的该第一区域图像数据与该第二区域图像数据是否有其一是属于一前景数据。如果该第一区域图像数据与该第二区域图像数据的其一是属该前景数据，则仅以该第一区域图像数据与该第二区域图像数据的另其一作为产生该***区域。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。

附图说明

图1绘示依据本发明对两个图像帧所解决的问题示意图。

图2绘示对应图1在时间轴上，前景图像与背景图像的移动变化示意图。

图3绘示根据本发明一实施例，***图像帧时针对背景图像的***机制示意图。

图4绘示依据本发明一实施例，所寻找的多对区域图像，可能产生错误的机制示意图。

图5绘示依据本发明一实施例，判断是属于前景图像的确认步骤示意图。

图6绘示依据本发明一实施例，判断是属于前景图像的确认步骤示意图。

图7绘示依据本发明一实施例，检测背景移动向量的方法流程示意图。

[主要元件标号说明]

100：图像帧

102、102’：前景图像

104、104’：背景图像

106：图像帧

108：图像帧

110：***区域

120、122、124、126：区域图像

S200-S216：步骤

具体实施方式

对于所拍摄到的数字动态图像，其前一个图像帧与后一个图像帧的内容会不一样，且会有移动物体。

图1绘示依据本发明对两个图像帧所解决的问题示意图。参阅图1，图像帧100，也称为帧I，是所摄取的图像数据，其相对于一个时间点的显示是一个图像画面。图像画面是多个像素组成像素阵列，而像素阵列也例如还可以切割成区块来分析处理。者是取决于实际的安排。

当前的图像帧106，也称为帧P，是紧接于先前图像帧100后的当前一个图像数据，其也是一个图像画面。图像帧100的内容一般可以分为背景图像104与前景图像102。前景图像102可能是移动的小物体。背景图像104是环境场景的图像。一般而言，背景图像104占图像的大部分，且可能会有移动。而前景图像102是较小的移动的小物体，且移动方向一般是与背景图像104的移动方向不同。于图像帧106，由于一动的原因，前景图像102’会有移动，同时背景图像104’也会移动。当然，背景图像104’也可能是静止。

图2绘示对应图1在时间轴上，前景图像与背景图像的移动变化示意图。参阅图2，在图像帧100上会有背景图像104以及前景图像102。如果背景图像104与前景图像102都在移动，且一般情况是会忘不同方向移动。因此在经过一小时间间隔后所拍摄到的图像帧106，前景图像102会移动到前景图像102’，背景图像104会移动到前景图像104’。移动的变化程度一般是以移动向量(motion vector，MV)来表示，其代表一个相同对象从图像帧100到图像帧106的移动量与方向。移动向量是本领域技术人员所了解常用参数，其细部不再进一步描述。

图3绘示根据本发明一实施例，***图像帧时针对背景图像的***机制示意图。参阅图3，由于一般的实际拍摄的帧速率比播放的帧速率小，例如在相邻两个实际拍摄的图像帧100、106之间需要***另一张图像帧108，又称为帧T，其例如是在时间中间点会***帧T。

就图像识别而言，在图像帧100与图像帧106要确定是否释相同图像内容的方式，例如会采用一般所知的绝对差异总和值(Sum of AbsoluteDifference，SAD)，其是在图像帧100的一个图像区块与在图像帧106的相同形状的一个图像区块之间的所有像素值绝对差异的总和。

就理想状况，如果所检测的图像区块是相同的内容，则就会吻合，因此SAD值会趋近于0。换句话说，如果SAD值小于一个程度，其代表在图像帧100与在图像帧106上所检测的图像区块可以视为是相同对象，因此可以算出其移动向量。

在图像帧108所要***的一***区域110，其也以D标示，其需要由图像帧100与图像帧106的数据来做***，因此需要找出对应相同的区域(local-region)图像。对应***区域110的位置，从图像帧100到图像帧106通过***区域110的图像除了会包含属于背景图像104的图像还可能会包含前景图像102的图像，其例如是移动小物体的图像。

在图2中，属于前景图像102与背景图像104的区域图像的SAD值都会符合小于要选取的设定值，但是有不同的移动向量。

在理想状况下，通过***区域110所寻找出来的属于前景图像的物体，以f标示，会由在图像帧100的域图像120与属于图像帧106的域图像122来对应，成为一对区域图像。同理，通过***区域D所寻找出来的属于背景图像的物体，以b标示，会由在图像帧100的域图像124与属于图像帧106的域图像126来对应，成为另一对区域图像。此二对区域图像有不同的移动向量。

另外，由图像帧100到图像帧106也会有全区移动向量(globe motionvector)以决定整体的移动情形。由于前景图像所占的比例较小，因此背景图像的移动向量会与全区移动向量较为一致。全区移动向量可以用来区分前景图像与背景图像。

然而，即使属于背景图像的一对区域图像124、126，其仍有可能其中一个区域图像是来自前景图像。因此，其需要进一步的确认。

图4绘示依据本发明一实施例，所寻找的多对区域图像，可能产生错误的机制示意图。参阅图4，如果前景图像的移动路径与也会通过***区域110，与背景图像的移动路径交会于此***区域110，则由于移动小物体较容易被检测，因此其移动向量mv1也准确被计算出来。另外一对区域图像124、126，由于与全区移动向量差异，符合一致的条件，因此初步被认定为属于背景的图像，也计算出移动向量mv0。然而就实际内容，此二个区域图像124、126可能会有一个仍属于前景图像。

例如，在图像帧100中的区域图像124确实是属于背景图像，而在图像帧106中的区域图像126可能是属于前景数据。如果在***区域110要***图像数据时，也并入区域图像126的数据作补偿，则在***区域110的图像会包含前景图像的数据，而导致前景图像的干扰。

要确认是否区域图像124或区域图像126包含前景图像的数据，可以分别向图像帧100或图像帧106搜寻与计算移动向量。之后通过移动向量的分析来判断。

图5绘示依据本发明一实施例，判断是属于前景图像的确认步骤示意图。参阅图5，根据前述的方法已的得到移动向量mv2，其对应区域图像124与区域图像126。接着要验证区域图像124与区域图像126都是属于背景图像。

因此先取区域图像124与区域图像126的其中一个来确认，例如以图像帧106的区域图像126来确认。

如果区域图像126是来自前景图像，则以区域图像12向图像帧100搜寻所得到的移动向量mv3会与先前得到的移动向量mv2或是全区移动向量有所不同。因此，此机制就可以进一步确定区域图像126是否是属于前景图像。如果区域图像126是属前景图像，则***区域D的图像就只要根据图像帧100的区域图像124补偿以得到***区域D的图像内容。

如果以区域图像126向图像帧100搜寻所得到的移动向量经判断仍是属于背景图像，则区域图像124可以进一步检视。图6绘示依据本发明一实施例，判断是属于前景图像的确认步骤示意图。参阅图6，图像帧100的区域图像124也可以向区域图像126得到移动向量mv3。如果区域图像124是属前景图像，则所得到的移动向量mv3’也会于移动向量mv2或是全区移动向量有所不同。

当然，图5与图6的顺序也可以反过来，先取区域图像例如先以图像帧100的区域图像124来确认。之后如果需要的话再确认区域图像126。又或是，区域图像124与区域图像126都做确认也可。

依照上述的方式，在进行背景图像的***时，初步判断属于背景图像的移动向量，之后依需要可以再度确认，以避免前景图像的干扰。

由于一个要***的图像帧108，其有多个***区域D需要***图像，以对完整的图像帧108做***。因此，***区域D依照所规划的大小，回移动于图像帧108，而完成全部的图像***计算。

从前述的机制，本发明可以以一操作流程来表示。图7绘示依据本发明一实施例，检测背景移动向量的方法流程示意图。

参阅图7，搜寻移动小物体的方法可以用于在一第一图像面与一第二图像面之间***一***图像面。于步骤S200，选择在***图像面中的一***区域D。于步骤S202，以***区域D的一位置为一参考区域，在一预定范围内的多个区域(local region)与参考区域构成多个延伸方向，分别与第一图像面与第二图像面交会得到多对区域图像数据。每一对区域图像数据有在该第一图像面的一第一区域图像数据以及该第二图像面的一第二区域图像数据。

于步骤S204，计算每一对区域图像数据的第一区域图像数据与第二区域图像数据之间的一差异值，其中当差异值小于一设定值时，所对应的该延伸方向视为至少一初阶移动向量。于步骤S206，取得第一图像面与第二图像面之间的一全体移动向量。于步骤S208，比较该至少一移动向量与该全体移动向量之间的一移动向量差异是否小于一设定值。于步骤S210，如果该移动向量差异小于该设定值，则对应该移动向量的该第一区域图像数据与该第二区域图像数据用于补偿而产生该***区域属于背景的一***图像。步骤212，如果该移动向量差异大于该设定值，则区域图像非背景图像。

于步骤214，其是进一步确认步骤，确认第一区域图像数据与第二区域图像数据有其一是前景图像。于步骤216，仅以非前景图像的区域图像数据产生***图像。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附的权利要求范围所界定者为准。

Claims (13)

1.一种检测背景移动向量的方法，用于在一第一图像面与一第二图像面之间***一***图像面，包括：

选择在该***图像面中的一***区域；

以该***区域的一位置为一参考区域，在一预定范围内的多个区域与该参考区域构成多个延伸方向，分别与该第一图像面与该第二图像面交会得到多对区域图像数据，该每一对区域图像数据有在该第一图像面的一第一区域图像数据以及该第二图像面的一第二区域图像数据；

计算该每一对区域图像数据的该第一区域图像数据与该第二区域图像数据之间的一差异值，其中当该差异值小于一设定值时，所对应的该延伸方向视为至少一初阶移动向量；

取得该第一图像面与该第二图像面之间的一全体移动向量；以及

比较该至少一移动向量与该全体移动向量之间的一移动向量差异是否小于一设定值，其中如果该移动向量差异小于该设定值，则对应该移动向量的该第一区域图像数据与该第二区域图像数据用于补偿而产生该***区域属于背景的一***图像。

2.根据权利要求1所述的检测背景移动向量的方法，还包括一确认步骤以确认对应该移动向量的该第一区域图像数据与该第二区域图像数据二者都是属背景图像，该确认步骤包括：

以该第一图像面的该第一区域图像数据向该第二图像面寻找出一第一移动向量；

检视是否该第一移动向量与该移动向量为不一致；以及

如果该第一移动向量与该移动向量是不一致，则仅用该第二区域图像数据为补偿，以产生该***区域的***图像。

3.根据权利要求2所述的检测背景移动向量的方法，其中该确认步骤还包括：

如果该第一移动向量与该移动向量是一致，则以该第二图像面的该第二区域图像数据向该第一图像面寻找出一第二移动向量；

检视是否该第二移动向量与该移动向量为不一致；以及

如果该第二移动向量与该移动向量是不一致，则仅用该第一区域图像数据为补偿，以产生该***区域的***图像。

4.根据权利要求1所述的检测背景移动向量的方法，还包括一确认步骤，该确认步骤包括：

检视对应该移动向量的该第一区域图像数据与该第二区域图像数据是否有其一是属于一前景数据；以及

如果该第一区域图像数据与该第二区域图像数据的其一是属该前景数据，则仅以该第一区域图像数据与该第二区域图像数据的另其一作为产生该***区域。

5.根据权利要求1所述的检测背景移动向量的方法，其中该第一区域图像数据与该第二区域图像数据之间的该差异值是像素绝对差异值的总和。

6.根据权利要求1所述的检测背景移动向量的方法，其中该***区域包含多个像素。

7.根据权利要求1所述的检测背景移动向量的方法，其中该第一图像面与该第二图像面是一动态图像的相邻的二个帧，该***图像面是在该二个帧之间要***的一***帧。

8.根据权利要求1所述的检测背景移动向量的方法，其中该***区域会移动于该***图像面的一全部区域而完成该全部区域的图像***。

9.根据权利要求1所述的检测背景移动向量的方法，其中该***区域的该***图像是根据该移动向量的值做图像***。

10.一种检测背景移动向量的方法，用于在一动态图像显示数据中的相邻的一第一图像帧与一第二图像帧之间***一***图像帧，包括：

选择在该***图像帧中的一***区域；

选择通过该***区域预定的多个延伸方向；

分别以该多个延伸方向同时向该第一图像帧及该第二图像帧交会得到一第一区域图像数据与一第二区域图像数据，分析该多个延伸方向是否符合相同图像物体移动的条件，且以对应的该延伸方向得到至少一移动向量；

取得该第一图像帧与该第二图像帧之间的一全体移动向量；以及

比较该至少一移动向量与该全体移动向量之间的一移动向量差异是否小于一设定值，其中如果该移动向量差异小于该设定值，则对应的该第一区域图像数据与该第二区域图像数据用于补偿而产生该***区域属于背景的一***图像。

11.根据权利要求10所述的检测背景移动向量的方法，还包括一确认步骤以确认对应该移动向量的该第一区域图像数据与该第二区域图像数据二者都是属背景图像，该确认步骤包括：

以该第一图像面的该第一区域图像数据向该第二图像面寻找出一第一移动向量；

检视是否该第一移动向量与该移动向量为不一致；

如果该第一移动向量与该移动向量是不一致，则仅用该第二区域图像数据为补偿，以产生该***区域的***图像。

12.根据权利要求11所述的检测背景移动向量的方法，其中该确认步骤还包括：

如果该第一移动向量与该移动向量是一致，则以该第二图像面的该第二区域图像数据向该第一图像面寻找出一第二移动向量；

检视是否该第二移动向量与该移动向量为不一致；

如果该第二移动向量与该移动向量是不一致，则仅用该第一区域图像数据为补偿，以产生该***区域的***图像。

13.根据权利要求10所述的检测背景移动向量的方法，还包括一确认步骤，该确认步骤包括：

检视对应该移动向量的该第一区域图像数据与该第二区域图像数据是否有其一是属于一前景数据；以及

如果该第一区域图像数据与该第二区域图像数据的其一是属该前景数据，则仅以该第一区域图像数据与该第二区域图像数据的另其一作为产生该***区域。

Images