CN1444406A - 视频运动估计方法 - Google Patents

Abstract

本发明涉及一种利用基于搜索模式的运动矢量场的时空相关性来进行运动估计的方法。本发明包括以下步骤：基于块匹配搜索的顺序，根据当前块附近几个块的运动矢量并采用一种更新机制来确定一组候选矢量；对每一个所述候选矢量，计算当前像素块和其匹配的参考像素块的误差；计算当前像素块和参考帧中相同位置像素块的误差；把具有最小误差值的矢量确定为运动矢量；对估计出的运动矢量进行中值滤波来平滑矢量场。本发明运算量小，实现代价低，提高了运动估计的准确性，使运动矢量场更好地描述物体的真实运动。

Description

视频运动估计方法

                       技术领域

本发明属于数字视频处理技术领域，特别涉及一种利用基于块匹配搜索顺序的运动矢量场的时空相关性来进行运动估计的方法。

                       背景技术

一直以来，运动估计技术被广泛地应用于视频压缩编码以及数字视频格式转换等领域。为了尽可能减少传送给定图像质量的数字视频数据所需要的带宽，多种不同的视频压缩算法已经被开发用于压缩视频数据。几个多媒体技术规范委员会已经建立并提出了用于编码/压缩音频和视频数据的标准。这当中，广为人知并被广泛接受的国际标准是由运动图像专家组(MPEG)提供的，包括MPEG-1和MPEG-2标准等。

视频编码方法主要包括帧内压缩和帧间压缩，其中帧间压缩是其压缩比的主要来源，因此现有的视频压缩标准(MPEG1/2/4、H.261/3等等。)大多采用基于运动估计的帧间压缩方案。其原理就是先将当前帧分成若干大小相同的块，然后对每个块(当前块)在参考帧一定大小的窗口内搜索与之最相似的匹配块。当前块和匹配块的位置差称为运动矢量、像素差称为残差块。由于残差块中接近0的像素很多，通过DCT变换、量化、熵编码，就可以大幅度提高压缩比。在上述过程中，运动估计就是搜索最佳匹配块的环节。显然，运动估计不仅最费时，而且直接影响压缩效率，是视频压缩的关键和瓶颈。

扫描格式转换是当前网络环境下的计算视频、高清晰度电视和传统电视存在的共同问题，扫描格式需要在不同制式之间进行转换。解交织是实践中对所有扫描格式进行转换的一项基本要求。已经提出了许多解交织的算法，包括有简单的空间解交织的方法和高级的运动补偿解交织的方法。运动补偿解交织的关键技术是运动估计，运动估计的复杂度和性能将直接决定运动补偿解交织的复杂度和性能。解交织技术同视频压缩编码技术对运动估计的要求有所不同，它更强调运动矢量符合物体的真实运动。

现有的许多运动估计的方法都存在着一些缺陷：计算量过大，实现的代价大，比如全搜索算法；假设误差曲面的单调性，极容易陷入局部最优，比如一些经典的块匹配方法，如三步法。最重要的是，这些运动估计的方法都不能很好地描述物体的真实运动。

专利号为01801368.6的发明专利公开了一种运动估计的方法，该方法首先为当前像素块确定一组候选矢量，然后选择最优候选矢量作为搜索的起点，在预定区域搜索得到最后的运动矢量。专利号为01100544.0的专利公开了另一种运动估计的方法，这种方法首先为当前搜索块确定一个最优的搜索起点，然后采用菱形搜索，并自适应地终止搜索过程。这两种方法都采用固定的从上到下地从左到右的顺序进行块匹配搜索，利用这种顺序下的运动矢量场的相关性来减少运动估计的计算量和提高搜索速度和准确性。这两种方法的候选矢量的个数和位置都是固定的，对估计出的运动矢量不再进行处理。采用固定顺序进行块匹配搜索并不能充分利用运动矢量空间的相关性，运动估计的性能在图像空间的分布也不平均。

                       发明内容

本发明的目的就是针对现有技术存在的缺陷或不足，提供一种利用基于块匹配搜索顺序的运动矢量场的时空相关性，来进行运动估计的方法。采用该方法估计出的运动矢量可以更好地描述物体的真实运动。

该方法包括以下步骤：(a)基于块匹配搜索的顺序，根据当前块附近几个块的运动矢量并采用一种更新机制来确定一组候选矢量；(b)对每一个所述候选矢量，计算当前像素块和其匹配的参考像素块的误差；同时计算当前像素块和参考帧中相同位置像素块的误差，选取以上误差值最小的矢量作为运动矢量；(c)对估计出的运动矢量进行中值滤波来平滑矢量场。当然，步骤(b)中表示当前像素块匹配参考帧中相同位置像素块的运动矢量可以作为步骤(a)中又一个候选矢量，再同时计算这些候选矢量对应的匹配误差。

步骤(a)中块匹配搜索的顺序可以是从上到下地从左到右、从下到上地从左到右、从上到下地从右到左、从下到上地从右到左；从上到下交替地从左到右和从右到左、从下到上交替地从左到右和从右到左；从四周到中央。

步骤(a)包含如下步骤：(1)根据块匹配搜索的顺序选择两个按照匹配搜索的顺序已经处理过的块的运动矢量、一个未经处理的块的运动矢量一共三个矢量作为初步确定的候选矢量。两个已经处理的块选择和当前块水平相邻和垂直相邻的块；一个未经处理的块选择当前块45度对角线方向的块。(2)按照一种更新机制对初步确定的候选矢量进行更新。

步骤(2)中的更新机制就是：首先对初步确定的候选矢量中的两个按照匹配搜索的顺序已经处理过的块的运动矢量按照交替的顺序选择其中的一个。然后，在一个预定范围的矢量空间内，随机地选择一个矢量，并把这个矢量加到被选中进行更新的那一个初步确定的候选矢量上，形成更新后的矢量。这个更新后的矢量和初步确定的候选矢量中未更新的其它两个一起构成一组候选矢量。

步骤(2)中的更新机制又可以是按照遗传算法对初步确定的候选矢量进行更新，更新的结果就是一组候选矢量。

步骤(b)中计算误差包含如下步骤：(1)扩大待处理的当前帧/场的像素块和通过候选矢量匹配对应的参考帧的像素块的边界，并对其进行亚采样；(2)对经亚采样后的块像素，计算当前像素块和其匹配的参考像素块的误差。

步骤(b)中计算误差又可以不进行亚采样，直接计算当前像素块和其匹配的参考像素块的误差。

步骤(b)中计算当前像素块和其匹配的参考像素块的误差值的一种减少计算量的简单实现包含以下步骤：(1)对当前像素块相应数目的像素求和；(2)对参考帧像素块相应数目的像素求和；(3)对上述两个和求绝对差，就得到运动估计误差。当然，也可以直接计算这些像素的SAD值作为运动估计的误差。

步骤(c)包括如下步骤：(1)对块运动矢量的水平和垂直分量分别采用3*3的2维中值滤波；(2)对中值滤波输出的结果进行处理：中值滤波输出的水平分量和垂直分量构成的运动矢量，如果这个矢量不是参与中值滤波的8个当前块相邻块运动矢量中的任何一个，取原先当前块的运动矢量作为输出，否则取中值滤波的结果作为输出。

该发明可以对各种格式的视频信号进行运动估计。特别地，该发明适用于对数字高清晰度电视信号进行运动估计。

对大多数图像而言，运动的物体通常比块要大，而且运动的物体具有惯性，这就意味着运动矢量场在时间上和空间上有很大的相关性。利用这种相关性可以更快、更准地找到匹配块，大大降低计算量。一般块匹配算法的搜索顺序是从上到下地从左到右，该发明可以采用许多其它的搜索顺序，并基于搜索顺序来选择候选矢量，可以更准确地估计运动，从而使估计出的运动矢量更接近物体的真实运动。运动估计中，计算匹配误差是计算量最大的部分，该发明提供了一个简单高效的实现方法，大大减小了计算量，降低了实现代价。该发明对估计出的矢量场进行平滑处理，可以利用相邻块的运动矢量对因为光照或噪声引起的运动估计的错误进行修正，提高了运动估计的准确性，并使运动矢量场更好地描述物体的真实运动。

                       附图说明

图1是块匹配搜索顺序的一个示意图；

图2是块匹配搜索顺序的另一示意图；

图3是块匹配搜索顺序的又一示意图；

图4是图2中搜索顺序下的一个候选矢量示意图；

图5是图2中搜索顺序下的另一候选矢量示意图；

图6是扩大块边界进行亚采样的示意图；

图7是一种中值滤波前的运动矢量场的示意图；

图8是一种中值滤波后的运动矢量场的示意图。

                     具体实施方式

图1是传统的采用从左到右地从上到下的顺序对当前帧/场的块进行块匹配搜索来估计运动矢量。

图2是采用从上到下地交替地从左到右和从右到左的顺序对当前帧/场的块进行块匹配搜索来估计运动矢量。

图3是采用从四周到中央的顺序对当前帧/场的块进行块匹配搜索来估计运动矢量。

图4说明了图2搜索顺序下一种候选矢量的选取。图中黑色的块表示当前像素块，画有斜线的块的运动矢量是候选矢量。对于从左到右进行搜索的像素块，三个候选矢量分别是当前块正左相邻块的运动矢量、当前块正上相邻块的运动矢量、当前块右下45度对角线方向上一个块的运动矢量。

图5说明了图2搜索顺序下另一种候选矢量的选取。图中黑色的块表示当前像素块，画有斜线的块的运动矢量是候选矢量。对于从右到左进行搜索的像素块，三个候选矢量分别是当前块正右相邻块的运动矢量、当前块正上相邻块的运动矢量、当前块左下45度对角线方向上一个块的运动矢量。

基于块匹配搜索顺序选择候选矢量，可以利用之前已经处理过的块的运动矢量，这可以使得运动估计搜索的起点更准确，加快了搜索的速度，减少了搜索的计算量；基于搜索顺序的来选择候选矢量可以更好、更充分地利用运动矢量场的时空相关性，使得运动估计的性能在空间的分布更平均，提高视觉效果。

图6说明了扩大块边界进行亚采样。粗实线包围的块是原始的块，粗虚线包围的是扩大边界的块。□是原始像素，■是亚采样选择的用于运动估计误差计算的像素。在扩大的块上进行运动估计，可以使运动估计的结果更加准确，并可以减少块效应；亚采样可以减少用于运动估计误差计算的像素，减少计算量，亚采样的采样结构可以有多种选择。

图7说明了中值滤波前的运动矢量场。图中粗实线包围的区域就是进行2维3*3中值滤波的区域。可以看出当前块的运动矢量因为光照或噪声等原因，它的运动矢量是不正确的。

图8说明了中值滤波后的运动矢量场。可以看出中值滤波根据运动矢量场的空间相关性，利用邻近块的矢量纠正了当前块的运动矢量，提高了运动估计的性能，并使得运动矢量可以更好地描述物体的真实运动。

本发明具体方法首先是根据从上到下交替地从左到右和从右到左的块匹配搜索顺序选择已经处理的和当前块水平相邻和垂直相邻的两个块的运动矢量、一个未经处理的当前块45度对角线方向的块的运动矢量(如图4或图5)作为初步确定的候选矢量；对初步确定的候选矢量中的两个按照匹配搜索的顺序已经处理过的块的运动矢量按照交替的顺序选择其中的一个并在一个预定范围的矢量空间内随机地选择一个矢量，把这个矢量加到被选中的那一个需要进行更新的初步确定的候选矢量上，形成更新后的矢量。这个更新后的矢量和初步确定的候选矢量中未更新的其它两个一起构成一组候选矢量。然后对每一个候选矢量，计算当前像素块和其匹配的参考像素块的误差，同时计算当前像素块和参考帧中相同位置像素块的误差，把具有最小误差值的矢量确定为运动矢量。误差值可以通过计算这些像素的SAD来得到，SAD最小的被确定为运动矢量。最后对估计出的块运动矢量的水平和垂直分量分别采用3*3的2维中值滤波，如果中值滤波输出的水平分量和垂直分量构成的运动矢量不是参与中值滤波的8个当前块相邻块运动矢量中的任何一个，取原先当前块的运动矢量作为输出，否则取中值滤波的结果作为输出，中值滤波处理前后的矢量场如图7和图8所示。

Claims (10)

1、视频运动估计方法，其特征在于该方法包括以下步骤：

(a)基于块匹配搜索的顺序，根据当前块附近几个块的运动矢量并采用一种更新机制来确定一组候选矢量；

(b)对每一个所述候选矢量，计算当前像素块和其匹配的参考像素块的误差，同时计算当前像素块和参考帧中相同位置像素块的误差，选取以上误差值最小的矢量作为运动矢量；

(c)对估计出的运动矢量进行中值滤波来平滑矢量场。

2、如权利要求1所述的视频运动估计方法，其特征在于步骤(a)的方法是首先根据块匹配搜索的顺序选择两个已经处理过的块的运动矢量、一个未经处理的块的运动矢量一共三个矢量作为初步确定的候选矢量，然后按照一种更新机制对初步确定的候选矢量进行更新。

3、如权利要求1所述的视频运动估计方法，其特征在于步骤(b)中计算误差的方法是扩大待处理的当前帧/场的像素块和对应的参考帧的像素块的边界，并对其进行亚采样，然后对经亚采样后的块像素，计算当前像素块和其匹配的参考像素块的误差。

4、如权利要求1所述的视频运动估计方法，其特征在于步骤(b)中计算误差就是直接计算当前像素块和其匹配的参考像素块的误差。

5、如权利要求1所述的视频运动估计方法，其特征在于步骤(c)是首先对块运动矢量的水平和垂直分量分别采用3*3的2维中值滤波，然后根据中值滤波输出的结果进行处理，如果中值滤波输出的水平分量和垂直分量构成的运动矢量不是参与中值滤波的8个当前块相邻块运动矢量中的任何一个，取原先当前块的运动矢量作为输出，否则取中值滤波的结果作为输出。

6、如权利要求2所述的视频运动估计方法，其特征在于块匹配搜索的顺序可以是从上到下地从左到右、从下到上地从左到右、从上到下地从右到左、从下到上地从右到左；从上到下交替地从左到右和从右到左、从下到上交替地从左到右和从右到左；从四周到中央。

7、如权利要求2所述的视频运动估计方法，其特征在于所述的两个已经处理的块选择和当前块水平相邻和垂直相邻的块；所述的一个未经处理的块选择当前块45度对角线方向的块。

8、如权利要求2所述的视频运动估计方法，其特征在于所述的更新机制就是首先对初步确定的候选矢量中的两个按照匹配搜索的顺序已经处理过的块的运动矢量按照交替的顺序选择其中的一个；然后在一个预定范围的矢量空间内，随机地选择一个矢量并把这个矢量加到被选中进行更新的那一个初步确定的候选矢量上，形成更新后的矢量，这个更新后的矢量和初步确定的候选矢量中未更新的其它两个一起构成一组候选矢量。

9、如权利要求2所述的视频运动估计方法，其特征在于所述的更新机制是按照遗传算法对初步确定的候选矢量进行更新，更新的结果就是一组候选矢量。

10、如权利要求3或4所述的视频运动估计方法，其特征在于计算当前像素块和其匹配的参考像素块的误差值方法是首先对当前像素块相应数目的像素求和，然后对参考帧像素块相应数目的像素求和，再对上述两个和求绝对差，就得到运动估计误差。

Images