CN103338377A - 用于确定运动估计中最优运动矢量的方法 - Google Patents

Abstract

本发明提供了一种用于确定运动估计中最优运动矢量的方法，包括：将当前块所在的当前帧分为多个图像块，所述当前块为所述多个图像块中的一个图像块；计算所述当前块的每个指定相邻图像块的一个子图像块的运动矢量，将计算出的至少一个运动矢量作为当前块的预测运动矢量；基于所述预测运动矢量及其对应的目标参考帧，选择所述当前块的最优运动矢量。通过本发明的技术方案，可以提高在运动估计中搜索运动矢量的速度与精度。

Description

用于确定运动估计中最优运动矢量的方法

技术领域

本发明涉及信息技术领域，具体而言，涉及一种用于确定运动估计中最优运动矢量的方法。

背景技术

数字视频处理的过程主要包括视频压缩、标准变换、对象提取、运动检测、视频图像增强与恢复等技术。数字视频技术具有数字技术的一系列优点，比如可以中继传输和多次复制，而不会造成噪声和非线性失真的累积；便于进行加密；可以使用超大规模集成电路芯片(VLSI)开发实现，制作方便，成本低，可靠性高；便于与计算机联网，具有强大的交互能力等等。

运动估计作为数字视频处理中必不可少的一个重要部分，越来越多的受到人们的注意。由于视频信号处理对实时性要求很高，而运动估计的算法通常较为复杂，运算量相当大，基于块的运动估计是最实用和先进的运动估计方法，易于大型集成电路的逻辑实现，几乎所有的视频编码标准在实际中都采用了基于块的运动估计方法。

在相关技术中，基于块的运动估计，在预测运动估计搜索起点时，利用（0,0）即参考帧中同一位置的块，和同一帧中相邻的左边、上边、右上边的块，以及参考帧同一位置块的运动矢量为起点，分别与当前块求像素绝对差和（SAD），并选择最小的SAD作为搜索的起点。接着采用自适应的搜索模式小菱形或者大菱形搜索，一旦SAD达到某一阈值或者最优点位于小菱形的中心点时则停止搜索。这种算法是运动估计最常用的算法，在进行空间相关性预测时使用的是与预测块具有相同大小的块（即当前块左边的块、上边的块以及右上边的块），这样预测的运动矢量范围比较大，搜索结果不准确。

另一方面，在现有的复杂度可分级的运动估计算法中，对运动估计的方法主要分为三个步骤：静止块的检测，静止宏块在（0,0）点的SAD值小于一个阈值则被判定为静止块；运动矢量的预测，主要考虑了空间的相关性的利用，通过三个相邻块的运动矢量来预测当前块的运动矢量，3个相邻块分别为当前块的左边、上边及左上边的块，选取和保存SAD最小的运动矢量作为下一步局部精细搜索的搜索中心；局部精细搜索，采用小菱形进行搜索，小菱形搜索算法的方向性递归搜索过程中限制最大递归搜索次数为4。该算法对菱形搜索的次数做了限制，虽然减少了运算次数，但是搜索的精准度有所下降。

因此，如何提高在运动估计中计算运动矢量的速度与精度成为亟待解决的技术问题。

发明内容

考虑到上述背景技术，本发明提出了一种新的运动估计中最优运动矢量的确定方法，可以提高在运动估计中计算运动矢量的速度与精度。

有鉴于此，本发明提出了一种确定运动估计中最优运动矢量的方法，包括：将当前块所在的当前帧分为多个图像块，所述当前块为所述多个图像块中的一个图像块；计算所述当前块的每个指定相邻图像块的一个子图像块的运动矢量，将计算出的至少一个运动矢量作为当前块的预测运动矢量；基于所述预测运动矢量及其对应的目标参考帧，选择所述当前块的最优运动矢量。

将当前帧分为多个图像块，由于视频帧内部存在较强的空间相关性，因此相邻块的运动矢量表现出一致性，通过选择当前帧中当前块的相邻图像块中更小块的运动矢量来预测当前块的运动矢量，由于搜索范围减小，因此可以减少对当前块运动矢量的搜索次数，提高了搜索算法的搜索速度。通过预测运动矢量及其对应的目标参考帧来确定当前块的最优运动矢量，由于不同的运动矢量对应于不同的目标参考帧，使得目标参考帧的选择更加精确，可以提高当前块的最优运动矢量计算精度，从而更加精确地找到当前块的最优运动矢量。

附图说明

图1示出了根据本发明的实施例的用于确定运动估计中最优运动矢量的装置的框图；

图2示出了根据本发明的实施例的确定运动估计中最优运动矢量的方法的流程图；

图3示出了根据本发明实施例的运动估计中当前块从当前帧到参考帧的预测运动矢量的计算示意图；

图4示出了根据本发明实施例的运动估计中参考帧插值示意图；

图5示出了根据本发明实施例的运动估计中参考帧的选择示意图；

图6示出了根据本发明的实施例的确定运动估计中最优运动矢量的方法的具体流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1示出了根据本发明的实施例的用于确定运动估计中最优运动矢量的装置的框图。

如图1所示，根据本发明的实施例的用于确定运动估计中最优运动矢量的装置100，包括：图像块划分单元102，用于将当前块所在的当前帧分为多个图像块，所述当前块为所述多个图像块中的一个图像块；运动矢量计算单元104，用于计算所述当前块的每个指定相邻图像块的一个子图像块的运动矢量，将计算出的至少一个运动矢量作为当前块的预测运动矢量；最优运动矢量确定单元106，用于基于所述预测运动矢量及其对应的目标参考帧，选择所述当前块的最优运动矢量。

将当前帧分为多个图像块，由于视频帧内部存在较强的空间相关性，因此相邻块的运动矢量表现出一致性，通过选择当前帧中当前块的相邻图像块中的更小块的运动矢量来预测当前块的运动矢量，由于减小了搜索范围，可以减少对当前块运动矢量的搜索次数，提高了搜索算法的搜索速度。通过预测运动矢量及其对应的目标参考帧来确定当前块的最优运动矢量，由于不同的运动矢量对应于不同的目标参考帧，使得目标参考帧的选择更加精确，可以提高当前块的最优运动矢量计算精度，从而更加精确地找到当前块的最优运动矢量。

在上述技术方案中，优选地，所述指定相邻图像块包括位于所述当前块左边的第一图像块、位于所述当前块上边的第二图像块以及位于所述当前块右上边的第三图像块，所述当前块的预测运动矢量包括第一图像块的第一运动矢量、第二图像块的第二运动矢量、第三图像块的第三运动矢量和第四运动矢量，其中，所述第四运动矢量是所述第一运动矢量、第二运动矢量和第三运动矢量中的中间值；所述当前块的每个相邻图像块被划分为N个子图像块，N为大于等于2的正整数。

在该技术方案中，可以根据与当前块相邻的三个图像块的运动矢量来预测当前块从当前帧到参考帧的运动矢量，以确定最优的运动矢量。具体地，可以采用块匹配法将图像帧分为多个块，使得在每个区域中的运动可以很好地用一个参数化模型表征，在每个分隔区域中都有与其对应的一个运动矢量。更进一步，可以通过将当前帧分为16×16的图像块，并将每个当前块的每个相邻图像块匹配到所述参考帧中的16×16的匹配块，可以得到当前块的每个相邻块的一个运动矢量，而针对一个相邻图像块，可将其16×16的匹配块分为4个8×8的匹配块，并将其中的一个8×8的匹配块的从参考帧到当前帧的运动矢量来作为相邻图像块的一个预测运动矢量，这样就可以得到多个相邻图像块的匹配块从参考帧到当前帧的多个运动矢量，由于匹配块从参考帧到当前帧的运动矢量与相邻图像块从当前帧到参考帧的运动矢量相反，因此可以得到多个相邻图像块从参考帧到当前帧的多个运动矢量，进而可以从相邻图像块的多个运动矢量中选择其中一个作为当前块的预测运动矢量来确定是否为当前块从当前帧到参考帧的最优运动矢量，在该方案中，由于利用相邻图像块中的更小的块（即其中一个8×8的块）来预测当前块的最优运动矢量，因此预测的运动矢量范围被减小。

在上述技术方案中，优选地，所述目标参考帧为原始参考帧或插值参考帧；所述装置100还包括：参考帧插值单元108，以所述原始参考帧为基准，插值出至少一个所述插值参考帧。

在该技术方案中，通过以参考帧为基准***多个插值参考帧，根据预测的当前块的运动矢量从参考帧和多个插值参考帧中选择相应的目标参考帧，并基于目标参考帧和预测的运动矢量来确定当前块的运动矢量，使得运动估计的范围更加精确，可以提高当前块运动矢量的计算精度，从而更加精确地找到当前块的最优运动矢量。具体来说，可以通过双线性插值算法可以***三个参考帧像素点，由于双线性插值算法输出的图像的每个像素点都是原图中四个像素运算的结果，因此使***的插值参考帧更加精准，在选择参考帧进行计算时，提高了计算结果的精度。

在上述技术方案中，优选地，基于半像素插值得到的所述插值参考帧包括：垂直参考帧、水平参考帧、斜参考帧；所述装置100还包括目标参考帧确定单元110，用于在选定的预测运动矢量（x，y）中，在x，y均是整像素运动矢量时，确定所述原始参考帧为目标参考帧，在x是整像素运动矢量，y是半像素运动矢量时，确定所述垂直参考帧为目标参考帧，在x是半像素运动矢量，y是整像素运动矢量时，确定所述水平参考帧为目标参考帧，在x，y均是半像素运动矢量时，确定所述斜参考帧为目标参考帧。

在该技术方案中，在一个典型的例子中，由于***的三个插值参考帧是基于半像素的插值，即原始参考帧与插值参考帧之间间隔半个像素，根据目标运动矢量（x，y）中水平与垂直方向的运动矢量的像素值可以方便地确定需要选择的目标参考帧。通过在参考帧与插值参考帧中选择目标参考帧，可以缩小当前块的匹配块在参考帧中搜索当前块的匹配块的搜索区域，使得到的当前块从当前帧到目标参考帧的运动矢量的结果更加精准。

在上述技术方案中，优选地，所述最优运动矢量确定单元106包括判断子单元1062和像素绝对差和计算子单元1064；其中，所述判断子单元1062用于逐一按照下列步骤判断所述第四运动矢量、所述第一运动矢量、所述第二运动矢量和所述第三运动矢量是否是所述当前块的最优运动矢量：根据选定的预测运动矢量和与所述选定的预测运动矢量对应的目标参考帧，在所述目标参考帧中找到与所述当前块匹配的匹配块；所述像素绝对差和计算子单元1064根据所述当前块和所述匹配块计算像素绝对差和；在所述像素绝对差和满足判定条件时，停止搜索，确定所述选定的预测运动矢量为所述当前块的最优运动矢量，其中，所述判定条件是：所述第一像素绝对差和小于256，或所述目标运动矢量等于所述目标参考帧中所述当前块的匹配块的运动矢量，且所述第一像素绝对差和小于所述匹配块的像素绝对差和。

在该技术方案中，由于第一运动矢量、第二运动矢量和第三运动矢量的中间值可能是最优的运动矢量，因此可以将第一运动矢量、第二运动矢量和第三运动矢量的中间值，即第四运动矢量首先进行判断是否为最优的运动矢量，以减少确定最优运动矢量的计算次数。具体地，可以根据以下公式计算所述像素绝对差和：

$\mathrm{SAD}(x,y,t)=\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{abs}(f(i,j,n)-f(i-x,j-y,n-t)),$ 其中，SAD是当前帧相对于参考帧以运动矢量(x,y)运动t帧的像素绝对差和，f(i-x,j-y,n-t)表示参考帧(n-t)在(i-x,j-y)位置的像素值，abc()是求绝对值，f(i,j,n)表示第n帧在(i,j)位置的像素值，N为当前帧的总像素值。

在上述技术方案中，优选地，所述最优运动矢量确定单元106还可以包括：控制单元1066和菱形搜索单元1068，其中，所述控制单元1066用于在所述判断子单元1062判定所述第四运动矢量不是最优运动矢量时，控制所述像素绝对差和计算子单元1064以所述当前块到所述目标参考帧中与所述当前块同一位置块的第五运动矢量作为所述当前块的预测运动矢量，根据所述目标参考帧与所述预测运动矢量计算得到第二像素绝对差和；所述判断子单元1062还用于在所述第二像素绝对差和小于计算所述第四运动矢量时产生的第一像素绝对差和时，判断所述第二像素绝对差和是否满足所述判定条件，若满足，则判定所述第五运动矢量为最优运动矢量；所述菱形搜索单元1068用于在所述判断子单元1062判定所述第二像素绝对差和不满足所述判定条件时，对所述第五运动矢量进行菱形搜索，以获取最优运动矢量。

在该技术方案中，当上述第四运动矢量不是最优运动矢量时，以当前块到参考帧中同一位置块的运动矢量，即（0，0）作为预测运动矢量进行计算当前块的第二像素绝对差和，若小于第一像素绝对差和，则通过块匹配准则判断是否可以结束搜索，若满足块匹配准则，则说明得到了最优运动矢量，可以结束搜索，若不满足，则通过菱形搜索得到最优运动矢量。

具体来说，菱形搜索算法的步骤包括：首先找到菱形搜索的四个点，以之前预测的运动矢量为中心点，选择中心点周围的四个点，直径是以之前预测的菱形的小直径1或者大直径2，分别周围四个点为起点计算各自SAD（像素绝对差和）值，将SAD与之前预测运动矢量的SAD值进行比较，如果之前预测运动矢量的SAD最小，则最优的运动矢量就是之前预测的运动矢量，搜索结束，否则继续以最小SAD值的点作为小菱形的中心点，搜索新的菱形周围的四个点，如果中心的SAD最小，则中心点即为最优的运动矢量，否则重复进行搜索，直到菱形中心点的SAD最小位置，整个菱形搜索结束。

在上述技术方案中，优选地，所述控制单元1066还用于在所述第二像素绝对差和大于等于所述第一像素绝对差和时，控制所述像素绝对差和计算子单元1064以所述当前帧的前一帧中与所述当前块为同一位置块的第六运动矢量作为所述当前块的预测运动矢量，根据所述同一位置块的运动矢量确定相应的目标参考帧，计算所述同一位置块从所述前一帧到所述相应的目标参考帧的第三像素绝对差和；所述判断子单元1062还用于在所述第三像素绝对差和小于所述第二像素绝对差和时，判断所述第三像素绝对差和是否满足所述判定条件，在满足所述判定条件时，判定所述第六运动矢量为所述当前块的最优运动矢量；所述菱形搜索子单元1068还用于在所述判断子单元1062判断所述第三像素绝对差和不满足所述判定条件时，对所述第六运动矢量进行菱形搜索，以获取最优运动矢量。

在该技术方案中，当根据上述当前块到参考帧中同一位置块的第五运动矢量（0，0）计算出的第二像素绝对差和大于或等于第一像素绝对差和时，继续以当前帧的前一帧中与当前块为同一位置块的第六运动矢量作为预测运动矢量进行计算当前块的第三像素绝对差和，若小于第二像素绝对差和，则通过块匹配准则判断是否可以结束搜索，若满足块匹配准则，则说明得到了最优运动矢量，可以结束搜索，若不满足，则通过菱形搜索得到最优运动矢量。通过将当前帧的前一帧中与当前块为同一位置块的第六运动矢量作为预测运动矢量，考虑了视频图像时间上的相关性，从而使得确定的最优运动矢量更加精准。

在上述技术方案中，优选地：所述控制子单元1066还用于在所述判断子单元1062判定所述第一运动矢量、所述第二运动矢量和所述第三运动矢量均不是所述最优运动矢量时，控制所述菱形搜索子单元1068对所述第四运动矢量进行菱形搜索，以得到所述最优运动矢量。

在该技术方案中，若依次判断当前块的多个预测运动矢量都不是最优的运动矢量时，说明根据第四运动矢量计算出的当前块从当前帧到目标参考帧中的像素绝对差和最小，因此可以将第四运动矢量进行搜索得到最优的运动矢量。

图2示出了根据本发明的实施例的确定运动估计中最优运动矢量的方法的流程图。

如图2所示，根据本发明的实施例的确定运动估计中最优运动矢量的方法，包括：步骤202，将当前块所在的当前帧分为多个图像块，所述当前块为所述多个图像块中的一个图像块；步骤204，计算所述当前块的每个指定相邻图像块的一个子图像块的运动矢量，将计算出的至少一个运动矢量作为当前块的预测运动矢量；步骤206，基于所述预测运动矢量及其对应的目标参考帧，选择所述当前块的最优运动矢量。

将当前帧分为多个图像块，由于视频帧内部存在较强的空间相关性，因此相邻块的运动矢量表现出一致性，通过选择当前帧中当前块的相邻图像块中的更小块的运动矢量来预测当前块的运动矢量，由于减小了搜索范围，因此可以减少对当前块运动矢量的搜索次数，提高了搜索算法的搜索速度。通过预测运动矢量及其对应的目标参考帧来确定当前块的最优运动矢量，由于不同的运动矢量对应于不同的目标参考帧，使得目标参考帧的选择更加精确，可以提高当前块最优运动矢量的计算精度，从而更加精确地找到当前块的最优运动矢量。

在上述技术方案中，优选地，所述指定相邻图像块包括位于所述当前块左边的第一图像块、位于所述当前块上边的第二图像块以及位于所述当前块右上边的第三图像块，所述当前块的预测运动矢量包括第一图像块的第一运动矢量、第二图像块的第二运动矢量、第三图像块的第三运动矢量和第四运动矢量，其中，所述第四运动矢量是所述第一运动矢量、第二运动矢量和第三运动矢量中的中间值；所述当前块的每个相邻图像块被划分为N个子图像块，N为大于等于2的正整数。

在该技术方案中，可以根据与当前块相邻的三个图像块的运动矢量来预测当前块从当前帧到参考帧的运动矢量，以确定最优的运动矢量。具体地，可以采用块匹配法将图像帧分为多个块，使得在每个区域中的运动可以很好地用一个参数化模型表征，在每个分隔区域中都有与其对应的一个运动矢量。更进一步，可以通过将当前帧分为16×16的图像块，并将每个当前块的每个相邻图像块匹配到所述参考帧中的16×16的匹配块，可以得到当前块的每个相邻块的一个运动矢量，而针对一个相邻图像块，可将其16×16的匹配块分为4个8×8的匹配块，并将其中的一个8×8的匹配块的从参考帧到当前帧的运动矢量来作为相邻图像块的一个预测运动矢量，这样就可以得到多个相邻图像块的匹配块从参考帧到当前帧的多个运动矢量，由于匹配块从参考帧到当前帧的运动矢量与相邻图像块从当前帧到参考帧的运动矢量相反，因此可以得到多个相邻图像块从参考帧到当前帧的多个运动矢量，进而可以从相邻图像块的多个运动矢量中选择其中一个作为当前块的预测运动矢量来确定是否为当前块从当前帧到参考帧的最优运动矢量，在该方案中，由于利用相邻图像块中的更小的块（即其中一个8×8的块）来预测当前块的最优运动矢量，因此预测的运动矢量范围被减小。

在上述技术方案中，优选地，所述目标参考帧为原始参考帧或者插值参考帧，所述插值参考帧是以所述原始参考帧为基准，插值出的插值参考帧。

在该技术方案中，通过以参考帧为基准***多个插值参考帧，根据预测的当前块的运动矢量从参考帧和多个插值参考帧中选择相应的目标参考帧，并基于目标参考帧和预测的运动矢量来确定当前块的运动矢量，使得运动估计的范围更加精确，可以提高当前块运动矢量的计算精度，从而更加精确地找到当前块的最优运动矢量。具体来说，可以通过双线性插值算法可以***三个参考帧像素点，由于双线性插值算法输出的图像的每个像素点都是原图中四个像素运算的结果，因此使***的插值参考帧更加精准，在选择参考帧进行计算时，提高了计算结果的精度。

在上述技术方案中，优选地，基于半像素插值得到的所述插值参考帧包括：垂直参考帧、水平参考帧、斜参考帧；从所述原始参考帧和所述插值参考帧中确定与选定的预测运动矢量对应的目标参考帧的步骤具体包括：在选定的预测运动矢量（x，y）中，在x，y都是整像素运动矢量时，确定所述原始参考帧为目标参考帧，在x是整像素运动矢量，y是半像素运动矢量时，确定所述垂直参考帧为目标参考帧，在x是半像素运动矢量，y是整像素运动矢量时，确定所述水平参考帧为目标参考帧，在x，y都是半像素运动矢量时，确定所述斜参考帧为目标参考帧。

在一个典型的例子中，由于***的三个插值参考帧是基于半像素的插值，即参考帧与插值参考帧之间间隔半个像素，根据目标运动矢量（x，y）中水平与垂直方向的运动矢量的像素值可以方便地确定需要选择的目标参考帧。通过在参考帧与插值参考帧中选择目标参考帧，可以缩小当前块的匹配块在参考帧中搜索当前块的匹配块的搜索区域，使得到的当前块从当前帧到目标参考帧的运动矢量的结果更加精准。

在上述技术方案中，优选地，逐一按照下列步骤判断所述第四运动矢量、所述第一运动矢量、所述第二运动矢量和所述第三运动矢量是否是所述当前块的最优运动矢量：根据选定的预测运动矢量和与所述选定的预测运动矢量对应的目标参考帧，在所述目标参考帧中找到与所述当前块匹配的匹配块；根据所述当前块和所述匹配块计算像素绝对差和；在所述像素绝对差和满足判定条件时，停止搜索，确定所述选定的预测运动矢量为所述当前块的最优运动矢量，其中，所述判定条件是：所述第一像素绝对差和小于256，或所述目标运动矢量等于所述目标参考帧中所述当前块的匹配块的运动矢量，且所述第一像素绝对差和小于所述匹配块的像素绝对差和。

在该技术方案中，由于第一运动矢量、第二运动矢量和第三运动矢量的中间值可能是最优的运动矢量，因此可以将第一运动矢量、第二运动矢量和第三运动矢量的中间值，即第四运动矢量首先进行判断是否为最优的运动矢量，以减少确定最优运动矢量的计算次数。具体地，可以根据以下公式计算所述像素绝对差和： $\mathrm{SAD}(x,y,t)=\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{abs}(f(i,j,n)-f(i-x,j-y,n-t)),$ 其中，SAD是当前帧相对于参考帧以运动矢量(x,y)运动t帧的像素绝对差和，f(i-x,j-y,n-t)表示参考帧(n-t)在(i-x,j-y)位置的像素值，abc()是求绝对值，f(i,j,n)表示第n帧在(i,j)位置的像素值，N为当前帧的总像素值。

在上述技术方案中，优选地，还包括：在判定所述第四运动矢量不是最优运动矢量时，以所述当前块到所述目标参考帧中与所述当前块同一位置块的第五运动矢量作为所述当前块的预测运动矢量，根据所述目标参考帧与所述预测运动矢量计算得到第二像素绝对差和；在所述第二像素绝对差和小于计算所述第四运动矢量时产生的第一像素绝对差和时，判断所述第二像素绝对差和是否满足所述判定条件，若满足，则判定所述第五运动矢量为最优运动矢量，否则，对所述第五运动矢量进行菱形搜索，以获取最优运动矢量。

在该技术方案中，当上述第四运动矢量不是最优运动矢量时，以当前块到参考帧中同一位置块的运动矢量，即（0，0）作为预测运动矢量进行计算当前块的第二像素绝对差和，若小于第一像素绝对差和，则通过块匹配准则判断是否可以结束搜索，若满足块匹配准则，则说明得到了最优运动矢量，可以结束搜索，若不满足，则通过菱形搜索得到最优运动矢量。

具体来说，菱形搜索算法的步骤包括：首先找到菱形搜索的四个点，以之前预测的运动矢量为中心点，选择中心点周围的四个点，直径是以之前预测的菱形的小直径1或者大直径2，分别周围四个点为起点计算各自SAD（像素绝对差和）值，将SAD与之前预测运动矢量的SAD值进行比较，如果之前预测运动矢量的SAD最小，则最优的运动矢量就是之前预测的运动矢量，搜索结束，否则继续以最小SAD值的点作为小菱形的中心点，搜索新的菱形周围的四个点，如果中心的SAD最小，则中心点即为最优的运动矢量，否则重复进行搜索，直到菱形中心点的SAD最小位置，整个菱形搜索结束。

在上述技术方案中，优选地，还包括：在所述第二像素绝对差和大于等于所述第一像素绝对差和时，以所述当前帧的前一帧中与所述当前块为同一位置块的第六运动矢量作为所述当前块的预测运动矢量，根据所述同一位置块的运动矢量确定相应的目标参考帧，计算所述同一位置块从所述前一帧到所述相应的目标参考帧的第三像素绝对差和；在所述第三像素绝对差和小于所述第二像素绝对差和时，判断所述第三像素绝对差和是否满足所述判定条件，在满足所述判定条件时，判定所述第六运动矢量为所述当前块的最优运动矢量，否则，对所述第六运动矢量进行菱形搜索，以获取最优运动矢量。

在该技术方案中，当根据上述当前块到参考帧中同一位置块的第五运动矢量（0，0）计算出的第二像素绝对差和大于或等于第一像素绝对差和时，以当前帧的前一帧中与当前块为同一位置块的第六运动矢量作为预测运动矢量进行计算当前块的第三像素绝对差和，若小于第二像素绝对差和，则通过块匹配准则判断是否可以结束搜索，若满足块匹配准则，则说明得到了最优运动矢量，可以结束搜索，若不满足，则通过菱形搜索得到最优运动矢量。通过将当前帧的前一帧中与当前块为同一位置块的第六运动矢量作为预测运动矢量，考虑了视频图像时间上的相关性，从而使得确定的最优运动矢量更加精准。

在上述技术方案中，优选地，还包括：在判定所述第一运动矢量、所述第二运动矢量和所述第三运动矢量均不是所述最优运动矢量时，对所述第四运动矢量进行菱形搜索，以得到所述最优运动矢量。

在该技术方案中，若依次判断当前块的多个预测运动矢量都不是最优的运动矢量时，说明根据第四运动矢量计算出的当前块从当前帧到目标参考帧中的像素绝对差和最小，因此可以将第四运动矢量进行搜索得到最优的运动矢量。

图3示出了根据本发明实施例的运动估计中当前块从当前帧到参考帧的预测运动矢量的计算示意图。

如图3所示，选择当前块302的左边块304，上边块306和右上边块308作为当前块302的相邻图像块，将每个相邻块分为4个8×8块，以得到相邻块的每个8×8块从参考帧到当前帧的一个运动矢量，如左边块304中4个8×8块的运动矢量分别为3042MV、3044MV、3046MV和3048MV；上边块306中4个8×8块的运动矢量分别3062MV、3064MV、3066MV和3068MV；右上边块308中4个8×8块的运动矢量分别3082MV、3084MV、3086MV和3088MV。

设当前块302的四个预测运动矢量分别为PMV[0]、PMV[1]、PMV[2]和PMV[3]，则PMV[0]为PMV[1]、PMV[2]和PMV[3]的中间值，PMV[1]=3044MV，PMV[2]=3066MV，PMV[3]=3088MV。通过计算出的当前块的四个预测运动矢量PMV[0]、PMV[1]、PMV[2]和PMV[3]选择相应的参考帧，通过快匹配准则判断上述四个预测运动矢量是否为最优运动矢量。由此可以看出，在预测当前块的运动矢量时，采用相邻块中的更小的块来预测当前块的运动矢量，如PMV[1]=3044MV，而不是采用整个左边块304（即与当前块具有相同大小的块）来进行搜索计算，这样预测的运动矢量的范围就被减小了，可进一步提高搜索准确度。

图4示出了根据本发明实施例的运动估计中参考帧插值示意图。

如图4所示，本发明的技术方案中，以双线性插值算法，并以参考帧为基准，通过参考帧402插值出三帧参考帧：水平参考帧404、垂直参考帧406和斜参考帧408，通过上述预测运动矢量从参考帧402、水平参考帧404、垂直参考帧406和斜参考帧408中选择相应的参考帧作为运动估计的目标参考帧使用。由于这些插值参考帧都是基于半像素的插值，因此缩小了当前块的匹配块在参考帧中的搜索区域，使得到的当前块从当前帧到目标参考帧的运动矢量的结果更加精准。

图5示出了根据本发明实施例的运动估计中参考帧的选择示意图。

如图5所示，由于***的三个插值参考帧是基于半像素的插值，即参考帧与插值参考帧之间间隔半个像素，因此根据预测运动矢量（x，y）502中水平与垂直方向的运动矢量的像素值可以方便地确定合适的目标参考帧。具体来说，在预测运动矢量（x，y）502中，在x，y都是整像素运动矢量时，确定原始参考帧504为目标参考帧，在x是整像素运动矢量，y是半像素运动矢量时，确定垂直参考帧508为目标参考帧，在x是半像素运动矢量，y是整像素运动矢量时，确定水平参考帧506为目标参考帧，在x，y都是半像素运动矢量时，确定所述斜参考帧510为目标参考帧。

图6示出了根据本发明的实施例的确定运动估计中最优运动矢量的方法的具体流程图。

如图6所示，根据本发明的实施例的确定运动估计中最优运动矢量的方法，包括：步骤602，根据当前帧的大小和当前块在当前帧中的位置，确定当前块的最大搜索范围；

步骤604，在最大的搜索范围内，由于视频帧内部存在较强的空间相关性，即相邻图像块的运动矢量往往表现出一致性，因此通过当前块周围的图像块已得知的运动矢量来预测当前块的运动矢量，可以大大减少搜索次数。在本实施例中，根据当前块的相邻图像块的运动矢量计算当前块从当前帧到参考帧的四个运动矢量：PMV[0]、PMV[1]、PMV[2]和PMV[3]，其中PMV[0]为PMV[1]、PMV[2]和PMV[3]的中间值；

步骤606，首先选择运动矢量PMV[0]为预测运动矢量，根据预测运动矢量PMV[0]确定目标参考帧，并根据预测运动矢量PMV[0]和目标参考帧计算出当前块从当前帧到目标参考帧的像素绝对差和SAD1；

步骤608，判断SAD1是否满足块匹配准则，即是否满足以下条件：SAD1<256，或PMV[0]等于参考帧相同位置块的运动矢量，且SAD1<参考帧匹配块的SAD，若满足，则执行步骤636，否则，执行步骤610；

步骤610，在SAD1不满足块匹配准则时，以当前块到目标参考帧中与当前块同一位置块的运动矢量（0，0）作为当前块的预测运动矢量，计算当前块从当前帧到目标参考帧的像素绝对差和SAD2；

步骤612，判断SAD2是否小于SAD1，若是，则执行步骤632，否则，执行步骤614；

步骤614，在SAD2大于或等于SAD1时，以当前帧的前一帧中与当前块为同一位置块的运动矢量作为当前块的预测运动矢量，根据预测运动矢量确定目标参考帧，并根据预测运动矢量（即当前帧的前一帧中与当前块为同一位置块的运动矢量）和目标参考帧计算出当前块从当前帧到目标参考帧的像素绝对差和SAD3；

步骤616，判断SAD3是否小于SAD2，若是，则执行步骤632，否则，执行步骤618；

步骤618，在SAD3大于或等于SAD2时，以PMV[1]为预测运动矢量确定目标参考帧，并根据预测运动矢量PMV[1]和目标参考帧计算出当前块从当前帧到目标参考帧的像素绝对差和SAD4；

步骤620，判断SAD4是否小于SAD3，若是，则执行步骤632，否则，执行步骤622；

步骤622，在SAD4大于或等于SAD3时，以PMV[2]为预测运动矢量确定目标参考帧，并根据预测运动矢量PMV[2]和目标参考帧计算出当前块从当前帧到目标参考帧的像素绝对差和SAD5；

步骤624，判断SAD5是否小于SAD4，若是，则执行步骤632，否则，执行步骤626；

步骤626，在SAD5大于或等于SAD4时，以PMV[3]为预测运动矢量确定目标参考帧，并根据预测运动矢量PMV[3]和目标参考帧计算出当前块从当前帧到目标参考帧的像素绝对差和SAD6；

步骤628，判断SAD6是否小于SAD5，若是，则执行步骤632，否则，执行步骤630；

步骤630，在SAD6大于或等于SAD5时，说明根据运动矢量PMV[0]计算出的当前块从当前帧到目标参考帧中的像素绝对差和最小，因此将PMV[0]作为预测运动矢量，执行步骤634；

步骤632，在判定当前像素绝对差和SAD（n）<SAD（n-1）时，判断预测的运动矢量是否满足块匹配准则，若满足，则执行步骤636，否则，执行步骤634；

步骤634，对预测运动矢量进行菱形搜索以得到最优运动矢量；

步骤636，确定最优的运动矢量，搜索结束。

以上结合附图详细说明了本发明的技术方案，本发明提出了一种新的确定运动估计中最优运动矢量的方案，采用与当前块具有空间一致性的图像块中更小的块的运动矢量来预测当前块的运动矢量，搜索范围减小，提高了搜索运动矢量的速度，并根据求出的不同运动矢量来选择使用不同的参考帧，更加准确地找到与当前块匹配的匹配块，故可以提高在运动估计中搜索运动矢量的精度。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种用于确定运动估计中最优运动矢量的方法，其特征在于，包括：

将当前块所在的当前帧分为多个图像块，所述当前块为所述多个图像块中的一个图像块；

计算所述当前块的每个指定相邻图像块的一个子图像块的运动矢量，将计算出的至少一个运动矢量作为当前块的预测运动矢量；

基于所述预测运动矢量及其对应的目标参考帧，选择所述当前块的最优运动矢量。

2.根据权利要求1所述的方法，其特征在于，所述指定相邻图像块包括位于所述当前块左边的第一图像块、位于所述当前块上边的第二图像块以及位于所述当前块右上边的第三图像块；

所述当前块的预测运动矢量包括第一图像块的第一运动矢量、第二图像块的第二运动矢量、第三图像块的第三运动矢量和第四运动矢量，其中，所述第四运动矢量是所述第一运动矢量、第二运动矢量和第三运动矢量中的中间值；

所述当前块的每个相邻图像块被划分为N个子图像块，N为大于等于2的正整数。

3.根据权利要求1所述的方法，其特征在于，所述目标参考帧为原始参考帧或者插值参考帧，所述插值参考帧是以所述原始参考帧为基准，插值出的插值参考帧。

4.根据权利要求3所述的方法，其特征在于，基于半像素插值得到的所述插值参考帧包括：垂直参考帧、水平参考帧、斜参考帧；

从所述原始参考帧和所述插值参考帧中确定与选定的预测运动矢量对应的目标参考帧的步骤具体包括：

在选定的预测运动矢量（x，y）中，在x，y都是整像素运动矢量时，确定所述原始参考帧为目标参考帧，在x是整像素运动矢量，y是半像素运动矢量时，确定所述垂直参考帧为目标参考帧，在x是半像素运动矢量，y是整像素运动矢量时，确定所述水平参考帧为目标参考帧，在x，y都是半像素运动矢量时，确定所述斜参考帧为目标参考帧。

5.根据权利要求2所述的方法，其特征在于，逐一按照下列步骤判断所述第四运动矢量、所述第一运动矢量、所述第二运动矢量和所述第三运动矢量是否是所述当前块的最优运动矢量：

根据选定的预测运动矢量和与所述选定的预测运动矢量对应的目标参考帧，在所述目标参考帧中找到与所述当前块匹配的匹配块；

根据所述当前块和所述匹配块计算像素绝对差和；

在所述像素绝对差和满足判定条件时，停止搜索，确定所述选定的预测运动矢量为所述当前块的最优运动矢量，其中，所述判定条件是所述第一像素绝对差和小于256，或所述目标运动矢量等于所述目标参考帧中所述当前块的匹配块的运动矢量，且所述第一像素绝对差和小于所述匹配块的像素绝对差和。

6.根据权利要求5所述的方法，其特征在于，还包括：

在判定所述第四运动矢量不是最优运动矢量时，以所述当前块到所述目标参考帧中与所述当前块同一位置块的第五运动矢量作为所述当前块的预测运动矢量，根据所述目标参考帧与所述预测运动矢量计算得到第二像素绝对差和；

在所述第二像素绝对差和小于计算所述第四运动矢量时产生的第一像素绝对差和时，判断所述第二像素绝对差和是否满足所述判定条件，若满足，则判定所述第五运动矢量为最优运动矢量，否则，对所述第五运动矢量进行菱形搜索，以获取最优运动矢量。

7.根据权利要求6所述的方法，其特征在于，还包括：

在所述第二像素绝对差和大于等于所述第一像素绝对差和时，以所述当前帧的前一帧中与所述当前块为同一位置块的第六运动矢量作为所述当前块的预测运动矢量，根据所述同一位置块的运动矢量确定相应的目标参考帧，计算所述同一位置块从所述前一帧到所述相应的目标参考帧的第三像素绝对差和；

在所述第三像素绝对差和小于所述第二像素绝对差和时，判断所述第三像素绝对差和是否满足所述判定条件，在满足所述判定条件时，判定所述第六运动矢量为所述当前块的最优运动矢量，否则，对所述第六运动矢量进行菱形搜索，以获取最优运动矢量。

8.根据权利要求5至7中任一项所述的方法，其特征在于，还包括：在判定所述第一运动矢量、所述第二运动矢量和所述第三运动矢量均不是所述最优运动矢量时，对所述第四运动矢量进行菱形搜索，以得到所述最优运动矢量。

Images