CN101860754A - 运动矢量编码和解码的方法和装置 - Google Patents

Abstract

本发明涉及视频编码方法。具体地，其涉及运动矢量(MV)编码，其中MV编码基于边缘匹配或自适应模板匹配，也就是基于边界匹配(MVCBM)的运动矢量编码和基于自适应模板匹配(MVCATM)的运动矢量编码。一般来说，本发明限定预测候选集，其中预测器基于相邻MV的当前分布自适应地变化。随后，匹配技术(MVCBM中的边界匹配和MVCATM中的自适应模板匹配)用于减小预测候选集的大小以减少索引使用的位数。而后，在包含于减少的集中的预测器中选择最优的运动矢量预测器。基于最小MVD标准的猜测策略进一步节约了索引的位数。

Description

运动矢量编码和解码的方法和装置

技术领域

本发明一般来说涉及数字视频处理。特别地，本发明涉及包括编码与解码运动矢量编码的方法和装置。

背景技术

运动估计(Motion estimation，简称ME)与运动补偿(Motioncompensation，简称MC)是现代视频编码标准(如MPEG-1、MPEG-2、MPEG-4、H.261、H.263、H.264和AVS)中的重要工具，以压制时间冗余，从而达到高编码效率。在ME/MC中，当前帧被分为不重叠的区块。对于当前帧中的每个当前块，在参考帧中限定搜索区。搜索区中的每一点对应于一个候选块，该候选块潜在地是当前块的良好预测。限定相似性度量并且在搜索区进行搜索以基于相似性度量查找候选块，该候选块与当前块的相似性即使不是最大，也是很大。该具有最大相似性的候选块将是最佳匹配块。最佳匹配快与当前块之间的相对位移被称为运动矢量，其需要被编码。运动矢量(motion vector，简称MV)的编码也被称为运动矢量编码(motion vectorcoding，简称MVC)。

另一方面，为了解码端实现运动补偿，编码端需要耗费大量的比特流用于传递运动矢量信息。例如在H.264中，当比特率很低(例如QP＝40)时，运动矢量信息所耗费的比特数目占总编码数目的百分比很高，甚至达到50％。所以本领域迫切需要更有效的方法进行运动矢量编码来提高其编码效率。

在最新的运动矢量编码方法中，引入了许多工具以提高运动矢量编码的效率。例如，为了减小运动矢量的压缩位的数量，H.264标准利用简单的预测编码技术编码运动矢量。对于每个当前块，H.264利用三个相邻的运动矢量(MV)的中间的一个构成运动矢量预测器(motion vector predictor，简称MVP)。MVP与当前块的真实MV的运动矢量差(motion vector difference，简称MVD)被编码到位流中。该“中间MVP”有效地减少用于MV编码的位，因为其在大多数情况下类似于当前块的真实MV。但是，中间MVP并不能总是最优地预测当前MV。需要更有效的MVP以进一步减少用于MV的编码位数。

还曾有过其他方法试图获得有效的运动矢量编码。例如，在以下公开文件中有所记载：S.Kamp、M.Evertz和M.Wien的“Decoder side motion vectorderivation for inter frame video coding”，出自IEEE国际图像处理会议(IEEEInternational Conference on Image Processing)，pp.1120-1123，2008，(以下称为“S.Kamp等人的文章”)以及第7,023,919号、名称为“Method for coding motionvector using 2-dimentional minimum bitrate predicting technique”的美国专利。

在S.Kamp等人的文章中，说明了一种获取运动矢量的方法。该方法在解码端执行类似运动估计的方法以取得运动矢量和参考索引。但是，该方法不能自适应地改变MV预测器候选集，并且该方法放弃使用现有精确的ME方法来获得MV而是直接在解码端用不是非常准确的模板匹配方式来获得MV，并且该方法中没有使用猜测策略。此外，模板匹配使用固定大小和形状的模板。该方法中没有使用参考索引或MVD。总的来说，该方法十分复杂，并且使用模板匹配得到MV和参考索引自身并不总是可靠的。

在第7023919号美国专利申请中，说明了一种运动矢量编码的方法。该方法没有使用匹配技术减少MV预测器候选集，也没有提供自适应候选集。即使使用猜测策略，其基于最小位速率而非最小MVD。该方法中并没有将基于时间的MV预测器用作候选。该方法缺乏效率，特别是在MVD很小的情况下更是如此。另外不同的MVD可能具有相同的位速率，使得基于最小位速率的标准缺乏效率。

还有别的方法利用边界匹配进行了尝试。例如在以下公开文件中：YanChen，Yang Hu，Oscar C.Au，Houqiang Li，Chang Wen Chen的“Video ErrorConcealment Using Spatio-Temporal Boundary Matching and Partial DifferentialEquation”，IEEE多媒体学报(IEEE TRANSACTIONS ON MULTIMEDIA)，VOL.10，NO.1，2008年1月(以下称为“Yan Chen等人的文章”)，以及第5,596,370号、名称为“Boundary matching motion estimation apparatus”的美国专利。

在Yan Chen等人的文章中，提供了一种用于隐藏视频信号中的错误的***和方法。边界匹配仅限于用于错误隐藏。该公开的方法没有指出利用边界匹配选择可以提高MV预测器的准确度从而减小MVD，也没有利用从编码端精确运动估计中获得的现有MV。此外，本方法中没有使用模板匹配。该方法的缺点是利用边界匹配以获得MV本身并不总是可靠的。

在第5,596,370号美国专利中，提供了一种进行运动估计的装置。边界匹配仅限于获取运动矢量，本方法的目的是提供一种运动估计的替代方法。该方法没有使用在编码端运动估计中获得的MV，缺点在于利用边界匹配而非运动估计获得MV本身并不总是可靠的。边界匹配仅限于用以得到运动矢量，该方法并未给出运动矢量编码的信息。由于并没有自适应候选设置，所以该方式没有效率，并且该方法不考虑其他匹配技术，例如自适应模板匹配。

因而，需要提供一种运动矢量编码的***和方法，以解决上述一个或多个问题。

有关视频编码的其他背景技术可以参照一下文件：Iain Richardson的H.264and M-PEG-4VideoCompression，Wiley&Sons，

2003以及Alan Bovik的The Essential Guide to Video Processing，Academic Press

2009。这些公开的文件都作为参考被引入其中。

发明内容

鉴于上述，本发明需要一种运动矢量编码和解码的方法和装置，以克服上述技术中的方法效率低、可靠性差的问题。

具体地，本发明提供了一种运动矢量编码方法，包括以下步骤：

步骤1：限定预测器的候选集，其中所述预测器基于与所述运动矢量相邻的运动矢量自适应的变化；

步骤2：利用匹配方法减少所述候选集中的预测器的数目以减少索引使用的位数；

步骤3：基于最小运动矢量差的标准在所述候选集中的剩余预测器中选定最优的预测器，并得到当前运动矢量差；

步骤4：基于剩余预测器和当前运动矢量差，利用猜测策略探测运动矢量预测器以进一步节约用于编码索引的位数；

步骤5：判断是否能探测到正确的运动矢量预测器，如果探测到正确的运动矢量预测器，则编码至少当前运动矢量差，如果无法探测到正确的运动矢量预测器，则对至少当前运动矢量差和索引进行编码。

其中，所述匹配方法为边界匹配方法或自适应模板匹配方法。

其中，所述边界匹配方法为，将对应于所述候选集中的预测器的一部分数据粘贴到当前数据空间，得到边界匹配误差，去除所述候选集中边界匹配误差最大的一个或多个预测器。

其中，所述自适应模板匹配方法为，基于自适应模板与当前数据之间可能的相关性确定用于当前数据空间的自适应模板的形状；或者基于自适应模板内的一致性确定用于当前数据空间的自适应模板的尺寸。

其中，所述自适应模板匹配方法还包括利用基于候选集中预测器对应的位移，计算当前数据空间的模板与参考画面中位移后的数据空间的模板之间的差。

其中，自适应模板匹配方法中，所述自适应模板的宽度和形状已指定。

其中，所述步骤5之后，如果探测到正确的运动矢量预测器，则发送至少已编码的当前运动矢量差；如果无法探测到正确的运动矢量预测器，则发送至少已编码的当前运动矢量差和已编码的作为索引的位。

其中，所述预测器的候选集包括若干成比例的空间和时间预测器。

其中，所述步骤1中，与所述运动矢量相邻的运动矢量为与所述运动矢量时间相邻、空间相邻、时间与空间相邻或基于分析策略相邻的运动矢量。

其中，步骤4中的猜测策略，所述剩余预测器的数目至少为1个，对每个剩余预测器和当前运动矢量差产生一个中间参数，基于最小运动矢量差的标准为每个中间参数重新选择待选的预测器，如果重新选择的待选的预测器与产生该中间参数的剩余预测器相同，则判定该剩余预测器为可选预测器，如果可选预测器的数目为1个，则该可选预测器为正确的运动矢量预测器。

本发明还提供了一种解码已编码的运动矢量的方法，所述已编码的运动矢量被如权利要求1所述的方法编码，包括以下步骤：

步骤1：解码运动矢量差；

步骤2：限定预测器的候选集，其中所述预测器基于与所述运动矢量相邻的运动矢量自适应的变化；

步骤3：利用匹配方法减少所述候选集中的预测器的数目；

步骤4：基于所述候选集中的剩余预测器和解码的运动矢量差，利用猜测策略判断能否确定运动矢量预测器；

步骤5：如果能确定运动矢量预测器，则利用解码的运动矢量差和已确定的运动矢量预测器得到运动矢量；如果不能确定运动矢量预测器，则解码索引并判定运动矢量预测器，利用解码的运动矢量差和已判定的运动矢量预测器得到运动矢量。

所述匹配方法与编码时采用的匹配方法相同。

本发明还提供了一种运动矢量编码装置，包括以下部分：

第一选择模块，用以选择组成候选集的预测器；

第一处理模块，接收所述第一选择模块的预测器的候选集，用以利用匹配方法减少所述候选集中的预测器的数目；

第二选择模块，与所述第一处理模块连接，接收所述候选集中的剩余预测器，基于最小运动矢量差的标准在所述剩余预测器中选定最优的预测器；

第二处理模块，与所述第二选择模块连接，根据选定的最优的预测器得到当前运动矢量差；

探测模块，与所述第二处理模块和第一处理模块连接，基于接收的所述候选集中的剩余预测器和当前运动矢量差，利用猜测策略探测运动矢量预测器；

判断模块，与所述探测模块连接，如果探测模块的探测结果为探测到正确的运动矢量预测器，则将判断结果发送到编码模块；

编码模块，接收所述判断结果，编码至少当前运动矢量差或者编码至少当前运动矢量差和索引。

本发明还提供了一种运动矢量解码装置，包括以下部分：

接收模块，接收至少已编码的运动矢量差；

第一解码模块，连接所述接收模块，根据接收的至少已编码的运动矢量差，解码运动矢量差；

第一选择模块，用以选择组成候选集的预测器；

第一处理模块，接收所述第一选择模块的预测器的候选集，用以利用匹配方法减少所述候选集中的预测器的数目；

判断模块，连接所述第一处理模块与所述第一解码模块，基于所述候选集中的剩余预测器和解码的运动矢量差，利用猜测策略判断能否确定运动矢量预测器；

第二解码模块，连接所述判断模块，根据所述判断结果解码索引；

分析模块，连接所述第一处理模块和第二解码模块，根据解码的索引判定运动矢量预测器；

第二处理模块，连接所述判断模块、所述第一解码模块和所述分析模块，根据判断结果，利用解码的运动矢量差和已解码确定的运动矢量预测器得到运动矢量；或者利用解码的运动矢量差和已判定的运动矢量预测器得到运动矢量。

本发明提供的运动矢量编码和解码的方法可以迅速、可靠、有效地对运动矢量进行编解码的处理，提高了***的效率。并且本发明可用于任何采用运动估计的视频编码***，并且需要将运动信息发送到解码器，例如但不限于H.264、KTA、AVS、MPEG。此外，本发明还可用于任何采用混合预测编码的编码器。

通过以下说明的实施例，还公开了本发明的其他方面。

附图说明

下面将参考附图，详细说明本发明的这些以及其他目的、方面和实施方式，其中：

图1表示根据本发明实施例的当前块及其相邻块的示范性表示。

图2表示根据本发明实施例的块的内部边界像素和外部边界像素。

图3表示根据本发明实施例的模板匹配的示范性模板。

图4表示根据本发明实施例的模板宽度等于4的示范性模板。

图5表示根据本发明实施例的MVCBM的流程图。

图6表示根据本发明实施例的MVCATM的流程图。

图7表示根据本发明实施例的一个视频编码***的实施例的方框图。

图8表示根据本发明实施例的一个视频解码***的实施例的方框图。

图9表示根据本发明实施例的运动矢量编码装置的示意图。

图10表示根据本发明实施例的运动矢量解码装置的示意图。

具体实施方式

本发明涉及视频编码方法。特别地，其涉及运动矢量(MV)编码，其中MV编码基于边界匹配或自适应模板匹配，也就是基于边界匹配的运动矢量编码(MVCBM)和基于自适应模板匹配的运动矢量编码(MVCATM)。一般来说，本发明限定预测器候选集，其中预测器基于相邻MV的当前分布自适应地变化。随后，匹配技术(MVCBM中的边界匹配和MVCATM中的自适应模板匹配)用于减小预测器候选集的大小以减少索引使用的编码位数。而后，在包含于减少的集之中的预测器中选择最优的运动矢量预测器。基于最小MVD标准的猜测策略进一步节约了索引的位数。

具体地，可能的MVP候选集包括若干成比例的空间和时间预测器。为了增加预测器的多样性，空间预测器基于相邻运动矢量的特征自适应地改变。为了从候选集(CS)中选择良好的预测器，使用的匹配技术例如但不限于边界匹配(BM)和自适应模板匹配(ATM)。从通过匹配技术选出的预测器中选择当前块的最优MVP以使MVD最小。由于最优MVP是基于最小MVD的标准选出，所以引入猜测策略，从而在一些情况下可以节省将MVP索引信号传输到解码器的比特数。本发明相对于H.264标准可以显著地降低位速率。

A.成比例的运动矢量预测器

相邻块的运动矢量被用作当前块的运动矢量的预测器。相邻块的运动矢量可以对应实施例中的不同参考帧，该实施例中允许例如H.264中的多个参考帧。两个相邻的块的运动矢量对应不同的参考帧时，其时间距离相对当前帧而言是不同的。因而在使用多个参考帧的实施例中，在被用作预测当前块的运动矢量之前，相邻块的运动矢量根据其时间距离被成比例地缩放。图1表示当前块及其相邻块的示范性表示。以mv_A(当前块的左侧的块A的MV)为例，假设块A与其参考块之间的时间距离是d_p，当前块与其参考块之间的时间距离是d_c。由以下方式计算成比例的预测器mv_SA

$m{v}_{\mathrm{SA}}={\mathrm{mv}}_A\×\frac{d_c}{d_p}---\left(1\right)$

利用相同的方法可以计算块B的mv_SB，块C的mv_SC等。因此，每个预测器在使用之前都成比例缩放。

B.MVP候选集

本发明的一个方面是为数据压缩中的参数产生和表示提供预测器和编码方法，例如在视频压缩中编码运动矢量。根据相邻的数据信息自适应地选择两个或多个候选。“相邻”的数据信息包括但不限于空间相邻、时间相邻、相邻的结合和基于分析策略的相邻的一些函数。分析策略包括但不限于当前相关、分布，例如选择与其他相邻矢量不类似的相邻的运动矢量作为候选，用以在视频压缩中编码当前的运动矢量。

可能的MVP候选集包括若干成比例的空间和时间预测器。为了增加预测器的多样性，空间预测器基于相邻运动矢量的特征自适应地改变。

在一个实施例中，为了使MVP达到高准确度，MVP候选集中包括时间和空间的MVP。MVP候选集包括多个这样的MVP，其数量根据情况而变，例如但不限于5个MVP或8个MVP。

在进一步实施例中，对于一个给定的候选集，包括的预测器基于MVP的当前分布自适应地变化。例如，不失普遍性，候选集的尺寸被选作3，并且尺寸等于3的候选集中包括mv_Scol、mv_SH.264和mv_Snei。mv_Scol是根据公式(1)成比例缩放的共址MV(指在前一帧和当前块具有相同位置的块的运动矢量)。其为时间MVP候选。mv_SH.264和mv_Snei为空间MVP候选。

mv_SH.264是3个相邻的运动矢量的中间的一个(这3个相邻的运动矢量根据公式(1)成比例缩放)，例如其可以从mv_SA、mv_SB和mv_SC的中间的一个获得。

mv_Snei是三个成比例的相邻运动矢量mv_SA、mv_SB和mv_SC中的一个，其离mv_SH.264最远：

${\mathrm{mv}}_{\mathrm{Snei}}=\arg \underset{{\mathrm{mv}}_x}{\max }{\left|\right|{\mathrm{mv}}_x-{\mathrm{mv}}_{\mathrm{SH},264}\left|\right|}^2,x=\mathrm{SA},\mathrm{SB},\mathrm{SC}---\left(2\right)$

设置该预测器mv_Snei的原因在于，在相邻的块A、B和C中仅一个属于包含当前块的对象时，试着得到更有效的MVP。在这种情况下，中间的MVP与当前块的实际MV的相关性可能很低。

所以，MVP候选集(Candidate Set，简称CS)由该具体示范性条件下的三个MVP组成，其中该条件下候选集的尺寸等于3(尺寸-3CS)：

CS＝{mv_SH.264，mv_Scol，mv_Snei}             (3)

C.CS减少和优化MVP

初始MVP候选集会包含许多MVP，选出的一个的索引需要许多位以说明。为了减少用于最优MVP的索引的位，减少CS以包含更少数目的预测器。一个实施例中，使用叫做边界匹配的方法。另一实施例中，使用叫做自适应模板匹配的方法。基于匹配状态使减少的候选集(Reduced CandidateSet，简称RCS)尺寸固定或可变。例如选出最佳预测器，如果后面的预测器近乎良好则也选出后面的几个良好的预测器。或者如果最好的预测器远好于其他预测器，则我们也可以仅选择最好的预测器。在该具有mv_Scol、mv_SH.264和mv_Snei的尺寸-3CS的特例中，我们可以使用尺寸为2的固定尺寸的RCS。

D.边界匹配

本发明的一个方面为：确定自适应候选集；通过匹配技术减小候选集以节约索引的位数；执行基于最小MVD的猜测策略和全部MV编码过程；在MV编码中利用边界匹配作为匹配技术。

本发明的进一步的方面还包括：进行边界匹配，例如将对应于每个候选的一部分数据复制到当前数据空间内，测量当前数据空间的相邻数据与粘贴的数据部分之间的协调性和连续性。

在以下文章中对边界匹配(Boundary matching，简称BM)已有说明：Yan Chen，Yang Hu，Oscar C.Au，Houqiang Li，Chang Wen Chen的“Video ErrorConcealment Using Spatio-Temporal Boundary Matching and Partial DifferentialEquation”，出自IEEE多媒体学报(IEEE TRANSACTIONS ONMULTIMEDIA)，VOL.10，NO.1，2008年1月，在此引入其公开内容。

边界匹配广泛应用于误差隐藏以找到指向参考帧中的最可能的块的运动矢量，以恢复损失块。BM估计基于块及其相邻块之间的空间连续性搜索预测器。如果使用不正确的预测器，则相应的重建块与其相邻块不具有高空间连续性的可能性很大。但如果使用正确的预测器，则重建的块与相邻块应当是连续的。

匹配标准是边界匹配误差(boundary matching error，简称BME)，其测量候选块的内部边界像素与当前块的外部边界像素之间的空间不连续性，如图2所示。图2表示块的内部边界像素和外部边界像素。字母N、W、E、S代表方向北、西、东和南。BME具有两部分：平滑不连续失真(smoothdiscontinuity distortion，简称SDD)和边缘不连续失真(edge discontinuitydistortion，简称EDD)：

BME＝α×SDD+(1-α)×EDD                    (4)

其中权重因子α为0至1之间的实数。

注意到在本实例化的MV编码方法中BM在编码器和解码器都能执行以找到合适的预测器。由于当前块的东侧和南侧通常尚未在解码器解码，仅使用容易获得的边界信息，例如北侧和/或西侧边界的信息。SDD和EDD计算如下：

$\mathrm{SDD}=\underset{k=0}{\overset{N_X-1}{\mathrm{\Σ}}}|p_{\mathrm{rec}}(x+k,y)-p_{\mathrm{rec}}(x+k,y-1)|+\underset{k=0}{\overset{N_W-1}{\mathrm{\Σ}}}|p_{\mathrm{rec}}(x,y+k)-p_{\mathrm{rec}}(x-1,y+k)|---\left(5\right)$

$\mathrm{EDD}=\underset{k-0}{\overset{N_w-1}{\mathrm{\Σ}}}|\frac{\▿\left({\mathrm{\Δp}}_{\mathrm{rec}}(x+k,y)\right)}{|\▿\left(\mathrm{\Δ}{p}_{\mathrm{rec}}(x+k,y)\right)|}\·\frac{{\▿}^{\⊥}{p}_{\mathrm{rec}}(x+k,y)}{\left|{\▿}^{\⊥}{p}_{\mathrm{rec}}(x+k,y)\right|}|\×|\▿p_{\mathrm{rec}}(x+k,y)|$

$+\underset{k-0}{\overset{N_h-1}{\mathrm{\Σ}}}|\frac{\▿\left({\mathrm{\Δp}}_{\mathrm{rec}}(x,y+k)\right)}{|\▿\left(\mathrm{\Δ}{p}_{\mathrm{rec}}(x,y+k)\right)|}\·\frac{{\▿}^{\⊥}{p}_{\mathrm{rec}}(x,y+k)}{\left|{\▿}^{\⊥}{p}_{\mathrm{rec}}(x,y+k)\right|}|\×|\▿p_{\mathrm{rec}}(x,y+k)|---\left(6\right)$

其中如果(x，y)指向外部边界，则p_rec(x，y)指的是(x，y)位置处的当前重建像素值，如果(x，y)指向内部边界内，则p_rec(x，y)指的是可能的候选块。是梯度算子，

是与梯度方向正交的方向的正规算子，

是拉普拉斯算子。在一个典型实施例中，这些相关的算子可以计算如下：

$\left|{\▿}^{\⊥}{p}_{\mathrm{rec}}(x,y)\right|=|\▿p_{\mathrm{rec}}(x,y)=\sqrt{{\left[\frac{\∂p_{\mathrm{rec}}(x,y)}{\∂x}\right]}^2+{\left[\frac{\∂p_{\mathrm{rec}}(x,y)}{\∂y}\right]}^2}$

$\frac{\∂p_{\mathrm{rec}}(x,y)}{\∂x}=\frac{p_{\mathrm{rec}}(x+1,y)-p_{\mathrm{rec}}(x-1,y)}{2}$

$\frac{\∂p_{\mathrm{rec}}(x,y)}{\∂y}=\frac{p_{\mathrm{rec}}(x,y+1)-p_{\mathrm{rec}}(x,y-1)}{2}$

$\frac{{\∂}^2{p}_{\mathrm{rec}}(x,y)}{{\∂}^{2}x}=p_{\mathrm{rec}}(x+1,y)+p_{\mathrm{rec}}(x-1,y)-2p_{\mathrm{rec}}(x,y)$

$\frac{{\∂}^2{p}_{\mathrm{rec}}(x,y)}{{\∂}^{2}y}=p_{\mathrm{rec}}(x,y+1)+p_{\mathrm{rec}}(x,y-1)-2p_{\mathrm{rec}}(x,y)---\left(7\right)$

等式(6)中，(▽(Δ·))/(|(▽(Δ·))|)代表拉普拉斯估计的归一化梯度，(▽^⊥·)/(|▽^⊥|)是沿切线方向的归一化矢量。如果跨边界的结构被合适地匹配，两项应当彼此正交并且内积为零。但是，如果匹配不当，两项的内积的绝对值往往会变大，引起内积变大。此外，对于等式(6)中的每个像素，内积被乘以梯度幅值|▽·|，这往往会使得EDD的数值范围和SDD的数值范围具有可比性。内积还反映了边界处的块的状况。

对于CS中的每个预测器，对应的参考块用于计算BME。那些具有较少BME的预测器包括在RCS中。例如，在具有mv_Scol、mv_SH.264和mv_Snei的尺寸-3的CS的特例中，去除具有最大BME的预测器，RCS中包括其他两个预测器。

E.自适应模板匹配

本发明的另一方面为：确定自适应候选集；通过匹配技术减少候选集以节约索引的位数；开发自适应模板形状和宽度策略；执行基于最小MVD的猜测策略和全部MV编码过程；MV编码中利用自适应模板匹配作为匹配技术。此外，本发明提供了基于相关性和相似性标准确定模板形状和宽度的策略，该策略适用于多种应用，例如但不限于运动矢量编码。

本发明的进一步的方面还包括：

基于模板与当前数据之间可能的相关性确定用于当前数据空间的模板形状，例如，在如H.264的基于块的视频压缩***中，如果宏块由率-失真标准分为不同分区(这意味着不同分区之间的相关性可以很低)，本分区的模板可能不包括另一分区内的像素；

基于模板内的一致性确定用于当前数据空间的模板尺寸，例如，计算可能的模板内部之差，如果与当前数据空间离得远的像素不类似于与当前数据空间离得近的像素，则可以从模板中去除离得远的像素；而

模板匹配技术可以包括但不限于，利用基于候选的位移，计算当前数据空间的模板与参考画面中基于位移的模板之间的差。

图3表示模板匹配的示范性模板。模板匹配已在以下文章中说明：S.Kamp，M.Evertz和M.Wien的“Decoder side motion vector derivation for inter framevideo coding”，出自IEEE国际图像处理会议(IEEE International Conference onImage Processing)，pp.1120-1123，2008，在此通过参考引入。为了获得当前块的良好预测，绕目标块的左边界和上边界限定L形的模板区(TR)。限定模板宽度M_left和M_up为延伸到模板区的目标左边和上边的像素的宽度。为了测试当前块的模板与对应于MVP的候选块的模板之间的相似性，仅需要计算两个模板的绝对差和(sum of absolute difference，简称SAD)。当模板属于与当前块相同的对象时，如果MVP给出的模板SAD很小，可以合理推测对应于MVP的块也可以提供当前块的良好预测。

但是，如果模板区中的一些部分属于具有不同运动的另一对象，即使MVP良好，这仍会得出一个大模板SAD。一个实施例中，为避免这种情况，不使用固定尺寸的M_left和M_up，而是基于模板与目标块之间的可能的相关性和模板内部的相似性，使用自适应的模板形状和宽度。在较佳实施例中，由于能给出更有意义的模板SAD，所以使用大模板。但是任何属于不同当前块所属对象的像素应不包括在该模板中。

L形模板包含两部分：上方部分和左侧部分。术语“左侧模板”指的是L形模板的左侧部分。类似的，术语“上方模板”指的是L形模板的上侧部分。典型地，我们允许模板为L形模板、左侧模板或上方模板。

在具有mv_Scol、mv_SH.264和mv_Snei的尺寸-3的CS的示范性实施例中，我们根据当前块与其相邻块之间的相关性将模板形状选择策略限定如下：

如果(blocktype＝P16*16)

则使用左侧模板和上方模板；

否则如果(blocktype＝P16*8)/*具有上方16x8的分区和下方16x8的分区*/

则上方分区使用左侧模板和上方模板，下方分区仅使用左侧模板；

否则如果(blocktype＝P8*16)/*具有左侧8x16的分区，右侧8x16的分区*/则

左侧分区与使用左侧模板和上方模板，右侧分区仅使用上方模板；

否则如果(blocktype＝P8*8)/*具有四个8x8的分区，其中一些可以再分为更小的尺寸为4x8、8x4、4x4的分区*/

则当前MB的左上角处分区使用左侧模板和上方模板，

当前MB的左边界处分区仅使用左侧模板，

当前MB的上边界处分区仅使用上方模板，

其他分区使用左侧模板和上方模板。

该策略的原因也是我们希望将宏块(MB)分为不同分区的原因。不同的分区之间往往具有相对较低的相关性或者不同的运动情况。所以当使用模板SAD选出良好MVP时，将另一分区中的像素包括在模板中可能会对所选出的良好MVP的正确性带来风险。但是也能使用其他的模板形状选择策略。

如果当前块平滑，则需要模板中的像素具有类似的亮度和平滑性。如果当前块是纹理块，则需要模板中的像素具有类似的纹理。如果当前块具有边缘，则需要模板中的像素具有边缘，该边缘是块内的边缘的延伸，并且模板中边缘两侧上的像素类似于块内的像素。换句话说，根据模板与块之间的一致性或类似性设置模板宽度。

在具有mv_Scol、mv_SH.264和mv_Snei的尺寸-3的CS的示范性实施例中，将模板宽度的构造标准限定如下：

图4表示模板宽度等于4的示范性模板。

模板的最大宽度是N＝4；/*也就是模板具有N排像素*/

计算模板中相邻的排之间的差。以上方模板为例，如图4所示，计算：

SAD12＝1排与2排之间的绝对值差之和(SAD)；

SAD23＝2排与3排之间的SAD；

SAD34＝3排与4排之间的SAD；

如果(SAD12＞SAD23+阈值1)

上方模板仅包括1排；否则

如果(SAD23＞SAD12+阈值2‖SAD12＞SAD34+阈值3)

上方模板包括1排和2排；否则

如果(SAD34＞SAD12+阈值2)

上方模板包括1排、2排、3排；

否则

上方模板包括1排、2排、3排、4排；

同样的，使用相同的方法得到左侧模板的宽度。一旦对当前块设定了模板形状和宽度，具有相同形状和宽度的参考块的模板就用以计算模板SAD。参考画面中的较好匹配模板区域具有与当前模板之间较小的模板SAD。由于模板与当前块的空间相关性很高，所以有理由假设对应于较好匹配模板的块能为当前块提供良好预测。

在本发明中，对于CS中的每个预测器均计算对应的模板SAD。那些具有较少模板SAD的预测器包括在RCS中。例如，在具有mv_Scol、mv_SH.264和mv_Snei的尺寸-3的CS的特例中，去除具有最大模板SAD的预测器，RCS中包括其他两个预测器。

F.最终MVP决定

本发明的另一方面是对减少的候选集中的所有候选执行比较和计数过程，而每个比较和计数过程中都比较了候选和当前参数的差并编码最小的差。

在本发明中，根据设置的策略，经匹配技术减小后的候选集可能包含一个或多个MVP。例如，在具有mv_Scol、mv_SH.264和mv_Snei的尺寸-3的CS的特例中，RCS包含两个预测器。所以还需要从两个预测器中选出最终的预测器。现将当前块的最终MVP的pmv_opt限定如下：

${\mathrm{pmv}}_{\mathrm{opt}}=\arg \underset{{\mathrm{pmv}}_i}{\min }D(\mathrm{mv}-{\mathrm{pmv}}_i)---\left(8\right)$

其中pmv_i指的是包括在RCS中的第i个MVP，D(·)是用以测量距离的函数，mv代表当前块的运动矢量。当前块的最终MVD是(mv-pmv_opt)。

G.索引编码

本发明的另一方面是通过猜测策略编码候选的索引，该候选与当前参数相比具有最小的差。猜测策略是基于已编码的最小的差和减少的候选集：一般而言，对N个候选产生N个可能的参数，随后基于最小的差的标准为每个可能的参数重新选择最佳候选和获得新的最小差。如果此最佳候选与产生该可能参数的候选相同(新最小差也同时和原来已经编码的最小差相等)，则该候选可能；否则设定该候选为不可能。如果可能的候选仅有一个，则不需要编码索引，否则需要编码索引。

当RCS中所有MVP都相同时，不需要索引通知选定。否则，需要一个或多个位通知最终MVP的索引。但是，最优的MVP可以在一些情况下在解码器处获得，不需要传送索引。以下说明了最优的MVP如何获得：HyunDuk Cho，Sung Deuk Kim的“Method for coding motion vector using 2-dimentionalminimum bitrate predicting technique”，第7023919B2号美国专利，2006年4月，此处通过参考引入其公开内容。提出了猜测策略。不同的是本实施例使用最小化MVD作为标准，代替以最小位速率作为标准，后者在不同MVD具有相同位速率时效率不高。

在本实施例中，假设经过匹配技术后，候选集中剩余预测器的数目为N，并且已经确定了最佳预测器和MVD。对于每个预测器MVP_i，首先假设其是最终预测器，从而可以得到一个新的运动矢量(MVP_i的值加上MVD)。对此新的运动矢量根据差最小的标准来重新在N个预测器中选择最优的一个，如果选择的是MVP_i，则说明MVP_i是有可能的，否则MVP_i是不可能的。

以具有mv_Scol、mv_SH.264和mv_Snei(RCS中具有2个MVPmv_BM1和mv_BM2)的尺寸-3的CS的示范性实施例作为实例，表示如何工作：

步骤1：获得两个可能的运动矢量MV1＝MVD+mv_BM1和MV2＝MVD+mv_BM2；

步骤2：假设MV1是真实的运动矢量，根据等式8选择用于MV1的最佳预测器。如果用于MV1的最佳预测器是mv_BM1，则设置flag_BM1＝1，否则flag_BM1＝0；

步骤3：假设MV2是真实的运动矢量，根据等式8选择用于MV2的最佳预测器。如果用于MV2的最佳预测器是mv_BM2，则设置flag_BM2＝1，否则flag_BM2＝0；

步骤4：如果((flag_BM1＝1 && flag_BM2＝1)‖(flag_BM1＝0&&flag_BM2＝0))，将传送最终MVP的索引。否则不传送索引，根据flag_BM1和flag_BM2可以获得最佳预测器。

图5表示用于MVCBM的流程图。在将边界匹配用作匹配技术以进行运动矢量编码的示范性实施例中：

在编码器侧

MVCBM(编码器)：

步骤501：计算成比例缩放的中间预测器(mv_SH.264)、共址预测器(mv_Scol)和与邻近预测器中的中间预测器最不相同的预测器(mv_Snei)，但是通过与等式(1)类似的方法将共址预测器(mv_Scol)和邻近预测器成比例缩放。

步骤503：利用边界匹配选择两个预测器(mv_bm1和mv_bm2)进入具有较少的边界匹配误差的减少的候选集(RCS)。当然也可以选择多于两个探测器。

步骤505：基于最小的MVD标准，在mv_bm1与mv_bm2之间为当前块选择最终MVP，得到MVD。

步骤507：基于当前MVD，利用猜测策略判断是否能探测到正确的MVP；如果能探测到正确的MVP，不需要在随后编码并发送位作为索引；否则需要在随后编码并发送1位作为索引(在边界匹配后预测器的数目大于2，则作为索引的位可以大于1)；

步骤509：编码MVD和其他信息，在不能探测到正确的MVP的情况下还需要编码索引。其他信息例如包括编码块模式(Coded Block Pattern，简称CBP)、量化的残差等。

所述步骤509中，在实际的编码流程中，宏块里所有分区的MVP索引是放在一起编码输出的，并且是在整个宏块编码输出的最后面。这样做的原因在于在解码端，在重建过程中才考虑解码MVP索引，而之前宏块其他信息都已经被解码了。

在解码器侧

MVCBM(解码器)：

步骤511：解码MVD和其他信息，开始重建当前块。其他信息例如包括例如包括CBP、量化的残差等。

步骤513和步骤515与编码器的步骤501、503相同。

步骤517：基于解码的MVD，利用猜测策略判断能否确定MVP；如果无法确定哪一个是MVP，则解码1位为索引。

步骤519：利用MVP和MVD得到当前块的MV。

图6表示MVCATM的流程图。在将自适应模板匹配用作运动矢量编码的匹配技术的另一示范性实施例中：

编码器侧

MVCATM(编码器)

步骤601：计算成比例缩放的中间预测器(mv_SH.264)、共址预测器(mv_Scol)和与邻近预测器中的中间预测器最不相同的预测器(mv_Snei)，但是通过与等式(1)类似的方法将共址预测器(mv_Scol)和邻近预测器成比例缩放。

步骤603：基于模板与目标块之间可能的类似性和相关性，为当前块限定具有自适应形状和宽度的模板；

步骤605：利用自适应模板匹配选择具有较少模板SAD的两个预测器(mv_tm1和mv_tm2)。

步骤607：基于最小的MVD标准，在mv_tm1与mv_tm2之间为当前块选择最终MVP，得到MVD。

步骤609：基于当前MVD，利用猜测策略判断是否能探测到正确的MVP；如果能探测到正确的MVP，不需要在随后编码并发送位作为索引；否则需要在随后编码并发送1个位作为索引；

步骤611：编码MVD和其他信息，在不能探测到正确的MVP的情况下还需要编码索引。其他信息例如包括CBP、量化的残差等。

解码器侧

MVCATM(解码器)：

步骤621：解码MVD和其他信息，开始重建当前块。其他信息例如包括CBP、量化的残差等。

步骤623、步骤625和步骤627：与在编码器侧的步骤601、603、605相同。

步骤629：基于解码的MVD，利用猜测策略判断能否确定MVP；如果无法确定哪一个是MVP，则为索引解码1位。

步骤631：利用MVP和MVD得到当前块的MV。

图7表示视频编码***的一个实施例的方框图。本发明是在运动估计(ME)后执行运动矢量编码(MVC)。运动矢量将会提供给宏块，如果该宏块是帧间预测(inter-prediction，简称Inter-Pred)型。如果宏块是帧内预测(Intra-Pred)型，则一个运动矢量也不需要。通过变换(T)变换残量并通过量化(Q)量化残量给出量化的残量。通过熵编码将MVD与量化的残量以及需要传输的索引一起编码，将用于传输的输出送到解码器。在量化的残量上执行解量化(Q-1)和逆变换(T-1)。重建的残量加入到ME得到的预测块的结果中以给出参考图像。

图8表示视频解码***的一个实施例的方框图。解码的宏块是帧间预测(Inter-Pred)型时，进一步解码MVD。通过熵解码来解码位流以获得解码的残差。通过解量化(Q-1)解量化解码的残量并通过逆变换(T-1)逆变换以给出信号。在重建过程中执行运动矢量编码方法的解码(DMVC)。如果DMVC中的猜测策略无法确定运动矢量预测器(MVP)，则可能需要进一步解码额外的索引。DMVC产生的MV用于运动补偿(MC)中。MC的结果加入信号给出重建的帧。

图9表示了根据本发明实施例的一种运动矢量编码装置，包括以下部分：

901、第一选择模块，用以选择组成候选集的预测器；

903、第一处理模块，接收所述第一选择模块的预测器的候选集，用以利用匹配方法减少所述候选集中的预测器的数目；

905、第二选择模块，与所述第一处理模块连接，接收所述候选集中的剩余预测器，基于最小运动矢量差的标准在所述剩余预测器中选定最优的预测器；

907、第二处理模块，与所述第二选择模块连接，根据选定的最优的预测器得到当前运动矢量差；

909、探测模块，与所述第二处理模块和第一处理模块连接，基于从第一处理模块中得到的剩余的预测器和当前运动矢量差，利用猜测策略探测运动矢量预测器；

911、判断模块，与所述探测模块连接，如果探测模块的探测结果为探测到正确的运动矢量预测器，则将判断结果发送到编码模块；

913、编码模块，接收所述判断结果，编码至少当前运动矢量差或者编码至少当前运动矢量差和索引。

图10表示了更加本发明实施例的一种运动矢量解码装置，包括以下部分：

1001、接收模块，接收至少已编码的运动矢量差；

1003、第一解码模块，连接所述接收模块，根据接收的至少已编码的运动矢量差，解码运动矢量差；

1005、第一选择模块，用以选择组成候选集的预测器；

1007、第一处理模块，接收所述第一选择模块的预测器的候选集，用以利用匹配方法减少所述候选集中的预测器的数目；

1009、判断模块，连接所述第一处理模块与所述第一解码模块，基于所述候选集中剩余预测器和解码的运动矢量差，利用猜测策略判断能否确定运动矢量预测器；

1011、第二解码模块，连接所述判断模块，根据所述判断结果解码索引；

1013、分析模块，连接所述第一处理模块和第二解码模块，根据解码的索引判定运动矢量预测器；

1015、第二处理模块，连接所述判断模块、所述第一解码模块和所述分析模块，根据判断结果，利用解码的运动矢量差和已解码确定的运动矢量预测器得到运动矢量；或者利用解码的运动矢量差和已判定的运动矢量预测器得到运动矢量。

一般说来，视频编解码以及运动矢量编解码的多种实施方式能在多种终端设备或用户设备中实施，终端设备或用户设备包括但不限于手机及其他无线通信装置、个人数字助理(PDA)、便携式和台式计算机、图像/视频装置(如数码照相机)、音频-视频(AV)设备(如视频播放器)、游戏装置、允许访问及可能的浏览的因特网或局域网(LAN)装置、以及这些功能相结合的可移动的单元或装置。

本发明的实施例可以以软件、硬件、应用逻辑或者软件、硬件与应用逻辑组合的方式实施。软件、应用逻辑和/或硬件可以存留于集成电路芯片、模块或存储器上。如果需要的话，一部分软件、硬件和/或应用逻辑可以存留于集成电路芯片上，一部分软件、硬件和/或应用逻辑可以存留于模块上，以及一部分软件、硬件和/或应用逻辑可以存留于存储器上。在一个示例中，应用逻辑、软件或指令集存留在各种常规计算机可读介质中的任何一种内。本发明的上下文中，“计算机可读介质”可以是任意媒质或装置，其包含、存储、通信、传播或传送指令以供指令执行***、装置或设备(如计算机)使用或与指令执行***、装置或设备共同使用。计算机可读介质可以包括计算机可读存储媒质，其可以是含有或存储指令的任意媒质或装置以供指令执行***、装置或设备(如计算机)使用或与指令执行***、装置或设备共同使用。

如果需要的话，此处讨论的不同功能可以以彼此不同的次序和/或同时执行。此外，如果需要的话，上述功能的一个或多个可以是任选的或可以组合。

尽管独立权利要求中指出的本发明的多个方面，本发明的其他方面包括上述实施例中的特征及其组合和/或具有独立权利要求的特征的从属权利要求，而不仅是权利要求中明确给出的组合。

此处还应注意在以上说明本发明的示范性实施例的同时，这些说明不应当看做是限制的意思。还可以做出多种变换和改进而不背离权利要求限定的本发明的范围。

Claims (15)

1.一种运动矢量编码方法，其特征在于，包括以下步骤：

步骤1：限定预测器的候选集，其中所述预测器基于与所述运动矢量相邻的运动矢量自适应的变化；

步骤2：利用匹配方法减少所述候选集中的预测器的数目以减少索引使用的位数；

步骤3：基于最小运动矢量差的标准在所述候选集中的剩余预测器中选定最优的预测器，并得到当前运动矢量差；

步骤4：基于剩余预测器和当前运动矢量差，利用猜测策略探测运动矢量预测器以进一步节约用于编码索引的位数；

步骤5：判断是否能探测到正确的运动矢量预测器，如果探测到正确的运动矢量预测器，则编码至少当前运动矢量差，如果无法探测到正确的运动矢量预测器，则对至少当前运动矢量差和索引进行编码。

2.根据权利要求1所述的一种运动矢量编码方法，其特征在于，所述匹配方法为边界匹配方法或自适应模板匹配方法。

3.根据权利要求2所述的一种运动矢量编码方法，其特征在于，所述边界匹配方法为，将对应于所述候选集中的预测器的一部分数据粘贴到当前数据空间，得到边界匹配误差，去除所述候选集中边界匹配误差最大的一个或多个预测器。

4.根据权利要求2所述的一种运动矢量编码方法，其特征在于，所述自适应模板匹配方法为，基于自适应模板与当前数据之间可能的相关性确定用于当前数据空间的自适应模板的形状；或者基于自适应模板内的一致性确定用于当前数据空间的自适应模板的尺寸。

5.根据权利要求4所述的一种运动矢量编码方法，其特征在于，所述自适应模板匹配方法还包括利用基于候选集中预测器对应的位移，计算当前数据空间的模板与参考画面中位移后的数据空间的模板之间的差。

6.根据权利要求4所述的一种运动矢量编码方法，其特征在于，自适应模板匹配方法中，所述自适应模板的宽度和形状已指定。

7.根据权利要求1所述的一种运动矢量编码方法，其特征在于，所述步骤5之后，如果探测到正确的运动矢量预测器，则发送至少已编码的当前运动矢量差；如果无法探测到正确的运动矢量预测器，则发送至少已编码的当前运动矢量差和已编码的作为索引的位。

8.根据权利要求1所述的一种运动矢量编码方法，其特征在于，所述预测器的候选集包括若干成比例的空间和时间预测器。

9.根据权利要求1所述的一种运动矢量编码方法，其特征在于，所述步骤1中，与所述运动矢量相邻的运动矢量为与所述运动矢量时间相邻、空间相邻、时间与空间相邻或基于分析策略相邻的运动矢量。

10.根据权利要求9所述的一种运动矢量编码方法，其特征在于，步骤4中的猜测策略，所述剩余预测器的数目至少为1个，对每个剩余预测器和当前运动矢量差产生一个中间参数，基于最小运动矢量差的标准为每个中间参数重新选择待选的预测器，如果重新选择的待选的预测器与产生该中间参数的剩余预测器相同，则判定该剩余预测器为可选预测器，如果可选预测器的数目为1个，则该可选预测器为正确的运动矢量预测器。

11.一种解码已编码的运动矢量的方法，所述已编码的运动矢量被如权利要求1所述的方法编码，其特征在于，包括以下步骤：

步骤1：解码运动矢量差；

步骤2：限定预测器的候选集，其中所述预测器基于与所述运动矢量相邻的运动矢量自适应的变化；

步骤3：利用匹配方法减少所述候选集中的预测器的数目；

步骤4：基于所述候选集中的剩余预测器和解码的运动矢量差，利用猜测策略判断能否确定运动矢量预测器；

步骤5：如果能确定运动矢量预测器，则利用至少解码的运动矢量差和已确定的运动矢量预测器得到运动矢量；如果不能确定运动矢量预测器，则解码索引并判定运动矢量预测器，利用至少解码的运动矢量差和已判定的运动矢量预测器得到运动矢量。

12.根据权利要求11所述的一种解码已编码的运动矢量的方法，其特征在于，所述匹配方法与编码时采用的匹配方法相同。

13.根据权利要求12所述的一种解码已编码的运动矢量的方法，其特征在于，所述匹配方法为边界匹配方法或自适应模板匹配方法。

14.一种运动矢量编码装置，其特征在于包括以下部分：

第一选择模块，用以选择组成候选集的预测器；

第一处理模块，接收所述第一选择模块的预测器的候选集，用以利用匹配方法减少所述候选集中的预测器的数目；

第二选择模块，与所述第一处理模块连接，接收所述候选集中的剩余预测器，基于最小运动矢量差的标准在所述剩余预测器中选定最优的预测器；

第二处理模块，与所述第二选择模块连接，根据选定的最优的预测器得到当前运动矢量差；

探测模块，与所述第二处理模块和第一处理模块连接，基于接收的所述候选集中的剩余预测器和当前运动矢量差，利用猜测策略探测运动矢量预测器；

判断模块，与所述探测模块连接，如果探测模块的探测结果为探测到正确的运动矢量预测器，则将判断结果发送到编码模块；

编码模块，接收所述判断结果，编码至少当前运动矢量差或者编码至少当前运动矢量差和索引。

15.一种运动矢量解码装置，其特征在于包括以下部分：

接收模块，接收至少已编码的运动矢量差；

第一解码模块，连接所述接收模块，根据接收的至少已编码的运动矢量差，解码运动矢量差；

第一选择模块，用以选择组成候选集的预测器；

第一处理模块，接收所述第一选择模块的预测器的候选集，用以利用匹配方法减少所述候选集中的预测器的数目；

判断模块，连接所述第一处理模块与所述第一解码模块，基于所述候选集中的剩余预测器和解码的运动矢量差，利用猜测策略判断能否确定运动矢量预测器；

第二解码模块，连接所述判断模块，根据所述判断结果解码索引；

分析模块，连接所述第一处理模块和第二解码模块，根据解码的索引判定运动矢量预测器；

第二处理模块，连接所述判断模块、所述第一解码模块和所述分析模块，根据判断结果，利用解码的运动矢量差和已解码确定的运动矢量预测器得到运动矢量；或者利用解码的运动矢量差和已判定的运动矢量预测器得到运动矢量。

Images