CN103609121B

CN103609121B - 统一合并模式和自适应运动向量预测模式候选者选择

Info

Publication number: CN103609121B
Application number: CN201280030359.2A
Authority: CN
Inventors: 郑云非; 翔林·王; 马尔塔·卡切维奇
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2011-06-20
Filing date: 2012-06-05
Publication date: 2017-09-01
Anticipated expiration: 2032-06-05
Also published as: BR112013032601A2; UA111971C2; CN103609121A; KR20170016994A; AU2012273399A1; RU2014101348A; CA2839249C; CN103609123A; US20120320969A1; AU2012273398B2; BR112013032601B1; KR102010097B1; EP2721817B1; IL229718A0; MX2013014932A; KR20140017020A; BR112013032110B1; AU2012273399B2; CN103609123B; JP6254136B2

Abstract

本发明提议一种用于在帧间预测中使用的自适应运动向量预测AMVP模式和合并模式两者的统一候选块集合。一股来说，使用同一候选块集合，而不管使用哪种运动向量预测模式(例如，合并模式或AMVP模式)。在本发明的其它实例中，候选块集合中的一个候选块经指明为额外候选块。如果其它候选块中的一者为不可用的，那么使用所述额外候选块。又，本发明提议一种检查样式，其中在检查左下方候选块之前检查左侧候选块。又，在检查右上方候选块之前检查上方候选块。

Description

统一合并模式和自适应运动向量预测模式候选者选择

本申请案主张以下各美国临时申请案的权利：2011年7月11日申请的第61/506,558号美国临时申请案、2011年6月20日申请的第61/499,114号美国临时申请案，以及2011年7月18日申请的第61/509,007号美国临时申请案，所有上述申请案在此以其全文引用的方式并入本文中。

技术领域

本发明涉及视频译码，且更明确地说，涉及用于在运动向量预测过程中选择运动向量预测候选块的技术。

背景技术

数字视频能力可并入到广泛范围的装置中，广泛范围的装置包含数字电视、数字直播***、无线广播***、个人数字助理(PDA)、膝上型或桌上型计算机、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置等等。数字视频装置实施视频压缩技术以更有效率地发射、接收及存储数字视频信息，视频压缩技术例如以下各标准中所描述的视频压缩技术等：由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4(第10部分，高级视频译码(AVC))定义的标准、目前在开发中的高效率视频译码(HEVC)标准，以及此类标准的扩展。

视频压缩技术包含空间预测和/或时间预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频帧或切片分割成多个块。可进一步分割每一块。经帧内译码(I)帧或切片中的块是使用相对于同一帧或切片中的相邻块中的参考样本的空间预测来编码。经帧间译码(P或B)帧或切片中的块可使用相对于同一帧或切片中的相邻块中的参考样本的空间预测或相对于其它参考帧中的参考样本的时间预测。空间预测或时间预测导致对块的预测性块译码。残余数据表示待译码的原始块与预测性块之间的像素差。

经帧间译码块是根据指向形成预测性块的参考样本的块的运动向量以及指示经译码块与预测性块之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式和残余数据来编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生接着可进行量化的残余变换系数。可以特定次序来扫描最初以二维阵列布置的经量化的变换系数以产生变换系数的一维向量以用于进行熵译码。

发明内容

一股来说，本发明描述用于译码视频数据的技术。本发明描述用于在运动向量预测过程中选择运动向量预测候选块的技术。

在本发明的一个实例中，一种在视频译码过程中编码运动向量的方法包括：确定用于运动向量预测过程的多种模式中的一者，以及使用所述所确定模式和候选块集合执行用于视频数据的当前块的所述运动向量预测过程，其中所述候选块集合对于所述多种模式中的每一者相同。

在本发明的另一实例中，一种在视频译码过程中解码运动向量的方法包括：确定用于视频数据的当前块的运动向量预测过程的多种模式中的一者，以及确定来自候选块集合的候选块，其中所述候选块集合对于所述多种模式中的每一者相同，且其中与所述候选块相关联的信息用以解码用于所述当前块的运动向量。

在本发明的另一实例中，一种在视频译码过程中编码运动向量的方法包括：确定用于运动向量预测过程的多种模式中的一者，以及使用所述所确定模式和候选块集合确定用于视频数据的当前块的所述运动向量预测过程，其中所述候选块集合对于所述多种模式中的每一者相同，其中所述候选块集合中的一个候选块经指明为额外候选块，且其中在所述候选块集合中的所述候选块中的另一候选块不可用的情况下，使用所述额外候选块。

在本发明的另一实例中，一种在视频译码过程中解码运动向量的方法包括：接收指示用于视频数据的当前块的运动向量预测过程的多种模式中的一者的语法元素，以及接收指示来自候选块集合的候选块的索引，其中所述候选块集合对于所述多种模式中的每一者相同，其中所述候选块集合中的一个候选块经指明为额外候选块，其中在所述候选块集合中的所述候选块中的另一候选块不可用的情况下，使用所述额外候选块，且其中与所述候选块相关联的信息用以解码用于所述当前块的运动向量。

在随附图式和下文描述中阐述一个或一个以上实例的细节。其它特征、目标和优点将从所述描述和图式以及从权利要求书显而易见。

附图说明

图1A为说明用于根据自适应运动向量预测(AMVP)模式的运动向量预测的候选块的概念图式。

图1B为说明用于根据合并模式的运动向量预测的候选块的概念图式。

图2为说明实例视频编码及解码***的框图。

图3为说明实例视频编码器的框图。

图4A为用于合并模式的发信号信息的概念图式。

图4B为用于AMVP模式的发信号信息的概念图式。

图5A为说明根据本发明的一个实例的用于AMVP和合并模式的候选块的概念图式。

图5B为说明根据本发明的另一实例的用于AMVP和合并模式的候选块的概念图式。

图6为说明根据本发明的另一实例的用于AMVP和合并模式的候选块的概念图式。

图7为说明根据本发明的另一实例的用于AMVP和合并模式的候选块和检查样式的概念图式。

图8为说明实例视频解码器的框图。

图9为说明编码视频的实例方法的流程图。

图10为说明在合并模式中编码视频的实例方法的流程图。

图11为说明在AMVP模式中编码视频的实例方法的流程图。

图12为说明解码视频的实例方法的流程图。

图13为说明在合并模式中解码视频的实例方法的流程图。

图14为说明在AMVP模式中解码视频的实例方法的流程图。

图15为说明编码视频的另一实例方法的流程图。

图16为说明解码视频的另一实例方法的流程图。

图17为说明在合并模式中解码视频的另一实例方法的流程图。

图18为说明在AMVP模式中解码视频的另一实例方法的流程图。

具体实施方式

一股来说，本发明描述用于译码视频数据的技术。本发明描述用于在运动向量预测过程中选择运动向量预测候选块的技术。在一个实例中，本发明提议：多个运动向量预测模式中的每一者使用同一候选块集合来预测用于当前块的运动向量。在另一实例中，本发明提议：候选块集合中的一个候选块经指明为额外候选块。如果集合中的所述块中的另一块为不可用的，那么使用所述额外候选块。

数字视频装置实施视频压缩技术以更有效率地编码及解码数字视频信息。视频压缩可应用空间(帧内)预测和/或时间(帧间)预测技术以减少或去除视频序列中固有的冗余。

对于根据当前正由视频译码联合合作小组(JCT-VC)开发的高效率视频译码(HEVC)标准的视频译码，可将视频帧分割成多个译码单元。译码单元(CU)一股是指用作对其应用各种译码工具以实现视频压缩的基本单元的图像区。CU通常具有表示为Y的明度分量，以及表示为U和V的两个色度分量。取决于视频取样格式，依据样本的数目来计的U和V分量的大小可与Y分量的大小相同或不同。CU通常为方形，且可被视为类似于(例如)例如ITU-T H.264等其它视频译码标准下的所谓的宏块。

为了实现更好的译码效率，译码单元可具有取决于视频内容的可变大小。另外，可将译码单元***成多个较小块以用于预测或变换。明确地说，可将每一译码单元进一步分割成多个预测单元(PU)和变换单元(TU)。预测单元可被视为类似于例如H.264等其它视频译码标准下的所谓的分割。变换单元(TU)是指对其应用变换以产生变换系数的残余数据块。

为了说明的目的，将在本申请案中描述根据在开发中的HEVC标准的目前所提议的方面中的一些方面的译码。然而，本发明中所描述的技术可用于其它视频译码过程，例如根据H.264或其它标准定义的视频译码过程或专有视频译码过程等。

HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的模型。HM假定视频译码装置优于根据(例如)ITU-T H.264/AVC的装置的若干能力。举例来说，鉴于H.264提供九个帧内预测编码模式，HM提供多达三十四个帧内预测编码模式。

根据HM，CU可包含一个或一个以上预测单元(PU)和/或一个或一个以上变换单元(TU)。位流内的语法数据可定义最大译码单元(LCU)，其为依据像素的数目来计的最大CU。一股来说，除了CU不具有大小分布以外，CU具有类似于H.264的宏块的目的。因此，可将CU***成多个子CU。一股来说，本发明中对CU的参考可指图片的最大译码单元或LCU的子CU。可将LCU***成多个子CU，且可将每一子CU进一步***成多个子CU。用于位流的语法数据可定义可将LCU***的最大次数，其被称作CU深度。因此，位流也可定义最小译码单元(SCU)。本发明也使用术语“块”或“部分”来指CU、PU或TU中的任一者。一股来说，“部分”可指视频帧的任一子集。

LCU可与四叉树数据结构相关联。一股来说，四叉树数据结构每一CU包含一个节点，其中根节点对应于LCU。如果将CU***成四个子CU，那么对应于CU的节点包含四个叶节点，所述四个叶节点中的每一者对应于所述子CU中的一者。四叉树数据结构的每一节点可提供用于对应CU的语法数据。举例来说，四叉树中的节点可包含***旗标，所述***旗标指示对应于所述节点的CU是否***成多个子CU。可以递归方式定义用于CU的语法元素，且用于CU的语法元素可取决于CU是否***成多个子CU。如果CU未经进一步***，那么CU被称作叶CU。

此外，叶CU的TU也可与相应四叉树数据结构相关联。即，叶CU可包含指示如何将叶CU分割成多个TU的四叉树。本发明提及指示如何将LCU分割为CU四叉树的四叉树，以及指示如何将叶CU分割成多个TU作为TU四叉树的四叉树。TU四叉树的根节点一股对应于叶CU，而CU四叉树的根节点一股对应于LCU。未经***的TU四叉树的TU被称作叶TU。

叶CU可包含一个或一个以上预测单元(PU)。一股来说，PU表示对应CU的全部或一部分，且可包含用于检索用于PU的参考样本的数据。举例来说，当PU经帧间模式编码时，PU可包含定义用于PU的运动向量的数据。定义运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、用于运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考帧，和/或用于运动向量的参考列表(例如，列表0或列表1)。用于定义PU的叶CU的数据也可描述(例如)将CU分割成一个或一个以上PU。分割模式可取决于CU未经预测性地译码、经帧内预测模式编码还是经帧间预测模式编码而不同。对于帧内译码，可将PU视为与下文所描述的叶变换单元相同。

为了译码块(例如，视频数据的预测单元(PU))，首先导出用于块的预测子。预测子可经由帧内(I)预测(即，空间预测)或帧间(P或B)预测(即，时间预测)来导出。因此，一些预测单元可使用相对于同一帧中的相邻参考块的空间预测来进行帧间译码(I)，且其它预测单元可相对于其它帧中的参考块进行帧间译码(P或B)。

在识别预测子后，便计算原始视频数据块与其预测子之间的差。此差也被称为预测残余，且是指待译码的块的像素与参考块的对应像素之间的像素值差(即，预测子)。为了实现更好的压缩，一股例如使用离散余弦变换(DCT)、整数变换、卡南-洛伊夫(Karhunen-Loeve)(K-L)变换或其它变换来变换预测残余(即，像素差值阵列)。

使用帧间预测译码PU涉及计算当前块与参考帧中的块之间的运动向量。经由被称为运动估计(或运动搜索)的过程来计算运动向量。运动向量(例如)可指示当前帧中的预测单元相对于参考帧的参考样本的位移。参考样本可为发现依据像素差来说紧密匹配包含经译码的PU的CU的部分的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。参考样本可出现于参考帧或参考切片内的任何处。在一些实例中，参考样本可出现于分数像素位置处。在寻找到最好地匹配当前部分的参考帧的一部分后，编码器便确定用于当前部分的当前运动向量为从当前部分到参考帧中的匹配部分的位置差(即，从当前部分的中心到匹配部分的中心)。

在一些实例中，编码器可在经编码视频位流中用信号发出用于每一部分的运动向量。用信号发出的运动向量由解码器使用以执行运动补偿以便解码视频数据。然而，直接用信号发出原始运动向量可导致较低效率的译码，这是因为输送信息通常需要大量位。

在一些情况下，不是直接用信号发出原始运动向量，而是编码器可预测用于每一分割(即，用于每一PU)的运动向量。在执行此运动向量预测中，编码器可选择根据与当前部分相同的帧中的空间上相邻块确定的候选运动向量集合或根据参考帧中的处于相同位置的块确定的候选运动向量。编码器可执行运动向量预测，且在需要时，用信号发出预测差而不是用信号发出原始运动向量以减少发信号中的位速率。来自空间上相邻块的候选运动向量可被称作空间MVP候选者，而来自另一参考帧中处于相同位置的块的候选运动向量可被称作时间MVP候选者。

在HEVC标准的当前工作草案中提议两种不同模式或类型的运动向量预测。一种模式被称作“合并”模式。另一种模式被称作自适应运动向量预测(AMVP)。在合并模式中，编码器通过预测语法的位流发信号指导解码器复制运动向量、参考索引(其在给定参考图片列表中识别参考帧，运动向量指向所述参考帧)以及运动预测方向(其识别参考图片列表(列表0或列表1)，即，依据参考帧在时间上在当前帧之前还是之后)(从用于帧的当前部分的选定候选运动向量)。此操作通过在位流中用信号发出到候选运动向量列表的索引来完成，所述索引识别选定候选运动向量(即，特定空间MVP候选者或时间MVP候选者)。因此，对于合并模式，预测语法可包含识别模式(在此情况下，为“合并”模式)的旗标，以及识别选定候选运动向量的索引。在一些情况下，候选运动向量将在参考当前部分的表示原因的部分中。即，候选运动向量将已经由解码器解码。因而，解码器已经接收及/或确定用于表示原因的部分的运动向量、参考索引及运动预测方向。因而，解码器可仅从存储器检索与表示原因的部分相关联的运动向量、参考索引及运动预测方向，且复制这些值作为用于当前部分的运动信息。为了在合并模式中重新建构块，解码器使用所导出的用于当前部分的运动信息获得预测性块，且将残余数据加到预测性块以重新建构经译码块。

在AMVP中，编码器通过位流发信号指导解码器仅从候选部分复制运动向量且使用所复制的向量作为用于当前部分的运动向量的预测子，且用信号发出运动向量差(MVD)。分别用信号发出与当前部分的运动向量相关联的参考帧和预测方向。MVD为用于当前部分的当前运动向量与从候选部分导出的运动向量预测子之间的差。在此情况下，编码器使用运动估计确定用于待译码的块的实际运动向量，且接着确定实际运动向量与运动向量预测子之间的差作为MVD值。以此方式，解码器不使用候选运动向量的确切复本作为当前运动向量(如在合并模式中)，而是可改为使用值可能“接近”根据运动估计确定的当前运动向量的候选运动向量且加上MVD来再生当前运动向量。为了在AMVP模式中重新建构块，解码器添加对应残余数据以重新建构经译码块。

在大多数情况下，与整个当前运动向量相比较，用信号发出MVD需要较少位。因而，与发送整个运动向量相比较，AMVP允许对当前运动向量的更精确的发信号，同时维持译码效率。与此对比，合并模式并不允许MVD的规范，且因而，合并模式牺牲运动向量发信号的准确性以实现增加的发信号效率(即，较少位)。用于AMVP的预测语法可包含用于模式的旗标(在此情况下，为AMVP旗标)、用于候选部分的索引、当前运动向量与来自候选部分的预测性运动向量之间的MVD、参考索引，以及运动预测方向。

一旦执行运动估计以确定用于当前部分的运动向量，编码器便比较参考帧中的匹配部分与当前部分。此比较通常涉及从当前部分中减去参考帧中的部分(其通常被称作“参考样本”)且产生所谓的残余数据，如上文所提及。残余数据指示当前部分与参考样本之间的像素差值。编码器接着将此残余数据从空间域变换到例如频域等变换域。通常，编码器对残余数据应用离散余弦变换(DCT)以完成此变换。编码器执行此变换以便促进残余数据的压缩，这是因为所得变换系数表示不同频率，其中大部分能量通常集中于少数低频系数上。

通常，所得变换系数是以实现变动长度编码的方式分群在一起，尤其在变换系数首先经量化(舍入)的情况下。编码器执行经量化的变换系数的此变动长度编码且接着执行统计无损失(或所谓的“熵”)编码以进一步压缩经变动长度译码的经量化的变换系数。

在执行无损失熵译码之后，编码器产生包含经编码视频数据的位流。此位流在某些情况下也包含若干预测语法元素，其指定(例如)是否执行运动向量预测、运动向量模式以及运动向量预测子(MVP)索引(即，具有选定运动向量的候选部分的索引)。MVP索引也可被称作其语法元素变量名称“mvp_idx”。

在由ITU-T/ISO/IEC视频译码联合合作小组(JCT-VC)提议采用的当前设计(其被称作高效率视频译码(HEVC))中，编码器执行若干运动向量预测模式，通过所述运动向量预测模式预测用于当前部分的运动向量，所述运动向量预测模式包含1)AMVP和2)合并模式(上文所描述)。这些两种模式为类似的，但AMVP提供更多灵活性(依据能够定义MVD、运动预测方向和参考索引来说)，而合并模式仅复制此运动向量信息(即，运动向量、运动预测方向和参考索引)且并不允许MVD的增加的精度。

图1A展示当前在HEVC标准中提议用于在AMVP模式中使用的候选块集合100(或PU的部分/块)，而图1B展示当前在HEVC标准中提议用于在合并模式中使用的候选块集合110。AMVP模式使用六个候选块：左下方(BL)块101、左侧(L)块102、右上方(RA)块103、上方(A)块104、左上方(LA)块105，以及时间块(T)106。应注意，除候选块集合之外，AMVP模式也指定检查候选块的次序。在图1A的实例中，检查样式如下进行：BL-L-RA-A-LA-T。如图1B中所展示，合并模式使用五个候选块：左下方(BL)块111、左侧(L)块112、右上方(RA)块113、上方(A)块114，以及时间(T)块115。与这些候选块相关联的运动向量用于在合并模式和AMVP模式中确定运动向量预测子。合并模式可使用与AMVP类似的检查样式，或可使用不同的检查样式。

如上文所论述，AMVP模式使用六个候选块，而合并模式使用五个候选块。又，除右上方(RA)块、左下方(BL)块及时间(T)块以外，用于AMVP模式和合并模式的候选块处于不同位置。因而，在编码过程和解码过程两者期间必须存储及考虑大量候选块。又，用于AMVP的检查样式可能并非最佳的，这是因为左下方块在所有情况下可能不可用。这些情况包含左下方块尚未被译码时(例如，其跨越切片或CU边界)或用于左下方块的数据被损坏的情况。

在本发明中，提议用于AMVP模式和合并模式两者的统一候选块集合。一股来说，使用同一候选块集合，而不管使用哪种运动向量预测模式(例如，合并模式或AMVP模式)。因而，存储运动向量和其它帧间预测相关信息(例如，参考帧、预测方向等)需要较少存储器。在本发明的其它实例中，提议用于使用包含额外候选块的候选块集合的技术。又，也揭示用于更佳检查样式的技术。

图2为说明根据本发明的实例的可经配置以利用用于运动向量预测的技术的实例视频编码及解码***10的框图。如图2中所展示，***10包含源装置12，其经由通信信道16将经编码视频发射到目的地装置14。经编码视频数据也可存储在存储媒体34或文件服务器36上且可在需要时由目的地装置14存取。当存储到存储媒体或文件服务器时，视频编码器20可将经译码视频数据提供到另一装置，例如网络接口、压缩光盘(CD)、蓝光或数字视频光盘(DVD)刻录机或压印设施装置或其它装置等，以用于将经译码视频数据存储到存储媒体。同样，与视频解码器30分离的装置(例如网络接口、CD或DVD读取器等等)可从存储媒体检索经译码视频数据且将所检索的数据提供到视频解码器30。

源装置12和目的地装置14可包括广泛多种装置中的任一者，广泛多种装置包含桌上型计算机、笔记型计算机(即，膝上型计算机)、平板计算机、机顶盒、电话手机(例如所谓的智能电话等)、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台等等。在许多情况下，此类装置可经装备用于无线通信。因此，通信信道16可包括适合于发射经编码视频数据的无线信道、有线信道或无线信道和有线信道的组合。类似地，文件服务器36可由目的地装置14通过任何标准数据连接(包含因特网连接)存取。此情形可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。

根据本发明的实例的用于运动向量预测的技术可应用于支持多种多媒体应用中的任一者的视频译码，多种多媒体应用例如空中电视广播、有线电视传输、***传输、流式视频传输(例如，经由因特网)、用于存储在数据存储媒体上的数字视频的编码、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，***10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频播放、视频广播和/或视频电话等应用。

在图2的实例中，源装置12包含视频源18、视频编码器20、调制器/解调器22以及发射器24。在源装置12中，视频源18可包含例如以下各者等源：视频俘获装置(例如摄像机等)、含有先前俘获的视频的视频存档、接收来自视频内容提供者的视频的视频馈送接口，和/或用于产生计算机图形数据作为源视频的计算机图形***，或此类源的组合。作为一个实例，如果视频源18为摄像机，那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而，本发明中所描述的技术一股可适用于视频译码，且可适用于无线和/或有线应用，或经编码视频数据存储在本地磁盘上的应用。

所俘获的视频、经预先俘获的视频或计算机产生的视频可由视频编码器20来编码。经编码的视频信息可由调制解调器22根据例如无线通信协议等通信标准来调制，且经由发射器24而发射到目的地装置14。调制解调器22可包含各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。发射器24可包含经设计以用于发射数据的电路，包含放大器、滤波器以及一个或一个以上天线。

由视频编码器20编码的所俘获的视频、经预先俘获的视频或计算机产生的视频也可存储到存储媒体34或文件服务器36上以供稍后消耗。存储媒体34可包含蓝光光盘、DVD、CD-ROM、快闪存储器，或用于存储经编码视频的任何其它合适的数字存储媒体。存储在存储媒体34上的经编码视频可接着由目的地装置14存取以用于解码及播放。

文件服务器36可为能够存储经编码视频及将所述经编码视频传输到目的地装置14的任何类型的服务器。实例文件服务器包含web服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置、本地磁盘驱动器，或能够存储经编码视频数据及将经编码视频数据传输到目的地装置的任何其它类型的装置。来自文件服务器36的经编码视频数据的传输可为流式传输、下载传输或两者的组合。文件服务器36可由目的地装置14通过任何标准数据连接(包含因特网连接)存取。此情形可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器、以太网、USB等)或两者的组合。

在图2的实例中，目的地装置14包含接收器26、调制解调器28、视频解码器30以及显示装置32。目的地装置14的接收器26经由信道16接收信息，且调制解调器28解调所述信息以产生用于视频解码器30的经解调位流。经由信道16传达的信息可包含由视频编码器20产生以供视频解码器30在解码视频数据中使用的多种语法信息。此语法也可包含在存储在存储媒体34或文件服务器36上的经编码视频数据中。视频编码器20和视频解码器30中的每一者可形成能够编码或解码视频数据的相应编码器-解码器(CODEC)的部分。

显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置且也经配置以与外部显示装置建立接口。在其它实例中，目的地装置14可为显示装置。一股来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，多种显示装置例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

在图2的实例中，通信信道16可包括任何无线或有线通信媒体，例如射频(RF)频谱或一个或一个以上物理传输线，或无线和有线媒体的任何组合。通信信道16可形成基于包的网络的部分，例如局域网、广域网或例如因特网等全球网络等。通信信道16一股表示任何合适的通信媒体或不同通信媒体的集合，其用于将视频数据从源装置12发射到目的地装置14，包含有线或无线媒体的任何合适连接。通信信道16可包含路由器、交换机、基站，或可用于促进从源装置12到目的地装置14的通信的任何其它装备。

视频编码器20和视频解码器30可根据视频压缩标准操作，视频压缩标准例如目前在开发中的高效率视频译码(HEVC)标准，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据其它专有或行业标准操作，例如ITU-T H.264标准(其或者被称作MPEG-4第10部分，高级视频译码(AVC))，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。其它实例包含MPEG-2和ITU-T H.263。

尽管图2中未展示，但在一些方面，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当MUX-DEMUX单元，或其它硬件和软件，以处置共同数据流或单独数据流中的音频和视频两者的编码。在可适用的情况下，在一些实例中，MUX-DEMUX单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者，多种合适的编码器电路例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地以软件来实施技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且在硬件中使用一个或一个以上处理器来执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一个或一个以上编码器或解码器中，编码器或解码器中的任一者可作为相应装置中的组合式编码器/解码器(CODEC)的部分而集成。

视频编码器20可实施本发明的技术中的任一者或全部以用于进行视频编码过程中的运动向量预测。同样地，视频解码器30可实施这些技术中的任一者或全部以用于进行视频译码过程中的运动向量预测。如本发明中所描述，视频译码器可指视频编码器或视频解码器。类似地，视频译码单元可指视频编码器或视频解码器。同样地，视频译码可指视频编码或视频解码。

在本发明的一个实例中，源装置12的视频编码器20可经配置以确定用于运动向量预测过程的多种模式中的一者，以及使用所述所确定模式和候选块集合执行用于视频数据的当前块的所述运动向量预测过程，其中所述候选块集合对于所述多种模式中的每一者相同。

在本发明的另一实例中，源装置12的视频编码器20可经配置以确定用于视频数据的当前块的运动向量预测过程的多种模式中的一者，以及使用所述所确定模式和候选块集合确定用于所述当前块的所述运动向量预测过程，其中所述候选块集合对于所述多种模式中的每一者相同，且其中所述候选块集合中的一个候选块经指明为额外候选块，且其中在所述候选块集合中的所述候选块中的另一候选块不可用的情况下，使用所述额外候选块。

在本发明的另一实例中，目的地装置14的视频解码器30可经配置以接收指示用于视频数据的当前块的运动向量预测过程的多种模式中的一者的语法元素，以及接收指示来自候选块集合的候选块的索引，其中所述候选块集合对于所述多种模式中的每一者相同，且其中与所述候选块相关联的信息用以解码用于所述当前块的运动向量。

在本发明的另一实例中，目的地装置14的视频解码器30可经配置以接收指示用于视频数据的当前块的运动向量预测过程的多种模式中的一者的语法元素，以及接收指示来自候选块集合的候选块的索引，其中所述候选块集合对于所述多种模式中的每一者相同，其中所述候选块集合中的一个候选块经指明为额外候选块，其中在所述候选块集合中的所述候选块中的另一候选块不可用的情况下，使用所述额外候选块，且其中与所述候选块相关联的信息用以解码用于所述当前块的运动向量。

图3为说明视频编码器20的实例的框图，视频编码器20可使用如本发明中所描述的用于运动向量预测的技术。为了说明的目的，将在HEVC译码的上下文中描述视频编码器20，但并无本发明关于可能需要扫描变换系数的其它译码标准或方法的限制。视频编码器20可执行视频帧内的CU的帧内和帧间译码。帧内译码依赖于空间预测以减少或去除给定视频帧内的视频数据中的空间冗余。帧间译码依赖于时间预测以减少或去除视频序列的当前帧与先前经译码帧之间的时间冗余。帧内模式(I模式)可指若干基于空间的视频压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指若干基于时间的视频压缩模式中的任一者。

如图3中所展示，视频编码器20接收待编码的视频帧内的当前视频块。在图3的实例中，视频编码器20包含运动补偿单元44、运动估计单元42、帧内预测单元46、参考帧缓冲器64、求和器50、变换模块52、量化单元54，以及熵编码单元56。图3中所说明的变换模块52为对残余数据块应用实际变换或变换组合的结构或设备，且不应与变换系数块混淆，所述变换系数块可被称作CU的变换单元(TU)。对于视频块重新建构，视频编码器20也包含逆量化单元58、逆变换模块60以及求和器62。也可包含解块滤波器(图3中未展示)以对块边界进行滤波以将方块效应假影从经重新建构的视频中去除。在需要时，解块滤波器通常将对求和器62的输出进行滤波。

在编码过程期间，视频编码器20接收待译码的视频帧或切片。可将帧或切片划分成多个视频块，例如，最大译码单元(LCU)。运动估计单元42和运动补偿单元44相对于一个或一个以上参考帧中的一个或一个以上块执行所接收视频块的帧间预测性译码以提供时间压缩。帧内预测单元46可相对于与待译码块相同的帧或切片中的一个或一个以上相邻块执行所接收视频块的帧内预测性译码以提供空间压缩。

模式选择单元40可(例如)基于每一种模式的误差(即，失真)结果而选择译码模式(帧内模式或帧间模式)中的一者，且将所得经帧内或经帧间预测块(例如，预测单元(PU))提供到求和器50以产生残余块数据，且提供到求和器62以重新建构经编码块以用于在参考帧中使用。求和器62组合所预测块与来自逆变换模块60的用于块的经逆量化的经逆变换的数据以重新建构经编码块，如下文更详细描述。可将一些视频帧指明为I帧，其中I帧中的所有块是在帧内预测模式中进行编码。在一些情况下，例如，当由运动估计单元42执行的运动搜索并不产生所述块的足够预测时，帧内预测单元46可执行P帧或B帧中的块的帧内预测编码。

运动估计单元42和运动补偿单元44可高度集成，但为了概念目的而分别加以说明。运动估计(或运动搜索)为产生估计视频块的运动的运动向量的过程。运动向量(例如)可指示当前帧中的预测单元相对于参考帧的参考样本的位移。运动估计单元42通过比较经帧间译码帧的预测单元与存储在参考帧缓冲器64中的参考帧的参考样本来计算用于所述预测单元的运动向量。参考样本可为发现依据像素差来说紧密匹配包含经译码的PU的CU的部分的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。参考样本可出现在参考帧或参考切片内的任何处。在一些实例中，参考样本可出现在分数像素位置处。

通过运动向量识别的参考帧的部分可被称作参考样本。运动补偿单元44可(例如)通过检索通过用于PU的运动向量识别的参考样本来计算用于当前CU的预测单元的预测值。在一些视频编码技术中，运动估计单元42将所计算的运动向量、参考帧和预测方向(例如，依据参考帧在时间上在当前帧之前还是之后来说的方向)发送到熵编码单元56和运动补偿单元44。其它视频编码技术利用运动向量预测过程来编码运动向量。可从包含合并模式和AMVP模式的多种模式当中选择运动向量预测过程。

在合并模式中，编码器考虑候选块集合且选择具有与当前块相同(或最紧密匹配)的运动向量、参考帧和预测方向的块。此情形是通过以下操作来完成：依次检查每一候选块，及选择一旦将其运动向量、参考帧和预测方向复制到当前块便产生最好的速率失真性能的候选块。接着，不是在经编码视频位流中用信号发出此运动向量信息(即，运动向量、参考帧和预测方向)，而是编码器用信号发出用于选定候选块的索引号。解码器可从通过用信号发出的索引号指示的候选块复制运动向量信息且使用所复制的运动向量信息用于当前块。图4A展示合并模式发信号的实例。合并旗标201指示正使用合并模式。候选块索引202指示将使用经定义用于合并模式的候选块集合中的候选块中的哪一候选块来检索用于当前块的运动向量信息。

应注意，在某些情况下，为了满足用于合并模式候选者集合的候选者的指定数目，可产生一些“假的”运动向量信息以填充候选者集合。可通过来自不同候选块的运动向量信息的部分组合来产生“假的”运动向量信息。举例来说，可组合来自候选块1的列表0运动向量与来自候选者2的列表1运动向量，以及参考帧索引和预测方向，以形成候选者集合中的新运动向量信息。在一些其它实例中，也可添加零运动向量作为额外运动向量信息以填充候选者集合。然而，不管如何形成候选者集合，在合并模式中，仅需要将到候选者集合的索引用信号发出到解码器以指示选择哪个候选者来提供用于当前块的运动向量信息。在解码器侧，形成相同候选者集合且可通过用信号发出的到候选者集合的索引来识别运动向量信息。

在AMVP模式中，编码器考虑候选块集合且选择产生导致最好的速率失真或满足某一预定阈值(例如，速率失真阈值)的运动向量差(即，相应候选块的运动向量与当前块的实际运动向量之间的差)的块。AMVP模式可以检查样式考虑候选块，直到找到令人满意的候选者且选择所述令人满意的候选者为止。或者，在一些实例中，可检查所有候选块，且选择产生最好结果的候选块作为用于待译码的块的MVP。编码器可接着用信号发出用以产生运动向量差的候选块的索引以及运动向量差。解码器可接着通过将所接收的运动向量差加到从通过用信号发出的索引指示的候选块检索的运动向量来重新创建用于当前块的运动向量。图4B展示AMVP模式发信号的实例。AMVP模式旗标205指示正使用AMVP模式。候选块索引206指示将使用经定义用于AMVP模式的候选块集合中的候选块中的哪一候选块来检索运动向量。AMVP模式也用信号发出运动向量差207、参考帧208和预测方向209。在一些实例中，不是明确地用信号发出参考帧和预测方向，而是改为从与候选块相关联的运动向量信息中检索参考帧和预测方向。

在上文所描述的实例中，在经编码位流中用信号发出运动向量信息并不需要实时地将此类元素从编码器传输到解码器，而是意味着：将此信息编码到位流中且使得可由解码器以任何方式来存取。此情形可包含实时传输(例如，在视频会议中)以及将经编码位流存储在计算机可读媒体上以供解码器未来使用(例如，流式传输、下载、磁盘存取、卡存取、DVD、蓝光光盘等)。

根据本发明的实例，合并模式和AMVP模式利用相同候选块集合(即，依据块的数目和位置两者来说)。因而，编码器和解码器两者可减少存储用于候选块的运动向量信息所需的存储器的量。其也可减少在当前块的译码过程期间在检索那些运动向量中的存储器带宽要求。

在本发明的第一实例中，合并模式和AMVP模式两者使用图5A中所展示的相同候选块集合120。在此实例中，合并模式现在将使用六个候选块而不是五个候选块。然而，用于合并模式和AMVP模式两者的候选块的总数得以减少，这是因为两种模式使用相同位置中的候选块。在此实例中，候选块处于以下位置中：左下方(BL)121位置、左侧(L)122位置、左上方(LA)125位置、上方(A)124位置、右上方(RA)123位置，以及时间(T)126位置，如图5A中所展示。在此实例中，左侧候选块122邻近当前块127的左侧边缘。左侧块122的下边缘与当前块127的下边缘对准。上方块124邻近当前块127的上边缘。上方块124的右侧边缘与当前块127的右侧边缘对准。

在本发明的第二实例中，AMVP模式和合并模式使用图5B中所展示的候选块集合130。在此实例中，用于AMVP模式的候选块的数目减少到5。实现了候选块的进一步减少，这是因为合并模式和AMVP模式两者现在使用相同位置中的候选块。在此实例中，候选块处于以下位置中：左下方(BL)131位置、左侧(L)132位置、上方(A)134位置、右上方(RA)133位置，以及时间(T)135位置。应注意，上方块134和左侧块132的位置不同于图5A的实例中的上方块124和左侧块122的位置。在此实例中，左侧候选块132邻近当前块137的左侧边缘。左侧块132的上边缘与当前块137的上边缘对准。上方块134邻近当前块137的上边缘。上方块134的左侧边缘与当前块137的左侧边缘对准。在一个实例中，用于AMVP模式的检查样式如下进行：BL-L-RA-A-T。

在本发明的第三实例中，合并模式和AMVP模式使用图6中所展示的候选块集合140。在此实例中，候选块的数目得以减少；此情形是通过以下两者来实现：通过将用于每一种模式的总数减少到5，以及通过统一用于两种模式的候选块位置。在此实例中，候选块处于以下各者中：左下方(BL)141、左侧(L)142、上方(A)143、右上方(RA)144，以及时间(T)145。在此实例中，左侧候选块142邻近当前块147的左侧边缘。左侧块142的下边缘与当前块147的下边缘对准。上方块143邻近当前块147的上边缘。上方块143的右侧边缘与当前块147的右侧边缘对准。

在另一实例中，本发明描述一种用于AMVP模式的改进的检查样式。如图7中所展示，例如，检查样式如下进行：L-BL-A-RA-LA-T。不是在BL候选块处开始，如图1A中所展示，而是图7中的实例在L候选块处开始。左侧块一股与当前块更相关，这是因为视频内容通常在水平方向上移动。首先检查L候选块，这是因为BL候选块在所有情形中可能不可用(即，可能已经被译码)。另外，在检查RA候选块之前检查A候选块，这是因为与RA候选块的情形相比较，已展示A候选块的运动向量具有与当前块的运动向量的更高的统计相关性。

合并模式可使用图7中所展示的相同检查样式，或可使用不同检查样式。作为一个实例，用于合并模式的检查样式可如下进行：L-A-RA-BL-(LA)-T。在此实例中，包含LA块为可选的或自适应的，此取决于前四个候选块中的一者是否不可用。

参考图5A的候选块集合展示图7的实例。然而，此检查样式可适用于任何候选集合。一股来说，应在检查左下方候选块之前检查左侧候选块。接下来，应在检查右上方候选块之前检查上方候选块。可接着以任何次序检查任何剩余候选块。在一些实例中，可最后检查时间候选块。

在本发明的另一实例中，揭示用于合并模式和AMVP两者的灵活额外候选者。如图5A的实例中所展示，存在五个空间候选块(即，L、BL、A、RA和LA)和一个时间候选块(即，T)，总共六个候选块。在对HEVC标准的先前提议中，用于合并模式的候选块的最大数目为五。因而，可消除图5A中所展示的候选块中的一者以用于合并模式。在一个实例中，可将LA候选块定义为额外候选块(即，其最初不被视为用于合并模式的候选块集合的部分)。

然而，如上文所提及，并非所有候选块在所有情形中可用。举例来说，当译码当前块时，BL候选块可能尚未被译码。另外，用于一些候选块的数据可能变得被损坏或可能根本未接收到(例如，在实时解码中)。因而，本发明提议在发现集合中的候选块不可用的情形中利用额外候选块。以此方式，保持候选者的总数处于最大极限，而不浪费对不可用候选者的检查。

在一个实例中，在可适用时，编码器或解码器首先检查L和BL候选者。如果这些候选块中的一者无效(例如，被损坏)或不可用，那么可改为使用额外候选块(例如，LA)。如果L和BL候选块两者有效，那么检查A和RA候选块。如果这些候选块中的一者无效或不可用，那么可改为使用LA候选块。如果A和RA候选块两者有效，那么将不使用LA候选块。在此实例中，将LA候选块用作额外候选块。然而，可使用相对于当前块来说的任何表示原因的位置(即，在相对于当前块的位置中，其中已经译码候选块)中的任何额外候选块。

在另一实例中，将使用图5A中所展示的所有候选块。对于合并模式，在候选块的最大数目为N(其中N小于6)的情况下，将检查样式中的前N个可用候选块用作用于合并模式的候选块。在图5A的实例中，存在六个候选块，检查样式为L-A-RA-BL-LA-T。检查样式中的前N个可用候选块将形成用于合并模式的最终的候选块集合。在此实例中，检查样式为固定的。在另一实例中，可基于块大小、分割大小和/或分割索引而选择检查样式。在另一实例中，可在编码及解码期间自适应地更新检查样式。所述更新可取决于合并索引、运动向量预测模式、分割大小、分割索引，和/或先前经编码/解码的块的运动向量信息(例如，参考索引、运动向量差、运动向量预测子)。

根据另一实例，利用额外候选块的技术也可适用于AMVP模式。HEVC标准的当前工作草案中的AMVP模式已经允许检查图5A中所展示的所有六个候选块。然而，如上文所提及，这些候选块中的一些候选块可能不可用或无效。在此情况下，可定义额外合并候选者。此合并候选者可处于表示当前PU的原因的任何位置中。

返回图3，帧内预测单元46可对所接收块执行帧内预测，作为对由运动估计单元42和运动补偿单元44执行的帧间预测的替代。帧内预测单元46可相对于相邻的先前经译码块(例如，在当前块上方、右上方、左上方和左侧的块)预测所接收块(假定块的从左到右、从上到下的编码次序)。帧内预测单元46可经配置而具有多种不同帧内预测模式。举例来说，帧内预测单元46可经配置以基于经编码的CU的大小而具有某数目个定向预测模式，例如，三十四个定向预测模式。

帧内预测单元46可通过(例如)计算各种帧内预测模式的预测误差值及选择产生最低误差值的模式来选择帧内预测模式。定向预测模式可包含用于组合空间上相邻像素的值及将组合值应用于PU中的一个或一个以上像素位置的功能。一旦已计算用于PU中的所有像素位置的值，帧内预测单元46便可基于PU的所计算的或所预测的值与待编码的所接收原始块之间的像素差而计算预测模式的误差值。帧内预测单元46可继续测试帧内预测模式，直到发现产生可接受的误差值的帧内预测模式为止。帧内预测单元46可接着将PU发送到求和器50。

视频编码器20通过从经译码的原始视频块中减去由运动补偿单元44或帧内预测单元46计算的预测数据而形成残余块。求和器50表示执行此减法运算的一个或一个以上组件。残余块可对应于像素差值的二维矩阵，其中残余块中的值的数目与对应于残余块的PU中的像素的数目相同。残余块中的值可对应于PU与待译码的原始块中的处于相同位置的像素的值之间的差(即，误差)。对明度分量和色度分量两者应用此操作，因此差值可取决于经译码的块的类型而为色度差或明度差。

变换模块52可从残余块形成一个或一个以上变换单元(TU)。变换模块52从多个变换当中选择变换。可基于一个或一个以上译码特性(例如，块大小、译码模式等等)而选择变换。变换模块52接着对TU应用选定变换，从而产生包括变换系数的二维阵列的视频块。

变换模块52可将所得变换系数发送到量化单元54。量化单元54可接着使变换系数量化。熵编码单元56可接着根据扫描模式执行矩阵中的经量化的变换系数的扫描。本发明将熵编码单元56描述为执行扫描。然而，应理解，在其它实例中，例如量化单元54等其它处理单元可执行扫描。

一旦将变换系数扫描成一维阵列，熵编码单元56便可对系数应用熵译码，例如，上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)，或另一熵译码方法等。也可对语法元素应用熵译码，例如在合并模式和AMVP模式中使用的语法元素。

为了执行CAVLC，熵编码单元56可选择可变长度码用于待传输的符号。VLC中的代码字可经建构，使得相对较短代码对应于更可能的符号，而较长代码对应于不太可能的符号。以此方式，与(例如)使用等长度代码字用于待传输的每一符号相比较，使用VLC可实现位节省。

为了执行CABAC，熵编码单元56可选择上下文模型以应用于某种上下文以编码待传输的符号。在变换系数的情况下，上下文可与(例如)相邻值是否为非零有关。熵编码单元56也可熵编码语法元素，例如表示选定变换的信号。根据本发明的技术，熵编码单元56可基于(例如)以下各者而选择用以编码这些语法元素的上下文模型：用于帧内预测模式的帧内预测方向、对应于语法元素的系数的扫描位置、块类型，和/或变换类型，以及用于上下文模型选择的其它因素。

在由熵编码单元56进行熵译码之后，可将所得的经编码视频传输到另一装置(例如视频解码器30等)，或将所得的经编码视频存档以供稍后传输或检索。

在一些情况下，熵编码单元56或视频编码器20的另一单元可经配置以除熵译码之外还执行其它译码功能。举例来说，熵编码单元56可经配置以确定用于CU和PU的经译码块样式(CBP)值。又，在一些情况下，熵编码单元56可执行系数的变动长度译码。

逆量化单元58和逆变换模块60分别应用逆量化和逆变换，以在像素域中重新建构残余块，例如，以供稍后在重新建构参考块中使用。运动补偿单元44可通过将残余块加到由参考帧缓冲器64的多个帧中的一者形成的预测性块来计算参考块。运动补偿单元44也可对经重新建构的参考块应用一个或一个以上内插滤波器以计算用于运动估计中的子整数像素值。求和器62将经重新建构的残余块加到由运动补偿单元44产生的经运动补偿的预测块以产生经重新建构的视频块以用于存储在参考帧缓冲器64中。经重新建构的视频块可由运动估计单元42和运动补偿单元44作为参考块使用以对后续视频帧中的块进行帧间译码。

图8为说明解码经编码视频序列的视频解码器30的实例的框图。在图8的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、逆量化单元76、逆变换模块78、参考帧缓冲器82以及求和器80。在一些实例中，视频解码器30可执行一股与关于视频编码器20所描述的编码遍次(参见图3)互逆的解码遍次。

熵解码单元70对经编码位流执行熵解码过程以检索变换系数的一维阵列。所使用的熵解码过程取决于由视频编码器20使用的熵译码(例如，CABAC、CAVLC等)。可在经编码位流中用信号发出由编码器使用的熵译码过程或熵译码过程可为预定过程。

在一些实例中，熵解码单元70(或逆量化单元76)可使用镜射由视频编码器20的熵编码单元56(或量化单元54)使用的扫描模式的扫描来扫描所接收值。尽管对系数的扫描可在逆量化单元76中执行，但为了说明的目的，将扫描描述为由熵解码单元70执行。另外，尽管为了易于说明而展示为单独功能单元，但熵解码单元70、逆量化单元76和视频解码器30的其它单元的结构和功能性可彼此高度集成。

逆量化单元76使提供于位流中且由熵解码单元70解码的经量化的变换系数逆量化(即，解量化)。逆量化过程可包含常规过程，例如，类似于针对HEVC提议或由H.264解码标准定义的过程。逆量化过程可包含使用由视频编码器20针对CU计算的量化参数QP以确定量化的程度，且同样地，确定应应用的逆量化的程度。逆量化单元76可在将系数从一维阵列转换成二维阵列之前或之后，使变换系数逆量化。

逆变换模块78对经逆量化的变换系数应用逆变换。在一些实例中，逆变换模块78可基于来自视频编码器20的发信号或通过从一个或一个以上译码特性(例如，块大小、译码模式等等)推断出变换，来确定逆变换。在一些实例中，逆变换模块78可基于包含当前块的LCU的四叉树的根节点处的用信号发出的变换而确定应用于当前块的变换。或者，可在LCU四叉树中的叶节点CU的TU四叉树的根部用信号发出变换。在一些实例中，逆变换模块78可应用级联逆变换，其中逆变换模块78将两个或两个以上逆变换应用于正经解码的当前块的变换系数。

帧内预测单元74可基于用信号发出的帧内预测模式及来自当前帧的先前经解码块的数据而产生用于当前帧的当前块的预测数据。

根据本发明的实例，视频解码器30可从经编码位流中接收识别运动向量预测模式和相关联的运动向量信息的预测语法(例如，参见图4A和4B以及相关论述)。明确地说，视频解码器30可接收指示来自候选块集合的候选块的索引，其中所述候选块集合对于多种模式中的每一者相同，且其中与所述候选块相关联的信息用以解码用于当前块的运动向量。所述候选块集合可为图5A、图5B或图6中所展示的集合，或为表示当前块的原因的任何其它候选块集合。

在语法元素指示合并模式的情况下，视频解码器经进一步配置以检索与具有所接收索引的候选块相关联的运动向量、参考帧和预测方向，以及使用所检索的运动向量、参考帧和预测方向执行用于当前块的帧间预测过程。

在语法元素指示自适应运动向量预测(AMVP)模式的情况下，视频解码器经进一步配置以接收参考帧索引、运动向量差和指示预测方向的语法元素，检索与具有所接收索引的候选块相关联的候选运动向量，使用所述候选运动向量和运动向量差计算用于当前块的运动向量，以及使用所计算的运动向量、所接收的参考帧索引和所接收的预测方向执行帧间预测过程。

不管预测模式如何，一旦针对当前块确定预测方向、参考帧索引和运动向量，运动补偿单元便产生用于当前块的经运动补偿的块。这些经运动补偿的块基本上重新创建用以产生残余数据的预测性块。

运动补偿单元72可产生经运动补偿的块，从而可能执行基于内插滤波器的内插。用于待用于子像素精度的运动估计的内插滤波器的识别符可包含在语法元素中。运动补偿单元72可使用如在视频块的编码期间由视频编码器20使用的内插滤波器来计算用于参考块的子整数像素的内插值。运动补偿单元72可根据所接收的语法信息来确定由视频编码器20使用的内插滤波器，且使用所述内插滤波器来产生预测性块。

另外，在HEVC实例中，运动补偿单元72和帧内预测单元74可使用语法信息(例如，通过四叉树提供)中的一些语法信息来确定用以编码经编码视频序列的(多个)帧的LCU的大小。运动补偿单元72和帧内预测单元74也可使用语法信息来确定***信息，所述***信息描述如何***经编码视频序列的帧的每一CU(且同样地，如何***子CU)。语法信息也可包含指示如何编码每一CU的模式(例如，帧内预测或帧间预测，且对于帧内预测，为帧内预测编码模式)、用于每一经帧间编码的PU的一个或一个以上参考帧(和/或含有用于参考帧的识别符的参考列表)，以及解码经编码视频序列的其它信息。

求和器80组合残余块与由运动补偿单元72或帧内预测单元74产生的对应预测块以形成经解码块。实际上，经解码块重新建构最初经译码块，经受归因于量化或其它译码方面产生的损失。在需要时，也可应用解块滤波器以对经解码块进行滤波以便去除方块效应假影。接着将经解码视频块存储在参考帧缓冲器82中，参考帧缓冲器82提供用于后续运动补偿的参考块且也产生经解码视频以用于呈现在显示装置(例如图2的显示装置32等)上。

如上文所提及，本发明的技术可适用于编码器和解码器两者。一股来说，且根据上文的描述，编码器利用相同的候选块集合执行运动向量预测过程(例如，合并模式和AMVP模式)。解码器可接着基于所接收的语法元素使用由编码器使用的相同的候选块集合解码运动向量。通过统一用于所有运动向量预测模式的候选块，存储运动向量信息(例如，运动向量、预测方向、参考帧索引等)所需的存储器的量得以减少。在从那些候选块中检索运动向量信息中的存储器带宽要求也可得以减少。

图9为说明可由视频编码器(例如图3的视频编码器20等)来执行的编码视频的实例方法的流程图。视频编码器20可经配置以确定相对于用于视频数据的当前块的参考帧的运动向量900。视频编码器20也可确定用于运动向量预测过程的多种模式(例如，合并模式或AMVP)中的一者901，以及使用所确定模式和候选块集合执行用于视频数据的当前块的运动向量预测过程。所述候选块集合对于所述多种模式中的每一者相同。

所述多种模式可包含合并模式和自适应运动向量预测模式。图10说明在运动向量预测过程处于合并模式中时编码视频的实例方法。在此情况下，视频编码器经进一步配置以确定来自候选块集合的一旦将其运动向量、参考帧和预测方向复制到当前块便产生令人满意的速率失真性能的候选运动向量1001，以及用信号发出识别所述候选运动向量的索引1002。

在一个实例中，候选块集合可包含上方候选块、右上方候选块、左侧候选块、左下方候选块，以及时间候选块。左侧候选块邻近当前块的左侧边缘且左侧候选块的顶边缘与当前块的顶边缘对准。上方候选块邻近当前块的顶边缘且上方候选块的左侧边缘与当前块的左侧边缘对准。

在其它实例中，左侧候选块邻近当前块的左侧边缘且左侧候选块的底边缘与当前块的底边缘对准。上方候选块邻近当前块的顶边缘且上方候选块的右侧边缘与当前块的右侧边缘对准。

在另一实例中，候选块集合包含左上方候选块、上方候选块、右上方候选块、左侧候选块、左下方候选块，以及时间候选块。

图11说明在运动向量预测过程处于AMVP模式中时编码视频的实例方法。在此情况下，视频编码器经配置以确定来自候选块集合中的每一候选块的候选运动向量1101，以及根据检查样式计算当前块的运动向量与来自候选块中的每一者的候选运动向量之间的运动向量差1102。视频编码器也经配置以基于所计算的运动向量差而选择候选运动向量中的一者1103，以及用信号发出识别具有候选运动向量中的选定候选运动向量的候选块的索引，用信号发出关于候选运动向量中的选定候选运动向量计算的运动向量差，用信号发出参考帧，以及用信号发出预测方向1104。

在一个实例中，候选块集合包含上方候选块、右上方候选块、左侧候选块、左下方候选块，以及时间候选块。在此实例中，检查样式按以下次序进行：左下方候选块、左侧候选块、右上方候选块、上方候选块、时间候选块。

在另一实例中，候选块集合包含左上方候选块、上方候选块、右上方候选块、左侧候选块、左下方候选块，以及时间候选块。检查样式按以下次序进行：左侧候选块、左下方候选块、上方候选块、右上方候选块、左上方候选块、时间候选块。

图12为说明可由视频解码器(例如图3的视频解码器30等)来执行的解码视频的实例方法的流程图。视频解码器30可经配置以接收指示用于视频数据的当前块的运动向量预测过程的多种模式中的一者的语法元素1201，以及接收指示来自候选块集合的候选块的索引1202，其中所述候选块集合对于所述多种模式中的每一者相同，且其中与所述候选块相关联的信息用以解码用于所述当前块的运动向量。所述多种模式可包含合并模式和自适应运动向量预测模式。

图13为说明在运动向量预测过程为合并模式的情况下解码视频的实例方法的流程图。在此情况下，视频解码器经进一步配置以检索与具有所接收索引的候选块相关联的运动向量、参考帧和预测方向1301，以及使用所检索的运动向量、参考帧和预测方向对当前块执行帧间预测过程1302。

在一个实例中，候选块集合包含上方候选块、右上方候选块、左侧候选块、左下方候选块，以及时间候选块。左侧候选块邻近当前块的左侧边缘且左侧候选块的顶边缘与当前块的顶边缘对准。上方候选块邻近当前块的顶边缘且上方候选块的左侧边缘与当前块的左侧边缘对准。

在另一实例中，左侧候选块邻近当前块的左侧边缘且左侧候选块的底边缘与当前块的底边缘对准。上方候选块邻近当前块的顶边缘且上方候选块的右侧边缘与当前块的右侧边缘对准。

图14为说明在运动向量预测过程为AMVP模式的情况下解码视频的实例方法的流程图。在此情况下，视频解码器经配置以接收参考帧索引、运动向量差和指示预测方向的语法元素1401，以及检索与具有所接收索引的候选块相关联的候选运动向量1402。视频解码器经进一步配置以使用所述候选运动向量和所述运动向量差计算用于当前块的运动向量1403，以及使用所计算的运动向量、所接收的参考帧索引和所接收的预测方向执行帧间预测过程1404。

在一个实例中，候选块集合包含上方候选块、右上方候选块、左侧候选块、左下方候选块，以及时间候选块，且用于候选块集合的检查样式按以下次序进行：左下方候选块、左侧候选块、右上方候选块、上方候选块、时间候选块。

在另一实例中，候选块集合包含左上方候选块、上方候选块、右上方候选块、左侧候选块、左下方候选块，以及时间候选块，且用于候选块集合的检查样式按以下次序进行：左侧候选块、左下方候选块、上方候选块、右上方候选块、左上方候选块、时间候选块。

图15为说明可由视频编码器(例如图3的视频编码器20等)来执行的编码视频的另一实例方法的流程图。视频编码器20可经配置以确定相对于用于视频数据的当前块的参考帧的运动向量1501，确定用于视频数据的当前块的运动向量预测过程的多种模式中的一者1502，以及使用所确定模式和候选块集合执行用于当前块的运动向量预测过程，其中所述候选块集合对于所述多种模式中的每一者相同，且其中所述候选块集合中的一个候选块经指明为额外候选块1503。如果候选块集合中的所述候选块中的另一候选块为不可用的，那么使用所述额外候选块。视频编码器20可经进一步配置以基于合并索引、所确定模式、分割大小、参考帧索引、运动向量差以及运动向量预测中的一者或一者以上而更新检查样式1504。

所述多种模式可包含合并模式和自适应运动向量预测模式。合并模式可具有最大数目N个候选块以用于在执行运动向量预测过程中使用。在所述情况下，根据检查样式执行运动向量预测过程，所述检查样式定义检查候选块集合中的候选块中的每一者的次序。将候选块集合定义为根据检查样式的候选块集合中的前N个可用候选块。检查样式可基于块大小、分割大小和分割索引中的一者或一者以上。更具体来说，例如，可基于具有相同块大小、分割大小或分割索引等的若干先前经译码块中的候选者选择的统计而更新或修改针对每一不同块大小、分割大小或分割索引的检查样式。

在另一实例中，候选块集合包含左下方候选块、左侧候选块、上方候选块、右上方候选块、左上方候选块，以及时间候选块。在此实例中，额外候选块为左上方候选块。然而，额外候选块可为与当前块呈因果关系的任何候选块。

图16为说明可由视频解码器(例如图3的视频解码器30等)来执行的解码视频的另一实例方法的流程图。视频解码器30可经配置以接收指示用于视频数据的当前块的运动向量预测过程的多种模式中的一者的语法元素1601，以及接收指示来自候选块集合的候选块的索引，其中所述候选块集合对于所述多种模式中的每一者相同，且其中所述候选块集合中的一个候选块经指明为额外候选块1602。如果候选块集合中的所述候选块中的另一候选块为不可用的，那么使用所述额外候选块。与所述候选块相关联的信息用以解码用于当前块的运动向量。

所述多种模式可包含合并模式和自适应运动向量预测模式。图17描绘在所接收的语法元素指示使用合并模式的情况下解码的方法。在此情况下，视频解码器经进一步配置以检索与具有所接收索引的候选块相关联的运动向量、参考帧和预测方向1701，以及使用所检索的运动向量、参考帧和预测方向对当前块执行帧间预测过程1702。

可将合并模式定义为具有最大数目N个候选块以用于在执行运动向量预测过程中使用。在此情况下，可根据检查样式执行运动向量预测过程，所述检查样式定义检查候选块集合中的候选块中的每一者的次序。将候选块集合定义为根据检查样式的候选块集合中的前N个可用候选块。检查样式是基于块大小、分割大小和分割索引中的一者或一者以上。

在另一实例中，对于合并模式和AMVP模式两者，候选块集合可包含左下方候选块、左侧候选块、上方候选块、右上方候选块、左上方候选块，以及时间候选块。额外候选块为左上方候选块。然而，额外候选块可为与当前块呈因果关系的任何候选块。

图18描绘在所接收的语法元素指示使用AMVP模式的情况下解码的方法。在此情况下，视频解码器经进一步配置以接收参考帧索引、运动向量差和指示预测方向的语法元素1801，以及检索与具有所接收索引的候选块相关联的候选运动向量1802。视频解码器经进一步配置以使用所述候选运动向量和所述运动向量差计算用于当前块的运动向量1803，以及使用所计算的运动向量、所接收的参考帧索引和所接收的预测方向执行帧间预测过程1804。

在一个或一个以上实例中，可以硬件、软件、固件或其任何组合来实施所描述功能。如果以软件来实施，那么可将所述功能作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体而传输且由基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体，通信媒体包含(例如)根据通信协议促进计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体一股可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上处理器存取以检索指令、代码和/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。

以实例说明且非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。又，将任何连接适当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字用户线(DSL)或无线技术(例如红外线、无线电和微波等)而从网站、服务器或其它远程源传输指令，那么同轴电缆、光缆、双绞线、DSL或无线技术(例如红外线、无线电和微波等)包含在媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是有关非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘通过激光以光学方式再生数据。以上各者的组合亦应包含在计算机可读媒体的范围内。

可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或一个以上处理器来执行指令。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面，可将本文中所描述的功能性提供于经配置以用于编码及解码的专用硬件和/或软件模块内，或并入于组合式编码译码器中。又，所述技术可完全实施于一个或一个以上电路或逻辑元件中。

本发明的技术可在广泛多种装置或设备中予以实施，所述装置或设备包含无线手机、集成电路(IC)或IC集合(例如，芯片集)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必需要通过不同硬件单元来实现。更确切地说，如上文所描述，可将各种单元组合于编码译码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一个或一个以上处理器)的集合且结合合适软件和/或固件来提供所述单元。

已描述各种实例。这些和其它实例在所附权利要求书的范围内。

Claims

1.一种在视频译码过程中编码运动向量的方法，其包括：

确定用于待译码的视频数据的当前块的运动向量预测过程的多种模式中的一者；以及

使用所述所确定模式和候选块集合执行用于视频数据的所述当前块的所述运动向量预测过程，其中所述候选块集合对于所述多种模式中的每一者相同，

其中所述多种模式包含合并模式和自适应运动向量预测模式，且

其中所述候选块集合包含左上方候选块、上方候选块、右上方候选块、左侧候选块、左下方候选块，以及时间候选块。

2.根据权利要求1所述的方法，其中所述所确定模式为所述合并模式且其中所述方法进一步包括：

确定来自所述候选块集合的满足速率失真阈值的候选运动向量；以及

用信号发出识别所述候选运动向量的索引。

3.根据权利要求1所述的方法，其中所述所确定模式为所述自适应运动向量预测模式且其中所述方法进一步包括：

确定用于所述候选块集合中的每一候选块的候选运动向量；

根据检查样式计算用于所述当前块的运动向量与用于所述候选块中的每一者的所述候选运动向量之间的运动向量差；

基于所述所计算的运动向量差而选择所述候选运动向量中的一者；以及

用信号发出识别所述候选运动向量中的所述选定候选运动向量的索引、关于所述候选运动向量中的所述选定候选运动向量计算的所述运动向量差、参考帧和预测方向。

4.根据权利要求3所述的方法，

其中所述检查样式按从所述左侧候选块开始的次序进行。

5.根据权利要求3所述的方法，

其中所述检查样式按以下次序进行：从左侧候选块进行到左下方候选块，从上方候选块进行到右上方候选块。

6.根据权利要求3所述的方法，

其中所述检查样式按以下次序进行：左侧候选块、左下方候选块、上方候选块、右上方候选块、左上方候选块、时间候选块。

7.一种经配置以在视频译码过程中编码运动向量的设备，其包括：

视频编码器，其经配置以：

8.根据权利要求7所述的设备，其中所述所确定模式为所述合并模式且其中所述视频编码器经进一步配置以：

用信号发出识别所述候选运动向量的索引。

9.根据权利要求7所述的设备，其中所述所确定模式为所述自适应运动向量预测模式且其中所述视频编码器经进一步配置以：

确定用于所述候选块集合中的每一候选块的候选运动向量；

10.根据权利要求9所述的设备，

其中所述检查样式按从所述左侧候选块开始的次序进行。

11.根据权利要求9所述的设备，

12.根据权利要求9所述的设备，

13.一种经配置以在视频译码过程中编码运动向量的设备，其包括：

用于确定用于待译码的视频数据的当前块的运动向量预测过程的多种模式中的一者的装置；以及

用于使用所述所确定模式和候选块集合执行用于视频数据的所述当前块的所述运动向量预测过程的装置，其中所述候选块集合对于所述多种模式中的每一者相同，

14.一种在视频译码过程中解码运动向量的方法，其包括：

确定用于视频数据的当前块的运动向量预测过程的多种模式中的一者；以及

确定来自候选块集合的候选块，其中所述候选块集合对于所述多种模式中的每一者相同，其中与所述候选块相关联的信息用以解码用于所述当前块的运动向量，

15.根据权利要求14所述的方法，其进一步包括：

接收指示所述运动向量预测过程的语法元素，其中所述所接收的语法元素指示所述运动向量预测过程为所述合并模式；

接收指示所述候选块的索引；

检索与具有所述所接收索引的所述候选块相关联的运动向量、参考帧和预测方向；以及

使用所述所检索运动向量、参考帧和预测方向对所述当前块执行帧间预测过程。

16.根据权利要求14所述的方法，所述方法进一步包括：

接收指示所述运动向量预测过程的语法元素，其中所述所接收的语法元素指示所述运动向量预测过程为所述自适应运动向量预测模式；

接收指示所述候选块的索引；

接收参考帧索引、运动向量差和指示预测方向的语法元素；

检索与具有所述所接收索引的所述候选块相关联的候选运动向量；

使用所述候选运动向量和所述运动向量差计算用于所述当前块的运动向量；以及

使用所述所计算的运动向量、所述所接收的参考帧索引和所述所接收的预测方向执行帧间预测过程。

17.根据权利要求16所述的方法，

其中所述检查样式按从所述左侧候选块开始的次序进行。

18.根据权利要求16所述的方法，

19.根据权利要求16所述的方法，

20.一种经配置以在视频译码过程中解码运动向量的设备，其包括：

视频解码器，其经配置以：

21.根据权利要求20所述的设备，其中所述视频解码器经进一步配置以：

接收指示所述候选块的索引；

22.根据权利要求20所述的设备，其中所述视频解码器经进一步配置以：

接收指示所述候选块的索引；

接收参考帧索引、运动向量差和指示预测方向的语法元素；

23.根据权利要求22所述的设备，

其中所述检查样式按从所述左侧候选块开始的次序进行。

24.根据权利要求22所述的设备，

25.根据权利要求22所述的设备，

26.一种经配置以在视频译码过程中解码运动向量的设备，其包括：

用于确定用于视频数据的当前块的运动向量预测过程的多种模式中的一者的装置；以及

用于确定来自候选块集合的候选块的装置，其中所述候选块集合对于所述多种模式中的每一者相同，其中与所述候选块相关联的信息用以解码用于所述当前块的运动向量，