CN115152227A - 并行处理的选择性切换 - Google Patents

并行处理的选择性切换 Download PDF

Info

Publication number
CN115152227A
CN115152227A CN202080083450.5A CN202080083450A CN115152227A CN 115152227 A CN115152227 A CN 115152227A CN 202080083450 A CN202080083450 A CN 202080083450A CN 115152227 A CN115152227 A CN 115152227A
Authority
CN
China
Prior art keywords
prediction
block
current block
candidates
merge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080083450.5A
Other languages
English (en)
Inventor
陈俊嘉
萧裕霖
徐志玮
庄子德
陈庆晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN115152227A publication Critical patent/CN115152227A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

一视频解码器决定是否通过使用帧内块复制模式来编解码该当前块。该视频解码器识别一个或多个预测候选的一列表用于该当前块。当不通过使用帧内块复制模式来编解码该当前块时，位于与该当前块相同MER中的该当前块的一个或多个相邻块从该预测候选的列表被排除。当通过使用帧内块复制模式编解码该当前块以及预测候选的列表属于多个不同候选列表的一预定子集时，所识别预测候选的至少一个是位于该MER中该当前块的一空间相邻块。该视频解码器通过使用从该预测候选的列表选择的一预测候选来重构该当前块来生成该当前块的一预测。

Description

并行处理的选择性切换
交叉引用
本发明要求分别于2019年11月27日提交的序号为62/940,961的美国临时专利申请的优先权。所述美国临时专利申请在此通过引用将其全文并入。
技术领域
本发明通常涉及视频编解码。特别地，本发明涉及由合并模式在视频编解码期间的促进并行处理的方法。
背景技术
除非在此另有指示，本节所描述的方案不是下文列出申请专利范围的先前技术并且不因被包括于本节而被承认为先前技术。
高效视频编解码(HEVC)是由视频编解码联合协作团队(JCT-VC)开发的视频编解码标准。在HEVC中，编解码的图像被分割成由编码树单元(CTU)表示的多个非重迭正方形块区域。编解码的图像可以由一些条带(slice)表示，每一条带包括整数数目的CTU。条带中的单个CTU以光栅扫描次序进行处理。双向预测(B)条带可以由使用至多两个运动向量以及参考索引的帧内预测或帧间预测来预测每一块的样本值。帧内(I)条带仅使用帧内预测来解码。预测(P)条带由使用至多一个运动向量以及参考索引的帧内预测或帧间预测来预测每一块的样本值。
一个或多个预测单元(PU)被指定用于每一编码单元(CU)。预测单元与相关的CU语法作为发信预测子资讯的基本单元。指定的预测进程被应用来预测PU内相关像素样本的值。基于所选的PU类型，CU可以被拆分成一个、两个或四个PU。HEVC定义了用于将CU拆分成多个PU的8种类型的分割。
CU可以进一步使用残差四叉树(RQT)结构来分割用于表示相关预测残差讯号。RQT的叶节点对应于所生成的变换单元(TU)。变换单元由尺寸8×8、16×16或者32×32或者尺寸4×4的亮度样本的变换块，以及4:2:0色彩格式中图像的色度样本的两个对应变换块组成。整数变换被应用于变换块以及量化的系数值在比特流中被编解码。最小以及最大变换块尺寸在序列参数集中指定。
在HEVC中，术语编码树块(CTB)、编码块(CB)、预测块(PB)以及变换块(TB)被定义指分别来自相关CTU、CU、PU以及TU的一个色彩分量的2-D样本阵列。CTU因此由未使用三个单独色彩平面的编解码的色彩图像中的一个亮度CTB、两个色度CTB以及相关语法元素组成。所发信的编码树分割通常别应用于亮度块以及色度块两者，但是在达到某些最小尺寸约束时可以允许一些例外。
发明内容
后续的概述仅是说明性的以及不旨在以任何方式进行限制。即，后续的概述被提供来介绍本文所描述的新颖以及非显而易见技术的概念、亮点、益处以及优势。选择而不是所有事实方式在具体细节描述中进一步描述。因此，后续概述不旨在识别所要求保护主题的基本特征，也不旨在决定所要求保护主题的范围。
本发明提供了用于基于合并估计区域(MER)以及帧内块复制(IBC)模式识别预测候选的方法。在一些实施例中，视频解码器从待解码为一视频的一当前图像的一当前块的比特流接收数据。视频解码器决定是否通过使用帧内块复制模式来编解码当前块。该视频解码器识别一个或多个预测候选的列表用于该当前块。当该当前块不通过使用帧内块复制模式编解码以及预测候选的列表属于多个不同候选列表的预定子集或从其推导时，位于与当前块相同MER中的该当前块的一个或多个空间相邻块从预测候选的列表被排除。当该当前块通过使用帧内块复制模式编解码时，至少一个所识别的预测候选是位于MER中该当前块的一空间相邻块。该视频解码器通过使用从一个或多个预测候选的列表选择的预测候选重构该当前块来生成该当前块的一预测。
在一些实施例中，当该当前块不通过使用帧内块复制模式编解码时，该当前块以及该MER中的至少一个其他块可以被并行重构。在一些实施例中，比特流中的一个或多个语法元素指示帧内块复制模式是否用于编解码该当前块，以及该解码器解析该比特流中的一个或多个语法元素以及基于所解析的语法元素决定帧内块复制模式是否用于该当前块。在一些实施例中，比特流中的一个或多个语法元素来用于识别或定义包括该当前块的MER。
该当前块的预测可以是基于所选的预测候选生成的仿射预测。该当前块的预测可以是基于所选的预测候选生成的三角形或几何分割模式(GPM)预测。该当前块的预测可以是基于所选的预测候选生成的组合的帧间与帧内预测(CIIP)。该当前块的预测可以通过用运动向量差异资讯细化所选的预测候选来生成。多个不同候选列表的预定子集可以包括类合并预测模式的候选，如GPM、CIIP以及常规合并模式以及排除高级运动向量预测(AMVP)的候选。
附图说明
附图被包括来提供本发明的进一步理解，以及被并入并构成本发明的一部分。附图示出了本发明的实施方式，以及与描述一起用于解释本发明的原理。将能理解，因为一些元件可以被示出与实施实施方式中的尺寸不成比例，附图不需要按比例绘制来清楚地说明本发明的概念。
图1示出了将编码树单元(CTU)拆分成四叉树。
图2示出了拆分进程及其二叉树的示例。
图3示出了四叉树加二叉树(QTBT)结构的示例。
图4示出了用于以多类型(MTT)树结构分割CTU的各种拆分类型或模式。
图5示出了根据MTT块分割的块分割的树类型信令的示例。
图6示出了用于帧间预测模式的候选集合。
图7示出了包括组合的双向预测合并模式的合并候选列表。
图8示出了包括所选择的合并候选的合并候选列表。
图9示出了0向量候选在其中被添加到合并候选列表或者高级运动向量预测(AMVP)候选列表的示例。
图10示出了四参数仿射运动模型。
图11示出了用于仿射帧间模式的运动向量预测子(MVP)推导。
图12示出了用于定义或识别共用的候选列表的共用边界的各种示例。
图13示出了对应于可以由共用的候选列表编解码的共用边界中CU的拆分树的子树。
图14示出了用于识别共用候选列表的共用边界。
图15概念地示出了基于合并估计区域(MER)识别的CU的空间合并候选。
图16示出了帧内块复制模式(IBC)的参考区域。
图17示出了空间合并候选的位置。
图18示出了为空间合并候选的冗余检验考虑的候选对(candidate pair)。
图19示出了用于时间合并候选的运动向量缩放。
图20描绘了在候选C0以及C1之间选择的时间候选的位置。
图21示出了被添加到起始MV的水准分量或者垂直分量的偏移。
图22概念地示出了SbTVMP进程，具体来说通过从空间邻近块应用运动移位以及缩放来自对应的同位子CU的运动资讯来汇出子CU运动场。
图23以及图24示出了由几何分割创建的区块的区域。
图25概念地示出了基于MER以及IBC模式从合并候选列表中包括以及排除空间邻近块。
图26示出了当编码区块时可以使用预测候选列表来生成预测的示例性视频编码器。
图27示出了基于MER以及IBC模式识别预测候选的视频编码器的部分。
图28概念地示出了用于使用基于MER以及IBC模式识别的预测候选来编码视频图像中区块的进程。
图29示出了当解码区块时可以使用预测候选列表来生成预测的示例性视频解码器。
图30示出了基于MER以及IBC模式识别预测候选的视频解码器的部分。
图31概念地示出了用于使用基于MER以及IBC模式识别的预测候选来解码视频图像中区块的进程。
图32概念地示出了可以实施本发明的一些实施例的电子***。
具体实施方式
在下文细节描述中，以示例的方式给出了许多具体细节来提供相关教导的透彻理解。基于本文所描述教导的任何变体、衍生与/或拓展都在本发明的保护范围内。在一些情况下，关于本文公开的一个或多个示例性实施方式的公知方法、进程、元件与/或电路可以在没有细节的情况下在相对高层级进行描述，以避免不必要地混淆本发明的教导。
I.分割结构
在HEVC中，图像由多个条带组成，以及条带由多个CTU组成。CTU是尺寸8×8、16×16、32×32以及64×64的正方形。一个CTU被分割成多个编码单元(CU)。四叉树结果用于分割CTU。CTU尺寸是M×M(M是64、32或16中的一个)。CTU可以是单个CU或者可以被拆分成尺寸M/2×M/2的四个单元，其是编码树节点。如果单元是叶节点，它们成为CU。否则，四叉树可以被进一步拆分直到节点的尺寸达到SPS中指定的最小CU尺寸。图1示出了将CTU拆分为四叉树。实线是CU边界。在每一CU中存在一个或多个PU(预测单元)。
与CU相结合，PU是用于共用预测资讯的基础块。在每一PU内，应用相同的预测进程。根据PU分割类型，CU可以被拆分成1、2或者4个PU。PU可以仅被拆分一次。或者，可以使用二叉树(BT)分割结构。特别地，块可以被反覆运算地拆分成2个更小的块。对称水准以及垂直拆分是最有效以及简单的拆分类型。在一些实施例中，仅使用了这两个拆分类型。二元树分割进程可以被反覆运算地拆分直到拆分块的宽度或高度达到视频比特流中的高层级语法中定义的最小块宽度或高度。
图2示出了拆分进程(左)及其二元树(右)的示例。在每一拆分中，在二元树的非叶节点，一旗标表示是否使用水准或垂直，0指示水准拆分以及1指示垂直拆分。二元树拆分结构可以用于将CTU拆分成多个CU，即，根节点是CTU以及叶节点是CU。以及出于简便，如另一个实施例，没有从CU到PU的进一步分割。这意味着CU等于PU，因此，其相当于二元树的叶节点是预测的基本单元。
在一些实施例中，使用了QTBT结构(四叉树加二元树结构)。其组合四叉树以及二元树。在QTBT结构中，首先，块由四叉树拆分进程进行分割，四叉树(QT)拆分进程可以被重复直到尺寸达到最小叶节点尺寸。其次，如果叶四叉树块不大于最大允许的二元树根节点尺寸，叶四叉树块可以被进一步拆分成二元树(BT)分割，二元拆分可以被重复直到拆分块的宽度或高度达到最小允许的宽度或高度或者二元拆分深度达到最大允许的深度。图3示出了QTBT结构的示例。QTBT结构可以用于将CTU分割成多个CU，即，根节点是CTU，其由QTBT结构分割成多个CU，以及多个CU进一步由预测以及变换编解码。出于简便，如另一个实施例，没有从CU到PU的进一步分割。其意味着CU等于PU，以及，其相当于QTBT的叶节点是预测的基本单元。
对于I条带，对亮度以及色度分别应用QTBT结构。对于P以及B条带，QTBT结构被同时应用于亮度以及色度两者(除了色度达到某些最小尺寸)。换言之，在I条带中，QTBT结构块分割树在亮度CTB以及两个色度CTB之间不同。特别地，亮度CTB具有QTBT结构块分割，以及两个色度编码树单元(CTB)具有另一个QTBT结构块分割。
像四叉树二元树(QTBT)的灵活CU结构示出了相比于HEVC中四叉树(QT)结构的好的编解码性能。在QTBT中，如图3所示，CTU首先由四叉树结构进行分割。四叉树叶节点进一步由二元树结构进行分割。为了反覆运算地将块分割成两个更小的块，除了传统对称水准以及垂直拆分类型，也可以选择非对称水准以及垂直拆分类型。在构造二元树结构后，二元树叶节点被标记为CU，其在没有任何进一步分割的情况下用于预测以及变换。
为了支持更多的分割形状来实现更灵活的分割，三元树(TT)分割方法旨在获得位于块中心的目标而四叉树(QT)以及二元树(BT)分割方法总是沿着块中心进行拆分。
通过在MTT的第二层级中允许二元树以及的三元树分割方法两者，多类型树(MTT)块分割拓展了QTBT两层级树结构的概念。MTT中的两个层级的树分别被称为区域树(RT)以及预测树(PT)。第一层级RT总是四叉树(QT)分割，以及第二层级PT可以是二元树(BT)分割或者三元树(PT)分割。例如，CTU首先由RT分割，其是QT分割，以及每一RU叶节点可以进一步由PT拆分，其可以是BT或TT分割。由PT分割的块可以进一步用PT拆分直到达到最大PT深度，例如，块可以首先由垂直BT分割来生成左子块以及右子块，以及左子块进一步由水准TT分割来拆分而右子块进一步由水准BT分割来拆分。PT叶节点是用于预测以及变换的基础CU以及将不被进一步拆分。
图4示出了以MTT结构分割CTU的各种拆分类型或模式(a)-(e)。拆分类型(a)(b)以及(c)分别对应于四叉树拆分、垂直二元树拆分以及水准二元树拆分。拆分类型(d)以及(e)称为三元树(或三叉树)拆分类型，其将块拆分成三个更小的块。来自三元树拆分的三个更小块在一个空间维度具有更小的尺寸而在其他空间维度保持相同的尺寸。三元树分割方法可以提供性能来更快的沿着块边界局部化小目标，通过允许垂直或水准地的四分之一分割。
图5示出了根据MTT块分割的用于块分割的树类型信令的示例。RT信令可以类似于QTBT块分割的四叉树信令。为了发信PT节点，一个额外的二进位数字(bin)被发信来指示其是二元树分割或三元树分割。对于由RT的块分割，第一二进位数字(bin)被发信来指示是否有另一个RU拆分，如果块不由RU进一步拆分(即，第一二进位数字是0)，第二二进位数字被发信来指示是否有PT拆分。如果块没有由PT进一步拆分(即，第二二进位数字是0)，那么块是叶节点。如果块进一步由PT拆分(即，第二二进位数字是1)，第三二进位数字被发送来指示水准或者垂直分割紧接着是用于区分二元树(BT)或三元树(TT)分割的第四二进位数字。
在构造MTT块分割后，MTT叶节点是CU，其在没有任何分割的情况下用于预测以及变换。在MTT中，树结构被分别编解码用于I条带中的亮度以及色度，以及被同时应用于P以及B条带中的亮度以及色度两者(除了色度达到某些最小尺寸)。也就是说，在I条带中，亮度CTB具有其QTBT结构的块分割，以及两个色度CTB具有另一个QTBT结构的块分割。
II.帧间预测模式的候选
为了增加HEVC中运动向量(MV)编解码的编解码效率，HEVC具有跳过以及合并模式。跳过以及合并模式从空间相邻块(空间候选)或者时间同位块(时间候选)获得运动资讯。当PU是跳过或合并模式时，没有运动资讯被编解码，相反，仅所选候选的索引被编解码。对跳过模式，残差讯号被强制为0以及未被编解码。在HEVC中，如果特定块被编码为跳过或合并，候选索引被发信来指示候选集中哪一候选用于合并。每一合并的PU重新使用MV、预测方向以及所选候选的参考图像索引。对于一些实施例，术语“合并模式”用于参考跳过模式以及合并模式两者。
图6示出了帧间预测模式(即，跳过、合并、AMVP等)的候选集合。图式示出了被编码或解码的视频图像或帧的当前块600。当前块600(其可以是PU或CU)参考相邻块来推导空间以及时间MVP作为MVP列表或者AMVP模式、合并模式或跳过模式的候选列表。
对于合并模式，如图6所示，至多四个空间MV候选从A0、A1、B0以及B1来推导，以及一个时间MV候选从TBR或TCTR(首先使用TBR，如果TBR不可用，则使用TCTR)来推导。注意到如果四个空间MV候选的任何一个不是可用的，然后位置B2用于推导MV候选作为替代。在四个空间MV候选以及一个时间MV候选的推导进程后，移除冗余(修剪)被应用来移除冗余MV候选。如果在移除冗余(修剪)后，可用MV候选的数目小于五，三种类型的额外候选被推导以及被添加到候选集合(候选列表)。编码器基于率失真优化(RDO)决定在候选集合中选择一个最终候选用于跳过或合并模式，以及将索引传输给解码器。
a.AMVP模式
为了实现混合编解码架构的最佳编解码效率，HEVC采用帧内预测与/或帧间预测模式用于每一PU。对于帧内预测模式，空间相邻重构像素可以用于在35个方向生成方向预测。对于帧间预测模式，运动资讯用于重构时间参考帧，其用于生成运动补偿预测。运动资讯可以包括运动向量、运动向量预测子、运动向量差异、用于选择参考帧的参考索引帧等。
当PU以帧间AMVP模式编解码时，用传输的运动向量差异(MVD)执行运动补偿预测，MVD可以与运动向量预测子(MVP)一起用于推导运动向量(MV)。为了以帧间AMVP模式决定MVP，高级运动向量预测(AMVP)方案用于在包括两个空间MVP以及一个时间MVP的AMVP候选集中选择运动向量。因此，在AMVP模式中，MVP的MVP索引以及对应的MVD需要被编码以及被传输。此外，在双向预测以及单向预测中指定预测方向的帧间预测方向，其是列表0(L0)以及列表1(L1)，与每一列表的参考帧索引一起被编码以及传输。
当PU以跳过或者合并模式编解码时，除了所选候选的合并索引没有运动资讯被传输。这是因为跳过以及合并模式利用运动参考方法(MV＝MVD+MVD，其中MVD是0)来从空间相邻块(空间候选)或位于并位图像中的时间块(时间候选)获得运动资讯，并位图像是列表0或者列表1中的第一参考图像，其在条带标头中被发信。在跳过PU的情况下，残差讯号也被忽略。为了决定跳过以及合并模式的合并索引，合并方案用于从包含四个空间MVP以及一个时间MVP的合并候选集中选择运动向量预测子。
对于AMVP模式，左边的MVP是来自A0、A1的第一可用的一个，上方的MVP是来自B0、B1、B2的第一可用的一个，以及时间MVP是来自TBR或者TCTR的第一可用的一个(首先使用TBR，如果TBR不可用，使用TCTR)。如果左边MVP不是可用的以及上方MVP不是缩放的MVP，如果在B0、B1以及B2中有缩放的MVP，可以推导第二上方MVP。因此，在两个空间MVP以及一个时间MVP的推导进程后，仅首先两个MVP可以被包括于候选列表中。如果在移除冗余后可用MVP的数目小于2，0向量候选可以被添加到候选列表。
对于跳过模式以及合并模式，从A0、A1、B0以及B1推导至多四个空间合并索引，以及从TBR或TCTR(首先使用TBR，如果TBR不可用，使用TCTR)推导一个时间合并索引。如果四个空间合并索引的任一个不是可用的，位置B2用于推导合并索引作为替换。在推导四个空间合并索引以及一个时间合并索引后，冗余合并索引被移除。如果非冗余合并索引的数目小于5，可以从原始候选中推导额外的候选并且将其添加到候选列表。有三种类型的推导候选：
1.组合的双向预测合并候选(推导的候选类型1)
2.缩放的双向预测合并候选(推导的候选类型2)
3.0运动合并/AMVP候选(推导的候选类型3)
对于推导的候选类型1，通过组合原始合并候选创建组合的双向预测合并候选。特别地，如果当前条带是B条带，通过组合来自列表0以及列表1的候选可以生成进一步的合并候选。图7示出了包括组合的双向预测合并候选的合并候选列表。如图所示，具有mvL0(列表0中的运动向量)与refidxL0(列表0中的参考图像索引)或者mvL1(列表1中的运动向量)与refidxL1(列表1中的参考图像索引)的两个原始候选被用于创建双向合并候选。
对于所推导的候选类型2，通过缩放原始合并候选创建缩放的合并候选。图8示出了包括缩放的合并候选的合并候选列表。如图所示，原始合并候选具有mvLX(列表X中的运动向量，X可以是0或者1)以及refidxLX(列表X中的参考图像索引，X可以是0或1)。例如，原始候选A是具有mvL0_A以及参考图像索引ref0的列表0单向预测MV。候选A最初被复制到列表L1作为具有参考图像索引ref0’。通过基于ref0以及ref0’缩放mvL0_A来计算缩放MVmvL0’_A。具有列表0中mvL0_A以及ref0以及列表1中的mvL0’_A以及ref0’的缩放的双向合并候选被创建以及被添加到合并候选列表。同样，具有列表0中mvL1’_A与ref’1以及列表1中mvL1_A、ref1的缩放的双向预测合并候选被创建以及被添加到合并候选列表。
对于推导的候选类型3，通过组合0向量以及参考索引创建0向量候选。如果所创造的0向量候选不是一个复制，其被添加到合并/AMVP候选列表。图9示出了0向量候选在其中被添加到合并候选列表或者AMVP候选列表的示例。
b.子PU时间运动向量预测(ATMVP)
ATMVP(高级时间运动向量预测)模式(或者也称为子PU时间运动向量预测(SbTMVP))是用于合并候选的基于子PU的模式。ATMVP模式使用空间相邻者来获得初始向量，其用于获得并位图像上并位块的座标。检索并位图像上并位块的子CU(通常4×4或者8×8)运动资讯并将其填入当前合并候选的子CU(通常4×4或者8×8)运动缓冲器。有ATMVP的各种实施例。在ITU-T SG 16 WP3以及ISO/IEC JTC 1/SC 29/WG 11的联合视频勘探小组(JVET)第3次会议，瑞士日内瓦，2016年5月26日-6月1日，标题“Algorithm Description ofJoint Exploration Test Model 3”中描绘了ATMVP。也在ITU-T SG 16 WP3以及ISO/IECJTC 1/SC 29/WG 11的联合视频勘探小组(JVET)第11次会议，Ljubljan,SI，2018年7月10-18日，文献：JVET-K0346-v3，标题“CE4-related:One simplified design of advancedtemporal motion vector prediction(ATMVP)”中描述了ATMVP。
c.空间时间运动向量预测(STMVP)
STMVP模式是用于合并候选的基于子PU的模式。以光栅扫描次序反覆运算地生成子PU的运动向量。用于当前子PU的MV的推导在MV缩放之前识别两个空间相邻块以及一个时间相邻块。在检索以及缩放MV后，所有可用运动向量(至多3个)被平均以及被分配为当前子PU的运动向量。在ITU-T SG 16WP3以及ISO/IEC JTC 1/SC 29/WG 11的联合视频勘探小组(JVET)第3次会议，瑞士日内瓦，2016年5月26日-6月1日，标题“Algorithm Description ofJoint Exploration Test Model 3”中描述了STMVP，特别地节2.3.1.2：空间时间运动向量预测(STMVP)。
d.基于历史的合并模式以及AMVP
实施基于历史的合并模式的视频编解码器也可以在历史阵列中存储一些先前CU的合并候选。对于当前被编码或解码的CU，视频编解码器可以使用历史阵列中的一个或多个候选来增强原始合并模式候选。基于历史的方法也适用于AMVP候选列表。在ITU-T SG 16WP3以及ISO/IEC JTC 1/SC 29/WG 11的联合视频勘探小组(JVET)第11次会议，Ljubljan,SI，2018年7月10-18日，文献:JVET-K0104：“History-based Motion Vector Prediction”中描述了基于历史的合并模式。
e.非相邻合并模式以及AMVP
非相邻合并候选使用远离当前CU的一些空间候选。基于非相邻的方法也可以被应用于AMVP候选列表。在ITU-T SG 16 WP3以及ISO/IEC JTC 1/SC 29/WG 11的联合视频勘探小组(JVET)第11次会议，Ljubljan,SI，2018年7月10-18日，文献：JVET-K0228，标题“CE 4-2.1:Adding non-adjacent spatial merge candidates”中示出了非相邻合并模式的示例。在ITU-T SG 16 WP3以及ISO/IEC JTC 1/SC 29/WG 11的联合视频勘探小组(JVET)第11次会议，Ljubljan,SI，2018年7月10-18日，文献：JVET-K0286，标题“CE4:Additional mergecandidates(Test 4.2.13)”中描绘了非相邻合并候选的示例。
f.仿射合并模式
HEVC仅使用平移运动模型用于运动补偿预测。在现实世界中有许多其他类型的运动，如缩小以及方法、旋转、透视运动以及其他不规则运动。这些其他类型的运动中的一些可以由仿射变换或者仿射运动来表示，其保护点、直线以及平面。仿射变换不需要保护线之间的角度或者点之间的距离，但是其保护直线上点之间的距离比。当仿射运动块运动时，块的运动向量场可以由两个控制点运动向量或者四个参数来描述，如下：
Figure GDA0003825575590000131
变换块是矩形块。这一运动块中每一点的运动向量场可以由四参数模仿射模型的下列等式来描述：
Figure GDA0003825575590000132
或者6参数仿射模型来描述：
Figure GDA0003825575590000133
其中(v0x,v0y)是左上角上的控制点运动向量，以及(v1x,v1y)是该块右上角的另一个控制点运动向量。在一些实施例中，对于帧间模式编解码的CU，当CU尺寸等于或大于16×16时，affine_flag被发信来指示是否应用仿射帧间模式与否。如果当前CU是仿射帧间模式，使用相邻有效重构块来构建候选MVP对列表。图10示出了四参数仿射运动模型。
图11示出了仿射帧间模式的MVP推导。如图11所示，从块A0、A1或者A2的运动向量选择V0，以及从块B0以及B1的运动向量选择V1。候选MVP对的索引在比特流中被发信。两个控制点的MV差异(MVD)在比特流中被编解码。
在一些实施例中，如果当前PU是合并PU，相邻五个块(图11中的C0、B0、B1、C1以及A0)被检查其中一个是否是仿射帧间模式或者仿射合并模式。如果是，affine_flag被发信来指示当前PU是否是仿射模式。当当前PU在仿射合并模式中编解码，由仿射模式从有效相邻重构块编解码该第一块。候选块的选择次序是如图11示出的从左、上、右上、左下到左上(C0→B0→B1→C1→A0)。第一仿射编解码块的仿射参数用于推导当前PU的V0以及V1。
在一些实施例中，根CU(或者父CU)或者共用边界尺寸/深度/形状/宽度/高度用于推导候选列表。在候选列表推导中，对于任何基于位置的推导，根据当前块/CU/PU/位置/尺寸/深度/形状/宽度/高度推导参考块位置的，根CU或者共用边界位置以及形状/尺寸/深度/宽度/高度被使用。在一些实施例中，对于仿射继承候选推导，首先推导参考块位置。当应用共用列表时，通过使用根CU或者共用边界位置以及形状/尺寸/深度/宽度/高度来推导参考块位置。在一个示例中，参考块位置被存储。当子CU在根CU或者共用边界时，所存储的参考块位置用于找到参考块用于仿射候选推导。在另一个示例中，当编解码子CU时，根CU或者共用边界的位置以及形状/宽度/高度/尺寸可以被存储或者被推导用于仿射候选参考块推导。4参数仿射模型与/或6参数仿射模型可以用于推导仿射候选或者控制点MV。例如，在图14中，根CU内的CU可以参考块A0、A1、B0、B1、B2以及同位块TBR以及TC来推导仿射候选。在一些实施例中，对于仿射继承的候选推导，使用了当前子CU位置以及形状/尺寸/深度/宽度/高度。如果参考块在根CU或者共用边界内，其不用于推导仿射候选。
g.共用的候选列表
为了简化编解码操作复杂度，一些实施例提供使用共用候选列表的方法来编码或解码多个区块。候选列表参考合并模式或者AMVP模式候选列表或者其他类型的预测候选列表(如DMVR或者双边细化候选列表、仿射合并模式、子块合并模式、仿射帧间/AMVP模式、IBC合并、IBC AMVP)。共用的候选列表是基于大于叶CU的边界生成的候选列表(如，父CU或者QTBT或者QTBTTT树中子树的一个根或者QT树的一个节点)，以及所生成的候选列表可以被共用用于边界内或者子树内的所有叶CU。在一些实施例中，共用的合并区域(SMR)用于标记共用的候选列表的共同祖先节点区域。
在一些实施例中，共用的候选列表是由共同共用边界内的或其所包围的多个CU共用的候选列表，共同共用边界也称为共用边界。对于一些实施例，“共用的边界”被定义为图像内对齐的最小块的矩形区域(最小块通常是4×4)。“共用边界”内的每一CU可以使用基于“共用边界”生成的共同共用的候选列表。特别地，共用的候选列表的候选包括基于“共用边界”的空间相邻位置以及时间相邻位置，或者由共用边界定义的区域。共用边界可以是正方形块或者非正方形块。共用边界可以是正方形块或者非正方形块。共用边界的尺寸/深度/宽度/高度可以在序列层级、图像层级或者条带层级的比特流中被发信。
图12示出了用于定义或识别共用候选列表的共用边界的各种示例。示例包括：对应于8×8 CU的正方形共用边界1210，8×8 CU被QT拆分成四个4×4 CU；对应于8×8 CU的正方形共用边界1220，8×8 CU被BT拆分成两个4×8CU；对应于4×16根CU的矩形共用边界1230，4×16根CU被BT拆分成两个4×8CU；以及对应于4x16CU的矩形共用的边界1240，4×16CU被TT拆分成两个4×4CU以及一个4×8CU。对应于共用边界的CU也被称为共用边界的根CU。
在一些实施例中，共用的候选列表是由子树内多个CU共用的候选列表。“子树”可以指QTBT、QTBTTT的子树或者另一个类型的拆分树。图13示出了对应于共用边界中的CU的拆分树的子树，共用边界可以由共用的候选列表来编解码。图式示出了拆分结构由分层树1350表示的CTU 1300，其是QTBT或者QTBTTT拆分树。在CTU 1300内，共用边界1310定义根CU，其被拆分成各种拆分深度的各种子CU。由共用边界1310包围的子CU对应于拆分树1350中的子树1360，以及子树1360中的叶节点对应于共用边界1310中叶CU。换言之，共用候选列表由子树1360的叶节点共用。
共用候选列表可以基于共用块边界来生成，例如，如共用边界1310或者子树1360的根CU边界。共用候选列表被覆用用于子树内的一些或者所有叶CU。共用候选列表被生成用于子树的根，即，基于根CU或者子树的矩形边界(或共用边界)定义共用候选列表的候选的空间相邻位置以及时间相邻位置。
共用候选列表的候选是基于由共用边界定义的区域的空间或时间相邻块识别的预测候选。由共用边界包围的一个或多个CU然后通过使用从共用候选列表选择的一个或多个预测候选来编解码。
图14示出了用于识别共用候选列表的共用边界1400。共用的边界1400定义区域1410。区域1410可以对应于CU。区域1410可以是拆分树或者CTU(如，BT、QT、MTT等)的一部分以及可以被拆分成多个子CU，如CU 1411、1412、1413以及1414。子CU可以是不能被进一步拆分的叶CU。子CU还可以被拆分成较大拆分深度的子CU直到达到叶CU。在示例中，由共用边界1400定义的区域1410(或者对应于区域1410的根CU)被拆分成几个叶CU，包括叶CU 1421、1422以及1423。
叶CU 1421、1422以及1423通过使用共用候选列表来编解码，共用候选列表被基于共用边界1400来识别或定义。共用候选列表可以是合并模式列表、AMVP列表、IBC合并列表、IBC AMVP列表或者另一个类型的预测候选列表。共用候选列表可以包括从区域1410的相邻块推导(如，继承的)的预测候选，如来自空间相邻块A0、A1、B0、B1、B2的空间MVP以及来自时间相邻者TBR、TCTR的时间MVP。通常，共用候选列表可以包括合并模式候选、AMP模式候选、IBC合并模式候选、IBC AMVP模式候选、仿射合并模式候选、子块合并模式候选、仿射AMVP模式候选或者其他类型的预测候选。共用候选列表也包括参考当前图像中已重构参考样本的一个或多个CPR或者IBC候选。
h.合并估计区域(MER)
合并估计区域(MER)是其中候选块在从合并候选列表(被编解码的当前块)排除的相同MER(与当前被编解码块相同)的区域。当应用MER时，仅当当前CU与提供空间合并候选的相邻CU在不同的MER时，空间合并候选可以被添加到合并候选列表中。因此，通过检查对应的相邻CU是否在与当前CU相同的MER区域中，视频编码器可以确保当前CU的空间合并候选可以被单独地推导(如，使用并行处理)。
图15概念地示出了基于合并估计区域(MER)识别的CU的空间合并候选。如图所示，MER 1500被定义来包括CU 1510以及CU 1515。在MER 1500内的CU 1510以及1515的相邻块(如空间相邻块1520)不可用于提供编解码CU 1510的空间合并候选。在MER 1500之外的已编解码的相邻块(如，空间相邻块1530)可用于提供空间合并候选。
MER可以被扩展到QTBT或者QTBTTT结构。MER可以是非正方形的。根据结构分割，MER可以是不同的形状或者尺寸。尺寸/深度/面积/宽度/高度可以是预定义的或者在序列/图像/条带层级中发信。对于MER的宽度/高度，宽度/高度的log2的值可以被发信。对于MER的面积/尺寸，尺寸/面积的log2的值可以被发信。当MER被定义用于一区域时，这一MER中的CU/PU不能用作合并模式候选推导的参考CU/PU。例如，这一MER中CU/PU的MV或者仿射参数不可用由相同MER中的CU/PU残差用于合并候选或者仿射合并候选推导。这些MV与/或仿射参数被当作对相同MER中CU/PU是不可用的。当MER面积/尺寸/深度/形状/宽度/高度被定义(如，预定义的或发信的)，如果当前CU大于或等于定义的面积/尺寸/形状/宽度/高度以及子分割之一或者所有子分割或者部分子分割小于面积/尺寸/形状/宽度/高度(或者如果当前CU的深度小于或等于定义的深度以及子分割之一或者所有子分割或者部分子分割的深度大于定义的深度)，当前CU是一个MER。在另一个实施例中，如果当前CU小于或等于定义的面积/尺寸/形状/宽度/高度以及父CU大于定义的面积/尺寸/形状/宽度/高度(或者如果当前CU的深度大于或等于定义的深度以及父节点小于定义的深度)，当前CU是一个MER。例如，如果定义的面积是1024以及CU尺寸是64×32(宽度是64以及高度是32)，以及是用来垂直的TT拆分(64×32CU被分割成16×32子CU，32×32子CU以及16×32子CU)，在一个实施例中，64×32是MER。这一64×32中的子CU使用共用列表。在另一个实施例中，64×32不是MER，但是16×32子CU，32×32子CU以及16×32子CU分别是MER。在另一个实施例中，对于定义的MER面积/尺寸/形状/宽度/高度，当进行TT拆分时，MER面积/尺寸/形状/宽度/高度在TT分割中可以是不同的。例如，对于第一分割以及第二分割，MER面积/尺寸/形状/宽度/高度的阈值可以除以2(或者深度可以增加1)，而对于第三分割，MER面积/尺寸/形状/宽度/高度的阈值可以保持相同。
在一些实施例中，MER被定义用于QT分割或者QT拆分CU。如果QT CU等于或大于定义的面积/尺寸/QT深度/形状/宽度/高度，MER被定义为叶QT CU面积/尺寸/QT深度/形状/宽度/高度。QT叶CU内的所有子CU(由BT或TT分割)使用QT叶CU作为MER。MER包括这一叶QTCU中的所有子CU。如果QT CU(非QT叶CU)等于定义的面积/尺寸/QT深度/形状/宽度/高度，这一QT CU被用作MER。QT CU内的所有子CU(如由QT、BT或者TT分割)被包括于这一MER。在一个实施例中，MER的面积/尺寸/QT深度/形状/宽度/高度用于推导参考块位置。在另一个实施例中，当前CU的面积/尺寸/QT深度/形状/宽度/高度用于推导参考位置。如果参考块位置在MER内，参考块位置移动到MER外部。在另一个示例中，当前CU的面积/尺寸/QT深度/形状/宽度/高度用于推导参考块位置。如果参考块位置在MER内部，参考块不用于合并候选或者仿射合并候选推导。
在上述提到的深度中，深度可以等于(((A*QT-depth)>>C)+((B*MT-depth)>>D)+E)>>F+G or(((A*QT-depth)>>C)+((B*BT-depth)>>D)+E)>>F+G，其中A、B、C、D、E、F、G是整数。例如，深度可以等于2*QT深度+MT深度或者2*QT深度+BT深度或者QT深度+MT深度或者QT深度+BT深度。在一些实施例，MER区域不能跨过图像边界。即，所有MER区域必须都在图像内，没有MER区域的像素在图像边界之外。MER也可以被应用于除了合并或者仿射合并之外的AMVP模式。基于QTMTT的MER可以被应用于所有候选推导的工具(如AMVP、合并、仿射合并等等)。
在一些实施例中，MER以及共用列表两者可以在QTMTT结构中启用。在一些实施例中，对于正常合并以及ATMVP，使用了共用列表，以及对于仿射合并，使用了基于QTMTT的MER。在一些实施例中，对于一些预测模式，使用了共用列表，而对于其他合并模式或者AMVP模式，使用了MER。
I.基于历史的合并候选推导
在空间MVP以及TVMP后，基于历史的MVP(HMVP)合并候选被添加到合并列表。在HMVP中，先前编码块的运动资讯被存储于表中并且用作当前CU的MVP。具有多个HMVP候选的表在编码/解码进程期间被维持。当遇到新的CTU列(row)时该表被重设(清空)。无论是否有非子块帧间编码的CU，相关运动资讯被添加到表的最后条目作为新的HMVP候选。
在一些实施例中，HMVP表尺寸S被设置为6，其指示至多6个基于历史的MVP(HMVP)候选可以被添加到表。当***新的运动候选到该表时，利用了约束的先进先出(FIFO)规则，其中首先应用冗余检查来找到在表中是否由相等的HMVP。如果找到，从表中移除相等的HMVP以及后面所有的HMVP候选朝前移。HMVP候选可以用于合并候选列表重构进程。表中最新的几个HMVP候选按次序被检查以及在TMVP候选后被***候选列表。冗余检查被应用于HMVP候选到空间或者时间合并候选。
为了减少冗余检查操作，一些实施例使用了后续简化：
(1)用于合并列表生成的HMVP候选的数目被设置为(N<＝4)？M:(8–N)，其中N指示合并列表中现有候选的数目以及M指示表中可用HMVP候选的数目。
(2)一旦可用合并候选的总数目达到最大允许的合并候选减1，结束来自HMVP的合并候选列表重构进程。
j.帧内块复制(IBC)
帧内块复制(IBC)也被称为当前图像参考(CPR)。IBC(或CPR)运动向量是参考当前图像中已重构参考样本的一个MV。对于一些实施例，IBC预测模式被当作除了的帧内或者帧间预测模式之外的第三预测模式用于编解码CU。
因为IBC模式被实施为块层级编解码模式，在编码器执行块匹配(BM)来找到每一CU的最佳块向量(或者运动向量)。此处，块向量用于指示从当前块到参考块的位移，其在当前图像中已被重构。IBC编解码CU的亮度块向量是整数精度。
色度块向量也舍入到整数精度。当与AMVR组合时，IBC模式可以在1像素以及4像素运动向量精度之间切换。IBC模式也应用于宽度以及高度小于或等于64亮度样本的CU。
在编码器侧，执行基于杂凑的运动估计用于IBC。编码器执行RD检查用于宽度或高度不大于16亮度样本的块。对于非合并模式，首先使用基于杂凑的搜索执行块向量搜索。如果杂凑搜索不返回有效候选，将执行基于块匹配的局部搜索。在基于杂凑的搜索中，当前块与参考块之间的杂凑键匹配(32比特CRC)被扩展到所有允许的块尺寸。当前图像中每一位置的杂凑键计算基于4×4子块。对于较大尺寸的当前块，当所有4×4子块的所有杂凑键与对应参考位置中的杂凑键匹配时，杂凑键被决定与参考块匹配。如果发现多个参考块的杂凑键与当前块的杂凑键匹配，计算每一匹配参考的块向量成本以及选择最小成本的一个。
在块匹配搜索中，搜索范围被设置为覆盖先前以及当前CTU。在CU层级，用旗标发信IBC模式，其可以被发信为IBC AMVP模式或者IBC跳过/合并模式如下：
IBC跳过/合并模式：合并候选索引用于指示来自相邻候选IBC编码块的列表中的哪一块相邻用于预测当前块。合并列表包括空间、HMVP以及成对的候选。
IBC AMVP模式：以与运动向量差异相同的方式编解码块向量差异。块向量预测方法使用两个候选作为预测子，一个来自左边相邻块以及一个来自上方相邻块(如果IBC编解码的)。当相邻块都不可用时，默认的块向量将被用作预测子。旗标被发信来指示块向量预测子索引。
在一些实施例中，为了减少记忆体消耗以及解码器复杂度，IBC仅允许预定区域的重构部分，预定区域包括当前CTU的区域以及左侧CTU的一些区域。图16示出了IBC模式的参考区域，其中每一块表示64×64亮度样本单元。图式示出了当前CTU的处理次序以及当前CTU 1610以及左边CTU 1620中可用的参考样本。
根据位于当前CTU内当前编码CU的位置，下文应用：
–如果当前块(或当前编码CU)落入当前CTU的左上64×64块，那么除了当前CTU中已重构的样本，其也可以使用CPR模式参考左边CTU的右下64×64块的参考样本。当前块也可以使用CPR模式参考左边CTU的左下64×64块的参考样本以及左边CTU的右上64×64块的参考样本。
–如果当前块落入当前CTU的右上64×64块，那么除了当前CTU中已重构的样本，如果相对于当前CTU的亮度位置(0,64)还未被重构，当前块也可以使用CPR模式参考左边CTU的左下64×64块以及右下64×64块的参考样本。否则，当前块还可以参考左边CTU的右下64×64块的参考样本。
–如果当前块落入当前CTU的左下64×64块，那么除了当前CTU中已重构的样本，如果相对于当前CTU的亮度位置(64,0)还未被重构，当前块还可以使用CPR模式参考左边CTU的右上64×64块以及右下64×64块的参考样本。否则，当前块还可以使用CPR模式参考左边CTU的右下64×64块的参考样本。
–如果当前块落入当前CTU的右下64×64块，其仅可以使用CPR模式参考当前CTU中已重构的样本。
对于一些实施例，这些约束允许使用硬体实施方式的局部片上记忆体来实施IBC模式。
IBC模式与其他帧间编码工具之间的互动，如成对的合并候选、基于历史的运动向量预测子(HMVP)、组合的帧内/帧间预测模式(CIIP)、具有允许向量差异的合并模式(MMVD)以及三角形分割如下：
–IBC可以与成对的合并候选以及HMVP一起使用。通过平均两个IBC合并候选可以生成新的成对IBC合并候选。对于HMVP，IBC运动被***历史缓冲器用于未来的参考。
–IBC不可以与以下帧间工具组合使用：仿射运动、CIIP、MMVD以及三角形分割。
–当使用DUAL_TREE分割使时，IBC不被允许用于色度编码块。
不像HEVC萤幕内容编解码延伸，当前图像不再被包括作为IBC预测的参考图像列表0中的参考图像。IBC模式的运动向量的推导进程排除帧间模式中的所有相邻块，反之亦然。应用后续IBC设计：
–IBC与常规MV合并共用相同的进程，包括成对合并候选以及基于历史的运动预测子，但是不允许TMVP以及0向量，因为它们对IBC模式是无效的。
–各自的HMVP缓冲器(每一者5个候选)用于传统的MV以及IBC。
–以比特流一致性约束的形式实施块向量约束，编码器需要确保在比特流中不存在无效的向量，以及如果合并候选无效(超过范围或0)，合并将不被使用。以虚拟缓冲器的方式表达了这种比特流一致性约束，如下。
–对于去块，IBC被处理为帧间模式。
–如果当前块使用IBC模式来编解码，AMVP不使用四分之一像素，相反，AMVR被发信仅指示MV是否是整数像素或4整数像素。
–IBC合并候选的数目可以在条带标头中被发信，与常规、子块以及三角形合并候选的数目分开表示。
在一些实施例中，虚拟缓冲器用于描述用于IBC预测模式以及有效块向量的可用参考区域。CTU尺寸被标记为ctbSize。虚拟缓冲器被标记为ibcBuf。虚拟缓冲器具有宽度wlbBuf＝128*128/ctbSize以及高度hlbcBuf＝ctbSize。例如，对于尺寸128×128的CTU，ibcBuf的尺寸也是128×128，对于尺寸64×64的CTU，ibcBuf的尺寸是256×64，以及对于尺寸32×32的CTU，ibcBuf的尺寸是512×32。VPDU的尺寸在每一维度是min(ctbSize,64)，Wv＝min(ctbSize,64)。虚拟IBC缓冲器，ibcBuf被维持如下：
–在每一CTU列(row)的开始，用无效值-1刷新整个ibcBuf。
–在解码相对于图像的左上角的VPDU(xVPDU，yVPDU)的开始，设置ibcBuf[x][y]＝-1，其中xVPDU％wIbcBuf,…,xVPDU％wIbcBuf+Wv–1，yVPDU％ctbSize,…,yVPDU％ctbSize+Wv–1。
–在解码相对于图像的左上角的CU约束(x,y)后，设置ibcBuf[x％wIbcBuf][y％ctbSize]＝recSample[x][y]。
对于覆盖座标(x,y)的块，如果后续对于块向量bv＝(bv[0],bv[1])为真，那么其是有效的，否者其是无效的
另外，ibcBuf[(x+bv[0])％wIbcBuf][(y+bv[1])％ctbSize]将不等于-1。
k.扩展的合并预测
在一些实施例中，通过包括以下五种类型的候选来构造合并候选列表：
–来自空间相邻CU的空间MVP
–来自同位CU的时间MVP
–来自FIFO表的基于历史的MVP
–成对平均的MVP
–0MV
在一些实施例中，在条带标头中发信合并列表的尺寸。合并列表的最大允许尺寸是6。对于合并模式中编解码的每一CU，使用截断的一元二值化(TU)来编码最佳合并候选的索引。用上下文编解码合并索引的第一二进位数字以及旁路编解码用于其他二进位数字。
图17示出了空间合并候选的位置。图18示出了为空间合并候选的冗余检查考虑的候选对。在一些实施例中，从位于图17示出的位置A0、B0、B1、A1以及B2的候选中寻找四个合并候选的最大值。仅当位置A0、B0、B1、A1的任一个CU不可用(如，因为其属于另一个条带或图块)或者是帧内编解码的时考虑位置B2。在位置A1的候选被添加后，剩余候选的添加经受冗余检查，其确保具有相同运动资讯的候选从列表中被排除以致改善编解码效率。为了减少计算复杂度，不是所有可能的候选对在所提到冗余检查中被考虑。相反仅图18中用箭头示出的连接的对被考虑，如果用于冗余检查的对应候选不具有相同的资讯，候选仅被添加到列表。
在这一步骤中，仅一个候选被添加到列表。特别地，在时间合并候选的推导中，基于属于并位参考图像的并位CU来推导缩放的运动向量。图19示出了用于时间合并候选的运动向量缩放。用于并位CU的推导的参考图像列表在条带标头中被显示发信。如图19中虚线示出的获得用于时间合并候选的缩放的运动向量，其使用POC距离(tb以及td)从同位CU的运动向量来缩放，其中tb被定义为当前图像的参考图像与当前图像之间的POC差异以及td被定义为并位图像的参考图像与并位图像之间的POC差异。时间合并候选的参考图像索引被设置为0。
图20示出了在候选C0以及C1之间选择的时间候选的位置。如果在位置C0的CU是不可用的，是帧内编码的或者在CTU的当前列(row)之外，使用位置C1。否则，在时间合并候选的推导中使用位置C0。
在空间MVP以及TMVP后将基于历史的MVP(HMVP)候选添加到合并列表。在这一方法中，先前编解码块的运动资讯被存储于表以及用作当前CU的MVP。具有多个HMVP候选的表在编码/解码进程期间被保留。当遇到新的CTU列(row)时，表被重设(清空)。无论是否有非子块帧间编码的CU，相关的运动资讯被添加到表的最后一个条目作为新的HMVP候选。
在一些实施例中，HMVP表尺寸S被设置为6.其指示至多6个基于历史的MVP(HMVP)候选可以被添加到该表。当将新的运动候选***到该表时，利用约束的先进先出(FIFO)规则，其中首先应用冗余检查来找到在该表中是否由相同的HMVP。如果找到，相同的HMVP从该表被移除以及HVMP候选之后的所有候选朝前移动。表中最新的几个HMVP候选被依次检查以及在TMVP候选后被***候选列表。冗余检查被应用于HMVP候选到空间或者时间合并候选。
为了减少冗余检查操作的数目，引入了后续简化：
–用于合并列表生成的HMPV候选的数目被设置为(N<＝4)？M:(8–N)，其中N指示合并列表中现有候选的数目以及M指示表中可用HMVP候选的数目。
–一旦可用合并候选的总数目达到最大允许的合并候选减1，结束来自HMVP的合并候选列表构造进程。
通过平均现有合并候选列表中候选的预定对生成平均候选，以及预定对被定义为{(0,1),(0,2),(1,2),(0,3),(1,3),(2,3)}，其中数目表示合并候选列表的合并索引。为每一参考列表分别计算平均的运动向量。如果在一个列表中两个运动向量是可用的，甚至当指向不同的参考图像时这两个运动向量被平均，如果仅一个运动向量是可用的，直接使用这个。如果没有运动向量可用，保持这一列表无效。当在添加成对平均合并候选后合并列表未满时，0MVP被***末端直到达到最大合并候选数目
l.具有运动向量差异的合并模式(MMVD)
除了合并模式，其中显式推导的运动资讯被直接用于当前CU的预测样本生成，包括具有运动向量差异(MVD)的合并模式。在一些实施例中，在发信跳过旗标以及合并旗标后发信MMVD旗标来指定MMVD模式是否用于CU。
在MMVD中，在选择合并候选后，其进一步由所发信的MVD资讯细化。进一步的资讯包括合并候选旗标、指定运动幅度的索引以及用于指示运动方向的索引。在MMVD模式中，合并列表中首先两个候选的一个被选择作为MV基础。合并候选旗标被发信来指定使用哪一个。
在一些实施例中，距离索引指定运动幅度资讯以及指示从起始点的预定偏移。如图21所示，偏移被添加到起始MV的水准分量或者垂直分量。在下表l-1中指定了距离索引与预定偏移的关联。
表l-1距离索引
Figure GDA0003825575590000281
方向索引表示相对于起始点的MVD的方向。方向索引可以表示如表l-2示出的四个方向。注意到，MVD符号的意义可以根据起始MV的资讯变化。当起始MV是单一预测MV或者两个列表都指向当前图像的相同侧的双向预测MV时(即，两个参考的POC都大于当前图像的POC，或者都小于当前图像的POC)，表l-2中的符号指定了被添加到起始MV的MV偏移的符号。当起始MV是两个MV指向当前图像的不同侧的双向预测MV时(即，一个参考的POC大于当前图像的POC，以及另一个参考的POC小于当前图像的POC)，表l-2的符号指出被添加到起始MV的列表0MV分量的MV偏移的符号以及列表1MV的符号具有相反值。
表l-2由方向索引指定MV偏移的符号
方向索引 00 01 10 11
X轴 + – N/A N/A
Y轴 N/A N/A + –
在一些实施例中，除了正常的单向预测以及双向预测模式MVD信令，应用了用于双向预测MVD信令的对称的MVD模式。在对称的MVD模式中，包括列表0以及列表1的参考图像索引的运动资讯以及列表1的MVD不被发信但被推导。对称的MVD模式的解码进程如下：
在条带层级，变数BiDirPredFlag,RefIdxSymL0 and RefIdxSymL1被推导如下：
–如果mvd_l1_zero_flag是1，BiDirPredFlag被设置为等于0。
–否则，如果列表0中最近的参考图像以及列表1中最近的参考图像形成参考图像的前向以及后向对或者参考图像的后向以及前向对，BiDirPredFlag被设置为1，以及列表0以及列表1两者参考图像都是短期参考图像。否则，BiDirPredFlag被设置为0。
在CU层级，如果CU是双向预测编码的以及BiDirPredFlag等于1，指示是否使用对称模式的对称模式旗标被显示发信。当对此模式旗标为真时，仅mvp_l0_flag,mvp_l1_flag以及MVD0被显示发信。列表0以及列表1的参考索引分别被设置为等于参考图像对。MVD1被设置为等于(-MVD0)。最终的运动向量被示出于以下等式。
Figure GDA0003825575590000291
在编码器，对称MVD运动估计开始初始MV评估。一组初始MV候选包括从单一搜索获得MV，从单向预测搜索获得的MV以及来自AMVP列表的MV。具有最低率失真成本的一个MV被选择为对称的MVD运动搜索的初始MV。
m.仿射候选
仿射合并预测或者AF_MERGE模式可以被应用于宽度以及高度都大于或等于8的CU。在这一模式中，运动向量与仿射模型的控制点相关，或者基于空间相邻CU的运动资讯生成当前CU的控制点运动向量(CPMV)。可能有至多5个CPMVP候选以及索引被发信来指示将用于当前CU的一个。后续的三种类型CPMV候选用于形成仿射合并候选列表：
–从相邻CU的CPMV推测的继承的仿射合并候选。
–使用相邻CU的平移MV推导的构造的仿射合并候选CPMVP
–0MV
构造的仿射候选意味着候选通过组合每一控制点的相邻平移运动资讯来构造。从指定的空间相邻块以及时间相邻块来推导控制点的运动资讯。
仿射AMVP预测或者仿射AMVP模式可以被应用用于宽度以及高度都大于或等于16的CU。CU层级中的仿射旗标在比特流中被发信来指示仿射AMVP模式是否被使用以及然后另一个旗标被发信来指示是否是4参数模仿射或者6参数仿射。在这一模式中，当前CU的CPMV的差异以及它们的预测子CPMVP来比特流中被发信。仿射AMVP候选列表尺寸是2以及其通过依次使用后续四种类型的CPVM来生成:
–从相邻CU的CPMV推测的继承的仿射AMVP候选。
–使用相邻CU的平移MV推导的构造的仿射AMVP候选。
–来自相邻CU的平移MV。
–0MV。
继承的仿射AMVP候选的检查次序与继承的仿射合并候选的检查次序相同。区别仅在于，对于AVMP候选，仅考虑具有与当前块相同参考图像的仿射CU。当将继承的仿射运动预测子***候选列表时，没有应用修剪进程。
在一些实施例中，仿射CU的CPMV被存储于各自的缓冲器。所存储的CPMV仅用于在仿射合并模式以及仿射AMVP模式生成继承的CPMVP用于最近编解码的CU。从CPMV推导的子块MV用于运动补偿，平移MV的合并/AMVP列表的MV推导以及去块。
为了避免用于额外的CPMV的图像线性缓冲器，来自上方CTU的CU的仿射数据继承被当作与来自正常相邻CU的继承不同。如果用于仿射运动数据继承的候选CU在上方CTU线中，使用线性缓冲器中的左下以及右下子块MV而不是CPMV来用于仿射MVP推导。这样，CPMV仅被存储于局部缓冲器。如果候选CU是6参数仿射编解码的，仿射模型退化到4参数模型。
n.基于子块的时间运动向量预测(SbTMVP)
在一些实施例中，基于子块的时间运动向量预测(SbTMVP)方法。类似于HEVC中时间运动向量预测(TMVP)，SbTMVP使用并位图像中的运动场来改善当前图像中CU的运动向量预测以及合并模式。由TMVP使用的相同的并位图像用于SbTVMP。SbTMVP不同于TMVP，在于(1)TMVP在CU层级预测运动而SbTMVP在子CU层级预测运动，以及(2)鉴于TMVP从并位图像的并位块(同位块是相对于当前CU的右下或者中心块)提取运动向量，SbTMVP在从并位图像提取时间运动资讯之前应用运动移比特，其中运动移位从来自当前CU的空间相邻块之一的运动向量来获得。
图22概念地示出了SbTMVP进程。通过应用来自空间相邻块的运动偏移以及缩放来自对应的同位子CU的运动资讯推导子CU运动场。在两个步骤中，SbTMVP预测当前CU内子CU的运动向量。在第一步中，检查图22中的空间相邻块A1。如果A1具有使用并位图像作为其参考图像的运动向量，这一运动向量被选择为待应用的运动偏移。如果没有这种运动被识别，那么运动偏移被设置为(0,0)。在第二步中，如图22所示，第一步骤中识别的运动偏移被应用(如，添加到当前块的座标)来从并位图像获得子CU层级运动资讯(运动向量以及参考索引)。图22中示例假定运动偏移被设置为块A1的运动。那么，对于每一子SU，并位图像中其对应块(覆盖中心样本的最小运动网格)的运动资讯用于推导子CU的运动资讯。在识别同位子CU的运动资讯后，其以与HEVC的TMVP进程类似的方式被转换成当前子CU的运动向量以及参考索引，其中时间运动缩放被应用来对齐这些当前CU的时间运动向量的参考图像。
在一些实施例中，包含SbTVMP候选以及仿射合并候选两者的基于组合的子块合并列表用于发信基于子块的合并模式。由序列参数集合(SPS)旗标启用/禁用SbTMVP模式，如果SbTMVP模式被启用，SbTMVP预测子被添加作为基于子块的合并候选列表的第一条目，紧接着是仿射合并候选。在一些实施例中，在SPS中发信基于子块的合并列表的尺寸以及基于子块的合并列表的最大允许尺寸是5。SbTMVP中使用的子CU尺寸被固定为8×8，以及如像仿射合并模式那样，SbTMVP模式仅适用于宽度以及高度两者大于或等于8的CU。额外的SbTMVP合并候选的编码逻辑与其他合并候选相同，即，对于P或者B条带中的每一CU，执行额外的RD检查来决定是否使用SbTMVP候选。
o.集合分割模式(GPM)
在几何分割下，变换块可以获得属于多个(如，两个)不同分割的像素，以及多个不同的运动向量用于多个不同分割的运动补偿。因此，不同分区之间的边界上的像素可以具有大的不连续性，其可能生成类似于块效应的视觉伪影。这反过来降低了变换效率。
图23以及图24示出了由几何分割创建的区块。灰色阴影的像素属于区域1以及白色阴影的像素属于区域2。如果其四个相连的相邻像素(左、上、右以及下)的任一个属于区域2(或者区域1)，区域1(或区域2)的像素被定义为边界像素。如果像素是边界像素，使用两个区域的两个运动向量的运动预测的加权和执行运动补偿。用于包含边界像素的区域的运动向量的预测的权重是3/4以及用于使用其他区域的运动向量的预测是权重是1/4。重迭的边界改善了重构视频的视觉品质，也提供了BD率增益。
p.组合的帧间以及帧内预测(CIIP)
组合的帧间/帧内预测(CIIP)将帧间预测讯号与帧内预测讯号组合。CIIP模式中的帧间预测讯号Pinter使用应用于常规合并模式的相同的帧间预测进程来推导，以及帧内预测讯号Pintra在具有平面模式的常规帧内预测处理之后被推导。然后，使用加权平均组合帧内以及帧间预测讯号。使用加权平均组合帧间以及帧内预测讯号。根据上方以及左边相邻块的编解码模式计算权重中，如下：
–如果上方相邻块是可用并且帧内编码的，那么设置isIntraTop为1，否则设置isIntraTop为0。
–如果左边相邻块是可以并且帧内编码的，那么设置isIntraLeft为1，否则设置isIntraLeft为0；
–如果(isIntraLeft+isIntraLeft)等于2，那么wt被设置为3；
–否则，如果(isintraLeft+isIntraLeft)等于1，那么wt被设置为2；
–否则，设置wt为1。
形成CIIP预测如下：
PCIIP＝((4-wt)*Pinter+wt*Pintra+2)＞＞2
在一些实施例中，当CU以合并模式编解码时，如果CU包含至少64个亮度样本(即，CU宽度乘CU高度等于或大于64)，以及如果CU宽度以及CU高度都小于128亮度样本，额外的旗标被发信来指示CIIP模式是否被应用于当前CU。
III合并估计区域(MER)以及合并模式
因为IBC模式参考当前图像上的参考像素，因为当前CU的运动补偿需要等到先前CU的重构，IBC合并列表生成的并行处理是无用的。
在一些实施例中，MER模式适用于子块合并列表(包括仿射合并以及SbTMVP)以及非子块非IBC合并列表(包括GPM、MMVD合并、常规合并、CIIP合并)，但是不用于IBC合并(与/或IBC AMVP)。即，对于IBC合并(与/或IBC AMVP)模式，当生成合并列表时，视频编码器可以参考相同MER区域内的空间相邻块。
在一些实施例中，在子块合并以及非子块非IBC合并中使用MER模式(包括GPM、MMVD合并、常规合并、CIIP合并)，但是对IBC合并是禁用的(与/或IBC AMVP)。特别地，当在非IBC模式下推导当前CU的合并列表的空间相邻块时，MER区域内的空间相邻块被排除(设置为不可用)或者被推开到MER区域的边界。对于一些实施例，视频编码器决定是否使用空间相邻块作为合并候选，根据以下虚拟码：
Figure GDA0003825575590000341
换言之，如果IBC模式用于编解码当前CU，当前CU的空间相邻块可以被用作合并候选而不管空间相邻块是否在与当前CU相同的MER中。相反，如果没有使用IBC模式，与当前CU相同MER中的空间相邻块从合并列表中被排除作为合并候选。
图25概念地示出了基于MER以及IBC模式从合并候选列表包括以及排除空间相邻块。如图所示，当前图像2500具有其定义的MER 2505。MER 2505包括几个CU，包括2510以及CU 2515。图式也示出了几个空间相邻块，包括MER 2505内的空间相邻块2520-2526，MER2505之外的空间相邻块2530-2536，以及空间相邻块2540-2542在MER 2505的CU之后被编解码。
如果IBC模式对CU 2510是关闭的(或者未被应用)，在MER 2505之外的空间相邻块2530-2536可以用作用于编解码CU 2510的合并候选。空间相邻块2540-2542在MER 2505内以及被排除(或者不可用)用于编解码CU2510的合并候选。另一方面，如果IBC模式被应用用于CU 2515，空间相邻块2530-2536以及2540-2542可以都被用作(或者可用)合并候选而不管用于编解码CU 2515的MER 2505。
前述提到的方法可以在编码器与/或解码器实施。例如，所提出的方法可以在编码器的帧间预测模组，与/或解码器的帧间预测模组实施。在一些实施例中，编码器可以在比特流中发信(或生成)一个或多个语法元素，以致解码器可以从该比特流解析一个或多个语法元素。
示例性视频编码器
图26示出了当编码区块时可以使用预测候选列表(用于合并模式或者AMVP)来生成预测的示例性视频编码器。如图所示，视频编码器2600从视频源2605接收输入视频讯号以及将讯号编码进比特流2695。视频编码器2600具有用于编码来自视频源2605的讯号的各种元件或模组，至少包括从变换模组2610、量化模组2611、逆量化模组2614、逆变换模组2615、帧内图像估计模组2620、帧内图像预测模组2625、运动补偿模组2630、运动估计模组2635、环路滤波器2645、重构的图像缓冲器2650、MV缓冲器2665以及MV预测模组2675以及熵编码器2690中选择的一些元件。运动补偿模组2630以及运动估计模组2635是帧间预测模组2640的一部分。
在一些实施例中，模组2610-2690是由计算装置或电子装置的一个或多个处理单元(如，处理器)执行的软体指令的模组。在一些实施例中，模组2610-2690是由电子装置的一个或多个积体电路(IC)实施的硬体电路的模组。虽然模组2610-2690被示出为分离的模组，一些模组可以被组合成单个模组。
视频源2605提供表示未经压缩的每一视频帧的像素数据的原始视频数据。加法器2608计算视频源2605的原始视频像素数据与来自运动补偿模组2630或者帧内预测模组2625的已预测像素数据之间的差异。变换模组2610将差异(或者残差像素数据或者残差讯号2609)转换成变换系数2616(如，通过执行离散余弦变换或者DCT)。量化模组2611将变换系数量化成已量化数据(或者已量化系数)2612，其可以由熵编码器2690编码成比特流2695。
逆量化模组2614解量化已量化的数据(或者已量化的系数)2612来获得变换系数，以及逆变换模组2615对变换系数执行逆变换来生成重构的残差2619。重构的残差与已预测的像素数据2613相加来生成重构的像素数据2617。在一些实施例中，重构的像素数据2617暂时存储在线性缓冲器(未示出)用于帧内图像预测以及空间MV预测。重构的像素由环路滤波器2645进行滤波以及被存储于重构的图像缓冲器2650中。在一些实施例中，重构的图像缓冲器2650是视频编码器2600的外部记忆体。在一些实施例中，重构的图像缓冲器2650是视频编码器2600的内部记忆体。
帧内图像估计模组2620基于重构的像素数据2617执行帧内预测来生成帧内预测数据。帧内预测数据被提供到熵编码器2690来被编码到比特流2695。帧内预测数据也由帧内预测模组2625使用来生成已预测像素数据2613。
除了在比特流中编码完整实际的MV，视频编码器2600使用MV预测来生成已预测的MV，以及用于运动补偿的MV与已预测MV之间的差异被编码为残差运动数据并且被存储于比特流2695中。
MV预测模组2675基于参考MV生成已预测MV，参考MV被生成用于编码先前的视频帧，即运动补偿MV用于执行运动补偿。MV预测模组2675从来自MV缓冲器2665的先前视频帧检索参考MV。视频编码器2600在MV缓冲器2665存储为当前视频帧生成的MV作为用于生成已预测MV的参考MV。
MV预测模组2675使用参考MV来创建已预测MV。该已预测MV可以由空间MV预测或者时间MV预测来计算。已预测MV与当前帧的运动补偿MV(MC MV)之间的差异(残差运动数据)由熵编码器2690编码器比特流2695。
熵编码器2690通过使用熵编码技术将各种参数以及数据编码进比特流2695，如上下文自我调整算术编码(CABAC)或者霍夫曼编码。熵编码器2690一起编码已量化变化系数2612、各种标头元素、旗标，以及残差运动数据为语法元素到比特流2695。比特流2695反过来存储于储存装置或通过如网路的通信媒介传输到解码器。
环路滤波器2645对重构的像素数据2617执行滤波或光滑操作来减少编解码的伪影，尤其是在区块的边界。在一些实施例中，所执行的滤波操作包括样本适应性偏移(SAO)。在一些实施例中，滤波操作包括适应性环路滤波(ALF)。
图27示出了基于MER以及IBC模式识别预测候选的视频编码器的部分。特别地，图式示出了视频编码器2600的帧内预测模组2640的元件。如图所示，预测候选列表识别模组2710决定来自MV缓冲器2665的哪一运动向量包括于当前CU的预测候选列表(用于合并模式或者用于AMVP)。视频编码器提供讯号用于指示IBC模式是否用于当前CU以及用于定义MER。IBC模式指示的讯号以及MER定义被提供到熵编码器2690来被包括于比特流中作为语法元素。
预测候选列表识别模组2710使用IBC模组以及MER定义来决定是否包括或排除某些运动向量。例如，当MER被启动以及IBC是去启动用于当前CU时，预测候选列表识别模组2710可以从与当前CU相同的MER中的当前CU的空间相邻块排除运动向量，以及如果IBC模式对对当前CU是启动的，预测候选列表识别模组2710可以包括来自与当前CU相同的MER中的当前CU的相邻块的运动向量，即，当前CU的空间相邻块可以被包括而不管MER定义。
由预测候选列表识别模组2710为当前CU识别的预测候选列表反过来被提供到预测生成模组2720，其根据可能的预测模式(CIIP、MMVD、GPM、仿射等)之一生成当前CU的预测用于运动补偿模组2630。
图28概念地示出了用于使用基于MER以及IBC模式识别的预测候选来编码视频图像中的区块的进程2800。在一些实施例中，计算装置的一个或多个处理单元(如，处理器)实施编码器2600，通过执行存储于电脑可读媒介中的指令来执行进程2800。在一些实施例中，实施编码器2600的电子装置执行进程2800。
编码器接收(在块2810)待编码为视频的当前图像的当前块的的比特流的原始数据。编码器决定(在块2820)是否通过使用预测候选来编解码当前块(如，合并模式候选的列表或者AMVP候选的列表)。在一些实施例中，编码器将语法元素发信到比特流，指示是否通过使用预测候选来编解码当前块。如果通过使用预测候选来编解码当前块，进程前进到2830。否则，编码器在不使用预测候选的情况下编码(在块2825)当前块。
在块2830，编码器识别当前块的预测候选的列表中包括的潜在候选。编码器决定(在块2840)当前块是否由帧内块复制模式编解码以及(在块2842)决定预测候选的列表是否属于不同候选列表的预定子集或者从其来推导。在一些实施例中，不同候选列表的预定子集包括合并模式以及类合并候选(如，CIIP、GPM、常规合并)以及不包括AMVP候选。如果当前块由帧内块复制模式编解码或者如果预测候选的列表是用于AMVP的列表，进程前进到2850。否则(当前块不由IBC编解码以及预测候选的列表是合并或者类合并)，进程前进到2845。
当通过使用帧内块复制模式来编解码当前块时，参考当前图像中已编码参考样本的运动向量用于生成当前块的预测。当不通过使用帧内块复制模式来编解码当前块时，当前块以及MER中的至少一个其他块可以被并行编码。在一些实施例中，编码器在比特流中发信一个或多个语法元素来指示帧内块复制模式是否用于当前块。
编码器决定(在块2845)候选是否来自位于与当前块相同MER中的空间相邻块。在一些实施例中，比特流中的一个或多个语法元素可以用于识别或定义包括当前块的MER。如果空间相邻块在与当前块相同的MER中，进程前进到块2855。否则，进程前进到2850。
在块2850，编码器包括预测候选列表中的候选用于当前块。如果有额外的潜在候选包括于预测候选列表中，进程可以返回到块2830。如果没有其他潜在候选，进程前进到2860。
在块2855，编码器排除来自预测候选列表的候选用于当前块。在一些实施例中，当不通过使用帧内块复制模式来编解码当前块时，位于MER中的当前块的所有空间相邻块被从预测候选的列表排除。如果有额外的潜在候选包括于预测候选列表，进程可以返回块2830。如果没有其他潜在候选，进程前进到2860。
编码器通过使用从预测候选列表选择的预测候选来生成当前块的预测，将当前块编码(在块2860)进比特流。当前块的预测可以是基于所选预测候选生成的仿射预测。当前块的预测可以是基于所选预测候选生成的三角形或GPM预测。当前块的预测可以是基于所选预测候选生成的组合的帧间以及帧内预测(CIIP)。通过用运动向量差异资讯细化所选的预测候选，可以生成当前块的预测。
示例性视频解码器
图29示出了当解码区块时可以使用预测候选列表(用于合并模式或AMVP)来生成预测的示例性视频解码器2900。如图所示，视频解码器2900是接收比特流2995并将比特流的内容解码成视频帧的像素数据用于显示的图像解码或视频解码电路。视频解码器2900具有用于解码比特流2995的各种元件或模组。包括从逆量化模组2911、逆变换模组2910、帧内预测模组2925、运动补偿模组2930、环路滤波器2945、解码图像缓冲器2950、MV缓冲器2965、MV预测模组2975以及解析器2990选择的一些元件。运动补偿模组2930是帧间预测模组2940的一部分。
在一些实施例中，模组2910-2990是由计算装置的一个或多个处理单元(如，处理器)执行的软体指令的模组。在一些实施例中，模组2910-2990是由电子装置的一个或多个IC实施的硬体电路的模组。虽然模组2910-2990被示出为分离的模组，一些模组可以被组合成单个模组。
解析器2990(或熵解码器)接收比特流2995以及根据由视频编解码或图像编解码标准定义的语法执行初始解析。所解析的语法元素包括各种标头元素、旗标以及已量化数据(或已量化系数)2912。解析器2990通过使用如上下文二进位算术编解码(CABAC)或霍夫曼编码的熵编解码技术解析出各种语法元素。
逆量化模组2911解量化已量化的数据(或已量化系数)2912来获得变换系数，以及逆变换模组2910对变换系数2916执行逆变换来生成重构的残差讯号2919。重构的残差讯号2919与来自帧内预测模组2925或者运动补偿模组2930的已预测像素数据相加来生成已解码像素数据2917。已解码像素数据由环路滤波器2945滤波并且存储于解码图像缓冲器2950。在一些实施例中，解码图像缓冲器2950是视频解码器2900的外部储存。在一些实施例中，解码图像缓冲器2950是视频解码器2900的内部储存。
帧内预测模组2925从比特流2995接收帧内预测数据以及根据其从存储于解码图像缓冲器2950的已解码像素数据2917生成已预测像素数据2913。在一些实施例中，解码像素数据2917也存储于线性缓冲器(未示出)用于帧内图像预测以及空间MV预测。
在一些实施例中，解码图像缓冲器2950的内容用于显示。显示装置2955从解码图像缓冲器2950检索内容直接用于显示，或者检索解码图像缓冲器的内容到显示缓冲器。在一些实施例中，像素装置通过像素介面从解码图像缓冲器2950接收像素值。
MV预测模组2975基于被生成用于解码先前视频帧的参考MV生成已预测MV，如，运动补偿MV用于执行运动补偿。MV预测模组2975从MV缓冲器2965检索先前视频帧的参考MV。视频解码器2900将为解码当前视频帧生成的运动补偿MV存储于MV缓冲器2965作为用于侧已预测MV的参考MV。
环路滤波器2945对已解码像素数据2917执行滤波或者光滑操作来生成编解码的伪影，尤其在区块的边界。在一些实施例中，所执行的滤波操作包括样本适应性偏移(SAO)。在一些实施例中，滤波操作包括适应性环路滤波器(ALF)。
图30示出了基于MER以及IBC模式识别预测候选的视频解码器2900的部分。特别地，图式示出了视频解码器2900的帧间预测模组2940的元件。预测候选列表识别模组3010决定来自MV缓冲器2965的哪一运动向量被包括于预测候选列表作为当前CU的预测候选。
如图所示，熵解码器2990从比特流解析发信IBC模式是否用于当前CU的语法元素以及定义MER的语法元素。预测候选列表识别模组3010使用IBC模式指示以及MER定义来决定是否包括或者排除某些运动向量。例如，当MER是启动的以及IBC是去启动的用于当前CU，预测候选列表识别模组3010可以排除来自与当前CU相同的MER中的当前CU的相邻块的运动向量，以及如果IBC模式对当前CU是去启动的，预测候选列表识别模组3010可以包括来自与当前CU相同MER中的当前CU的相邻块的运动向量，即，可以包括当前CU的空间相邻块而不管MER定义。
由预测候选列表识别模组2710为当前CU识别的预测候选列表反过来被提供到预测生成模组3020，其根据可能的预测模式之一(CIIP/MMVD/GPM仿射等)生成当前CU的预测用于运动补偿模组2930。
图31概念地示出了使用基于MER以及IBC模式识别的预测候选来解码视频图像中区块的进程3100。在一些实施例中，实施解码器2900的计算装置的一个或多个处理单元(如，处理器)通过执行存储于电脑可读媒介中的指令执行进程3100。在一些实施例中，实施解码器2900的电子装置执行进程3100。
解码器从待解码为当前图像的当前块的比特流接收(在块3110)数据。解码器决定(在块3120)是否通过使用预测候选(如，合并模式候选列表或者AMVP候选列表)来编解码当前块。在一些实施例中，解码器从比特流中解析语法元素指示是否通过使用预测候选来编解码当前块。如果通过使用预测候选来编解码当前块，进程前进到2830。否则，解码器在不使用预测候选的情况下重构(在块3125)当前块。
在块3130，解码器识别潜在候选以加入当前块的预测候选列表。解码器决定(在块3140)当前块是否由帧内块复制模式编解码以及(在块3142)预测候选列表是否属于不同候选列表的预定子集或者从其来推导。在一些实施例中，不同候选列表的预定子集包括合并模式或者类合并的候选(如，CIIP、GPM、常规合并)以及排除AMVP候选。如果当前块由帧内块复制模式来编解码或者如果预测候选列表是AMVP的列表，进程前进到2850。否者(当前块不由IBC编解码以及预测候选的列表是合并或者类合并)，进程前进到3145。
当通过使用帧内块复制模式来编解码当前块时，参考当前图像中已解码参考样本的运动向量用于生成当前块的预测。当不通过使用帧内块复制模式来编解码当前块时，当前块以及MER中的至少一个其他块可以被并行解码。在一些实施例中，解码器接收比特流中的一个或多个语法元素来指示帧内块复制模式是否用于当前块。
解码器决定(在块3145)候选是否来自位于与当前块相同MER中的相邻块。在一些实施例中，比特流中的一个或多个语法元素可以用于识别或定义包括当前块的MER。如果空间相邻块在于当前块相同的MER中，进程前进到块3155。否者，进程前进到3150。
在块3150，解码器包括预测候选列表中的候选用于当前块。如果有额外的潜在候选包括于预测候选列表，进程可以返回块3130。如果没有其他的潜在候选，进程前进到3160。
在块3155，解码器从预测候选列表排除候选用于当前块。在一些实施例中，当不通过使用帧内块复制模式来编解码当前块时，位于MER中的当前块的所有相邻块从预测模式候选的列表被排除。如果有额外的潜在候选包括于预测候选列表，进程可以返回块3130。如果没有其他潜在候选，进程前进到3160。
通过使用从预测候选列表选择的合并候选来生成当前块的预测，解码器重构(在块3160)当前块。当前块的预测可以是基于所选择的预测候选生成的仿射预测。当前块的预测可以是基于所选择的预测候选生成的三角形或GPM与猜测。当前块的预测可以是基于所选择的预测候选生成的组合的帧间以及帧内预测(CIIP)。当前块的预测可以通过用运动向量差异资讯细化所选预测候选来生成。
示例性电子***
许多上述描述的特征以及应用被实施为被指定为记录在电脑可读储存媒介(也称为电脑可读媒介)上的指令集合的软体进程。当这些指令由一个或多个计算或处理单元(如，一个或多个处理器、处理器核心或者其他处理单元)执行时，其使得处理单元执行指令所指示的动作。电脑可读媒介的示例包括但不限于CD-ROM、快速驱动器、随机存取记忆体(RAM)晶片、硬碟驱动器、可擦可程式设计唯读记忆体(EPROM)、电可擦可程式设计唯读记忆体(EEPROM)等。电脑可读媒介不包括无线或者通过有线连接传输的载波以及电子讯号。
在本发明中，术语“软体”意为包括驻留于唯读记忆体中的固件或者存储与磁储存中的应用，其可以被读取到记忆体由处理器处理。另外，在一些实施例中，多个软体发明可以被实施为较大程式的子部分而保留独特的软体发明。在一些实施例中，多个软体发明也可以被实施为各自的程式。最终，一起实施为本文描述的软体发明的各自程式的任何组合在本发明的范围内。在一些实施例中，软体程式，当被安装来在一个或多个电子***上操作时，定义运行或执行软体程式的操作的一个或多个特定的机器实施方式。
图32概念地示出了可以实施本发明一些实施例的电子***3200。电子***3200可以是电脑(如，台式电脑、个人电脑、平板电脑)、电话、PDA或者任何其他合适的电子装置。这种电子***包括各种类型的电脑可读媒介以及用于各种其他类型的电脑可读媒介的介面。电子***3200包括汇流排3205、处理单元3210、影像处理单元(GPU)3215、***记忆体3220、网路3225、唯读记忆体3230、永久储存装置3235、输入装置3240以及输出装置3245。
汇流排3205共同表示连接电子***3200的各种内部装置的所有***、外接以及晶片集汇流排。例如，汇流排3205将处理单元3210与GPU 3215、唯读记忆体3230、***记忆体3220以及永久储存装置3235连接到一起。
从各种记忆体单元，处理器单元3210检索指令来执行待处理的数据以执行本发明的进程。处理单元在不同实施例中可以是单个处理器或者多核处理器。一些指令被传输以及由GPU 3215执行。GPU 3215可以分流各种计算或者实施由处理单元3210提供的影像处理。
唯读记忆体(ROM)3230存储静态数据以及由处理单元3210以及电子***的其他模组使用的指令。另一方面，永久储存装置3235是读写存储装置。装置是即使电子***3200关闭时存储指令的非易失性存储单元。本发明的一些实施例使用大储存装置(如磁片或光碟以及其对应的驱动器)作为永久储存装置3235。
其他实施例使用可移除储存装置(如软碟、快速存储装置等以及其对应的驱动器)作为永久储存装置。像永久储存装置3235，***记忆体3220是读写存储装置。然而，不像储存装置3235，***记忆体3220是易失性读写记忆体，如随机存取记忆体。***记忆体3220存储处理器在运行时使用的一些指令以及数据。在一些实施例中，根据本发明的进程被存储于***记忆体3220、永久储存装置3235与/或唯读记忆体3230。例如，各种存储单元包括根据一些实施例的用于处理多媒体剪辑的指令。从这各种存储单元，处理单元3210检索待执行的指令以及待处理的数据以执行一些实施例的进程。
汇流排3295也连接输入以及输出装置3240以及3245。输入装置3240使使用者能够通信资讯以及选择到电子***的命令。输入装置3240包括字母键盘以及定位装置(也称为“游标控制装置”)、摄像机(如，网路摄像机)、麦克风或者类似的装置用于接收声音命令等。输入装置3245显示由电子***或其他输入数据生成的显示图像。输入装置3245包括印表机以及显示装置，如阴极射线管(CRT)或者液晶显示器(LCD)以及扬声器或者类似的声音输出装置。一些实施例包括同时作为输出以及输出装置的触控式萤幕。
最终，如图32所示，汇流排3205也通过网路介面卡(未示出)将电子***3200耦合到网路3225。这样，电脑可以是电脑网路的一部分，如局域网(LAN)、广域网路(WAN)或者内联网或者网路的网路(如互联网)。电子***3200的任何或者所有元件可以结合本发明使用。
一些实施例包括电子元件，如存储机器可读或电脑可读媒介(或者称为电脑可读储存媒体、及其可读媒体或者机器机器可读储存媒体)的电脑程式指令的微处理器、储存以及记忆体。这种电脑可读媒体的一些示例包括RAM、ROM、唯读光碟(CD-ROM)、可录式光碟(CD-R)、可写光碟(CD-RW)、唯读数位通用光碟(如，DVD-ROM、双层DVD-ROM)、各种可录式/可写DVD(如，DVD-RAM、DVD-RW、DVD+RW等)、快速记忆体(如，SD卡、miniSD卡、microSD卡等)、磁与/或固态硬碟驱动器、唯读以及可录式蓝光光碟、超密度光碟、任何其他光或者磁媒体以及软碟。电脑可读媒体可以存储由至少一个处理单元执行的电脑程式以及包括用于执行各种操作的指令的集合。电脑程式或者电脑代码的示例包括机器代码(如由编译器生成)以及包括较高层级代码的档，由使用注释器的电脑、电子设备或者微处理器来执行。
虽然上述讨论主要指执行软体的微处理器或者多核处理器，许多以上描述的特征以及应用由一个或多个积体电路执行，如专用积体电路(ASIC)或者现场可程式设计闸阵列(FPGA)。在一些实施例中，这种积体电路执行存储于电路本身上的指令。此外，一些实施例执行存储于可程式设计逻辑装置(PLD)、ROM或者RAM中的软体。
在本说明书和本申请的任何申请专利范围中，术语“电脑”、“伺服器”、“处理器”和“记忆体”均指电子或其他技术设备。这些术语不包括人或人群。出于说明书的目的，术语“显示器”或“显示装置”显示在电子设备上。如在本说明书和本申请的任何申请专利范围中所使用的，术语“电脑可读介质”、“电脑可读介质”和“机器可读介质”完全限于以电脑可读的形式存储资讯的有形物理物件。这些术语排除任何无线讯号、有线下载讯号和任何其它短暂讯号。
虽然本发明已经参考许多具体细节进行了描述，但是本领域具有通常知识者将认识到，在不背离本发明的精神的情况下，本发明可以以其他具体形式来实现。此外，多个附图(包括图28以及图31)从概念上说明过程。这些过程的具体操作可能不按所示和所述的具体顺序来执行。特定操作可以不在一个连续系列的操作中执行，并且不同的特定操作可以在不同的实施例中执行。此外，该过程可以使用几个子过程来实现，或者作为更大的宏过程的一部分来实现。因此，所属领域的技术人员将理解，本发明不受前述说明性细节限制，而是由所附申请专利范围界定。
附注
本文所描述的主题有时示出了包括于不同其他元件或与其连接的不同元件。能够理解，这种描绘的架构仅是示例，以及事实上可以实施实现相同功能的许多其他的架构。概念上来说，实现相同功能的元件的任何安排是有效“关联的”以致实现所期望的功能。因此，本文组合来实现特定功能的任何两个元件可以被视为彼此“关联”以致实现所期望的功能，而不管架构或中间元件。同样地，如此关联的任何两个元件也可以被视为彼此“可操作地连接”或“可操作地耦合”来实现所期望的功能，以及能够如此关联的任何两个元件也可以被视为彼此“可操作地耦合”来实现所期望的功能。可操作地耦合的具体示例包括但不限于物理上可匹配与/或物理上交互的元件与/或无线地可了解与/或无线地交互的元件与/或逻辑地交互与/或逻辑可交互的元件。
此外，关于本文中实质上任何复数与/或单数术语的使用，本领域技术人员的这些人可以根据上下文以及应用适当地将其从复数转换成单数与/或从单数转换成复数。为了清楚起见，这里可以明确阐述各种单数/复数置换。
此外，本领域技术人员表将能理解，通常，本文所使用的术语，尤其是所附权利要求中使用的术语(如所附权利要求的主体)通常意为“开放式”的术语，如，术语“包括(including)”应当被解释为“包括但不限于”，术语“具有”应当被解释为“至少具有”，术语“包括(includes)”应当被解释为“包括但不限于”等。本领域这些技术人员将能进一步理解，如果特定数目的所引权利要求的表述是有意的，这种意图将明确列举在权利要求中，以及没有这种表述的情况下这种意图不存在。例如，
为了帮助理解，后续所附权利要求可以包含介绍性短语“至少一个”以及“一个或多个”的使用来介绍权利要求表述。然而，这种短语的使用不应所述被解释为暗示由不定冠词“a”或“an”介绍的权利要求表述限制包含这种引入的权利要求表述的任何特定权利要求到仅包含一个这种表示的实施方式，即使当相同的权利要求包括介绍性短语“一个或多个”或“至少一个”以及如“a”或“an”的不定冠词，“a”与/或“an”应当被解释为意味着“至少一个”或“一个或多个”，相同的情况也适用于介绍权利要求表述的定冠词。此外，即使特定数目的所介绍权利要求表述被明确列举，本领域技术人员将意识到，这种表述应当被解释为意味着至少一个所列举的数目，如没有其他修改的“两个表述”的纯表述意味着至少两个表述，或者两个或多个表述。此外，在使用类似于“至少一个A、B以及C等”的惯例的情况下，通常这种构造旨在本领域技术人员将能理解所述惯例，如“***具有至少一个A、B以及C”将包括但不限于***单独具有A、单独具有B、单独具有C、一起具有A与B、一起具有A与C、一起具有B与C，与/或一起具有A、B以及C等。在使用类似于“至少一个A、B或C”惯例的这些情况下，通常这种构造旨在本领域技术人员将能够理解所述惯例，如“***具有至少一个A、B或C”将包括但不限于***单独具有A、单独具有B、单独具有C、一起具有A与B、一起具有A与C、一起具有B与C，与/或一起具有A、B以及C等。本领域技术人员将能进一步理解，事实上在描述、权利要求或图示中，表示两个或多个可替换术语的任何分隔词与/或短语将被理解成考虑包括术语之一、术语任一个或者术语两者的可能性。例如，短语“A或B”将被理解成包括“A或B”或者“A与B”的可能性。
从上文可以理解，出于说明的目的，本发明的各种实施方式已经在此进行描述，以及在不背离本发明范围以及精神的情况下，可以进行各种修正。因此，本文所描述的各种实施方式不旨在被限制，真正的范围以及精神由后续权利要求来指示。

Claims (16)

1.一种视频解码方法，该方法包括：
从待解码为一视频的一当前图像的一当前块的一比特流中接收数据；
决定是否通过使用帧内块复制模式来编解码该当前块；
识别一个或多个预测候选的一列表用于该当前块，
其中当该当前块不通过使用帧内块复制模式来编解码以及预测候选的该列表属于多个不同候选列表的一预定子集时，位于与该当前块相同的一合并估计区域中的该当前块的一个或多个空间相邻块从预测候选的该列表被排除；
其中当该当前块通过使用帧内块复制模式来编解码时，至少一个所识别的合并模式候选是位于该合并估计区域中的该当前块的一空间相邻块；以及
通过使用从一个或多个预测候选的该列表选择的一合并模式候选重构该当前块来生成该当前块的一预测。
2.根据权利要求1所述的视频解码方法，其特征在于，当不通过使用帧内块复制模式来编解码该当前块时，该当前块以及该合并估计区域中至少一个其他块被并行重构。
3.根据权利要求1所述的视频解码方法，其特征在于，当通过使用帧内块复制模式来编解码该当前块时，参考该当前图像中先前重构参考样本的一运动向量用于生成该当前块的一预测。
4.根据权利要求1所述的视频解码方法，其特征在于，该比特流中的一个或多个语法元素指示帧内块复制模式是否用于编解码该当前块。
5.根据权利要求1所述的视频解码方法，其特征在于，进一步包括解析该比特流中的一个或多个语法元素以及基于所解析的语法元素决定帧内块复制模式是否用于该当前块。
6.根据权利要求1所述的视频解码方法，其特征在于，当不通过使用帧内块复制模式来编解码该当前块时，位于该合并估计区域中的该当前块的所有空间相邻块从预测候选的该列表被排除。
7.根据权利要求1所述的视频解码方法，其特征在于，该当前块的该预测是基于所选的预测候选生成的一仿射预测。
8.根据权利要求1所述的视频解码方法，其特征在于，该当前块的预测是基于所选的预测候选生成的一几何分割模式预测。
9.根据权利要求1所述的视频解码方法，其特征在于，该当前块的预测是基于所选的预测候选生成的一组合的帧间与帧内预测。
10.根据权利要求1所述的视频解码方法，其特征在于，通过用一运动向量差异资讯细化所选的预测候选生成该当前块的预测。
11.根据权利要求1所述的视频解码方法，其特征在于，通过在一子块层级适应一并位图像中的运动场来改善该当前块的预测。
12.根据权利要求1所述的视频解码方法，其特征在于，该多个不同候选列表的该预定子集包括类合并预测模式的候选。
13.根据权利要求1所述的视频解码方法，其特征在于，该多个不同候选列表的该预定子集排除高级运动向量预测的候选。
14.一种视频编码方法，该方法包括：
接收待编码为一视频的一当前图像的一当前块的原始像素数据到一比特流；
决定该当前块是否通过使用帧内块复制模式来编解码；
识别用于该当前块的一个或多个预测候选的一列表；
其中当不通过使用帧内块复制模式来编解码该当前块以及预测候选的该列表属于多个不同候选列表的一预定子集时，位于与该当前块相同的一合并估计区域区域中的该当前块的一个或多个相邻块从该预测候选列表被排除，
其中当不通过使用帧内块复制模式来编解码该当前块时，至少一个所识别预测候选是位于该合并估计区域中该当前块的一空间相邻块；以及
通过使用从一个或多个预测候选的该列表选择的一预测候选编码该当前块来生成该当前块的一预测。
15.根据权利要求14所述的视频编码方法，其特征在于，进一步包括在该比特流中发信一个或多个语法元素来指示帧内块复制模式是否用于该当前块。
16.一种电子装置，该装置包括：
一视频解码器电路，被配置为执行操作，包括:
从待解码为一视频的一当前图像的一当前块的一比特流中接收数据；
决定是否通过使用帧内块复制模式来编解码该当前块；
识别一个或多个预测候选的一列表用于该当前块，
其中当不通过使用帧内块复制模式来编解码该当前块以及预测候选的该列表属于多个不同候选列表的一预定子集时，位于与该当前块相同的一合并估计区域中的该当前块的一个或多个空间相邻块从预测候选的该列表被排除；
其中当通过使用帧内块复制模式来编解码该当前块时，至少一个所识别的合并模式候选是位于该合并估计区域中的该当前块的一空间相邻块；以及
通过使用从一个或多个预测候选的该列表选择的一合并模式候选重构该当前块来生成该当前块的一预测。
CN202080083450.5A 2019-11-27 2020-11-27 并行处理的选择性切换 Pending CN115152227A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962940961P 2019-11-27 2019-11-27
US62/940,961 2019-11-27
US17/105,569 2020-11-26
US17/105,569 US11240524B2 (en) 2019-11-27 2020-11-26 Selective switch for parallel processing
PCT/CN2020/132382 WO2021104474A1 (en) 2019-11-27 2020-11-27 Selective switch for parallel processing

Publications (1)

Publication Number Publication Date
CN115152227A true CN115152227A (zh) 2022-10-04

Family

ID=75974481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080083450.5A Pending CN115152227A (zh) 2019-11-27 2020-11-27 并行处理的选择性切换

Country Status (7)

Country Link
US (1) US11240524B2 (zh)
EP (1) EP4066501A4 (zh)
KR (1) KR20220103180A (zh)
CN (1) CN115152227A (zh)
MX (1) MX2022006351A (zh)
TW (1) TWI774141B (zh)
WO (1) WO2021104474A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3744094A4 (en) * 2018-01-26 2021-11-03 MediaTek Inc. METHOD AND DEVICE FOR AFFINE INTER-PREDICTION FOR A VIDEO ENCODING SYSTEM
EP4082202A4 (en) * 2019-12-24 2023-05-10 Beijing Dajia Internet Information Technology Co., Ltd. MOTION ESTIMATION AREA FOR MERGER CANDIDATES
US11206416B2 (en) * 2020-02-21 2021-12-21 Tencent America LLC Method and apparatus for video coding
US11477437B2 (en) * 2021-01-28 2022-10-18 Lemon Inc. Coding of motion information
US20230078392A1 (en) * 2021-09-15 2023-03-16 Tencent America LLC Geometric partition based intra prediction
US20230094825A1 (en) * 2021-09-28 2023-03-30 Qualcomm Incorporated Motion vector difference sign prediction for video coding
US20230108504A1 (en) * 2021-10-04 2023-04-06 Tencent America LLC On geometric partition mode with intra and inter prediction
WO2023134564A1 (en) * 2022-01-14 2023-07-20 Mediatek Inc. Method and apparatus deriving merge candidate from affine coded blocks for video coding

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150271515A1 (en) * 2014-01-10 2015-09-24 Qualcomm Incorporated Block vector coding for intra block copy in video coding
CN106416243B (zh) 2014-02-21 2019-05-03 联发科技（新加坡）私人有限公司 利用基于帧内图像区块复制预测的视频编码方法
JP2017532885A (ja) 2014-09-26 2017-11-02 ヴィド スケール インコーポレイテッド 時間ブロックベクトル予測を用いたイントラブロックコピー符号化
US10812822B2 (en) 2015-10-02 2020-10-20 Qualcomm Incorporated Intra block copy merge mode and padding of unavailable IBC reference region
US10523948B2 (en) 2018-02-05 2019-12-31 Tencent America LLC Method and apparatus for video coding
CN110662059B (zh) * 2018-06-29 2021-04-20 北京字节跳动网络技术有限公司 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置
US11284066B2 (en) * 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
US11140406B2 (en) * 2019-02-20 2021-10-05 Qualcomm Incorporated Signalling for merge mode with motion vector differences in video coding

Also Published As

Publication number Publication date
KR20220103180A (ko) 2022-07-21
US11240524B2 (en) 2022-02-01
EP4066501A4 (en) 2024-01-03
MX2022006351A (es) 2022-11-28
WO2021104474A1 (en) 2021-06-03
EP4066501A1 (en) 2022-10-05
TWI774141B (zh) 2022-08-11
TW202127890A (zh) 2021-07-16
US20210160528A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
CN112913247B (zh) 使用局部照明补偿的视频处理
CN113170181B (zh) 块内拷贝模式中的仿射继承方法
CN112868239B (zh) 并置的局部照明补偿和帧内块复制编解码
TWI774141B (zh) 視訊編解碼方法及裝置
US11245922B2 (en) Shared candidate list
CN112740695A (zh) 使用间预测处理视频信号的方法和装置
CN113302918A (zh) 视频编解码中的加权预测
CN112970255A (zh) 具有几何分割的帧间预测的边信息的信令
JP2023527920A (ja) 映像符号化および映像復号のための方法、装置およびコンピュータプログラム製品
US11082702B2 (en) Inter prediction mode-based image processing method and device therefor
CN114175636B (zh) 自适应参数集中的自适应环路滤波的指示
CN113924783A (zh) 用于视频编解码的组合式帧内和帧内块复制预测
CN113141783A (zh) 用于多重假设的帧内预测
CN113316935A (zh) 使用局部照明补偿的运动候选列表
KR102662603B1 (ko) 비디오 코딩을 위한 움직임 후보 리스트 구성
CN113994698A (zh) 有条件地实施运动候选列表构建过程
CN114009037A (zh) 帧内块复制模式的运动候选列表构建
CN112970250B (zh) 视频编码的多重假设方法和装置
CN113966616A (zh) 使用临近块信息的运动候选列表构建
CN112585972B (zh) 视频编解码的帧间预测方法及装置
WO2024017224A1 (en) Affine candidate refinement
WO2024027700A1 (en) Joint indexing of geometric partitioning mode in video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination