CN111869216A - 利用自适应运动向量分辨率和子块预测模式进行视频编解码的当前图像参考的方法和装置 - Google Patents

利用自适应运动向量分辨率和子块预测模式进行视频编解码的当前图像参考的方法和装置 Download PDF

Info

Publication number
CN111869216A
CN111869216A CN201980012198.6A CN201980012198A CN111869216A CN 111869216 A CN111869216 A CN 111869216A CN 201980012198 A CN201980012198 A CN 201980012198A CN 111869216 A CN111869216 A CN 111869216A
Authority
CN
China
Prior art keywords
motion vector
current
block
flag
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980012198.6A
Other languages
English (en)
Other versions
CN111869216B (zh
Inventor
赖贞延
林芷仪
陈庆晔
庄子德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Priority to CN202410210285.5A priority Critical patent/CN118101969A/zh
Publication of CN111869216A publication Critical patent/CN111869216A/zh
Application granted granted Critical
Publication of CN111869216B publication Critical patent/CN111869216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种具有当前图像参考模式使能的视频编解码***的方法和装置。依据一种方法，当当前参考图像等于当前图像时，整数运动向量标志被推断为真，不需要发出整数或者解析运动向量标志。依据另一种方法，当当前块的所有的运动向量差都等于零时，整数运动向量标志被推断为真，不需要发出整数或者解析运动向量标志。依据另一种方法，当当前块的所有的参考图像都等于当前图像时：禁能子块预测编解码模式；并且通过禁能子块预测编解码模式，对当前块进行编码或解码。或者，与当前块的子块相关的导出运动向量可转换成整数运动向量。

Description

利用自适应运动向量分辨率和子块预测模式进行视频编解码 的当前图像参考的方法和装置
相关引用
本发明主张递交于2018年2月12日号码为62/629,204的美国临时专利申请案，递交于2018年10月8日号码为62/742,474的美国临时专利申请案，以及递交于2018年10月18日号码为62/747,170的美国临时专利申请案的优先权，上述列出的申请案的全部内容以引用方式并入本文。
技术领域
本发明涉及使用当前图像参考(current picture referencing,CPR)编解码工具的视频编解码。更具体地说，本发明揭露了用于编解码***的语法发送，编解码***使用CPR编解码工具和其他编解码工具，比如说自适应运动向量分辨率(adaptive motionvector resolution,AMVR)，基于子块的时间运动向量预测(sub-block based temporalmotion vector prediction(sbTMVP)，或仿射预测(affine prediction)。
背景技术
高效率视频编解码(High Efficiency Video Coding,简称HEVC)标准是在ITU-T视频编解码专家组(Video Coding Experts Group，简称VCEG)和ISO/IEC运动图像专家组(Moving Picture Experts Group，简称MPEG)标准化组织的联合视频项目下开发的，尤其是与称为视频编解码联合协作小组(Joint Collaborative Team on Video Coding,简称JCT-VC)的合作而开发的。在HEVC中，一个片段(Slice)被分割为多个编码树单元(codingtree units，以下简称为CTU)。在主配置文件(profile)中，CTU的最小尺寸和最大尺寸由序列参数集(sequence parameter set,简称SPS)中的语法元素指定。允许的CTU大小可以是8x8，16x16，32x32或64x64。对于每个片段，依据光栅扫描(raster scan)顺序处理片段内的CTU。
CTU还被划分为多个编码单元(multiple coding units，简称CU)以适应各种局部特性。被称为编码树(coding tree)的四分树被用于将CTU分割成多个CU。使CTU大小为MxM，其中M是64，32或16中的一个。CTU可以是单个CU(即，不分割)或可以分成四个相同大小的较小单元(即每个尺寸为M/2xM/2)，其对应于编码树的节点。如果单元是编码树的叶节点，则单元变为CU。否则，可以迭代四分树分割过程，直到节点的大小达到序列参数集(SequenceParameter Set,SPS)中指定的最小允许CU大小。所述表示方式形成由图1中的编码树(也称为分割树结构)120指定的递归结构。图1中示出了CTU110的分割，其中实线表示CU的边界。使用图像间(时间)或图像内(空间)预测编码图像区域的决定在CU层做出。由于最小CU尺寸可以为8x8，所以在不同的基本预测类型之间切换的最小粒度(granularity)是8×8。
此外，依据HEVC，每个CU可以被分为一个或多个预测单元(prediction units,简称PU)。与CU一起，PU作为共享预测信息的基本代表块。在每个PU内部，应用相同的预测处理，并且以PU为基础将相关信息发送到解码器。依据PU分割类型，CU可以分为一个，两个或者四个PU。如图2所示，HEVC定义了将CU分解为PU的八种形状，包括分割类型2Nx2N，2NxN，Nx2N，NxN，2NxnU，2NxnD，nLx2N和nRx2N。与CU不同，PU只能依据HEVC分割一次。第二行(row)中显示的分割对应于非对称分割，其中两个分割部分具有不同的大小。
在透过基于PU分割类型的预测处理获得残差块之后，依据如图1所示的CU的编码树类似的另一四分树结构，CU的预测残差被分割成变换单元(transform unit，简称TU)。实线表示CU边界，虚线表示TU边界。TU是具有残差或变换系数的基本代表块，以用于应用整数变换(integer transform)和量化。对于每个TU，对TU应用一个具有相同大小的整数变换以获得残差系数。这些系数在基于TU的量化之后被传送到解码器。
定义术语编码树块(coding tree block，简称CTB)，编码块(coding block,简称CB)，预测块(prediction block,简称PB)和变换块(transform block，简称TB)，以指定分别与CTU，CU，PU和TU相关的一个颜色成分的2-D样本数组。因此，CTU由一个亮度CTB，两个色度CTB和相关联的语法元素组成。类似的关系对于CU，PU和TU是有效的。树分割通常同时应用于亮度和色度两者，尽管当达到用于色度的某些最小尺寸时有例外情况。
或者，在JCTVC-P1005中(D.F.Flynn等人，“HEVC Range Extensions Draft 6”,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,16th Meeting:San Jose,US,9–17January 2014,Document:JCTVC-P1005)，二元树分割块结构被提出。如图3所示，在提出的二元树分割结构中，块可以使用各种二进制分割类型递归地分割成两个较小的块。最有效和最简单的是图3的前两个分割类型中所示的对称水平分割和对称垂直分割。对于给定的大小为MxN的块，发送一个标志以指示给定的块是否被分成两个较小的块。如果是，则发出另一个语法元素以指示使用哪种分割类型。如果使用水平分割，给定的块被分成两个大小为Mx(N/2)的块。如果使用垂直分割，给定的块被分成两个大小为(M/2)xN的块。可以重复二元树分割过程，直到分割块的大小(宽度或高度)达到允许的最小块大小(宽度或高度)为止。允许的最小块大小可以在诸如SPS的高级语法中定义。由于二元树具有两种分割类型(即水平和垂直)，所以应所述指出最小允许的块宽度和块高度。当分割会导致块高度小于指定的最小值时，非水平分割是隐含的。当分割会导致块宽度小于指定的最小值时，非垂直分割是隐含的。图4示出了块分割410及其对应的二元树420的示例。在二元树的每个分割节点(即，非叶节点)中，一个标志被用来指示使用哪种分割类型(水平或垂直)，其中0可指示水平分割，1可以指示垂直分割。
二元树结构可被用于将图像区域分割成多个较小的块，例如将片段分割成CTU，将CTU分割成CU，将CU分割成PU，或将CU分成TU等等。二元树可被用于将CTU分割成CU，其中二元树的根节点是CTU，二元树的叶节点是CU。叶节点可透过预测和变换编码进一步处理。为简化起见，没有从CU到PU或从CU到TU的进一步分割，这意味着CU等于PU以及PU等于TU。因此，换句话说，二元树的叶节点是用于预测和变换编码的基本单元。
因为可以支持更多的分割形状，二元树结构比四分树结构更灵活，这也是编码效率改进的来源。然而，为了选择最佳分割形状，编码复杂度也将增加。为了平衡复杂度和编码效率，已经公开了一种组合四分树和二元树结构的方法，也称为四分树加二元树(quadtree plus binary tree,QTBT)结构。依据QTBT结构，块首先被四分树结构分割，并且四分树分割可以迭代，直到分割块的大小达到最小允许的四分树叶节点大小。如果叶四分树块不大于最大允许二元树根节点大小，则可以透过二元树结构进一步分割，并且二元树分割可以迭代，直到分割块的大小(宽度或高度)达到最小允许二元树叶节点大小(宽度或高度)或二元树深度达到允许的最大二元树深度。在QTBT结构中，最小允许的四分树叶节点大小，最大允许的二元树根节点大小，最小允许二元树叶节点宽度和高度以及最大允许二元树深度可以在高级语法中指示，例如在SPS中。图5示出了块510的分割及其对应的QTBT520的示例。实线表示四分树分割，虚线表示二元树分割。在二元树的每个分割节点(即，非叶节点)中，一个标志指示使用哪种分割类型(水平或垂直)，0可以指示水平分割，以及1可以指示垂直分割。
上述QTBT结构可被用于将图像区域(例如，片段，CTU或CU)分割成多个更小的块，例如将片段分割成CTU，将CTU分割成CU，将CU分成PU，将CU分成TU等。例如，QTBT可被用于将CTU分割成CU，其中QTBT的根节点是CTU，所述CTU透过QTBT结构被分割为多个CU，并且透过预测和变换编码进一步处理这些CU。为简化起见，没有从CU到PU或从CU到TU的进一步分割。这意味着CU等于PU和PU等于TU。因此，换句话说，QTBT结构的叶节点是预测和变换的基本单位。
QTBT结构的示例如下所示。对于大小为128x128的CTU，最小允许的四分树叶节点大小设置为16x16，最大允许的二元树根节点大小设置为64x64，最小允许的二元树叶节点宽度和高度都设置为4，而最大允许二元树深度设置为4。首先，CTU由四分树结构分割，并且叶四分树单元可以具有从16×16(即，最小允许四分树叶节点大小)到128×128的大小(等于CTU的大小，不分割)。如果叶四分树单元是128x128，它不能被二元树进一步分割，因为大小超过最大允许的二元树根节点大小64x64。否则，透过二元树，叶四分树单元被进一步分割。叶四分树单元也是根二元树单元，其二元树深度为0。当二元树深度达到4(即，如所指示的最大允许二元树)时，隐含不分割。当对应的二元树节点的块的宽度等于4时，隐含非水平分割。当对应的二元树节点的块的高度等于4时，隐含非垂直分割。QTBT的叶节点透过预测(图像内或图像间)和变换编码进一步处理。
对于I片段，QTBT树结构通常应用亮度/色度分离编码。例如，QTBT树结构分别应用于I片段的亮度分量和色度分量，并且同时应用于P-片段和B片段的亮度分量和色度分量(除了达到色度的某些最小尺寸之外)。换句话说，在I片段中，亮度CTB具有QTBT结构的块分割，并且两个色度CTB具有另一个QTBT结构的块分割。在另一示例中，两个色度CTB也可以具有它们自己的QTBT结构的块分割。
对于基于块的编码，总是需要将图像分割成块(例如CU，PU和TU)以用于编码目的。如本领域已知的，在应用块分割之前，图像可被分割成更小的图像区域，例如片段，方格(tiles)，CTU行(row)或CTU。用于编码目的将图像分割为块的处理被称为使用编码单元结构对图像进行分割。HEVC采用的特殊分割而生成CU，PU和TU的方法，是编码单元(CU)结构的一个例子。QTBT树结构是编码单元(CU)结构的另一示例。
当前图像参考
运动估计/补偿是混合视频编解码中的众所周知的关键技术，其探索相邻图像之间的像素相关性。在视频序列中，相邻帧之间物体的移动很小，并且物体的移动可透过二维平移运动进行建模。因此，对应于帧中的物体或背景的图案(patterns)被移动位置以在后续帧中形成对应的物体，或与当前帧内的其他图案相关联。利用移动位置的估计(例如使用块匹配技术)，大部分图案可以再现，而不需要重新编码图案。类似地，块匹配和复制被尝试以允许从同一画面内选择参考块。当将这个概念应用于由相机捕获的视频时，观察到效率不高。部分原因是空间相邻区域中的文本图案(textual pattern)可能类似于当前的编码块，但通常在空间上有一些逐渐的变化。因此，块难以在由相机拍摄的视频的相同图像内找到精确匹配。因此，编码性能的提高是有限的。
然而，同一画面内的像素之间的空间相关性对于屏幕内容是不同的。对于具有文本和图形的典型视频，通常在同一图像中会有重复的图案。因此，已经观察到画面内(图像)块补偿是非常有效的。已经引入了新的预测模式，即画面内块复制(Intra block copy，简称IBC)模式或被称为当前图像参考(current picture referencing，简称CPR)，以用于屏幕内容编码而利用所述特征。在CPR模式中，从同一画面内的先前重建的块预测预测单元(PU)。此外，使用位移向量(称为块向量或BV)来发送从当前块的位置到参考块的位置的相对位移。然后使用变换，量化和熵编码对预测误差进行编码。图6中示出了CPR补偿的示例，其中区域610对应于图像，片段或待编码的图像区域。块620和630对应于待编码的两个块。在所述示例中，每个块可以在当前图像中的先前编码区域中找到相应的块(即分别为622和632)。依据所述技术，参考样本对应于包括在HEVC中的环路滤波操作(in-loop filteroperations)之前的当前解码图像的重建样本，环路滤波操作包括去块滤波器和样本自适应偏移(SAO)滤波器。
在JCTVC-M0350(Madhukar Budagavi等人，“AHG8:Video coding using Intramotion compensation”,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,13th Meeting:Incheon,KR,18–26Apr.2013,Document:JCTVC-M0350)中，CPR的早期版本被揭示，其作为HEVC范围扩展(RExt)开发的候选技术而被提交。在JCTVC-M0350中，CPR补偿被限制在一个小的局部区域内，搜索限于1-D块向量以仅用于2Nx2N的块大小。随后，在HEVC屏幕内容编解码(screen content coding，简称SCC)标准化过程中，开发了一种更先进的CPR方法。
为了有效地发送块向量(block vector，简称BV)，以与MV编码类似的方式，使用BV预测子(BV predictor，简称BVP)预测地发送BV。因此，如图7所示，发送BV差值(BVdifference，简称BVD)并依据BV＝BVP+BVD重建BV，其中参考块720被选择依照画面内块复制(IntraBC)预测以用于当前块710(即，CU)。确定用于当前CU的一个BVP。导出运动向量预测子(motion vector predictor,MVP)的方法在本领域是已知的。类似的推导可被应用于BVP推导。
在JCTVC-N0256(Pang等人，“Non-RCE3:Intra Motion Compensation with 2-DMVs”,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16 WP 3 andISO/IEC JTC 1/SC 29/WG 11,14th Meeting:Vienna,AT,25 July–2 Aug.2013,Document:JCTVC-N0256),2-D画面内MC进一步和传输途径友好方法(pipeline friendly approach)相结合：
1.不使用插值滤波器，
2.限制MV搜索区域，以下是两种情况：
a.搜索区域是当前CTU和左侧CTU，或者
b.搜索区域是当前CTU和左侧CTU的最右边四列(column)样本。
在JCTVC-N0256所提出来的方法中，2-D画面内MC被采用，去除插值滤波器的方法被采用，并且搜索区域被限制到当前CTU和左侧CTU的方法被采用。其他方面要么被拒绝要么被建议作进一步研究。
在JCTVC-O0218(“Evaluation of Palette Mode Coding on HM-12.0+RExt-4.1”,15th Meeting:Geneva,CH,23 Oct.–1 Nov.2013,Document:JCTVC-O0218)，揭露了空间高级运动向量预测(advanced motion vector prediction，简称AMVP)。图8示出了根据JCTVC-O0218的先前编码的相邻块位置中的多个可能的块向量候选。在表1中，对所述位置进行了详细描述。
表1
位置 描述
0 在当前块左下角的左下方位置
1 在当前块左下角的左侧位置
2 在当前块右上角的右上方位置
3 在当前块的右上角的上方位置
4 在当前块的左上角的左上方位置
5 在当前块的左上角的左侧位置
6 在当前块的左上角的上方位置
在HEVC，除了位置AMVP预测之外，时间MV预测同样被用作片段间运动补偿。如图9所示，时间预测子从位于同位(co-located)图像的块(TBR or TCTR)中导出，其中同位图像是在参考列表0或参考列表1中的第一参考图像。因为时间MVP所处的块可包括两个MV，其中一个MV是来自参考列表0并且另一个MV是来自参考列表1，依据以下规则，从来自参考列表0或参考列表1的MV导出时间MVP。
1.首先选择穿过当前图像的MV。
2.如果两个MV都穿过当前图像或者两个MV都没有穿过当前图像，选择和当前列表有相同参考列表的MV。
当使用CPR时，只有部分当前图像可被用作参考图像。应用一些比特流一致性约束来调节参考当前图像的有效MV值。
首先，以下两个方程式之一必须为真：
BV_x+offsetX+nPbSw+xPbs–xCbs<＝0,和 (1)
BV_y+offsetY+nPbSh+yPbs–yCbs<＝0. (2)
第二，以下波前并行处理(Wavefront Parallel Processing,WPP)条件必须为真：
(xPbs+BV_x+offsetX+nPbSw-1)/CtbSizeY–xCbs/CtbSizeY<＝yCbs/CtbSizeY-(yPbs+BV_y+offsetY+nPbSh-1)/CtbSizeY (3)
在方程式(1)至(3)，(BV_x,BV_y)是用于当前PU的亮度块向量(即CPR的运动向量)；nPbSw和nPbSh是当前块PU的宽度和高度；(xPbS,yPbs)是相对于当前图像的当前PU的左上方像素的位置；(xCbs,yCbs)是相对于当前图像的当前CU的左上方像素的位置；以及CtbSizeY是CTU的大小。考虑到CPR模式的色度样本插值，OffsetX和offsetY是二维空间中的两个调节偏移量：
offsetX＝BVC_x&0x7？2:0, (4)
offsetY＝BVC_y&0x7？2:0. (5)
(BVC_x,BVC_y)是HEVC中的1/8像素(1/8-pel)分辨率的色度块向量。
第三，用于CPR的参考块必须在相同的方格/片段边界。
仿射运动补偿
仿射模型可被用于描述2D块旋转，以及被用于将方块(矩形)变形成平行四边形的2D变形。所述模型可被描述如下：
x’＝a0+a1*x+a2*y，
y’＝b0+b1*x+b2*y。 (6)
在所述模型中，6个参数需要被确定。对于感兴趣区域中的每个像素(x,y)，运动向量被确定为给定像素(A)的位置与参考块(A')中其对应像素的位置之间的差异，即MV＝A'-A＝(a0+(a1-1)*x+a2*y,b0+b1*x+(b2-1)*y)。因此，每个像素的运动向量是位置相关的。
根据所述模型，如果三个不同位置的运动向量是已知的，则可以解决上述参数。此条件相当于6个参数已知。具有已知运动向量的每个位置被称为控制点。6参数仿射模型对应于3控制点模型。
在Li等人的技术文献中(“An affine motion compensation framework forhigh efficiency video coding”,in 2015 IEEE International Symposium onCircuits and Systems(ISCAS),24-27 May 2015,Pages:525–528)以及Huang等人(“Control-Point Representation and Differential Coding Affine-MotionCompensation”,IEEE Transactions on Circuits,System and Video Technology(CSVT),Vol.23,No.10,pages 1651-1660,Oct.2013)，呈现了仿射运动补偿的一些示例性实施例。在Li等人的技术文献中，当当前块以合并模式或AMVP模式编码时，仿射标志被发送以用于2Nx2N块分割。如果所述标志为真，则当前块的运动向量的推导遵循仿射模型。如果这个标志是假，则当前块的运动向量的推导遵循传统的平移模型。当使用仿射AMVP模式时，发送三个控制点(3个运动向量)。在每个控制点位置，MV被预测地编码。之后，对这些控制点的MVD进行编码和传输。在Huang等人的技术文献中，研究了不同的控制点位置和控制点中的MV的预测编码。
表2中示出了仿射运动补偿实现的语法表。如表1所示，如合并模式的注释(2-1)至注释(2-3)所示，如果至少一个合并候选是仿射编码并且分割模式是2Nx2N(即，PartMode＝＝PART_2Nx2N)，语法元素use_affine_flag被发送。如用于B片段的注释(2-4)至注释(2-6)所示，如果当前块大小大于8x8(即，(log2CbSize>3)以及分割模式是2Nx2N(即,PartMode＝＝PART_2Nx2N)，语法元素use_affine_flag被发送。如注释(2-7)至注释(2-9)，如果use_affine_flag表示正在使用仿射模型(即，使用值为1的use_affine_flag)，则将其他两个控制点的信息发送给参考列表L0，以及如注释(2-10)至注释(2-12)，其他两个控制点的信息被发送以用于参考列表L1。
表2
Figure BDA0002621677170000091
Figure BDA0002621677170000101
Figure BDA0002621677170000111
调色板编码。在屏幕内容编码中，调色板用来代表给定视频块(比如CU)。在Guo等人所著的JCTVC-O0218(“Evaluation of Palette Mode Coding on HM-12.0+RExt-4.1”，15th Meeting:Geneva,CH,23 Oct.–1Nov.2013,Document:JCTVC-O0218)中：
1.调色板的传输：首先传输的是调色板的大小，接着是调色板元素。
2.像素值的传输：CU的像素经由循序扫描顺序来编码。对于每个位置，首先传输一个标志来指示使用的是运行模式还是复制上方模式；
2.1“运行模式”，在“运行模式”，调色板索引首先被发送，接着是“palette_run”(比如说M)。不需要传输更多用于当前位置和接下来的M个位置的信息，因为他们有和发送的调色板索引一样的调色板索引。调色板索引(比如i)由所有三个颜色分量共享，这意味着重建的像素值是(Y，U，V)＝(paletteY[i]，paletteU[i]，paletteV[i])(假设颜色空间是YUV)。
2.2“复制上方模式”，在“复制上方模式”，值“copy_run”(比如N)被发送来指示对于接下来的N个位置(包括当前这个)，其调色板索引等于在上方的行(row)中的相同位置处的调色板索引。
3.残差的传输：在阶段2被传输的多个调色板索引被转换回像素值并用作预测。残差信息使用HEVC残差编码来传输，并被加到预测中用来进行重建。
在JCTVC-N0247(Guo等人，RCE3:Results of Test 3.1 on Palette Mode forScreen Content Coding,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,14th Meeting:Vienna,AT,25 July–2Aug.2013,Document:JCTVC-N0247),每个分量的调色板被创建和传输。调色板可从其左边相邻的CU中被预测(共享)以减少比特速率。后来在Qualcomm提出的调色板编码技术的第二个版本[1]，调色板中的每个元素是三元组，表示三个颜色分量的特定组合。穿过CU的调色板的预测编码被删除了。本发明提出了调色板预测/共享的使用，其也可以应用于三元组调色板格式。只要上方CU在与当前正在被编码的CU相同的CTB(LCU)内(减少行缓冲器)，就再次使用来自左侧和/或所述上方CU的调色板。
基于主要颜色(或调色板)的编码。调色板编码是用于屏幕内容编码的另一工具，其中每个颜色分量的调色板被创建和传输。但是，调色板可从左CU的调色板预测。对于调色板预测，调色板中的各个条目可从上方的CU或左CU中的相应调色板条目预测。
在创建调色板时，根据调色板，当前块中的像素值被映像到颜色索引，然后使用JCTVC-O0182(Guo等人，AHG8，“Major-color-based screen content coding”,JointCollaborative Team on Video Coding(JCT-VC)of ITU-T SG 16 WP 3 and ISO/15thMeeting:Geneva,CH,23 Oct.–1 Nov.2013,Document:JCTVC-O0182)中描述的预测编码方法，颜色索引被编码。根据JCTVC-O0182，像素线可通过不同模式预测。具体地，三种线模式，即水平模式，垂直模式和正常模式被用于像素线。在水平模式下，同一条线中的所有像素具有相同的值。如果所述值与上方像素线的第一像素相同，则仅线模式信令比特被发送。否则，索引值也被传输。在垂直模式中，当前像素线与上方像素线相同。因此，仅线模式信令比特被发送。在正常模式下，线条中的像素是单独预测的。对于每个像素，左侧或上方相邻的像素被用作预测子，并且预测符号被发送到解码器。
此外，根据JCTVC-O0182，像素被分类为主要颜色像素和例外像素(escapepixel)。对于主要颜色像素，解码器通过主要颜色索引(即调色板索引)和调色板重建像素值。对于例外像素，编码器必须进一步发送像素值。
在本发明中，处理了具有QTBT结构或亮度/色度分离编码的CPR编码的各个方面的问题。
发明内容
本发明提出了一种用于视频编码***和视频解码***的语法发送的方法和装置，其中当前图像参考(current picture referencing，简称CPR)和自适应运动向量分辨率(adaptive motion vector resolution，简称AMVR)编解码工具被使能。根据本发明提出的实施例，首先，当前图像中的当前块的当前参考图像被确定。当当前参考图像等于当前图像时，整数运动向量标志被推断为真，不需要在编码器侧发出比特流中的整数运动向量标志，或者不需要在解码器侧从比特流中解析当前块的运动向量标志。整数运动向量标志为真表示当前运动向量(motion vector，简称MV)以一个整数表示，整数运动向量标志为假表示当前运动向量(MV)以一个分数表示。
根据本发明的一实施例，当整数运动向量标志为真时，可以在编码器侧的比特流中进一步发出附加指示，或者从解码器侧的比特流中解析当前块的附加指示。附加指示被用于指示使用整数模式还是4像素模式。在一个实施例中，无论当前MV和MV预测子之间的运动向量差(motion vector difference，简称MVD)如何，整数运动向量标志都可以被称为真。在另一实施例中，当当前参考图像不等于当前图像时，整数运动向量标志被推断为假，不需要在编码器侧发出知比特流中的整数运动向量标志，或者在解码器侧从比特流中解析当前块的运动向量标志。
根据本发明的第二实施例，当前图像中的当前块的运动向量差被确定。当当前块的所有运动向量差等于零时，推断整数运动向量标志为假，不需要在编码器侧发出比特流中的整数运动向量标志，或者不需要在解码器侧从比特流中解析当前块的运动向量标志。整数运动向量标志为真表示当前运动向量(MV)以一个整数表示，整数运动向量标志为假表示当前运动向量(MV)以一个分数表示。
根据本发明的第二实施例，当当前块的所有运动向量差等于零时，整数运动向量标志可被称为假，而不管与当前MV相关联的所选参考图像是否等于当前图像。在另一实施例中，如果当前块的任何运动向量差不等于零并且与当前MV相关联的所选参考图像等于当前图像，则整数运动向量标志被称为真。在又一实施例中，如果当前块的任何运动向量差不等于零并且与当前MV相关联的所选择的参考图像不等于当前图像。则在编码器侧的比特流中发出整数运动向量标志，或者在解码器侧的比特流中解析当前块的整数运动向量标志。在又一个实施例中，仅当与当前MV相关联的所选参考图像不等于当前图像时，整数运动向量标志才被称为假。
根据本发明的第三实施例，公开了视频编码***和视频解码***的语法发送，其中当前图像参考(CPR)编解码工具和子块预测编解码模式被使能。当前图像中当前块的所有参考图像被确定。当当前块的所有参考图像等于当前图像时，禁能子块预测编解码模式；并且通过禁能子块预测编解码模式，在编码器侧对当前块进行编码或在解码器侧对当前块进行解码。
根据本发明的第三实施例，当所有参考图像等于当前图像时，在编码器侧的比特流中不发出指示子块预测编解码模式的语法元素，或者不从解码器侧的比特流中解析当前块的语法元素。在另一实施例中，当当前块的所有参考图像等于当前图像时，用于指示子块预测编解码模式的语法元素被推断为假。在又一实施例中，用于指示子块预测编解码模式的语法元素被约束以指示当当前块的所有参考图像等于当前图像时禁能子块预测编解码模式。子块预测编解码模式可以与仿射预测编解码工具或基于子块的时间运动向量预测(subblock based temporal motion vector prediction，简称sbTMVP)编解码工具相关联。
根据本发明的第四实施例，公开了视频编码***和视频解码***的语法发送，其中当前图像参考(current picture referencing，简称CPR)编解码工具和子块预测编解码模式被使能。当前图像中当前块的所有参考图像被确定。当当前块的所有参考图像等于当前图像时：与当前块的子块相关联的导出运动向量被转换为整数运动向量；并且，使用整数运动向量作为运动向量预测值，在编码器侧对当前块的当前运动向量进行编码，或者在解码器侧对当前块的当前运动向量进行解码。
附图说明
图1是示出使用四分树结构将编码树单元(coding tree,unit CTU)分割成编码单元(coding units,CUs)的块分割的示例。
图2标出根据高效率视频编码(High Efficiency Video Coding,HEVC)的非对称运动分割(asymmetric motion partition,AMP)，其中AMP定义将CU分割为PU的八种形状。
图3是示出二元树分割结构使用的各种二元分割类型的示例，其中可以使用分割类型将块递归地分割成两个较小的块。
图4是示出块分区及其对应的二元树的示例，其中在二元树的每个分割节点(即，非叶节点)中，一种语法用于指示使用哪种分割类型(水平或垂直)，其中0表示水平分割，1表示垂直分割。
图5是示出块分割以及四分树加二元树(quadtree plus binary tree,QTBT)结构的示例，其中实线表示四分树分割以及虚线表示二元树分割。
图6是示出CPR补偿的示例，其中区域610对应于待编码的图像，片段或者图像区域。块620和630对应于待编码的两个块。
图7是示出预测性块向量(block vector,BV)编码的示例，其中对应于当前BV和BV预测子之间的差值的BV差值(block vector difference，简称BVD)被以信号发出。
图8标出先前编码的相邻块位置空间高级运动向量预测(AMVP)中的多个可能的块向量候选。
图9示出时间预测子从位于同位(co-located)图像的块(TBR or TCTR)中导出，其中同位图像是在参考列表0或参考列表1中的第一参考图像。
图10示出了根据本发明实施例的具有当前图像参考(CPR)和自适应运动向量分辨率(AMVR)编解码工具的示例性编码***的流程图。
图11示出根据本发明另一实施例的具有当前图像参考(CPR)和自适应运动向量分辨率(AMVR)编解码工具的示例性编码***的流程图。
图12示出根据本发明另一实施例的具有当前图像参考(CPR)编解码工具和使能子块预测编解码模式的示例性编码***的流程图。
图13示出根据本发明另一实施例的具有当前图像参考(CPR)编解码工具和使能子块预测编解码模式的示例性编码***的流程图。
具体实施方式
以下描述是实现本发明的最佳实施方式。这一描述是为了说明本发明的一般原理，而不应被认为是限制性的。本发明的范围最好透过申请专利范围来确定。
在基于原始四分树加二元树(quad-tree plus binary tree，简称QTBT)结构和亮度/色度分离编码的视频编码中，针对所有画面内帧(例如，I片段)分别对亮度和色度进行编码。在下文中，公开了使用CPR模式来进行亮度/色度分离编码和语法发送的各个方面。
具有仿射运动补偿的CPR
如果仿射运动补偿被使能且在参考图像索引之前发送仿射标志，用于列表0或列表1或用于列表0和列表1两者的参考图像索引(Ref-idx)将需要在编码器侧被发送或者在解码器侧被解析。但是，根据本发明的一实施例，当前图像会被从参考图像列表中去掉，因为当仿射模式被选择，当前图像就不在参考图像列表中了。因此，参考图像索引的码字的长度被减少，编码效率被提高。
具有自适应运动分辨率的CPR
在支持自适应运动向量分辨率(AMVR)的视频编码***中，运动向量(MV)或者它的推导(即，运动向量差(MVD)或者运动向量预测子(MVP))可以以各种分辨率表示(即整数和分数)。标志(即，imv-flag)被用于指示选择。整数MV标志(imv-flag)为真表示使用整数MV。在这种情况下，整数MV模式或4像素模式可被使用。附加位被用于表示选择的整数模式或4像素模式。如果整数MV标志(imv-flag)为真，则MVP需要被舍入为整数。
此外，本发明公开了3种不同类型的AMVR信令。在第一类型AMVR信令中，发出imv-flag和Imv模式，其中Imv-flag信令不依赖于MVD。根据第一类型AMVR信令的语法设计的示例如下所示：
Figure BDA0002621677170000171
在以上示例中，粗体字符被用于表示语法编码。在上面的例子中，当MVD＝0时，imv-flag仍然被发出。在这种情况下，MV可以是原始MVP(即，imv-flag为假)或被舍入的MVP(即，imv-flag为真)。
在第二类型AMVR信令中，imv-flag，Imv模式和MVD被发送，其中imv-flag信令取决于MVD。根据第二类型AMVR信令的语法设计示例如下所示：
Figure BDA0002621677170000172
在上述情况下，当MVD＝0时，imv-flag推断为0，MV只能是MVP。
在第三类型AMVR信令中，发出IMV标志，Imv模式和MVD。根据第三类型AMVR信令的语法设计示例如下所示：
Figure BDA0002621677170000173
在上述情况下，ref-idx，MVP和MVD在imv-flag之后被编码。
在传统的语法设计中，可能存在一些冗余。为了提高编码效率，本发明公开了与CPR和AMVR相关的各种语法设计。在一个实施例中，如果使能用于列表0或列表1或用于列表0和列表1两者的自适应运动分辨率(AMVR)并且在参考图像索引之前发出AMVR，则需要发出或解析参考图像索引以用于列表0或列表1或用于列表0和列表1两者。
如果在整数MV标志(imv-flag)之前发出用于列表0或列表1或用于列表0和列表1两者的参考图像索引，并且用于列表0或列表1或用于列表0和列表1两者的参考图像索引等于当前图像，根据本发明的实施例，整数MV标志imv-flag被推断为真。因此，不需要发出整数MV标志imv-flag以用于列表0或列表1或用于列表0和列表1两者。
当采用4像素整数MV模式作为整数MV模式之一时，可以根据本发明的一个实施例发出整数MV索引(imv_idx)。当imv_idx为0时，使用分数MV(例如，四分之一MV)；当imv_idx为1时，使用整数MV；当imv_idx为2时，使用4像素MV。
上述实施例可以通过修改现有信令设计来实现。例如，第一类型语法设计可被修改如下：
Figure BDA0002621677170000181
在以上示例中，当参考图像不等于当前图像时(即，“if(ref！＝CPR)”)，语法imv-flag被发送。否则(即“else”情况)，imv-flag被推断为真(即“imv-flag＝true”)。上述实施例可以通过修改第二类型语法设计来实现，可以修改如下：
Figure BDA0002621677170000182
Figure BDA0002621677170000191
在以上示例中，当参考图像不等于当前图像时(即，“if(ref！＝CPR)”)，如果MVD不等于零(即，“if(MVD！＝0))“)，语法imv-flag被发送；否则(即“else”情况)，imv-flag被推断为假(即“imv-flag＝true”)。当参考图像等于当前图像时(即“if(ref！＝CPR)”的“else”情况)，imv-flag被推断为真(即“imv-flag＝true”)。
如果在整数MV标志(imv-flag)之前发出用于列表0或列表1或用于列表0和列表1两者的参考图像索引，并且用于列表0或列表1或用于列表0和列表1两者的参考图像索引等于当前图像，imv_idx只能大于0，比如1或2。在一实施例中，一个二进制符号(bin)被发出以指示imv_idx等于1还是2。
在以上示例中，“imv-flag”和“imv-mode”的语法被组合为新语法“imv_idx”。当imv_idx为0时，分数MV(例如，四分之一MV)被使用；当imv_idx为1时，整数MV被使用；当imv_idx为2时，4像素MV被使用。
在上面的例子中，如果imv-flag被推断为真，则意味着imv_idx应为1或2；如果imv-flag为假，则imv_idx为0。
在一实施例中，通过使用截断的二进制代码，imv_idx被二进制化，例如用于imv_idx＝0的1位代码“0”，用于imv_idx＝1的2位代码“10”，以及用于imv_idx＝2的2位代码“11”。imv-flag可以被视为imv_idx的第一个bin，imv-mode可以被视为imv_idx的第二个bin。上述“imv-flag”和“imv-mode”语法发送可以被转换为“imvidx”语法发送。例如，以下伪代码可被用于实现所述实施例：
Figure BDA0002621677170000201
当ref等于CPR时，imv_idx应为1或2(即，imv_idx的第一个bin被推断为1，因为imv-flag被推断为1)。在另一实施例中，如果imv-flag被推断为0，则imv_idx被推断为0。
在其他实施例中，如果在整数MV标志之前，参考图像索引被发出，则参考图像等于当前图像并且在列表0或列表1中的MVD或列表0和列表1两者中的MVD等于零，于是，列表0或列表1中的整数MV标志或列表0和列表1两者中的整数MV标志被推断为假。因此，不需要在编码器侧发出整数MV标志或在解码器侧解析整数MV标志。换句话说，如果列表0或列表1中的整数MV标志为假，或者列表0和列表1两者中的整数MV标志都是假，列表0或列表1中的参考图像或列表0和列表1两者中的参考图像等于当前图像，则表示目标参考图像的MVD等于零。在本发明中，为方便起见，短语“发出或解析语法元素”可被使用。应当理解，它对应于“在编码器侧发出或在解码器侧解析语法元素”的缩写。
上述实施例可通过如下修改第二类型语法设计来实现：
Figure BDA0002621677170000202
Figure BDA0002621677170000211
在另一实施例中，仅当列表0或列表1中的MVD或列表0和列表1两者中的MVD为零并且所选择的参考图像不等于当前图像时，整数MV标志才被推断为假。可以通过如下修改第二类型语法设计来实现所述实施例：
Figure BDA0002621677170000212
所述实施例的另一示例性信令设计如下所示：
Figure BDA0002621677170000213
Figure BDA0002621677170000221
在又一实施例中，当所选择的参考图像等于当前图像时，无论MVD如何，整数MV标志都被推断为真。所述实施例可以通过修改第二类型语法设计来实现，可以修改如下：
Figure BDA0002621677170000222
Figure BDA0002621677170000231
具有自适应运动分辨率和仿射运动补偿的CPR
如果在整数MV标志和参考图像索引之前，在编码器侧发出列表0或列表1的仿射标志或者列表0和列表1两者的仿射标志，或者在解码器侧解析列表0或列表1的仿射标志或者列表0和列表1两者的仿射标志，则整数MV标志和参考图像索引都需要被发出或解析以用于列表0或列表1或列表0和列表1两者。但是，如果使用仿射模式(例如，仿射标志等于1)，则当前图像可以从参考图像列表中删除。因此，参考图像索引的码字的长度可被减小。
如果在仿射标志和参考图像索引之前发出或解析整数MV标志，则需要发出或解析仿射标志和参考图像索引。类似地，如果使用分数MV模式(例如，禁能整数MV)，则当前图像可以从参考图像列表中移除。因此，参考图像索引的码字的长度可被减小。
如果在仿射标志和/或整数MV标志之前，发出或解析列表0或列表1或列表0和列表1两者的参考图像索引，则如果参考图像等于当前帧，则仿射标志被推断为假。因此，不需要针对列表0或列表1或列表0和列表1两者发出或解析仿射标志。同样，列表0或列表1或列表0和列表1两者的整数MV标志被推断为真(或者，根据本发明的实施例，imv_idx等于1或2)。然而，在其他实施例中，在上述条件下，如果列表0或列表1的MVD或列表0和列表1两者的MVD等于零，则整数MV标志被推断为假。
具有子块模式的CPR
子块模式(例如，sbTMVP(基于子块的时间运动向量预测)(或者也被称为替代时间运动向量预测(Alternative Temporal Motion Vector Prediction,简称ATMVP)或子块时间合并模式/候选)或仿射预测)可被用来提高编码效率。对于这些类型的子块模式，它们可以被收集以作为候选者列表共享，称为子块模式候选者列表。在跳过模式编码，合并模式编码或AMVP模式编码(即，帧间模式编码)中，标志可被发出以指示是否使用子块模式。如果使用子块模式，则候选者索引被发出或被推断以选择子块候选之一。子块候选者可包括子块时间合并候选者，仿射候选者和/或平面MV模式候选者。在一个实施例中，如果CPR模式(其可以隐式指示或者使用标志或任一其他语法元素明确指示)被使用或被选择，并且不存在其他帧间参考图像(例如，所有参考图像是当前图像，这意味着当前图像是当前块的唯一参考图像)，子块模式被禁能。在一些实施例中，如果指示CPR模式的标志被选择，则推断出当前图像是当前块的唯一参考图像。在语法设计中，子块模式语法不被发送(例如，子块模式标志被推断为假)，或者子块模式语法被约束为禁能子块模式(例如，子块模式标志被约束为假，作为比特流一致性要求，子块模式标志为假)。子块模式被限制在跳过模式和合并模式中应用。在另一实施例中，当在CPR中使用子块模式时(例如，使用的是CPR模式，并且没有其他帧间参考图像或者所选择的参考图像是当前图像)，每个子块的导出运动向量也被舍入为整数MV。上述提出的方法可以在编码器和/或解码器中实现。例如，所提出的方法可以在编码器的帧间预测模块和/或解码器的帧间预测模块中实现。
允许使用帧内复制(intraBC)模式的双树编码的新条件
在HEVC SCC扩展中，如果具有intraBC模式的I片段被使能，则所述I片段将被编码为帧间片段。可以通过检查参考帧列表来指示用于intraBC模式的开关标志。如果当前帧被***参考帧列表，则intraBC模式被使能。
此外，在BMS2.1参考软件中，双树被使能用于I片段，将单独的编码单元划分应用于Luma和Chroma信号。为了更好地整合intraBC模式和双树编码，如果只有一个参考帧被放入参考列表并且所述参考帧是当前帧，则片段间(例如P片段或B片段)中的双树编码被允许。
在本发明中，CPR，仿射预测，AMVR，ATMVP，intraBC是用于视频编解码的技术。这些技术在本公开中也称为编解码工具。
以上公开的发明可以以各种形式并入各种视频编码或解码***中。例如，可以使用基于硬件的方法来实现本发明，例如专用集成电路(integrated circuits,简称IC)，现场可程序逻辑门阵列(field programmable logic array,简称FPGA)，数字信号处理器(digital signal processor,简称DSP)，中央处理单元(central processing unit，简称CPU)等。本发明也可以使用软件代码或固件代码来实作，所述软件代码或固件代码在计算器、膝上型计算机、或诸如智能电话的移动设备上执行。此外，软件代码或固件代码可以在诸如具有专用处理器(例如视频编码引擎或协同处理器)的CPU的混合型平台上执行。
图10示出了根据本发明实施例的具有当前图像参考(current picturereferencing，简称CPR)和自适应运动向量分辨率(adaptive motion vector resolution，简称AMVR)编解码工具的示例性编解码***的流程图。流程图中示出的步骤以及本公开中的其他后续流程图可以实现为在编码器侧和/或解码器侧的一个或多个处理器(例如，一个或多个CPU)上可执行的程序代码。流程图中示出的步骤还可以基于诸如被布置为执行流程图中的步骤的一个或多个电子设备或处理器的硬件来实现。根据所述方法，在步骤1010中，当前图像中当前块的当前参考图像被确定。在步骤1020中，当当前参考图像等于当前图像时，整数运动向量标志被推断为真，不需要在编码器侧的比特流中发送整数运动向量标志，或者不需要在解码器侧从比特流解析整数运动向量标志用于当前块，其中整数运动向量标志为真表示当前运动向量(MV)是以一个整数表示，并且整数运动向量标志为假指示当前运动向量(MV)以一个分数表示。
图11示出了根据本发明另一实施例的具有当前图像参考(CPR)和自适应运动向量分辨率(AMVR)编解码工具的示例性编解码***的流程图。根据所述方法，在步骤1110中，当前图像中当前块的当前参考图像被确定。在步骤1120中，当当前块的所有运动向量差等于零时，整数运动向量标志被推断为假，不需要在编码器侧的比特流中发送整数运动向量标志，或者从解码器侧的比特流解析整数运动向量标志用于当前块，其中整数运动向量标志为真表示当前运动向量(MV)以一个整数表示，并且整数运动向量标志为假表示当前运动向量(MV)以一个分数表示。
图12示出了根据本发明又一实施例的具有当前图像参考(CPR)编解码工具和子块预测编解码模式的示例性编解码***的流程图。根据所述方法，在步骤1210中，当前图像中当前块的至少一个参考图像被确定。在步骤1220中，当当前图像是当前块的唯一参考图像时：子块预测编解码模式被禁能；并且通过禁能子块预测编解码模式，在编码器侧对当前块的当前运动向量进行编码，或者在解码器侧对当前运动向量进行解码。
图13示出了根据本发明又一实施例的具有当前图像参考(CPR)编码解工具和子块预测编解码模式的示例性编解码***的流程图。根据所述方法，在步骤1310中，当前图像中当前块的至少一个参考图像被确定。在步骤1320中，当前图像是当前块的唯一参考图像时：与当前块中的子块相关联的导出运动向量被转换为整数运动向量；并且，使用整数运动向量作为运动向量预测值，在编码器侧对当前块的当前运动向量进行编码，或者在解码器侧对当前运动向量进行解码。
所示的流程图旨在说明依据本发明的示范性视频编解码的示例。在不脱离本发明的精神的情况下，本领域通常知识者可以修改每个步骤，重新排列步骤，拆分步骤或组合步骤来实施本发明。在本公开中，已经使用具体的语法和语义来说明实现本发明的实施例的示例。本领域通常知识者可以用相同的语法和语义来代替所述些语法和语义来实践本发明，而不脱离本发明的精神。
呈现上述描述以使得本领域通常知识者能够在特定应用及其要求的上下文中实施本发明。对所描述的实施例的各种修改对于本领域通常知识者将是显而易见的，并且本文定义的一般原理可以应用于其他实施例。因此，本发明并不限于所示出和描述的特定实施例，而是符合与本文所公开的原理和新颖特征相一致的最宽范围。在上述详细描述中，示出了各种具体细节以便提供对本发明的透彻理解。然而，本领域通常知识者将理解，可以实施本发明。
如上所述的本发明的实施例可以以各种硬件，软件代码或两者的组合来实现。例如，本发明的实施例可以是整合到视频压缩芯片中的一个或多个电路，或整合到视频压缩软件中的程序代码以执行本文所述的处理。本发明的实施例也可以是要在数字信号处理器(Digital Signal Processor，简称DSP)上执行的程序代码，以执行本文所述处理。本发明还可以涉及由计算器处理器，数字信号处理器，微处理器或现场可程序逻辑门阵列(fieldprogrammable gate array，简称FPGA)执行的许多功能。可以透过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码来将这些处理器配置成执行依据本发明的特定任务。软件代码或固件代码可以以不同的编程语言和不同的格式或风格而被开发。也可以为不同的目标平台编译软件代码。然而，执行与本发明一致任务的不同的代码格式，软件代码的样式和语言以及配置代码的其他方式将不会脱离本发明的精神和范围。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他具体形式实施。所描述的例子仅在所有方面被认为是说明性的而不是限制性的。因此，本发明的范围由申请专利范围而不是前面的描述来指示。属于申请专利范围的等同物的含义和范围的所有变化将被包括在其范围内。

Claims (19)

1.一种用于视频编码***和视频解码***的语法处理的方法，其中当前图像参考和自适应运动向量分辨率编解码工具被使能，所述方法包括：
确定当前图像中的当前块的当前参考图像；以及
当所述当前参考图像等于所述当前图像时，推断整数运动向量标志为真，不需要在编码器侧的比特流中发出所述整数运动向量标志，或者不需要从解码器侧的所述比特流中解析出所述整数运动向量标志用于所述当前块，其中所述整数运动向量标志为真表示当前运动向量以整数表示，所述整数运动向量标志为假表示所述当前运动向量以分数表示。
2.如权利要求1所述的方法，其特征在于，还包括：当所述整数运动向量标志为真，在所述编码器侧的所述比特流中发出附加指示或者从所述解码器侧的所述比特流中解析出所述附加指示用于所述当前块，并且其中所述附加指示用来指示使用的是整数模式还是4像素模式。
3.如权利要求1所述的方法，其特征在于，所述整数运动向量标志被推断为真而不管在所述当前运动向量和运动向量预测子之间的运动向量差。
4.如权利要求1所述的方法，其特征在于，还包括：当所述当前参考图像不等于所述当前图像以及所述当前块的所有的运动向量差都等于零时，推断所述整数向量标志为假，不需要在所述编码器侧的所述比特流中发出所述整数运动向量标志，或者不需要在解码器侧的比特流中解析出所述整数运动向量标志用于所述当前块。
5.一种用于视频编码***和视频解码***的语法处理的装置，其中当前图像参考和自适应运动向量分辨率编解码工具被使能，所述装置包括一个或多个电子电路或一个或多个处理器，被配置为：
确定当前图像中的当前块的当前参考图像；以及
当所述当前参考图像等于所述当前图像时，推断整数运动向量标志为真，不需要在编码器侧的比特流中发出所述整数运动向量标志，或者不需要从解码器侧的所述比特流中解析出所述整数运动向量标志用于所述当前块，其中所述整数运动向量标志为真表示当前运动向量以整数表示，所述整数运动向量标志为假表示所述当前运动向量以分数表示。
6.一种用于视频编码***和视频解码***的语法处理的方法，其中当前图像参考和自适应运动向量分辨率编解码工具被使能，所述方法包括：
确定当前图像中的当前块的多个运动向量差；以及
当所述当前块的所有的所述多个运动向量差都等于零时，推断整数运动向量标志为真，不需要在编码器侧的比特流中发出所述整数运动向量标志，或者不需要从解码器侧的所述比特流中解析出所述整数运动向量标志用于所述当前块，其中所述整数运动向量标志为真表示当前运动向量以整数表示，所述整数运动向量标志为假表示所述当前运动向量以分数表示。
7.如权利要求6所述的方法，其特征在于，当所述当前块的所有的所述多个运动向量差都等于零时不管与所述当前运动向量相关的选定参考图像是否等于所述当前图像，所述整数运动向量标志被推断为假。
8.如权利要求7所述的方法，其特征在于，如果所述当前块的任何运动向量差不等于零以及与所述当前运动向量相关的所述选定参数图像等于所述当前图像，所述整数运动向量标志被推断为真。
9.如权利要求7所述的方法，其特征在于，如果所述当前块的任何运动向量差不等于零以及与所述当前运动向量相关的所述选定参考图像不等于所述当前图像，所述整数运动向量标志在所述编码器侧的所述比特流中被发出或者在所述解码器侧的所述比特流中被解析出用于所述当前块。
10.如权利要求7所述的方法，其特征在于，只有当与所述当前运动向量相关的选定参数图像不等于所述当前图像时，所述整数运动向量标志被推断为假。
11.一种用于视频编码***和视频解码***的语法处理的装置，其中当前图像参考和自适应运动向量分辨率编解码工具被使能，所述装置包括一个或多个电子电路或一个或多个处理器，被配置为：
确定当前图像中的当前块的多个运动向量差；以及
当所述当前块的所有的所述多个运动向量差都等于零时，推断整数运动向量标志为真，不需要在编码器侧的比特流中发出所述整数运动向量标志，或者不需要从解码器侧的所述比特流中解析出所述整数运动向量标志用于所述当前块，其中所述整数运动向量标志为真表示当前运动向量以整数表示，所述整数运动向量标志为假表示所述当前运动向量以分数表示。
12.一种用于视频编码***和视频解码***的语法处理的方法，其中当前图像参考编解码工具和子块预测编解码模式被使能，所述方法包括：
确定当前图像中的当前块的至少一个参考图像；以及
当所述当前图像是所述当前块的唯一参考图像：
禁能所述子块预测编解码模式；以及
通过禁能所述子块预测编解码模式，在编码器侧对所述当前块进行编码或者在解码器侧对所述当前块进行解码。
13.如权利要求12所述的方法，其特征在于，当所述当前图像是所述当前块的所述唯一参考图像时，用来指示所述子块预测编解码模式的语法元素不需要在所述编码器侧的比特流中发出，或者不需要在所述解码器侧的所述比特流中解析出以用于所述当前块。
14.如权利要求12所述的方法，其特征在于，当所述当前图像是所述当前块的所述唯一参考图像时，用来指示所述子块预测编解码模式的语法元素被推断为假。
15.如权利要求12所述的方法，其特征在于，当所述当前图像是所述当前块的所述唯一参考图像时，用来指示所述子块预测编解码模式的语法元素被约束为指示所述子块预测编解码模式被禁能。
16.如权利要求12所述的方法，其特征在于，所述子块预测编解码模式与仿射预测编解码工具或基于子块的时间运动向量预测编解码工具相关联。
17.一种用于视频编码***和视频解码***的语法处理的装置，其中当前图像参考编解码工具和子块预测编解码模式被使能，所述装置包括一个或多个电子电路或一个或多个处理器，被配置为：
确定当前图像中的当前块的至少一个参考图像；以及
当所述当前图像是所述当前块的唯一参考图像：
禁能所述子块预测编解码模式；以及
通过禁能所述子块预测编解码模式，在编码器侧对所述当前块进行编码或者在解码器侧对所述当前块进行解码。
18.一种用于视频编码***和视频解码***的语法处理的方法，其中当前图像参考编解码工具和子块预测编解码模式被使能，所述方法包括：
确定当前图像中的当前块的至少一个参考图像；以及
当所述当前图像是所述当前块的唯一参考图像：
将与所述当前块的子块相关的导出运动向量转换为整数运动向量；以及
使用所述整数运动向量作为运动向量预测子，在编码器侧对当前块的当前运动向量进行编码，或者在解码器侧对所述当前块的所述当前运动向量进行解码。
19.一种用于视频编码***和视频解码***的语法处理的装置，其中当前图像参考编解码工具和子块预测编解码模式被使能，所述装置包括一个或多个电子电路或一个或多个处理器，被配置为：
确定当前图像中的当前块的至少一个参考图像；以及
当所述当前图像是所述当前块的唯一参考图像：
将与所述当前块的子块相关的导出运动向量转换为整数运动向量；以及
使用所述整数运动向量作为运动向量预测子，在编码器侧对所述当前块的当前运动向量进行编码，或者在解码器侧对所述当前块的所述当前运动向量进行解码。
CN201980012198.6A 2018-02-12 2019-02-11 用于视频编解码***的语法处理的方法和装置 Active CN111869216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410210285.5A CN118101969A (zh) 2018-02-12 2019-02-11 用于视频编解码***的语法处理的方法和装置

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862629204P 2018-02-12 2018-02-12
US62/629,204 2018-02-12
US201862742474P 2018-10-08 2018-10-08
US62/742,474 2018-10-08
US201862747170P 2018-10-18 2018-10-18
US62/747,170 2018-10-18
PCT/CN2019/074783 WO2019154417A1 (en) 2018-02-12 2019-02-11 Method and apparatus of current picture referencing for video coding using adaptive motion vector resolution and sub-block prediction mode

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410210285.5A Division CN118101969A (zh) 2018-02-12 2019-02-11 用于视频编解码***的语法处理的方法和装置

Publications (2)

Publication Number Publication Date
CN111869216A true CN111869216A (zh) 2020-10-30
CN111869216B CN111869216B (zh) 2024-05-28

Family

ID=67548807

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980012198.6A Active CN111869216B (zh) 2018-02-12 2019-02-11 用于视频编解码***的语法处理的方法和装置
CN202410210285.5A Pending CN118101969A (zh) 2018-02-12 2019-02-11 用于视频编解码***的语法处理的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410210285.5A Pending CN118101969A (zh) 2018-02-12 2019-02-11 用于视频编解码***的语法处理的方法和装置

Country Status (8)

Country Link
US (1) US11109056B2 (zh)
KR (1) KR102483602B1 (zh)
CN (2) CN111869216B (zh)
AU (1) AU2019217409B2 (zh)
CA (1) CA3090562C (zh)
GB (1) GB2585304B (zh)
TW (1) TWI692973B (zh)
WO (1) WO2019154417A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020169104A1 (en) 2019-02-24 2020-08-27 Beijing Bytedance Network Technology Co., Ltd. Joint coding of palette mode usage indication
US11025948B2 (en) * 2019-02-28 2021-06-01 Tencent America LLC Method and apparatus for motion prediction in video coding
US11343525B2 (en) * 2019-03-19 2022-05-24 Tencent America LLC Method and apparatus for video coding by constraining sub-block motion vectors and determining adjustment values based on constrained sub-block motion vectors
US11109041B2 (en) * 2019-05-16 2021-08-31 Tencent America LLC Method and apparatus for video coding
JP7359936B2 (ja) 2019-07-20 2023-10-11 北京字節跳動網絡技術有限公司 パレットモードの使用の指示の条件依存符号化
CN117221536A (zh) 2019-07-23 2023-12-12 北京字节跳动网络技术有限公司 调色板模式编解码的模式确定
WO2021018166A1 (en) 2019-07-29 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Scanning order improvements for palette mode coding
EP4011077A4 (en) * 2019-09-13 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SAMPLE WEIGHTED BIDIRECTIONAL PREDICTION IN VIDEO CODING
WO2021052505A1 (en) * 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Reference picture resampling in video processing
US11184632B2 (en) * 2020-01-20 2021-11-23 Tencent America LLC Method and apparatus for palette based coding mode under local dual tree structure
US11582491B2 (en) * 2020-03-27 2023-02-14 Qualcomm Incorporated Low-frequency non-separable transform processing in video coding

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1491040A (zh) * 2002-08-24 2004-04-21 Lg电子株式会社 可变长度编码方法
CN103688543A (zh) * 2011-07-01 2014-03-26 Sk电信有限公司 进行图像编码和解码的设备和方法
GB201509938D0 (en) * 2015-06-08 2015-07-22 Canon Kk Schemes for handling an AMVP flag when implementing intra block copy coding mode
US20160127731A1 (en) * 2014-11-03 2016-05-05 National Chung Cheng University Macroblock skip mode judgement method for encoder
CN106165419A (zh) * 2014-01-09 2016-11-23 高通股份有限公司 用于视频译码的自适应运动向量分辨率信令
CN106797229A (zh) * 2014-11-20 2017-05-31 寰发股份有限公司 运动向量和块向量分辨率控制方法
WO2017206804A1 (en) * 2016-05-28 2017-12-07 Mediatek Inc. Method and apparatus of current picture referencing for video coding using affine motion compensation
EP3264769A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Method and apparatus for video coding with automatic motion information refinement

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120287999A1 (en) * 2011-05-11 2012-11-15 Microsoft Corporation Syntax element prediction in error correction
CN104768015B (zh) * 2014-01-02 2018-10-26 寰发股份有限公司 视频编码方法及装置
EP3158734A4 (en) * 2014-06-19 2017-04-26 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
WO2016119104A1 (en) * 2015-01-26 2016-08-04 Mediatek Inc. Motion vector regularization
US20160337662A1 (en) 2015-05-11 2016-11-17 Qualcomm Incorporated Storage and signaling resolutions of motion vectors
EP4325859A3 (en) * 2018-09-19 2024-05-15 Beijing Bytedance Network Technology Co., Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
CN113412623A (zh) * 2019-01-31 2021-09-17 北京字节跳动网络技术有限公司 记录仿射模式自适应运动矢量分辨率的上下文

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1491040A (zh) * 2002-08-24 2004-04-21 Lg电子株式会社 可变长度编码方法
CN103688543A (zh) * 2011-07-01 2014-03-26 Sk电信有限公司 进行图像编码和解码的设备和方法
CN106165419A (zh) * 2014-01-09 2016-11-23 高通股份有限公司 用于视频译码的自适应运动向量分辨率信令
US20160127731A1 (en) * 2014-11-03 2016-05-05 National Chung Cheng University Macroblock skip mode judgement method for encoder
CN106797229A (zh) * 2014-11-20 2017-05-31 寰发股份有限公司 运动向量和块向量分辨率控制方法
GB201509938D0 (en) * 2015-06-08 2015-07-22 Canon Kk Schemes for handling an AMVP flag when implementing intra block copy coding mode
WO2017206804A1 (en) * 2016-05-28 2017-12-07 Mediatek Inc. Method and apparatus of current picture referencing for video coding using affine motion compensation
TW201804804A (zh) * 2016-05-28 2018-02-01 聯發科技股份有限公司 視訊編碼方法和裝置
EP3264769A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Method and apparatus for video coding with automatic motion information refinement

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHAO WANG: "Adaptive Motion Vector Resolution Scheme for Enhanced Video Coding", 《2016 DATA COMPRESSION CONFERENCE (DCC)》 *
胡继明: "基于HEVC内容自适应帧内预测快速算法", 《中国优秀硕士学位论文全文数据库》 *

Also Published As

Publication number Publication date
GB202013536D0 (en) 2020-10-14
US20200374545A1 (en) 2020-11-26
TW201935930A (zh) 2019-09-01
CN111869216B (zh) 2024-05-28
AU2019217409A1 (en) 2020-09-17
WO2019154417A1 (en) 2019-08-15
CN118101969A (zh) 2024-05-28
GB2585304B (en) 2023-03-08
TWI692973B (zh) 2020-05-01
AU2019217409B2 (en) 2021-04-22
CA3090562C (en) 2023-03-14
US11109056B2 (en) 2021-08-31
GB2585304A (en) 2021-01-06
KR20200117017A (ko) 2020-10-13
KR102483602B1 (ko) 2022-12-30
CA3090562A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
CN109076210B (zh) 视频编解码方法和装置
CN111869216B (zh) 用于视频编解码***的语法处理的方法和装置
TWI646829B (zh) 一種視訊編碼系統使用的視訊編碼方法及裝置
CN109479137B (zh) 用于彩***数据的调色板模式编解码的方法及装置
CN109644271B (zh) 用于二叉树分割块的确定候选集的方法及装置
CN112055964B (zh) 用于视频编解码中的独立编码树的语法交错方法和装置
CN113016187A (zh) 利用当前画面参照编码方式的视频区块编码或解码方法和装置
TWI655863B (zh) 視訊處理系統中基於預測子的分割的方法及裝置
CN117915083A (zh) 块内拷贝模式和帧间预测工具之间的交互
CN113170191B (zh) 视频编解码的预测方法以及预测装置
CN113196751B (zh) 通过使用基于子块的运动补偿处理视频信号的方法和设备
CN112567750A (zh) 用于视频编解码的简化合并候选列表的方法和装置
CN112585972B (zh) 视频编解码的帧间预测方法及装置
EP3449630B1 (en) Method and apparatus of current picture referencing for video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant