CN117121481A - 单独树编解码限制 - Google Patents

单独树编解码限制 Download PDF

Info

Publication number
CN117121481A
CN117121481A CN202280022368.0A CN202280022368A CN117121481A CN 117121481 A CN117121481 A CN 117121481A CN 202280022368 A CN202280022368 A CN 202280022368A CN 117121481 A CN117121481 A CN 117121481A
Authority
CN
China
Prior art keywords
video
codec
block
component
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280022368.0A
Other languages
English (en)
Inventor
张凯
张莉
谢熙
李俊儒
王萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
ByteDance Inc
Original Assignee
Douyin Vision Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Douyin Vision Co Ltd, ByteDance Inc filed Critical Douyin Vision Co Ltd
Publication of CN117121481A publication Critical patent/CN117121481A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种由视频编解码装置实现的用于处理视频数据的机制。该机制确定对视频单元使用单独树编解码和超出视频单元的最小尺寸阈值的分割中的一个或多个。该机制还基于该确定来对视频单元禁用跨分量编解码工具。根据被禁用的编解码工具来执行可视媒体数据和比特流之间的转换。

Description

单独树编解码限制
相关申请的交叉引用
本专利申请要求北京字节跳动网络技术有限公司于2021年3月17日提交的、且名称为“对单独树编解码的限制”的国际申请No.PCT/CN2021/081291的权益,其通过引用并入本文。
技术领域
本专利文档涉及包括图像和视频的数字媒体信息的编码、转码和解码。
背景技术
数字视频占互联网和其他数字通信网络上最大的带宽使用。随着能够接收和显示视频的连接用户设备数量的增加,数字视频使用的带宽需求可能会继续增长。
发明内容
第一方面涉及一种由视频编解码装置实现的用于处理视频数据的方法,包括:作出单独树编解码和超出最小尺寸阈值的分割中的一个或多个用于视频单元的确定;基于确定对视频单元禁用跨分量编解码工具;和根据被禁用的编解码工具来执行可视媒体数据和比特流之间的转换。
可选地,在前述方面中的任一项中,该方面的另一实现方式规定,跨分量编解码工具是两步跨分量预测模式(TSCPM)。
可选地,在前述方面中的任一项中,该方面的另一实现方式规定,跨分量编解码工具是左TSCPM(TSCPM-左)和上TSCPM(TSCPM-上)中的至少一个。
可选地,在前述方面中的任一项中,该方面的另一实现方式规定,跨分量编解码工具是具有多个跨分量的预测(PMC)。
可选地,在前述方面中的任一项中,该方面的另一实现方式规定,基于确定且当视频单元包含亮度块的分割且亮度块包含最小尺寸阈值的维度时,对视频单元禁用跨分量编解码工具。
可选地,在前述方面中的任一项中,该方面的另一实现方式规定,基于确定且当视频单元包含亮度块的分割、亮度块包含最小尺寸阈值的维度、以及亮度块包含由规定模式编解码的亮度样点时,对视频单元禁用跨分量编解码工具。
可选地,在前述方面中的任一项中,该方面的另一实现方式规定,最小尺寸阈值是宽度4或高度4。
可选地,在前述方面中的任一项中,该方面的另一实现方式规定,当分割是水平扩展四叉树(EQT)时,最小尺寸阈值是宽度8或高度16。
可选地,在前述方面中的任一项中,该方面的另一实现方式规定,当分割是垂直EQT时,最小尺寸阈值是宽度16或高度8。
可选地,在前述方面中的任一项中,该方面的另一实现方式规定,当分割是四叉树(QT)时,最小尺寸阈值是宽度8或高度8。
可选地,在前述方面中的任一项中,该方面的另一实现方式规定,当分割是垂直二叉树(BT)时,最小尺寸阈值是宽度8。
可选地,在前述方面中的任一项中,该方面的另一实现方式规定,当分割是水平BT时,最小尺寸阈值是高度8。
可选地,在前述方面中的任一项中,该方面的另一实现方式规定,当分割是水平EQT时,最小尺寸阈值是32×16的区域。
可选地,在前述方面中的任一项中,该方面的另一实现方式规定,当分割是垂直EQT时,最小尺寸阈值是16×32的区域。
可选地,在前述方面中的任一项中,该方面的另一实现方式规定,当通过单独树编解码来编解码视频单元时且当用规定模式来编解码视频单元的单独树区域中的亮度块时,为视频单元的单独树区域中的色度块禁用跨分量编解码工具。
可选地,在前述方面中的任一项中,该方面的另一实现方式规定,规定模式是帧间编解码模式、帧内块复制(IBC)模式、串复制模式、帧内子分割(ISP)模式或其组合。
可选地,在前述方面中的任一项中,该方面的另一实现方式规定,当跨分量编解码工具被禁用时,从比特流中省略表示跨分量编解码工具的码字。
可选地,在前述方面中的任一项中,该方面的另一实现方式规定,转换还根据视频单元的编解码信息、序列参数集(SPS)、序列标头、图片参数集(PPS)、图片标头、条带标头、编解码树单元(CTU)、编解码单元(CU)、颜色格式信息、标准级别、档次或其组合来执行。
第二方面涉及一种非暂时性计算机可读介质,其包含供视频编解码设备使用的计算机程序产品,计算机程序产品包含存储在非暂时性计算机可读介质上的计算机可执行指令,使得计算机可执行指令在由处理器执行时使视频编解码设备执行前述方面中任一方面的方法。
第三方面涉及一种用于处理视频数据的装置,包括:处理器;以及其上具有指令的非暂时性存储器,其中指令在由处理器执行时使得处理器执行前述方面中任一方面的方法。
为清晰起见,任何一个前述实施例可与任何一个或多个其他前述实施例组合,以在本公开的范围内形成新的实施例。
从以下结合附图和权利要求的详细说明中,可更清楚地理解这些和其他特征。
附图说明
为了更全面地理解本公开内容,现结合附图和详细说明参考以下简要说明,其中相同的参考数字代表相同的部件。
图1是两步跨分量预测模式(TSCPM)的编解码流程的示意图。
图2是当左和上参考样点可用时的示例相邻样点选择的示意图。
图3是示例基于四点的线性模型导出样点选择的示意图。
图4是图示最小和最大亮度值之间的示例直线的图表,其可用于确定线性模型参数。
图5是使用多个跨分量(PMC)进行预测的示例工作流程的示意图。
图6是示例扩展四叉树(EQT)分割的示意图。
图7是采用四叉树(QT)、二叉树(BT)和EQT的示例树结构的示意图。
图8是示出了示例视频处理***的框图。
图9是示例视频处理装置的框图。
图10是视频处理的示例方法的流程图。
图11是图示示例视频编解码***的框图。
图12是图示示例编码器的框图。
图13是图示示例解码器的框图。
图14是示例编码器的示意图。
具体实施方式
首先应理解,尽管下文提供了一个或多个实施例的说明性实现方式,但可使用任何数量的技术实现所公开的***和/或方法,无论是当前已知的还是有待开发的。本公开不应以任何方式限于以下示出的示例性实现方式、附图和技术,包括在此示出和描述的示例性设计和实现方式,而是可以在所附权利要求及其等同物的全部范围内进行修改。
该文档涉及图像/视频编解码,更具体地说,涉及跨分量预测。所公开的机制可以应用于视频编解码标准,例如高效视频编解码(HEVC)、多功能视频编解码(VVC)和/或第三代音频视频标准(AVS3)。这种机制也可以适用于其他视频编解码标准和/或视频编解码器。
AVS3在对当前颜色分量进行编解码时采用依赖于其他颜色分量的解码信息的工具。这种工具可以包括两步跨分量预测模式(TSCPM)和具有多个跨分量的预测(PMC)。下面公开了关于这两个编解码工具的更多细节。现在讨论AVS3中的TSCPM。
图1是用于TSCPM的编解码流程的示意图100。TSCPM通过以下步骤执行。视频编解码设备首先解码并重建当前块的亮度样点。从相邻重建样点中获得当前块的线性模型。然后,将线性模型应用于重建的亮度块,以获得内部预测,从而产生临时色度预测块。内部预测/临时色度预测块然后被下采样以生成最终色度预测块。示意图100描绘了色度预测块生成过程的基本过程。左方块表示位于RL(x,y)并置亮度块的(x,y)处的原始重建亮度(RL)样点。通过将具有参数(α,β)的线性模型应用于每个亮度样点,生成临时色度预测块。临时色度预测块中的样点由P’c(x,y)=α*RL(x,y)+β表示。然后,临时色度预测块被进一步下采样,以生成最终色度预测块。最终色度预测块中的样点由Pc(x,y)表示。线性模型导出过程和下采样过程在下面的子章节中描述。
因此,TSCPM通过基于亮度分量对色度分量进行编码来操作。根据帧间和/或帧内预测对块中的亮度分量进行编码。色度分量然后通过基于亮度分量的预测来编码。在解码器处,通过经由帧间和/或帧内预测解码亮度分量来反转该过程。然后,基于亮度分量预测色度分量,并对色度分量进行下采样,以实现解码的色度分量。色度分量的预测是基于线性模型来执行的,该线性模型是基于当前块外部的相邻样点来确定的。下面讨论用于选择相邻样点以支持线性模型的确定的机制。
图2是当左和上参考样点可用时的示例相邻样点选择的示意图200。选定的相邻样点被描绘为黑色圆圈,而未选定的相邻样点被描绘为白色圆圈。当前块被描绘为正方形。
现在讨论用于导出线性模型的机制。在示例中,可以选择两个或四个样点,并且利用两个较大值和两个较小值的平均值来计算线性模型的参数。现在讨论领域样点的选择。首先,计算色度编解码块的宽度(width)和高度(height)的比率r。然后,基于上行和左列的可用性,选择两个或四个样点,例如根据等式1。
因此,如果上和左相邻参考样点都可用,则如示意图200所示,选择位于[0,-1]、[宽度-max(1,r),-1],[-1,0]和[-1,高度-max(1,r)]的四个样点。当只有上领域参考样点可用时,选择位于[0,-1]、[宽度/4,-1]、[2宽度/4,-1]、[3宽度/4,-1]的四个样点。对于只有左参考样点可访问的情况,采用位于[-1,0],[-1,高度/4],[-1,2高度/4],[-1,3高度/4]的四个样点。应当注意,当当前块与包含对应位置的样点的块相邻时,相邻样点是可用的。例如,当块定位在图像的边缘附近时,在边缘的另一侧可能没有可用的相邻块。因此,在这种情况下,相邻样点不可用。例如,当当前块定位在图片的顶部边缘时,上领域行不可用。此外,当当前块定位在图片的左边缘时,左领域列不可用。
随后,根据亮度样点强度对四个样点进行分类,并将其分为两组。分别对两个较大的样点和两个较小的样点进行平均。跨分量预测模型是用两个平均点导出的,如下面更详细讨论的。在一个示例中,可基于作为(MaxLuma,MaxChroma)的两个较大选定样点值的平均值和基于作为(MinLuma,MinChroma)的两个较小选定样点值的平均值来导出α、β和移位,如下文详细描述。
如果只有当前色度块宽度达到2的上块或当前色度块高度达到2的左块可用,则分别选择上行的[0,-1]和[1,-1]或左行的[-1,0],[-1,1]。根据两个选定样点的亮度和色度值导出色度预测模型。如果左块和上块都不可用,则使用默认预测,其中α等于0,并且β等于1<<(BitDepth-1),其中BitDepth表示色度样点的位深度。
现在讨论色度预测块的示例两步导出过程。使用等式2生成临时色度预测块,其中P′c(x,y)表示临时预测块,α和β是模型参数,并且RL(x,y)是重建的亮度样点。
P′c(x,y)=α×RL(x,y)+β (2)
剪裁操作应用于P′c(x,y),以确保它在[0,1<<(BitDepth-1)]内。这种剪裁过程类似于在其他帧内预测过程中使用的剪裁过程。6抽头滤波器(例如,[1 2 1;1 2 1])用于临时色度预测块的下采样过程,如等式3所示
Pc=(2×P′c(2x,2y)+2×P′c(2x,2y+1)+P′c(2x-1,2y)+P′c(2x+1,2y)+P′c(2x-1,2y+1)+P′c(2x+1,2y-1)+offset0)>>3 (3)
此外,对于位于最左列的色度样点,可以改为应用[1 1]下采样滤波器,如等式4所示。
Pc=(P′c(2x,2y)+P′c(2x+1,2y)+offset1)》1 (4)
两个变量offset0和offset1是整数值。在一些示例中,变量offset0和offset1可以分别设置为4和1。在一些示例中,offset0和offset1可以被设置为零。
现在讨论附加的TSCPM模式。除了上面描述的TSCPM模式(由TSCPM-LT表示),还描述了另外两种TSCPM模式。例如,TSCPM可以仅利用左相邻样点(TSCPM-L),或者TSCPM可以利用上相邻样点(TSCPM-A)。
还讨论了示例语法设计。基于AVS3规范,可以使用标志来信令通知色度帧内预测模式是否是TSCPM。该标志(作为第二二进制位)在指示亮度驱动模式(DM)模式使用(第一二进制位)之后被编解码。
图3是示例基于四点的线性模型导出样点选择的示意图。块301是当上和左领域样点都可用时,具有用于线性模型导出的选定领域样点的块。块303是当只有上领域样点可用而左领域样点不可用时,具有用于线性模型导出的选定领域样点的块。选定领域样点被描绘为块圆圈,而未选定领域样点被描绘为白色圆圈。这些块可以包括色度样点,该色度样点是使用线性模型基于选定领域样点预测的,例如根据如上所述的TSCPM。
现在讨论基于四点的线性模型导出。基于四点的线性模型导出可用于确定TSCPM中使用的线性模型参数α、β和/或移位。如上所述,利用相邻亮度样点和对应色度样点的两点或四点来导出线性模型参数。根据颜色格式,在一些示例中,亮度样点可以是下采样的亮度样点,而不是重建的亮度样点。
在示例中,以相等的距离选择两个或四个点。当前色度块可以具有宽度(W)和高度(H)。在示例中,CCLM参数(α和β)是用最多四个相邻色度样点及其对应的下采样亮度样点导出的。假设当前色度块维度为W×H,则W”和H’被设置为:
当应用线性模型(LM)模式时,W′=W,H′=H
当应用LM类型A(LM-A)模式时,W′=W+H;和
当应用LM类型L(LM-L)模式时,H′=H+W。
在示例中,当前色度块的左顶坐标为[0,0]。如果上和左块都可用,并且当前模式是LM模式(不包括LM类型T(LM-T)和LM-L),则选择位于上行中的两个色度样点和位于左列中的两个色度样点。在这种情况下,两个上样点的坐标是[floor(W/4),-1]和[floor(3*W/4),-1],并且两个左样点的坐标是[-1,floor(H/4)]和[-1,floor(3*H/4)],如块301所示。随后,根据亮度样点强度对四个样点进行分类,并将其分为两组。分别对两个较大的样点和两个较小的样点进行平均。使用两个平均点导出跨分量预测模型。在可替代的示例中,四个样点的最大值和最小值用于导出LM参数。
当上块可用而左块不可用时,当W>2时,从上块中选择四个色度样点,当W=2时,选择两个色度样点。四个选定上样点的坐标为[W/8,-1]、[W/8+W/4,-1]、[W/8+2*W/4,-1]和[W/8+3*W/4,-1],如块303所示。当左块可用而上块不可用时,当H>2时从左块中选择四个色度样点,当H=2时选择两个色度样点。四个选定的左样点的坐标是[-1,H/8],[-1,H/8+H/4],[-1,H/8+2*H/4,-1]和[-1,H/8+3*H/4]。当左和上块都不可用时,使用默认预测。例如,α等于0,并且β等于1<<(BitDepth-1),其中BitDepth表示色度样点的位深度。
当当前模式为LM-T模式时,当W′>2时,从上块中选择四个色度样点,当W′=2时,选择两个色度样点。W’是上领域样点的可用数量,其可以是2*W,在这种情况下,选定的四个上样点的坐标为[W′/8,-1],[W′/8+W′/4,-1],[W′/8+2*W′/4,-1],以及[W′/8+3*W′/4,-1]。当当前模式是LM-L模式时,当H’>2时,从左块中选择四个色度样点,当H’=2时,选择两个色度样点。H’是左领域样点的可用数量,其可以是2*H,在这种情况下,四个选定的左领域样点的坐标是[-1,H′/8],[-1,H′/8+H′/4],[-1,H′/8+2*H′/4,-1]和[-1,H′/8+3*H′/4]。
图4是图示最小和最大亮度值之间的示例直线的图表400,其可用于确定线性模型参数。一些***用直线方程代替线性模型参数α和β的最小均方(LMS)算法,这可以称为两点法。四个点中的两个较小值被平均,并表示为A。四个点中的两个较大值(剩余的两个)被平均,并表示为B。图表400中描绘了A和B的示例。
线性模型参数α和β可根据以下等式获得:
β=yA-α*xA (6)
避免了用于导出α的除法,并替换为如下的乘法和移位。当上述块或左相邻块可用时,以下适用:
a=0;
iShift=16;
shift=(InternalBitDepth>8)?InternalBitDepth-9:0;
add=shift?1<<(shift-1):0;
diff=(MaxLuma-MinLuma+add)>>shift;
if(diff>0)
{
div=((MaxChroma-MinChroma)*g_aiLMDivTableLow[diff-1]+32768)>>16;
a=(((MaxChroma-MinChroma)*g_aiLMDivTableHigh[diff-1]+div+add)>>shift);
}
b=Minchroma-((a*MinLuma)>>iShift);
否则,以下适用:
a=0;iShift=0;b=1<<(BitDepthC-1)
其中,S被设置为等于iShift,α被设置为等于a,并且β被设置为等于b,并且g_aiLMDivTableLow和g_aiLMDivTableHigh是两个各具有512个条目的表。每个条目可以存储16位整数。
为了导出色度预测值,例如在虚拟测试模型(VTM)实现方式中,乘法由如下整数运算代替:
预测值被进一步剪裁到色度值的允许范围。
图5是在AVS3中使用多个跨分量(PMC)进行预测的示例工作流程的示意图500。如图表500所示,PMC在以下步骤中完成。PMC继承并重组了TSCPM的线性模型参数。将线性模型应用于原始重建的亮度块,以获得内部蓝色差色度(Cb)和红色差(Cr)预测块。内部Cb预测块被下采样以生成最终Cb预测块。重建Cb编解码块。内部Cr预测块被下采样以生成临时Cr预测块。从临时Cr预测块中减去重建的Cb编解码块,以生成最终的Cb预测块。
使用PMC时,使用与TSCPM模式中相同的过程来预测Cb::
P′cb(x,y)=αcb×RL(x,y)+βcb, (7)
Cr的预测应该等待Cb重建的完成。更具体地说,内部Cr首先由下式导出:
tP′cr(x,y)=A×RL(x,y)+B, (8)
其中参数A和B导出如下:
A=k·αcbcr, (9)
B=k·βcbcr, (10)
cbcb)和(αcrcr)是为TSCPM中的Cb和cr导出的两组线性模型参数。随后,对P′cb(x,y)和tP′cr(x,y)应用下采样,生成Pcb(x,y)和tPcr(x,y)。下采样滤波器与TSCPM中使用的滤波器相同。Cr编解码块的预测导出如下:
Pcr(x,y)=tPcr(x,y)-Reccb(x,y)·k, (11)
其中Reccb是Cb分量的重建块。当对应于默认的PMC模型时,k等于1。当对应于增强的PMC模型时,k等于0.5和2,以适应不同的内容。对于每个图片,仅添加一个模型,从而信令通知图片级别标志。当标志值为1时,增强的PMC模型(其中k等于0.5和2)用于当前图片。在块级别,可以信令通知另一个块级别标志,以指示哪个模型用于当前块。类似地,当标志值为零时,当前图片采用默认的PMC模型(其中k等于1)。
现在讨论AVS3中的单独树(separate tree)。通常,亮度和色度分量共享相同的分割结构。在AVS3中,最小亮度/色度块尺寸为4x4。当亮度编解码块的尺寸为8时,对于4:2:0颜色格式,相关联的色度块尺寸为4,使得色度的分割不适用。在AVS3中可以采用单独树,其中亮度和色度的编解码结构在小编解码单元上被局部分离。例如,对于亮度编解码块的一边不大于8的情况,相关联的色度编解码块的尺寸不大于4。在这种场景下,应用单独树,其中亮度编解码块可以被进一步划分,产生多个子编解码块。相关联的色度编解码块可以不被划分,而是被编解码为一个色度编解码块。
图6是AVS3中的示例EQT分割的示意图600。如图所示,子块可以具有高度(N)和宽度(M)。当执行水平EQT划分时,编解码单元被水平划分成N/4、N/2和N/4,并且N/2部分被垂直分割成相等的子编解码单元。当执行垂直EQT分割时,编解码单元被垂直划分成M/4、M/2和M/4,并且M/2部分被水平划分成相等的子编解码单元。因此,EQT将编解码单元划分成四个子CU,其中子CU的尺寸和形状不相同。图600中示出了EQT的划分图案。
图7是采用四叉树(QT)、二叉树(BT)和EQT的示例树结构的示意图700。可以在QT的叶节点上应用EQT和BT分割。此外,如图700所示,EQT分割可以与二叉树分割交错。示意图700中所示的数字指示树结构分割和由这些分割创建的块之间的对应关系。
以下是通过公开的技术方案解决的示例技术问题。在AVS3中有几个问题,尤其是当应用单独树时。当单独树区域中的至少一个块由非帧内模式(例如帧间/帧内块复制)编解码时,TSCPM可能引入色度帧内编解码和亮度帧间编解码的依赖性,这在硬件设计中是不期望的。
本文公开了解决上面列出的一个或多个问题的机制。例如,跨分量编解码工具(例如,TSCPM和/或PMC)可使色度块基于亮度块而被编解码。当将单独的编解码树应用于亮度块和色度块时,这可能导致错误和/或并行化低效。当某些分割类型应用于较小的亮度块时,这也可能导致错误和/或低效。因此,当采用单独树编解码时和/或当应用于视频单元的亮度块的视频单元的分割小于最小尺寸阈值时,本公开对视频单元禁用一个或一个以上跨分量编解码工具。最小尺寸阈值可能因所使用的分割而异。这种分割可以包括扩展四叉树(EQT)、四叉树(QT)、二叉树(BT)、三叉树(TT)和/或其组合的水平和垂直划分。在一些示例中,当通过规定模式(例如,帧间编解码模式、帧内块复制(IBC)模式、串复制模式、帧内子分割(ISP)模式或其组合)对亮度块进行编解码时,编解码工具被禁用。在一些示例中,当将规定的编解码模式应用于同一单独树区域中的亮度块时,为单独树区域中的色度块禁用编解码工具。在一些示例中,当跨分量编解码工具被禁用时,从比特流中省略跨分量编解码工具的码字。解码器可基于比特流中缺少跨分量编解码工具的码字来推断跨分量编解码工具被禁用。在一些示例中,可基于不同条件来禁用不同的跨分量编解码工具。
以下详细实施例应视为解释一般概念的示例。这些实施例不应被狭义地解释。此外,这些实施例可以以任何方式组合。在以下讨论中,视频单元可以是序列/图片/条带/子图片/编解码树单元(CTU)/编解码单元(CU)/预测单元(PU)/变换单元(TU)/预测块(PB)/编解码块(CB)/变换块(TB)/一个条带或图片内的区域。单独树区域可以指当不同的分割树结构被应用于亮度块和对应的色度块时,单独树被应用于的区域。例如,在AVS-3中,单独树区域可包含尺寸不大于MxN(例如,M=64,N=16)或小于MxN的亮度区域,其进一步与EQT和亮度块的对应色度区域划分。
示例1
在一个示例中,是否应用跨分量编解码工具,如TSCPM TSCPM-左(仅使用左领域样点的TSCPM模式)、TSCPM-上(仅使用上领域样点的TSCPM模式)或PMC,可遵循一个规则,该规则可取决于单独树编解码结构的使用,或取决于EQT的使用和块维度。
示例2
在一个示例中,如果单独树编解码用于视频单元,则可对视频单元禁用跨分量编解码工具。
示例3
在一个示例中,如果视频单元的亮度块的维度满足某些条件,且使用至少一个EQT进一步划分亮度块,则可为频单元禁用跨分量编解码工具。在一个示例中,亮度块单元中的至少一个孩子/子块的维度等于W*H(例如,W=4或H=4),且/或应用至少一个分割(例如,TT或EQT或BT或QT)。在一个示例中,视频单元的亮度块的维度等于W*H(例如,W=8或H=16),且/或应用水平EQT。在一个示例中,视频单元的亮度块的维度等于W*H(例如,W=16或H=8),且/或应用垂直EQT。在一个示例中,视频单元的亮度块的维度等于W*H(例如,W=8),且/或应用QT。在一个示例中,视频单元的亮度块的维度等于W*H(例如,W=8),且/或应用垂直BT。在一个示例中,视频单元的亮度块的维度等于W*H(例如,H=8),且/或应用水平BT。在一个示例中,视频单元的亮度块的维度等于32×16,且/或应用水平EQT。在一个示例中,视频单元的亮度块的维度等于16×32,且/或应用垂直EQT。块的维度(宽度*高度)等于W*H可以指宽度等于W和/或高度等于H。在上述项目符号中,“等于”可以替换为“大于”或“小于”或“不大于”或“不小于”。
示例4
在一个示例中,如果视频单元的亮度块的维度满足某些条件,且使用QT、BT或EQT中的至少一个进一步划分亮度块,且亮度块包含至少一个使用模式X编解码的亮度样点,则可为视频单元禁用跨分量编解码工具。在一个示例中,亮度块单元中任何孩子/子块的维度等于W*H(例如,W=4或H=4),和/或应用至少一个分割(例如,TT或EQT或BT或QT),和/或视频单元包含用模式X编解码的至少一个亮度样点。在一个示例中,视频单元的亮度块的维度等于W*H(例如,W=8或H=16),和/或应用水平EQT,和/或视频单元包含用模式X编解码的至少一个亮度样点。在一个示例中,视频单元的亮度块的维度等于W*H(例如,W=16或H=8),和/或应用垂直EQT,和/或视频单元包含用模式X编解码的至少一个亮度样点。在一个示例中,视频单元的亮度块的维度等于W*H(例如,W=8),和/或应用QT,和/或视频单元包含用模式X编解码的至少一个亮度样点。在一个示例中,视频单元的亮度块的维度等于W*H(例如,W=8),和/或应用垂直BT,和/或视频单元包含用模式X编解码的至少一个亮度样点。在一个示例中,视频单元的亮度块的维度等于W*H(例如,H=8),和/或应用水平BT,和/或视频单元包含用模式X编解码的至少一个亮度样点。在一个示例中,视频单元的亮度块的维度等于32×16,和/或应用水平EQT,和/或视频单元包含用模式X编解码的至少一个亮度样点。在一个示例中,视频单元的亮度块的维度等于16×32,和/或应用垂直EQT,和/或视频单元包含用模式X编解码的至少一个亮度样点。块的维度(宽度*高度)等于W*H可指宽度等于W和/或高度等于H。在以上项目符号中,“等于”可由“大于”或“小于”或“不大于”或“不小于”代替。
示例5
在一个示例中,如果使用单独树编解码,且第一单独树区域中的至少一个亮度块使用模式X进行编解码,则可以针对也在第一单独树区域中的第一色度块禁用跨分量编码工具。
示例6
在一个示例中,模式X可如下所示。在一个示例中,模式X可以是除帧内编解码模式之外的任何模式。在一个示例中,X可以是帧间编解码模式。在一个示例中,X可以是IBC模式。在一个示例中,X可以是串复制模式,也称为串预测模式。在一个示例中,X可以是帧内子分割(ISP)模式。在一个示例中,X可以是任何模式中的一种,包括帧间、IBC、串复制、ISP模式或其组合。
示例7
在一个示例中,该方法可应用于第一跨分量编解码工具,但不能应用于第二跨分量编解码工具。第一和/或第二跨分量编解码工具可以是TSCPM、TSCPM-左、TSCPM-上和/或PMC。
示例8
在一个示例中,是否信令通知至少一个码字以表示跨分量编解码工具,例如TSCPM或PMC,可遵循一个规则,该规则可取决于单独树编解码结构的使用或取决于EQT的使用和块维度。
示例9
在示例中,如果单独树编解码用于视频单元,则可以针对视频单元(例如,从比特流中)移除或跳过表示跨分量编解码工具的指示(例如,码字)。
示例10
在一个示例中,如果视频单元的亮度块的维度满足如下某些条件,则可针对视频单元跳过信令通知跨分量编解码工具的指示(例如,码字)。这些条件可以包括使用至少一个EQT进一步划分亮度块。在一个示例中,该条件可包含以亮度块为单位的任何孩子/子块的维度等于W*H(例如,W=4或H=4),和/或应用至少一个分割(例如,TT或EQT或BT或QT)。在一个示例中,条件可包含视频单元的亮度块的维度等于W*H(例如,W=16||H=8),和/或应用垂直EQT。在一个示例中,条件可包含视频单元的亮度块的维度等于W*H(例如,H=16||W=8),和/或应用水平EQT。在一个示例中,条件可包含视频单元的亮度块的维度等于W*H(例如,W=8),和/或应用QT。在一个示例中,条件可包含视频单元的亮度块的维度等于W*H(例如,W=8),和/或应用垂直BT。在一个示例中,条件可包含视频单元的亮度块的维度等于W*H(例如,H=8),和/或应用水平BT。块的尺寸(宽度*高度)等于W*H可以指宽度等于W和/或高度等于H。在上述项目符号中,“等于”可以替换为“大于”或“小于”或“不大于”或“不小于”。
示例11
在示例中,如果视频单元的亮度块的维度满足某些条件,且使用QT、BT或EQT中的至少一个进一步划分亮度块,且亮度块包含至少一个使用模式X编解码的亮度样点,则可针对视频单元跳过信令通知跨分量编解码工具的指示(例如,码字)。在一个示例中,该条件可包含亮度块单位中的任何孩子/子块的维度等于W*H(例如,W=4或H=4),和/或应用至少一个分割(例如,TT或EQT或BT或QT)。在一个示例中,条件可包含视频单元的亮度块的维度等于W*H(例如,W=16||H=8),和/或应用垂直EQT,和/或视频单元包含用模式X编解码的至少一个亮度样点。在一个示例中,条件可包含视频单元的亮度块的维度等于W*H(例如,H=16||W=8),和/或应用水平EQT,和/或视频单元包含用模式X编解码的至少一个亮度样点。在一个示例中,条件可包含视频单元的亮度块的维度等于W*H(例如,W=8),和/或应用QT,和/或视频单元包含用模式X编解码的至少一个亮度样点。在一个示例中,条件可包含视频单元的亮度块的维度等于W*H(例如,W=8),和/或垂直BT被应用和/或视频单元包含用模式x编解码的至少一个亮度样点。在一个示例中,条件可包含视频单元的亮度块的维度等于W*H(例如,H=8),和/或应用水平BT,和/或视频单元包含至少一个用模式X编解码的亮度样点。块的维度(宽度*高度)等于W*H可以指宽度等于W和/或高度等于H。在以上项目符号中,“等于”可以用“大于”或“小于”或“不大于”或“不小于”代替。
示例12
在一个示例中,如果使用单独树编解码,且第一单独树区域中的至少一个亮度块使用模式X进行编解码,则对于也在第一单独树区域中的第一色度块,可移除或跳过表示跨分量编解码工具的指示(例如,码字)。
示例13
在一个示例中,模式X可如下所示。在一个示例中,模式X可以是除帧内编解码模式之外的任何模式。在一个示例中,X可以是帧间编解码模式。在一个示例中,X可以是IBC模式。在一个示例中,X可以是串复制模式。在一个示例中,X可以是ISP模式。在一个示例中,X可以是任何模式中的一种,包括帧间、IBC、串复制、ISP模式或其组合。
示例14
在示例中,当跳过跨分量编解码工具的指示的信令通知时,推断禁用这种跨分量编解码工具的使用。
示例15
在一个示例中,该方法可应用于第一跨分量编解码工具,但不能应用于第二跨分量编解码工具。第一和/或第二跨分量编解码工具可以是TSCPM、TSCPM-左、TSCPM-上和/或PMC。
示例16
在一个示例中,是否和/或如何应用上文公开的方法可取决于(如条带类型或图片类型)编解码信息、从编码器向解码器信令通知的信息(诸如在序列参数集(SPS)、序列标头、图片参数集(PPS)、图片标头、条带标头、CTU、CU等中)、颜色格式(例如亮度蓝色差色度和红色差色度(YCbCr)或红绿蓝(RGB),或4:2:0或4:4:4或4:2:0)、和/或标准级别或档次。
现在讨论第一示例实施例。现在讨论编解码单元定义。编解码单元定义如下表所示。
现在描述编解码单元。如果isRedundant的值为1,则((TscpmEnableFlag||PmcEnableFlag)&&!((isLumaAllIntra==0)&&(component==′COMPONENT_Chroma′)))?5:4))。
现在描述isLumaAllIntra,其为亮度全帧内模式标志。当对应于当前色度编解码单元的亮度区域的所有编解码单元模式都不是帧间预测模式,并且它们都不是IBC模式或SP模式时,isLumaAllIntra的值未1。否则,isLumaAllIntra的值为0。
可根据以下方法确定intra_chroma_pred_mode_index的ctxIdxInc。
如果binIdx等于0,则ctxIdxInc等于0;
否则如果TscpmEnableFlag的值等于1并且!((isLumaAllIntra==0)&&(component==′COMPONENT_Chroma′))且binIdx等于1,则ctxIdxInc等于2;
否则如果PmcEnableFlag的值等于1并且!((isLumaAllIntra==0)&&(component==′COMPONENT_Chroma′))且binIdx等于1,则ctxIdxInc等于2
否则,ctxIdxInc的值等于1。
以下条款定义了语法元素的去二进制化方法。
语法元素的去二进制化方法
/>
讨论了正常帧内预测模式。在第一步中,可以如下计算IntraChromaPredMode的值。
/>
/>
在第二步中,可使用IntraChromaPredMode的值获得色度预测块的帧内预测模式。
现在讨论第二示例实施例。现在讨论编解码单元定义。编解码单元定义如下表所示。
现在描述编解码单元。如果isRedundant的值为1,则intra_chroma_pred_mode_index不应为((TscpmEnableFlag||PmcEnableFlag)&&(component!=′COMPONENT_Chroma′)))?5:4))。
可根据以下方法确定intra_chroma_pred_mode_index的ctxIdxInc。
如果binIdx的值等于0,则ctxIdxInc等于0;
否则如果TscpmEnableFlag的值等于1且component!=′COMPONENT_Chroma′))且binIdx等于1,则ctxIdxInc等于2;
否则如果PmcEnableFlag的值等于1且component!=′COMPONENT_Chroma′))且binIdx等于1,则ctxIdxInc等于2
否则,ctxIdxInc的值等于1。
以下条款定义了语法元素的去二进制化方法。
语法元素的去二进制化方法
讨论了正常帧内预测模式。在第一步中,可以如下计算IntraChromaPredMode的值。
/>
在第二步中,可使用IntraChromaPredMode的值获得色度预测块的帧内预测模式。
现在讨论第三示例实施例。现在讨论编解码单元定义。编解码单元定义如下表所示。
/>
现在描述编解码单元。如果isRedundant的值为1,则intra_chroma_pred_mode_index不应为((TscpmEnableFlag||PmcEnableFlag)&&!((isLumaAllIntra==0)&&(component==′COMPONENT_Chroma′)))?5:4))。
现在描述isLumaAllIntra,其为亮度全帧内模式标志。当对应于当前色度编解码单元的亮度区域的所有编解码单元模式都不是帧间预测模式,并且它们都不是IBC模式或SP模式时,isLumaAllIntra的值为1。否则,isLumaAllIntra的值为0。
可根据以下方法确定intra_chroma_pred_mode_index的ctxIdxInc。
如果binIdx的值等于0,则ctxIdxInc等于0;
否则如果TscpmEnableFlag的值等于1且binIdx等于1,则ctxIdxInc等于2;
否则如果PmcEnableFlag的值等于1并且!((isLumaAllIntra==0)&&(component==′COMPONENT_Chroma′))且binIdx等于1,则ctxIdxInc等于2
否则,ctxIdxInc的值等于1。
以下条款定义了语法元素的去二进制化方法。
语法元素的去二进制化方法
讨论了正常帧内预测模式。在第一步中,可以如下计算IntraChromaPredMode的值。
/>
在第二步中,可使用IntraChromaPredMode的值获得色度预测块的帧内预测模式。
现在讨论第四示例实施例。现在讨论编解码单元定义。编解码单元定义如下表所示。
/>
现在描述编解码单元。如果isRedundant的值为1,则intra_chroma_pred_mode_index不应为((TscpmEnableFlag||PmcEnableFlag)&&!((isLumaNotIBC==0)&&(component==′COMPONENT_Chroma′)))?5:4))。
现在描述isLumaAllIntra,其为亮度全帧内模式标志。当对应于当前色度编解码单元的亮度区域的所有编解码单元模式都不是帧间预测模式,并且它们都不是IBC模式或SP模式时,isLumaAllIntra的值为1。否则,isLumaAllIntra的值为0。
可根据以下方法确定intra_chroma_pred_mode_index的ctxIdxInc。
如果binIdx的值等于0,则ctxIdxInc等于0;
否则如果TscpmEnableFlag的值等于1并且!((isLumaNotIBC==0)&&(component==′COMPONENT_Chroma′))且binIdx等于1,ctxIdxInc等于2;
否则如果PmcEnableFlag的值等于1并且!((isLumaNotIBC==0)&&(component==′COMPONENT_Chroma′))且binIdx等于1,则ctxIdxInc等于2;
否则,ctxIdxInc的值等于1。
以下条款定义了语法元素的去二进制化方法。
语法元素的去二进制化方法
讨论了正常帧内预测模式。IntraChromaPredMode的值可以计算如下。
/>
IntraChromaPredMode的值可用于获得色度预测块的帧内预测模式。
图8是可实现本文中所公开的各种技术的示例视频处理***800的框图。各种实现方式可以包括***800中的一些或全部组件。***800可以包括用于接收视频内容的输入802。视频内容可以以原始或未压缩的格式(例如8或10比特多分量像素值)接收,或者可以以压缩或编码的格式接收。输入802可以代表网络接口、***总线接口或存储接口。网络接口的示例包括有线接口(诸如以太网、无源光网络(PON)等)和无线接口(诸如Wi-Fi或蜂窝接口)。
***800可以包括可以实现本文档中描述的各种编解码或编码方法的编解码组件804。编解码组件804可以减少从输入802到编解码组件804的输出的视频的平均比特率,以产生视频的编解码表示。因此,编解码技术有时称为视频压缩或视频转码技术。编解码组件804的输出可以被存储或经由所连接的通信来发送,如组件806所表示的。在输入802处接收的视频的存储或通信的比特流(或编解码)表示可以由组件808使用,以生成被发送到显示接口810的像素值或可显示视频。从比特流表示中生成用户可见的视频的过程有时称为视频解压缩。此外,尽管某些视频处理操作被称为“编解码”操作或工具,但是应当理解,在编码器处使用编解码工具或操作,并且将由解码器进行反演编解码的结果的对应解码工具或操作。
***总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或Displayport等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以实施在各种电子设备中,诸如移动电话、膝上型计算机、智能电话或其它能够进行数字数据处理和/或视频显示的装设备。
图9是示例视频处理装置900的框图。装置900可以用于实现本文中所述的方法中的一个或多个。装置900可以实施在智能电话、平板电脑、计算机、物联网(IoT)接收器等中。装置900可以包括一个或多个处理器902、一个或多个存储器904和视频处理电路906。(多个)处理器902可以配置为实现本文档中所述的一个或多个方法。(多个)存储器904可以用于存储数据和代码,该代码用于实现本文所描述的方法和技术。视频处理电路906可以用于在硬件电路中实现本文档中所描述的一些技术。在一些实施例中,视频处理电路906可以至少部分地包括在处理器902中,例如图形协处理器。
图10是由视频编解码装置实现的视频处理的示例方法1000的流程图。方法1000包含在步骤1002作出单独树编解码和超出最小尺寸阈值的分割中的一个或多个用于视频单元的确定。在步骤1004,基于确定对视频单元禁用跨分量编解码工具。在步骤1006,根据被禁用的编解码工具来执行可视媒体数据和比特流之间的转换。视频单元可以是序列、图片、条带、子图片、CTU、CU、PU、TU、PB、CB、TB和/或一个条带或图片内的区域。
在步骤1004中禁用的跨分量编解码工具是使用一个分量预测另一个分量的任何编解码工具,例如采用亮度分量预测色度分量(例如,Cr和/或Cb)的编解码工具。在示例中,被禁用的跨分量编解码工具是如关于图1到图4所描述的两步跨分量预测模式(TSCPM)。TSCPM的具体示例可以包括采用左相邻亮度样点来预测当前块中的色度样点的左TSCPM(TSCPM-左)和/或采用上相邻亮度样点来预测当前块中的色度样点的上TSCPM(TSCPM-上)。在另一个示例中,被禁用的跨分量编解码工具是如关于图2所讨论的PMC。应注意,可基于各种条件来禁用一个或多个跨分量编解码工具。此外,在一些示例中,不同的条件可应用于不同的跨分量编解码工具。
在一些示例中,当在步骤1002确定视频单元包含亮度块的分割并且确定亮度块包含最小尺寸阈值的维度时,在步骤1004禁用跨分量编解码工具。换句话说,当亮度块被分割以创建包含小于最小尺寸阈值的维度的子块时,跨分量编解码工具被禁用。最小尺寸阈值可根据所使用的分割类型(例如,应用于创建最小亮度子块的分割类型)而变化。例如,对于任何分割,最小尺寸阈值可以是宽度4或高度4。因此,产生宽度或高度小于四的亮度块的任何分割可导致跨分量编解码工具被禁用。在示例中,当分割是如图表600所示的水平EQT时,最小尺寸阈值可以是宽度8或高度16。因此,产生宽度小于8或高度小于16的亮度块的水平EQT可导致跨分量编解码工具被禁用。在示例中,当分割是如图表600所示的垂直EQT时,最小尺寸阈值是宽度16或高度8。因此,产生高度小于8或宽度小于16的亮度块的垂直EQT可导致跨分量编解码工具被禁用。在示例中,当分割是QT时,最小尺寸阈值是宽度8或高度8,QT是采用垂直划分和水平划分将块划分成四个相等的子块的分割。因此,导致亮度块高度或宽度小于8的QT可能会导致跨分量编解码工具被禁用。
在一些示例中,当分割为垂直BT时,最小尺寸阈值为宽度8,垂直BT是采用单个垂直划分来创建两个子块的分割。因此,导致亮度块宽度小于8的垂直BT可能会导致跨分量编解码工具被禁用。在一些示例中,当分割是水平BT时,最小尺寸阈值是高度8,水平BT是采用单个水平划分来创建两个子块的分割。因此,导致亮度块高度小于8的水平BT可能会导致跨分量编解码工具被禁用。在一些示例中,当分割是水平EQT时,最小尺寸阈值是32×16的区域。因此,产生区域小于32×16的亮度块的水平EQT可能会导致跨分量编解码工具被禁用。在一些示例中,当分割是垂直EQT时,最小尺寸阈值是16×32的区域。因此,产生区域小于16x32的亮度块的垂直EQT可能导致跨分量编解码工具被禁用。
在其他示例中,当在步骤1002确定视频单元包含亮度块的分割、确定亮度块包含最小尺寸阈值的维度、以及确定亮度块包含通过规定模式编解码的亮度样点时,在步骤1004禁用跨分量编解码工具。在此示例中,跨分量编解码工具仅在任何先前提及的分割导致亮度块低于最小尺寸阈值时且进一步在根据规定模式对亮度块的至少一个样点进行编解码时被禁用。规定模式可以是帧间编解码模式、帧内块复制(IBC)模式、串复制模式、帧内子分割(ISP)模式或其组合。
在另一个示例中,当确定视频单元采用单独树编解码时在步骤1004中禁用跨分量编解码工具,并且当确定视频单元包含在视频单元的单独树区域中的色度块时,使用规定模式对视频单元的单独树区域中的亮度块进行编解码。规定模式可以是上面提到的任何模式。单独树编解码是一种针对色度分量处的亮度分量采用不同的分割树的机制。因此,当用单独的编解码树对亮度和色度进行编解码且用规定模式对对应于色度块的一个或多个亮度样点(例如,是同一单独树区域的一部分)进行编解码时,本示例禁用色度块的跨分量编解码工具。
在一些示例中,当在步骤1004基于以上列出的任何准则禁用跨分量编解码工具时,在步骤1006从比特流中省略表示跨分量编解码工具的码字。例如,在步骤1006处,编码器可基于该准则确定禁用跨分量编解码工具,且因此可不将与禁用的跨分量编解码工具相关的信令通知包含在比特流中。此外,解码器可基于该准则确定禁用跨分量编解码工具,和/或可根据比特流中缺少与跨分量编解码工具相关的信息来推断跨分量编解码工具被禁用。
在示例中,步骤1006的转换可根据视频单元的编解码信息、序列参数集(SPS)、序列标头、图片参数集(PPS)、图片标头、条带标头、编解码树单元(CTU)、编解码单元(CU)、颜色格式信息、标准级别、档次或其组合进一步执行。
应注意,方法1000可在用于处理视频数据的装置中实现,该装置包括处理器和其上具有指令的非暂时性存储器,例如视频编码器1200、视频解码器1300和/或编码器1400。在这种情况下,由处理器执行的指令使得处理器执行方法1000。此外,方法1000可以由包括供视频编解码设备使用的计算机程序产品的非暂时性计算机可读介质来执行。该计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可执行指令,使得该计算机可执行指令在由处理器执行时使得视频编解码设备执行方法1000。此外,方法1000可以由编码器或解码器来执行。当由编码器执行时,可视媒体数据和比特流之间的转换包括将可视媒体数据编码成比特流。当由编码器执行时,可视媒体数据和比特流之间的转换包括解码比特流以重建可视媒体数据。
图11是示出可利用本公开的技术的示例视频编解码***1100的框图。如图11所示。视频编解码***1100可以包括源设备1110和目的地设备1120。源设备1110生成编码的视频数据,其可以被称为视频编码设备。目的地设备1120可以解码由源设备1110生成的编码的视频数据,该目的地设备1120可以被称为视频解码设备。
源设备1110可以包括视频源1112、视频编码器1114和输入/输出(I/O)接口1116。
视频源1112可以包括诸如视频捕获设备的源、从视频内容提供者接收视频数据的接口、和/或生成视频数据的计算机图形***,或这些源的组合。视频数据可以包括一个或多个图片。视频编码器1114对来自视频源1112的视频数据进行编码以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关联的数据。编解码图片是图片的编解码表示。相关联的数据可以包括序列参数集、图片参数集和其他语法元素。I/O接口1116包括调制器/解调器(调制解调器)和/或发送器。可以将编码的视频数据经由I/O接口1116通过网络1130直接发送到目的地设备1120。还可以将编码的视频数据存储到存储介质/服务器1140上,用于由目的地设备1120存取。
目的地设备1120可以包括I/O接口1126、视频解码器1124和显示设备1122。
I/O接口1126可以包括接收器和/或调制解调器。I/O接口1126可以从源设备1111或存储介质/服务器1140获取编码的视频数据。视频解码器1124可以对编码的视频数据进行解码。显示设备1122可以向用户显示解码的视频数据。显示设备1122可以与目的地设备1120集成,或可以在配置为与外置显示设备相接的目的地设备1120外部。
视频编码器1114和视频解码器1124可以根据视频压缩标准(诸如,高效视频编解码(HEVC)标准、多功能视频编解码(VVC)标准和其他当前和/或其他标准)进行操作。
图12是示出视频编码器1200的示例的框图,该视频编码器1100可以是图11中示出的视频编解码***1100中的视频编码器1114。视频编码器1200可以被配置为执行本公开的任何或全部技术。在图12的示例中,视频编码器1200包括多个功能组件。本公开所描述的技术可以在视频编码器1200的各种组件之间共享。在一些示例中,处理器可以配置为进行本公开中描述的任何或全部技术。
视频编码器1200的功能组件可以包括分割单元1201、预测单元1202(其可以包括模式选择单元1203、运动估计单元1204、运动补偿单元1205、帧内预测单元1206)、残差生成单元1207、变换处理单元1208、量化单元1209、逆量化单元1210、逆变换单元1211、重建单元1212、缓冲器1213和熵编码单元1214。
在其他示例中,视频编码器1200可以包括更多、更少或不同的功能组件。在一个示例中,预测单元1202可以包括帧内块复制(IBC)单元。IBC单元可以以IBC模式进行预测,其中至少一个参考图片是当前视频块所位于的图片。
此外,诸如运动估计单元1204和运动补偿单元1205的一些组件可以被高度集成,但是出于解释的目的在图12的示例中分开表示。
分割单元1201可以将图片分割成一个或多个视频块。视频编码器1200和视频解码器1300可以支持各种视频块尺寸。
模式选择单元1203可以例如基于错误结果选择帧内或帧间的编解码模式中的一个,并且将得到的帧内或帧间编解码块提供到残差生成单元1207来生成残差块数据而且提供到重建单元1212来重建编解码块以用作参考图片。在一些示例中,模式选择单元1203可以选择帧内和帧间预测的组合(CIIP)模式,其中预测是基于帧间预测信号和帧内预测信号。模式选择单元1203还可以为帧间预测情况下的块选择运动矢量的分辨率(例如子像素或整像素精度)。
为了对当前视频块进行帧间预测,运动估计单元1204可以通过将来自缓冲器1213的一个或多个参考帧与当前视频块进行比较,生成当前视频块的运动信息。运动补偿单元1205可以基于来自缓冲器1213的图片(而不是与当前视频块相关联的图片)的运动信息和解码样点来为当前视频块确定预测的视频块。
运动估计单元1204和运动补偿单元1205可以为当前视频块进行不同操作,例如执行不同操作取决于当前视频块是在I条带、P条带还是B条带中。
在一些示例中,运动估计单元1204可以进行当前视频块的单向预测,并且运动估计单元1204可以在列表0或列表1的参考图片中搜索当前视频块的参考视频块。运动估计单元1204然后可以生成指示列表0或列表1的参考图片中含有参考视频块的参考索引以及指示在当前视频块与参考视频块之间的空域位移的运动矢量。运动估计单元1204可以输出参考索引、预测方向指示符、和运动矢量作为当前视频块的运动信息。运动补偿单元1205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
在其他示例中,运动估计单元1204可以进行当前视频块的双向预测,运动估计单元1204可以在列表0的参考图片中搜索当前视频块的参考视频块并且还可以在列表1的参考图片中搜索当前视频块的另一个参考视频块。运动估计单元1204然后可以生成指示列表0或列表1的参考图片中含有参考视频块的参考索引以及指示在参考视频块与当前视频块之间的空域位移的运动矢量。运动估计单元1204可以输出参考索引和当前视频块的运动矢量作为当前视频块的运动信息。运动补偿单元1205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
在一些示例中,运动估计单元1204可以输出运动信息的全部集合,用于解码器的解码处理。
在一些示例中,运动估计单元1204可以不输出当前视频的运动信息的全部集合。而是,运动估计单元1204可以参考另一个视频块的运动信息来信令通知当前视频块的运动信息。例如,运动估计单元1204可以确定当前视频块的运动信息与相邻视频块的运动信息足够相似。
在一个示例中,运动估计单元1204可以在与当前视频块相关联的语法结构中指示:向视频解码器1300指示当前视频块具有与另一个视频块相同的运动信息的值。
在另一个示例中,运动估计单元1204可以在与当前视频块相关联的语法结构中标识另一个视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量与指示视频块的运动矢量之间的差。视频解码器1300可以使用指示视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。
如上所讨论的,视频编码器1200可以预测性地信令通知运动矢量。可以由视频编码器1200实现的预测性的信令通知技术的两个示例包括高级运动矢量预测(AMVP)和merge模式信令通知。
帧内预测单元1206可以对当前视频块进行帧内预测。当帧内预测单元1206对当前视频块进行帧内预测时,帧内预测单元1206可以基于相同图片中其他视频块的解码样点来生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。
残差生成单元1207可以通过从当前视频块中减去当前视频块的(多个)预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中样点的不同样点分量的残差视频块。
在其他示例中,当前视频块可能没有当前视频块的残差数据,例如在跳过模式下,并且残差生成单元1207可能不执行减法操作。
变换处理单元1208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块来生成当前视频块的一个或多个变换系数视频块。
在变换处理单元1208生成与当前视频块相关联的变换系数视频块之后,量化单元1209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
逆量化单元1210和逆变换单元1211可以将逆量化和逆变换分别应用于变换系数视频块,来从变换系数视频块重建残差视频块。重建单元1212可以将重建的残差视频块添加到来自由预测单元1202生成的一个或多个预测视频块的对应样点,以产生与当前块相关联的重建视频块用于存储在缓冲器1213中。
在重建单元1212重建视频块之后,可以进行环路滤波操作以降低视频块中视频块化伪影。
熵编码单元1214可以从视频编码器1200的其他功能组件接收数据。当熵编码单元1214接收数据时,熵编码单元1214可以进行一个或多个熵编码操作以生成熵编码数据并且输出包括熵编码数据的比特流。
图13是示出视频解码器1300的示例的框图,该视频解码器1300可以是图11中示出的视频编解码***1100中的视频解码器1124。
视频解码器1300可以被配置为进行本公开的任何或全部技术。在图13的示例中,视频解码器1300包括多个功能组件。本公开所描述的技术可以在视频解码器1300的各种组件之间共享。在一些示例中,处理器可以配置为进行本公开中描述的任何或全部技术。
在图13的示例中,视频解码器1300包括熵解码单元1301、运动补偿单元1302、帧内预测单元1303、逆量化单元1304、逆变换单元1305、重建单元1306和缓冲器1307。在一些示例中,视频解码器1300可以进行与关于视频编码器1200(图12)所描述的编码过程总体反演的解码过程。
熵解码单元1301可以检索编码比特流。编码比特流可以包括熵编解码视频数据(例如,视频数据的编解码块)。熵解码单元1301可以对熵编解码视频进行解码,并且根据熵解码视频数据,运动补偿单元1302可以确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。运动补偿单元1302例如可以通过进行AMVP和merge模式来确定此类信息。
运动补偿单元1302可以产生运动补偿块,可能地基于插值滤波器进行插值。要以子像素精度使用的插值滤波器的标识符可以包括在语法元素中。
运动补偿单元1302可以使用由视频编码器1200在编码视频块的期间所使用的插值滤波器,来计算出参考块的子整数个像素的插值的值。运动补偿单元1302可以根据接收的语法信息确定由视频编码器1200所使用的插值滤波器并且使用插值滤波器来产生预测块。
运动补偿单元1302可以使用一些语法信息来确定:用于对编码视频序列的(多个)帧和/或(多个)条带进行编码的块的尺寸,描述编码视频序列的图片的每个宏块如何被分割的分割信息,指示如何编码每个分割的模式,每个帧间编码块的一个或多个参考帧(和参考帧列表),以及对编码视频序列进行解码的其他信息。
帧内预测单元1303可以使用例如在比特流中接收的帧内预测模式来从空域相邻块形成预测块。逆量化单元1304逆量化(即去量化)在比特流中提供的且由熵解码单元1301解码的量化的视频块系数。逆变换单元1305应用逆变换。
重建单元1306可以用由运动补偿单元1302或帧内预测单元1303生成的对应预测块求和残差块,以形成解码块。如所期望的,去块滤波器还可以应用于滤波解码块以便移除块效应伪影。解码视频块然后存储在缓冲器1307中,该缓冲器1307提供用于随后的运动补偿/帧内预测的参考块,并且还产生用于在显示设备上呈现的解码视频。
图14是示例编码器1400的示意图。编码器1400适合于实现VVC技术。编码器1400包括三个环路滤波器,即去块滤波器(DF)1402、样点自适应偏移(SAO)1404和自适应环路滤波器(ALF)1406。与使用预定义滤波器的DF 1402不同,SAO 1404和ALF 1406利用当前图片的原始样点,以通过分别添加偏移和通过应用有限脉冲响应(FIR)滤波器,利用编解码的辅助信息信令通知偏移和滤波器系数,来减小原始样点和重建样点之间的均方误差。ALF 1406位于每个图片的最后处理阶段,并且可以被视为试图捕捉和修复由先前阶段创建的伪影的工具。
编码器1400还包括帧内预测组件1408和运动估计/补偿(ME/MC)组件1410,配置为接收输入视频。帧内预测组件1408被配置成执行帧内预测,而ME/MC组件1410被配置成利用从参考图片缓冲器1412获得的参考图片来执行帧间预测。来自帧间预测或帧内预测的残差块被馈送到变换(T)组件1414和量化(Q)组件1416,以生成量化的残余变换系数,这些系数被馈送到熵编解码组件1418。熵编解码组件1418对预测结果和量化的变换系数进行熵编解码,并将其向视频解码器(未示出)发送。从Q组件1416输出的量化组件可以被馈送到逆量化(IQ)组件1420、逆变换(IT)组件1422和重建(REC)组件1424。REC组件1424能够将图像输出到DF 1402、SAO 1404和ALF 1406,以便在这些图像被存储在参考图片缓冲器1412中之前进行滤波。
接下来提供了一些示例优选的解决方案的列表。
以下解决方案显示了本文讨论的技术的示例。
1.一种可视媒体处理方法(例如,图10中所描绘的方法1000),其包含为视频的视频单元与视频的比特流之间的转换,基于规则确定是否启用跨分量编解码工具用于转换,且根据该确定来执行转换,其中规则规定跨分量编解码工具的使用响应于(1)是否使用单独树编解码结构来划分视频单元,或者(2)视频单元的维度以及扩展四叉树分割(EQT)是否用于划分视频单元。
2.根据解决方案1所述的方法,其中规则规定响应于单独树编解码的使用而禁用跨分量编解码工具。
3.根据解决方案1所述的方法,其中规则规定响应于满足某些条件的视频单元的维度和EQT的使用,禁用跨分量编解码工具。
4.根据解决方案1所述的方法,其中规则规定响应于满足某些条件的视频单元的维度和EQT或二叉树(BT)或四叉树(QT)分割的使用,禁用跨分量编解码工具,使得至少一个亮度样点用特定编解码模式来编解码。
5.根据解决方案1所述的方法,其中规则规定响应于单独树编解码被使用并且第一单独区域中的亮度块用特定编解码模式来编解码,对色度块禁用跨分量编解码工具,其中色度块在第一单独区域中。
6.一种视频处理的方法,包括:根据规则执行视频的视频单元和视频的比特流之间的转换,其中该规则规定基于(1)是否使用单独树编解码结构来划分视频单元,或者(2)视频单元的维度以及是否使用扩展四叉树分割(EQT)来划分视频单元,指示是否使用跨分量编解码工具的码字被选择性地包括在比特流中。
7.根据解决方案1所述的方法,其中,规则规定在单独编解码树用于编解码视频单元的情况下,码字不包括在比特流中。
8.根据解决方案1所述的方法,其中规则规定响应于视频单元的亮度块的维度满足编解码条件并且亮度块包含使用特定编解码模式编解码的样点,码字不包括在比特流中。
9.根据解决方案1所述的方法,其中规则规定响应于用于编解码视频单元的单独树编解码,并且单独树区域中的亮度块使用特定编解码模式来编解码,码字不包括在比特流中。
10.根据解决方案8-9所述的方法,其中特定编解码模式是非帧内编解码模式。
11.根据解决方案1-10中任一项所述的方法,其中规则进一步基于视频单元的编解码信息。
12.根据解决方案11所述的方法,其中编解码信息对应于条带类型或图片类型。
13.根据解决方案11所述的方法,其中在序列参数集或序列标头或图片参数集或图片标头或条带标头或编解码树单元或编解码单元中指示规则的使用。
14.根据解决方案11所述的方法,其中编解码信息包括视频的颜色格式、比特流的档次或级别。
15.根据任何上述解决方案所述的方法,其中转换包括从视频单元生成比特流或者从比特流生成视频单元。
16.一种视频解码装置,包括被配置为实现解决方案1至15中的一个或多个中所述的方法的处理器。
17.一种视频编码装置,包括被配置为实现解决方案1至15中的一个或多个中所述的方法的处理器。
18.一种其上存储有计算机代码的计算机程序产品,该代码在由处理器执行时使处理器实现解决方案1至15中任一项所述的方法。
19.一种计算机可读介质,其上记录有符合根据解决方案1至15中任一项生成的比特流格式的比特流。
20.一种方法,包括根据解决方案1至15中任一项所述的方法生成比特流,并将该比特流写入计算机可读介质。
21.一种方法、一种装置、一种根据本文档中描述的公开方法或***生成的比特流。
在上述解决方案中,视频单元可以如前一章节中所描述的。
在本文所述的解决方案中,编码器可通过根据格式规则产生编解码表示来符合格式规则。在本文描述的解决方案中,解码器可以使用格式规则来解析编解码表示中的语法元素,根据格式规则知道语法元素的存在和不存在,以产生解码的视频。
在本文档中,术语“视频处理”可指视频编码、视频解码、视频压缩或视频解压缩。例如,在从视频的像素表示到对应的比特流表示的转换期间,可以应用视频压缩算法,反之亦然。如语法所定义,当前视频块的比特流表示可(例如)对应于共位或散布在比特流内不同位置的比特。例如,可以根据变换和编解码的误差残差值并且还使用头中的比特和比特流中的其他字段,对宏块进行编码。此外,在转换期间,解码器可以基于该确定,在知道一些字段可能存在或不存在的情况下解析比特流,如以上解决方案中所述。类似地,编码器可确定包括或不包括某些语法字段,并通过从编解码表示中包括或排除语法字段来相应地生成编解码表示。
本文档中所述的公开和其他方案、示例、实施例、模块和功能操作可以被实现在数字电子电路中或者在计算机软件、固件或硬件中,含有本文档中所公开的结构以及其结构的等同物,或者它们中的一个或多个的组合。所公开的和其他实施例可以被实现为计算机可读介质上所编码的一个或多个计算机程序产品,即一个或多个计算机程序指令模块,用于由数据处理装置执行或者控制数据处理装置的操作。该计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读可传播信号的复合物,或其一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器,包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外,该装置还可以包括为所讨论的计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理***、操作***、或者它们中的一个或多个的组合的代码。传播信号是人工生成的信号,例如,机器生成的电、光或电磁信号,其被生成来编码信息以传输到合适的接收器装置。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写,包括编译或解释语言,并且可以以任何形式来部署计算机程序,包括独立程序或适合在计算环境中使用的模块、组件、子例程或其它单元。计算机程序不必须对应于文件***中的文件。程序可以存储在保存其他程序或数据的文件的部分中(例如,在标记语言文档中存储的一个或多个脚本)、在专用于所讨论的程序的单个文件中、或在多个协同文件中(例如存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以部署为在一个计算机上或者在多个计算机上执行,该多个计算机位于一个站点处或者分布跨多个站点并由通信网络互连。
可以由执行一个或多个计算机程序的一个或多个可编程处理器来进行在本文档中所描述的过程和逻辑流,以通过在输入数据上操作并且生成输出来进行功能。也可以由专用逻辑电路(例如,现场可编程门阵列(FPGA)或专用集成电路(ASIC))进行过程和逻辑流,并且装置可以实现为专用逻辑电路(例如FPGA或ASIC)。
适合于计算机程序的执行的处理器包括例如通用和专用微处理器两者,以及任何类型的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或者该两者接收指令和数据。计算机的基本元件是用于进行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个海量存储设备(例如磁、磁光盘或光盘),或者可操作地耦合以从海量存储设备(例如磁、磁光盘或光盘)接收数据或者将数据传输到海量存储设备(例如磁、磁光盘或光盘),或者以上两者。但是,计算机不必具有此类设备。适用于存储计算机程序指令和数据的计算机可读介质含有所有形式的非易失性存储器、介质和存储器设备,含有例如半导体存储器设备(例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和闪速存储器设备);磁盘(例如内部硬盘或可移动磁盘);磁光盘;和光盘只读存储器(CD ROM)和数字多功能光盘只读存储器(DVD-ROM)盘。处理器和存储器可以由专用逻辑电路补充,或者合并在专用逻辑电路中。
虽然本专利文档含有许多细节,但这些细节不应被解释为对任何主题或可要求保护的范围的限制,而是作为规定于特定技术的特定实施例的特征的描述。在本专利文档中,在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反地,在单个实施例的上下文中所描述的各种特征还可以分别在多个实施例中来实现或者以各种合适的子组合来实现。此外,尽管特征可以如上文描述为以某些组合起作用并且甚至最初同样地要求,但是在某些情况下来自所要求保护的组合的一个或多个特征可以从组合中去除,并且所要求保护的组合可以针对子组合或子组合的变化。
类似地,尽管在附图中以特定顺序描绘了操作,但这不应当理解为要求按所示的特定次序或顺序次序进行此类操作或者进行所有示出的操作,以实现期望的结果。此外,在本专利文档中描述的实施例中的各种***组件的分开不应被理解为在所有实施例中都要求这种分开。
仅描述了几个实现方式和示例,并且可以基于本专利文档中描述和示出的内容来作出其它实现方式、增强和变型。
当除了第一组件和第二组件之间的线、迹线或另一种介质之外,不存在中间组件时,第一组件直接耦合至第二组件。当在第一组件和第二组件之间存在除了线、迹线或另一种介质之外的中间组件时,第一组件间接耦合到第二组件。术语“耦合”及其变体包括直接耦合和间接耦合。除非另有说明,术语“约”的使用意味着包括后续数值的±10%的范围。
虽然本公开中提供了若干实施例,但应理解,在不脱离本公开的精神或范围的情况下,所公开的***和方法可体现为许多其他特定形式。当前的示例被认为是说明性的而非限制性的,并且意图不限于这里给出的细节。例如,各种元件或组件可以组合或集成在另一个***中,或者可以省略或不实现某些特征。
此外,在不脱离本公开的范围的情况下,各种实施例中描述和图示的离散或单独的技术、***、子***和方法可与其他***、模块、技术或方法组合或集成。被示出或讨论为耦合的其他项目可以直接连接,或者可以通过一些接口、设备或中间组件以电、机械或以其他方式间接耦合或通信。本领域技术人员可以确定并且可以在不脱离本文所公开的精神和范围的情况下做出改变、替换和变更的其他示例。

Claims (20)

1.一种由视频编解码装置实现的处理视频数据的方法,包括:
作出单独树编解码和超出最小尺寸阈值的分割中的一个或多个用于视频单元的确定;
基于所述确定对所述视频单元禁用跨分量编解码工具;和
根据被禁用的所述编解码工具来执行可视媒体数据和比特流之间的转换。
2.根据权利要求1所述的方法,其中,所述跨分量编解码工具是两步跨分量预测模式TSCPM。
3.根据权利要求1-2中任一项所述的方法,其中,所述跨分量编解码工具是左TSCPM和上TSCPM中的至少一个。
4.根据权利要求1-3中任一项所述的方法,其中,所述跨分量编解码工具是具有多个跨分量的预测PMC。
5.根据权利要求1到4中任一项所述的方法,还包括基于所述确定且当所述视频单元包含亮度块的分割且所述亮度块包含所述最小尺寸阈值的维度时,禁用所述视频单元的所述跨分量编解码工具。
6.根据权利要求1到5中任一项所述的方法,还包括基于所述确定且当所述视频单元包含亮度块的分割、所述亮度块包含最小尺寸阈值的维度、以及所述亮度块包含由规定模式编解码的亮度样点时,对所述视频单元禁用所述跨分量编解码工具。
7.根据权利要求1-6中任一项所述的方法,其中,所述最小尺寸阈值是宽度4或高度4。
8.根据权利要求1-7中任一项所述的方法,其中,当所述分割是水平扩展四叉树EQT时,所述最小尺寸阈值是宽度8或高度16。
9.根据权利要求1-8中任一项所述的方法,其中,当所述分割是垂直EQT时,所述最小尺寸阈值是宽度16或高度8。
10.根据权利要求1-9中任一项所述的方法,其中,当所述分割是四叉树QT时,所述最小尺寸阈值是宽度8或高度8。
11.根据权利要求1-10中任一项所述的方法,其中,当所述分割是垂直二叉树BT时,所述最小尺寸阈值是宽度8。
12.根据权利要求1-11中任一项所述的方法,其中,当所述分割是水平BT时,所述最小尺寸阈值是高度8。
13.根据权利要求1-12中任一项所述的方法,其中,当所述分割是水平EQT时,所述最小尺寸阈值是32×16的区域。
14.根据权利要求1-13中任一项所述的方法,其中,当所述分割是垂直EQT时,所述最小尺寸阈值是16×32的区域。
15.根据权利要求1到14中任一项所述的方法,其中,当通过所述单独树编解码来编解码所述视频单元时且当用规定模式来编解码所述视频单元的单独树区域中的亮度块时,为所述视频单元的所述单独树区域中的色度块禁用所述跨分量编解码工具。
16.根据权利要求1-15中任一项所述的方法,其中,所述规定模式是帧间编解码模式、帧内块复制IBC模式、串复制模式、帧内子分割ISP模式或其组合。
17.根据权利要求1到16中任一项所述的方法,其中,当所述跨分量编解码工具被禁用时,从所述比特流中省略表示所述跨分量编解码工具的码字。
18.根据权利要求1-17中任一项所述的方法,其中,所述转换还根据所述视频单元的编解码信息、序列参数集SPS、序列标头、图片参数集PPS、图片标头、条带标头、编解码树单元CTU、编解码单元CU、颜色格式信息、标准级别、档次或其组合来执行。
19.一种非暂时性计算机可读介质,包含供视频编解码设备使用的计算机程序产品,所述计算机程序产品包含存储在所述非暂时性计算机可读介质上的计算机可执行指令,使得所述计算机可执行指令在由处理器执行时使所述视频编解码设备执行权利要求1到18的方法。
20.一种用于处理视频数据的装置,包括:处理器;以及其上具有指令的非暂时性存储器,其中,所述指令在由处理器执行时使得所述处理器执行权利要求1-18的方法。
CN202280022368.0A 2021-03-17 2022-03-16 单独树编解码限制 Pending CN117121481A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2021081291 2021-03-17
CNPCT/CN2021/081291 2021-03-17
PCT/CN2022/081160 WO2022194197A1 (en) 2021-03-17 2022-03-16 Separate Tree Coding Restrictions

Publications (1)

Publication Number Publication Date
CN117121481A true CN117121481A (zh) 2023-11-24

Family

ID=83321735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280022368.0A Pending CN117121481A (zh) 2021-03-17 2022-03-16 单独树编解码限制

Country Status (3)

Country Link
US (1) US20240007628A1 (zh)
CN (1) CN117121481A (zh)
WO (1) WO2022194197A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016074147A1 (en) * 2014-11-11 2016-05-19 Mediatek Singapore Pte. Ltd. Separated coding tree for luma and chroma
JP2021010046A (ja) * 2017-10-06 2021-01-28 シャープ株式会社 画像符号化装置及び画像復号装置
JP2021525468A (ja) * 2018-05-29 2021-09-24 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 部分的に共有されている輝度および彩度のコード化木を用いたビデオ符号化および復号化の方法および装置
WO2020143825A1 (en) * 2019-01-11 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Size dependent cross-component linear model
BR112021013611A2 (pt) * 2019-02-28 2021-09-14 Interdigital Vc Holdings, Inc. Método e dispositivo para codificação e decodificação de imagens

Also Published As

Publication number Publication date
WO2022194197A1 (en) 2022-09-22
US20240007628A1 (en) 2024-01-04

Similar Documents

Publication Publication Date Title
AU2015330676B2 (en) Intra block copy prediction restrictions for parallel processing
JP7403555B2 (ja) イントラコーディングモードにおけるマトリクスの導出
CN113287311B (zh) 两步交叉分量预测模式的指示
CN113316931A (zh) 视频处理中的脉冲编解码调制技术
US10212434B2 (en) Palette entries coding in video coding
US20210185362A1 (en) Binarization of partitioning related to extended quadtree
CN113826383B (zh) 变换跳过模式的块维度设置
CN113812155A (zh) 多种帧间编解码方法之间的交互
WO2021110116A1 (en) Prediction from multiple cross-components
JP2023513519A (ja) クロマ成分のためのデブロッキングパラメータ
CN113826398B (zh) 变换跳过模式和其它编解码工具之间的交互
US11563946B2 (en) Quantization parameter derivation for palette mode
US20240040119A1 (en) Interaction of multiple partitions
US20240048701A1 (en) Boundary Handling for Coding Tree Split
WO2021115235A1 (en) Cross-component prediction using multiple components
CN115516863A (zh) 用于分割语法的熵编解码
CN117121481A (zh) 单独树编解码限制
US20240031613A1 (en) Duplicate partitioning prevention
US20240022722A1 (en) Neighbor based partitioning constraints
WO2021136470A1 (en) Clustering based palette mode for video coding
WO2022218280A1 (en) Transforms and sign prediction
CN118160303A (zh) 用于解码器侧帧内模式推导的方法和设备
CN115152210A (zh) 子图片的高度的推导

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination