CN112567739A - 用于视觉媒体编码和解码的平面预测模式 - Google Patents

用于视觉媒体编码和解码的平面预测模式 Download PDF

Info

Publication number
CN112567739A
CN112567739A CN201880096476.6A CN201880096476A CN112567739A CN 112567739 A CN112567739 A CN 112567739A CN 201880096476 A CN201880096476 A CN 201880096476A CN 112567739 A CN112567739 A CN 112567739A
Authority
CN
China
Prior art keywords
sample
samples
block
prediction
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880096476.6A
Other languages
English (en)
Other versions
CN112567739B (zh
Inventor
李明
吴平
吴钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Publication of CN112567739A publication Critical patent/CN112567739A/zh
Application granted granted Critical
Publication of CN112567739B publication Critical patent/CN112567739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了用于当编码块的帧内预测模式是平面模式时用于导出帧内预测样本的设备、***和方法。在一方面，用于视频解码的方法包括：选择第一组参考样本，该第一组参考样本是当前块的重构的相邻样本，并且通过内插第一组参考样本和第二组参考样本中的至少一个来确定当前块的预测样本的预测值，其中第二组参考样本中的参考样本基于第一组参考样本中的第一样本和第二样本的加权和，并且其中参考样本与第一样本水平对齐、与第二样本竖直对齐，并且相对于第一样本或第二样本被定位在预测样本的相对侧上。

Description

用于视觉媒体编码和解码的平面预测模式
技术领域
本文件总体上涉及视频编码技术。
背景技术
尽管存在视频压缩方面的进步，但数字视频仍然占据了互联网和其他数字通信网络上使用的最大带宽。随着能够接收和显示视频的连接用户设备数量的增加，预期针对数字视频使用的带宽需求将继续增长。
发明内容
描述了与用于视频编码和解码的平面预测模式相关的方法、***和设备。所描述的方法可以应用于现有的视频编码标准(例如，H.265，也称为高效视频编码(HighEfficiency Video Coding，HEVC))和未来的视频编码标准或编解码器两者。
在一个示例性方面，公开了一种视频编码方法。该方法包括：选择被重构为当前块的相邻样本的第一组参考样本，以及通过内插第一组参考样本中的至少一个和第二组参考样本中的至少一个来确定当前块的预测样本的预测值，其中第二组参考样本参考样本基于第一组参考样本中的的第一样本和第二样本的加权和，并且其中该参考样本与第一样本水平对齐，与第二样本竖直对齐，并且相对于第一样本和第二样本中的一个被定位在预测样本的相对侧上。
在又一示例性方面，以上描述的方法以处理器可执行代码的形式体现，并被存储在计算机可读程序介质中。
在又一示例性实施例中，公开了被配置为或可操作为执行以上描述的方法的设备。
在附图、说明书和权利要求中更详细地描述了以上内容和其他方面及其实施方式。
附图说明
图1示出了平面预测模式的示例。
图2示出了视频或图像编码器的示例。
图3示出了视频或图像解码器的示例。
图4示出了视频编码的方法的示例流程图。
图5A和图5B示出了当用于编码块的帧内预测模式是平面模式时用于导出帧内预测样本的示例性实施例。
图6示出了当用于编码块的帧内预测模式是平面模式时用于导出帧内预测样本的另一示例性实施例。
图7示出了当用于编码块的帧内预测模式是平面模式时用于导出帧内预测样本的又一示例性实施例。
图8示出了当用于编码块的帧内预测模式是平面模式时用于导出帧内预测样本的又一示例性实施例。
图9示出了当用于编码块的帧内预测模式是平面模式时用于导出帧内预测样本的又一示例性实施例。
图10示出了当用于编码块的帧内预测模式是平面模式时用于导出帧内预测样本的又一示例性实施例。
图11示出了当用于编码块的帧内预测模式是平面模式时用于导出帧内预测样本的又一示例性实施例。
图12示出了当用于编码块的帧内预测模式是平面模式时用于导出帧内预测样本的又一示例性实施例。
图13示出了根据当前公开的技术的用于视觉媒体编码的示例方法的流程图。
图14是用于实施本文档中描述的视觉媒体编码或解码技术的示例性硬件平台的框图。
图15是用于实施本文档中描述的视觉媒体编码或解码技术的另一示例性硬件平台的框图。
图16是用于实施本文档中描述的视觉媒体编码或解码技术的又一示例性硬件平台的框图。
图17是用于实施本文档中描述的视觉媒体编码或解码技术的又一示例性硬件平台的框图。
具体实施方式
用于压缩数字视频和图像的技术利用像素样本之间的相关特性来去除视频和图像中的冗余。编码器利用相邻样本之间的空间相关性，通过采用被称为“帧内预测”的方法来消除空间冗余，该方法使用相邻的经编码的像素来预测当前编码像素。由于数字视频由一系列图像构成，因此除了单个图像中的空间相关性之外，图像之间的时间相关性也由配备有统称为“帧间预测”的方法的编码器利用，该方法参考一个或多个已经编码的图像来预测当前编码图像中的编码像素。运动估计(Motion estimation，ME)和运动补偿(motioncompensation，MC)是用于执行帧间预测的两个关键步骤。
在行业采用的视频编码标准中，在帧内预测处理中使用块的上相邻像素和左相邻像素来得到该块的预测样本。帧内预测模式指示用于导出块的帧内预测样本的方法。例如，对于4本的块在H.264/AVC标准中有9种帧内预测模式。在H.265/HEVC标准中，引入了33种角度预测模式加上DC模式和平面模式，以有效压缩编码单元(coding unit，CU)。
所公开技术的实施例可以应用于现有的视频编码标准(例如，HEVC、H.265)和未来的标准，以改善运行时性能。在本文档中使用章节标题来提高描述的可读性，并且不以任何方式将讨论或实施例(和/或实施方式)仅限制于相应的章节。
1平面预测模式和视频编码/解码概述
如在H.265/HEVC标准中所规定的，在平面模式中的块中的预测样本的值被导出为该块的以下相邻样本的值的加权和：右上相邻样本、左下相邻样本、上相邻样本和左相邻样本。当使用平面模式时，用于得到经预测的样本的处理或模块首先将右相邻样本填充为右上相邻样本，并计算右相邻样本和左相邻样本的水平插值，然后将下相邻样本填充为左下相邻样本，并计算下相邻样本和上相邻样本的竖直插值，最后将经预测的样本设置为两个插值的平均值。
图1示出了H.265标准中的平面模式的经预测的样本的导出处理。如其中所示，块中的预测样本被导出为第一预测值(作为水平方向上的插值而被获得)和第二预测值(作为竖直方向上的插值而被获得)的平均值，其中第一预测值作为参考样本“参考(例如，右上相邻样本)和与预测样本在相同行中的左相邻样本中的参考样本(例如，左相邻样本)的加权平均值被计算，并且第二预测值作为参考样本“参考样例如，左下相邻样本)和与预测样本在相同列中的上相邻样本中的参考样本(例如，上相邻样本)的加权平均值被计算。
在图1的上下文中，这个处理可以概括为：
(1)使用样本“T”填充右相邻样本，并计算水平插值；
(2)使用样本“L”填充下相邻样本，并计算竖直插值；以及
(3)将平面预测模式的预测值设置为两个插值的平均值。
1.1现有实施方式的缺点
H.265/HEVC标准中的现有平面模式的缺点之一是用固定位置的样本填充右相邻样本和下相邻样本会给右相邻样本和下相邻样本带来伪纹理特征，这导致平面模式的预测精度和效率的劣化。
在另一现有的实施方式中(表示为JVET-K0055)，右下相邻样本首先被导出作为右上相邻样本(例如，图1中的样本“的样)和左下相邻样本(例如，图1中的样本“的样)的加权平均值，其中权重被设置为样本“T”和右下相邻样本之间的距离以及样本“L”和右下相邻样本之间的距离。然后，当前块的右相邻样本被确定为右下相邻样本和样本“T”的加权平均值，其中权重被设置为右相邻样本和右下相邻样本之间的距离以及右相邻样本和样本“T”之间的距离。当前块的下相邻样本被确定为右下相邻样本和样本“L”的加权平均值，其中权重被分别设置为下相邻样本与右下相邻样本的距离以及下相邻样本与样本“L”之间的距离。
然而，JVET-K0055实施方式与现有的平面模式实施方式存在相同的缺点，因为在相邻样本的插值中只涉及样本“T”和样本“L”。
又一实施方式(表示为JVET-K0242)使用首先导出的右下相邻样本来内插右相邻样本和下相邻样本。与JVET-K0055不同，右下相邻样本是根据当前块的大小设置的。当当前块的宽度和高度的乘积不大于预定值(例如，32)时，使用类似于JVET-K0055中的方法的方法来计算右下相邻样本(表示为Pbr1)。否则，将右下相邻样本设置为Pbr1和Pbr2的平均值，其中Pbr2从当前块的9个预设相邻样本位置的多达9个值中进行选择。然后使用与JVET-K0055中的方法相同的方法导出右参考样本和下参考样本。
然而，即使JVET-K0242实施方式对较大的块采用来自多个预设相邻位置的更多参考值，这个技术也可能产生更多的伪纹理，因为块中的样本和预设相邻位置之间的空间相关性随着它们的空间距离增加而降低。
1.2用于视频编码和解码的示例实施方式
本文档将视频表示为由一个或多个图像的序列组成。比特流(其也称为视频基本流)由处理视频或图像的编码器生成。比特流也可以是传输流或媒体文件，其是对由视频或图像编码器生成的视频基本流执行***层处理的输出。解码比特流会产生视频或图像。
***层处理的功能是封装比特流(或视频基本流)。例如，视频基本流被作为载荷打包成传输流或媒体文件载荷。***层处理还包括将传输流或媒体文件作为载荷封装成用于传输的流或存储的文件的操作。在***层处理中生成的数据单元被称为***层数据单元。在***层处理中封装载荷期间附加在***层数据单元中的信息被称为***层信息，例如，***层数据单元的报头。提取比特流获得子比特流，该子比特流包含比特流中的比特中的一部分以及通过处理对语法元素进行的一个或多个必要修改。解码子比特流产生视频或图像，与通过解码比特流获得的视频或图像相比，该视频或图像可以具有较低的分辨率和/或较低的帧速率。从子比特流获得的视频或图像也可以是从比特流获得的视频或图像的区域。
图2是示出利用本公开中描述的一种或多种方法来对视频或图像进行编码的编码器的图。编码器的输入是视频(或更一般地是视觉媒体)，而输出是比特流。在由图像序列构成的视频的示例中，编码器以预设顺序(例如编码顺序)逐个处理图像。编码顺序根据编码器的配置文件中指定的预测结构来确定。在一些实施例中，视频中的图像的编码顺序(对应于解码器端的图像的解码顺序)可以与图像的显示顺序相同或可以不同。
如图2所示，分割单元201根据编码器的配置对输入视频中的图像进行分割。一般而言，图像可以被分割成一个或多个最大编码块。最大编码块是编码处理中允许或配置的最大块(例如，图像中的正方形区域)。图像被分割成一个或多个切片，并且每个切片可以包含整数个最大编码块，或者非整数个最大编码块。在一些实施例中，图像可以被分割成一个或多个图块，其中图块包含整数个最大编码块，或者非整数个最大编码块。分割单元201可以被配置成使用固定模式(例如，图像被分割成包含一行最大编码块的切片)或者使用动态模式来分割图像。例如，为了适应最大传输单元(maximum transmission unit，MTU)大小的限制，分割单元201采用动态切片分割方法来确保每个切片的编码比特数不超过MTU限制。
预测单元202确定编码块的预测样本。预测单元202包括块分割单元203、运动估计(ME)单元204、运动补偿(MC)单元205和帧内预测单元206。预测单元202的输入是由分割单元201输出的最大编码块和与最大编码块相关联的属性参数，例如，最大编码块在图像、切片或图块中的位置。预测单元202将最大编码块分割成一个或多个编码块，该一个或多个编码块可以进一步被分割成更小的编码块。可以应用一种或多种分割方法，包括四叉树、二元分割和三元分割方法。预测单元202用于确定在分割中获得的编码块的预测样本。
在一些实施例中，预测单元202可以进一步将编码块分割成一个或多个预测块，以确定预测样本。预测单元202采用解码图像缓存(decoded picture buffer，DPB)单元214中的一个或多个图像作为参考来确定编码块的帧间预测样本，或者采用由加法器212输出的图像的重构部分(其未被滤波单元213处理)作为参考来导出编码块的帧间预测样本。预测单元202通过例如使用一般率失真优化(rate-distortion optimization，RDO)方法来确定编码块的预测样本和用于导出预测样本的相关联的参数，这些参数也是预测单元202的输出参数。
在预测单元202内部，块分割单元203确定编码块的分割。块分割单元203将最大编码块分割成一个或多个编码块，该一个或多个编码块可以进一步被分割成更小的编码块。可以应用一种或多种分割方法，包括四叉树、二元分割和三元划分方法。在一些实施例中，块分割单元203可以进一步将编码块分割成一个或多个预测块，以确定预测样本。块分割单元203可以在确定编码块的分割时采用RDO方法。块分割单元203的输出参数包括指示编码块的分割的一个或多个参数。
ME单元204和MC单元205利用来自DPB 214的一个或多个解码图像作为参考图像来确定编码块的帧间预测样本。ME单元204构建包含一个或多个参考图像的一个或多个参考列表，并确定参考图像中用于编码块的一个或多个匹配块。MC单元205使用匹配块中的样本来导出预测样本，并计算编码块中的原始样本和预测样本之间的差(例如，残差)。ME单元204的输出参数指示包括参考列表索引、参考索引(refIdx)、运动矢量(MV)等的匹配块的位置，其中参考列表索引指示包含匹配块所在的参考图像的参考列表，参考索引指示包含匹配块的参考列表中的参考图像，而MV指示编码块和匹配块在用于表示像素在图像中的位置的相同坐标中的位置之间的相对偏移。MC单元205的输出参数是编码块的帧间预测样本，以及用于构造帧间预测样本的参数，例如，用于匹配块中的样本的加权参数、滤波器类型和用于对匹配块中的样本的参数进行滤波的参数。一般而言，RDO方法可以联合应用于ME单元204和MC单元205，以得到率失真(rate-distortion，RD)意义上的最佳匹配块和两个单元的相应的输出参数。
在一些实施例中，ME单元204和MC单元205可以使用包含编码块的当前图像作为参考来获得编码块的帧内预测样本。在本公开中，帧内预测旨在传达包含编码块的图像中的数据被用作用于导出编码块的预测样本的参考。在这种情况下，ME单元204和MC单元205使用当前图像的重构部分，其中重构部分来自加法器212的输出，并且没有被滤波单元213处理。例如，编码器分配图像缓存来(暂时)存储加法器212的输出数据。编码器的另一方法是在DPB 214中保留特殊的图像缓存，以保存来自加法器212的数据。
帧内预测单元206使用当前图像的包含编码块的重构部分作为参考来获得编码块的帧内预测样本，其中重构部分未被滤波单元213处理。帧内预测单元206将编码块的重构的相邻样本作为用于导出编码块的帧内预测样本的滤波器的输入，其中该滤波器可以是插值滤波器(例如，用于在使用角度帧内预测时计算预测样本)或者低通滤波器(例如，用于计算DC值)。在一些实施例中，帧内预测单元206可以执行搜索操作以得到当前图像中的重构部分的范围内的编码块的匹配块，并将匹配块中的样本设置为编码块的帧内预测样本。帧内预测单元206调用RDO方法来确定帧内预测模式(例如，用于计算编码块的帧内预测样本的方法)和相对应的预测样本。除了帧内预测样本之外，帧内预测单元206的输出还包括指示使用中的帧内预测模式的一个或多个参数。
当用于编码块的帧内预测模式是平面模式时，帧内预测单元206调用本文档中描述的方法来导出帧内预测样本。帧内预测单元206首先确定用作平面模式的参考的相邻样本。帧内预测单元206将编码块的可用相邻样本分类为第一参考样本。可用的相邻样本包括编码块的相邻位置处的重构样本。可用的相邻样本还可以包括与重构样本处于相同行或相同列的导出样本。例如，在帧内预测处理中使用上相邻样本和左相邻样本(也包括导出样本)。帧内预测单元206对位于编码块的相邻位置但未被编码的样本分类为第二参考样本。例如，第二参考样本可以包括编码块的与可用相邻样本相对的相邻侧上的样本。
帧内预测单元206根据第一样本计算第二参考样本。第二参考样本的值被设置为等于第一参考样本中的、与第二参考样本中的样本位于相同行或相同列的两个或更多个样本的加权和。帧内预测单元206在第二参考样本的计算中采用相等的权重或不相等的权重。例如，帧内预测单元206根据第二参考样本和第一参考样本中与第二参考样本相同行或列的样本之间的距离来设置不相等的权重。
当使用平面模式作为第一参考样本和第二参考样本的插值时，帧内预测单元206确定编码块的帧内预测样本。
加法器207被配置成计算编码块的原始样本和预测样本之间的差。加法器207的输出是编码块的残差。残差可以表示为N×M的二维矩阵，其中N和M是两个正整数，并且N和M可以具有相等或不同的值。
如图2所示，变换单元208将残差取为其输入，并且可以对残差应用一种或多种变换方法。从信号处理的角度来看，变换方法可以由变换矩阵表示。在一些实施例中，变换单元208可以确定使用具有与编码块的形状和大小相同的形状和大小的矩形块(在本公开中，正方形块是矩形块的特殊情况)作为残差的变换块。在其他实施例中，变换单元208可以将残差分割成几个矩形块(包括矩形块的宽度或高度是一个样本的特殊情况)，并且顺序地对几个矩形块执行变换操作。在示例中，这可以基于默认顺序(例如，光栅扫描顺序)、预定义的顺序(例如，对应于预测模式或变换方法的顺序)、针对几个候选顺序中的选定顺序。
在一些实施例中，变换单元208对残差执行多次变换。例如，变换单元208首先对残差执行核心变换，并且然后对完成核心变换后获得的系数执行二次变换。变换单元208可以利用RDO方法来确定变换参数，该变换参数指示在应用于残差块的变换处理中使用的执行方式，例如将残差块分割为变换块、变换矩阵、多重变换等。变换参数包括在变换单元208的输出参数中。变换单元208的输出参数包括变换参数和变换残差(例如，变换系数)后获得的数据，该数据可以由二维矩阵表示。
量化单元209在变换单元208已经变换了残差之后，对由变换单元208输出的数据进行量化。量化单元209中使用的量化器可以是标量量化器和矢量量化器中的一个或两者。例如，标量量化器的量化步长由视频编码器中的量化参数(quantization parameter，QP)表示。一般而言，在编码器和相对应的解码器中预先设置或预定义QP和量化步长之间的相同映射。QP(例如图像级QP和/或块级QP)的值可以根据应用于编码器的配置文件来设置，或者由编码器中的编码器控制单元来确定。例如，编码器控制单元使用速率控制(ratecontrol，RC)方法确定图像和/或块的量化步长，并且然后根据QP和量化步长之间的映射将量化步长转换成QP。量化单元209的控制参数是QP。量化单元209的输出是以二维矩阵的形式表示的一个或多个量化的变换系数(称为“级”)。
逆量化单元210对量化209的输出执行缩放操作，以生成重构系数。逆变换单元211根据来自变换单元208的变换参数，对来自逆量化单元210的重构系数执行逆变换。逆变换单元211的输出是重构残差。在一些实施例中，当编码器在编码块时跳过量化步骤时(例如，实施RDO方法的编码器可以决定是否对编码块应用量化)，编码器通过绕过量化单元209和逆量化单元210将变换单元208的输出数据引导到逆变换单元211。
加法器212将来自预测单元202的编码块的重构残差和预测样本取为输入，计算编码块的重构样本、并将重构样本存储在缓存(例如，图像缓存)。在一些实施例中，编码器分配图像缓存来(暂时)存储加法器212的输出数据。在其他实施例中，编码器在DPB 214中保留特殊的图像缓存来存储由加法器212生成的数据。
滤波单元213对解码图像缓存中的重构图像样本执行滤波操作，并输出解码图像。滤波单元213可以包括一个滤波器或几个级联滤波器。例如，根据H.265/HEVC标准，滤波单元由两个级联滤波器构成，例如，去块滤波器和样本自适应偏移(sample adaptiveoffset，SAO)滤波器。在一些实施例中，滤波单元213还可以包括神经网络滤波器。当图像中全部编码块的重构样本已经存储在解码图像缓存中时，滤波单元213可以开始对图像的重构样本进行滤波，这可以被称为“图像层滤波”。在一些实施例中，用于滤波单元213的图像层滤波的可替选实施方式(称为“块层滤波”)是，如果在对图像中的所有连续编码块进行编码时没有使用重构样本作为参考，则开始对图像中的编码块的重构样本进行滤波。块层滤波不需要滤波单元213保持滤波操作，直到图像的全部重构样本可用为止，并且因此减少了编码器中线程之间的延迟。滤波单元213通过调用RDO方法来确定滤波参数。滤波单元213的输出是图像的解码样本，并且滤波参数包括一个或多个滤波器的指示信息、滤波器系数、滤波器控制参数等。
编码器将来自滤波单元213的解码图像存储在DPB 214中。编码器可以确定应用于DPB 214的一个或多个指令，这些指令用于控制对DPB 214中的图像执行的操作，例如，图像存储在DPB 214中的持续时间，从DPB 214输出图像等等。在本公开中，这样的指令被取为DPB 214的输出参数。
熵编码单元215对图像的一个或多个编码参数执行二进制化和熵编码，这将编码参数的值转换成由二进制符号“0”和“1”构成的码字，并且根据例如规范或标准将码字写入比特流。编码参数可以被分类为纹理数据和非纹理数据。纹理数据包括编码块的变换系数，并且非纹理数据包括编码参数中除纹理数据之外的其他数据，包括编码器中的各个单元的输出参数、参数集、报头、补充信息等。熵编码单元215的输出是符合例如规范或标准的比特流。
图3是示出解码器在利用本公开中的方法解码由图2中示出的示例性编码器生成的比特流的示意图。解码器的输入是比特流，并且解码器的输出是通过解码比特流获得的解码视频或图像。
解码器中的解析单元301解析输入的比特流。解析单元301使用熵解码方法和二进制化方法来将比特流中由一个或多个二进制符号(例如，“0”和“1”)构成的每个码字转换成相对应的参数的数值。解析单元301还根据一个或多个可用参数导出参数值。例如，当比特流中的标志指示解码块是图像中的第一解码块时，解析单元301将指示图像中的切片的第一解码块的地址的地址参数设置为0。
解析单元301将用于导出解码块的预测样本的一个或多个预测参数传递给预测单元302。在一些实施例中，预测参数包括图2中所示出的编码器实施例中的分割单元201和预测单元202的输出参数。
解析单元301将用于重构解码块的残差的一个或多个残差参数传递给缩放单元305和变换单元306。在一些实施例中，残差参数包括变换单元208和量化单元209的输出参数以及由图2中示出的编码器实施例中的量化单元209输出的一个或多个量化系数(称为“级”)。在其他实施例中，解析单元301将滤波参数传递给滤波单元308，用于对图像中的重构样本进行滤波(例如，环路内滤波)。
预测单元302根据预测参数导出解码块的预测样本。预测单元302由运动补偿(MC)单元303和帧内预测单元304构成。预测单元302的输入还可以包括正被解码并从加法器307输出的当前图像的重构部分(其未被滤波单元308处理)和DPB 309中的一个或多个解码图像。
当预测参数指示帧间预测模式用于导出解码块的预测样本时，预测单元302采用与图2中所示出的编码器实施例中的运动估计(ME)单元204的方法相同的方法来构建一个或多个参考图像列表。参考列表包含来自DPB 309的一个或多个参考图像。MC单元303根据预测参数中的参考列表、参考索引和MV的指示确定解码块的一个或多个匹配块，并使用与MC单元205中的方法相同的方法来得到解码块的帧间预测样本。预测单元302输出帧间预测样本作为解码块的预测样本。
在一些实施例中，MC单元303可以使用正被解码并且包含解码块的当前图像作为参考，以获得解码块的帧内预测样本。在这种情况下，MC单元303使用当前图像的重构部分，其中重构部分来自加法器307的输出，并且未被滤波单元308处理。例如，解码器分配图像缓存来(暂时)存储加法器307的输出数据。在另一示例中，解码器在DPB 309中保留特殊的图像缓存，以保存来自加法器307的数据。
当预测参数指示使用帧内预测模式来导出解码块的预测样本时，预测单元302采用与帧内预测单元206的方法相同的方法来根据解码块的重构的相邻样本确定帧内预测单元304的参考样本。帧内预测单元304得到帧内预测模式(例如，DC模式、平面模式或角度预测模式),并且在帧内预测模式的指定处理之后，使用参考样本来导出解码块的帧内预测样本。在一些实施例中，在图2的编码器实施例(例如，帧内预测单元206)中实施的帧内预测模式与解码器(例如，帧内预测单元304)中实施的模式相同。在一些实施例中，如果预测参数指示当前解码图像(其包含解码块)中的解码块的匹配块(包括其位置)，则帧内预测单元304使用匹配块中的样本来导出解码块的帧内预测样本。例如，帧内预测单元304将帧内预测样本设置为等于匹配块中的样本。预测单元302将解码块的预测样本设置为等于由帧内预测单元304输出的帧内预测样本。
当用于编码块的帧内预测模式是平面模式时，帧内预测单元304调用本文档中描述的方法来导出帧内预测样本。帧内预测单元304首先确定用作平面模式的参考的相邻样本。帧内预测单元304将编码块的可用相邻样本分类为第一参考样本。该可用相邻样本包括编码块的相邻位置处的重构样本。该可用相邻样本还可以包括与重构样本位于相同行或相同列的导出样本。例如，在帧内预测处理中使用上相邻样本和左相邻样本(也包括导出样本)。帧内预测单元304对位于编码块的相邻位置但未被编码的样本分类为第二参考样本。例如，第二参考样本可以包括编码块的与可用相邻样本相对的相邻侧上的样本。
帧内预测单元304根据第一样本计算第二参考样本。第二参考样本的值被设置为等于第一参考样本中的，与第二参考样本中的样本的位于相同行或相同列中的两个或更多个样本的加权和。帧内预测单元304在第二参考样本的计算中采用相等的权重或不相等的权重。例如，帧内预测单元304根据第二参考样本和第一参考样本中与第二参考样本相同行或列的样本之间的距离来设置不相等的权重。
当使用平面模式作为第一参考样本和第二参考样本的插值时，帧内预测单元304确定编码块的帧内预测样本。
解码器将QP系数和量化系数传递到缩放单元305，以进行逆量化处理处理，并生成重构系数作为输出。解码器将来自缩放单元305的重构系数和残差参数中的变换参数(例如，来自图2中所示出的编码器实施例中的变换单元208的输出的变换参数)馈送到变换单元306中。在一些实施例中，如果残差参数指示在解码块时跳过缩放，则解码器通过绕过缩放单元305将残差参数中的系数引导至变换单元306。
变换单元306按照标准中指定的变换处理对输入系数执行变换操作。变换单元306中使用的变换矩阵与图2中所示出的编码器中逆变换单元211中使用的变换矩阵相同。变换单元306的输出是解码块的重构残差。
在一些实施例中，解码处理中的方法和相关矩阵分别被称为“变换方法(或处理)”和“变换矩阵”。关于符号，基于将解码处理解释为编码处理的逆处理的考虑，这个实施例可以被称为“逆变换单元”。
加法器307将变换单元306的输出中的重构残差和预测单元302的输出中的预测样本作为输入数据，并计算解码块的重构样本。加法器307将重构样本存储到图像缓存中。在一些实施例中，解码器分配图像缓存来(暂时)存储加法器307的输出数据。在其他实施例中，解码器在DPB 309中保留特殊的图像缓存来存储来自加法器307的数据。
解码器将滤波参数从解析单元301传递到滤波单元308。用于滤波单元308的滤波参数与图2中所示出的编码器实施例中的滤波单元213的输出中的滤波参数相同。滤波参数包括要使用的一个或多个滤波器的指示信息、滤波器系数和滤波控制参数。滤波单元308使用滤波参数对存储在解码图像缓存中的图像的重构样本执行滤波处理，并输出解码的图像。滤波单元308可以由一个滤波器或几个级联滤波器构成。例如，根据H.265/HEVC标准，滤波单元由两个级联滤波器构成，例如，去块滤波器和样本自适应偏移(SAO)滤波器。在一些实施例中，滤波单元308还可以包括神经网络滤波器。
在一些实施例中，当图像中全部编码块的重构样本已经被存储在解码图像缓存中时，滤波单元308可以开始对图像的重构样本进行滤波，这可以被称为“图像层滤波”。在其他实施例中，滤波单元308的图像层滤波的可替选实施方式(称为“块层滤波”)包括：如果在解码图像中的所有连续编码块时重构样本未被用作参考，则开始对图像中编码块的重构样本进行滤波。块层滤波不需要滤波单元308来保持滤波操作，直到图像的所有重构样本可用为止，并且因此减少了解码器中线程之间的延迟。
解码器将由滤波单元308输出的解码图像存储在DPB 309中。在一些实施例中，解码器可以根据由解析单元301输出的一个或多个指令对DPB 309中的图像执行一个或多个控制操作，例如，在DPB 309中存储图像的持续时间，从DPB 309输出图像等。
2用于平面模式预测的示例性方法和实施例
图4是示出导出平面模式的帧内预测样本的示例性处理(或方法)400的流程图。在一些实施例中，当编码器确定(或评估，例如在确定编码块的编码模式的RDO处理中)使用平面模式来编码这个编码块时，这个处理可以在编码器中的帧内预测单元206上实施，以导出这个编码块的预测样本。在其他实施例中，当预测参数指示解码器使用平面模式解码编码块时，这个处理可以在解码器中的帧内预测单元304上实施，以导出编码块的预测样本。
对于所公开的技术的实施例，帧内预测单元206和304(分别在图2和3中)被统称为“帧内预测器”，而“编码块”和“解码块”被统称为“块”。
方法400包括步骤401，其中帧内预测器确定平面模式下的块的第一参考样本。
在一些实施例中，第一参考样本是被标记为用于平面模式的帧内预测处理的“可用样本”的样本。可用样本是块的相邻位置处的重构样本。当块的相邻位置处的一个或多个样本不符合帧内预测参考的标准时(例如，包含该块的当前切片之外的样本，当受约束的帧内模式有效时处于帧间模式的块中的样本)，帧内预测器可以调用填充处理来导出诸如在块的一个或多个相邻位置复制或内插位于相同行或列中的重构样本之类的样本，并将导出样本标记为“可用”。
方法400包括步骤402，其中帧内预测器使用第一参考样本确定平面模式下的块的第二参考样本，其中第二参考样本在块的与第一相邻样本相对的相邻侧上。
例如，如果第一参考样本是块的上相邻样本和左相邻样本，则第二参考样本将是块的下相邻样本和右相邻样本。在一些实施例中，第一参考样本也可以包括左上相邻样本，并且第二参考样本也可以包括右下相邻样本。
帧内预测器基于第一样本来计算第二参考样本。第二参考样本的值被设置为等于第一参考样本中与第二参考样本中的样本位于相同行或相同列的两个或更多个样本的加权和。帧内预测器可以在第二参考样本的计算中采用相等的权重或不相等的权重。例如，帧内预测器可以基于第二参考样本和第一参考样本中与第二参考样本相同行或列的样本之间的距离来使用不相等的权重。
该方法包括步骤403，其中帧内预测器使用第一参考样本和第二参考样本确定平面模式下的块的帧内预测样本。
在一些实施例中，帧内预测器计算块中的样本作为第一参考样本和第二参考样本的插值。例如，块中的样本的值被设置为等于第一参考样本和第二参考样本中位于相同行和列的样本的加权和。在一些实施例中，可以采用相等的权重。在其他实施例中，可以使用不相等的权重，其基于块中的样本和与该样本位于相同行或相同列的每个参考样本之间的距离。
图5A是示出在第一实施方式中在平面模式的帧内预测样本的的导出中使用相邻样本的图。如其中所示，块501是其左上样本为样本5001(例如，p[0][0])并且其右下样本为样本5003(例如，p[W–1][H–1])的块。W和H分别是以样本数(或像素)测量的块的宽度和高度。样本5002(也被标记为p[x][y]，其中x等于0、1、……、W–1，并且y等于0、1、……、H–1)是待预测的块中的样本。样本5300(例如，p[-1][-1])是该块的左上相邻样本。样本5101(例如，p[0][-1])至5105(例如，p[W][-1]，也被标记为样本“T”)是块的上相邻样本。样本5201(例如p[-1][0])至5206(例如p[-1][H]，也被标记为样本“L”)是该块的左相邻样本。样本5401(例如，P[W][y]，也被标记为样本“R”)是该块的右相邻样本。样本5501(例如，P[x][H]，也被标记为样本“B”)是该块的下相邻样本。样本5600(例如，p[W][H])是该块的右下相邻样本。
在一些实施例中，该块的上相邻样本和左相邻样本可以被统称为第一参考样本。在其他实施例中，左上相邻样本5300也可以包括在第一参考样本中。例如，第一参考样本包含该块的可用相邻样本。该块的右相邻样本和下相邻样本可以被统称为第二参考样本。在一些实施例中，右下相邻样本5600也可以被包括在第二参考样本中。例如，第二参考样本包含要使用可用参考样本导出的参考样本。第二参考样本位于该块的第一参考样本的相对应的相对侧。
在一些实施例中，帧内预测器使用与样本5002位于相同行的右相邻样本R和左相邻样本p[-1][y](例如，图5A中的样本5203)以及与样本5002位于相同列的下相邻样本B和上相邻样本p[x][-1](例如，图5A中的样本5103)来计算样本5002的预测值。
帧内预测器基于第一样本计算第二参考样本。帧内预测器使用等式(1)(或使用加法和逐位算术移位操作的等式(1)的等效实施方式)计算右相邻样本R。在等式(1)中，第一参考样本中的样本的权重基于它们到右相邻样本的距离来确定。
Figure BDA0002939289650000171
帧内预测器使用等式(2)(或者使用加法和逐位算术移位操作的等式(2)的等效实施方式)计算下相邻样本L。在等式(2)中，第一参考样本中的样本的权重基于它们到下相邻样本的距离来确定。
Figure BDA0002939289650000172
帧内预测器将待预测的样本(例如，p[x][y])计算为第一参考样本和第二参考样本中的样本的加权和。在一些实施例中，p[x][y]可以是p[x][-1]、p[-1][y]、p[W][y]和p[x][H]的平均值，其采用相等的权重。在其他实施例中，可以基于参考样本到p[x][y]的各自距离来使用用于这些参考样本的不相等的权重。由等式(3)(或者使用加法和逐位算术移位操作的等式(3)的等效实施方式)示出了示例。
Figure BDA0002939289650000173
另一示例由等式(4)(或使用加法和逐位算术移位操作的等式(4)的等效实施方式)示出。
Figure BDA0002939289650000175
在此，
Figure BDA0002939289650000174
图5B是仅示出在示例中用于导出预测样本5002的值的那些样本的图。
图6是示出在第二实施方式中在平面模式的帧内预测样本的导出中使用的相邻样本的图。如其中所示，块601是其左上样本为样本6001(例如，p[0][0])且其右下样本为样本6003(例如，p[W–1][H–1])的块。W和H分别是以样本数(或像素)测量的块的宽度和高度。样本6002(也被标记为p[x][y]，其中x等于0、1、……、W–1，并且y等于0、1、……、H–1)是待预测的块中的样本。
在图6中，样本6101(例如，p[0][-1])至6105(例如，p[W][-1]，也被标记为样本“T”)是该块的上相邻样本。从样本6105(例如，p[W][-1])向左，存在与样本6105处于相同行的另外的NR个上相邻样本，例如，样本p[W+1][-1]、……、p[W+NR][-1](例如，样本6106是p[W+NR][-1])。除了样本6101(例如，p[0][-1])至6106(例如，p[W+NR][-1])之外，在导出块601的帧内预测样本时，采用了NT个附加行的上相邻样本。样本6101’至6106’是样本p[0][-1–NT]、p[1][-1–NT]、……、p[W+NR][-1–NT]。
在图6中，样本6201(例如p[-1][0])至6206(例如p[-1][H]，也被标记为样本“L”)是该块的左相邻样本。从样本6206(例如，p[-1][H])向下，存在与样本6206处于相同列的另外的NB个左相邻样本，例如，样本p[-1][H+1]、……、p[-1][H+NB](例如样本6207为p[-1][H+NB])。除了样本6201(例如，p[-1][0])至6207(例如，p[-1][H+NB])之外，在导出块601的帧内预测样本时，采用NL个附加列的左相邻样本。样本6201’至6207’是样本p[-1–NL][0]、p[-1–NL][-1]、……、p[-1–NL][H+NB]。
在图6中，样本6300(例如，p[-1][-1])是该块的左上相邻样本。在更多的上相邻样本和左相邻样本在导出块601的帧内预测样本时被涉及之后，左上相邻样本可以包括从6300到6300’的样本，例如样本p[-1][-1]、p[-1][-2]、p[-2][-1]、p[-2][-2]、……、p[-1–NL][-1–NT]。
在图6中，样本6401(例如，P[W][y]，也被标记为样本“R”)是该块的右相邻样本。样本p[W+1][y]、……、p[W+NR][y](例如，样本6401’是p[W+NR][y])是与样本6401位于相同行的另外的NR个右相邻样本。样本6501(例如，P[x][H]，也被标记为样本“B”)是该块的下相邻样本。样本p[x][H+1]、……、p[x][H+NB](例如，样本6501’是p[x][H+NB])是与样本6501位于相同列的另外的NB个下相邻样本。样本6600(例如，p[W][H])是该块的右下相邻样本。
在这个实施例中，该块的上相邻样本和左相邻样本可以被统称为第一参考样本。在一些实施例中，左上样本6300至6300’也可以被包括在第一参考样本中。例如，第一参考样本包含块的可用相邻样本。该块的右相邻样本和下相邻样本可以被统称为第二参考样本。在其他实施例中，右下样本6600也可以被包括在第二参考样本中。例如，第二参考样本包含使用可用参考样本导出的参考样本。第二参考样本位于块的第一参考样本的相对应的相对侧。
在一些实施例中，帧内预测器使用与样本6002在相同行中的右相邻样本和左相邻样本，以及与样本6002处于相同列的下相邻样本和上相邻样本来计算样本6002的预测样本。
帧内预测器基于第一样本计算第二参考样本。在一些实施例中，并且为了降低帧内预测器的计算复杂度，NT和NL相等(例如为正整数M)，并且NR和NB相等(例如是非负整数N)。例如，当M等于1并且N等于0时，在该实施例中描述的方法类似于在图5A的上下文中描述的方法。
帧内预测器使用等式(5)(或使用加法和逐位算术移位操作的等式(5)的等效实施方式)计算右相邻样本，其中i＝0、1、……、N。在等式(5)中，在计算pj时，第一参考样本中的样本的权重基于它们各自到右相邻样本的距离。
Figure BDA0002939289650000191
在此，
Figure BDA0002939289650000192
在相等权重的情况下，
Figure BDA0002939289650000193
并且在不相等的权重的情况下，
Figure BDA0002939289650000194
帧内预测器使用等式(6)(或使用加法和逐位算术移位操作的等式(6)的等效实施方式)计算下相邻样本，其中i＝0、1、……、N。在等式(6)中，在计算pj时，第一参考样本中的样本的权重基于它们到下相邻样本的距离。
Figure BDA0002939289650000195
在此，
Figure BDA0002939289650000196
在相等权重的情况下，
Figure BDA0002939289650000197
并且在不相等的权重的情况下，
Figure BDA0002939289650000198
在一些实施例中，帧内预测器将待预测的样本(例如，p[x][y])计算为第一参考样本和第二参考样本中的样本的加权和。在其他实施例中，当应用相等的权重时，p[x][y]可以是第一参考样本和第二参考样本中位于相同行或列的样本(也就是说，如图6所示的样本6401至6401’、6203至6203’、6103至6103’和6501至6501’)的数字平均值。在其他实施例中，不相等的权重可以基于它们到p[x][y]的距离。由等式(7)(或者使用加法和逐位算术移位操作的等式(7)的等效实施方式)示出了示例。
Figure BDA0002939289650000201
在此，
Figure BDA0002939289650000202
并且
Figure BDA0002939289650000203
图7是示出在另一实施方式中在平面模式的帧内预测样本的导出中使用的相邻样本的图。
在一些实施例中，并且当编码器采用特殊的编码顺序而解码器使用相对应的解码顺序时，上相邻样本和右相邻样本将在编码或解码该块之前被重构。在这种情况下，采用该块的上相邻样本和右相邻样本来导出该块的帧内预测样本。
如果块701的帧内预测模式是平面模式，则帧内预测器采用本文档中描述的方法来确定块701的帧内预测样本。
在图7中，块701是其右上样本为样本7001(例如，p[0][0])且其左下样本为样本7003(例如，p[W–1][H–1])的块。W和H分别是以样本数(或像素)测量的块的宽度和高度。样本7002(也被标记为p[x][y]，其中x等于0、1、……、W–1，并且y等于0、1、……、H–1)是待预测的块中的样本。样本7300(例如，p[-1][-1])是该块的右上相邻样本。样本7101(例如，p[0][-1])至7105(例如，p[W][-1])是该块的上相邻样本。样本7201(例如p[-1][0])至7206(例如p[-1][H])是该块的右相邻样本。样本7401(例如，P[W][y])是该块的左相邻样本。样本7501(例如，P[x][H])是该块的下相邻样本。样本7600(例如，p[W][H])是该块的左下相邻样本。
在该示例性实施例中，该块的上相邻样本和右相邻样本可以被统称为第一参考样本。在一些实施例中，右上样本7300也可以被包括在第一参考样本中。换句话说，第一参考样本包含该块的可用相邻样本。该块的左相邻样本和下相邻样本可以被统称为第二参考样本。在一些实施例中，左下样本7600也可以被包括在第二参考样本中。换句话说，第二参考样本包含使用可用参考样本导出的参考样本。第二参考样本位于该块的第一参考样本的相对应的相对侧。
帧内预测器使用与样本7002位于相同行的左相邻样本7401和右相邻样本p[-1][y](例如，图7中的样本7203)以及与样本7002位于相同列的下相邻样本7501和上相邻样本p[x][-1](例如，图7中的样本7103)来计算样本7002的预测样本。
在一些实施例中，等式(1)至(4)用于计算在平面模式下的块的帧内预测样本。帧内预测器基于第一样本计算第二参考样本。帧内预测器使用等式(1)(或使用加法和逐位算术移位操作的等式(1)的等效实施方式)计算左相邻样本7401。在等式(1)中，第一参考样本中的样本的权重基于它们到左相邻样本的距离。
帧内预测器使用等式(2)(或者使用加法和逐位算术移位操作的等式(2)的等效实施方式)计算下相邻样本7501。在等式(2)中，第一参考样本中的样本的权重基于它们到下相邻样本的距离。
在一些实施例中，帧内预测器将待预测的样本(例如，p[x][y])计算为第一参考样本和第二参考样本中的样本的加权和。在其他实施例中，p[x][y]可以是p[x][-1]、p[-1][y]、p[W][y]和p[x][H]的数字平均值，其采用相等的权重。在其他实施例中，参考样本的不相等的权重可以基于它们到p[x][y]的距离。由等式(3)(或者使用加法和逐位算术移位操作的等式(3)的等效实施方式)示出了示例。由等式(4)(或使用加法和逐位算术移位操作的等式(4)的等效实施方式)示出了另一示例。
图8是示出在又一实施方式中在平面模式的帧内预测样本的导出中使用的相邻样本的图。
在一些实施例中，并且当编码器采用特殊的编码顺序而解码器使用相对应的解码顺序时，上相邻样本和右相邻样本将在编码或解码块之前被重构。在这种情况下，采用该块的上相邻样本和右相邻样本来导出该块的帧内预测样本。
如果块801的帧内预测模式是平面模式，则帧内预测器采用本文档中描述的方法来确定块801的帧内预测样本。
在图8中，块801是其右上样本为样本8001(例如，p[0][0])且其左下样本为样本8003(例如，p[W–1][H–1])的块。W和H分别是以样本数(或像素)测量的块的宽度和高度。样本8002(也被标记为p[x][y]，其中x等于0、1、……、W–1，并且y等于0、1、……、H–1)是待预测的块中的样本。
在图8中，样本8101(例如，p[0][-1])至8105(例如，p[W][-1])是块的上相邻样本。从样本8105(例如，p[W][-1])向左，存在与样本8105位于相同行的另外的NL个上相邻样本，也就是说，样本p[W+1][-1]、……、p[W+NL][-1](例如，样本8106是p[W+NL][-1])。除了样本8101(例如，p[0][-1])至8106(例如，p[W+NL][-1])之外，在导出块801的帧内预测样本时，采用了NT个附加行的上相邻样本。样本8101’至8106’是样本p[0][-1–NT]、p[1][-1–NT]、……、p[W+NL][-1–NT]。
在图8中，样本8201(例如p[-1][0])至8206(例如p[-1][H])是块的右相邻样本。从样本8206(例如，p[-1][H])向下，存在与样本8206处于相同列的另外的NB个右相邻样本，也就是说，样本p[-1][H+1]、……、p[-1][H+NB](例如样本8207为p[-1][H+NB])。除了样本8201(例如，p[-1][0])至8207(例如，p[-1][H+NB])之外，在导出块801的帧内预测样本时，采用NR个附加列的右相邻样本。样本8201’至8207’是样本p[-1–NL][0]、p[-1–NR][-1]、……、p[-1–NL][H+NB]。
在图8中，样本8300(例如，p[-1][-1])是该块的右上相邻样本。在导出块801的帧内预测样本时涉及更多的上相邻样本和右相邻样本之后，右上相邻样本可以包括从8300到8300’的样本，也就是说，样本p[-1][-1]、p[-1][-2]、p[-2][-1]、p[-2][-2]、……、p[-1–NR][-1–NT]。
在图8中，样本8401(例如，P[W][y])是该块的左相邻样本。样本p[W+1][y]、……、p[W+NL][y](例如，样本8401’是p[W+NL][y])是与样本8401位于相同行的另外的NR个右相邻样本。样本8501(例如，P[x][H])是该块的下相邻样本。样本p[x][H+1]、……、p[x][H+NB](例如，样本8501’是p[x][H+NB])是与样本8501位于相同列的另外的NB个下相邻样本。样本8600(例如，p[W][H])是该块的左下相邻样本。
在一些实施例中，该块的上相邻样本和右相邻样本可以被统称为第一参考样本。在其他实施例中，右上样本8300至8300’也可以被包括在第一参考样本中。换句话说，第一参考样本包含该块的可用相邻样本。该块的左相邻样本和下相邻样本可以被统称为第二参考样本。在其他实施例中，左下样本8600也可以被包括在第二参考样本中。换句话说，第二参考样本包含使用可用参考样本导出的参考样本。第二参考样本位于该块的第一参考样本的相对应的相对侧。
帧内预测器使用与样本8002位于相同行的右相邻样本和左相邻样本，以及与样本8002位于相同列的下相邻样本和上相邻样本来计算样本8002的预测样本。
帧内预测器基于第一样本计算第二参考样本。在一些实施例中，并且为了降低帧内预测器的计算复杂度，NT和NR相等(例如为正整数M)，并且NL和NB相等(例如是非负整数N)。在一些实施例中，当M等于1并且N等于0时，在该实施例中描述的方法类似于在图7的上下文中描述的方法。
在一些实施例中，等式(5)至(7)用于计算在平面模式下的块的帧内预测样本。帧内预测器使用等式(5)(或使用加法和逐位算术移位操作的等式(5)的等效实施方式)计算左相邻样本，其中i＝0、1、……、N。在等式(5)中，在计算pj时，第一参考样本中的样本的权重基于它们到左相邻样本的距离。
帧内预测器使用等式(6)(或使用加法和逐位算术移位操作的等式(6)的等效实施方式)计算下相邻样本，其中i＝0、1、……、N。在等式(6)中，在计算pj时，第一参考样本中的样本的权重基于它们到下相邻样本的距离。
在一些实施例中，帧内预测器将待预测的样本(例如，p[x][y])计算为第一参考样本和第二参考样本中的样本的加权和。在其他实施例中，当应用相等的权重时，p[x][y]可以是第一参考样本和第二参考样本中位于相同行或列的样本(也就是说，如图8所示的样本8401至8401’、8203至8203’、8103至8103’和8501至8501’)的数字平均值。在其他实施例中，不相等的权重可以基于它们到p[x][y]的距离。由等式(7)(或者使用加法和逐位算术移位操作的等式(7)的等效实施方式)示出了示例。
图9是示出在又一实施方式中在平面模式的帧内预测样本的导出中使用的相邻样本的图。
在一些实施例中，并且当编码器采用特殊的编码顺序而解码器使用相对应的解码顺序时，左相邻样本和下相邻样本将在编码或解码块之前被重构。在这种情况下，采用该块的左相邻样本和下相邻样本来导出该块的帧内预测样本。
如果块901的帧内预测模式是平面模式，则帧内预测器采用本文档中描述的方法来确定块901的帧内预测样本。
在图9中，块901是其左下样本为样本9001(例如，p[0][0])且其右上样本为样本9003(例如，p[W–1][H–1])的块。W和H分别是以样本数(或像素)测量的块的宽度和高度。样本9002(也被标记为p[x][y]，其中x等于0、1、……、W–1，并且y等于0、1、……、H–1)是待预测的块中的样本。样本9300(例如，p[-1][-1])是该块的左下相邻样本。样本9101(例如，p[0][-1])至9105(例如，p[W][-1])是该块的下相邻样本。样本9201(例如p[-1][0])至9206(例如p[-1][H])是该块的左相邻样本。样本9401(例如，P[W][y])是该块的右相邻样本。样本9501(例如，P[x][H])是该块的上相邻样本。样本9600(例如，p[W][H])是该块的右上相邻样本。
在一些实施例中，该块的左相邻样本和下相邻样本可以被统称为第一参考样本。在其他实施例中，左下样本9300也可以被包括在第一参考样本中。换句话说，第一参考样本包含该块的可用相邻样本。该块的上相邻样本和右相邻样本可以被统称为第二参考样本。在一些实施例中，右上样本9600也可以被包括在第二参考样本中。换句话说，第二参考样本包含使用可用参考样本导出的参考样本。第二参考样本位于该块的第一参考样本的相对应的相对侧。
帧内预测器使用与样本9002位于相同行的右相邻样本9401和左相邻样本p[-1][y](例如，图9中的样本9203)以及与样本9002位于相同列的上相邻样本9501和下相邻样本p[x][-1](例如，图9中的样本9103)来计算样本9002的预测样本。
在一些实施例中，等式(1)至(4)用于计算在平面模式下的块的帧内预测样本。帧内预测器基于第一样本计算第二参考样本。帧内预测器使用等式(1)(或使用加法和逐位算术移位操作的等式(1)的等效实施方式)计算右相邻样本9401。在等式(1)中，第一参考样本中的样本的权重基于它们到右相邻样本的距离。
帧内预测器使用等式(2)(或者使用加法和逐位算术移位操作的等式(2)的等效实施方式)计算上相邻样本9501。在等式(2)中，第一参考样本中的样本的权重基于它们到上相邻样本的距离。
在一些实施例中，帧内预测器将待预测的样本(例如，p[x][y])计算为第一参考样本和第二参考样本中的样本的加权和。在其他实施例中，p[x][y]可以是p[x][-1]、p[-1][y]、p[W][y]和p[x][H]的数字平均值，其采用相等的权重。在其他实施例中，参考样本的不相等的权重可以基于它们到p[x][y]的距离。由等式(3)(或者使用加法和逐位算术移位操作的等式(3)的等效实施方式)示出了示例。由等式(4)(或使用加法和逐位算术移位操作的等式(4)的等效实施方式)示出了另一示例。
图10是示出在又一实施方式中在平面模式的帧内预测样本的导出中使用的相邻样本的图。
在一些实施例中，并且当编码器采用特殊的编码顺序而解码器使用相对应的解码顺序时，左相邻样本和下相邻样本将在编码或解码块之前被重构。在这种情况下，采用该块的左相邻样本和下相邻样本来导出该块的帧内预测样本。
如果块1001的帧内预测模式是平面模式，则帧内预测器采用本文档中描述的方法来确定块1001的帧内预测样本。
在图10中，块1001是其左下样本为样本10001(例如，p[0][0])且其右上样本为样本10003(例如，p[W–1][H–1])的块。W和H分别是以样本数(或像素)测量的块的宽度和高度。样本10002(也被标记为p[x][y]，其中x等于0、1、……、W–1，并且y等于0、1、……、H–1)是待预测的块中的样本。
在图10中，样本10101(例如，p[0][-1])至10105(例如，p[W][-1])是该块的下相邻样本。从样本10105(例如，p[W][-1])向右，存在与样本10105位于相同行的另外的NR个下相邻样本，即，样本p[W+1][-1],…,p[W+NR][-1](例如，样本10106是p[W+NR][-1])。除了样本10101(例如，p[0][-1])至10106(例如，p[W+NR][-1])之外，在导出块1001的帧内预测样本时，采用了NB个附加行的下相邻样本。样本10101’至10106’是样本p[0][-1–NB],p[1][-1–NB],…,p[W+NR][-1–NB]。
在图10中，样本10201(例如p[-1][0])至10206(例如p[-1][H])是该块的左相邻样本。从样本10206(例如，p[-1][H])向上，存在与样本10206位于相同列的另外的NT个左相邻样本，即，样本p[-1][H+1]、……、p[-1][H+NT](例如样本10207为p[-1][H+NT])。除了样本10201(例如，p[-1][0])至10207(例如，p[-1][H+NT])之外，在导出块1001的帧内预测样本时，采用NL个附加列的左相邻样本。样本10201’至10207’是样本p[-1–NL][0]、p[-1–NL][1]、……、p[-1–NL][H+NT]。
在图10中，样本10300(例如，p[-1][-1])是该块的左下相邻样本。在更多的左相邻样本和下相邻样本在导出块1001的帧内预测样本时被涉及之后，左下相邻样本可以包括例如从10300到10300’的样本，即，样本p[-1][-1]、p[-1][-2]、p[-2][-1]、p[-2][-2]、……、p[-1–NL][-1–NB]。
在图10中，样本10401(例如，P[W][y])是该块的右相邻样本。样本p[W+1][y]、……、p[W+NR][y](例如，样本10401’是p[W+NR][y])是与样本10401位于相同行的另外的NR个右相邻样本。样本10501(例如，P[x][H])是该块的上相邻样本。样本p[x][H+1]、……、p[x][H+NT](例如，样本10501’是p[x][H+NT])是与样本10501位于相同列的另外的NT个上相邻样本。样本10600(例如，p[W][H])是该块的右上相邻样本。
在一些实施例中，该块的左相邻样本和下相邻样本可以被统称为第一参考样本。在其他实施例中，左下样本10300至10300’也可以被包括在第一参考样本中。换句话说，第一参考样本包含该块的可用相邻样本。该块的上相邻样本和右相邻样本可以被统称为第二参考样本。在一些实施例中，右上样本10600也可被以包括在第二参考样本中。换句话说，第二参考样本包含使用可用参考样本导出的参考样本。第二参考样本位于该块的第一参考样本的相对应的相对侧。
帧内预测器使用与样本10002位于相同行的右相邻样本和左相邻样本，以及与样本10002位于相同列的下相邻样本和上相邻样本来计算样本10002的预测样本。
帧内预测器基于第一样本计算第二参考样本。在一些实施例中，并且为了降低帧内预测器的计算复杂度，NL和NB相等(例如为正整数M)，NT和NR相等(例如是非负整数N)。在一些实施例中，当M等于1并且N等于0时，在该实施例中描述的方法类似于在图9的上下文中描述的方法。
在一些实施例中，等式(5)至(7)用于计算在平面模式下的块的帧内预测样本。帧内预测器使用等式(5)(或使用加法和逐位算术移位操作的等式(5)的等效实施方式)计算右相邻样本，其中i＝0、1、……、N。在等式(5)中，在计算pj时，第一参考样本中的样本的权重基于它们到右相邻样本的距离。
帧内预测器使用等式(6)(或使用加法和逐位算术移位操作的等式(6)的等效实施方式)计算上相邻样本，其中i＝0、1、……、N。在等式(6)中，在计算pj时，第一参考样本中的样本的权重基于它们到上相邻样本的距离。
在一些实施例中，帧内预测器将待预测的样本(例如，p[x][y])计算为第一参考样本和第二参考样本中的样本的加权和。在其他实施例中，当应用相等的权重时，p[x][y]可以是第一参考样本和第二参考样本中位于相同行或列的样本(也就是说，如图10所例示的样本10401至10401’、10203至10203’、10103至10103’和10501至10501’)的数字平均值。在又一些实施例中，不相等的权重基于它们到p[x][y]的距离。由等式(7)(或者使用加法和逐位算术移位操作的等式(7)的等效实施方式)示出了示例。
图11是示出在又一实施方式中在平面模式的帧内预测样本的导出中使用的相邻样本的图。
在一些实施例中，并且当编码器采用特殊的编码顺序而解码器使用相对应的解码顺序时，右下相邻样本将在编码或解码块之前被重构。在这种情况下，采用该块的右下相邻样本来导出该块的帧内预测样本。
如果块1101的帧内预测模式是平面模式，则帧内预测器采用本文档中描述的方法来确定块1101的帧内预测样本。
在图11中，块1101是其右下样本为样本11001(例如，p[0][0])且其左上样本为样本11003(例如，p[W–1][H–1])的块。W和H分别是以样本数(或像素)测量的块的宽度和高度。样本11002(也被标记为p[x][y]，其中x等于0、1、……、W–1，并且y等于0、1、……、H–1)是待预测的块中的样本。样本11300(例如，p[-1][-1])是该块的右下相邻样本。样本11101(例如，p[0][-1])至11105(例如，p[W][-1])是该块的下相邻样本。样本11201(例如p[-1][0])至11206(例如p[-1][H])是该块的右相邻样本。样本11401(例如，P[W][y])是该块的左相邻样本。样本11501(例如，P[x][H])是该块的上相邻样本。样本11600(例如，p[W][H])是该块的左上相邻样本。
在一些实施例中，该块的下相邻样本和右相邻样本可以被统称为第一参考样本。在其他实施例中，右下样本11300也可以被包括在第一参考样本中。换句话说，第一参考样本包含该块的可用相邻样本。该块的上相邻样本和右相邻样本可以被统称为第二参考样本。在一些实施例中，左上样本11600也可以被包括在第二参考样本中。换句话说，第二参考样本包含使用可用参考样本导出的参考样本。第二参考样本位于该块的第一参考样本的相对应的相对侧。
帧内预测器使用与样本11002位于相同行的左相邻样本11401和右相邻样本p[-1][y](例如，图11中的样本11203)以及与样本11002位于相同列的上相邻样本11501和下相邻样本p[x][-1](例如，图11中的样本11103)来计算样本11002的预测样本。
在一些实施例中，等式(1)至(4)用于计算在平面模式下的该块的帧内预测样本。帧内预测器基于第一样本计算第二参考样本。帧内预测器使用等式(1)(或使用加法和逐位算术移位操作的等式(1)的等效实施方式)计算左相邻样本11401。在等式(1)中，第一参考样本中的样本的权重基于它们到左相邻样本的距离。
帧内预测器使用等式(2)(或者使用加法和逐位算术移位操作的等式(2)的等效实施方式)计算上相邻样本11501。在等式(2)中，第一参考样本中的样本的权重基于它们到上相邻样本的距离。
在一些实施例中，帧内预测器将待预测的样本(例如，p[x][y])计算为第一参考样本和第二参考样本中的样本的加权和。在其他实施例中，p[x][y]可以是p[x][-1]、p[-1][y]、p[W][y]和p[x][H]的数字平均值，其采用相等的权重。在其他实施例中，参考样本的不相等的权重可以基于它们到p[x][y]的距离。由等式(3)(或者使用加法和逐位算术移位操作的等式(3)的等效实施方式)示出了示例。由等式(4)(或使用加法和逐位算术移位操作的等式(4)的等效实施方式)示出了另一示例。
图12是示出在又一实施方式中在平面模式的帧内预测样本的导出中使用的相邻样本的图。
在一些实施例中，并且当编码器采用特殊的编码顺序而解码器使用相对应的解码顺序时，右下相邻样本将在编码或解码块之前被重构。在这种情况下，采用该块的右下相邻样本来导出该块的帧内预测样本。
如果块1201的帧内预测模式是平面模式，则帧内预测器采用本文档中描述的方法来确定块1201的帧内预测样本。
在图12中，块1201是其右下相邻样本为样本12001(例如，p[0][0])且其左上相邻样本为样本12003(例如，p[W–1][H–1])的块。W和H分别是以样本数(或像素)测量的块的宽度和高度。样本12002(也被标记为p[x][y]，其中x等于0、1、……、W–1，并且y等于0、1、……、H–1)是待预测的块中的样本。
在图12中，样本12101(例如，p[0][-1])至12105(例如，p[W][-1])是该块的下相邻样本。从样本12105(例如，p[W][-1])向左，存在与样本12105位于相同行的另外的NL个下相邻样本，也就是说，样本p[W+1][-1]、……、p[W+NL][-1](例如，样本12106是p[W+NL][-1])。除了样本12101(例如，p[0][-1])至12106(例如，p[W+NL][-1])之外，在导出块1201的帧内预测样本时，采用了NB个附加行的下相邻样本。样本10201’至10206’是样本p[0][-1–NB]、p[1][-1–NB]、……、p[W+NL][-1–NB]。
在图12中，样本12201(例如p[-1][0])至12206(例如p[-1][H])是该块的右相邻样本。从样本12206(例如，p[-1][H])向上，存在与样本12206位于相同列的另外的NT个右相邻样本，也就是说，样本p[-1][H+1]、……、p[-1][H+NT](例如样本12207为p[-1][H+NT])。除了样本12201(例如，p[-1][0])至12207(例如，p[-1][H+NT])之外，在导出块1201的帧内预测样本时，采用NR个附加列的右相邻样本。样本12201’至12207’是样本p[-1–NR][0]、p[-1–NR][1]、……、p[-1–NR][H+NT]。
在图12中，样本12300(例如，p[-1][-1])是该块的右下相邻样本。在导出块1201的帧内预测样本时涉及更多的下相邻样本和右相邻样本之后，右下相邻样本可以包括例如从12300到12300’的样本，即，样本p[-1][-1]、p[-1][-2]、p[-2][-1]、p[-2][-2]、……、p[-1–NR][-1–NB]。
在图12中，样本12401(例如，P[W][y])是该块的左相邻样本。样本p[W+1][y]、……、p[W+NL][y](例如，样本12401’是p[W+NL][y])是与样本12401位于相同行的另外的NR个右相邻样本。样本12501(例如，P[x][H])是该块的上相邻样本。样本p[x][H+1]、……、p[x][H+NT](例如，样本12501’是p[x][H+NT])是与样本12501位于相同列的另外的NT个上相邻样本。样本12600(例如，p[W][H])是该块的左上相邻样本。
在一些实施例中，块的下相邻样本和右相邻样本可以被统称为第一参考样本。在其他实施例中，右下样本12300至12300’也可以被包括在第一参考样本中。换句话说，第一参考样本包含该块的可用相邻样本。该块的上相邻样本和左相邻样本可以被统称为第二参考样本。在一些实施例中，右上样本12600也可以被包括在第二参考样本中。换句话说，第二参考样本包含使用可用参考样本导出的参考样本。第二参考样本位于该块的第一参考样本的相对应的相对侧。
帧内预测器使用与样本12002位相同行的右相邻样本和左相邻样本，以及与样本12002位于相同列的下相邻样本和上相邻样本来计算样本12002的预测样本。
帧内预测器基于第一样本计算第二参考样本。在一些实施例中，并且为了降低帧内预测器的计算复杂度，NR和NB相等(例如为正整数M)，NT和NL相等(例如是非负整数N)。在一些实施例中，当M等于1并且N等于0时，在该实施例中描述的方法类似于在图11的上下文中描述的方法。
在一些实施例中，等式(5)至(7)用于计算在平面模式下的块的帧内预测样本。帧内预测器使用等式(5)(或使用加法和逐位算术移位操作的等式(5)的等效实施方式)计算左相邻样本，其中i＝0、1、……、N。在等式(5)中，在计算pj时，第一参考样本中的样本的权重基于它们到左相邻样本的距离。
帧内预测器使用等式(6)(或使用加法和逐位算术移位操作的等式(6)的等效实施方式)计算上相邻样本，其中i＝0、1、……、N。在等式(6)中，在计算pj时，第一参考样本中的样本的权重基于它们到上相邻样本的距离。
在一些实施例中，帧内预测器将待预测的样本(例如，p[x][y])计算为第一参考样本和第二参考样本中的样本的加权和。在其他实施例中，当应用相等的权重时，p[x][y]可以是第一参考样本和第二参考样本中位于相同行或列的样本(也就是说，如图12所例示的样本12401至12401’、12203至12203’、12103至12103’和12501至12501’)的数字平均值。在其他实施例中，不相等的权重基于它们到p[x][y]的距离。由等式(7)(或者使用加法和逐位算术移位操作的等式(7)的等效实施方式)示出了示例。
图13示出了根据当前公开的技术的视觉媒体编码的示例方法1300的流程图。方法1300包括，在步骤1310，选择作为当前块的重构的相邻样本的第一组参考样本。在一些实施例中，用于帧内预测的重构的相邻样本未被环路滤波。在示例中，这与H.265/HEVC标准的实施方式是一致的。
方法1300包括，在步骤1320，通过内插第一组参考样本中的至少一个和第二组参考样本中的至少一个来确定当前块的预测样本的预测值。在一些实施例中，并且在至少图5A的上下文中，第二组参考样本中的参考样本基于第一组参考样本中的第一样本和第二样本的加权和。参考样本与第一样本水平对齐，与第二样本竖直对齐，并且相对于第一样本或第二样本被定位在预测样本的相对侧上。
在一些实施例中，并且可在视频编码器中实施，方法1300还包括对当前块中的每个样本重复步骤1310和1320，使用对应于当前块的每个样本的预测值来计算当前块的残差、并且将残差编码成比特流。
在一些实施例中，并且可在视频解码器中实施，方法1300还包括解析当前块的比特流表示以确定当前块的残差，并且基于预测样本和残差的和来重构当前块的样本。
在一些实施例中，加权和包括乘以第一样本的第一权重和乘以第二样本的第二权重。在一个示例中，第一权重和第二权重基于参考样本和第一样本之间的距离以及参考样本和第二样本之间的距离。在另一示例中，第一权重等于第二权重。
在一些实施例中，插值基于第一组参考样本中的至少一个和第二组参考样本中的至少一个的平均值。在其他实施例中，插值基于第一组参考样本中的至少一个和第二组参考样本中的至少一个的加权和。
至少在图5A和5B的上下文中，本文档公开了确定视频的编码块中的像素位置处的预测值的另一方法，该编码块包括H个像素行和W个像素列，并且其中该方法包括以下步骤：
(a)通过使用其位置在编码块外部的第一上参考样本和其位置在编码块外部的第一左参考样本进行插值来导出右参考样本，其中(i)第一上参考样本与右侧参考样本在相同像素列中，以及(ii)第一左参考样本、像素位置和右参考样本在相同像素行中，
(b)通过使用其位置在编码块外部的第二上参考样本和其位置在编码块外部的第二左参考样本进行插值来导出下参考样本，其中(i)下参考样本与第二上参考样本和像素位置在相同像素列中，以及(ii)下参考样本与第二左参考样本在相同行中，
(c)将预测值确定为第一左参考样本、第二上参考样本、右侧参考样本和下参考样本的加权和，以及
(d)使用预测值对视频块进行另外的处理。
在一些实施例中，该方法还可以包括对编码块中的每个像素重复步骤(a)至步骤(d)、使用对应于每个样本的预测值来计算编码块的残差、并将残差编码成比特流。
在其他实施例中，该方法还可以包括解析编码块的比特流表示，以确定编码块的残差，并且基于预测样本和残差的和来重构当前块的样本。
至少在图5A和5B的上下文中，本文档公开了确定视频的编码块中的像素位置处的预测值的又一方法，其中编码块包括H个像素行和W个像素列，并且其中该方法包括以下步骤：
(a)将像素值确定为至少两个竖直参考样本和至少两个水平参考样本的加权和，其中(i)所述至少两个竖直参考样本包括在编码块外部且与像素位置位于相同列的第一参考样本，以及处于编码块外部的行和编码块外部的列中的第二竖直样本，以及(ii)所述至少两个水平参考样本包括在编码块外部并且与像素位置位于相同行的第一水平参考样本，以及位于编码块外部的行和编码块外部的列中的第二水平参考样本。
在一些实施例中，并且对于上述方法，“竖直”样本可以是像素位置上方的样本(“上”样本)或像素位置下方的样本(“下”样本)，而“水平”样本可以是像素位置左侧或右侧的样本(分别为“左”样本和“右”样本)。
在一些实施例中，该方法还可以包括对编码块中的每个像素重复步骤(a)，使用对应于每个样本的预测值来计算编码块的残差，并将残差编码成比特流。
在其他实施例中，该方法还可以包括解析编码块的比特流表示，以确定编码块的残差，并且基于预测样本和残差的和来重构当前块的样本。
至少在图5A和5B的上下文中，本文档公开了确定视频帧的平面编码的编码块内的像素位置处的预测值的又一方法，并且其中该方法包括以下步骤：
(a)将像素值确定为在平面编码编码块外部的像素位置周围的多个参考像素位置处的像素值的第一加权和，其中(i)用于第一加权和的权重与像素位置和相对应的参考像素位置之间的像素距离成反比，
(b)对于重构像素值的可用的第一参考像素位置，使用该像素值用作第一加权和，
(c)对于没有重构像素值的可用的第二参考像素位置，在将像素值确定为第一加权和期间，使用竖直并置的先前重构的像素值和水平并置的先前的重构像素值的第二加权和，以及
(d)使用该像素值来进一步处理平面编码的编码块。
在一些实施例中，该方法还可以包括对编码块中的每个像素重复步骤(a)至步骤(d)，使用对应于每个样本的预测值来计算编码块的残差，并将残差编码成比特流。
在其他实施例中，该方法还可以包括解析编码块的比特流表示，以确定编码块的残差，并且基于预测样本和残差的和来重构当前块的样本。
在一些实施例中，在第一加权和和第二加权和中使用的权重可以取决于像素位置和参考样本的位置之间的出租车距离，其被定义为它们的笛卡尔坐标的绝对差的和。例如，(x0,y0)和(x1,y1)之间的出租车距离(也称为曼哈顿距离)等于(|x0-x1|+|y0-y1|)。
例如，图5B示出了包括像素(5002)的编码块501，该像素的预测值需要在给定四个参考像素(5103、5203、5206和5105，用粗线示出)和隐含地给定两个重构像素(5401和5501)的情况下确定。对于图5B的示例中示出的像素之间的距离，重构像素(5401和5501)的值可以计算为：
5401＝(5105*(c+d)+5203*a)/(a+c+d),以及 (8)
5501＝(5103*c+5206*(a+b))/(a+b+c). (9)
在此，项a、b、c和d分别表示正在确定其预测值的像素距当前块的上边缘、下边缘、左边缘和右边缘多远。因此，a+b＝H，并且c+d＝W。在一些实施例中，预测值可以被计算为参考像素和重构像素的值的简单平均值,例如
5002＝(5103+5203+5401+5501)/4. (10)
在示例性实施方式中，当只有四个参考像素的值明确可用时，使用等式(8)和(9)来计算等式(10)。
在其他实施例中，预测值可以被计算为参考像素和重构像素的加权和,例如
5002＝5103*b/(a+b+c+d)+5203*d/(a+b+c+d)+5501*a/(a+b+c+d)+5401*c/(a+b+c+d). (11)
一般而言，可以使用除等式(10)和(11)之外的组合像素的方式。例如，等式(10)表示简单平均，而等式(11)表示反向距离加权平均。也可以使用其他可能性，诸如相对于中间参考样本，更倾向于重构参考样本的权重。使用等式(8)和(9)以及编码块的尺寸(高度H和宽度W)，等式(11)可以被重写为
5002＝5103*H*(b+c)/(H+c)*(H+W)+5203*W*(a+d)/(W+a)*(H+W)+5206*a*H/(H+c)*(H+W)+5105*c*W/(W+a)*(H+W). (12)
如等式(11)所示，像素(5002)的预测值取决于明确可用的(或非虚拟的或“未重构的”)参考像素(5103、5203、5206和5105)，其样本/像素权重基于非虚拟参考样本和正在确定其预测值的像素(5002)之间的出租车距离。
在示例中，对于对角的非虚拟参考样本，权重与非对角的非虚拟参考样本的出租车距离成比例，并且对于处于非对角方向的参考样本，权重与对角方向上的相对应的参考样本的出租车距离成比例。例如，像素5103(非对角参考样本)的权重(其为H*(b+c)/(H+c)*(H+W))与对角的相对应的参考样本(5206)的出租车距离(其为(b+c))成比例。
例如，对于用于确定预测样本的值的一对对角和非对角参考样本，对角(或非对角)参考样本的权重与预测样本和非对角(或对角)样本之间的出租车距离成比例。在图5B和等式(12)的上下文中，用于确定预测样本的值的一对参考样本中的第一个的权重与预测样本和该对参考样本中的第二个之间的出租车距离成比例，其中该对参考样本中的第一个和第二个分别是对角的和非对角的，反之亦然。
关于以上描述的方法，本领域技术人员应该理解的是，这些方法可以扩展到包括图6至图12中描述的样本。
3当前公开的技术的示例实施方式
图14是示出包含如图2所示的示例视频编码器或图像编码器的示例设备的框图。
采集单元1401捕获视频和图像。采集单元1401可以配备有用于拍摄自然场景的视频或图像的一个或多个相机。在一些实施例中，采集单元1401可以用相机来实施，以得到具有深度信息的视频或图像。在一些实施例中，采集单元1401可以包括红外相机组件。在一些实施例中，采集单元1401可以配置有遥感相机。采集单元1401也可以是通过使用辐射扫描对象来生成视频或图像的装置或设备。
在一些实施例中，采集单元1401可以对视频或图像执行预处理，例如自动白平衡、自动对焦、自动曝光、背光补偿、锐化、去噪、拼接、上采样/下采样、帧率转换、虚拟视图合成等。
采集单元1401还可以从另一设备或处理单元接收视频或图像。例如，采集单元1401可以是代码转换器中的组件单元。代码转换器向采集单元1401馈送一个或多个解码的(或部分解码的)图像。在另一示例中，采集单元1401通过到另一设备的数据链路从该设备获取视频或图像。
在一些实施例中，采集单元1401可以用于捕获除视频和图像之外的其他媒体信息，例如音频信号。采集单元1401还可以接收人工信息，例如，字符、文本、计算机生成的视频或图像等。
编码器1402是图2中示出的示例编码器的实施方式。编码器1402的输入是由采集单元1401输出的视频或图像。编码器1402对视频或图像进行编码，并输出生成的视频或图像比特流。
存储/发送单元1403从编码器1402接收视频或图像比特流，并对比特流执行***层处理。例如，存储/发送单元1403根据传输标准和媒体文件格式封装比特流，例如，MPEG-2TS、ISO基本媒体文件格式(ISO base media file format，ISOBMFF)、基于HTTP的动态自适应流(dynamic adaptive streaming over HTTP，DASH)、MPEG媒体传输(MPEG mediatransport，MMT)等等。存储/发送单元1403将封装后获得的传输流或媒体文件存储在存储器或磁盘中，或者通过有线或无线网络发送传输流或媒体文件。
在一些实施例中，并且除了从编码器1402接收视频或图像比特流之外，存储/发送单元1403的输入还可以包括音频、文本、图像、图形等。存储/发送单元1403通过封装这种不同类型的媒体比特流来生成传输或媒体文件。
所公开的实施例可以是能够在视频通信的应用中生成或处理视频(或图像)比特流的设备，例如，移动电话、计算机、媒体服务器、便携式移动终端、数码相机、广播设备、CDN(content distribution network，内容分发网络)设备、监视相机、视频会议设备等。
图15是示出包含如图3所示的示例视频解码器或图像解码器的另一示例性设备的框图。
接收单元1501通过从有线或无线网络获得比特流、通过读取电子设备中的存储器或磁盘、或者通过经由数据链路从其他设备获取数据来接收视频或图像比特流。
接收单元1501的输入还可以包括包含视频或图像比特流的传输流或媒体文件。接收单元901根据传输或媒体文件格式的规范从传输流或媒体文件中提取视频或图像比特流。
接收单元1501输出视频或图像比特流并将其传递给解码器1502。注意，除了视频或图像比特流之外，接收单元1501的输出还可以包括音频比特流、字符、文本、图像、图形等。在该说明性实施例中，接收单元1501将输出传递给相对应的处理单元。例如，接收单元1501将输出的音频比特流传递给该设备中的音频解码器。
解码器1502是图3中示出的示例解码器的实施方式。编码器1502的输入是由接收单元1501输出的视频或图像比特流。解码器1502解码视频或图像比特流，并输出解码的视频或图像。
再现单元1503从解码器1502接收解码的视频或图像。再现单元1503向观看者呈现解码的视频或图像。在示例中，再现单元1503可以是屏幕。再现单元1503也可以是与该说明性实施例分离的设备，但是包括到该实施例的数据链路。例如，渲染单元1503可以是投影仪、监视器、电视机等。在一些实施例中，再现单元1503在将解码的视频或图像呈现给观看者之前对其执行后处理，例如自动白平衡、自动对焦、自动曝光、背光补偿、锐化、去噪、拼接、上采样/下采样、帧率转换、虚拟视图合成等。
在一些实施例中，并且除了接收解码的视频或图像之外，再现单元1503的输入可以是来自该说明性实施例的一个或多个单元的其他媒体数据，例如音频、字符、文本、图像、图形等。再现单元1503的输入还可以包括人工数据，例如，由本地教师在幻灯片上绘制的、用于在远程教育应用中吸引注意力的线条和标记。再现单元1503将不同类型的媒体组合在一起，并且然后将该组合呈现给观察者。
该说明性实施例可以是能够在视频通信的应用中解码或处理视频(或图像)比特流的设备，例如，移动电话、计算机、机顶盒、电视机、监视器、媒体服务器、便携式移动终端、数码相机、广播设备、CDN(内容分发网络)设备、视频监控、视频会议设备等。
图16是示出包含图14和图15中示出实施例的示例性电子***的框图。
在一些实施例中，源设备1601可以是图14中示出的示例性实施例。存储介质/传输网络1602可以包括设备或电子***的内部存储器资源、可通过数据链路访问的外部存储器资源、由有线和/或无线网络构成的数据传输网络。存储介质/传输网络1602为源设备1601中的存储/发送单元1403提供存储资源或数据传输网络。
在一些实施例中，目的设备1603可以是图15中示出的示例性实施例。目的设备1603中的接收单元1501从存储介质/传输网络1602接收视频或图像比特流、包含视频或图像比特流的传输流或包含视频或图像比特流的媒体文件。
在该示例性实施例中描述的电子***可以是能够在视频通信的应用中生成、存储或传输以及解码视频(或图像)比特流的设备或***，例如，移动电话、计算机、IPTV***、OTT***、互联网上的多媒体***、数字电视广播***、视频监控***、便携式移动终端、数码相机、视频会议***等。
图17是视频处理装置1700的框图。装置1700可以用于实施本文描述的方法中的一个或多个。装置1700可以体现在智能手机、平板电脑、计算机、物联网(Internet of Thing，IoT)接收器等中。装置1700可以包括一个或多个处理器1702、一个或多个存储器1704和视频处理硬件1706。一个或多个处理器1702可以被配置成实施本文档中描述的一种或多种方法(包括但不限于方法1300)。存储器(多个存储器)1704可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件1706可以用于在硬件电路中实施本文档中描述的一些技术。
本说明书以及附图旨在仅被认为是示例性的，其中示例性意味着示例，并且除非另有说明，并不暗示理想的或优选的实施例。如本文所用，“或”的使用旨在包括“和/或”，除非上下文清楚地另外指明。
本文描述的一些实施例是在方法或处理的一般上下文中描述的，在一个实施例中，这些方法或处理可以由实现在计算机可读介质中的计算机程序产品来实施，该计算机程序产品包括由联网环境中的计算机执行的计算机可执行指令，诸如程序代码。计算机可读介质可以包括可移动和不可移动存储设备，包括但不限于只读存储器(Read OnlyMemory，ROM)、随机存取存储器(Random AccessMemory，RAM)、光盘(compact disc，CD)、数字多功能光盘(digital versatiledisc，DVD)等。因此，计算机可读介质可以包括非暂时性存储介质。一般而言，程序模块可以包括执行特定任务或实施特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机或处理器可执行指令、相关联的数据结构和程序模块代表用于执行本文公开的方法的步骤的程序代码的示例。这种可执行指令或相关联的数据结构的特定序列表示用于实施在这种步骤或处理中描述的功能的相对应的动作的示例。
公开的实施例中的一些可以被实施为使用硬件电路、软件或其组合的设备或模块。例如，硬件电路实施方式可以包括分立的模拟和/或数字组件，这些组件例如被集成为印刷电路板的一部分。可替选地或附加地，所公开的组件或模块可以被实施为专用集成电路(Application Specific Integrated Circuit，ASIC)和/或现场可编程门阵列(FieldProgrammable Gate Array，FPGA)设备。一些实施方式可以附加地或可替选地包括数字信号处理器(digital signal processor，DSP)，该数字信号处理器是具有针对与本申请的公开的功能相关联的数字信号处理的操作需求而优化的架构的专用微处理器。类似地，每个模块内的各种组件或子组件可以以软件、硬件或固件来实施。模块和/或模块内的组件之间的连接性可以使用本领域已知的连接方法和介质中的任何一种来提供，包括但不限于使用适当的协议通过互联网、有线或无线网络的通信。
尽管本文件包含许多细节，但这些细节不应被解释为对要求保护的发明的范围或可能要求保护的内容的限制，而是解释为对特定实施例的特定特征的描述。在本文档中在分离的实施例的上下文中描述的某些特征也可以在单个实施例中以组合的方式实施。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中分离地实施或者以任何合适的子组合实施。而且，尽管特征可以在上文中被描述为在某些组合中起作用，并且甚至最初被如此要求保护，但是在一些情况下，来自所要求保护的组合的一个或多个特征可以从该组合中删除，并且所要求保护的组合可以针对子组合或子组合的变型。类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该理解为要求以所示的特定顺序或顺次执行这些操作、或者要求执行所有示出的操作，以获得期望的结果。
仅描述了几个实施方式和示例，并且可以基于本公开中描述和示出的内容进行其他实施方式、增强和变化。

Claims (18)

1.一种用于视频编码的方法，所述方法包括：
(a)选择第一组参考样本，所述第一组参考样本是当前块的重构的相邻样本；以及
(b)通过内插第一组参考样本中的至少一个和第二组参考样本中的至少一个来确定所述当前块的预测样本的预测值，
其中所述第二组参考样本中的参考样本基于所述第一组参考样本中的第一样本和第二样本的加权和，
其中所述参考样本与所述第一样本水平对齐，
其中所述参考样本与所述第二样本竖直对齐，并且
其中所述参考样本相对于所述第一样本和所述第二样本中的一个定位在所述预测样本的相对侧上。
2.根据权利要求1所述的方法，还包括：
(c)对所述当前块的每个样本重复步骤(a)和(b)；
(d)使用对应于所述当前块的每个样本的预测值来计算所述当前块的残差；以及
(e)将所述残差编码成比特流。
3.根据权利要求1所述的方法，还包括：
(c)解析所述当前块的比特流表示，以确定所述当前块的残差；以及
(d)基于所述预测样本和所述残差的和来重构所述当前块的样本。
4.根据权利要求1至3中的任一项所述的方法，其中所述第一样本是左相邻样本，其中所述第二样本是右上相邻样本，并且其中所述第一样本、所述预测样本和所述参考样本具有相同的行索引。
5.根据权利要求1至3中的任一项所述的方法，其中所述第一样本是左相邻样本，其中所述第二样本是右下相邻样本，并且其中所述第一样本、所述预测样本和所述参考样本具有相同的行索引。
6.根据权利要求1至3中的任一项所述的方法，其中所述第一样本是上相邻样本，其中所述第二样本是左下相邻样本，并且其中所述第一样本、所述预测样本和所述参考样本具有相同的列索引。
7.根据权利要求1至3中的任一项所述的方法，其中所述第一样本是上相邻样本，其中所述第二样本是右下相邻样本，并且其中所述第一样本、所述预测样本和所述参考样本具有相同的列索引。
8.根据权利要求1至3中的任一项所述的方法，其中所述第一样本是右相邻样本，其中所述第二样本是左上相邻样本，并且其中所述第一样本、所述预测样本和所述参考样本具有相同的行索引。
9.根据权利要求1至3中的任一项所述的方法，其中所述第一样本是右相邻样本，其中所述第二样本是左下相邻样本，并且其中所述第一样本、所述预测样本和所述参考样本具有相同的行索引。
10.根据权利要求1至3的中任一项所述的方法，其中所述第一样本是下相邻样本，其中所述第二样本是左上相邻样本，并且其中所述第一样本、所述预测样本和所述参考样本具有相同的列索引。
11.根据权利要求1至3中的任一项所述的方法，其中所述第一样本是下相邻样本，其中所述第二样本是右上相邻样本，并且其中所述第一样本、所述预测样本和所述参考样本具有相同的列索引。
12.根据权利要求1至11中的任一项所述的方法，其中所述加权和包括：乘以所述第一样本的第一权重和乘以所述第二样本的第二权重。
13.根据权利要求12所述的方法，其中所述第一权重和所述第二权重基于所述参考样本和所述第一样本之间的距离以及所述参考样本和所述第二样本之间的距离。
14.根据权利要求12所述的方法，其中所述第一权重等于所述第二权重。
15.根据权利要求1至14中的任一项所述的方法，其中所述插值包括所述第一组参考样本中的至少一个和所述第二组参考样本中的至少一个的平均值。
16.根据权利要求1至14中任一项所述的方法，其中所述插值包括所述第一组参考样本中的至少一个和所述第二组参考样本中的至少一个的加权和。
17.一种视频***中的装置，包括处理器和其上带有指令的非暂时性存储器，其中所述指令在由所述处理器执行时，使得所述处理器实施根据权利要求1至16中的任一项所述的方法。
18.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于执行根据权利要求1至16中的任一项所述的方法的程序代码。
CN201880096476.6A 2018-08-24 2018-08-24 用于视觉媒体编码和解码的平面预测模式 Active CN112567739B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/102315 WO2020034247A1 (en) 2018-08-24 2018-08-24 Planar prediction mode for visual media encoding and decoding

Publications (2)

Publication Number Publication Date
CN112567739A true CN112567739A (zh) 2021-03-26
CN112567739B CN112567739B (zh) 2023-10-13

Family

ID=69524936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880096476.6A Active CN112567739B (zh) 2018-08-24 2018-08-24 用于视觉媒体编码和解码的平面预测模式

Country Status (6)

Country Link
US (1) US11641470B2 (zh)
EP (1) EP3841747A4 (zh)
JP (1) JP7410149B2 (zh)
KR (1) KR102634068B1 (zh)
CN (1) CN112567739B (zh)
WO (1) WO2020034247A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3932064B1 (en) * 2019-09-23 2023-05-03 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods of complexity reduction on intra prediction for the planar mode
CN115943629A (zh) * 2020-06-04 2023-04-07 交互数字Vc控股法国有限公司 视频编码中基于神经网络的滤波器

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2391129A1 (en) * 2010-05-25 2011-11-30 Lg Electronics Inc. New planar prediction mode
CN105594213A (zh) * 2013-07-15 2016-05-18 三星电子株式会社 针对视频编码中的倾斜模式的帧内预测改进的方法
CN107113434A (zh) * 2014-11-10 2017-08-29 三星电子株式会社 用于视频编码中帧内预测的***和方法
US20180063553A1 (en) * 2016-08-15 2018-03-01 Qualcomm Incorporated Intra video coding using a decoupled tree structure
WO2018044089A1 (ko) * 2016-08-31 2018-03-08 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN107810635A (zh) * 2015-06-16 2018-03-16 Lg 电子株式会社 图像编译***中基于照度补偿预测块的方法和设备
CN108141585A (zh) * 2015-10-22 2018-06-08 Lg 电子株式会社 视频编码***中的帧内预测方法和装置
WO2018125972A1 (en) * 2016-12-28 2018-07-05 Arris Enterprises Llc Adaptive unequal weight planar prediction

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170099490A1 (en) * 2015-10-02 2017-04-06 Qualcomm Incorporated Constrained intra-prediction for block copy mode
US10194170B2 (en) * 2015-11-20 2019-01-29 Mediatek Inc. Method and apparatus for video coding using filter coefficients determined based on pixel projection phase
KR101783460B1 (ko) 2016-06-30 2017-10-12 저주 진 조립식 보강벽돌
CN106469011B (zh) 2016-08-31 2019-03-01 维沃移动通信有限公司 一种信息显示方法及移动终端
US10382781B2 (en) 2016-09-28 2019-08-13 Qualcomm Incorporated Interpolation filters for intra prediction in video coding
US20200228831A1 (en) 2017-07-26 2020-07-16 Lg Electronics Inc. Intra prediction mode based image processing method, and apparatus therefor
CN111034196B (zh) * 2017-08-21 2023-11-17 韩国电子通信研究院 用于对视频进行编码/解码的方法和设备以及存储比特流的记录介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2391129A1 (en) * 2010-05-25 2011-11-30 Lg Electronics Inc. New planar prediction mode
CN105594213A (zh) * 2013-07-15 2016-05-18 三星电子株式会社 针对视频编码中的倾斜模式的帧内预测改进的方法
CN107113434A (zh) * 2014-11-10 2017-08-29 三星电子株式会社 用于视频编码中帧内预测的***和方法
CN107810635A (zh) * 2015-06-16 2018-03-16 Lg 电子株式会社 图像编译***中基于照度补偿预测块的方法和设备
CN108141585A (zh) * 2015-10-22 2018-06-08 Lg 电子株式会社 视频编码***中的帧内预测方法和装置
US20180063553A1 (en) * 2016-08-15 2018-03-01 Qualcomm Incorporated Intra video coding using a decoupled tree structure
WO2018044089A1 (ko) * 2016-08-31 2018-03-08 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2018125972A1 (en) * 2016-12-28 2018-07-05 Arris Enterprises Llc Adaptive unequal weight planar prediction

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KRIT PANUSOPONE ET AL.: "CE3: Unequal Weight Planar Prediction (Test 1.5.1)", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *
KRIT PANUSOPONE ET AL.: "CE3: Unequal Weight Planar Prediction (Test 1.5.1)", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》, 20 July 2018 (2018-07-20), pages 1 - 6 *

Also Published As

Publication number Publication date
KR20210047337A (ko) 2021-04-29
CN112567739B (zh) 2023-10-13
JP7410149B2 (ja) 2024-01-09
EP3841747A4 (en) 2022-04-13
KR102634068B1 (ko) 2024-02-05
JP2022508373A (ja) 2022-01-19
EP3841747A1 (en) 2021-06-30
US11641470B2 (en) 2023-05-02
WO2020034247A1 (en) 2020-02-20
US20210243447A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
US11589047B2 (en) Video encoding and decoding methods and apparatus
US11516510B2 (en) Transform in intra prediction-based image coding
US20220038721A1 (en) Cross-component quantization in video coding
JP7400082B2 (ja) パレットモードに基づく画像またはビデオコーディング
US20220417517A1 (en) Image decoding method using cclm prediction in image coding system, and apparatus therefor
US11641470B2 (en) Planar prediction mode for visual media encoding and decoding
US20200145663A1 (en) Image decoding method and apparatus using projection-type based quantisation parameters in image coding system for 360-degree video
JP2023073286A (ja) イントラ予測のためのデバイスおよび方法
US20210400295A1 (en) Null tile coding in video coding
CN111713106A (zh) 用信号发送360度视频信息
CN115699775A (zh) 视频或图像编码***中基于单色颜色格式的色度去块参数信息的图像编码方法
KR20220097997A (ko) 루프 필터링을 제어하는 영상 코딩 장치 및 방법
US20230164356A1 (en) Method and apparatus for coding image on basis of transform
CN114586354A (zh) 基于矩阵的帧内预测设备和方法
KR20240091111A (ko) 비디오 인코딩 및 디코딩 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant