CN117501692A - 用于视频编码和解码的模板匹配预测 - Google Patents
用于视频编码和解码的模板匹配预测 Download PDFInfo
- Publication number
- CN117501692A CN117501692A CN202280026726.5A CN202280026726A CN117501692A CN 117501692 A CN117501692 A CN 117501692A CN 202280026726 A CN202280026726 A CN 202280026726A CN 117501692 A CN117501692 A CN 117501692A
- Authority
- CN
- China
- Prior art keywords
- block
- current block
- template
- prediction
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 88
- 238000012545 processing Methods 0.000 claims abstract description 39
- 230000001413 cellular effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims 3
- 230000008569 process Effects 0.000 description 31
- 230000015654 memory Effects 0.000 description 26
- 238000004891 communication Methods 0.000 description 18
- 230000009466 transformation Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000013139 quantization Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000005192 partition Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 101710112672 Probable tape measure protein Proteins 0.000 description 2
- 101710204224 Tape measure protein Proteins 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种用于处理视频信息的方法、装置或***,该方法、装置或***能够涉及基于与图片信息的当前块相关联的模板和与解码图片信息的区域中的至少一个其他块相关联的至少一个其他模板的比较来确定用于该当前块的预测块,其中该比较基于与该当前块的大小无关的每个像素的恒定比较次数;以及基于该预测块对该当前块进行解码/编码。
Description
技术领域
本公开涉及视频压缩。
背景技术
为了实现高压缩效率,图像和视频编码方案通常采用预测和变换来利用视频内容中的空间和时间冗余。通常,帧内或帧间预测用于利用帧内或帧间相关性,然后原始画面块与预测画面块之间的差(通常表示为预测误差或预测残差)被变换、量化和熵编码。为了重建视频,通过对应于熵编码、量化、变换和预测的逆过程对压缩数据进行解码。
发明内容
通常,实施方案的至少一个示例涉及用于视频编码或解码的方法或装置,包括基于如本文所述确定的搜索范围提供采用模板匹配预测的帧内预测处理模式。
实施方案的至少一个示例可涉及一种用于视频编码或解码的方法或装置,包括提供采用基于模板搜索的模板匹配预测的帧内预测处理模式,该模板搜索具有每个像素固定比较次数,而不管块尺寸如何。
实施方案的至少一个示例可涉及一种用于视频编码或解码的方法或装置,包括:提供采用基于模板搜索的模板匹配预测的帧内预测处理模式,该模板搜索具有每个像素固定比较次数,而不管块尺寸如何;以及修改搜索范围,使得可以执行并行处理。
实施方案的至少一个示例可涉及一种包括以下的装置:一个或多个处理器,该一个或多个处理器被配置为:基于与图片信息的当前块相关联的模板和与解码图片信息的区域中的至少一个其他块相关联的至少一个其他模板的比较来确定用于当前块的预测块,其中该比较基于与当前块的大小无关的每个像素的恒定比较次数;以及基于预测块对当前块进行解码。
实施方案的至少一个示例可涉及一种方法,该方法包括:基于与图片信息的当前块相关联的模板和与解码图片信息的区域中的至少一个其他块相关联的至少一个其他模板的比较来确定用于当前块的预测块,其中该比较基于与当前块的大小无关的每个像素的恒定比较次数;以及基于预测块对当前块进行解码。
实施方案的至少一个示例可涉及一种包括以下的装置:一个或多个处理器,该一个或多个处理器被配置为:基于与图片信息的当前块相关联的模板和与重建的图片信息的区域中的至少一个其他块相关联的至少一个其他模板的比较来确定用于当前块的预测块,其中该比较基于与当前块的大小无关的每个像素的恒定比较次数;以及基于预测块对当前块进行编码。
实施方案的至少一个示例可涉及一种方法,该方法包括:一个或多个处理器,该一个或多个处理器被配置为:基于与图片信息的当前块相关联的模板和与重建的图片信息的区域中的至少一个其他块相关联的至少一个其他模板的比较来确定用于当前块的预测块,其中该比较基于与当前块的大小无关的每个像素的恒定比较次数;以及基于预测块对当前块进行编码。
根据至少一个实施方案的另一个一般方面,提供了一种设备,该设备包括:根据解码实施方案中的任一实施方案的装置;以及以下项中的至少一者:(i)天线,该天线被配置为接收信号,该信号包括视频块;(ii)频带限制器,该频带限制器被配置为将所接收的信号限制为包括该视频块的频带;和(iii)显示器,该显示器被配置为显示表示视频块的输出。
根据至少一个实施方案的另一个一般方面,提供了一种非暂态计算机可读介质,该非暂态计算机可读介质包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。
根据至少一个实施方案的另一个一般方面,提供了一种存储程序指令的计算机程序产品,该程序指令在由处理器执行时适于实施本文所述的方法的一个或多个实施方案。
根据至少一个实施方案的另一个一般方面,提供了一种信号,该信号包括根据所描述的编码实施方案或变体中的任一者生成的视频数据。
根据至少一个实施方案的另一个一般方面,比特流被格式化以包括根据所描述的编码实施方案或变体中的任一者生成的数据内容。
以上呈现主题的简化概述,以便提供对本公开的一些方面的基本理解。本发明内容不是主题的广泛概述。它并不旨在标识实施方案的关键/必要要素或描绘主题的范围。其唯一目的是以简化形式呈现主题的一些构思,作为下面提供的更详细描述的前言。
附图说明
通过结合附图考虑以下详细描述可更好地理解本公开,其中:
图1以框图的形式示出适合于实现本文所述的各个方面、特征和实施方案的编码器(例如,视频编码器)的实施方案的示例;
图2以框图的形式示出适合于实现本文所述的各个方面、特征和实施方案的解码器(例如,视频解码器)的实施方案的示例;
图3示出了帧内预测模式,诸如在通用视频编码(VVC)中;
图4示出了模板匹配预测(TMP)的示例;
图5示出了视频编码中的并行处理诸如波前并行处理(WPP)的示例;
图6示出了通常可涉及利用单个搜索区域的TMP的至少一个实施方案的示例;
图7示出了通常可涉及利用多个搜索区域的TMP的至少一个实施方案的示例;
图8示出了通常可涉及利用相对小搜索范围的TMP的至少一个实施方案的示例,其中并非当前编码树单元(CTU)内的所有像素均可使用;
图9示出了通常可涉及利用波前并行处理(WPP)的TMP的至少一个实施方案的示例;
图10示出了通常可涉及利用限于当前CTU行的搜索范围使得允许进行独立CTU行解码的TMP的至少一个实施方案的示例;
图11是通常可涉及其中当上模板超过CTU行时忽略该上模板的TMP的至少一个实施方案的示例;
图12以框图的形式示出了适合于实现本公开的一个或多个实施方案、方面或特征的装置或设备或***的实施方案的示例;
图13示出了根据本公开的至少一个实施方案的示例;
图14示出了根据本公开的至少一个实施方案的示例;并且
图15示出了根据本公开的至少一个实施方案的示例。
应当理解,附图是为了说明根据本公开的各个方面、特征和实施方案的示例,并且不一定是唯一可能的配置。贯穿各个附图,相同的参考指示符是指相同或相似的特征。
具体实施方式
如下文将更详细地描述,视频编解码器可涉及帧内预测处理模式。帧内预测的一个示例可采用模板匹配预测过程。模板匹配预测可基于特定区域中的模板搜索。本文所述的实施方案的至少一个示例可涉及具有每个像素固定比较次数的模板匹配预测。每个像素的固定比较次数可以与块尺寸无关。在至少一个其他实施方案中,模板匹配预测可涉及固定比较次数,而与块尺寸无关,并且修改搜索范围使得可以执行并行处理。
视频编码方法的一个示例是由高效视频编码(HEVC)提供的。视频压缩技术的最新补充包括各种版本的参考软件和/或称为联合探索模型(JEM)的文档,该模型由联合视频探索团队(JVET)开发,作为被称为通用视频编码(VVC)的新视频编码标准开发的一部分。JEM的目的在于进一步改进现有HEVC(高效视频编码)标准,例如,提高编码效率、降低复杂性等。
为了便于解释,可在特定标准(诸如VVC)的上下文中描述本文所述的实施方案的一个或多个方面和/或示例和/或特征的示例。然而,对VVC或任何其它特定标准的标引不意旨在限制,并且不限制本文所述的各种实施方案和特征的潜在应用的范围。
现在转到附图,图1示出了视频编码器100(高效视频编码(HEVC)编码器)的示例。设想该编码器100的变型形式。然而,为了清楚起见,下文对编码器100进行说明,而不对所有期望的变型形式进行说明。例如,图1还可以示出其中对HEVC标准进行改进的编码器或采用类似于HEVC的技术的编码器,诸如JVET(联合视频探索团队)正在开发的JEM(联合探索模型)编码器,作为被称为通用视频编码(VVC)的新视频编码标准开发的一部分。
在经过编码之前,视频序列可经过预编码处理(101),例如,将颜色变换应用于输入的彩色图片(例如,从RGB 4:4:4转换到YCbCr 4:2:0),或执行输入图片分量的重新映射,以便获取更能弹性应对压缩的信号分布(例如,使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联并且附接到比特流。
在HEVC中,为了对具有一个或多个图片的视频序列进行编码,将图片分割(102)成一个或多个切片,其中每个切片可包括一个或多个切片片段。将切片片段组织成编码单元、预测单元和变换单元。HEVC规格区分“块”和“单元”,其中“块”处理样本阵列中的特定区域(例如,亮度、Y),并且“单元”包括与块相关联的所有编码的颜色分量(Y、Cb、Cr或单色)、语法元素和预测数据的并置块(例如,运动向量)。
对于HEVC中的编码,将图片分割成具有可配置大小的正方形形状的编码树块(CTB),并且将连续的一组编码树块分组为切片。编码树单元(CTU)包含编码的颜色分量的CTB。CTB是分区为编码块(CB)的四叉树的根,并且编码块可被分区为一个或多个预测块(PB)并且形成分区为变换块(TB)的四叉树的根。对应于编码块、预测块和变换块,编码单元(CU)包括预测单元(PU)和树形结构集合的变换单元(TU),PU包括所有颜色分量的预测信息,并且TU包括每个颜色分量的残差编码语法结构。亮度分量的CB、PB和TB的大小适用于对应的CU、PU和TU。图3中示出将HEVC中的编码树单元(CTU)划分成编码单元(CU)、预测单元(PU)和变换单元(TU)的图示。
在JEM中,QTBT(四叉树加二叉树)结构消除了HEVC中的多个分区类型的概念,即消除了CU概念、PU概念和TU概念的区分。首先,通过四叉树结构对编码树单元(CTU)进行分区。四叉树叶节点由二叉树结构进一步划分。二叉树叶节点被命名为编码单元(cu),其用于预测和变换,而无需进一步分区。因此,在新的编码QTBT块结构中,CU、PU和TU的块尺寸相同。在JEM中,CU由不同颜色分量的块(即,编码块(CB))组成。
在本申请中,术语“块”可用于指代例如CTU、CU、PU、TU、CB、PB和TB中的任一者。另外,“块”还可以用于指代H.264/AVC或其他视频编码标准中所指定的宏块和分区,并且更一般地指代各种大小的数据阵列。
在编码器100中,如下所述,图片由编码器元件进行编码。在例如CU的单元中对待编码的图片进行分区(102)和处理。例如,使用帧内模式或帧间模式对每个单元进行编码。当以帧内模式对单元进行编码时,该单元执行帧内预测(160)。在帧间模式中,执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一者对单元进行编码,以及通过例如预测模式标志来指示帧内/帧间决策。例如,通过从初始图像块减去(110)预测块来计算预测残差。
然后,对预测残差进行变换(125)和量化(130)。对经量化变换系数以及运动向量和其他语法元素进行熵编码(145)以输出比特流。该编码器可跳过变换,并对未变换的残差信号直接应用量化。该编码器可绕过变换和量化两者,即,在不应用变换或量化过程的情况下直接对残差进行编码。
该编码器对编码块进行解码以提供进一步预测的参考。对经量化变换系数进行解量化(140)和逆变换(150)以对预测残差进行解码。组合(155)经解码的预测残差和预测块,重建图像块。将环内滤波器(165)应用于重建的图片以执行例如解块/SAO(样本自适应偏移)滤波,从而减少编码伪影。将经滤波的图像存储在参考图片缓冲器(180)处。
图2示出了视频解码器200的框图。在解码器200中,由解码器元件对比特流进行解码,如下所述。视频解码器200通常执行与如图1所述的编码道次互逆的解码道次。编码器100通常还执行视频解码作为对视频数据进行编码的一部分。
具体地,解码器的输入包括视频比特流,该视频比特流可由视频编码器100生成。首先,对比特流进行熵解码(230)以获得变换系数、运动向量和其他经编码的信息。图片分区信息指示如何对图片进行分区。因此,解码器可根据经解码的图片分区信息来划分(235)图片。对变换系数进行解量化(240)和逆变换(250)以对预测残差进行解码。组合(255)经解码的预测残差和预测块,重建图像块。可从帧内预测(260)或运动补偿预测(即,帧间预测)(275)获得(270)预测块。将环内滤波器(265)应用于重建的图像。将经滤波的图像存储在参考图片缓冲器(280)处。
经解码的图片还可经过解码后处理(285),例如,逆颜色变换(例如,从YCbCr 4:2:0转换到RGB 4:4:4)或执行与在预编码处理(101)中执行的重新映射过程相逆的逆重新映射。解码后处理可使用在预编码处理中导出并且在比特流中有信号通知的元数据。
如上所述,在HEVC视频压缩标准中,图片被划分为所谓的编码树单元(CTU),并且每个CTU由压缩域中的编码单元(CU)表示。然后,每个CU被给出一些帧内或帧间预测参数(预测信息)。为此,在空间上将其分区为一个或多个预测单元(PU),每个PU被分配一些预测信息。在CU级别上分配帧内或帧间编码模式。帧内或帧间预测用于利用帧内或帧间相关性。在变换块(TB)中对原始块与预测块之间的差异(通常代表预测误差或预测残差)进行变换、量化和熵编码。为了重建视频,通过对应于熵编码、量化、变换和预测的逆过程对压缩数据进行解码。
画面内预测是图像和视频压缩的基本部分。传统地,预测信号由当前块或编码单元的左侧和/或上方的L形重建像素(参考样本)生成或根据其生成。在帧内预测期间,基于沿着不同角度对参考样本进行假设来获得参考样本。该机制被称为角度预测。如图3中所示,视频编解码器诸如VVC提供了包括63个角度和DC和平面预测的65个帧内预测模式。
用多种工具来增强VVC中的传统帧内预测:
-交叉分量行性模型(CCLM):通过亮度重建样本的行性模型来生成色度预测块。
-多参考行预测(MRL):使用更多的参考样本来生成预测块。
-帧内子分区(ISP):预测块被分成共享相同的预测模式的4个子块。
-矩阵加权帧内预测(MIP):通过将参考样本与一些离行优化预测矩阵相乘来生成预测块。
-块内复制(IBC):通过从已经重建的图像部分复制另一个块来生成预测块,其中在比特流中发信号通知位移矢量。
用核心变换DCT-II或DST-VII与DCT-VIII的组合的另一模式(称为多变换选择(MTS))来变换残余块。经变换块可进一步用二次不可分变换来变换以进一步压缩残余块。该过程称为低频不可分离变换(LFNST)。
模板匹配预测(TMP)是不包括在VVC中的又一强大的帧内预测模式。其通过搜索一个或多个类似L形邻域(称为“模板”)以找到用于预测的一个或多个目标或候选块来执行。这在图4中示出。如果使用TMP,则当前模板由重建的L形相邻部分组成。发现类似的模板与当前模板差异很小。属于这些模板的块(目标块)用于通过对其求平均或者仅考虑具有最小模板差异的一个块来生成预测信号。
在视频编解码器诸如VVC中集成TMP需要与现有帧内工具的适当的互操作性。即:
-与ISP、MIP和MRL的交互
-与变换工具(MTS和LFNST、隐式MTS)的交互
-与组合的帧间和帧内预测(CIIP)的交互
通常,本文所述的实施方案的至少一个示例解决了这些交互并启用了该模式,同时提供了可接受的复杂度/速率失真(RD)性能权衡,例如用于VVC的后续简档或用于新编解码器。
可能与实施TPM相关联的一个问题来自每个像素的比较次数。对于给定的搜索范围,小块的比较次数远高于大块的比较次数。这增加了小块的复杂度,这可能成为编码处理的瓶颈。
另一个问题可能是TMP可能执行不允许并行处理的模板搜索。即,对于波前并行处理(WPP),要求CTU的解码处理独立于右上方以外的CTU。这在图5中指出。也就是说,如果前一个行程/行解码的右上方CTU已解码,则给定CTU行解码(图5中的“行程”)中的每个CTU都能解码。这导致重建部分的搜索范围有限。
通常,本文所述的实施方案的至少一个示例可涉及:
-定义独立于或不考虑块大小的每个像素比较次数,例如每个像素比较的固定次数或最大次数;以及/或者
-定义搜索范围,使得可以执行并行处理,例如,将搜索范围限制到重建的帧部分。
涉及每个像素的比较次数(诸如固定比较次数或最大比较次数)的实施方案的示例可以提供单个搜索区域。作为示例,搜索范围可以在单个区域中或限于单个区域。实施方案的示例可涉及位于当前块(CU/PU)的左上方的单个搜索区域。这样可以避免访问当前CTU中未解码的像素。搜索区域在图6中示出。
在实施方案的示例中,可以基于搜索范围或对应于搜索范围来确定比较次数。例如,对于宽度“search_w”且高度“search_h”的搜索范围,进行search_w x search_h次比较以选择最佳匹配块。也就是说,对于所述的示例,如下计算每个像素的比较次数(CompPerPixel):
CompPerPixel=search_w x search_h/(blk_w x blk_h)
其中blk_w和blk_height是当前块的宽度和高度。
为了固定CompPerPixel,search_w/blk_w和search_h/blk_h必须固定。换句话讲:
search_w=const x blk_w
search_h=const x blk_h
其中“const”是控制搜索范围的恒定值。“const”的值可以是固定值,或者通过高级语法(例如,SPS)发信号通知。
实施方案的至少一个其他示例可以涉及多个搜索区域或范围。多个搜索区域可能提供更高的编码增益。多个搜索区域的实施方案的示例可涉及基于除了具有当前CTU的重建像素之外还包括右上方和左侧CTU的重建像素中的一个或多个像素的区域或范围的搜索。图7示出多个搜索区域的示例。在图7的示例中,如下定义四个区域:
R1:在当前CTU内,从当前位置左上方开始
R2:左上方像素
R3:右上方像素
R4:左侧像素
这些搜索范围中的每个搜索范围均由搜索范围宽度(search_w)和搜索范围高度(search_h)定义。每个像素的总比较被计算为:
CompPerPixel=4x search_w x search_h/(blk_w x blk_h)
如在单个搜索区域的情况下,为了具有固定CompPerPixel,search_w/blk_w和search_h/blk_h必须是固定的。换句话讲:
search_w=const x blk_w
search_h=const x blk_h
对于小搜索范围,实施方案的示例可以基于使用的像素少于当前CTU内的所有像素,即不使用当前CTU内的所有像素、一部分像素或像素子集。这通过图8中示出的实施方案的示例来示出。
通常,实施方案的至少一个其他示例可涉及基于提供或启用并行处理诸如波前并行处理(WPP)的模板匹配预测。在实施方案的至少一个示例中,为了实现波前并行处理(WPP),应限制搜索范围使得不访问每个CTU行的右上方CTU以外的像素。也就是说,如果像素不是现成的,则不应使用。图9示出了其中将待用于TMP搜索的所允许CTU显示为阴影并且当前块位于白色非阴影CTU内的实施方案的示例。
通常,实施方案的至少一个其他示例可涉及独立的CTU行。例如,对于许多实时编码过程来说可能需要每个CTU行都可独立解码。也就是说,在当前CTU行和上述行之间不存在依赖性。为了启用TMP且具有独立的CTU行,可减小、控制或确定搜索范围,使得限制、不允许或停用对以上CTU行的存取,如图10中所示的示例所说明。
此外,在实施方案的至少一个其他示例中,当模板超过当前CTU行时,仅考虑左模板。这在当前块的垂直位置与CTU相同时发生。这在图11中示出。在这种情况下,上模板不用于找到最佳候选,而只使用左模板。
实施方案的至少一个其他示例涉及作为部分模板的模板。例如,当编码第一行或第一列中的CU时,顶部或左侧模板分别不可用。这在图14和图15中示出。在这种情况下,部分模板用于模板匹配预测。换句话说,如果参考模板超出或延伸到帧边界附近,则考虑在帧内的部分模板。图14示出了其中上模板不可用的实施方案的示例。在图14的示例中,仅左模板被用于模板匹配预测。也就是说,当前块的模板仅包括当前块左侧的第一区域,即,当前块左侧的第一左模板,并且与第二块相关联的待用于与当前块的模板进行比较的模板仅包括第二块左侧的第二区域,即,第二块左侧的第二左模板。因此,该比较仅基于对应块左侧的第一区域和第二区域,即第一左模板和第二左模板。图15示出了其中左模板不可用的示例。在图15的示例中,仅上模板被用于模板匹配预测。也就是说,当前块的模板仅包括当前块上方的第一区域,即,当前块上方的第一上模板,并且与第二块相关联的待用于与当前块的模板进行比较的模板仅包括第二块上方的第二区域,即,第二块上方的第二上模板。因此,该比较仅基于对应块上方的第一区域和第二区域,即第一上模板和第二上模板。
实施方案的另一个示例涉及当上模板和左模板都超过帧边界并且因此上模板和左模板都不可用时的特殊情况。例如,此特殊情况可能在对当前帧中的第一CU进行编码时发生。在这种情况下,预测被认为是DC预测,其中预测值被设置为:
1<<(bitDepth-1)
其中bitDepth是内部比特深度表示。
通常,可以以许多不同的形式实现本文描述和设想的实施方案的示例。上文描述的图1和图2和下文描述的图12提供了一些实施方案的示例,但是考虑了其他实施方案,并且图1、图2和图12的讨论不限制实施方式的广度。例如,本文所述的实施方案的一个或多个示例的至少一个方面通常涉及视频编码和解码,并且至少一个其他方面通常涉及传输生成或编码的比特流。这些方面和其他方面可在各种实施方案中实现,诸如方法、装置、其上存储有用于根据该方法中任一种对视频数据编码或解码的指令的计算机可读存储介质,和/或其上存储有根据该方法中任一种生成的比特流的计算机可读存储介质。另外,应当理解,本文提供的附图和本文提供的可能涉及行业标准或标准相关文献的文本或语法部分是为了说明各个方面和实施方案的示例的目的,并且不一定是唯一的可能配置。另外,在本申请中,术语“重建”和“解码”可以互换使用,术语“像素”和“样本”可以互换使用,术语“图像”、“图片”和“帧”可以互换使用。本文描述了各种方法,并且每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作,否则可修改或组合特定步骤和/或动作的顺序和/或用途。本专利申请中描述的各种方法和其他方面可用于修改模块,例如,图1中所示的视频编码器实施方案100的示例中包括的模块160以及图2中所示的视频解码器实施方案200的示例中包括的模块260。此外,本文描述的各种实施方案、特征等不限于VVC或HEVC,并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括VVC和HEVC)。除非另外指明或技术上排除在外,否则本申请中所述的方面可单独或组合使用。在本专利申请中使用各种数值,例如,最大量化矩阵的大小、所考虑的块大小的数量等。特定值是用于示例性目的,并且所描述的方面不限于这些特定值。
图12示出了在其中实现各种特征和实施方案的***的示例的框图。图12中的***1000可体现为包括下文所述的各个部件的设备,并且被配置为执行或实现本文档中所述的实施方案、特征等的示例中的一个或多个。此类设备的示例包括但不限于各种电子设备,诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视机接收器、个人视频录制***、连接的家用电器和服务器。***1000的元件可单独地或组合地具体体现在单个集成电路(IC)、多个IC和/或分立的部件中。例如,在至少一个实施方案中,***1000的处理和编码器/解码器元件跨多个IC和/或分立的部件分布。在各种实施方案中,***1000经由例如通信总线或通过专用输入端口和/或输出端口通信地耦接到一个或多个其他***或其他电子设备。通常,***1000被配置为实现本文档中所述的实施方案、特征等的示例中的一个或多个。
***1000包括至少一个处理器1010,该至少一个处理器被配置为执行加载在其中的指令以用于实现例如本文档中所述的各个方面。处理器1010可包括嵌入式存储器、输入输出接口以及如在本领域中是已知的各种其他电路。***1000包括至少一个存储器1020(例如,易失性存储器设备和/或非易失性存储器设备)。***1000包括存储设备1040,该存储设备可包括非易失性存储器和/或易失性存储器,包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例,存储设备1040可包括内部存储设备、附接的存储设备(包括可拆卸和不可拆卸的存储设备)和/或网络可访问的存储设备。
***1000包括编码器/解码器模块1030,该编码器/解码器模块被配置为例如处理数据以提供编码的视频或解码的视频,并且编码器/解码器模块1030可包括其自身的处理器和存储器。编码器/解码器模块1030表示可包括在设备中以执行编码和/或解码功能的一个或多个模块。众所周知,设备可包括编码模块和解码模块中的一者或两者。附加地,编码器/解码器模块1030可实现为***1000的独立元件,或者可结合在处理器1010内作为本领域的技术人员已知的硬件和软件的组合。
待加载到处理器1010或编码器/解码器1030上(例如,以执行或实现本文档中所述的实施方案、特征等的一个或多个示例)的程序代码可存储在存储设备1040中,并且随后被加载到存储器1020上以供处理器1010执行。根据各种实施方案,处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一者或多者可在本文档中所述的过程的执行期间存储各种项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码的视频或部分解码的视频、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。
在一些实施方案中,在处理器1010和/或编码器/解码器模块1030内部的存储器用于存储指令以及提供在编码或解码期间所需的用于处理的工作存储器。然而,在其他实施方案中,处理设备(例如,处理设备可以是处理器1010或编码器/解码器模块1030)外部的存储器用于这些功能中的一个或多个功能。外部存储器可以是存储器1020和/或存储设备1040,例如动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中,外部非易失性闪存存储器用于存储例如电视机的操作***。在至少一个实施方案中,快速外部动态易失性存储器诸如RAM用作视频编码和解码操作的工作存储器,诸如MPEG-2(MPEG是指运动图片专家组,MPEG-2也称为ISO/IEC 13818,并且13818-1也称为H.222,13818-2也称为H.262)、HEVC(HEVC是指高效视频编码,也称为H.265和MPEG-H部分2)或VVC(通用视频编码,由联合视频专家小组(JVET)开发的新标准)。
可通过如块1130中所指示的各种输入设备来提供对***1000的元件的输入。此类输入设备包括但不限于:(i)射频(RF)部分,其接收例如由广播器通过空中发射的RF信号;(ii)分量(COMP)输入端子(或一组COMP输入端子);(iii)通用串行总线(USB)输入端子;和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图3中未示出的其他示例包括复合视频。
在各种实施方案中,块1130的输入设备具有如在本领域中是已知的相关联的相应的输入处理元件。例如,RF部分可与适用于以下的元件相关联:(i)选择所需的频率(也称为选择信号,或将信号频带限制到一个频带),(ii)下变频选择的信号,(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带,(iv)解调下变频和频带限制的信号,(v)执行纠错,以及(vi)解复用以选择所需的数据包流。各种实施方案的RF部分包括用于执行这些功能的一个或多个元件,例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包括执行这些功能中的各种功能的调谐器,这些功能包括例如下变频接收信号至更低频率(例如,中频或近基带频率)或至基带。在一个机顶盒实施方案中,RF部分及其相关联的输入处理元件接收通过有线(例如,电缆)介质传输的RF信号,并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序,移除这些元件中的一些元件,和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间***元件,例如,***放大器和模数变换器。在各种实施方案中,RF部分包括天线。
另外地,USB和/或HDMI端子可包括用于跨USB和/或HDMI连接将***1000连接到其他电子设备的相应的接口处理器。应当理解,输入处理的各个方面(例如,Reed-Solomon错误校正)可在必要时例如在独立的输入处理IC内或在处理器1010内实现。相似地,USB或HDMI接口处理的方面可在必要时在独立的接口IC内或在处理器1010内实现。经解调、纠错和解复用的流被提供给各种处理元件,包括例如处理器1010和编码器/解码器1030,该编码器/解码器与存储器和存储元件结合操作以根据需要处理数据流以供在输出设备上呈现。
可在集成外壳内提供***1000的各种元件,在集成外壳内,使用合适的连接排布结构1140(例如,如在本领域中是已知的内部总线,包括IC间(I2C)总线、接线和印刷电路板),各种元件可互连并且在其间传输数据。
***1000包括通信接口1050,该通信接口允许经由通信信道1060与其他设备的通信。通信接口1050可包括但不限于收发器,该收发器被配置为通过通信信道1060传输和接收数据。通信接口1050可包括但不限于调制解调器或网卡,并且通信信道1060可例如在有线和/或无线介质内实现。
在各种实施方案中,使用无线网络诸如Wi-Fi网络例如IEEE 802.11(IEEE是指电气和电子工程师协会)将数据流式发射或以其他方式提供给***1000。这些实施方案的Wi-Fi信号是通过适于Wi-Fi通信的通信信道1060和通信接口1050接收的。这些实施方案的通信信道1060通常连接到接入点或路由器,该接入点或路由器提供对外部网络(包括互联网)的访问,以用于允许流式传输应用和其他越过运营商的通信。其他实施方案使用机顶盒向***1000提供流式传输的数据,该机顶盒通过输入块1130的HDMI连接来递送数据。还有其他实施方案使用输入块1130的RF连接向***1000提供流式传输的数据。如上所述,各种实施方案以非流式的方式提供数据。另外,各种实施方案使用除了Wi-Fi以外的无线网络,例如蜂窝网络或蓝牙网络。
***1000可向各种输出设备(包括显示器1100、扬声器1110和其他***设备1120)提供输出信号。各种实施方案的显示器1100包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一个或多个显示器。显示器1100可用于电视机、平板电脑、膝上型电脑、蜂窝电话(移动电话)或其他设备。显示器1100还可与其他部件集成(例如,如在智能电话中),或可以是独立的显示器(例如,用于膝上型电脑的外部监视器)。在实施方案的各种示例中,其他***设备1120包括独立数字视频光盘(或数字多功能光盘)(DVR,可表示这两个术语)、碟片播放器、立体声***和/或照明***中的一者或多者。各种实施方案使用一个或多个***设备1120,该一个或多个***设备基于***1000的输出来提供功能。例如,碟片播放器执行播放***1000的输出的功能。
在各种实施方案中,使用信令诸如AV.Link、消费电子控制(CEC)或允许带有或不带有用户干预的设备到设备控制的其他通信协议,在***1000与显示器1100、扬声器1110或其他***设备1120之间传送控制信号。可通过相应的接口1070、1080和1090经由专用连接将输出设备通信地耦接到***1000。另选地,可经由通信接口1050使用通信信道1060将输出设备连接到***1000。在电子设备(诸如例如电视机)中,显示器1100和扬声器1110可与***1000的其他部件集成在单个单元中。在各种实施方案中,显示器接口1070包括显示驱动器,诸如例如定时控制器(TCon)芯片。
例如,如果输入1130的RF部分是独立机顶盒的一部分,则显示器1100和扬声器1110可另选地相对于其他部件中的一个或多个部件而独立。在其中显示器1100和扬声器1110为外部部件的各种实施方案中,可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供输出信号。
该实施方案可通过由处理器1010实现的计算机软件,或由硬件,或由硬件和软件的组合来进行。作为非限制性示例,这些实施方案可由一个或多个集成电路实现。作为非限制性示例,存储器1020可以是适于技术环境的任何类型,并且可使用任何适当的数据存储技术(诸如光存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器)来实现。作为非限制性示例,处理器1010可以是适于技术环境的任何类型,并且可涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。
图13提供了实施方案的另一示例。在图13中,在1310处,确定了用于图片信息的当前块的预测块。1310处的确定是基于与当前块相关联的模板(例如,L形模板诸如图4中所示的具有在当前块左侧的第一部分和在当前块上方的第二部分)和与解码或重建的图片信息的区域中的至少一个其他块相关联的至少一个其他模板的比较。该比较可包括在解码或重建的图片信息的区域中搜索与当前块的模板匹配或最接近匹配的一个或多个模板。该比较可基于每个像素的恒定比较次数,与块大小无关,如本文例如关于图6或图7所述。与通过比较确定的一个或多个模板相关联的一个或多个块用于产生预测块。在1320处,基于预测块对当前块进行解码(或编码)。
除了本文所述的实施方案的示例之外,在整个本公开中还支持和考虑各种广义以及特定的实施方案。根据本公开的实施方案的示例包括但不限于以下实施方案。
通常,实施方案的至少一个示例涉及用于视频编码或解码的方法或装置,包括基于如本文所述确定的搜索范围提供采用模板匹配预测的帧内预测处理模式。
实施方案的至少一个示例可涉及一种用于视频编码或解码的方法或装置,包括提供采用基于模板搜索的模板匹配预测的帧内预测处理模式,该模板搜索具有每个像素固定比较次数,而不管块尺寸如何。
实施方案的至少一个示例可涉及一种用于视频编码或解码的方法或装置,包括:提供采用基于模板搜索的模板匹配预测的帧内预测处理模式,该模板搜索具有每个像素固定比较次数,而不管块尺寸如何;以及修改搜索范围,使得可以执行并行处理。
实施方案的至少一个示例可涉及一种包括以下的装置:一个或多个处理器,该一个或多个处理器被配置为:基于与图片信息的当前块相关联的模板和与解码图片信息的区域中的至少一个其他块相关联的至少一个其他模板的比较来确定用于当前块的预测块,其中该比较基于与当前块的大小无关的每个像素的恒定比较次数;以及基于预测块对当前块进行解码。
实施方案的至少一个示例可涉及一种方法,该方法包括:基于与图片信息的当前块相关联的模板和与解码图片信息的区域中的至少一个其他块相关联的至少一个其他模板的比较来确定用于当前块的预测块,其中该比较基于与当前块的大小无关的每个像素的恒定比较次数;以及基于预测块对当前块进行解码。
实施方案的至少一个示例可涉及一种包括以下的装置:一个或多个处理器,该一个或多个处理器被配置为:基于与图片信息的当前块相关联的模板和与重建的图片信息的区域中的至少一个其他块相关联的至少一个其他模板的比较来确定用于当前块的预测块,其中该比较基于与当前块的大小无关的每个像素的恒定比较次数;以及基于预测块对当前块进行编码。
实施方案的至少一个示例可涉及一种方法,该方法包括:一个或多个处理器,该一个或多个处理器被配置为:基于与图片信息的当前块相关联的模板和与重建的图片信息的区域中的至少一个其他块相关联的至少一个其他模板的比较来确定用于当前块的预测块,其中该比较基于与当前块的大小无关的每个像素的恒定比较次数;以及基于预测块对当前块进行编码。
实施方案的至少一个示例可涉及如本文所述的方法或装置,其中每个像素的恒定比较次数是固定值或通过高级语法信息发信号通知的值中的一种。
实施方案的至少一个示例可涉及如本文所述的方法或装置,其中出现该至少一个其他模板的区域包括在当前块左上方的区域。
实施方案的至少一个示例可涉及如本文所述的方法或装置,其中出现该至少一个其他模板的区域包括多个区域,该多个区域包括第一区域、第二区域、第三区域和第四区域,该第一区域包括在当前块左上方并且在包括当前块的当前CTU内的像素,该第二区域包括在当前CTU左上方的像素,该第三区域包括在当前CTU右上方的像素,该第四区域包括在当前CTU左侧的像素。
实施方案的至少一个示例可涉及如本文所述的方法或装置,其中出现该至少一个其他模板的区域包括被选择为使得能够进行波前并行处理的区域。
实施方案的至少一个示例可涉及如本文所述的方法或装置,其中出现该至少一个其他模板的区域包括被选择为使得能够对每个CTU行进行独立解码的区域。
实施方案的至少一个示例可涉及如本文所述的方法或装置,其中该区域被选择为使得解码不需要访问在包括当前块的CTU行上方的CTU行。
实施方案的至少一个示例可涉及如本文所述的方法或装置,其中与当前块相关联的模板包括在当前块左侧的第一部分和在当前块上方的第二部分,并且当第二部分在包括当前块的CTU行上方延伸时,该比较仅基于第一部分。
实施方案的至少一个示例可涉及包括如本文所述的装置和以下各项中的至少一者的设备:(i)天线,该天线被配置为接收信号,该信号包括表示图像信息的数据;(ii)频带限制器,该频带限制器被配置为将所接收的信号限制为包括表示图像信息的数据的频带;和(iii)显示器,该显示器被配置为显示来自图像信息的图像。
实施方案的至少一个示例可以涉及如本文所述的设备,其中该设备包括电视机、电视机信号接收器、机顶盒、网关设备、移动设备、蜂窝电话、平板计算机或其他电子设备中的一者。
通常,实施方案的另一个示例可涉及比特流或信号,该比特流或信号被格式化以包括语法元素和图片信息,其中,通过基于根据本公开的方法的实施方案的示例中的任何一个或多个示例的处理来生成该语法元素,并且对图片信息进行编码。
通常,实施方案的一个或多个其它示例还可以提供一种计算机可读存储介质,例如,非易失性计算机可读存储介质,其上存储有用于根据本文所述的方法或装置对画面信息(诸如视频数据)进行编码或解码的指令。一个或多个实施方案还可以提供一种计算机可读存储介质,该计算机可读存储介质具有存储在其上的根据本文所述的方法或装置生成的比特流。一个或多个实施方案还可以提供用于传输或接收根据本文所述的方法或装置生成的比特流或信号的方法和装置。
这些示例中的很多示例被具体描述并且至少为了显示各个特性,通常以可能看似具有限制性的方式描述。然而,这是为了描述清楚,并不限制这些方面的应用或范围。实际上,所有不同的方面可组合和互换以提供进一步的方面。此外,这些实施方案、特征等也可与先前提交中描述的其它实施方案、特征组合和互换。
各种具体实施参与解码。如本申请中所用,“解码”可涵盖例如对所接收的编码序列执行的过程的全部或部分,以便产生适于显示的最终输出。在各种实施方案中,此类过程包括通常由解码器执行的一个或多个过程,例如熵解码、逆量化、逆变换和差分解码。在各种实施方案中,此类过程还包括或另选地包括由本应用中所述的各种具体实施的解码器执行的过程。
作为进一步的示例,在实施方案中,“解码”仅是指熵解码,在另一个实施方案中,“解码”仅是指差分解码,并且在又一个实施方案中,“解码”是指熵解码和差分解码的组合。短语“解码过程”旨在具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的,并且被认为会被本领域的技术人员很好地理解。
各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式,如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码比特流的全部或部分过程。在各种实施方案中,此类过程包括通常由编码器执行的一个或多个过程,例如,分区、差分编码、变换、量化和熵编码。
作为进一步的示例,在实施方案中,“编码”仅是指熵编码,在另一个实施方案中,“编码”仅是指差分编码,并且在又一个实施方案中,“编码”是指差分编码和熵编码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的,并且据信将被本领域的技术人员很好地理解。
注意,本文所用的语法元素是描述性术语。因此,它们不排除使用其他语法元素名称。
当附图呈现为流程图时,应当理解,其还提供了对应装置的框图。类似地,当附图呈现为框图时,应当理解,其还提供了对应的方法/过程的流程图。
通常,本文所述的实施方案、实施方式、特征等的示例可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如,仅作为方法讨论),讨论的特征的具体实施也可以其他形式(例如,装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法的一个或多个示例可在例如一般是指处理设备的处理器中实现,该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备,诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。此外,本文中的术语“处理器”的使用意在广泛地涵盖一个处理器或多于一个处理器的各种配置。
提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型,意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此,短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。
另外,本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。
此外,本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如,从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。
另外,本申请可涉及“接收”各种信息。与“访问”一样,接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如,从存储器)中的一者或多者。此外,在诸如例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间,“接收”通常以一种方式或另一种方式参与。
应当理解,例如,在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下,使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(A),或仅选择第二列出的选项(B),或选择两个选项(A和B)。作为进一步的示例,在“A、B和/或C”和“A、B和C中的至少一者”的情况下,此类短语旨在涵盖仅选择第一列出的选项(A),或仅选择第二列出的选项(B),或仅选择第三列出的选项(C),或仅选择第一列出的选项和第二列出的选项(A和B),或仅选择第一列出的选项和第三列出的选项(A和C),或仅选择第二列出的选项和第三列出的选项(B和C),或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是,这可扩展到所列出的尽可能多的项目。
对于本领域的普通技术人员将显而易见的是,具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如,可格式化信号以携带所述实施方案的比特流。可格式化此类信号例如为电磁波(例如,使用频谱的射频部分)或基带信号。格式化可包括例如对数据流编码并且用编码的数据流调制载体。信号携带的信息可以是例如模拟或数字信息。已知的是,信号可通过各种不同的有线或无线链路发射。信号可存储在处理器可读介质上。
本文描述了各种实施方案。这些实施方案的特征可在各种权利要求类别和类型中单独地或以任何组合提供。此外,实施方案可包括以下特征、设备或方面中的一个或多个,单独地或以任何组合,跨各种权利要求类别和类型:
·提供视频编码和/或解码,包括:基于与图片信息的当前块相关联的模板和与解码图片信息的区域中的至少一个其他块相关联的至少一个其他模板的比较来确定用于当前块的预测块,其中该比较基于与当前块的大小无关的每个像素的恒定比较次数;以及基于预测块对当前块进行编码/解码。
·提供如本文所述的视频编码和/或解码,其中每个像素的恒定比较次数是固定值或通过高级语法信息发信号通知的值中的一种;
·提供如本文所述的视频编码和/或解码,其中出现该至少一个其他模板的区域包括在当前块左上方的区域;
·提供如本文所述的视频编码和/或解码,其中出现该至少一个其他模板的区域包括多个区域,该多个区域包括第一区域、第二区域、第三区域和第四区域,该第一区域包括在当前块左上方并且在包括当前块的当前CTU内的像素,该第二区域包括在当前CTU左上方的像素,该第三区域包括在当前CTU右上方的像素,该第四区域包括在当前CTU左侧的像素;
·提供如本文所述的视频编码和/或解码,其中出现该至少一个其他模板的区域包括被选择为使得能够进行波前并行处理的区域;
·提供如本文所述的视频编码和/或解码,其中出现该至少一个其他模板的区域包括被选择为使得能够对每个CTU行进行独立解码的区域;
·提供如本文所述的视频编码和/或解码,其中该区域被选择为使得解码不需要访问在包括当前块的CTU行上方的CTU行;
·提供如本文所述的视频编码和/或解码,其中与当前块相关联的模板包括在当前块左侧的第一部分和在当前块上方的第二部分,并且当第二部分在包括当前块的CTU行上方延伸时,该比较仅基于第一部分;
·提供包括一个或多个语法元素或其变型形式的比特流或信号;
·提供比特流或信号,该比特流或信号包括传递根据所述实施方案中任一项生成的信息的语法;
·提供在信令中***语法元素,这使得解码器能够以与编码器所使用的编码方式相对应的方式工作;
·在信令语法元素中***启用编码器和/或解码器以根据如本文所描述的实施方案、特征或实体中的任一者(单独地或以任何组合)提供编码和/或解码。
·基于这些语法元素,选择如本文所述的特征或实体(单独或以任何组合的方式),以在解码器处应用;
·提供创建和/或传输和/或接收和/或解码包括一个或多个所述语法元素或其变型的比特流或信号;
·提供根据所述实施方案中任一项所述的创建和/或传输和/或接收和/或解码比特流;
·根据所述实施方案中任一项所述的方法、过程、装置、存储指令的介质、存储数据的介质或信号;
·一种电视机、机顶盒、蜂窝电话、平板电脑或提供用于根据如本文所描述的实施方案、特征或实体中的任一者(单独地或以任何组合)应用编码和/或解码的其他电子设备;
·一种电视机、机顶盒、蜂窝电话、平板电脑或执行根据如本文所述的实施方案、特征或实体(单独或任何组合的)中的任一者的编码和/或解码并且显示(例如使用监视器、屏幕或其他类型的显示器)所得的图像的其他电子设备;
·一种电视机、机顶盒、蜂窝电话、平板电脑或调谐(例如,使用调谐器)信道以接收包括编码图像的信号并执行根据如本文所述的实施方案、特征或实体(单独或任何组合的)中的任一个的编码和/或解码的其他电子设备;
·一种电视机、机顶盒、蜂窝电话、平板电脑或接收(例如,使用天线)包括编码图像的空中信号并执行根据如本文所述的实施方案、特征或实体(单独或任何组合的)中的任一个的编码和/或解码的其他电子设备;
·一种存储程序代码的计算机程序产品,该程序代码被计算机执行根据如本文所述的实施方案、特征或实体(单独或任何组合的)中的任一个的编码和/或解码。
·一种非暂态计算机可读介质包括可执行程序指令,该可执行程序
指令使执行该指令的计算机实施根据如本文所述的实施方案、特征或实体(单独或任何组合的)中的任一个的编码和/或解码。
Claims (23)
1.一种装置,包括:
一个或多个处理器,所述一个或多个处理器被配置为基于与图片信息的当前块相关联的模板和与解码图片信息的区域中的至少一个其他块相关联的至少一个其他模板的比较来确定用于所述当前块的预测块,其中所述比较基于与所述当前块的大小无关的每个像素的恒定比较次数;以及
基于所述预测块对所述当前块进行解码。
2.一种方法,包括:
基于与图片信息的当前块相关联的模板和与解码图片信息的区域中的至少一个其他块相关联的至少一个其他模板的比较来确定用于所述当前块的预测块,其中所述比较基于与所述当前块的大小无关的每个像素的恒定比较次数;以及
基于所述预测块对所述当前块进行解码。
3.一种装置,包括:
一个或多个处理器,所述一个或多个处理器被配置为基于与图片信息的当前块相关联的模板和与重建的图片信息的区域中的至少一个其他块相关联的至少一个其他模板的比较来确定用于所述当前块的预测块,其中所述比较基于与所述当前块的大小无关的每个像素的恒定比较次数;以及
基于所述预测块对所述当前块进行编码。
4.一种方法,包括:
基于与图片信息的当前块相关联的模板和与重建的图片信息的区域中的至少一个其他块相关联的至少一个其他模板的比较来确定用于所述当前块的预测块,其中所述比较基于与所述当前块的大小无关的每个像素的恒定比较次数;以及
基于所述预测块对所述当前块进行编码。
5.根据前述权利要求中任一项所述的方法或装置,其中每个像素的所述恒定比较次数是固定值或通过高级语法信息发信号通知的值中的一种。
6.根据前述权利要求中任一项所述的装置或方法,其中出现所述至少一个其他模板的所述区域包括在所述当前块左上方的区域。
7.根据权利要求1至5中任一项所述的装置或方法,其中出现所述至少一个其他模板的所述区域包括多个区域,所述多个区域包括第一区域、第二区域、第三区域和第四区域,所述第一区域包括在所述当前块左上方并且在包括所述当前块的当前CTU内的像素,所述第二区域包括在所述当前CTU左上方的像素,所述第三区域包括在所述当前CTU右上方的像素,所述第四区域包括在所述当前CTU左侧的像素。
8.根据权利要求1至5中任一项所述的装置或方法,其中出现所述至少一个其他模板的所述区域包括被选择为使得能够进行波前并行处理的区域。
9.根据权利要求1至5中任一项所述的装置或方法,其中出现所述至少一个其他模板的所述区域包括被选择为使得能够对每个CTU行进行独立解码的区域。
10.根据权利要求9所述的装置或方法,其中所述区域被选择为使得解码不需要访问在包括所述当前块的CTU行上方的CTU行。
11.根据权利要求10所述的装置或方法,其中与所述当前块相关联的所述模板包括在所述当前块左侧的第一部分和在所述当前块上方的第二部分,并且当所述第二部分在包括所述当前块的CTU行上方延伸时,所述比较仅基于所述第一部分。
12.根据权利要求1至4中任一项所述的装置或方法,其中所述当前块的所述模板仅包括在所述当前块左侧的第一左模板,并且所述至少一个其他块的所述至少一个其他模板仅包括在所述至少一个其他块左侧的第二左模板,并且所述比较仅基于所述第一左模板和所述第二左模板。
13.根据权利要求12所述的装置或方法,其中所述当前块和所述预测块位于当前帧的第一行中。
14.根据权利要求1至4中任一项所述的装置或方法,其中所述当前块的所述模板仅包括在所述当前块上方的第一上模板,并且所述至少一个其他块的所述至少一个其他模板仅包括在所述至少一个其他块上方的第二上模板,并且所述比较仅基于所述第一上模板和所述第二上模板。
15.根据权利要求14所述的装置或方法,其中所述当前块位于当前帧的第一列中。
16.根据权利要求1至4中任一项所述的装置或方法,其中所述当前块对应于当前帧的第一编码单元,并且第一块的模板延伸超出所述当前帧的上边界和左边界两者。
17.根据权利要求14所述的装置或方法,其中确定所述预测块基于预测值被设置为1<<(bitDepth-1)的DC预测。
18.一种包括指令的计算机程序产品,所述指令在由计算机执行时使所述计算机执行根据权利要求2或4至17中任一项所述的方法。
19.一种存储可执行程序指令的非暂态计算机可读介质,所述可执行程序指令使执行所述指令的计算机执行根据权利要求2或4至17中任一项所述的方法。
20.一种信号,所述信号包括根据权利要求4或从属于权利要求4的权利要求5至17中任一项所述的方法生成的数据。
21.一种比特流,根据从属于权利要求4的权利要求5所述的方法,所述比特流被格式化为包括与指示恒定比较次数和编码图像信息相关联的语法元素。
22.一种设备,所述设备包括:
根据权利要求1或3或从属于权利要求1或权利要求3的权利要求5至17中任一项所述的装置;和
以下中的至少一者:(i)天线,所述天线被配置为接收信号,所述信号包括表示图像信息的数据;(ii)频带限制器,所述频带限制器被配置为将所接收的信号限制为包括表示所述图像信息的所述数据的频带;和(iii)显示器,所述显示器被配置为显示来自所述图像信息的图像。
23.根据权利要求22所述的设备,其中所述设备包括电视机、电视机信号接收器、机顶盒、网关设备、移动设备、蜂窝电话、平板电脑、计算机、膝上型电脑或其他电子设备中的一者。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21305403.4 | 2021-03-30 | ||
EP21305892.8 | 2021-06-29 | ||
EP21305892 | 2021-06-29 | ||
PCT/EP2022/057416 WO2022207400A1 (en) | 2021-03-30 | 2022-03-22 | Template matching prediction for video encoding and decoding |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117501692A true CN117501692A (zh) | 2024-02-02 |
Family
ID=76845168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280026726.5A Pending CN117501692A (zh) | 2021-03-30 | 2022-03-22 | 用于视频编码和解码的模板匹配预测 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117501692A (zh) |
-
2022
- 2022-03-22 CN CN202280026726.5A patent/CN117501692A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11729417B2 (en) | Generalized bi-prediction and weighted prediction | |
CN112970264A (zh) | 基于相邻样本相关参数模型的译码模式的简化 | |
US20220385922A1 (en) | Method and apparatus using homogeneous syntax with coding tools | |
US20230396805A1 (en) | Template matching prediction for versatile video coding | |
CN112771874A (zh) | 用于画面编码和解码的方法和设备 | |
WO2020117781A1 (en) | Method and apparatus for video encoding and decoding with adjusting the quantization parameter to block size | |
US11463712B2 (en) | Residual coding with reduced usage of local neighborhood | |
KR20220123666A (ko) | 가중-예측 파라미터들의 추정 | |
CN117280684A (zh) | 具有可切换内插滤波器的几何分区 | |
US20220038704A1 (en) | Method and apparatus for determining chroma quantization parameters when using separate coding trees for luma and chroma | |
CN115039409A (zh) | 用于视频编码和解码的残差处理 | |
CN114930819A (zh) | 三角形合并模式中的子块合并候选 | |
US20240171756A1 (en) | Template matching prediction for video encoding and decoding | |
CN117501692A (zh) | 用于视频编码和解码的模板匹配预测 | |
US20230336721A1 (en) | Combining abt with vvc sub-block-based coding tools | |
US20230232045A1 (en) | Scaling process for joint chroma coded blocks | |
US20220360781A1 (en) | Video encoding and decoding using block area based quantization matrices | |
US20220224902A1 (en) | Quantization matrices selection for separate color plane mode | |
US20210344962A1 (en) | Method and apparatus for video encoding and decoding with signaling of coding type or coding tree type | |
CN118140481A (zh) | 利用isp模式对基于模版的帧内模式推导(timd)进行扩展 | |
WO2023036639A1 (en) | Chroma prediction for video encoding and decoding based on template matching | |
EP3664450A1 (en) | Method and device for picture encoding and decoding | |
EP3595309A1 (en) | Method and apparatus for video encoding and decoding based on adaptive coefficient group | |
CN118120228A (zh) | 基于模板匹配的用于视频编码和解码的色度预测 | |
JP2022537222A (ja) | 局所照明補正フラグインヘリタンス |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |