CN112335246B - 用于基于适应性系数组的视频编码和解码的方法及设备 - Google Patents

Abstract

呈现了用于视频编码和解码的各种实现，涉及：针对图片中正被编码或解码的块，确定用于对图像块的变换系数集合中的至少一个系数进行编码的系数组模式；响应于系数组模式，对图像块的变换系数集合进行编码或解码。可以根据图像块尺寸、图像块内部的非零变换系数的数量、变换系数在图像块内部的位置、解码的语法元素中的至少一个来确定系数组模式，其中系数组模式可以指定是否对系数组有效标志进行编码/解码和/或指定系数组的至少一个尺寸，系数组有效标志指示在系数组内部至少一个系数非零。

Description

用于基于适应性系数组的视频编码和解码的方法及设备

技术领域

公开了用于将视频编码到比特流中的方法及设备。进一步公开了相应的解码方法及设备。

背景技术

在视频压缩领域，压缩效率始终是有挑战性的任务。

在现有的视频编码标准中，要编码的图片被划分为规则的正方形块或单元。通常在此类正方形单元上执行预测、误差残差的变换、和量化。然后对量化的变换系数进行熵编码以进一步降低比特率。当涉及量化变换系数的编码阶段时，已经提出了几种方案，其中在正方形单元中解析系数对于优化编码语法和用于编码以重建系数的信息起着重要作用。

随着新的视频编码方案的出现，用于编码的单元可以并不总是正方形单元，并且矩形单元可以用于预测和变换。似乎在使用矩形单元的情况下，针对正方形单元定义的经典解析方案可能不再合适。

因此，需要一种用于对视频进行编码和解码的新方法。

发明内容

根据本公开的一方面，公开了一种用于对视频进行编码的方法。这种方法包括：确定用于对图像块的变换系数集合中的至少一个系数进行编码的系数组模式；响应于系数组模式，对图像块的变换系数集合进行编码。根据图像块的尺寸、图像块内部的非零变换系数的数量、变换系数在图像块内部的位置中的至少一个来确定系数组模式。系数组模式指定是否对系数组有效标志进行编码和/或指定系数组的尺寸。

根据本公开的另一方面，公开了一种用于对视频进行编码的设备。这种设备包括：用于根据图像块的尺寸、图像块内部的非零变换系数的数量、变换系数在图像块内部的位置中的至少一个来确定系数组模式的部件，该系数组模式用于对图像块的变换系数集合中的至少一个系数进行编码；用于响应于系数组模式对图像块的变换系数集合进行编码的部件。

根据本公开的一方面，提供了一种用于对视频进行编码的设备，该设备包括处理器以及耦合至该处理器的至少一个存储器，该处理器被配置为：根据图像块的尺寸、图像块内部的非零变换系数的数量、变换系数在图像块内部的位置中的至少一个，来确定用于对图像块的变换系数集合中的至少一个系数进行编码的系数组模式；响应于系数组模式，对图像块的变换系数集合进行编码。

根据本公开的另一方面，公开了一种用于对视频进行解码的方法。这种方法包括：确定用于对图像块的变换系数集合中的至少一个系数进行解码的系数组模式；响应于系数组模式，对变换系数集合进行解码。根据图像块的尺寸、解码的语法元素、变换系数在图像块内部的位置中的至少一个来确定系数组模式。

根据本公开的另一方面，公开了一种用于对视频进行解码的设备。这种设备包括：用于根据图像块的尺寸、解码的语法元素、变换系数在图像块内部的位置中的至少一个，来确定系数组模式的部件，该系数组模式用于对图像块的变换系数集合中的至少一个系数进行解码；用于响应于系数组模式对变换系数集合进行解码的部件。

根据本公开的一方面，提供了一种用于对视频进行解码的设备，该设备包括处理器以及耦合至该处理器的至少一个存储器，该处理器被配置为：根据图像块的尺寸、解码的语法元素、变换系数在图像块内部的位置中的至少一个，确定用于对图像块的变换系数集合中的至少一个系数进行解码的系数组模式；响应于系数组模式，对变换系数集合进行解码。

本公开还涉及一种计算机程序，该计算机程序包括软件代码指令，当该计算机程序由处理器执行时，该软件代码指令用于执行根据以下公开的任何一个实施例的用于对视频进行编码或解码的方法。

本公开还提供了一种信号，该信号包括根据任意前述描述的方法或设备而生成的视频。本公开还提供了一种计算机可读存储介质，其上存储有根据以上描述的方法而生成的比特流。本公开还提供了一种用于发送根据以上描述的方法所生成的比特流的方法及设备。本实施例还提供了一种计算机程序产品，其包括用于执行任何所描述的方法的指令。

上面给出了主题的简化概述，以提供对主题实施例的一些方面的基本理解。该概述不是该主题的详尽概览。并非旨在标识实施例的关键/重要元素或描绘主题的范围。其唯一目的是以简化的形式呈现主题的一些概念，作为稍后呈现的更详细描述的序言。

通过以下参考附图进行的说明性实施例的详细描述，本公开的附加特征和优点将变得显而易见。

附图说明

图1图示了用于表示根据HEVC标准编码的图片的编码树单元和编码树，

图2图示了在8×8编码块中HEVC标准所支持的扫描顺序，

图3(a)图示了扫描区域，

图3(b)图示了扫描区域中扫描顺序的示例，

图4图示了根据本公开第一实施例的第一变型的编码方法，

图5图示了根据本公开第一实施例的另一变型的编码方法，

图6图示了根据本公开第二实施例的变型的编码方法，

图7图示了根据本公开第三实施例的变型的编码方法，

图8图示了根据本公开第三实施例的使CG尺寸适于不同编码块尺寸，

图9(a)和图9(b)图示了根据本公开第四实施例的变型的对32×32编码块应用几种适应性尺寸的示例，

图10图示了根据本公开实施例的示例性编码器，

图11图示了根据本公开实施例的示例性解码器，

图12图示了其中实现各个方面和实施例的***的示例的框图，

图13图示了根据本公开实施例的解码方法，

图14图示了根据本公开实施例的编码方法。

具体实施方式

一种或多种实现方式的技术领域通常涉及视频压缩。与现有的视频压缩***相比，至少一些实施例还涉及提高压缩效率。至少一个实施例提出了用于变换系数编码的适应性系数组和适应性系数组尺寸。

在HEVC视频压缩标准中，图片被划分为所谓的编码树单元(CTU)，其尺寸通常为64×64、128×128或256×256像素。每个CTU由压缩域中的编码单元(CU)表示。然后，每个CU被给予一些帧内或帧间预测参数(Prediction Info：预测信息)。为此，它在空间上被分区为一个或多个预测单元(PU)，每个PU被指配一些预测信息。在CU级别指配帧内或帧间编码模式，如图1所示。

在分割后，使用帧内或帧间预测以利用帧内或帧间相关性，然后对原始块和预测的块之间的差(通常表示为预测误差或预测残差)进行变换、量化和熵编码。为了重建视频，通过与熵编码、量化、变换和预测相对应的逆过程来解码压缩数据。

在HEVC中，使用非交叠系数组(CG)对编码块的量化变换系数进行编码，每个CG包含编码块的4×4块的系数。作为示例，图2中图示了包含于8×8块中的CG。根据从三个预定义扫描顺序(对角线、水平、垂直)中选择的扫描模式，对编码块内部的CG和CG内的16个变换系数进行扫描和编码。对于帧间块，始终使用在图2左侧的对角线扫描，而对于4×4和8×8帧内块，扫描顺序取决于针对该块活动的帧内预测模式。

在解码器侧，整个块解析过程包括以下步骤：

1.解码由以下语法元素表示的Last Significant Coordinate(最后有效坐标)：last_sig_coeff_x_prefix、last_sig_coeff_y_prefix、last_sig_coeff_x_suffix、和last_sig_coeff_y_suffix。这为解码器提供了整个块中最后非零系数的空间位置(x和y坐标)。

然后，对于从编码块中包含最后有效系数的CG到编码块中的左上CG的每个连续CG，应用以下步骤：

2.解码CG有效标志，该CG有效标志在HEVC规范中称为coded_sub_block_flag。这指示在CG内部至少一个系数为非零。

3.针对所考虑的CG中的每个系数解码有效系数标志。这对应于HEVC规范中的语法元素sig_coeff_flag。这指示CG中哪个系数为非零。

对于在所考虑的CG中已知为非零的系数，下一解析阶段旨在系数级别。它们涉及以下语法元素：

4.coeff_abs_level_greater1_flag：该标志指示当前系数的绝对值是否大于1。如果不是，则绝对值等于1。

5.coeff_abs_level_greater2_flag：该标志指示当前系数的绝对值是否大于2。如果不是，则绝对值等于2。

6.coeff_sign_flag：这指示非零系数的符号(O：正，1：负)。

7.coeff_abs_level_remaining：这指示绝对值大于2的系数的绝对值。

在处理下一个CG之前，针对给定的CG解码所有扫描轮次，直到可以重建该CG中的所有量化系数为止。

使用CG的益处是跳过对在一些频率区域全为零的变换系数的编码。通过将coded_sub_block_flag设置为O(这指示该CG内的所有系数均为零)，可以节约比特，并可以加快编码过程。然而，如果编码块内部的大多数变换系数为非零，则由于大多数标志的值为1，因此针对每个4×4CG编码一个附加的coded_sub_block_flag是成本高的。因此，至少一个实施例提出了使用CG和CG尺寸的适配。有利地，至少一个实施例以提供良好的压缩效率(速率失真性能)以及使编码设计的复杂度增加最小化的方式，有效地适配CG和CG尺寸。

实际上，例如在HEVC或JVET中使用CG可以节省用于一些仅包含非有效变换系数的频率区域的编码比特以及编码时间。当大多数变换系数有效时，应用固定的4×4CG尺寸可能不是最佳的。特别是，越来越多地要求更高分辨率的视频(4k、8k等)，较大编码块尺寸的数量也相对增加，这表示如果CG尺寸固定为现有技术中的4×4，则需要用信号发送很多coded_sub_block_flags。

在文件“Description of SDR，HDR and 360°video coding technologyproposal considering mobile application scenario by Samsung，Huawei，GoPro，andHiSilicon(考虑三星、华为、GoPro和HiSilicon的移动应用场景的SDR、HDR和360°视频编码技术提案的描述)”(Document JVET-J0024 by E.Alshina et al.，10th Meeting：SanDiego，US，10-20Apr.2018(E.Alshina等人的JVET-J0024文件，第十次会议：美国圣地亚哥，2018年4月1O日至20日))中，在编码块中要扫描的区域由扫描区域信息(SRx，SRy)确定，其中SRx是最右非零系数的x轴，而SRy是最底部非零系数的y轴，如图3(a)所示。如图3(b)所示，以逆Z字扫描顺序从扫描区域的右下角开始对仅扫描区域中的系数进行编码。因此，不存在要用信号发送的coded_sub_block_flag。但是，如果扫描区域内的大多数变换系数为零，则对这些零系数进行编码也将保持是成本高的。

因此，至少一个实施例的一般方面旨在通过适配CG来提高编码效率。本节详细描述了至少一种实现方式。在下文中，描述了使CG和CG尺寸适应不同条件和参数的几个实施例。它被组织为如下。首先，描述用于解码的一般实施例，其包括适配在变换系数解码中使用的系数组CG和系数组CG尺寸之一。其次，描述用于编码的一般实施例，其包括适配在变换系数编码中使用的系数组CG和系数组CG尺寸之一。第三，描述第一实施例的各种实现方式，其包括使在变换系数编码中使用的系数组CG和系数组CG尺寸适应有效系数的数量。第四，公开第二实施例的各种实现方式，其包括使在变换系数编码中使用的CG和CG尺寸适应编码块尺寸。然后，公开第三实施例的各种实现方式，其包括使在变换系数编码中使用的CG和CG尺寸适应变换系数的位置。最后，描述了任何实施例的各种实现方式，其中在图片或条带报头中预定义CG的可能的适应性尺寸，或者通过使用比特流中的一些语法直接生成CG的可能的适应性尺寸。

一种包括确定CG模式的解码方法

有利地，本原理在图11的熵解码模块230中的解码器中实现。图13图示了根据至少一个实施例的一般方面的示例性解码方法1300。在步骤1301中，访问要解码的视频图像的至少一个块。该块包括要解码的至少一个量化变换系数的集合。

根据实施例，步骤1310包括确定系数组模式。在解码器处，确定系数组模式是隐式或显式的。

因此，根据下文提出的各种实施例，依据块的尺寸(即，块中所包括的变换系数的数量)，依据图像块内部的非零变换系数的位置，在解码器处隐式地确定系数组模式。或者，根据另一实施例，依据解码的语法元素(指定不同信息，并且例如命名为encode_CG，adaptive_CG_size)，在解码器处显式地确定系数组模式。在变型中，确定系数组模式包括，对指定是否对系数组有效标志进行编码的语法元素(encode_CG)进行解码。在另一变型中，确定系数组模式包括，对指定是否对系数组有效标志进行编码以及系数组尺寸的语法元素(adaptive_CG_size)进行解码。当对系数组模式进行解码时，其在编码器中的注意事项将在后面参照第一和第二实施例进行描述。

根据在此描述的实施例，根据以下描述的任何一个实施例，确定当对系数组有效标志进行编码时是对系数组有效标志(在HEVC中命令为coded_sub_block_flag)还是系数组的至少一个尺寸进行编码。

例如，如以下在部分4和5中参照第三和第四实施例所描述的，从图像块的尺寸或从图像块内部的变换系数的位置来确定系数组的尺寸。例如，系数组的尺寸是从块尺寸除以2的幂中得出的。

根据另一示例，CG尺寸基于块尺寸。例如，通过将块的宽度除以2的幂，并且将块的高度除以2的另一个幂，来得出CG尺寸。

根据另一示例，不同尺寸的系数组的布置基于所述至少一个变换子块在所述块中的位置。例如，较大的CG尺寸用于低频系数的CG，而较小的CG尺寸用于高频系数的CG。

根据另一示例，确定扫描区域，并且该方法应用于扫描区域而不是图像的块。

在步骤1320，响应于所确定的系数组模式，对变换系数集合进行解码。根据其中系数组模式指定是否对系数组有效标志(在HEVC中命名为coded_sub_block_flag)进行编码的变型，描述了解码步骤1320的示例性实施例。例如，确定命名为encode_CG的标志是步骤131O，如果对系数组有效标志进行编码，则将其设置为1。然后在步骤1321中，测试标志encode_CG。如果encode_GC设置为1(是)，则按组解码变换系数的一个集合。然后，可以重用针对CG所描述的并在通用视频压缩标准中使用的现有语法和解码过程，而无需进行任何修改。因此，在步骤1322中，访问要解码的每个连续CG。在该变型中，CG的尺寸为4×4。本领域技术人员将容易地适应CG尺寸变化的变型。此外，本领域技术人员将理解，该步骤应用于从该块中包含最后有效系数的CG到该块中的左上CG的该块中的CG。在对应于以前描述的解码标准的步骤2&3的步骤1323中，针对当前4×4 CG，对CG有效标志coded_sub_block_flag进行解码，更准确地说，在熵解码器中解析该标志。也对指示在CG中哪个系数为非零的有效系数标志sig_coeff_flag进行解码。然后，在测试1324中，检查CG中的非零系数sig_coeff_flag。在对应于以前描述的解码标准的步骤4-7的步骤1325中，对当前CG中的非零系数进行解码。如果CG中的所有系数为零，则跳过该步骤1325。然后，在步骤1326中，检查是否已经对所有CG块进行解码。如果没有更多CG要解码，则解码步骤1320结束，否则，如果有更多CG要解码，则重复步骤1322、1323、1324和1326。

如果encode_GC被设置为零(“否”)，则至少一个变换系数不会按组被解码。例如，如以前描述的解码标准的步骤4-7所描述的，从块中的最后有效系数到块中的左上系数，对至少一个变换系数系数进行解码。

在步骤1330，检查是否已经对所有块进行解码。如果没有更多块要解码，则解码在步骤1340处结束，否则，如果有更多块要解码，则重复步骤131O、1320、1330。

一种包括确定CG模式的编码方法

有利地，本原理在图10的熵编码模块145中的编码器中实现。图14图示了根据至少一个实施例的一般方面的示例性编码方法1400。在步骤1401中，访问要编码的视频图像的至少一个块。该块包括要编码的至少一个量化变换系数的集合。

根据实施例，步骤141O包括确定系数组模式。在根据下文提出的各种实施例的编码器处，依据块的尺寸(即，块中所包括的变换系数的数量)，依据图像块内部的非零变换系数的数量，依据非零变换系数在图像块内部的位置，确定系数组模式。

根据特定实施例，系数组模式被编码以用于给解码器的显式信令。因此，定义了语法元素的变型以用于信令。在变型中，对系数组模式进行编码的语法元素(例如，命名为enable_CG)指定是否对系数组有效标志进行编码。在另一变型中，语法元素(例如，命名为adaptive_CG_size)指定是否对系数组有效标志进行编码以及系数组的至少一个尺寸。稍后在部分3中参照第一和第二实施例描述用于确定和编码系数组模式的变型实现方式。

根据另一特定实施例，向解码器隐式地用信号发送系数组模式，即，解码器从可用信息(诸如，块尺寸或变换系数在图像块中的位置)确定系数组模式。稍后在部分4和5中参照第三和第四实施例描述用于确定和编码系数组模式的变型实现方式。

根据在此描述的实施例，根据以上针对解码器描述的任何一个实施例，确定当对系数组有效标志进行编码时是对系数组有效标志(在HEVC中命令为coded_sub_block_flag)还是系数组的至少一个尺寸进行编码。

此外，例如，根据图像块内部的非零变换系数的数量来确定系数组模式。

根据系数组模式的特定实施例，确定系数组模式包括获得第一值；获得图像块的非零变换系数的数量，以及在图像块的非零变换系数的数量大于第一值的情况下，确定对系数组有效标志进行编码，否则确定不对系数组有效标志进行编码。

根据系数组模式的另一特定实施例，获得多个(例如，如后面详述的3个)第一值，并且是否对系数组有效和系数组的尺寸进行编码是响应于图像块的非零变换系数的数量与多个第一数量之间的比较。

根据变型，根据图像块的尺寸确定第一值或至少一个第一值。

在步骤1420，响应于所确定的系数组模式，对变换系数集合进行编码。根据其中系数组模式指定是否对系数组有效标志(在HEVC中命名为coded_sub_block_flag)进行编码的变型，描述了编码步骤1420的示例性实施例。例如，在步骤141O中确定被命名为encode_CG的标志，如果根据先前的确定对系数组有效标志进行了编码，则将其设置为1。然后在步骤1421中，测试标志encode_CG。如果encode_GC被设置为1(“是”)，则使用系数组对变换系数的一个集合进行编码。然后，可以重用针对CG所描述的并在通用视频压缩标准中使用的现有语法和解码过程，而无需进行任何修改，并且与解码过程相反。因此，在步骤1322中，访问要编码的每个连续CG。在该变型中，CG的尺寸为4×4。本领域技术人员将容易地适应其中CG的尺寸变化的变型。此外，本领域技术人员将理解，编码步骤1420以扫描顺序应用于从该块中包含最后有效系数的CG到该块中的左上CG的该块中的CG。步骤1423对当前CG中的非零系数的数量进行计数。然后在步骤1424，确定当前4×4CG的CG有效标志coded_sub_block_flag并进行熵编码。也对指示在CG中哪个系数为非零的有效系数标志sig_coeff_flag进行编码。然后，在测试1425中，检查CG中的非零系数。在步骤1426中，对当前CG中的非零系数进行编码。如果CG中的所有系数为零，则跳过该步骤1426。然后，在步骤1327中，检查是否已经对所有CG块进行编码。如果没有更多CG要编码，则编码步骤1420结束，否则，如果仍然有更多CG要编码，则重复步骤1422、1423、1424、1425和1326。

如果encode_GC被设置为零(“否”)，则不使用系数组有效标志对至少一个变换系数进行编码。例如，按照扫描顺序从块中的最后有效系数到块中的左上系数，对块中的变换系数进行编码。

可选地，在步骤1430中，对块的encode_GC进行编码并将其***到比特流中。

在步骤1440，检查是否已经对图像中的所有块进行编码。如果没有更多块要编码，则编码在步骤1450处结束，否则，如果有更多块要解码，则重复步骤1401、141O、1420、1340。

以上提出了简化的解码和编码方法，以便提供对主题实施例的一些方面的基本理解。这样，编码和解码步骤不限于上述子步骤。本公开的附加特征、变型和优点通过以下说明性实施例的详细描述将变得显而易见。

使CG和CG尺寸适应有效系数的数量

如在视频压缩***中所提及的，从编码块中包含最后有效系数的CG到编码块中的左上CG，针对每个4×4CG设置CG有效标志coded_sub_block_flag。但是，如果编码块内部的大多数变换系数是有效的，或者换句话说，如果有效系数的分布在编码块的CG中是密集的，则因为大多数标志的值为1，所以编码一个附加coded_sub_block_flag是成本高的。在实现前面讨论的提案时，没有coded_sub_block_flag要用信号发送。但是，如果扫描区域内部的大多数变换系数为零，则对这些零系数进行编码也将是成本非常高的。

因此，第一实施例包括使CG和CG尺寸适应编码块或扫描区域内部的有效系数的数量。

为此，在编码器处确定有效系数的数量NUM_nz，然后将有效系数的数量NUM_nz与给定值TH_sig进行比较。根据编码块尺寸(width，height)或扫描区域尺寸(SRx，SRy)来确定TH_sig值。基于比较结果，第一实施例包括确定并向解码器用信号发送一个附加语法，以指示CG的使用及尺寸。

在第一实施例的第一变型中，如果有效系数的数量NUM_nz大于相应值TH_sig，则将标志encode_CG设置为假(false)。因此，没有coded_sub_block_flag要用信号发送，这指示将对从编码块内部的最后有效系数开始的所有连续变换系数进行编码，或者将对扫描区域内部的所有系数进行编码。相反，如果有效系数的数量NUM_nz小于或等于相应值TH_sig，则将标志encode_CG设置为真(true)，并从包含最后有效系数的CG开始，或从扫描区域内部的最后CG开始，针对每个4×4CG用信号发送coded_sub_block_flag。由第一实施例的第一变型提出的残差编码的整个过程由图4描绘，灰色部分是要确定是否用信号发送CG。

根据第一实施例的另一变型，基于编码块的尺寸或扫描区域的尺寸来确定值TH_sig。一个非限制性示例包括访问查询表以获得TH_sig值，该TH_sig值为尺寸的函数，更准确地说，为面积的函数，如式1所示：

式1：根据编码块面积/尺寸信息确定TH_sig

其中，面积为(width*height)或(SRx*SRy)。

根据第一实施例的另一变型，基于编码块或扫描区域内部的变换系数的总数的百分比或分数r来确定值TH_sig，如式2所示：

TH_sig＝r*(width*height)

式2：利用编码块面积/尺寸信息确定TH_sig

其中，作为非限制性示例，对于所有编码块尺寸，分数r固定为1/2、3/4、……，其中分数r基于编码块尺寸而不同。与先前的变型一样，在式2中可以用扫描区域尺寸(SRx，SRy)代替编码块尺寸(width，height)。

根据第一实施例的另一变型，通过从编码块或扫描区域内部的变换系数的总数中减去一个CG内部的变换系数的数量(如果CG尺寸为4×4，则为16)来确定值TH_sig，如式3所示：

TH_sig＝(width*height)-(width_CG*height_CG)

式3：利用编码块尺寸和CG尺寸信息来确定TH_sig

其中，与先前的变型一样，在式3中可以用扫描区域尺寸(SRx，SRy)代替编码块尺寸(width，height)。

根据第一实施例的另一变型，还可以根据速率失真搜索循环来决定标志encode_CG，如图5所示。

在第二实施例中，其与第一实施例相似：向解码器用信号发送被命名为adaptive_CG_size的一个语法以指示CG的使用和尺寸。区别在于该附加语法不是标志。根据实施例的特定变型，adaptive_CG_size的值可以选自[0，3]。更多的值与本原理兼容。

与第一实施例中提及的相同，如果有效系数的数量NUM_nz大于相应TH_sig，则adaptive_CG_size被设置为零。没有coded_sub_block_flag要用信号发送。如果语法adaptive_CG_size不为零，则从包含最后有效系数的CG或从扫描区域内部的最后CG，针对每个CG用信号发送coded_sub_block_flag。虽然不同之处在于CG的尺寸并非固定为4×4，但是取决于adaptive_CG_size的值，如式所示：

Size_CG＝2＜＜adaptive_CG_size

式4：利用语法adaptive_CG_size得出适应性CG尺寸Size_CG

三个非零的adaptive_CG_size∈[1，3]表示3个可能的适应性CG尺寸Size_CG∈[4×4，8×8，16×16]。通过将有效系数的数量NUM_nz与三个预定义的阈值TH_sig、TH_{sig_1}和TH_{sig_2}进行比较来决定adaptive_CG_size的值，如式所示：

式5：确定语法adaptive_CG_size的值

第二实施例提出的残差编码的整个过程如图6所示，灰色部分是要确定adaptive_CG_size的值。

在第二实施例的变型中，adaptive_CG_size值的可能数量可以是能够确保Size_CG不大于编码块尺寸或扫描区域尺寸的任何整数值。

在第二实施例的另一变型中，作为adaptive_CG_size的函数的Size_CG的推导规则可以不同。Size_CG也可以是矩形形状，以更好地适应矩形编码块。

使CG尺寸适应编码块尺寸

如前所述，对4k和8k分辨率视频的需求很大，较大编码块尺寸的数量相对增加，这表示如果CG尺寸被固定为4×4，则需要用信号发送许多coded_sub_block_flags。因此，实施例包括使CG尺寸适合编码块尺寸。

在第三实施例中，通过将编码块尺寸(width，height)除以2^m和2ⁿ来得出CG的适应性尺寸(width_CG，height_CG)，而最小适应性CG尺寸仍为4×4，如式6所示：

width_CG＝max(width＞＞m，4)

height_CG＝max(height＞＞n，4)

式6：利用编码块尺寸信息得出适应性CG尺寸

在解码器处在相同过程中得出适应性CG尺寸，因此，该实施例不需要附加语法。图7描绘了第三实施例的变型提出的残差编码，灰色部分是要得出适应性CG尺寸。

在变型中，可以通过使用作为编码块尺寸的函数的查找表，从预定义的CG尺寸(正方形或矩形)的集合中选择适应性CG尺寸。式7中示出了将这种查找表设计为编码块面积的函数的一个非限制性示例：

式7：基于编码块的面积/尺寸的集合中的适应性CG尺寸

另一非限制性示例将这种查找表设计为编码块尺寸(width，height)中的最小尺寸的函数，如式8中所示：

式8：基于编码块的min(width，height)的集合中的适应性CG尺寸

图8示出了第三实施例提出的将适应性CG尺寸应用于不同编码块尺寸的示例。

使CG尺寸适应变换系数位置

在前述实施例中，将确定仅一个适应性CG尺寸并将其应用于每个编码块。换句话说，在编码块内部，CG尺寸保持恒定，但是CG尺寸可以从一个编码块到另一个编码块而改变。然而，即使在相同编码块内，非零变换系数的分布也从一个CG到另一个CG而变化。众所周知，与高频域相比，更多有效系数位于低频域。为了进一步提高使用适应性CG尺寸的性能，可以在一个编码块内针对不同的频域应用几种适应性CG尺寸。

因此，实施例包括使编码块内部的多个CG尺寸适应位于不同频域的变换系数的位置。

在第四实施例的变型中，在低频域中定义较大的CG尺寸，而在高频域中定义较小的CG尺寸(不小于4×4)。针对低频域所使用的适应性CG尺寸Size_{CG_Lowfreq}可以通过将编码块尺寸(width，height)的最小尺寸除以2^m得出，而针对高频域所使用的适应性CG尺寸Size_{CG_Highfreq}可以由Size_{CG_Lowfreq}除以2ⁿ(最小适应性CG尺寸仍为4×4)得出，如式9所示：

Size_{CG_Lowfreq}＝max(4，min(width，height)＞＞m)

Size_{CG_Highfreq}＝max(4，Size_{CG_Lowfreq}＞＞n)

式9：推导适应性CG尺寸Size_{CG_Lowfreq}和Size_{CG_Highfreq}

在图9(a)上描绘了应用于32×32编码块的第四实施例的这种变型的示例，其中Size_{CG_Lowfreq}＝8并且Size_{CG_Highfreq}＝4。

在第四实施例的另一变型中，针对低频域应用较小的适应性CG尺寸(不小于4×4)，而针对高频域应用较大的CG尺寸。在图9(b)中图示了应用于32×32编码块的第四实施例的这种变型的示例，其中Size_{CG_Lowfreq}＝8并且Size_{CG_Highfreq}＝4。

在第四实施例的又一变型中，较大的适应性CG尺寸Size_{CG_Lowfreq}可以只用于包含左上DC系数的CG。其他频域中的其余CG将应用相同的较小适应性CG尺寸Size_{CG_Highfreq}。

在第四实施例的又一变型中，可以有多于一对的适应性CG尺寸(Size_{CG_Lowfreq}，Size_{CG_Highfreq})。例如，中间级别的适应性CG尺寸Size_{CG_Midfreq}也可以用于较大尺寸的编码块。

其他实施例和信息

本文档描述了各个方面，包括工具、特征、实施例、模型、方法等。这些方面中的许多是用专一性来描述的，至少是为了示出各自的特性，通常以听起来像限制的方式来描述。然而，这是出于描述的清楚性的目的，并非限制那些方面的应用或范围。实际上，所有不同方面都可以组合和互换，以提供进一步的方面。此外，这些方面也可以与先前申请中描述的方面进行组合和互换。

本文档中描述和考虑的方面可以以许多不同的形式实现。以下图10、图11和图12提供了一些实施例，但是其他实施例也是可设想的，并且对图10、图11和图12的讨论并非限制实现方式的广度。这些方面中的至少一个方面总体上涉及视频编码和解码，并且至少另一个方面总体上涉及传输所生成或编码的比特流。这些和其他方面可以实现为方法、设备、上面存储有用于根据所描述的任何方法对视频数据进行编码或解码的指令的计算机可读存储介质、和/或上面存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。

在本申请中，术语“重建”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常但并非必须，术语“重建”在编码器侧使用，而“解码”在解码器侧使用。

在本公开中使用术语HDR(高动态范围)和SDR(标准动态范围)。这些术语通常将动态范围的特定值传达给本领域普通技术人员。然而，还旨在附加实施例，其中对HDR的引用被理解为意指“较高的动态范围”，而对SDR的引用被理解为意指“较低的动态范围”。这样的附加实施例不受通常可以与术语“高动态范围”和“标准动态范围”相关联的动态范围的任何特定值的约束。

本文描述了各种方法，并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。

本文档中描述的各种方法和其他方面可以用于修改如图10和图11所示的视频编码器100和解码器200的模块，例如，熵编码和/或熵解码模块(145、230)。而且，本方面不限于VVC或HEVC，并且可以应用于例如其他标准和建议，无论是预先存在的还是将来开发的，以及任何此类标准和建议(包括VVC和HEVC)的扩展。除非另有说明或技术上禁止，否则本文档中描述的方面可以单独使用或组合使用。

在本文档中使用了各种数值，例如，适应性CG尺寸的值[0：3]、不同的查找表、所考虑的编码块尺寸。特定值是出于示例性目的，并且所描述的方面不限于这些特定值。

图10图示了编码器100。该编码器100的变型也是可设想的，但是为了清楚起见，在下面描述编码器100，而没有描述所有预期的变型。

在进行编码之前，视频序列可以经过预编码处理(101)，例如，对输入的颜色图片应用颜色变换(例如，从RGB 4：4：4到YCbCr 4：2：0的转换)，或对输入的图片分量执行重新映射，以得到对压缩更具弹性的信号分布(例如，使用颜色分量之一的直方图均衡化)。元数据可以与预处理相关联并附加到比特流。

在编码器100中，如下所描述的，由编码器元件对图片进行编码。以例如CU为单位对要编码的图片进行分区(102)和处理。使用例如帧内或帧间模式对每个单元进行编码。当单元以帧内模式编码时，其执行帧内预测(160)。在帧间模式下，执行运动估计(175)和补偿(170)。编码器决定(105)帧内模式或帧间模式中的哪一个用于对单元进行编码，并且通过例如预测模式标志指示帧内/帧间决定。例如，通过从原始图像块中减去(110)预测的块来计算预测残差。

然后对预测残差进行变换(125)和量化(130)。对量化的变换系数以及运动矢量和其他语法元素进行熵编码(145)以输出比特流。编码器可以跳过变换并将量化直接应用于未变换的残差信号。编码器可以绕过变换和量化两者，即，残差被直接编码而无需应用变换或量化过程。

编码器对编码块进行解码，以提供用于进一步预测的参考。对量化的变换系数进行解量化(140)和逆变换(150)以对预测残差进行解码。组合(155)解码的预测残差和预测的块，重建图像块。环内滤波器(165)被应用于重建的图片，以执行例如解块/SAO(样本适应性偏移)滤波以减少编码伪像。滤波后的图像存储在参考图片缓冲器(180)。

图11图示了视频解码器200的框图。在解码器200中，如下所描述的，由解码器元件对比特流进行解码。如图10中所描述的，视频解码器200通常执行与编码遍历相对的解码遍历。编码器100通常还执行视频解码，作为对视频数据进行编码的一部分。

具体而言，解码器的输入包括可以由视频编码器100生成的视频比特流。首先对比特流进行熵解码(230)以获得变换系数、运动矢量和其他编码信息。图片分区信息指示图片被如何分区。因此，解码器可以根据解码后的图片分区信息来划分(235)图片。对变换系数进行解量化(240)及逆变换(250)以对预测残差进行解码。组合(255)解码的预测残差和预测的块，重建图像块。可以从帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)预测的块。环内滤波器(265)被应用于重建的图像。滤波后的图像存储在参考图片缓冲器(280)。

解码后的图片可以进一步经过解码后处理(285)，例如，逆颜色变换(例如，从YCbCr 4：2：0到RGB 4：4：4的转换)或逆重新映射，该逆重新映射执行在预编码处理(101)中执行的重新映射过程的逆过程。解码后处理可以使用在预编码处理中推导出并在比特流中用信号发送的元数据。

图12图示了其中实现了各个方面和实施例的***的示例的框图。***1000可以体现为包括以下描述的各种组件的装置，并且被配置为执行本文档中描述的一个或多个方面。这样的装置的示例包括但不限于各种电子装置，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录***、联网家用电器和服务器。***1000的元件可以单独或组合地体现在单个集成电路、多个IC和/或分立组件中。例如，在至少一个实施例中，***1000的处理和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中，***1000经由例如通信总线或通过专用输入和/或输出端口，通信地耦合到其他类似***或其他电子装置。在各种实施例中，***1000被配置为实现本文档中描述的一个或多个方面。

***1000包括至少一个处理器1010，其被配置为执行加载在其中的指令，以实现例如本文档中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。***1000包括至少一个存储器1020(例如，易失性存储装置和/或非易失性存储装置)。***1000包括存储装置1040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储装置1040可以包括内部存储装置、附接的存储装置和/或网络可访问的存储装置。

***1000包括被配置为例如处理数据以提供编码视频或解码视频的编码器/解码器模块1030，并且编码器/解码器模块1030可以包括其自己的处理器和存储器。编码器/解码器模块1030表示可以包括在装置中以执行编码和/或解码功能的模块。众所周知，装置可以包括编码和解码模块之一或两者。另外，编码器/解码器模块103可以被实现为***1000的单独的元件，或者可以作为本领域技术人员已知的硬件和软件的组合被并入处理器1010内。

要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码可以存储在存储装置1040中，然后加载到存储器1020上以由处理器1010执行。根据各种实施例，处理器1010、存储器1020、存储装置1040和编码器/解码器模块1030中的一个或多个可以存储在执行本文档中描述的过程期间的各种项目中的一个或多个。这样存储的项目可以包括但不限于输入视频、解码视频或解码视频的一部分、比特流、矩阵、变量以及来自等式、公式、运算和运算逻辑的中间或最终结果。

在几个实施例中，处理器1010和/或编码器/解码器模块1030内部的存储器用于存储指令并提供用于编码或解码期间所需的处理的工作存储器。然而，在其他实施例中，处理装置(例如，处理装置可以是处理器1010或编码器/解码器模块1030)外部的存储器用于这些功能中的一个或多个。外部存储器可以是存储器1020和/或存储装置1040，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存用于存储电视的操作***。在至少一个实施例中，诸如RAM之类的快速外部动态易失性存储器用作用于诸如MPEG-2、HEVC或VVC(通用视频编码)之类的视频编码和解码操作的工作存储器。

如框1130所示，可以通过各种输入装置来提供对***1000的元件的输入。这种输入装置包括但不限于(i)接收由广播器例如经由空中发送的RF信号的RF部分；(ii)复合输入端子；(iii)USB输入端子，和/或(iv)HDMI输入端子。

在各种实施例中，如本领域中已知的，框1130的输入装置具有相关联的各种输入处理元件。例如，RF部分可以与以下所需的元件相关联：(i)选择所需频率(也称为选择信号，或将信号将频带限制为频率频带)；(ii)对所选信号进行下变频；(iii)再次频带限制至更窄的频率频带以选择(例如)在某些实施例中可以称为信道的信号频带；(iv)解调下变频并频带限制的信号；(v)执行纠错；以及(vi)解复用以选择数据分组的所需流。各种实施例的RF部分包括执行这些功能的一个或多个元件，例如，频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可以包括执行各种这些功能的调谐器，这些功能包括例如将接收到的信号下变频至较低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，RF部分及其相关联的输入处理元件接收经由有线(例如，线缆)介质发送的RF信号，并通过滤波、下变频和再次滤波到期望频带来执行频率选择。各种实施例重新布置上述(和其他)元件的顺序，去除这些元件中的一些，和/或添加执行类似或不同功能的其他元件。添加元件可以包括在现有元件之间的***元件，例如，***放大器和模数转换器。在各个实施例中，RF部分包括天线。

此外，USB和/或HDMI端子可以包括用于通过USB和/或HDMI连接将***1000连接到其他电子装置的各个接口处理器。应该理解，根据需要，可以例如在单独的输入处理IC内或在处理器1010内实现输入处理的各个方面，例如里德-所罗门纠错。类似地，根据需要，USB或HDMI接口处理的各个方面可以在单独的接口IC内或在处理器1010内实现。解调、纠错和解复用的流被提供给各种处理元件，包括例如与存储器和存储元件结合操作以根据需要处理用于在输出装置上呈现的数据流的编码器/解码器1030和处理器1010。

***1000的各种元件可以设置在集成壳体内。在该集成壳体内，各种元件可以使用合适的连接装置1140(例如，本领域已知的内部总线，包括I2C总线、布线和印刷电路板)互连并在他们之间传输数据。

***1000包括通信接口1050，该通信接口1050使得能够经由通信信道1060与其他装置进行通信。通信接口1050可以包括但不限于被配置为经由通信信道1060发送和接收数据的收发器。通信接口1050可以包括但不限于调制解调器或网卡，并且通信信道1060可以例如在有线和/或无线介质内实现。

在各种实施例中，使用诸如IEEE 802.11的Wi-Fi网络将数据流传输给***1000。这些实施例的Wi-Fi信号经由适合于Wi-Fi通信的通信信道1060和通信接口1050接收。这些实施例的通信信道1060通常连接到提供对包括互联网的外部网络的接入的接入点或路由器，以允许流应用和其他过顶(over-the-top)通信。其他实施例使用机顶盒向***1000提供流传输的数据，该机顶盒经由输入框1130的HDMI连接来传递数据。其他实施例也使用输入框1130的RF连接向***1000提供流传输的数据。

***1000可以向包括显示器1100，扬声器1110和其他外设装置1120的各种输出装置提供输出信号。在实施例的各种示例中，其他外设装置1120包括一个或多个单独的DVR、磁盘播放器、立体声***、照明***以及基于***1000的输出提供功能的其他装置。在各个实施例中，控制信号使用诸如AV.Link、CEC或可以在有用户干预或无用户干预的情况下进行装置至装置控制的其他通信协议的信令，在***1000与显示器1100、扬声器1110或者其他外设装置1120之间传达。输出装置可以通过各自的接口1070、1080和1090经由专用连接而通信地耦合到***1000。另选地，输出装置可以经由通信接口1050使用通信信道1060连接到***1000。在例如电视的电子装置中，显示器1100和扬声器1110可以与***1000的其他组件集成在单个单元中。在各种实施例中，显示接口1070包括显示驱动器，例如，时序控制器(T Con)芯片。

例如，如果输入1130的RF部分是单独的机顶盒的一部分，则显示器1100和扬声器1110可以另选地与一个或多个其他组件分开。在显示器1100和扬声器1110是外部组件的各种实施例中，可以经由专用输出连接来提供输出信号，该专用输出连接包括例如HDMI端口、USB端口或COMP输出。

实施例可以通过由处理器1010实现的计算机软件、或者通过硬件、或者通过硬件和软件的组合来实现。作为非限制性示例，实施例可以由一个或多个集成电路实现。作为非限制性示例，存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术(诸如，光存储装置、磁存储装置、基于半导体的存储装置、固定存储器和可移除存储器)来实现。作为非限制性示例，处理器1010可以是适合于技术环境的任何类型，并且可以包括微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或多个。

各种实现方式涉及解码。如本申请中所使用的，“解码”可以涵盖例如为了产生适合于显示的最终输出而对接收到的编码序列所执行的全部或部分处理。在各种实施例中，这样的处理包括通常由解码器执行的一个或多个处理，例如，熵解码、逆量化、逆变换和差分解码。在各种实施例中，这样的处理还包括或者另选地包括由本申请中描述的各种实现方式的解码器执行的处理，例如，确定用于按系数组解码图像块的变换系数集合中的至少一个系数的系数组模式；响应于系数组模式，对图像块的变换系数集合进行解码；其中，根据图像块的尺寸、解码的语法元素、图像块的有效变换系数的位置中的至少一个来确定系数组模式。

作为另一示例，在一个实施例中，“解码”仅是指熵解码，在另一实施例中，“解码”仅是指差分解码，而在另一实施例中，“解码”是指熵解码和差分解码的组合。基于特定描述的上下文，短语“解码处理”旨在专门指代操作的子集还是广义上指代更宽泛的解码处理将是显而易见的，并且相信本领域技术人员将很好地理解。

各种实现方式涉及编码。以与以上关于“解码”的讨论类似的方式，在本申请中使用的“编码”可以涵盖例如为了产生编码比特流而对输入视频序列所执行的全部或部分处理。在各种实施例中，这样的处理包括通常由编码器执行的一个或多个处理，例如，分区、差分编码、变换、量化和熵编码。在各种实施例中，这样的处理还包括或者另选地包括由本申请中描述的各种实现方式的编码器所执行的处理，例如，确定用于按照系数组对图像块的变换系数集合中的至少一个系数进行编码的系数组模式；响应于系数组模式，对图像块的变换系数集合进行编码；其中，根据图像块的尺寸、图像块的有效变换系数的数量、图像块的有效变换系数的位置中的至少一个来确定系数组模式。

作为进一步示例，在一个实施例中，“编码”仅指代熵编码，在另一实施例中，“编码”仅指代差分编码，而在另一实施例中，“编码”指代差分编码和熵编码的组合。基于具体描述的上下文，短语“编码处理”旨在专门指代操作的子集还是广义上指代更宽泛的编码处理将是显而易见的，并且相信本领域技术人员将很好地理解。

注意，本文所使用的语法元素，例如encode_CG、adaptive_CG_size是描述性术语。因此，它们不排除使用其他语法元素名称。

当将附图呈现为流程图时，应理解，其还提供了相应设备的框图。类似地，当将附图呈现为框图时，应理解，其还提供了相应方法/过程的流程图。

各种实施例涉及速率失真优化。特别地，在编码过程期间，通常给定计算复杂度的约束，通常考虑速率和失真之间的平衡或折衷。通常将速率失真优化公式化为使速率失真函数最小化，该函数是速率和失真的加权和。有不同方案解决速率失真优化问题。例如，这些方法可以基于对包括所有考虑的模式或编码参数值在内的所有编码选项的扩展测试，并对其编码成本以及编码和解码之后的重建信号的相关失真进行完整评估。也可以使用更快的方案以节省编码复杂性，特别是基于预测或预测残差信号而不是重建信号来计算近似失真。也可以使用这两种方案的混合，诸如仅对一些可能的编码选项使用近似失真，而对其他编码选项使用完整失真。其他方案仅评估可能的编码选项的子集。更一般地，许多方案采用各种技术中的任何技术来执行优化，但是优化并非必须对编码成本和相关失真二者进行完整评估。

本文描述的实施例和方面可以例如以方法或过程、设备、软件程序、数据流或信号来实现。即使仅在单一形式的实现方式的上下文中进行讨论(例如，仅作为方法进行讨论)，所讨论的特征的实现方式也可以以其他形式(例如，设备或程序)来实现。设备可以例如以适当的硬件、软件和固件来实现。方法可以在例如处理器中实现，该处理器通常是指处理装置，包括例如计算机、微处理器、集成电路或可编程逻辑器件。处理器还包括通信装置，诸如，例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)、以及其他有助于最终用户之间信息通信的装置。

对“一个实施例”或“实施例”或“一个实现方式”或“实现方式”及其其他变型的引用表示结合该实施例描述的特定特征、结构、特性等包括在至少一个实施例中。因此，贯穿本文档在各处出现的短语“在一个实施例中”或“在实施例中”或“在一个实现方式中”或“在实现方式中”以及任何其他变型不一定全部指代相同的实施例。

此外，本文档可以涉及“确定”各种信息。确定信息可以包括例如以下中的一项或多项：估计信息、计算信息、预测信息或从存储器中取回信息。

此外，本文档可以涉及“访问”各种信息。访问信息可以包括例如以下中的一项或多项：接收信息、(例如从存储器中)取回信息、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息、或估计信息。

此外，本文档可以涉及“接收”各种信息。接收与“访问”一样，旨在作为广义术语。接收信息可以包括例如以下中的一项或多项：访问信息或(例如，从存储器中)取回信息。此外，在诸如例如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息，计算信息、确定信息、预测信息或估计信息之类的操作期间，通常以一种或另一种方式涉及“接收”。

应当理解，例如在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下，使用以下“/”、“和/或”、“中的至少一个”中的任何一个旨在涵盖仅选择第一个列出的选项(A)，或仅选择第二个列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这种措词旨在涵盖仅选择第一个列出的选项(A)，或仅选择第二个列出的选项(B)，或仅选择第三个列出的选项(C)，或仅选择第一个和第二个列出的选项(A和B)，或仅选择第一个和第三个列出的选项(A和C)，或仅选择第二个和第三个列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员清楚的那样，这可以扩展到所列那么多的项目。

此外，如本文所使用的，词语“signal(用信号发送)”尤其是指代向相应解码器指示某些东西。例如，在一些实施例中，编码器用信号发送多个参数或语法元素(诸如，encode_CG、adaptive_CG_size)的特定一个系数组模式。以这种方式，在一个实施例中，在编码器侧和解码器侧二者使用相同的参数。因此，例如，编码器可以向解码器发送(显式信令)特定参数，使得解码器可以使用相同的特定参数。相反，如果解码器已经具有特定参数以及其他参数，则可以使用信令而无需发送(隐式信令)以简单地允许解码器知道并选择特定参数。通过避免传输任何实际功能，在各种实施例中实现了比特节省。应当理解，可以以多种方式来完成信令。例如，在各种实施例中，一个或多个语法元素、标志等用于向相应解码器用信号发送信息。尽管前面涉及词语“signal(用信号发送)”的动词形式，但词语“signal(信令)”在本文中也可以用作名词。

如对于本领域普通技术人员将明显的，实现方式可以产生被格式化以承载信息的、例如可以被存储或发送的各种信号。该信息可以包括例如用于执行方法的指令或通过所描述的实现方式之一产生的数据。例如，信号可以被格式化以承载所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码以及用编码的数据流来调制载波。信号所承载的信息可以是例如模拟或数字信息。众所周知，信号可以经由各种不同的有线或无线链路进行传输。信号可以存储在处理器可读介质上。

我们已经描述了许多实施例。这些实施例至少提供了跨各种不同的权利要求类别和类型的以下广义发明和权利要求，包括所有组合：

·一种用于对图像块进行编码的编码方法，包括：确定用于对图像块的变换系数集合中的至少一个系数进行编码的系数组模式；-响应于系数组模式，对图像块的变换系数集合进行编码；其中，根据图像块的尺寸、图像块的有效变换系数的数量、图像块的变换系数的位置中的至少一个来确定系数组模式；

·一种用于对图像块进行解码的解码方法，包括：确定用于对图像块的变换系数集合中的至少一个系数进行解码的系数组模式；响应于系数组模式，对变换系数集合进行解码，其中，根据图像块的尺寸、图像块的变换系数的位置、解码的语法元素中的至少一个来确定系数组模式。

·一种编码/解码方法，其中，系数组模式指定是否对系数组有效标志进行编码，所述系数组有效指示在包括图像块的变换系数集合中的至少一个系数的系数组内部至少一个系数非零。

·一种编码/解码方法，其中，系数组模式指定是否对系数组有效标志进行编码并指定系数组的至少一个尺寸，所述系数组有效标志指示在包括图像块的变换系数集合中的至少一个系数的系数组内部至少一个系数非零。

·一种编码/解码方法，其中，系数组模式指定用于对系数组有效标志进行编码的系数组的尺寸，所述系数组有效指示在包括图像块的变换系数集合中的至少一个系数的系数组内部至少一个系数非零。

·一种编码方法，其中，响应于系数组模式对图像块的变换系数集合进行编码包括：如果系数组模式指定对系数组有效标志进行编码，则确定图像块的当前系数组内部的非零变换系数的数量；确定用于当前系数组的系数组有效标志，以及在当前系数组内部的非零变换系数的数量不为空(null)的情况下，对当前系数组的至少一个系数进行编码；否则，如果系数组模式指定不对系数组有效标志进行编码，则对图像块的至少一个变换系数进行编码。

·一种编码方法，其中，确定系数组模式包括：获得第一值，获得图像块的有效变换系数的数量；其中，在图像块的有效变换系数的数量大于第一值的情况下，系数组模式指定对系数组有效标志进行编码。

·一种编码方法，其中确定系数组模式包括：获得至少一个第一值；获得图像块的有效变换系数的数量；系数组模式指定对系数组有效标志进行编码和系数组的至少一个尺寸是响应于图像块的非零变换系数的数量与有效系数的至少一个第一数量之间的比较。

·根据图像块的尺寸确定第一值。

·确定扫描区域，并将编码/解码方法应用于扫描区域而不是图像块。·一种编码/解码方法，包括对系数组模式进行编码/解码。

·一种解码方法，其中，确定所述系数组模式包括：对指定对系数组有效标志进行编码、或者指定系数组的至少一个尺寸的语法元素(encode_CG,adaptive_CG_size)进行解码。

·一种应用于大编码块尺寸(32×32、64×64…)的编码/解码方法。

·一种应用于亮度分量的编码/解码方法。

·一种应用于色度分量的编码/解码方法。

·一种应用于帧间编码块的编码/解码方法。

·一种应用于帧内编码块的编码/解码方法。

·一种应用于一些变换类型的编码/解码方法。

·一种比特流或信号，包括一个或多个所描述的语法元素或其变型。

·在信令中***语法元素，使解码器能够以与编码器所使用的方式相对应的方式适配CG。

·创建和/或发送和/或接收和/或解码包括一个或多个所描述的语法元素或其变型的比特流或信号。

·执行根据所描述的任何实施例的CG的适配的TV、机顶盒、蜂窝电话、平板或其他电子装置。

·执行根据所描述的任何实施例的CG的适配并且显示(例如，使用监视器、屏幕或其他类型的显示器)所得图像的TV、机顶盒、蜂窝电话、平板或其他电子装置。

·调谐(例如，使用调谐器)信道以接收包括编码图像的信号、并执行根据所描述的任何实施例的CG的适配的TV、机顶盒、蜂窝电话、平板或其他电子装置。

·经由空中接收(例如，使用天线)包括编码图像的信号、并执行根据所描述的任何实施例的滤波器参数的适配的TV、机顶盒、蜂窝电话、平板或其他电子装置。

贯穿本公开，还支持和构想了各种其他广义的和特性化的发明和权利要求。

Claims (22)

1.一种包括对编码块进行解码的方法，包括：

-获得包括多个系数组的所述编码块，其中，与所述多个系数组关联的系数组包括所述编码块变换系数集合；

-确定针对所述编码块中系数组的系数组有效指示是否包括在比特流中，其中，所述系数组有效指示被配置为指示所述系数组中至少一个系数非零；以及

-基于确定所述系数组有效指示不包括在所述比特流中，解析所述比特流中的系数组尺寸指示以对所述编码块进行解码，其中，所述系数组尺寸指示指示所述系数组的尺寸。

2.根据权利要求1所述的方法，其中，基于确定所述系数组有效指示不包括在所述比特流中，解析所述系数组有效指示以对所述编码块进行解码。

3.一种包括对编码块进行编码的方法，包括：

-获得包括多个系数组的所述编码块，其中，与所述多个系数组关联的系数组包括所述编码块变换系数集合；

-确定是否基于所述编码块中非零变换系数的数量用信号发送针对所述编码块中系数组的系数组有效指示，其中，所述系数组有效指示被配置为指示所述系数组中至少一个系数非零；以及

-基于确定要绕过用信号发送所述系数组有效指示，将系数组尺寸指示包括在比特流中以对所述编码块进行编码，其中，所述系数组尺寸指示指示所述系数组的尺寸。

4.根据权利要求3所述的方法，其中，基于确定要用信号发送所述系数组有效指示，将所述系数组有效指示包括在所述比特流中。

5.根据权利要求3所述的方法，其中，所述方法包括：

-获得阈值；

-确定所述编码块中的非零变换系数的所述数量是否小于获得的阈值；以及

-基于确定所述编码块中的非零变换系数的所述数量小于所述获得的阈值，绕过所述用信号发送所述比特流中的所述系数组有效指示，和基于确定所述编码块中的非零变换系数的所述数量大于所述获得的阈值，将所述系数组有效指示包括在所述比特流中。

6.根据权利要求3所述的方法，其中，所述方法包括：

-获得至少一个阈值；

-获得所述编码块中非零变换系数的数量；以及

-将所述系数组尺寸指示包括在所述比特流中，其中，所述系数组的所述尺寸是响应于所述编码块中非零变换系数的数量与所述至少一个阈值之间的比较。

7.根据权利要求5所述的方法，其中，基于与所述编码块关联的所述尺寸来获得所述阈值。

8.根据权利要求6所述的方法，其中，基于与所述编码块关联的所述尺寸来获得所述至少一个阈值。

9.根据权利要求3所述的方法，其中，基于与所述编码块关联的所述尺寸和所述编码块的变换系数的集合的位置中的至少一个来获得所述系数组的所述尺寸。

10.根据权利要求3所述的方法，其中，所述方法包括：

-获得与用所述系数组有效指示对所述编码块进行编码关联的第一速率失真成本；

-获得与没有用所述系数组有效指示对所述编码块进行编码关联的第二速率失真成本；以及

-比较所述第一速率失真成本和所述第二速率失真成本以确定是否用信号发送所述系数组有效指示。

11.一种用于对编码块进行解码的装置，包括：

处理器，被配置为：

-获得包括多个系数组的所述编码块，其中，与所述多个系数组关联的系数组包括所述编码块变换系数集合；

-确定针对所述编码块中系数组的系数组有效指示是否包括在比特流中，其中，所述系数组有效指示被配置为指示所述系数组中至少一个系数非零；以及

-基于确定所述系数组有效指示不包括在所述比特流中，解析所述比特流中的系数组尺寸指示以对所述编码块进行解码，其中，所述系数组尺寸指示指示所述系数组的尺寸。

12.根据权利要求11所述的装置，其中，所述处理器被配置为：

-基于确定所述系数组有效指示不包括在所述比特流中，解析所述系数组有效指示以对所述编码块进行解码。

13.一种用于对编码块进行编码的装置，包括：

处理器，被配置为：

-获得包括多个系数组的所述编码块，其中，与所述多个系数组关联的系数组包括所述编码块变换系数集合；

-确定是否基于所述编码块中非零变换系数的数量用信号发送针对所述编码块中系数组的系数组有效指示，其中，所述系数组有效指示被配置为指示所述系数组中至少一个系数非零；以及

-基于确定要绕过用信号发送所述系数组有效指示，将系数组尺寸指示包括在比特流中以对所述编码块进行编码，其中，所述系数组尺寸指示指示所述系数组的尺寸。

14.根据权利要求13所述的装置，其中，所述处理器被配置为：

-基于确定要用信号发送所述系数组有效指示，将所述系数组有效指示包括在所述比特流中。

15.根据权利要求13所述的装置，其中，所述处理器被配置为：

-获得阈值；

-确定所述编码块中的非零变换系数的所述数量是否小于获得的阈值；以及

-基于确定所述编码块中的非零变换系数的所述数量小于所述获得的阈值，绕过所述用信号发送所述比特流中的所述系数组有效指示，和基于确定所述编码块中的非零变换系数的所述数量大于所述获得的阈值，将所述系数组有效指示包括在所述比特流中。

16.根据权利要求13所述的装置，其中，所述处理器被配置为：

-获得至少一个阈值；

-获得所述编码块中非零变换系数的数量；以及

-将所述系数组尺寸指示包括在所述比特流中，其中，所述系数组的所述尺寸是响应于所述编码块中非零变换系数的数量与所述至少一个阈值之间的比较。

17.根据权利要求15所述的装置，其中，基于与所述编码块关联的所述尺寸来获得所述阈值。

18.根据权利要求16所述的装置，其中，基于与所述编码块关联的所述尺寸来获得所述至少一个阈值。

19.根据权利要求13所述的装置，其中，基于与所述编码块关联的所述尺寸和所述编码块的变换系数的集合的位置中的至少一个来获得所述系数组的所述尺寸。

20.根据权利要求13所述的装置，其中，所述处理器被配置为：

-获得与用所述系数组有效指示对所述编码块进行编码关联的第一速率失真成本；

-获得与没有用所述系数组有效指示对所述编码块进行编码关联的第二速率失真成本；以及

-比较所述第一速率失真成本和所述第二速率失真成本以确定是否用信号发送所述系数组有效指示。

21.一种计算机可读存储介质，包括用于使一个或多个处理器执行根据权利要求1和2中任一所述的方法的指令。

22.一种计算机可读存储介质，包括用于使一个或多个处理器执行根据权利要求3-10中任一所述的方法的指令。