CN114128281A - 用于控制编码工具的方法和装置 - Google Patents

Abstract

公开了一种用于控制编码工具的方法和装置。根据本发明的实施方案，提供了一种包括以下步骤的图像解码方法：从比特流的较高级别解码指示是否启用至少一个编码工具的启用标志；根据启用标志的值，将指示是否能够应用至少一个编码工具的应用标志设置为预定值或从比特流的较低级别解码应用标志，以获取应用标志的值；以及当应用标志的值是指示出能够应用至少一个编码工具的值时，执行至少一个编码工具。

Description

用于控制编码工具的方法和装置

技术领域

本发明涉及视频的编码和解码，更具体地，本发明涉及一种通过有机地控制用于视频的编码和解码的各种编码工具来提高编码和解码效率的方法和装置。

背景技术

由于视频数据量大于语音数据量或静止影像数据量，因此在不进行压缩处理的情况下存储或传输视频数据需要大量的硬件资源(包括存储器)。相应地，在存储或传输视频数据时，通常利用编码器来压缩视频数据以进行存储或传输。然后，解码器接收压缩的视频数据，解压并再现视频数据。用于这种视频的压缩技术包括H.264/AVC和高效率视频编码(High Efficiency Video Coding，HEVC)，所述高效率视频编码(HEVC)比H.264/AVC的编码效率提高了大约40％。

然而，视频大小、分辨率和帧速率逐渐增加，并且相应地，要编码的数据量也在增多。因此，需要一种与现有压缩技术相比具有更好的编码效率和更高的影像质量的新压缩技术。

发明内容

为了满足这些需要，本发明旨在提供一种改善的视频编码和解码技术。具体地，本发明的一个方面涉及通过经由在高级别定义的语法元素控制各种编码工具的开启或关闭来提高编码和解码效率的技术。

根据本发明的一个方面，提供了一种视频解码方法，包括：从比特流的高级别解码指示是否启用一个或更多个编码工具的启用标志，所述一个或更多个编码工具包括第一编码工具，所述第一编码工具配置为基于分段线性模型利用亮度分量映射对样本值进行编码；通过将指示是否应用一个或更多个编码工具的应用标志设置为预定值或通过从比特流的低级别解码应用标志，根据启用标志的值来获取应用标志的值，所述应用标志包括指示是否应用第一编码工具的第一应用标志；以及当应用标志的值是指示出应用一个或更多个编码工具的值时，执行一个或更多个编码工具。

当根据第一应用标志的值执行第一编码工具时，执行一个或更多个编码工具包括：基于对应于亮度预测样本的分段线性模型，从亮度预测样本生成映射的亮度预测样本，并且通过将从比特流重构的亮度残差样本与映射的亮度预测样本相加来生成亮度重构的样本；以及利用与分段线性模型具有逆关系的逆分段线性模型来对亮度重构的样本逆向映射。

根据本发明的另一方面，提供了一种视频解码装置，其包括：熵解码器，其配置为从比特流的高级别解码指示是否启用一个或更多个编码工具的启用标志，所述一个或更多个编码工具包括第一编码工具，所述第一编码工具配置为基于分段线性模型利用亮度分量映射对样本值进行编码；获取单元，其配置为通过根据启用标志的值而将应用标志设置为预定值或从比特流的低级别解码应用标志，获取指示是否应用一个或更多个编码工具的应用标志的值，其中所述应用标志包括指示是否应用第一编码工具的第一应用标志；以及执行单元，其配置为当应用标志的值是指示出应用一个或更多个编码工具的值时，执行一个或更多个编码工具。

当根据第一应用标志的值执行第一编码工具时，执行单元配置为：基于对应于亮度预测样本的分段线性模型，从亮度预测样本生成映射的亮度预测样本；通过将从比特流重构的亮度残差样本与映射的亮度预测样本相加来生成亮度重构的样本；以及利用与分段线性模型具有逆关系的逆分段线性模型来对亮度重构的样本逆向映射。

从前述显然的是，根据本发明的示例性实施方案，可以在高级别控制是否应用各种编码工具，并且因此可以改善编码和解码的压缩性能。

附图说明

图1是能够实现本发明的技术的视频编码装置的示例性框图。

图2示例性地示出利用QTBTTT结构的块分区结构。

图3a示例性地示出多个帧内预测模式。

图3b示例性地示出包括宽角度帧内预测模式的多个帧内预测模式。

图4是能够实现本发明的技术的视频解码装置的示例性框图。

图5是能够控制编码工具的视频解码装置的示例性框图。

图6是示出控制编码工具的方法的示例的流程图。

图7和图8是示出控制编码工具的方法的各种示例的流程图。

图9是示出第一编码工具的示例性框图。

图10是能够执行第一编码工具的视频解码装置的示例性框图。

图11是示出控制第一编码工具的执行的方法示例的流程图。

图12是示出通过第一编码工具推导映射的亮度预测样本的方法的示例的流程图。

图13是示出通过第一编码工具推导缩放因子的方法的示例的流程图。

图14是示出通过第一编码工具推导经逆向映射的亮度重构样本的方法的示例的流程图。

图15是示出通过第一编码工具确定缩放色度残差样本的方法的示例的流程图。

图16是示出通过第一编码工具缩放色度残差样本的方法的示例的流程图。

图17是示出控制第二编码工具的执行的示例的流程图。

具体实施方式

在下文中，将参考所附附图对本发明的一些实施方案进行详细描述。应当注意，在将附图标记添加到各个附图中的组成元件时，尽管元件在不同的附图中示出，但是相同的附图标记也表示相同的元件。另外，在以下对本发明的描述中，将省略并入本文的已知功能和配置的详细描述，以避免模糊本发明的主题。

图1是能够实现本发明的技术的视频编码装置的示例性框图。在下文中，将参考图1来描述视频编码装置以及该装置的元件。

视频编码装置可以包括：图像分割器110、预测器120、减法器130、变换器140、量化器145、重排单元150、熵编码器155、逆量化器160、逆变换器165、加法器170、滤波单元180和存储器190。视频编码装置的每个元件可以以硬件或软件或者硬件和软件的组合来实现。各个元件的功能可以实现为软件，并且微处理器可以实现为执行对应于各个元件的软件功能。

一个视频包括多个图像。每个图像分割为多个区域，并且对每个区域执行编码。例如，一个图像分割为一个或更多个瓦片(tile)或/和切片(slice)。特别地，一个或更多个瓦片可以被定义为瓦片组。每个瓦片或切片分割为一个或更多个编码树单元(coding treeunit，CTU)。每个CTU通过树结构分割为一个或更多个编码单元(coding unit，CU)。应用于每个CU的信息被编码为CU的语法，并且共同应用于包括在一个CTU中的CU的信息被编码为CTU的语法。另外，共同应用于一个切片中的所有块的信息被编码为切片头的语法，而应用于构成图像的所有块的信息被编码在图像参数集(Picture Parameter Set，PPS)或图像头中。另外，由多个图像共同参考的信息被编码在序列参数集(Sequence Parameter Set，SPS)中。另外，由一个或更多个SPS共同参考的信息被编码在视频参数集(Video ParameterSet，VPS)中。共同应用于一个瓦片或瓦片组的信息可以被编码为瓦片头或瓦片组头的语法。

图像分割器110配置为确定编码树单元(CTU)的大小。关于CTU的大小(CTU尺寸)的信息被编码为SPS或PPS的语法，并且被传输至视频解码装置。图像分割器110配置为将构成视频的每个图像分割为具有预定大小的多个CTU，然后利用树结构递归地分割CTU。在树结构中，叶节点用作编码单元(CU)，所述编码单元(CU)是编码的基本单元。

树结构可以是四叉树(QuadTree，QT)、二叉树(BinaryTree，BT)、三叉树(TernaryTree，TT)、或者由两个或更多个QT结构、BT结构和TT结构的组合形成的结构，所述四叉树(QT)即节点(或父节点)被分割为相同大小的四个从节点(或子节点)，所述二叉树(BT)即节点被分割为两个从节点，所述三叉树(TT)即节点被分割为具有1:2:1的比率三个从节点。例如，可以利用四叉树加二叉树(QuadTree plus BinaryTree，QTBT)结构，或者可以利用四叉树加二叉树三叉树(QuadTree plus BinaryTree TernaryTree，QTBTTT)结构。特别地，BTTT可以统称为多类型树(multiple-type tree，MTT)。

图2示例性地示出QTBTTT分割树结构。如图2所示，CTU可以首先分割为QT结构。可以重复QT分割，直到分割块的大小达到QT中允许的叶节点的最小块大小MinQTSize。由熵编码器155对指示QT结构的每个节点是否被分割为下层的四个节点的第一标志(QT_split_flag)进行编码，并将其用信号通知视频解码装置。

当QT的叶节点等于或小于BT中允许的根节点的最大块大小(MaxBTSize)时，可以进一步将其分割为一个或更多个BT结构或TT结构。BT结构和/或TT结构可以具有多个分割方向。例如，可以存在两个方向，即，水平地分割节点的块的方向以及竖直地分割块的方向。如图2所示，当MTT分割开始时，通过熵编码器155对指示节点是否被分割的第二标志(mtt_split_flag)、指示分割情况下的分割方向(竖直或水平)的标志、和/或指示分割类型(二叉或三叉)的标志进行编码，并将其用信号通知视频解码装置。

替选地，在对指示每个节点是否被分割为下层的4个节点的第一标志(QT_split_flag)进行编码之前，可以对指示节点是否被分割的CU分割标志(split_cu_flag)进行编码。当CU分割标志(split_cu_flag)的值指示出没有执行分割时，节点的块成为分割树结构中的叶节点，并用作编码单元(CU)，编码单元(CU)是编码的基本单元。当CU分割标志(split_cu_flag)的值指示出执行分割时，视频编码装置开始以上述方式从第一标志起对标志编码。

当利用QTBT作为树结构的另一个示例时，可以存在两种分割类型，即将块水平地分割为相同大小的两个块的类型(即，对称水平分割)和将块竖直地分割为相同大小的两个块的类型(即，对称竖直分割)。由熵编码器155对指示BT结构的每个节点是否被分割为下层的块的分割标志(split_flag)和指示分割类型的分割类型信息进行编码，并将其传输至视频解码装置。可以存在将节点的块分割为两个非对称块的额外类型。非对称分割类型可以包括以1:3的大小比率将块分割为两个矩形块的类型，或者对角线地分割节点的块的类型。

CU可以根据CTU的QTBT或QTBTTT分割而具有各种大小。在下文中，与要编码或解码的CU(即，QTBTTT的叶节点)相对应的块被称为“当前块”。在采用QTBTTT分割时，当前块的形状可以是正方形或矩形。预测器120配置为对当前块进行预测以生成预测块。预测器120包括帧内预测器122和帧间预测器124。

通常，图像中的每个当前块可以分别被预测地编码。另外，利用帧内预测技术(其利用来自包括当前块的图像的数据)或帧间预测技术(其利用在包括当前块的图像之前被编码的图像的数据)来执行当前块的预测。帧间预测包括单向预测和双向预测两者。

帧内预测器122配置为利用在包括当前块的当前图像中位于当前块周围的像素(参考像素)来预测当前块中的像素。根据预测方向，存在多个帧内预测模式。例如，如图3a所示，多个帧内预测模式可以包括两种非方向模式和65种方向模式，所述两种非方向模式包括平面(planar)模式和直流(direct current，DC)模式。针对每种预测模式不同地定义要使用的相邻像素和等式。下表列出帧内预测模式编号及其名称。

为了对矩形形状的当前块进行有效的方向预测，可以额外地利用由图3b中的虚线箭头指示的方向模式(帧内预测模式67至80和-1至-14)。这些模式可以称为“宽角度帧内预测模式(wide angle intra-prediction modes)”。在图3b中，箭头指示用于预测的相应参考样本，而非指示预测方向。预测方向与由箭头指示的方向相反。宽角度帧内预测模式是在当前块具有矩形形状时在与特定方向模式相反的方向上执行预测而无需额外的比特传输的模式。

具体地，在宽角度帧内预测模式中，可以基于矩形当前块的宽度与高度的比率来确定可用于当前块的一些宽角度帧内预测模式。例如，在当前块的矩形形状的高度小于其宽度时，可以利用角度小于大约45度的宽角度帧内预测模式(帧内预测模式67至80)。在当前块的矩形形状的高度大于其宽度时，可以利用角度大于大约-135度的宽角度帧内预测模式(帧内预测模式-1至-14)。

帧内预测器122可以配置为确定对当前块进行编码时要使用的帧内预测模式。在一些示例中，帧内预测器122可以配置为利用若干帧内预测模式来对当前块进行编码，并且从测试的模式中选择要使用的适当的帧内预测模式。例如，帧内预测器122可以配置为利用若干测试的帧内预测模式的率失真(rate distortion)分析来计算率失真值，并且在测试的模式中选择具有最佳率失真特性的帧内预测模式。

帧内预测器122配置为从多个帧内预测模式中选择一个帧内预测模式，并且利用根据选择的帧内预测模式所确定的相邻像素(参考像素)和等式来预测当前块。由熵编码器155对关于选择的帧内预测模式的信息进行编码，并将其传输至视频解码装置。

帧间预测器124配置为通过运动补偿来生成当前块的预测块。帧间预测器124配置为在比当前图像更早已被编码和解码的参考图像中搜索与当前块最相似的块，并且利用搜索到的块来生成当前块的预测块。然后，帧间预测器配置为生成与当前图像中的当前块和参考图像中的预测块之间的位移(displacement)相对应的运动矢量(motion vector)。通常，对亮度(luma)分量执行运动估计，并且基于亮度分量计算的运动矢量用于亮度分量和色度分量两者。由熵编码器155对包括关于参考图像的信息和有关用于预测当前块的运动矢量的信息的运动信息进行编码，并将其传输至视频解码装置。

减法器130配置为将当前块减去由帧内预测器122或帧间预测器124生成的预测块以生成残差块。变换器140可以配置为将残差块分割为一个或更多个变换块，并且对一个或更多个变换块应用变换，从而将变换块的残差值从像素域变换到频域。在频域中，变换块被称为包含一个或更多个变换系数值的系数块。二维变换核可以用于变换，而一维变换核可以分别用于水平变换和竖直变换。变换核可以基于离散余弦变换(discrete cosinetransform，DCT)、离散正弦变换(discrete sine transform，DST)等。

变换器140可以配置为利用残差块的整个大小作为变换单元来变换残差块中的残差信号。另外，变换器140可以配置为将残差块在水平方向或竖直方向上分区为两个子块，并且仅变换两个子块的一个。相应地，变换块的大小可以与残差块的大小(进而预测块的大小)不同。非零残差样本值可能不存在，或者在未变换的子块中可能非常罕见。不用信号通知未变换子块的残差样本，并且未变换子块的残差样本可以被视频解码装置视为“0”。根据分区方向和分区比率可以存在多种分区类型。

变换器140可以配置为向熵编码器155提供关于残差块的编码模式(或变换模式)的信息(例如，指示是变换残差块还是变换残差子块的信息，指示选择为将残差块分区为子块的分区类型的信息，以及识别被执行变换的子块的信息)。熵编码器155可以配置为对关于残差块的编码模式(或变换模式)的信息进行编码。量化器145可以配置为对从变换器140输出的变换系数进行量化，并且将量化的变换系数输出到熵编码器155。对于一些块或帧，量化器145可以配置为不经变换直接对相关残差块进行量化。

重排单元150可以配置为对量化的残差值的系数值进行重排。另外，重排单元150可以配置为通过系数扫描(coefficient scanning)来将2维系数阵列改变为1维系数序列。例如，重排单元150可以配置为利用锯齿形扫描(zig-zag scan)或对角线扫描(diagonalscan)从直流(DC)系数向高频区域中的系数对系数进行扫描，以输出1维系数序列。根据变换单元的大小和帧内预测模式，可以利用竖直扫描或水平扫描代替锯齿形扫描，所述竖直扫描即在列方向上对系数的二维阵列进行扫描，所述水平扫描即在行方向上对二维块形状的系数进行扫描。换句话说，可以根据变换单元的大小和帧内预测模式在锯齿形扫描、对角线扫描、竖直扫描和水平扫描中确定要利用的扫描模式。

熵编码器155配置为利用诸如基于上下文的自适应二进制算术编码(Context-based Adaptive Binary Arithmetic Code，CABAC)和指数哥伦布(exponential Golomb)的各种编码技术来对从重排单元150输出的一维量化的变换系数进行编码，以生成比特流。熵编码器155配置为对与块分割相关的信息(例如，CTU大小、CU分割标志、QT分割标志、MTT分割类型和MTT分割方向)进行编码，使得视频解码装置可以以与视频编码装置相同的方式来分割块。另外，熵编码器155配置为对关于指示当前块是由帧内预测编码还是由帧间预测编码的预测类型的信息进行编码，并且根据预测类型来对帧内预测信息(即，关于帧内预测模式的信息)或帧间预测信息(即，关于参考图像索引和运动矢量的信息)进行编码。

逆量化器160可以配置为对从量化器145输出的量化的变换系数进行逆量化，以生成变换系数。逆变换器165配置为将从逆量化器160输出的变换系数从频域变换到空域，并且重构残差块。加法器170配置为将重构的残差块和由预测器120生成的预测块相加，以重构当前块。重构的当前块中的像素在执行后续块的帧内预测中用作参考像素。

滤波单元180配置为对重构的像素进行滤波，以减少由于基于块的预测和变换/量化而产生的块伪影(blocking artifacts)、振铃伪影(ringing artifacts)和模糊伪影(blurring artifacts)。滤波单元180可以包括去块滤波器182和样本自适应偏移(sampleadaptive offset，SAO)滤波器184。去块滤波器180配置为对重构的块之间的边界进行滤波，以去除由逐块编码/解码而引起的块伪影，并且SAO滤波器184配置为对去块滤波的视频执行额外的滤波。SAO滤波器184是用于对由有损编码(lossy coding)引起的重构的像素与原始的像素之间的差进行补偿的滤波器。

通过去块滤波器182和SAO滤波器184滤波的重构的块存储在存储器190中。一旦一个图像中的所有块被重构，重构的图像就可以用作后续要被编码的图像中的块的帧间预测的参考图像。

图4是能够实现本发明的技术的视频解码装置的示例性功能框图。在下文中，将参考图4来描述视频解码装置和该装置的元件。

视频解码装置可以包括：熵解码器410、重排单元415、逆量化器420、逆变换器430、预测器440、加法器450、滤波单元460和存储器470。类似于图1的视频编码装置，视频解码装置的每个元件可以用硬件、软件、或者硬件和软件的组合来实现。另外，每个元件的功能可以用软件来实现，并且微处理器可以实现为执行对应于每个元件的软件功能。

熵解码器410配置为通过对由视频编码装置生成的比特流解码并提取与块分割相关的信息来确定要解码的当前块，并且提取重构当前块所需的预测信息和关于残差信号的信息等。熵解码器410配置为从序列参数集(SPS)或图像参数集(PPS)中提取关于CTU大小的信息，确定CTU的大小，并且将图像分割为确定大小的CTU。然后，解码器配置为将CTU确定为树结构的最高层(即，根节点)，并且提取关于CTU的分割信息，以利用树结构来分割CTU。

例如，当利用QTBTTT结构来分割CTU时，提取与QT的分割相关的第一标志(QT_split_flag)，以将每个节点分割为子层的四个节点。对于与QT的叶节点相对应的节点，提取与MTT的分割有关的第二标志(MTT_split_flag)以及关于分割方向(竖直/水平)和/或分割类型(二叉/三叉)的信息，从而以MTT结构来分割对应的叶节点。由此，以BT或TT结构来递归地分割QT的叶节点下方的每个节点。

作为另一个示例，当利用QTBTTT结构来分割CTU时，可以提取指示是否分割CU的CU分割标志(split_cu_flag)。当分割对应块时，可以提取第一标志(QT_split_flag)。在分割操作中，在零个或更多个递归QT分割之后，每个节点都可能发生零个或更多个递归MTT分割。例如，CTU可以直接经历MTT分割而不经历QT分割，或者仅经历QT分割多次。作为另一个示例，当利用QTBT结构来分割CTU时，提取与QT分割相关的第一标志(QT_split_flag)，并且将每个节点分割为下层的四个节点。然后，提取指示是否以BT进一步分割与QT的叶节点相对应的节点的分割标志(split_flag)以及分割方向信息。

一旦通过树结构分割来确定要解码的当前块，熵解码器410就配置为提取关于指示当前块是被帧内预测还是被帧间预测的预测类型的信息。当预测类型信息指示帧内预测时，熵解码器410配置为提取用于当前块的帧内预测信息(帧内预测模式)的语法元素。当预测类型信息指示帧间预测时，熵解码器410配置为提取用于帧间预测信息的语法元素，也就是说，指示运动矢量和由运动矢量参考的参考图像的信息。

熵解码器410配置为从比特流提取关于残差块的编码模式的信息(例如，关于是对残差块编码还是仅对残差块的子块编码的信息，指示选择为将残差块分区为子块的分区类型的信息，识别被编码的残差子块的信息，量化参数等)。熵解码器410还配置为提取关于量化的当前块的变换系数的信息作为关于残差信号的信息。

重排单元415可以配置为以由视频编码装置执行的系数扫描的相反顺序，将由熵解码器410进行熵解码的一维量化的变换系数的序列改变为2维系数阵列(即，块)。逆量化器420配置为对量化的变换系数进行逆量化。逆变换器430配置为基于关于残差块的编码模式的信息将逆量化的变换系数从频域逆变换到空域，以重构残差信号，从而生成重构的当前块的残差块。

当关于残差块的编码模式的信息指示出当前块的残差块已经被视频编码装置编码时，逆变换器430利用当前块的大小(以及进而要重构的残差块的大小)作为逆量化的变换系数的变换单位，以执行逆变换，从而生成当前块的重构的残差块。

当关于残差块的编码模式的信息指示只有残差块的一个子块已经被视频编码装置编码时，逆变换器430利用变换的子块的大小作为逆量化的变换系数的变换单位，以执行逆变换，从而重构变换的子块的残差信号，并且用值“0”来填充未变换的子块的残差信号，以生成重构的当前块的残差块。

预测器440可以包括帧内预测器442和帧间预测器444。在当前块的预测类型是帧内预测时，激活帧内预测器442，而在当前块的预测类型是帧间预测时，激活帧间预测器444。帧内预测器442配置为基于从熵解码器410提取的帧内预测模式的语法元素，在多个帧内预测模式中确定当前块的帧内预测模式，并且根据帧内预测模式，利用当前块周围的参考像素来预测当前块。

帧间预测器444配置为利用由熵解码器410提取的帧内预测模式的语法元素来确定当前块的运动矢量和由运动矢量参考的参考图像，并且基于运动矢量和参考图像来预测当前块。加法器450配置为通过将从逆变换器430输出的残差块与从帧间预测器444或帧内预测器442输出的预测块相加来重构当前块。在对后续要被解码的块进行帧内预测时，重构的当前块中的像素用作参考像素。

滤波单元460可以包括去块滤波器462和SAO滤波器464。去块滤波器462对重构的块之间的边界进行去块滤波，以去除由逐块解码引起的块伪影。SAO滤波器464配置为在对相应偏移进行去块滤波之后对重构的块执行额外的滤波，以补偿由有损编码引起的重构的像素与原始的像素之间的差。通过去块滤波器462和SAO滤波器464滤波的重构的块存储在存储器470中。当一个图像中的所有块被重构时，重构的图像用作对后续要被编码的图像中的块进行帧间预测的参考图像。

在本发明中，提出了一种控制各种编码工具的方法(即，编码工具控制方法)。根据本发明的方法操作的编码工具可以包括：配置为跳过用于残差样本的变换/逆变换操作的编码工具、配置为将各种变换核的一个或更多个选择性地应用于残差样本(对所述残差样本应用了变换操作)的编码工具、配置为从位于包含当前块的当前图像中的另一个块获取用于当前块的预测信息的编码工具、配置为利用分段线性模型(piece-wise linearmodel)来映射预测样本和缩放残差样本的编码工具(第一编码工具)以及配置为将差分编码(differential coding)应用于残差样本的编码工具(第二编码工具)。

在下文中，根据本发明的方法操作的编码工具将称为“目标编码工具”。目标编码工具可以与用于屏幕内容编码(screen content coding，SCC)的编码工具相对应。操作目标编码工具可以是指启用/禁用目标编码工具。另外，操作目标编码工具可以是指开启或关闭目标编码工具。目标编码工具的操作可以对包括在目标编码工具中的一个或更多个编码工具的每个组合或组来执行。

可以利用在比特流的高级别定义的启用标志来控制是否启用/禁用目标编码工具以及是否开启/关闭目标编码工具。启用标志可以指示是否启用目标编码工具，或者可以指示是否将SCC应用于要编码/解码的目标影像。考虑到下述情况时提供后一种情况，当视频的特征是屏幕内容时会有较高可能性应用“配置为跳过用于残差样本的变换/逆变换操作的编码工具”和“配置为从位于包含当前块的当前图像中的另一个块获取关于当前块的预测信息的编码工具”。另外，考虑到下述情况时提供后一种情况，当视频的特征不是屏幕内容时会有较高可能性应用“配置为将各种变换核的一个或更多个选择性地应用于残差样本(对所述残差样本应用了变换操作)的编码工具”。

在下文中，是否启用目标编码工具以及是否将SCC应用于目标编码工具将统称为“是否启用目标编码工具”。定义了启用标志的比特流的高级别表示比下面描述的比特流中的其他级别(低级别)更高的级别。高级别可以是SPS级别、PPS级别、图像级别(包括图像头)、切片级别(包括切片头)、瓦片级别(包括瓦片头)、块级别等。

图5示出能够利用启用标志来控制目标编码工具的视频解码装置的示例性框图，图6示出控制目标编码工具的方法的示例的流程图。如图5所示，视频解码装置可以包括：熵解码器410、获取单元510和执行单元520。

视频编码装置可以配置为确定是否启用目标编码工具的一个或更多个，并且根据结果来设置启用标志的值。另外，视频编码装置可以配置为在比特流的高级别中编码启用标志，以将其用信号通知视频解码装置。等于1的启用标志指示出启用目标编码工具，而等于0的启用标志指示出不启用目标编码工具。熵解码器410可以配置为从比特流的高级别解码启用标志(S610)。

视频编码装置可以配置为确定是应用还是执行目标编码工具。另外，视频编码装置可以配置为基于启用标志的值来确定是否用信号通知指示是应用还是执行目标编码工具的应用标志。例如，当启用标志等于1时，可能不会用信号通知应用标志。当启用标志等于0时，应用标志可以在比特流的低级别中编码并用信号通知视频解码装置。作为另一示例，当启用标志等于1时，应用标志可以在比特流的低级别中编码并用信号通知视频解码装置。当启用标志等于0时，可能不会用信号通知应用标志。等于1的应用标志指示出应用目标编码工具，而等于0的应用标志指示出不应用目标编码工具。

应用标志可以指示是否应用于包括在目标编码工具中的全部编码工具，或者可以指示是否应用包括在目标编码工具中的一个或更多个编码工具。在后一种情况下，应用标志可以分为指示是否应用第一编码工具的第一应用标志以及指示是否应用第二编码工具的第二应用标志。

获取单元510可以配置为根据启用标志的值将应用标志设置为预定值或者可以通过从比特流的低级别解码应用标志来获取应用标志的值(S620)。例如，当启用标志等于1时，可以隐式地将应用标志设置为1。当启用标志等于0时，可以从比特流的低级别解码应用标志。作为另一示例，当启用标志等于1时，可以从比特流的低级别解码应用标志。当启用标志等于0时，可以隐式地将应用标志的值设置为0。

视频编码装置可以配置为当应用目标编码工具时通过执行目标编码工具对编码目标进行编码，但当不应用目标编码工具时可能不会执行目标编码工具。执行单元520可以配置为当获取的应用标志的值指示出应用目标编码工具时执行目标编码工具，而当获取的应用标志的值指示不应用目标编码工具时不执行目标编码工具(S630)。

与根据启用标志的值来获取应用标志的值相关的两个示例分别在图7和图8中示出。如图7所示，获取单元510可以配置为确定启用标志的值是等于1还是等于0(S710)。当启用标志等于1时，可以不从视频编码装置用信号通知应用标志，并且因此获取单元510可以配置为将应用标志设置为指示出应用目标编码工具的值(1，预定值)(S720)。相反，当启用标志等于0时，从视频编码装置用信号通知应用标志，并且因此获取单元510可以配置为通过从比特流的低级别解码应用标志来获取值(S730)。

执行单元520可以配置为确定获取的应用标志的值是等于1还是等于0(S740)。执行单元520可以配置为当应用标志等于1时执行目标编码工具(S750)，而当应用标志等于0时不执行目标编码工具(S760)。

如图8所示，获取单元510可以配置为确定启用标志的值是等于1还是等于0(S810)。当启用标志等于1时，从视频编码装置用信号通知应用标志，并且因此获取单元510可以配置为通过从比特流的低级别解码应用标志来获取值(S820)。相反，当启用标志等于0时，可以不从视频编码装置用信号通知应用标志，并且因此获取单元510可以配置为将应用标志设置为指示出不应用目标编码工具的值(0，预定值)(S830)。

执行单元520可以配置为确定获取的应用标志的值是等于1还是等于0(S840)。执行单元520可以配置为当应用标志等于1时执行目标编码工具(S850)，而当应用标志等于0时不执行目标编码工具(S860)。

如上所述，根据本发明的编码工具控制方法，由于根据在高级别定义的启用标志的值来确定用信号通知在低级别定义的应用标志，因此可以在高级别控制目标编码工具的操作。因此，可以提高比特效率。另外，比特效率的提高可以降低用于诸如游戏广播、360度视频流、VR/AR视频和在线讲座的各种内容所需的比特率。作为结果，可以减少网络上的负担，并且可以实现对各种内容解码的视频重放装置(视频解码装置)的能量效率(energyefficiency)上的提高和快速解码。

在下文中，将逐一描述将编码工具控制方法应用于每个目标编码工具的示例。

配置为跳过变换/逆变换操作的编码工具

用于残差样本的变换是考虑到有效视频压缩和视觉感知的重要性而将残差样本从像素域变换到频域的技术，用于残差样本的逆变换是将残差样本从频域变换到像素域的技术。

然而，在诸如屏幕内容的非自然影像的情况下，这种变换/逆变换技术的效率会很低。特别地，可以跳过变换/逆变换技术(变换跳过)。当跳过残差样本的变换/逆变换时，可以只对残差样本执行缩放(量化/逆量化)，或者可以只执行熵编码/解码而无需缩放。

在传统的编码/解码方法中，将变换块的大小设置为4×4、8×8、16×16或32×32，并且可以将变换或变换跳过应用于变换块。当将变换应用于变换块时，视频解码装置可以配置为对量化的变换系数(TransCoeffLevel[x][y])进行逆量化，并且将逆量化的变换系数(d[x][y])从频域逆变换到空域，以重构残差样本(r[x][y])。另外，视频解码装置可以配置为根据影像的比特深度来移位重构的残差样本，以推导移位的残差样本。

在传统的编码/解码方法中，变换跳过可以应用于具有4×4大小的变换块，或者可以根据额外的语法元素而应用于具有不同大小的变换块。当将变换跳过应用于变换块时，视频解码装置可以配置为对量化的变换系数(TransCoeffLevel[x][y])进行逆量化，并且对逆量化的变换系数(d[x][y])执行移位操作，以重构残差样本(r[x][y])。另外，视频解码装置可以配置为根据影像的比特深度来移位重构的残差样本，以推导移位的残差样本。特别地，应用对逆量化的变换系数执行的移位操作而不是变换技术。

当指示是否将旋转技术应用于变换跳过的残差样本的标志指示出应用旋转技术时，可以将变换跳过的残差样本旋转大约180度。相应地，视频解码装置可以配置为考虑到对称(旋转)而以相反的方向或以相反的顺序来扫描残差样本。

根据传统的编码/解码方法，对于每个变换单元用信号通知指示是否将变换技术应用于变换块的语法元素(变换跳过标志)，相应地会降低比特效率。另外，根据传统的编码/解码方法，额外地用信号通知指示变换跳过标志是否存在于变换单元中的语法元素(存在标志)，相应地会进一步降低比特效率。

如上所述，当在高级别用信号通知本发明中提出的启用标志(例如，pic_scc_tool_enabled_flag)时，可以跳过用信号通知存在标志以及用信号通知变换跳过标志。例如，当启用标志等于1时，应用标志(变换跳过标志和存在标志)可能不会被用信号通知，而可能被隐式地设置为1。当启用标志等于0时，可以从比特流的低级别解码应用标志。作为另一示例，当启用标志等于1时，可以从比特流的低级别解码应用标志。当启用标志等于0时，应用标志可能不会被用信号通知，而可能被隐式地设置为0。相应地，可以跳过用信号通知应用标志，从而提高比特效率。

配置为选择性地应用变换内核的编码工具

当将变换技术应用于残差样本时，通常将DCT-II变换核(变换类型)应用于残差样本。然而，为了根据残差样本的各种特性来应用更合适的变换技术，可以执行配置为将数个变换核中的一个或两个最佳变换核选择性地应用于残差样本的编码工具。

可以在这种编码工具中使用的变换核如表1所示。

表1

配置为选择性地应用变换内核的编码工具的语法元素可以编码并通过块级别从视频编码装置用信号通知视频解码装置。当应用编码工具时，可以用信号通知用于选择水平方向上的变换核和竖直方向上的变换核的语法元素(水平标志和竖直标志)。可以通过水平标志和竖直标志不同地选择应用于水平方向的变换核和应用于竖直方向的变换核。表2示出应用标志、水平标志和竖直标志之间的映射。

表2

如上所述，当在高级别用信号通知本发明中提出的启用标志时，如果跳过变换技术，则可以跳过用信号通知应用标志、水平标志和竖直标志。这是因为，当启用标志等于1时，存在较高的可能性在相关的图像中跳过变换技术。

例如，当启用标志等于1时，应用标志可能不会被用信号通知，而可能被隐式地设置为1。当启用标志等于0时，可以从比特流的低级别解码应用标志。作为另一示例，当启用标志等于1时，可以从比特流的低级别解码应用标志。当启用标志等于0时，应用标志可能不会被用信号通知，而可能被隐式地设置为0。在这两个示例中，当应用标志等于0时，可以跳过用信号通知水平标志和竖直标志，但当应用标志等于1时，可以用信号通知水平标志和竖直标志。相应地，可以跳过用信号通知应用标志、水平标志和竖直标志，从而提高比特效率。

本发明中的一些示例性实施方案可以进一步确定是否跳过对DUAL_TREE_CHROMA的变换。通常，在DUAL_TREE_CHROMA的情况下，不应用变换跳过。在本发明中，另一方面，可以检查作为用于色度分量的cbf标志的tu_cbf_cb或tu_cbf_cr。然后，当存在色度残差样本并且变换块的大小不超过允许应用变换跳过的最大大小时，可以将应用于亮度分量的变换跳过方法应用于色度分量。

配置为从位于当前图像中的另一个块获取关于当前块的预测信息的编码工具

在现有技术中，在SPS级别对指示是否启用编码工具的语法元素进行编码并用信号通知，并且当启用编码工具时，在块级别用信号通知指示是否通过编码工具编码当前块的语法元素(应用标志)。

利用如上所述的传统方法，针对每个块用信号通知应用标志，比特效率会相应地降低。如上所述，在高级别执行用信号通知SCC是否用于包括当前块(pic_scc_tool_enabled_flag，启用标志)的高级别的单位的情况下，当不应用SCC时，不需要对每个块用信号通知应用标志，因此可以提高比特效率。

例如，当启用标志等于1时，应用标志可能不会被用信号通知，而可能被隐式地设置为1。当启用标志等于0时，可以从比特流的低级别解码应用标志。作为另一示例，当启用标志等于1时，可以从比特流的低级别解码应用标志。当启用标志等于0时，应用标志可能不会被用信号通知，而可能被隐式地设置为0。

根据示例性实施方案，启用标志可以包括在切片头级别中定义的启用标志以及在比切片头级别相对较高的级别定义的启用标志(pic_scc_tool_enabled_flag)。当在较高级别定义的启用标志等于0时，在切片头级别定义的启用标志可以被编码，被用信号通知视频解码装置，并且被视频解码装置解码。特别地，当在切片头级别定义的启用标志不存在于比特流中时，可以跳过用信号通知并解码应用标志。

第一编码工具

第一编码工具表示配置为利用分段线性模型来映射预测样本和缩放残差样本的编码工具。可以在环内滤波之前将第一编码工具额外地应用于每个块。对于具有屏幕内容特性的视频，第一编码工具可以表现出高压缩效率。

图9示出了说明第一编码工具的示例性框图。第一编码工具可以包括两种主要操作。一种操作是基于自适应分段线性模型的环内映射亮度预测样本，另一种操作是根据亮度重构的样本的值来缩放色度残差样本。在图9中，在映射域内处理逆量化/逆变换、亮度样本重构以及亮度的帧内预测。将第一编码工具应用于色度残差样本缩放、映射以及亮度帧间预测。其余的块是在原始未映射域中执行的函数。

亮度预测样本的映射可以包括通过重新分配用于亮度预测样本的码字来调整动态范围以提高压缩效率的操作，以及将映射域中的亮度重构的样本逆向映射到未映射域的操作。具体地，可以通过将映射的亮度预测样本和亮度残差样本求和来推导亮度重构的样本，并且由视频编码装置在映射域中用信号通知所述亮度残差样本。

可以基于在比特流中的两个或更多个级别定义的启用标志来确定是否启用第一编码工具。启用标志中的一个可以在比另一个启用标志更高级别用信号通知。在较高级别用信号通知的启用标志称为“第一启用标志”，而在较低级别用信号通知的启用标志称为“第二启用标志”。

等于1的第一启用标志可以指示出在较高级别启用第一编码工具，而等于0的第一启用标志可以指示出在较高级别不启用第一编码工具。当第一启用标志等于1时，可以编码并用信号通知第二启用标志。等于1的第二启用标志指示出在较低级别启用第一编码工具，而等于0的第二启用标志可以指示出在较低级别不启用第一编码工具。

可以基于在与比特流中的启用标志的级别相比更低的级别定义的应用标志(第一应用标志)来确定是否应用第一编码工具。当第二启用标志等于1时，可以用信号通知第一应用标志，或者可以将其设置为预定值(或1)。在另一示例中，当第二启用标志等于0时，可以用信号通知第一应用标志，或者可以将其设置为预定值(或0)。

为了确定是否应用第一编码工具，在比特效率方面，这样的方法可能会是不希望的，所述方法即对于每个较低级别，对第一应用标志进行编码、用信号通知并进行解码。本发明旨在通过在比特流的高级别定义指示是否启用第一编码工具的启用标志(第二启用标志)来提高第一编码工具的比特效率。

图10示出能够利用第二启用标志来控制第一编码工具的视频解码装置的示例性框图，图11示出利用第二启用标志来控制第一编码工具的示例方法。如图10所示，视频解码装置可以包括熵解码器410、获取单元510、执行单元520和推导单元1010。执行单元520可以包括区段确定单元522和样本推导单元524。推导单元1010可以包括第一推导单元1012、第二推导单元1014和因子推导单元1016。

视频编码装置可以配置为确定是否对包含当前块的序列启用第一编码工具，并且根据确定结果来设置第一启用标志的值。可以在比特流的SPS级别中编码并用信号通知第一启用标志给视频解码装置。另外，当第一启用标志等于1时，视频编码装置可以配置为确定是否对包含当前块的图像启用第一编码工具，并且根据确定结果来设置第二启用标志的值。可以在比特流的图像级别(包括图像头)中编码并用信号通知第二启用标志给视频解码装置。

另外，当第二启用标志等于1时，视频编码装置可以配置为确定是否将第一编码工具应用于包含当前块的切片，并且根据确定结果来设置第一应用标志的值。可以通过比特流的切片级别(包括切片头)编码并用信号通知第一应用标志给视频解码装置。

熵解码器410可以配置为从比特流的SPS级别解码第一启用标志(S1110)，并且基于第一启用标志的值来确定是否启用第一编码工具(S1120)。另外，当第一启用标志等于1时，熵解码器410可以配置为从比特流的图像级别解码第二启用标志(S1130)，并且基于第二启用标志的值来确定是否启用第一编码工具(S1140)。

当第二启用标志等于1时，获取单元510可以配置为通过从比特流的切片级别解码第一应用标志来获取第一应用标志的值(S1160)。在此示例中，当第二启用标志等于0时，第一应用标志可能不会被用信号通知，而可能被隐式地设置为0。在一些示例性实施方案中，当第二启用标志等于0时，获取单元510可以配置为通过从比特流的切片级别解码第一应用标志来获取第一应用标志的值(S1160)。在此示例中，当第二启用标志等于1时，第一应用标志可能不会被用信号通知，而可能被隐式地设置为1。

执行单元520可以配置为当第一应用标志等于1时执行第一编码工具(S1170)，而当第一应用标志等于0时不执行第一编码工具(S1180)。当在S1120中第一启用标志等于0或在S1140中第二启用标志等于0时，也不执行第一编码工具(S1180)。

在下文中，将描述在第一编码工具中执行的详细操作。

亮度预测样本映射

分段线性模型可以表示输入信号的动态范围与输出信号的动态范围之间的关系。输入信号的动态范围分为预设数量的相等区段，并且基于分配给每个区段的码字数量来表示用于每个区段的分段线性模型。例如，当输入影像的比特深度为10比特并且区段的预设数量为16时，大体上可以将64个码字分配给16个区段的每个。

亮度预测样本的映射是这样一种方法，通过该方法，将帧间预测的亮度预测样本的动态范围分为预设数量的区段，通过应用与亮度预测样本所属的区段相对应的分段线性模型来重新分配亮度预测样本的码字，从而将映射之前的域(原始域)中的亮度预测样本映射到映射域。基于分段线性模型从亮度预测样本映射的亮度预测样本是“映射的亮度预测样本”。由于在映射域内执行帧内预测，映射不应用于以帧内模式编码的块。

视频编码装置配置为基于分段线性模型对亮度预测样本执行映射(生成映射的亮度预测样本)，并且对关于映射的亮度预测样本可能所属的区域(第二区段)的信息进行编码，并且将其用信号通知视频解码装置。

关于第二区段的信息可以包括“关于第二区段中可以用于第一编码工具的区段的索引信息(区段索引信息)”和“码字数量信息”。区段索引信息可以包括在可以用于第一编码工具的区段中关于具有最小索引的区段的索引信息以及关于具有最大索引的区段的索引信息。码字数量信息可以包括指示分配给或包括在原始区段(第一区段)中的码字数量与分配给可以用于第一编码工具的第二区段的每个的码字数量之间的差值(码字德尔塔)的信息(绝对值和差值的符号)。在下文中，差值的绝对值将称为“码字绝对值”，差值的符号将称为“码字符号”。

如图12所示，熵解码器410可以配置为从比特流解码关于第二区段的信息(S1210)。推导单元1010可以配置为基于关于第二区段的信息和影像的比特深度来推导第一区段的每个的分段线性模型(即，可以推导第一区段与第二区段之间的映射关系)(S1220)。特别地，分段线性模型，也就是说映射关系，可以包括“缩放因子，其表示分配给第一区段的每个的码字数量(比特的数量)与分配给第二区段的每个的码字数量(比特的数量)之间的缩放关系”。缩放因子可以表示第一区段的每个的长度与第二区段的每个的长度之间的关系。

区段确定单元512可以配置为确定第一区段中亮度预测样本所属的区段(第一目标区段)，并且样本推导单元514可以配置为通过利用与第一目标区段相对应的分段线性模型，将亮度预测样本映射到映射区段来推导映射的亮度预测样本(S1240)。换句话说，在S1240中，样本推导单元514配置为通过将第一目标区段与映射区段之间的映射关系应用于亮度预测样本来推导映射的亮度预测样本。特别地，映射区段可以是第二区段中与第一目标区段相对应的区段。第一区段的每个与第二区段的每个之间的对应可以是分配给每个区段的索引或按顺序的每个区段的位置。

图13示出推导包括在映射关系中的缩放因子的具体方法的示例。第一推导单元1012可以配置为基于比特深度来推导分配给第一区段的每个的码字数量(S1310)。如上所述，相同数量的码字可以分配给或包括在第一区段的每个中。换句话说，第一区段可以具有相同的大小。

第二推导单元1014可以配置为基于分配给第一区段的每个的码字数量以及关于第二区段的信息来推导分配给第二区段的每个的码字数量(S1320)。具体地，可以通过将码字符号应用于码字的绝对值来推导对应于第二区段的码字德尔塔，并且可以通过将分配给第一区段的每个的码字数量与码字德尔塔求和来推导分配给第二区段的码字数量。因子推导单元1016可以配置为基于分配给第一区段的每个的码字数量以及分配给第二区段的每个的码字数量来推导缩放因子(S1330)。

亮度重构的样本的逆向映射

逆向映射是将映射的亮度重构的样本逆向映射到未映射域的操作。可以通过将映射的亮度预测样本和亮度残差样本求和来推导映射的亮度重构的样本，由视频编码装置在映射域中用信号通知所述亮度残差样本。

如图14所示，推导单元1010可以配置为基于比特深度和关于第二区段的信息来推导第二区段的每个的逆分段线性模型(即，所述推导单元1010可以推导第一区段与第二区段之间的逆向映射关系)(S1410)。例如，推导单元1010可以配置为基于分配给第一区段的每个的码字数量以及分配给第二区段的每个的码字数量来推导逆缩放因子。特别地，逆缩放因子是表示第一区段的每个和第二区段的每个之间的逆缩放关系的参数，并且可以用于定义逆分段线性模型或逆向映射关系。

逆分段线性模型可以与用于映射亮度预测样本的分段线性模型具有相反的关系。逆向映射关系可以与用于映射亮度预测样本的映射关系具有相反的关系。区段确定单元522可以配置为确定第二目标区段(S1420)。第二目标区段可以是第二区段中亮度重构的样本所属的区段(逆向映射之前亮度重构的样本所属的区段)。

样本推导单元524可以配置为利用与第二目标区段相对应的逆分段线性模型将亮度重构的样本逆向映射到逆向映射区段，由此推导或生成经逆向映射的亮度重构的样本(S1430)。换句话说，样本推导单元524可以配置为将第二目标区段与逆向映射区段之间的逆向映射关系应用于亮度重构的样本(对亮度重构的样本逆向映射)，以推导经逆向映射的亮度重构的样本。特别地，逆向映射区段可以是第一区段中的经逆向映射的亮度重构的样本所属的区段或与第二目标区段相对应的区段。第一区段的每个与第二区段的每个之间的对应可以是分配给每个区段的索引或按顺序的每个区段的位置。

色度残差样本缩放

色度残差样本的缩放是指根据亮度重构的样本的值来缩放色度残差样本的方法。当第一应用标志等于1或色度标志等于1时，可以执行色度残差样本的缩放，这将在下面描述。另外，当色度残差样本(色度残差块)的大小超过预设值(例如，4)时，可以执行色度残差样本的缩放。

视频编码装置可以配置为确定是否对当前块的色度残差样本执行缩放，并且根据确定结果来设置色度标志的值。色度标志可以指示色度残差样本的缩放是否启用和/或应用于包含当前块的当前图像。色度标志等于1指示出启用和/或应用色度残差样本的缩放，而色度标志等于0可以指示出不启用和/或不应用色度残差样本的缩放。当第二启用标志等于1时，可以在比特流的图像级别或切片级别编码色度标志并用信号通知视频解码装置。

如图15所示，当第二启用标志等于1时(S1510)，熵解码器410可以配置为从比特流的图像级别解码色度标志(S1520)。当应用标志等于1(S1530)并且色度标志等于1(S1540)时，执行单元520可以配置为通过对色度残差样本执行缩放来推导缩放的色度残差样本(S1550)。可以利用从比特流解码的色度缩放信息来执行色度残差样本的缩放。

色度缩放信息(其是用于对亮度分量与色度分量之间的相互关系补偿的信息)设置为调整用于亮度预测样本的映射的第二区段的动态范围，以适合于色度残差样本的缩放。当在操作S1510第二启用标志等于0、在S1530应用标志等于0、或者在S1540色度标志等于0时，可以跳过色度残差样本的缩放(S1560)。

视频编码装置可以配置为对色度残差样本执行缩放，并且推导在缩放之前包括在第二区段的每个中的码字数量与在缩放之后包括在第二区段的每个中的码字数量之间的差值。另外，视频编码装置可以配置为编码关于推导结果(差值)的信息(色度缩放信息)并将其用信号通知视频解码装置。色度缩放信息可以包括德尔塔色度码字大小(其是差值的量)和德尔塔色度码字符号(其是差值的符号)。

熵解码器410可以配置为从比特流解码色度缩放信息(S1610)。推导单元1010可以配置为基于比特深度、关于第二区段的信息和色度缩放信息来推导缩放关系(S1620)。例如，推导单元1010可以配置为基于德尔塔色度码字大小和德尔塔色度码字符号来推导德尔塔色度码字(包括在第二区段的每个中的码字数量与包括在第三区段的每个中的码字数量之间的差值)，并且通过将包括在第二区段的每个中的码字数量与德尔塔色度码字求和来调整第二区段的动态范围，从而推导第二区段之间的色度缩放关系。

由推导单元1010推导的色度缩放关系可以具有与通过视频编码装置用于缩放色度残差样本的色度缩放关系相反的关系。相应地，由推导单元1010推导的色度缩放关系可以是反向色度缩放关系。区段确定单元522可以配置为推导位于色度残差样本(当前块)的左侧的亮度重构的样本和位于色度残差样本(当前块)上方的亮度重构的样本的平均值(S1630)，并且确定第二区段中该平均值所属的区段(S1640)。样本推导单元524可以配置为基于与平均值所属的区段相对应的色度缩放关系通过缩放色度残差样本来生成或推导缩放的色度残差样本(S1650)。

第二编码工具

第二编码工具是配置为将差分编码应用于残差样本以改善应用了变换跳过模式的残差样本的压缩性能的编码工具。当以用于有损压缩的变换跳过模式编码变换单元(TU)时，可以在帧内预测和帧间预测之后将差分编码技术应用于残差样本。在变换跳过模式下，差分编码技术可以通过减少用于熵编码的残差分量的总能量来提供更多提高的压缩性能。

在水平差分编码中，利用由视频编码装置编码的样本中水平方向上最近的左侧列的残差样本来预测当前样本。在将水平差分编码应用于M×N块的残差样本之后，可以由等式1表示残差样本(其中，0≤i<M，i为自然数)。换句话说，通过将位置(i，j)处的残差样本减去位置(i，j-1)处的残差样本来修改位置(i，j)处的残差样本。

等式1

在等式1中，(i，j)表示第i行和第j列，Q(r_i，j)表示位置(i，j)处的残差样本，并且

表示修改的残差样本。

如等式1所示，在水平差分编码中，视频编码装置对修改的残差样本进行熵编码，然后将其发送到视频解码装置。对该样本进行重构并反向，用于下一列中的残差样本的预测。可以对块的所有列顺序地执行水平预测操作。

在竖直差分编码中，利用由视频编码装置编码的残差样本中竖直方向上最近的上方行的残差样本来预测当前样本。在将竖直差分编码应用于M×N块的残差样本之后，可以由等式2表示残差样本(其中，0≤j<N，j为自然数)。

等式2

如等式2所示，在竖直差分编码中，视频编码装置对修改的残差样本进行熵编码，然后将其发送到视频解码装置。对该样本进行重构并反向，用于下一行中的残差样本的预测。可以对块的所有行顺序地执行竖直预测操作。

当应用水平差分编码时，视频解码装置配置为如等式3所示重构残差样本。换句话说，根据水平差分编码来修改由视频解码装置从比特流重构的残差块中的残差样本。以这样的方式修改重构的残差块中要修改的目标残差样本，所述方式是将位于与目标残差样本相同行的目标残差样本左侧的左侧残差样本与目标残差样本相加。

等式3

视频解码装置可以配置为通过顺序地添加重构的残差样本来重构第j列的残差样本。可以对块的所有列顺序地执行水平重构操作。

当应用竖直差分编码时，视频解码装置如等式4所示重构残差样本。换句话说，根据竖直差分编码来修改由视频解码装置从比特流重构的残差块中的残差样本。以这样的方式修改重构的残差块中要修改的目标残差样本，所述方式是将位于与目标残差样本相同列的目标残差样本上方的左侧残差样本与目标残差样本相加。

等式4

视频解码装置可以配置为通过顺序地添加重构的残差样本来重构第i行的残差样本。可以对块的所有行顺序地执行竖直重构操作。是否执行第二编码工具可以由在块级别定义的第二应用标志来确定。然而，利用传统方法，比特效率可能会降低，这是因为第二应用标志是在逐块的基础上编码、用信号通知和解码的。

如上所述，由于将第二编码工具应用于变换跳过的残差样本，从而具有很高的可能性将其应用于具有屏幕内容特性的视频。因此，围绕这些特征，本发明旨在在比块级别更高的级别定义指示是否启用第二编码工具(或视频是否对应于屏幕内容)的启用标志，并且根据启用标志的值来控制是否用信号通知第二应用标志以提高比特效率。

视频编码装置可以配置为确定是否启用第二编码工具(视频是否对应于屏幕内容)，并且根据确定结果来设置启用标志的值。另外，视频编码装置可以配置为编码启用标志并在比特流的高级别(例如，SPS级别)中将其用信号通知视频解码装置。视频解码装置可以配置为从比特流的高级别解码启用标志(S1710)，并且确定解码的启用标志的值是等于1还是等于0(S1720)。

视频编码装置可以配置为确定是否将第二编码工具应用于当前块，并且基于启用标志的值来确定是否用信号通知第二应用标志。例如，视频编码装置可以配置为当启用标志等于1时编码第二应用标志并将其用信号通知视频解码装置，而当启用标志等于0时不用信号通知第二应用标志。特别地，视频解码装置可以配置为当启用标志等于1时由于用信号通知第二应用标志，从比特流解码第二应用标志(S1730)，并且当启用标志等于0时由于不用信号通知第二应用标志，不解码第二应用标志。当不解码第二应用标志时，可以将第二应用标志设置为隐式地指示出不应用第二编码工具的值(0)。

作为另一示例，视频编码装置可以在启用标志等于1时不用信号通知第二应用标志，并且可以配置为当启用标志等于0时用信号通知第二应用标志。特别地，视频解码装置可以配置为当启用标志等于0时由于用信号通知第二应用标志，从比特流解码第二应用标志，并且当启用标志等于1时由于不用信号通知第二应用标志，不解码第二应用标志。当不解码第二应用标志时，可以将第二应用标志设置为隐式地指示出应用第二编码工具的值(1)。

视频解码装置可以配置为确定解码的或设置的第二应用标志的值等于1或等于0(S1740)，当第二应用标志等于1时执行第二编码工具(S1750)，而当第二应用标志等于0时不执行第二编码工具(S1760)。根据示例性实施方案，启用标志可以包括指示影像是否对应于屏幕内容的pic_scc_tool_enabled_flag，以及指示在逐切片的基础上是否启用第二编码工具的标志(切片标志)。

在当前影像对应于屏幕内容(pic_scc_tool_enabled_flag等于1)时，可以编码切片标志并将其从视频编码装置用信号通知影像解码装置，并且由视频解码装置解码。特别地，可以根据切片标志的值来确定是否用信号通知和解码第二应用标志。

例如，视频编码装置可以配置为当切片标志等于1时编码第二应用标志并将其用信号通知视频解码装置，而当切片标志等于0时不用信号通知第二应用标志。特别地，视频解码装置可以配置为当切片标志等于1时由于用信号通知第二应用标志，从比特流解码第二应用标志(S1730)，并且当切片标志等于0时由于不用信号通知第二应用标志，不解码第二应用标志。当不解码第二应用标志时，可以将第二应用标志的值设置为隐式地指示出不应用第二编码工具的值(0)。

作为另一示例，视频编码装置可以在切片标志等于1时不用信号通知第二应用标志，并且可以在切片标志等于0时用信号通知第二应用标志。特别地，视频解码装置可以配置为当切片标志等于0时由于用信号通知第二应用标志，从比特流解码第二应用标志，并且当切片标志等于1时由于不用信号通知第二应用标志，不解码第二应用标志。当不解码第二应用标志时，可以将第二应用标志设置为隐式地指示出应用第二编码工具的值(1)。

尽管已经出于说明的目的描述了本发明的示例性实施方案，但是本领域的技术人员应当理解，在不脱离本发明思想和范围的情况下，各种修改形式和变化形式是可能的。为了简洁和清楚起见，已经描述了示例性实施方案。相应地，普通技术人员应当理解，示例性实施方案的范围不受以上明确描述的示例性实施方案限制，而是包括在权利要求及其等同形式内。

相关申请的交叉引用

本申请要求2019年6月21日提交的韩国专利申请No.10-2019-0074231、2019年7月2日提交的韩国专利申请No.10-2019-0079652以及2020年6月22日提交的韩国专利申请No.10-2020-0075560的优先权，其全部内容通过引用合并于本文中。

Claims (20)

1.一种视频解码方法，包括：

从比特流的高级别解码指示是否启用一个或更多个编码工具的启用标志，所述一个或更多个编码工具包括第一编码工具，所述第一编码工具配置为基于分段线性模型利用亮度分量映射对样本值进行编码；

通过将指示是否应用一个或更多个编码工具的应用标志设置为预定值或通过从比特流的低级别解码应用标志，根据启用标志的值来获取应用标志的值，所述应用标志包括指示是否应用第一编码工具的第一应用标志；以及

当应用标志的值是指示出应用一个或更多个编码工具的值时，执行一个或更多个编码工具，

其中，当根据第一应用标志的值执行第一编码工具时，执行一个或更多个编码工具包括：

基于对应于亮度预测样本的分段线性模型，从亮度预测样本生成映射的亮度预测样本，并且通过将从比特流重构的亮度残差样本与映射的亮度预测样本相加来生成亮度重构的样本；以及

利用与分段线性模型具有逆关系的逆分段线性模型来对亮度重构的样本逆向映射。

2.根据权利要求1所述的方法，其中，获取包括：

当启用标志指示出启用一个或更多个编码工具时，将应用标志设置为指示出应用一个或更多个编码工具的值；以及

当启用标志指示出不启用一个或更多个编码工具时，从比特流的低级别解码应用标志。

3.根据权利要求1所述的方法，其中，获取包括：

当启用标志指示出启用一个或更多个编码工具时，从比特流的低级别解码应用标志；以及

当启用标志指示出不启用一个或更多个编码工具时，将应用标志设置为指示出不应用一个或更多个编码工具的值。

4.根据权利要求1所述的方法，其中，启用标志包括：

第一启用标志，其从比特流的序列参数集级别解码；以及

第二启用标志，当第一启用标志指示出启用第一编码工具时，其从比特流的图像级别解码，

其中，当第二启用标志指示出启用第一编码工具时，所述第一应用标志从比特流的切片级别解码。

5.根据权利要求4所述的方法，进一步包括：

从比特流解码关于映射的亮度预测样本允许所属的第二区段的信息；以及

基于包含当前块的当前图像的比特深度和关于第二区段的信息，推导分别与亮度预测样本允许所属的第一区段相对应的分段线性模型，

其中，通过确定第一区段中亮度预测样本所属的第一目标区段来推导映射的亮度预测样本，并且利用对应于第一目标区段的分段线性模型将亮度预测样本映射到映射区段，所述映射区段是第二区段中与第一目标区段相对应的区段。

6.根据权利要求5所述的方法，其中，分段线性模型的每个包括缩放因子，所述缩放因子指示分配给第一区段的每个的码字数量与分配给第二区段的每个的码字数量之间的缩放关系，其中，推导分段线性模型包括：

基于比特深度来推导分配给第一区段的每个的码字数量，并且基于分配给第一区段的每个的码字数量和关于第二区段的信息来推导分配给第二区段的每个的码字数量；以及

基于分配给第一区段的每个的码字数量以及分配给第二区段的每个的码字数量来推导缩放因子。

7.根据权利要求5所述的方法，进一步包括：

基于比特深度和关于第二区段的信息来推导分别对应于第二区段的逆分段线性模型，

其中，逆向映射包括：

确定在第二区段中亮度重构的样本所属的第二目标区段；以及

利用与第二目标区段相对应的逆分段线性模型将亮度重构的样本逆向映射到逆向映射区段来推导经逆向映射的亮度重构的样本，所述逆向映射区段是第一区段中与第二目标区段相对应的区段。

8.根据权利要求5所述的方法，进一步包括：

当第二启用标志指示出启用第一编码工具时，从比特流的图像级别解码指示是否启用色度残差样本的缩放的色度标志；以及

根据色度标志的值，基于从比特流解码的色度缩放信息来缩放当前块的色度残差样本。

9.根据权利要求8所述的方法，其中，缩放色度残差样本包括：

基于比特深度、关于第二区段的信息和色度缩放信息来推导分别对应于第二区段的色度缩放关系；

确定第二区段中位于当前块的上方和左侧的亮度重构的样本的平均值所在的区段；以及

基于与平均值所属的区段相对应的色度缩放关系来缩放色度残差样本。

10.根据权利要求1所述的方法，其中，所述编码工具进一步包括：

第二编码工具，其配置为对当前块的残差样本应用差分编码，

其中，从比特流的序列参数集级别解码启用标志，

其中，当启用标志指示出启用第二编码工具时，应用标志包括从比特流的块级别解码的第二应用标志，所述第二应用标志指示是否应用第二编码工具。

11.一种视频解码装置，包括：

熵解码器，其配置为从比特流的高级别解码指示是否启用一个或更多个编码工具的启用标志，所述一个或更多个编码工具包括第一编码工具，所述第一编码工具配置为基于分段线性模型利用亮度分量映射对样本值进行编码；

获取单元，其配置为通过根据启用标志的值而将应用标志设置为预定值或从比特流的低级别解码应用标志，获取指示是否应用一个或更多个编码工具的应用标志的值，其中，所述应用标志包括指示是否应用第一编码工具的第一应用标志；以及

执行单元，其配置为当应用标志的值是指示出应用一个或更多个编码工具的值时，执行一个或更多个编码工具，

其中，当根据第一应用标志的值执行第一编码工具时，执行单元配置为：

基于对应于亮度预测样本的分段线性模型，从亮度预测样本生成映射的亮度预测样本；

通过将从比特流重构的亮度残差样本与映射的亮度预测样本相加来生成亮度重构的样本；以及

利用与分段线性模型具有逆关系的逆分段线性模型来对亮度重构的样本逆向映射。

12.根据权利要求11所述的装置，其中，所述获取单元配置为：

当启用标志指示出启用一个或更多个编码工具时，将应用标志设置为指示出应用一个或更多个编码工具的值；以及

当启用标志指示出不启用一个或更多个编码工具时，从比特流的低级别解码应用标志。

13.根据权利要求11所述的装置，其中，所述获取单元配置为：

当启用标志指示出启用一个或更多个编码工具时，从比特流的低级别解码应用标志；以及

当启用标志指示出不启用一个或更多个编码工具时，将应用标志设置为指示出应用编码工具的值。

14.根据权利要求11所述的装置，其中，所述启用标志包括：

第一启用标志，其从比特流的序列参数集级别解码；以及

第二启用标志，当第一启用标志指示出启用第一编码工具时，其从比特流的图像级别解码，

其中，当第二启用标志指示出启用第一编码工具时，所述第一应用标志从比特流的切片级别解码。

15.根据权利要求14所述的装置，进一步包括：

推导单元，其配置为基于包含当前块的当前图像的比特深度和关于第二区段的信息，推导分别与亮度预测样本允许所属的第一区段相对应的分段线性模型，

其中，所述执行单元包括：

区段确定单元，其配置为确定在第一区段中亮度预测样本所属的第一目标区段；以及

样本推导单元，其配置为通过利用对应于第一目标区段的分段线性模型将亮度预测样本映射到映射区段，推导映射的亮度预测样本，所述映射区段是第二区段中与第一目标区段相对应的区段。

16.根据权利要求15所述的装置，其中，分段线性模型的每个包括缩放因子，所述缩放因子指示分配给第一区段的每个的码字数量与分配给第二区段的每个的码字数量之间的缩放关系，

其中，所述推导单元包括：

第一推导单元，其配置为基于比特深度来推导分配给第一区段的每个的码字数量；

第二推导单元，其配置为基于分配给第一区段的每个的码字数量以及关于第二区段的信息来推导分配给第二区段的每个的码字数量；以及

因子推导单元，其配置为基于分配给第一区段的每个的码字数量以及分配给第二区段的每个的码字数量来推导缩放因子。

17.根据权利要求15所述的装置，其中，所述推导单元配置为基于比特深度和关于第二区段的信息来推导分别对应于第二区段的逆分段线性模型，

其中，所述区段确定单元配置为确定在第二区段中亮度重构的样本所属的第二目标区段；以及

其中，所述样本推导单元配置为通过利用与第二目标区段相对应的逆分段线性模型将亮度重构的样本逆向映射到逆向映射区段，推导经逆向映射的亮度重构的样本，所述逆向映射区段是第一区段中与第二目标区段相对应的区段。

18.根据权利要求15所述的装置，其中，所述熵解码器配置为当第二启用标志指示出启用第一编码工具时，从比特流的图像级别解码指示是否启用色度残差样本的缩放的色度标志，并且其中，所述执行单元配置为根据色度标志的值，基于从比特流解码的色度缩放信息来缩放当前块的色度残差样本。

19.根据权利要求18所述的装置，其中，所述推导单元配置为基于比特深度、关于第二区段的信息和色度缩放信息来推导分别对应于第二区段的色度缩放关系，

其中，所述区段确定单元配置为确定第二区段中位于当前块的上方和左侧的亮度重构的样本的平均值所在的区段，以及

其中，所述样本推导单元配置为基于与平均值所属的区段相对应的色度缩放关系来缩放色度残差样本。

20.根据权利要求11所述的装置，其中，所述编码工具进一步包括第二编码工具，所述第二编码工具配置为将差分编码应用于当前块的残差样本，

其中，从比特流的序列参数集级别解码启用标志，

其中，当启用标志指示出启用第二编码工具时，应用标志包括从比特流的块级别解码的第二应用标志，所述第二应用标志指示是否应用第二编码工具。

Images