CN117441334A - 视频编码/解码方法和装置 - Google Patents

Abstract

提供一种视频编码/解码方法和装置。根据本公开的视频解码方法可包括以下步骤：基于与当前块相邻的邻近块的帧内预测模式确定至少两个帧内预测模式；通过使用至少两个帧内预测模式生成至少两个预测块；以及通过使用至少两个预测块的加权平均生成当前块的预测块。

Description

视频编码/解码方法和装置

技术领域

本公开涉及视频编码/解码方法和视频编码/解码装置，并且更具体地，涉及用于从最可能模式(MPM)列表推导当前块的帧内预测模式的视频编码/解码方法和视频编码/解码装置。

背景技术

本部分中的陈述仅提供与本实施方式相关的背景信息，并且不一定构成现有技术。

因为视频数据与音频或静止图像数据相比具有大量数据，所以视频数据需要大量硬件资源(包括存储器)来存储或发送视频数据而无需用于压缩的处理。

因而，编码器通常用于压缩和存储或发送视频数据。解码器接收压缩视频数据，解压缩所接收的压缩视频数据，并且再现解压缩的视频数据。视频压缩技术包括H.264/AVC、高效视频编码(HEVC)和通用视频编码(VVC)，其与HEVC相比具有大约30％或更多的改进编码效率。

然而，由于图像尺寸、分辨率和帧速率逐渐增加，所以要编码的数据量也增加。因而，需要提供比现有压缩技术更高的编码效率和改善的图像增强效果的新压缩技术。

帧内预测是仅允许空间参考的预测技术，并且是指通过参考在当前要编码的块周围已经重建的块来预测当前块的方法。编码器将当前将被编码的块的帧内预测模式信息发送到解码器。在解码器中推导帧内预测模式的技术(解码器侧帧内模式推导：DIMD)是编码器在解码过程中推导帧内预测模式而不是将帧内预测模式信息发送到解码器的技术。因为DIMD在没有从解码器接收帧内预测模式信息的情况下推导当前块的帧内预测模式，所以编码效率提高，但是需要降低解码器中的复杂度。

发明内容

技术问题

本公开的目的是提供一种用于基于最可能模式(MPM)列表推导帧内预测模式的方法和装置。

此外，本公开的目的是提供用于在没有编码器将帧内预测模式信息发送到解码器的情况下推导帧内预测模式的方法和装置。

此外，本公开的目的是提供用于基于在解码器中推导帧内预测模式的技术(解码器侧帧内模式推导：DIMD)推导帧内预测模式的方法和装置。

此外，本公开的目的是提供一种用于固定地分配邻近块的帧内预测模式的权重值的方法和装置。

此外，本公开的目的是提供用于将帧内预测模式推导过程与MPM列表生成过程对准的方法和装置。

此外，本公开的目的是提供用于提高视频编码/解码效率的方法和装置。

此外，本公开的目的是提供存储通过使用本公开的视频编码/解码方法或视频编码/解码装置生成的比特流的记录介质。

此外，本公开的目的是提供用于发送通过使用本公开的视频编码/解码方法或装置生成的比特流的方法和装置。

技术方案

根据本公开，一种视频解码方法包括：基于与当前块相邻的邻近块的帧内预测模式来确定至少两个帧内预测模式。视频解码方法进一步包含使用至少两个帧内预测模式生成至少两个预测块。视频解码方法还包括通过对至少两个预测块执行加权平均来生成当前块的预测块。

在根据本公开的视频解码方法中，至少两个帧内预测模式是从最可能模式(MPM)列表中选择的候选模式。

在根据本公开的视频解码方法中，至少两个帧内预测模式是MPM列表中的第一候选模式和第二候选模式。

在根据本公开的视频解码方法中，视频解码方法还包括基于至少两个帧内预测模式是非定向模式，获得当前块的帧内预测模式信息。视频解码方法还包括基于帧内预测模式信息生成当前块的预测块。

在根据本公开的视频解码方法中，视频解码方法还包括基于至少两个帧内预测模式是相同定向模式，生成使用平面模式的预测块和使用相同定向模式的预测块。视频解码方法还包括通过对使用平面模式的预测块和使用相同定向模式的预测块执行加权平均来生成当前块的预测块。

在根据本公开的视频解码方法中，视频解码方法还包括基于至少两个帧内预测模式是定向模式和非定向模式，使用平面模式生成预测块，并使用定向模式生成预测块。视频解码方法还包括通过对使用平面模式的预测块和使用定向模式的预测块执行加权平均来生成当前块的预测块。

在根据本公开的视频解码方法中，视频解码方法还包括：基于至少两个帧内预测模式是不同定向模式，获得指示是否仅使用除了平面模式之外的至少两个帧内预测模式的第一信息。

在根据本公开的视频解码方法中，视频解码方法还包括基于第一信息指示仅使用除了平面模式之外的至少两个帧内预测模式，使用至少两个帧内预测模式来生成至少两个预测块。视频解码方法还包括通过对至少两个预测块执行加权平均来生成当前块的预测块。

在根据本公开的视频解码方法中，视频解码方法还包括基于第一信息不指示仅使用除了平面模式之外的至少两个帧内预测模式，使用平面模式生成预测块和使用至少两个帧内预测模式生成至少两个预测块。视频解码方法还包括通过对使用平面模式的预测块和使用至少两个帧内预测模式的至少两个预测块执行加权平均来生成当前块的预测块。

在根据本公开的视频解码方法中，通过对至少两个预测块执行加权平均来生成当前块的预测块包括将固定权重值分配给至少两个预测块，并且将这些值相加。

根据本公开，一种视频编码方法包括：基于与当前块相邻的邻近块的帧内预测模式确定至少两个帧内预测模式。视频编码方法进一步包含使用至少两个帧内预测模式生成至少两个预测块。视频编码方法还包括通过对至少两个预测块执行加权平均来生成当前块的预测块。

在根据本公开的视频编码方法中，至少两个帧内预测模式从MPM列表中选择，并且是来自MPM列表的第一候选模式和第二候选模式。

在根据本公开的视频编码方法中，视频编码方法还包括基于至少两个帧内预测模式是非定向模式来编码当前块的帧内预测模式信息。

在根据本公开的视频编码方法中，视频编码方法还包括基于至少两个帧内预测模式是相同定向模式，生成使用平面模式的预测块和使用相同定向模式的预测块。视频编码方法还包括通过对使用平面模式的预测块和使用相同定向模式的预测块执行加权平均来生成当前块的预测块。

在根据本公开的视频编码方法中，视频编码方法还包括基于至少两个帧内预测模式是定向模式和非定向模式，使用平面模式生成预测块，并使用定向模式生成预测块。视频编码方法还包括通过对使用平面模式的预测块和使用定向模式的预测块执行加权平均来生成当前块的预测块。

在根据本公开的视频编码方法中，视频编码方法还包括：基于至少两个帧内预测模式是不同定向模式，对指示是否仅使用除了平面模式之外的至少两个帧内预测模式的第一信息进行编码。

在根据本公开的视频编码方法中，视频编码方法还包括基于第一信息指示仅使用除了平面模式之外的至少两个帧内预测模式，使用至少两个帧内预测模式生成至少两个预测块。视频编码方法还包括通过对至少两个预测块执行加权平均来生成当前块的预测块。

在根据本公开的视频编码方法中，视频编码方法还包括：使用平面模式生成预测块，并且基于第一信息使用至少两个帧内预测模式的至少两个预测块不指示仅使用除了平面模式之外的至少两个帧内预测模式。视频编码方法还包括通过对使用平面模式的预测块和使用至少两个帧内预测模式的至少两个预测块执行加权平均来生成当前块的预测块。

在根据本公开的视频编码方法中，通过对至少两个预测块执行加权平均来生成当前块的预测块包括将固定权重值分配给至少两个预测块并且进行相加。

此外，根据本公开，可以提供发送通过根据本公开的视频编码方法或视频编码装置生成的比特流的方法。

另外，根据本公开，可提供一种存储通过根据本公开的视频编码方法或装置生成的比特流的记录介质。

另外，根据本公开，可以提供一种存储由根据本公开的视频解码装置接收和解码的比特流并用于重建视频的记录介质。

有益效果

根据本公开，可以提供用于基于最可能模式(MPM)列表推导帧内预测模式的方法和装置。

此外，根据本公开，可以提供一种用于推导帧内预测模式的方法和装置，而无需编码器将帧内预测模式信息发送到解码器。

此外，根据本公开，可以提供基于用于在解码器中推导帧内预测模式的技术(解码器侧帧内模式推导：DIMD)推导帧内预测模式的方法和装置。

此外，根据本公开，可以提供用于固定地分配邻近块的帧内预测模式的权重值的方法和装置。

此外，根据本公开，可以提供用于将帧内预测模式推导过程与MPM列表生成过程对准的方法和装置。

此外，根据本公开，可以提供用于改善视频编码/解码效率的方法和装置。

可以从本公开获得的效果不限于以上提及的效果，并且本领域普通技术人员可以从以下描述中清楚地理解未提及的其他效果。

附图说明

图1是示出可以实现本公开的技术的视频编码装置的框图。

图2是示出使用四叉树加二叉树三叉树(QTBTTT)结构来分割块的方法。

图3a和图3b是示出包括广角帧内预测模式的多个帧内预测模式。

图4是示出当前块的邻近块。

图5是可以实施本公开的技术的视频解码装置的框图。

图6是示出根据本公开的实施方式的基于用于在解码器(解码器侧帧内模式推导：DIMD)中推导帧内预测模式的技术生成预测块的过程的示图。

图7是示出根据本公开的实施方式的基于DIMD的解码过程的示图。

图8是示出根据本公开的实施方式的DIMD混合模式的示图，其中，根据DIMD索引将权重值分配给邻近块的帧内预测模式的预测值。

图9是示出根据本公开的实施方式的与当前块相邻的邻近块的示图。

图10是示出根据本公开的实施方式的根据邻近块的帧内预测模式的方向性的最可能模式(MPM)列表生成过程的示图。

图11是示出根据本公开的实施方式的根据MPM列表生成过程的邻近块的帧内预测模式的方向性的示图。

图12是示出根据本公开的实施方式的从MPM列表选择两个模式的方法的示图。

图13是示出根据本公开的实施方式的根据MPM列表生成过程的DIMD混合模式和邻近块的帧内预测模式的方向性的示图。

图14是示出根据本公开的实施方式的被分配给根据MPM列表生成过程的邻近块的帧内预测模式的预测值的权重值和邻近块的帧内预测模式的方向性的示图。

图15是示出根据本公开的另一实施方式的基于DIMD的解码过程的示图。

图16是示出根据本公开的实施方式的视频解码过程的示图。

图17是示出根据本公开的实施方式的视频编码过程的示图。

具体实施方式

在下文中，参照附图详细描述本公开的一些实施方式。在以下描述中，相同的参考标号表示相同的元件，尽管元件在不同的附图中示出。此外，在一些实施方式的以下描述中，为了清楚和简洁的目的，已经省略了相关已知组件和功能在被认为模糊本公开的主题时的详细描述。

图1是可以实现本公开的技术的视频编码装置的框图。在下文中，参考图1的图解，描述视频编码装置和该装置的组件。

编码装置可包括图片分割器110、预测器120、减法器130、变换器140、量化器145、重新排列单元150、熵编码器155、逆量化器160、逆变换器165、加法器170、环路滤波器单元180和存储器190。

编码装置的每个组件可以实现为硬件或软件或者实现为硬件和软件的组合。此外，每个组件的功能可以实现为软件，并且还可以实现微处理器以执行与每个组件相对应的软件的功能。

一个视频由包括多个图像的一个或多个序列构成。每个图片被分割为多个区域，并对每个区域执行编码。例如，将一个图片分割成一个或一个以上图块(tile)或/和切片(slice)。在此，一个或多个图块可以被定义为图块组。每一图块或/和切片分割成一个或多个编码树单元(CTU)。另外，每一CTU通过树结构分割成一个或多个编码单元(CU)。应用于每个CU的信息被编码为CU的语法，并且共同应用于包括在一个CTU中的CU的信息被编码为CTU的语法。此外，共同应用于一个切片中的所有块的信息被编码为切片报头的语法，并且应用于构成一个或更多个图片的所有块的信息被编码为图片参数集(PPS)或图片报头。此外，将多个图片共同参考的信息编码到序列参数集(SPS)。另外，一个或多个SPS共同参考的信息被编码到视频参数集(VPS)。进一步，共同应用于一个图块或图块组的信息也可编码为图块或图块组报头的语法。包括在SPS、PPS、切片报头、图块或图块组报头中的语法可以被称为高级语法。

图片分割器110确定编码树单元(CTU)的尺寸。关于CTU的尺寸(CTU尺寸)的信息被编码为SPS或PPS的语法并且被递送到视频解码装置。

图片分割器110将构成视频的每个图片分割成具有预定尺寸的多个编码树单元(CTU)，然后通过使用树结构递归分割CTU。树结构中的叶节点变成编码单元(CU)，其是编码的基本单元。

树结构可以是四叉树(QT)，其中，较高节点(或父节点)被分割成具有相同尺寸的四个较低节点(或子节点)。树结构也可以是二叉树(BT)，其中较高节点被分成两个较低节点。树结构还可以是三叉树(TT)，其中，较高节点以1：2：1的比率被分割为三个较低节点。树结构还可以是QT结构、BT结构和TT结构中的两个或更多个结构被混合的结构。例如，可以使用四叉树加二叉树(QTBT)结构或者可以使用四叉树加二叉树三叉树(QTBTTT)结构。这里，BTTT被添加到树结构以被称为多类型树(MTT)。

图2是用于描述通过使用QTBTTT结构分割块的方法的示图。

如图2所示，CTU可以首先被分割成QT结构。四叉树分割可以是递归的，直到分割块的尺寸达到在QT中允许的叶节点的最小块尺寸(MinQTSize)。指示QT结构的每个节点是否被分割为下层的四个节点的第一标记(QT_split_flag)由熵编码器155编码，并被发送到视频解码装置。当QT的叶节点不大于在BT中允许的根节点的最大块尺寸(MaxBTSize)时，叶节点可进一步被分割为BT结构或TT结构中的至少一个。在BT结构和/或TT结构中可存在多个分割方向。例如，可存在两个方向，即，相应节点的块被水平分割的方向和相应节点的块被垂直分割的方向。如图2所示，当MTT分割开始时，指示节点是否被分割的第二标记(mtt_split_flag)以及另外指示分割方向(垂直或水平)的标记和/或如果节点被分割则指示分割类型(二进制或三进制)的标记由熵编码器155编码并用信号通知视频解码装置。

可选择地，在编码指示每个节点是否被分割为下层的四个节点的第一标记(QT_split_flag)之前，指示节点是否被分割的CU分割标记(split_cu_flag)也可被编码。当CU分割标记(split_cu_flag)的值指示每一节点未分割时，对应节点的块变为分割树结构中的叶节点且变为作为编码的基本单元的CU。当CU分割标记(split_cu_flag)的值指示每个节点被分割时，视频编码装置首先通过上述方案开始编码第一标记。

当QTBT被用作树结构的另一实施例时，可存在两种类型，即，相应节点的块被水平分割为具有相同尺寸的两个块的类型(即，对称水平分割)和相应节点的块被垂直分割为具有相同尺寸的两个块的类型(即，对称垂直分割)。指示BT结构的每个节点是否被分割为下层的块的分割标记(split_flag)和指示分割类型的分割类型信息由熵编码器155编码，并被递送到视频解码装置。同时，可以另外呈现其中对应节点的块被分割为彼此不对称形式的两个块的类型。非对称形式可包括其中对应节点的块被分割为具有1：3的尺寸比的两个矩形块的形式，或者还可包括其中对应节点的块被沿对角线方向分割的形式。

CU可根据来自CTU的QTBT或QTBTTT分割而具有不同尺寸。在下文中，与待编码或解码的CU(即，QTBTTT的叶节点)对应的块被称为“当前块”。由于采用QTBTTT分割，当前块的形状除了正方形形状外，还可以是矩形形状。

预测器120预测当前块以生成预测块。预测器120包括帧内预测器122和帧间预测器124。

一般来说，图片中的当前块中的每一者可经预测性编码。通常，当前块的预测可以通过使用帧内预测技术(使用来自包括当前块的图片的数据)或者帧间预测技术(使用来自在包括当前块的图片之前被编译的图片的数据)来执行。帧间预测包括单向预测和双向预测两者。

帧内预测器122通过使用在包括当前块的当前图片中位于当前块的邻居上的像素(参考像素)来预测当前块中的像素。根据预测方向，存在多个帧内预测模式。例如，如图3a中所示，多个帧内预测模式可以包括包含平面模式和DC模式的2个非定向模式，并且可以包括65个定向模式。邻近像素和将被使用的算术等式根据每个预测模式被不同地定义。

为了对具有矩形形状的当前块进行有效的定向预测，可以附加地使用如图3b中的虚线箭头图示的定向模式(#67至#80，帧内预测模式#-1至#-14)。定向模式可被称作“广角帧内预测模式”。在图3b中，箭头指示用于预测的对应参考样本并且不表示预测方向。预测方向与箭头所示的方向相反。在当前块具有矩形形状时，广角帧内预测模式是在没有附加比特发送的情况下以与特定定向模式相反的方向执行预测的模式。在这种情况下，在广角帧内预测模式中，可通过具有矩形形状的当前块的宽度和高度的比率确定可用于当前块的一些广角帧内预测模式。例如，在当前块具有高度小于宽度的矩形形状时，具有小于45度的角度的广角帧内预测模式(帧内预测模式#67至#80)是可用的。在当前块具有宽度大于高度的矩形形状时，可使用具有大于-135度的角度的广角帧内预测模式。

帧内预测器122可以确定将用于对当前块进行编码的帧内预测。在一些实施例中，帧内预测器122可通过使用多个帧内预测模式对当前块进行编码，且还从测试模式中选择将使用的适当帧内预测模式。例如，帧内预测器122可通过使用针对多个测试的帧内预测模式的率失真分析来计算率失真值，并且还在测试的模式中选择具有最佳率失真特征的帧内预测模式。

帧内预测器122在多个帧内预测模式中选择一个帧内预测模式，并通过使用邻近像素(参考像素)和根据选择的帧内预测模式确定的算术等式来预测当前块。关于所选择的帧内预测模式的信息由熵编码器155编码，并被递送到视频解码装置。

帧间预测器124通过使用运动补偿处理来生成用于当前块的预测块。帧间预测器124在比当前图片更早地编码和解码的参考图片中搜索与当前块最相似的块，并且通过使用搜索到的块生成用于当前块的预测块。另外，生成运动矢量(MV)，其对应于在当前图片中的当前块和在参考图片中的预测块之间的位移。通常，对亮度分量执行运动估计，并且基于亮度分量计算的运动矢量被用于亮度分量和色度分量两者。包括关于参考图片的信息和关于用于预测当前块的运动矢量的信息的运动信息由熵编码器155编码，并被递送到视频解码装置。

帧间预测器124还可对参考图片或参考块执行内插以便增加预测的准确度。换句话说，两个连续整数采样之间的子采样通过将滤波器系数应用于包括两个整数采样的多个连续整数采样而被内插。当针对插值的参考图片执行搜索与当前块最相似的块的处理时，可以针对运动矢量表示不是整数采样单位精度，而是十进制单位精度。可针对待编码的每一目标区域(例如，例如切片、图块、CTU、CU等单元)不同地设定运动矢量的精度或分辨率。当应用此自适应运动矢量分辨率(AMVR)时，应针对每一目标区域用信号发出关于待应用于每一目标区域的运动矢量分辨率的信息。例如，当目标区域是CU时，用信号通知关于应用于每个CU的运动矢量分辨率的信息。关于运动矢量分辨率的信息可以是表示将在下面描述的运动矢量差的精度的信息。

同时，帧间预测器124可通过使用双向预测来执行帧间预测。在双向预测的情况下，使用两个参考图片和表示在每个参考图片中最类似于当前块的块位置的两个运动矢量。帧间预测器124分别从参考图片列表0(RefPicList0)和参考图片列表1(RefPicList1)选择第一参考图片和第二参考图片。帧间预测器124还搜索与相应参考图片中的当前块最相似的块以生成第一参考块和第二参考块。另外，通过对第一参考块和第二参考块进行平均或加权平均来生成当前块的预测块。另外，包括关于用于预测当前块的两个参考图片的信息和关于两个运动矢量的信息的运动信息被递送到熵编码器155。在这里，参考图片列表0可以由在预先重建的图片当中的按照显示顺序的在当前图片之前的图片组成，并且参考图片列表1可以由在预先重建的图片当中的按照显示顺序的在当前图片之后的图片组成。然而，虽然不特别限于此，但是按照显示顺序在当前图片之后的预先重建的图片可以附加地包括在参考图片列表0中。相反地，在当前图片之前的预先重建的图片也可以被附加地包括在参考图片列表1中。

为了最小化用于编码运动信息所消耗的比特数量，可以使用各种方法。

例如，当当前块的参考图片和运动矢量与邻近块的参考图片和运动矢量相同时，能够识别邻近块的信息被编码以将当前块的运动信息递送到视频解码装置。这种方法被称为合并模式。

在合并模式中，帧间预测器124从当前块的邻近块中选择预定数量的合并候选块(在下文中，称为“合并候选”)。

作为用于推导合并候选的邻近块，如在图4中图示的，可以使用在当前图片中邻近于当前块的左块A0、左下块A1、上块B0、右上块B1、和左上块B2中的全部或一些。进一步，定位在参考图片内(可以与用于预测当前块的参考图片相同或不同)的除当前块定位在其处的当前图片之外的块也可以用作合并候选。例如，在参考图片内具有当前块的位于同一地点的块或邻近于位于同一地点的块的块可另外用作合并候选。如果通过上文所描述的方法选择的合并候选的数量小于预设数量，那么将零矢量添加到合并候选。

帧间预测器124通过使用邻近块配置包括预定数量的合并候选的合并列表。从包括在合并列表中的合并候选中选择要用作当前块的运动信息的合并候选，并且生成用于识别所选择的候选的合并索引信息。生成的合并索引信息由熵编码器155编码，并被递送到视频解码装置。

合并跳跃模式是合并模式的特殊情况。在量化之后，当用于熵编码的所有变换系数接近于零时，仅发送邻近块选择信息而不发送残差信号。通过使用合并跳跃模式，对于具有轻微运动的图像、静止图像、屏幕内容图像等等可以实现相对高的编码效率。

在下文中，合并模式和合并跳跃模式被统称为合并/跳跃模式。

用于编码运动信息的另一方法是高级运动矢量预测(AMVP)模式。

在AMVP模式中，帧间预测器124通过使用当前块的邻近块推导用于当前块的运动矢量的运动矢量预测器候选。作为用于推导运动矢量预测器候选的邻近块，可以使用与在图4中图示的当前图片中的当前块相邻的左块A0、左下块A1、上块B0、右上块B1和左上块B2中的全部或一些。此外，定位在参考图片内(可以与用于预测当前块的参考图片相同或不同)的除当前块定位在其处的当前图片之外的块也可以用作用于推导运动矢量预测器候选的邻近块。例如，可以使用在参考图片之内与当前块的位于同一地点的块或者邻近于位于同一地点的块的块。如果通过上述方法选择的运动矢量候选的数量小于预设数量，则零矢量被添加到运动矢量候选。

帧间预测器124通过使用邻近块的运动矢量推导运动矢量预测器候选，并通过使用运动矢量预测器候选确定用于当前块的运动矢量的运动矢量预测器。另外，通过从当前块的运动矢量减去运动矢量预测值来计算运动矢量差。

运动矢量预测器可以通过将预定义的函数(例如，中心值和平均值计算等)应用于运动矢量预测器候选来获得。在这种情况下，视频解码装置还知道预定义的函数。此外，由于用于推导运动矢量预测器候选的邻近块是编码和解码已经完成的块，所以视频解码装置还可能已经知道邻近块的运动矢量。因此，视频编码装置不需要对用于识别运动矢量预测器候选的信息进行编码。因而，在这种情况下，关于运动矢量差的信息和关于用于预测当前块的参考图片的信息被编码。

同时，还可以通过选择运动矢量预测器候选中的任何一个的方案来确定运动矢量预测器。在这种情况下，用于识别选择的运动矢量预测器候选的信息与关于运动矢量差的信息和关于用于预测当前块的参考图片的信息联合地另外编码。

减法器130通过从当前块中减去由帧内预测器122或帧间预测器124生成的预测块来生成残差块。

变换器140将具有空间域的像素值的残差块中的残差信号转换为频域的变换系数。变换器140可通过将残差块的总尺寸用作变换单元来对残差块中的残差信号进行变换，或者还可将残差块分割成多个子块，并可通过将子块用作变换单元来执行变换。可选地，残差块被分割为两个子块，分别为变换区域和非变换区域，以仅使用变换区域子块作为变换单元对残差信号进行变换。在此，变换区域子块可以是具有基于水平轴(或垂直轴)的1：1的尺寸比的两个矩形块之一。在这种情况下，标记(cu_sbt_flag)指示仅子块被变换，定向(垂直/水平)信息(cu_sbt_horizontal_flag)和/或位置信息(cu_sbt_pos_flag)由熵编码器155编码并用信号通知视频解码装置。此外，变换区域子块的尺寸可基于水平轴(或垂直轴)具有1：3的尺寸比率。在这种情况下，划分相应分割的标记(cu_sbt_quad_flag)另外由熵编码器155编码，并用信号通知视频解码装置。

同时，变换器140可在水平方向和垂直方向上单独地对残差块执行变换。对于变换，可使用不同类型的变换函数或变换矩阵。例如，用于水平变换和垂直变换的一对变换函数可定义为多重变换集合(MTS)。变换器140可选择在MTS中具有最高变换效率的一个变换函数对，并可在水平和垂直方向中的每一者上变换残差块。MTS中的变换函数对的信息(mts_idx)由熵编码器155编码并用信号通知视频解码装置。

量化器145使用量化参数量化从变换器140输出的变换系数，并将量化的变换系数输出到熵编码器155。量化器145还可以立即量化相关的残差块，而无需用于任何块或帧的变换。量化器145还可根据变换块中的变换系数的位置应用不同的量化系数(缩放值)。应用于以2维布置的量化的变换系数的量化矩阵可被编码并用信号通知给视频解码装置。

重新排列单元150可以执行针对量化的残差值的系数值的重新排列。

重新排列单元150可以通过使用系数扫描将2D系数阵列改变为1D系数序列。例如，重新排列单元150可以通过使用Z字形扫描或者对角线扫描将DC系数扫描为高频域系数来输出ID系数序列。根据变换单元的尺寸和帧内预测模式，还可使用沿列方向扫描2D系数阵列的垂直扫描和沿行方向扫描2D块类型系数的水平扫描来代替Z字形扫描。换句话说，根据变换单元的尺寸和帧内预测模式，可在Z字形扫描、对角扫描、垂直扫描和水平扫描中确定要使用的扫描方法。

熵编码器155通过使用包括基于上下文的自适应二进制算术码(CABAC)、指数哥伦布(Exponential Golomb)等的各种编码方案对从重新排列单元150输出的ID量化的变换系数的序列进行编码来生成比特流。

此外，熵编码器155对与块分割相关的信息(诸如，CTU尺寸、CTU分割标记、QT分割标记、MTT分割类型、MTT分割方向等)进行编码，以允许视频解码装置将块等同地分割到视频编码装置。此外，熵编码器155对关于指示当前块是通过帧内预测还是帧间预测来编码的预测类型的信息进行编码。熵编码器155根据预测类型对帧内预测信息(即，关于帧内预测模式的信息)或帧间预测信息(在合并模式、合并索引的情况下，以及在AMVP模式的情况下，关于参考图片索引和运动矢量差的信息)进行编码。此外，熵编码器155对与量化相关的信息(即，关于量化参数的信息和关于量化矩阵的信息)进行编码。

逆量化器160对从量化器145输出的量化的变换系数进行去量化以生成变换系数。逆变换器165将从逆量化器160输出的变换系数从频域变换到空间域，以重建残差块。

加法器170将重建的残差块和由预测器120生成的预测块相加以重建当前块。当对下一次序块进行帧内预测时，经重建当前块中的像素可用作参考像素。

环路滤波器单元180对重建像素执行滤波，以便减少由于基于块的预测和变换/量化而发生的块伪影、振铃伪影、模糊伪影等。作为环路滤波器的环路滤波器单元180可包括解块滤波器182、样本自适应偏移(SAO)滤波器184和自适应环路滤波器(ALF)186的全部或一些。

解块滤波器182对重建块之间的边界进行滤波以便去除由于块单位编码/解码而发生的块效应，并且SAO滤波器184和ALF 186执行针对去块的滤波视频的附加滤波。SAO滤波器184及ALF 186是用于补偿经重建像素与原始像素之间的差的滤波器，差归因于有损编码而发生。SAO滤波器184应用偏移作为CTU单元以增强主观图像质量和编码效率。另一方面，ALF 186执行块单位滤波，并且通过分割相应块的边界和变化量的程度来应用不同的滤波器来补偿失真。关于将用于ALF的滤波器系数的信息可被编码并用信号通知给视频解码装置。

通过解块滤波器182、SAO滤波器184和ALF 186滤波的重建的块被存储在存储器190中。当一个图片中的所有块被重建时，重建的图片可以用作参考图片，用于对之后要编码的图片内的块进行帧间预测。

图5是可实施本公开的技术的视频解码装置的功能框图。在下文中，参见图5，描述视频解码装置和装置的组件。

视频解码装置可包括熵解码器510、重新排列单元515、逆量化器520、逆变换器530、预测器540、加法器550、环路滤波器单元560和存储器570。

与图1的视频编码装置相似，视频解码装置的每个部件可实现为硬件或软件或实现为硬件和软件的组合。此外，每个组件的功能可以实现为软件，并且还可以实现微处理器以执行与每个组件对应的软件的功能。

熵解码器510通过对由视频编码装置生成的比特流进行解码以确定将被解码的当前块来提取与块分割相关的信息，并且提取恢复当前块所需的预测信息和关于残差信号的信息。

熵解码器510通过从序列参数集合(SPS)或图片参数集合(PPS)提取关于CTU尺寸的信息来确定CTU的尺寸，并且将图片分割成具有确定尺寸的CTU。另外，确定CTU为树结构的最高层，即根节点，并且可以提取CTU的分割信息，以使用树结构对CTU进行分割。

例如，当使用QTBTTT结构对CTU进行分割时，首先提取与QT的分割相关的第一标记(QT_split_flag)，以将每个节点分割为下层的四个节点。此外，针对与QT的叶节点相应的节点，提取与MTT的分割相关的第二标记(mtt_split_flag)、分割方向(垂直/水平)和/或分割类型(二进制/三进制)，以将相应的叶节点分割为MTT结构。结果，在QT的叶节点下面的每个节点被递归地分割成BT或TT结构。

作为另一实施例，当通过使用QTBTTT结构来分割CTU时，提取指示CU是否被分割的CU分割标记(split_cu_flag)。当对应的块被分割时，第一标记(QT_split_flag)也可以被提取。在分割过程期间，对于每个节点，0次或更多次的递归MTT分割可以在0次或更多次的递归QT分割之后发生。例如，相对于CTU，MTT分割可以立即发生，或者相反，仅多次的QT分割也可以发生。

又例如，当使用QTBT结构对CTU进行分割时，提取与QT的分割有关的第一标记(QT_split_flag)，以将每个节点分割成下层的四个节点。此外，提取指示与QT的叶节点对应的节点是否被进一步分割成BT的分割标记(split_flag)以及分割方向信息。

同时，当熵解码器510通过使用树结构的分割确定将被解码的当前块时，熵解码器510提取关于指示当前块是帧内预测的还是帧间预测的预测类型的信息。当预测类型信息指示帧内预测时，熵解码器510提取用于当前块的帧内预测信息(帧内预测模式)的语法元素。当预测类型信息指示帧间预测时，熵解码器510提取表示用于帧间预测信息的语法元素(即，运动矢量和运动矢量参考的参考图片)的信息。

此外，熵解码器510提取量化相关信息并且提取关于当前块的量化的变换系数的信息作为关于残差信号的信息。

重新排列单元515可以再次以与由视频编码装置执行的系数扫描顺序相反的顺序，将由熵解码器510熵解码的1D量化的变换系数的序列改变为2D系数阵列(即，块)。

逆量化器520去量化量化的变换系数，并且通过使用量化参数去量化量化的变换系数。逆量化器520还可将不同的量化系数(缩放值)应用于以2D布置的量化的变换系数。逆量化器520可通过将来自视频编码装置的量化系数的矩阵(缩放值)应用于量化的变换系数的2D阵列来执行反量化。

逆变换器530通过经由将去量化的变换系数从频域逆变换到空间域中来恢复残差信号来生成用于当前块的残差块。

此外，当逆变换器530逆变换变换块的部分区域(子块)时，逆变换器530提取仅变换块的子块被变换的标记(cu_sbt_flag)、子块的定向(垂直/水平)信息(cu_sbt_horizontal_flag)和/或子块的位置信息(cu_sbt_pos_flag)。逆变换器530还将相应子块的变换系数从频域逆变换到空间域中以重建残差信号并且利用值“0”填充未被逆变换的区域作为残差信号以生成用于当前块的最终残差块。

此外，当应用MTS时，逆变换器530通过使用从视频编码装置信号通知的MTS信息(mts_idx)来确定在水平方向和垂直方向中的每一个方向上应用的变换索引或变换矩阵。逆变换器530还通过使用所确定的变换函数在水平方向和垂直方向上对变换块中的变换系数执行逆变换。

预测器540可包括帧内预测器542和帧间预测器544。在当前块的预测类型是帧内预测时激活帧内预测器542，并且在当前块的预测类型是帧间预测时激活帧间预测器544。

帧内预测器542根据从熵解码器510提取的帧内预测模式的语法元素，在多个帧内预测模式之中确定当前块的帧内预测模式。帧内预测器542还通过根据帧内预测模式使用当前块的邻近参考像素来预测当前块。

帧间预测器544通过使用从熵解码器510提取的用于帧间预测模式的语法元素确定当前块的运动矢量和运动矢量参考的参考图片。

加法器550通过将从逆变换器530输出的残差块和从帧间预测器544或帧内预测器542输出的预测块相加来重建当前块。在对之后要解码的块进行帧内预测时，重建的当前块内的像素被用作参考像素。

作为环路滤波器的环路滤波器单元560可以包括解块滤波器562、SAO滤波器564和ALF 566。解块滤波器562对重建的块之间的边界执行去块滤波，以便去除由于块单位解码而发生的块效应。SAO滤波器564和ALF 566在去块滤波之后对重建块执行附加滤波，以便补偿重建像素和原始像素之间的差异，差异由于有损编码而发生。通过使用关于从比特流解码的滤波器系数的信息来确定ALF的滤波器系数。

通过解块滤波器562、SAO滤波器564和ALF 566滤波的重建块被存储在存储器570中。当一个图片中的所有块被重建时，重建的图片可以用作参考图片，用于对之后要编码的图片内的块进行帧间预测。

图6是示出根据本公开的实施方式的基于用于在解码器(解码器侧帧内模式推导：DIMD)中推导帧内预测模式的技术生成预测块的过程的示图。图片内预测可具有与帧内预测相同的含义。DIMD可以对应于在解码器中的解码过程中推导当前块的帧内预测模式而不将当前块的帧内预测模式信息从编码器发送到解码器的方法。在DIMD中，Sobel滤波器可以应用于当前块的邻近像素以计算像素的梯度。可基于所计算的梯度来生成梯度直方图(HoG)。从梯度的直方图，可以选择具有最大值的两个梯度，并且可以推导用于具有这两个梯度的像素的帧内预测模式。权重值被分配给推导的两个帧内预测模式的预测值和平面模式的预测值，并且当前块的预测块可以通过添加这些来生成。这里，1/3的固定权重值可被分配给平面模式的预测值。基于梯度的值而2/3被成比例地分配到的权重值被分配给两个推导的帧内预测模式的预测值。分配给平面模式的预测值的权重值和分配给两个推导的帧内预测模式的预测值的权重值的总和可对应于1。

参见图6，与当前块相邻的两个邻近块的帧内预测模式和平面模式的预测值可分别对应于Pred₁、Pred₂和Pred₃。权重值W₁可以被分配给Pred₁，权重值W₂可以被分配给Pred₂，以及权重值W₃可以被分配给Pred₃。权重值被分配给相应的预测值，其可以被求和以生成当前块的预测块。然而，本公开不限于上述实施方式。

图7是图示根据本公开的实施方式的基于DIMD的解码过程的示图。

参见图7，解码装置可以获得指示是否基于DIMD推导当前块的帧内预测模式的信息(例如，DIMD标记)(S710)。具有第一值(例如，0)的DIMD标记可以指示当前块的帧内预测模式不是基于DIMD推导的。具有第二值(例如，1)的DIMD标记可以指示当前块的帧内预测模式是基于DIMD推导的。可确定获得的DIMD标记是否具有第一值(例如，0)(S720)。当DIMD标记具有第一值(例如，0)时(S720-是)，解码装置可以获得当前块的帧内预测模式信息(S730)。解码装置可以基于获得的帧内预测模式信息重建当前块(S740)。当DIMD标记具有第二值(例如，1)时(S720-否)，解码装置可以基于DIMD推导当前块的帧内预测模式(S750)。解码装置可以基于推导的当前块的帧内预测模式重建当前块(S760)。

图8是图示根据本公开的另一实施方式的DIMD混合模式的示图，在该DIMD混合模式中，权重值根据DIMD索引被分配给邻近块的帧内预测模式的预测值。在DIMD中，Sobel滤波器可以应用于当前块的邻近像素以计算像素的梯度，并且可以基于所计算的梯度来生成梯度的直方图。可从梯度的直方图选择具有最大值的两个梯度，且可推导具有两个梯度的像素的帧内预测模式。可存在DIMD混合模式，其中两个推导的帧内预测模式的预测值与平面模式的预测值混合。将权重值分配给帧内预测模式可以指的是将权重值分配给基于帧内预测模式的预测值。

参见图8，推导的两个帧内预测模式可分别对应于第一模式和第二模式。第一混合模式可对应于第一模式和第二模式被混合的模式。这里，可基于从直方图选择的梯度的值来确定每个模式的权重值。第二混合模式可对应于第二模式和平面模式被混合的模式。这里，1/3的固定权重值可被分配给平面模式，2/3的固定权重值可被分配给第二模式。第三混合模式可对应于第一模式、第二模式和平面模式被混合的模式。这里，5/9的固定权重值可被分配给平面模式，并且基于直方图中选择的梯度的值，4/9被成比例地分配到的权重值可被分配给第一模式和第二模式。在这三种模式中，可基于率失真决策(RD决策)确定最佳混合模式。关于所确定的混合模式的信息可以作为DIMD索引从编码器发送到解码器。这里，帧内预测模式信息可以不被发送到解码器。当DIMD索引是第一值(例如，0)时，当前块的帧内预测模式可能不是基于DIMD推导的。当DIMD索引是第二值(例如，1)时，可基于第一混合模式推导当前块的帧内预测模式，并可生成当前块的预测块。当DIMD索引是第三值(例如，2)时，可基于第二混合模式推导当前块的帧内预测模式，并可生成当前块的预测块。当DIMD索引是第四值(例如，3)时，可基于第三混合模式推导当前块的帧内预测模式，并可生成当前块的预测块。

图9是示出根据本公开的实施方式的与当前块相邻的邻近块的示图。本公开可以重新使用在发送帧内预测模式信息的过程中使用的MPM列表，以推导有效的帧内预测模式。可以在没有附加计算过程的情况下以低复杂度推导帧内预测模式，并且通过重新使用MPM列表推导帧内预测模式来提高压缩效率。

参见图9，块L0至L3和块A0至A3可以对应于与作为编码目标的当前块相邻的邻近块。块L0至L3可以对应于在当前块的左侧的邻近块。块A0至A3可以对应于在当前块之上的邻近块。根据本公开，在当前块的左侧的邻近块之中的L0块和在当前块之上的邻近块之中的A0块可以被用于生成MPM列表。然而，本公开不限于上述实施方式，并且除了L0块和A0块之外，还可以使用L1块至L3块中的任一个和A1块至A3块中的任一个。可以基于L0块的帧内预测模式和A0块的帧内预测模式生成MPM列表。

图10是图示根据本公开的实施方式的根据邻近块的帧内预测模式的方向性生成最可能模式(MPM)列表的过程的示图。可以基于与当前块相邻的邻近块的帧内预测模式的方向性来生成根据本公开的MPM列表。MPM列表生成过程可以基于与当前块相邻的邻近块的帧内预测模式的方向性来确定。

参见图10，L0块可以对应于在当前块的左侧的邻近块。A0块可以对应于在当前块之上的邻近块。可以做出关于L0块的帧内预测模式与A0块的帧内预测模式是否相同以及L0块的帧内预测模式是否是定向模式的确定(S1010)。当L0块的帧内预测模式与A0块的帧内预测模式相同并且L0块的帧内预测模式是定向模式时(S1010-是)，能够根据MPM列表生成过程1生成MPM列表(S1020)。在这里，L0块的帧内预测模式和A0块的帧内预测模式可以对应于具有相同方向性的帧内预测模式。当L0块的帧内预测模式与A0块的帧内预测模式不相同或L0块的帧内预测模式不是定向模式时(S1010-否)，可以确定L0块的帧内预测模式与A0块的帧内预测模式是否不同，以及L0块的帧内预测模式是定向模式还是A0块的帧内预测模式是定向模式(S1030)。当L0块的帧内预测模式和A0块的帧内预测模式是非定向模式时(S1030-否)，可以根据MPM列表生成过程4生成MPM列表(S1040)。在这里，L0块的帧内预测模式和A0块的帧内预测模式可以对应于非定向模式。当L0块的帧内预测模式与A0块的帧内预测模式不同，并且L0块的帧内预测模式是定向模式，或者A0块的帧内预测模式是定向模式时(S1030-是)，可以确定L0块的帧内预测模式是否是定向模式，并且A0块的帧内预测模式是否是定向模式(S1050)。当L0块的帧内预测模式是定向模式，并且A0块的帧内预测模式是定向模式时(S1050-是)，能够根据MPM列表生成过程2生成MPM列表(S1060)。在这里，L0块的帧内预测模式和A0块的帧内预测模式可以对应于不同定向模式。当在L0块的帧内预测模式和A0块的帧内预测模式之中存在一个非定向模式时(S1050-否)，可以根据MPM列表生成过程3来生成MPM列表(S1070)。在这里，L0块的帧内预测模式可以对应于定向模式，并且A0块的帧内预测模式可以对应于非定向模式。可选地，L0块的帧内预测模式可以是非定向模式，A0块的帧内预测模式可以是定向模式。

根据参见图10描述的邻近块的帧内预测模式的方向性的MPM列表生成过程是实施例，并且根据本公开的MPM列表生成过程不限于图10中图示的实施例。例如，图10中示出的一些步骤可以省略，并且除了图10中示出的那些步骤以外的步骤可以在图10的流程图中的任何位置添加。此外，图10中示出的一些步骤可以与其他步骤同时执行，或者其顺序可以相对于其他步骤改变。

图11是图示根据本公开的实施方式的根据MPM列表生成过程的邻近块的帧内预测模式的方向性的示图。定向模式可对应于在帧内预测模式中具有从模式2到模式66的方向性的模式。非定向模式可对应于平面模式和DC模式。

参见图11，L0块可以对应于在当前块的左侧的邻近块。A0块可以对应于在当前块之上的邻近块。当根据MPM列表生成过程1生成MPM列表时，L0的帧内预测模式和A0的帧内预测模式可以对应于相同定向模式。当根据MPM列表生成过程2生成MPM列表时，L0的帧内预测模式和A0的帧内预测模式可以对应于不同定向模式。当根据MPM列表生成过程3生成MPM列表时，L0的帧内预测模式可以对应于定向模式，A0的帧内预测模式可以对应于非定向模式。可选择地，L0的帧内预测模式可对应于非定向模式，A0的帧内预测模式可对应于定向模式。当根据MPM列表生成过程4生成MPM列表时，L0的帧内预测模式和A0的帧内预测模式可以对应于相同非定向模式。可选择地，L0的帧内预测模式和A0的帧内预测模式可对应于不同非定向模式。

图12是图示根据本公开的实施方式的从MPM列表选择两个模式的方法的示图。本公开的基于当前块的邻近块的帧内预测模式生成MPM列表的过程在概念上可类似于将Sobel滤波器应用于当前块的邻近块的像素以计算像素的梯度并基于梯度生成梯度的直方图的过程。在本公开的生成MPM列表的过程中，邻近块的帧内预测模式的方向性可以通过邻近块的帧内预测模式来预测。在生成邻近像素的梯度的直方图的过程中，可以通过计算邻近块的像素的梯度来预测邻近块的帧内预测模式的方向性。因此，代替基于邻近像素的梯度的直方图推导当前块的帧内预测模式的方法，可以使用基于MPM列表推导当前块的帧内预测模式的方法。

参见图12，可以生成根据本公开的MPM列表，并且MPM列表可以由六个候选模式组成。MPM列表中的第一候选模式(candModeList[0])和第二候选模式(candModeList[1])可以选择为两个推导模式。作为从MPM列表选择的两个推导模式的第一候选模式(candModeList[0])和第二候选模式(candModeList[1])可以对应于作为基于邻近像素梯度的直方图选择的两个推导模式的第一模式和第二模式。然而，本公开不限于上述实施方式。在MPM列表中的候选模式的数量可以对应于除了6之外的任何数量的候选模式。作为从MPM列表中选择的两个推导模式的第一候选模式(candModeList[0])和第二候选模式(candModeList[1])可以与用于生成MPM列表的与当前块相邻的两个邻近块的帧内预测模式相同。

根据本公开的从MPM列表选择两个推导模式的方法可以不需要附加的处理，因为第一候选模式和第二候选模式被从生成的MPM列表选择为两个推导模式。因而，可以降低复杂度，并且可以提高编码/解码效率。另一方面，由于需要通过针对邻近像素的Sobel滤波操作的梯度计算，因此基于邻近像素的梯度的直方图选择两个引导模式的方法可能非常复杂。

图13是图示根据本公开的实施方式的根据MPM列表生成过程的DIMD混合模式和邻近块的帧内预测模式的方向性的示图。

参见图13，L0块可以对应于在当前块的左侧的邻近块。A0块可以对应于在当前块之上的邻近块。L0模式和A0模式可以分别对应于L0帧内预测模式和A0帧内预测模式。L0模式和A0模式可以对应于从根据本公开生成的MPM列表中选择为第一候选模式和第二候选模式的两个模式。当MPM列表生成过程是生成过程1并且L0模式和A0模式是相同定向模式时，DIMD混合模式可以对应于相同定向模式与平面模式混合的模式。当MPM列表生成过程是生成过程2并且L0模式和A0模式是不同定向模式时，DIMD混合模式对应于L0模式与A0模式混合的模式，或者DIMD混合模式可对应于L0模式、A0模式和平面模式混合的模式。当MPM列表生成过程是生成过程3，并且L0模式和A0模式分别是定向模式和非定向模式，或者L0模式和A0模式分别是非定向模式和定向模式时，DIMD混合模式可以对应于作为L0模式和A0模式之间的定向模式的模式以及平面模式被混合的模式。当MPM列表生成过程是生成过程4，并且L0模式和A0模式是相同非定向模式或不同非定向模式时，可以不基于DIMD推导帧内预测模式。在本公开中，DIMD混合模式可以从根据MPM列表生成过程确定的两个推导模式直接推导。即使当MPM列表生成过程改变时，MPM列表生成过程也可以参考与当前块相邻的邻近块的帧内预测模式被分类。DIMD混合模式可以基于改变的MPM列表生成过程来确定。

图14是示出根据本公开的实施方式的分配给根据MPM列表生成过程的周围块的帧内预测模式的预测值的权重值和邻近块的帧内预测模式的方向性的示图。根据本公开，从MPM列表推导帧内预测模式的方法可以通过基于从MPM列表和平面模式中选择的两个推导模式将权重值反映到预测值来生成当前块的最终预测块。在基于邻近像素的梯度的直方图推导帧内预测模式的方法中，可基于邻近像素的梯度确定权重值。

参见图14，L0块可以对应于在当前块的左侧的邻近块。L0模式和A0模式可以分别对应于L0帧内预测模式和A0帧内预测模式。将权重值分配给L0模式和A0模式可以意指将权重值分配给根据L0模式和A0模式的预测值。A0块可以对应于在当前块之上的邻近块。根据MPM列表生成过程以及L0模式和A0模式，固定的权重值可根据L0模式、A0模式和平面模式被分配给预测值。当MPM列表生成过程是生成过程1并且L0模式和A0模式是相同定向模式时，2/3权重值可以根据相同定向模式被分配给预测值，并且1/3权重值可以根据平面模式被分配给预测值。当MPM列表生成过程是生成过程2，并且L0模式和A0模式是不同定向模式时，根据L0模式，1/2权重值被分配给预测值，根据A0模式，1/2权重值被分配给预测值，或者根据L0模式，1/4权重值可以被分配给预测值，根据A0模式，1/4权重值可被分配给预测值，并且根据平面模式，1/2权重值可被分配给预测值。当MPM列表生成过程是生成过程3，并且L0模式和A0模式分别是定向模式和非定向模式，或者L0模式和A0模式分别是非定向模式和定向模式时，根据作为L0模式和A0模式中的定向模式的模式，1/2权重值可以被分配给预测值，并且根据平面模式，1/2权重值可以被分配给预测值。当MPM列表生成过程是生成过程4，并且L0模式和A0模式是相同非定向模式或不同非定向模式时，可以不基于DIMD推导帧内预测模式。然而，本公开不限于上述实施方式。根据MPM列表生成过程、L0模式和A0模式，任意权重值可根据L0模式、A0模式和平面模式被分配给预测值。

图15是示出根据本公开的另一实施方式的基于DIMD的解码过程的示图。L0块可以对应于在当前块的左侧的邻近块。A0块可以对应于在当前块之上的邻近块。L0模式和A0模式可以分别对应于L0帧内预测模式和A0帧内预测模式。将权重值分配给L0模式和A0模式可以意指将权重值分配给根据L0模式和A0模式的预测值。在基于邻近像素的梯度的直方图推导帧内预测模式的方法中，DIMD索引相关语法从编码器发送到解码器，使得可以区分将由当前块使用的DIMD混合模式。另一方面，在基于MPM列表推导帧内预测模式的方法中，由于可以基于MPM列表生成过程和邻近块的帧内预测模式推导DIMD混合模式和权重值，所以DIMD索引相关语法可以不从编码器发送到解码器。然而，在MPM列表生成过程2的情况下，即，当L0模式和A0模式是不同定向模式时，DIMD混合模式可以对应于L0模式与A0模式混合的模式，或者对应于L0模式、A0模式和平面模式被混合的模式。因此，为了在这些之间进行区分，单独的语法可以仅在MPM列表生成过程2的情况下从编码器发送到解码器。对于单独的语法，在MPM列表生成过程2的情况下，可以发送指示DIMD混合模式是否是仅L0模式和A0模式(除了平面模式)被混合的模式的信息(例如，IsDIMDIndex1_flag)。当IsDIMDIndex1_flag是第一值(例如，0)时，这可以指示DIMD混合模式是在MPM列表生成过程2的情况下L0模式、A0模式和平面模式被混合的模式。当IsDIMDIndex1_flag是第二值(例如，1)时，在MPM列表生成过程2的情况下，这可以指示DIMD混合模式是仅混合除了平面模式以外的L0模式和A0模式的模式。

参见图15，解码装置可以获得DIMD标记(S1510)。可以做出关于DIMD标记是否具有第一值(例如，0)的确定(S1520)。当DIMD标记具有第一值(例如，0)时(S1520-是)，解码装置可获得帧内预测模式信息(S1530)。解码装置可以基于获得的帧内预测模式信息重建当前块(S1540)。当DIMD标记不具有第一值(例如，0)时(S1520-否)，可以确定MPM列表生成过程是否是生成过程2(S1550)。

当MPM列表生成过程不是生成过程2(S1550-否)时，解码装置可以推导帧内预测模式(S1560)。在这里，在推导帧内预测模式的步骤中，帧内预测模式可以从根据MPM列表生成过程1或3生成的MPM列表推导。在MPM列表生成过程1的情况下，L0模式和A0模式可以是相同定向模式，并且推导的帧内预测模式可以对应于相同定向模式和平面模式被混合的模式。在MPM列表生成过程3的情况下，L0模式和A0模式可以分别是定向模式和非定向模式，或者分别是非定向模式和定向模式，并且推导的帧内预测模式可以对应于在L0模式和A0模式以及平面模式中作为定向模式的模式被混合的模式。解码装置可以基于推导的帧内预测模式重建当前块(S1561)。

当MPM列表生成过程是生成过程2(S1550-是)时，解码装置可以获得IsDIMDIndex1_flag(S1570)。可确定IsDIMDIndex1_flag是否具有第一值(例如，0)(S1580)。当IsDIMDIndex1_flag不具有第一值(例如，0)时(S1580-否)，解码装置可获得帧内预测模式(S1581)。在这里，推导的帧内预测模式可以对应于仅L0模式和A0模式(除了平面模式)被混合的模式。解码装置可以基于推导的帧内预测模式重建当前块(S1582)。当IsDIMDIndex1_flag具有第一值(例如，0)时(S1580-是)，解码装置可获得帧内预测模式(S1583)。在这里，推导的帧内预测模式可以对应于L0模式、A0模式和平面模式被混合的模式。解码装置可以基于推导的帧内预测模式重建当前块(S1584)。

在根据本公开的基于MPM列表推导帧内预测模式的方法中，因为Sobel滤波处理没有被应用于邻近像素，所以不基于梯度确定权重值，并且与基于邻近像素的梯度的直方图推导帧内预测模式的方法不同，应用固定的权重值，所以能够降低复杂度。此外，在基于MPM列表推导帧内预测模式的方法中，因为不同于基于邻近像素的梯度的直方图推导帧内预测模式的方法，不需要发送DIMD索引信息，所以比特数减少并且编码/解码效率能够提高。此外，在基于MPM列表推导帧内预测模式的方法中，因为不计算邻近像素的梯度，从MPM列表中选择两个模式，并且与基于邻近像素的梯度的直方图推导帧内预测模式的方法不同，应用固定权重值，所以可以降低复杂度。

图16是示出根据本公开的实施方式的视频解码过程的示图。

参见图16，可以基于与当前块相邻的邻近块的帧内预测模式来确定至少两个帧内预测模式(S1610)。邻近于当前块的邻近块可以对应于在当前块的左边的邻近块。至少两个帧内预测模式是从MPM列表中选择的候选模式，并可对应于第一候选模式和第二候选模式。当前块的帧内预测模式信息可以基于至少两个帧内预测模式是非定向模式来获得，并且当前块的预测块可以基于获得的帧内预测模式信息来生成。可以使用至少两个帧内预测模式来生成至少两个预测块(S1620)。基于至少两个帧内预测模式是相同定向模式，可生成使用平面模式的预测块和使用相同定向模式的预测块。基于至少两个帧内预测模式分别是定向模式和非定向模式，可生成使用平面模式的预测块和使用定向模式的预测块。可基于至少两个帧内预测模式是不同定向模式来获得指示是否仅使用除了平面模式之外的至少两个帧内预测模式的第一信息。基于第一信息指示仅使用除了平面模式以外的至少两个帧内预测模式，可使用至少两个帧内预测模式来生成至少两个预测块。基于第一信息不指示仅使用除了平面模式以外的至少两个帧内预测模式，可生成使用平面模式的预测块和使用至少两个帧内预测模式的至少两个预测块。

当前块的预测块可以通过对至少两个预测块执行加权平均来生成(S1630)。在至少两个预测块上执行以使得可以生成当前块的预测块的加权平均可以通过向至少两个预测块分配固定的权重值并且将其相加来表征。

图17是示出根据本公开的实施方式的视频编码过程的示图。

参见图17，可以基于与当前块相邻的邻近块的帧内预测模式来确定至少两个帧内预测模式(S1710)。邻近于当前块的邻近块可以对应于在当前块的左边的邻近块。至少两个帧内预测模式是从MPM列表中选择的候选模式，并可对应于第一候选模式和第二候选模式。当前块的帧内预测模式信息可以基于至少两个帧内预测模式是非定向模式来编码。可以使用至少两个帧内预测模式生成至少两个预测块(S1720)。基于至少两个帧内预测模式是相同定向模式，可生成使用平面模式的预测块和使用相同定向模式的预测块。基于至少两个帧内预测模式分别是定向模式和非定向模式，可生成使用平面模式的预测块和使用定向模式的预测块。指示是否仅使用除了平面模式之外的至少两个帧内预测模式的第一信息可基于至少两个帧内预测模式是不同定向模式来编码。基于第一信息指示仅使用除了平面模式以外的至少两个帧内预测模式，可使用至少两个帧内预测模式来生成至少两个预测块。基于第一信息不指示仅使用除了平面模式以外的至少两个帧内预测模式，可生成使用平面模式的预测块和使用至少两个帧内预测模式的至少两个预测块。

当前块的预测块可以通过对至少两个预测块执行加权平均来生成(S1730)。在至少两个预测块上执行以使得可以生成当前块的预测块的加权平均可以通过向至少两个预测块分配固定的权重值并且将其相加来表征。

尽管各个流程图中的步骤被描述为被顺序地执行，但是这些步骤仅仅例示本公开的一些实施方式的技术构思。因此，本公开所属领域的普通技术人员可通过改变在各个附图中描述的顺序或者通过并行执行两个以上的步骤来执行步骤。所以，各个流程图中的步骤不限于所示的时间序列顺序。

应当理解，以上描述呈现了可以以不同其他方式实现的说明性实施方式。在一些实施方式中描述的功能可以通过硬件、软件、固件和/或其组合来实现。还应当理解，本说明书中描述的功能部件用“…单元”标记以强烈强调它们独立实现的可能性。

同时，在一些实施方式中描述的各种方法或功能可以被实现为存储在能够由一个或多个处理器读取和执行的非暂时性记录介质中的指令。例如，非暂时性记录介质可包括各种类型的记录装置，其中，数据以计算机***可读的形式存储。例如，非暂时性记录介质可包括存储介质，诸如可擦除可编程只读存储器(EPROM)、闪存驱动器、光盘驱动器、磁性硬盘驱动器和固态驱动器(SSD)等。

尽管出于说明性的目的已经描述了本公开的实施方式，然而，本公开所属领域的普通技术人员应当认识到，在不背离本公开的构思和范围的情况下，各种修改、添加、以及替换是可能的。因此，为了简洁和清晰起见，已经描述了本公开的实施方式。本公开的实施方式的技术构思的范围不受图示的限制。因此，本公开所属领域的普通技术人员应当理解，本公开的范围不限于以上明确描述的实施方式，而是由权利要求及其等同物限制。

(参考标号)

122 帧内预测器

510 熵解码器

542 帧内预测器

相关申请的交叉引证

本申请要求2021年6月8日提交的韩国专利申请第10-2021-0074383号和2022年5月30日提交的韩国专利申请第10-2022-0066029号的优先权，其全部内容通过引证结合于此。

Claims (20)

1.一种视频解码方法，包括：

基于与当前块相邻的邻近块的帧内预测模式，确定至少两个帧内预测模式；

使用所述至少两个帧内预测模式生成至少两个预测块；以及

通过对所述至少两个预测块执行加权平均，生成所述当前块的预测块。

2.根据权利要求1所述的视频解码方法，其中，所述至少两个帧内预测模式是从最可能模式(MPM)列表中选择的候选模式。

3.根据权利要求2所述的视频解码方法，其中，所述至少两个帧内预测模式是所述MPM列表中的第一候选模式和第二候选模式。

4.根据权利要求1所述的视频解码方法，还包括：

基于所述至少两个帧内预测模式是非定向模式，获得所述当前块的帧内预测模式信息；以及

基于所述帧内预测模式信息，生成所述当前块的预测块。

5.根据权利要求1所述的视频解码方法，还包括：

基于所述至少两个帧内预测模式是相同定向模式，生成使用平面模式的预测块和使用相同定向模式的预测块；以及

通过对使用平面模式的预测块和使用相同定向模式的预测块执行加权平均，生成所述当前块的预测块。

6.根据权利要求1所述的视频解码方法，还包括：

基于所述至少两个帧内预测模式是定向模式和非定向模式，生成使用平面模式的预测块和使用定向模式的预测块；以及

通过对使用平面模式的预测块和使用定向模式的预测块执行加权平均，生成所述当前块的预测块。

7.根据权利要求1所述的视频解码方法，还包括：

基于所述至少两个帧内预测模式是不同定向模式，获得指示是否仅使用除了平面模式之外的所述至少两个帧内预测模式的第一信息。

8.根据权利要求7所述的视频解码方法，还包括：

基于所述第一信息指示仅使用除了所述平面模式之外的所述至少两个帧内预测模式，使用所述至少两个帧内预测模式生成所述至少两个预测块；以及

通过对所述至少两个预测块执行加权平均，生成所述当前块的预测块。

9.根据权利要求7所述的视频解码方法，还包括：

基于所述第一信息不指示仅使用除了所述平面模式之外的所述至少两个帧内预测模式，生成使用所述平面模式的预测块和使用所述至少两个帧内预测模式的至少两个预测块；以及

通过对使用所述平面模式的预测块和使用所述至少两个帧内预测模式的至少两个预测块执行加权平均，生成所述当前块的预测块。

10.根据权利要求1所述的视频解码方法，其中，通过对所述至少两个预测块执行加权平均生成所述当前块的预测块包括将固定权重值分配给所述至少两个预测块并进行相加。

11.一种视频编码方法，包括：

基于与当前块相邻的邻近块的帧内预测模式，确定至少两个帧内预测模式；

使用所述至少两个帧内预测模式生成至少两个预测块；以及

通过对所述至少两个预测块执行加权平均，生成所述当前块的预测块。

12.根据权利要求11所述的视频编码方法，其中，所述至少两个帧内预测模式是从MPM列表中选择的，并且是来自所述MPM列表的第一候选模式和第二候选模式。

13.根据权利要求11所述的视频编码方法，还包括：

基于所述至少两个帧内预测模式是非定向模式，对所述当前块的帧内预测模式信息进行编码。

14.根据权利要求11所述的视频编码方法，还包括：

基于所述至少两个帧内预测模式是相同定向模式，生成使用平面模式的预测块和使用相同定向模式的预测块；以及

通过对使用平面模式的预测块和使用相同定向模式的预测块执行加权平均，生成所述当前块的预测块。

15.根据权利要求11所述的视频解码方法，还包括：

基于所述至少两个帧内预测模式是定向模式和非定向模式，生成使用平面模式的预测块和使用定向模式的预测块；以及

通过对使用平面模式的预测块和使用定向模式的预测块执行加权平均，生成所述当前块的预测块。

16.根据权利要求11所述的视频编码方法，还包括：

基于所述至少两个帧内预测模式是不同定向模式，对指示是否仅使用除了平面模式之外的至少两个帧内预测模式的第一信息进行编码。

17.根据权利要求16所述的视频编码方法，还包括：

基于所述第一信息指示仅使用除了所述平面模式之外的所述至少两个帧内预测模式，使用所述至少两个帧内预测模式生成所述至少两个预测块；以及

通过对所述至少两个预测块执行加权平均，生成所述当前块的预测块。

18.根据权利要求16所述的视频编码方法，还包括：

基于所述第一信息不指示仅使用除了平面模式之外的至少两个帧内预测模式，生成使用平面模式的预测块和使用至少两个帧内预测模式的至少两个预测块；以及

通过对使用所述平面模式的所述预测块和使用所述至少两个帧内预测模式的所述至少两个预测块执行加权平均，生成所述当前块的预测块。

19.根据权利要求11所述的视频编码方法，其中，通过对所述至少两个预测块执行加权平均生成所述当前块的预测块包括将固定权重值分配给所述至少两个预测块并进行相加。

20.一种计算机可读记录介质，存储由视频编码方法生成的比特流，所述视频编码方法包括：

基于位于当前块的上侧和左侧的邻近块的帧内预测模式，确定至少两个帧内预测模式；

使用所述至少两个帧内预测模式生成至少两个预测块；以及

通过对所述至少两个预测块执行加权平均，生成所述当前块的预测块。