CN117296325A - 用于设计低频不可分离变换的方法和设备 - Google Patents

用于设计低频不可分离变换的方法和设备 Download PDF

Info

Publication number
CN117296325A
CN117296325A CN202280034285.3A CN202280034285A CN117296325A CN 117296325 A CN117296325 A CN 117296325A CN 202280034285 A CN202280034285 A CN 202280034285A CN 117296325 A CN117296325 A CN 117296325A
Authority
CN
China
Prior art keywords
lfnst
intra
mode
current block
transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280034285.3A
Other languages
English (en)
Inventor
具文模
林宰显
金昇焕
赵杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN117296325A publication Critical patent/CN117296325A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据本文档的公开内容：可以基于帧内预测模式导出针对当前块的LFNST集合索引；基于当前块的帧内预测模式是WAIP模式，LFNST集合索引可以导出为预定的一个值；并且基于当前块的帧内预测模式是NAIP模式，LFNST集合索引可以导出为预定的N个值中的一者。因此，可以在下一标准允许的实现复杂度内最大化LFNST可以带来的编译性能。

Description

用于设计低频不可分离变换的方法和设备
技术领域
本公开涉及视频/图像编译技术，并且更具体地，涉及用于在视频或图像编译***中执行低频不可分离变换(LFNST)时基于帧内预测模式确定LFNST集合的方法。
背景技术
近来在各种领域中对诸如超高清(HUD)图像和4K或8K或更大视频这样的高分辨率且高质量的图像和视频的需求日益增加。随着图像和视频数据变成高分辨率和高质量，与现有图像和视频数据相比，相对发送的信息量或位数增加。因此，如果使用诸如现有有线或无线宽带线这样的介质来传输图像数据或者使用现有存储介质来存储图像和视频数据，则传输成本和存储成本增加。
此外，近来对诸如虚拟现实(VR)、人工现实(AR)内容或全息图这样的沉浸式媒体的兴趣和需求日益增加。诸如游戏图像这样的图像特性与真实图像的图像特性不同的图像和视频的广播日益增加。
因此，为了有效地压缩并传输或存储并回放具有这样的各种特性的高分辨率且高质量的图像和视频的信息，需要高效的图像和视频压缩技术。
发明内容
技术方案
本公开的示例性实施方式提供了用于提高视频/图像编译效率的方法和设备。
本公开的示例性实施方式提供了基于各种条件应用LFNST的图像编译方法和设备。
本公开的示例性实施方式提供了用于基于帧内预测模式高效地导出LFNST集合索引的方法和设备。
本公开的示例性实施方式提供了用于基于帧内预测模式是宽角帧内预测模式的事实高效地导出LFNST集合索引的方法和设备。
本公开的示例性实施方式提供了用于高效地发信号通知LFNST集合列表索引信息的方法和设备。
本公开的示例性实施方式提供了一种由解码设备执行的视频/图像解码方法。
本公开的示例性实施方式提供了一种用于执行视频/图像解码的解码设备。
本公开的示例性实施方式提供了一种由编码设备执行的视频/图像编码方法。
本公开的示例性实施方式提供了一种用于执行视频/图像编码的编码设备。
本公开的示例性实施方式提供了一种计算机可读数字存储介质，其中存储有通过本公开的示例性实施方式中的至少一者中公开的视频/图像编码方法生成的编码的视频/图像信息。
本公开的示例性实施方式提供了一种计算机可读数字存储介质，其中存储有使得由解码设备执行本公开的示例性实施方式中的至少一者中公开的视频/图像解码方法的编码的信息或编码的视频/图像信息。
本公开的示例性实施方式提供了一种用于发送视频/图像数据的方法，该视频/图像数据包括基于本公开的实施方式中的至少一者中公开的视频/图像编码方法生成的比特流。
有益效果
本公开的示例性实施方式可以提高整体视频/图像压缩效率。
本公开的示例性实施方式可以允许基于各种条件应用LFNST。
本公开的实施方式可以基于帧内预测模式高效地导出LFNST集合索引。
本公开的实施方式可以基于帧内预测模式是宽角帧内预测模式的事实高效地导出LFNST集合索引。
本公开的实施方式可以高效地发信号通知LFNST集合列表索引信息。
能够通过本公开的特定示例获得的效果不限于上面列举的效果。例如，可以存在相关领域的普通技术人员能够理解或从本公开中导出的各种技术效果。因此，本公开的特定效果不限于在本公开中显式地描述的效果，并且能够包括能够从本公开的技术特征理解或导出的各种效果。
附图说明
图1示意性地例示了本公开的示例性实施方式适用于的视频/图像编译***的示例。
图2是用于示意性地说明本公开的示例性实施方式适用于的视频/图像编码设备的配置的图。
图3是用于示意性地说明本公开的示例性实施方式适用于的视频/图像解码设备的配置的图。
图4示例性地例示了65个预测方向的帧内定向模式。
图5示例性地例示了与宽角帧内预测模式相关联的93个预测方向。
图6是用于说明根据本公开的实施方式的针对非正方形块的帧内预测的图。
图7示意性地例示了根据本公开的实施方式的变换技术。
图8是用于说明根据本公开的实施方式的RST的图。
图9是例示了根据本公开的实施方式的正向LFNST输入区域的图。
图10是例示了根据本公开的实施方式的输入数据的输入序列的图。
图11是例示了根据本公开的另一实施方式的输入数据的输入序列的图。
图12是例示了根据本公开的实施方式的非正方形ROI的图。
图13是例示了根据本公开的实施方式的变换系数的扫描序列的图。
图14示意性地例示了根据本公开的实施方式的视频/图像编码方法的示例。
图15示意性地例示了根据本公开的实施方式的视频/图像解码方法的示例。
图16例示了可以应用本公开中公开的实施方式的内容流传输***的示例。
具体实施方式
该文件能够以各种方式修改并且可以具有各种实施例，并且特定的实施例将在附图中图示并详细地描述。然而，这并不旨在将该文件限制于特定实施例。本说明书中通常使用的术语用于描述特定的实施例，而不是用来限制该文件的技术精神。除非在上下文中另外明确表示，否则单数的表述包括复数的表述。该说明书中的诸如“包括”或“具有”这样的术语应该被理解为标示存在本说明书中描述的特性、数字、步骤、操作、元件、组件或其组合，而没有排除存在或添加一个或更多个特性、数字、步骤、操作、元件、组件或其组合的可以能性。
此外，为了便于与不同特征功能相关的描述，独立地图示了该文件中描述的附图中的元件。这并不意指各个元件被实现为单独的硬件或单独的软件。例如，至少两个元件可以被组合，以形成单个元件，或者单个元件可以被划分成多个元件。其中元件被组合和/或分开的实施例也被包括在该文件的权利范围内，除非它偏离了该文件的实质。
下文中，参考附图更具体地描述该文件的优选实施例。下文中，在附图中，相同的附图标记被用于相同的元件，并且可以省略对相同元件的冗余描述。
图1示意性地例示了本公开的示例性实施方式适用于的视频/图像编译***的示例。
参考图1，视频/图像编译***可以包括第一设备(源装置)和第二设备(接收装置)。源装置可以经由数字存储介质或网络以文件或流传输的形式将编码的视频/图像信息或数据传递到接收装置。
源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以被称为视频/图像编码设备，并且解码设备可以被称为视频/图像解码设备。发送器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示器，并且显示器可以被配置为单独的装置或外部组件。
视频源可以通过捕获、合成或生成视频/图像的处理来获得视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板计算机和智能电话，并且可以(电子地)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可以被生成相关数据的处理取代。
编码设备可以对输入视频/图像进行编码。编码设备可以执行诸如针对压缩和编译效率的预测、变换和量化这样的一系列过程。编码的数据(编码的视频/图像信息)能够以比特流的形式输出。
发送器可以通过数字存储介质或网络以文件或流传输的形式将以比特流的形式输出的编码的视频/图像信息或数据发送到接收装置的接收器。数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等这样的各种存储介质。发送器可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络进行发送的元件。接收器可以接收/提取比特流，并且将接收/提取的比特流发送到解码设备。
解码设备可以通过执行与编码设备的操作对应的诸如解量化、逆变换、预测等这样的一系列过程来解码视频/图像。
渲染器可以渲染解码后的视频/图像。可以通过显示器显示渲染后的视频/图像。
本公开涉及视频/图像编译。例如，本公开中公开的方法/示例性实施方式适用于通用视频编码(VVC)标准中公开的方法。此外，本公开中公开的方法/示例性实施方式适用于基本视频编码(EVC)标准、AOMedia Video 1(AV1)标准、第二代音频视频编码(AVS2)标准或下一代视频/图像编码标准(例如，H.267或H.268)中公开的方法。
本公开呈现了视频/图像编译的各种实施方式，并且除非另有说明，否则所述实施方式可以彼此组合地执行。
在本公开中，视频可以意指随时间推移的一组一系列图像。图片通常意指表示特定时间段中的一个图像的单元，并且切片和图块是编译时构成图片的一部分的单元。切片/图块可以包括一个或更多个编译树单元(CTU)。一个图片可以由一个或更多个切片/图块组成。图块是图片中的特定图块列和特定图块行内的CTU的矩形区域。图块列是CTU的矩形区域，其具有等于图片的高度的高度和由图片参数集中的语法元素指定的宽度。图块行是CTU的矩形区域，其具有由图片参数集中的语法元素指定的高度和等于图片的宽度的宽度。图块扫描是对图片进行分区的CTU的特定顺序排序，其中CTU在图块中按CTU光栅扫描连续排序，而图片中的图块在图片按图块的光栅扫描连续排序。切片包括整数个完整图块或可以排他地包含在单个NAL单元中的图片的图块内的整数个连续完整CTU行。
此外，一个图片可以被划分为两个或更多个子图片。子图片可以为图片内的一个或更多个切片的矩形区域。
像素或像元(pel)可以意指构成一个图片(或图像)的最小单元。另外，“样本”可以用作与像素相对应的术语。样本通常可以表示像素或像素值，并且可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
单元可以表示图像处理的基本单位。单元可以包括图片的特定区域和与该区域相关的信息中的至少一者。一个单元可以包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，单元可以与诸如块或区域的术语互换使用。在一般情况下，M×N块可以包括M列和N行的样本(或样本阵列)或变换系数的集合(或阵列)。
在本公开中，“A或B”可以意指“仅A”、“仅B”或“A和B两者”。换句话说，在本公开中，“A或B”可以被解释为“A和/或B”。例如，在本公开中，“A、B或C”可以意指“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。
在本公开中使用的斜杠(/)或逗号可以意指“和/或”。例如，“A/B”可以意指“A和/或B”。因此，“A/B”可以意指“仅A”、“仅B”或“A和B两者”。例如，“A、B、C”可以意指“A、B或C”。
在本公开中，“A和B中的至少一者”可以意指“仅A”、“仅B”或“A和B两者”。另外，在本公开中，表述“A或B中的至少一者”或“A和/或B中的至少一者”可以被解释为与“A和B中的至少一者”相同。
另外，在本公开中，“A、B和C中的至少一者”可以意指“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。另外，“A、B或C中的至少一者”或“A、B和/或C中的至少一者”可以意指“A、B和C中的至少一者”。
另外，本公开中使用的括号可以意指“例如”。具体地，如果指示“预测(帧内预测)”，则可以提议“帧内预测”作为“预测”的示例。换句话说，本公开中的“预测”可以不限于“帧内预测”，并且可以提议“帧内预测”作为“预测”的示例。此外，即使指示“预测(即，帧内预测)”，也可以提议“帧内预测”作为“预测”的示例。
在本公开中，在一个附图中单独描述的技术特征可以单独实现或者可以同时实现。
图2是用于示意性地说明本公开的示例性实施方式适用于的视频/图像编码设备的配置的图。在下文中，编码设备可以包括图像编码设备和/或视频编码设备。
参考图2，编码设备200包括图像分区器210、预测器220、残差处理器230和熵编码器240、加法器250、滤波器260和存储器270。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、解量化器234和逆变换器235。残差处理器230还可以包括减法器231。加法器250可以被称为重构器或重构块生成器。根据实施方式，图像分区器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由至少一个硬件组件(例如，编码器芯片组或处理器)配置。另外，存储器270可以包括解码图片缓冲器(DPB)，或者可以由数字存储介质配置。硬件组件还可以包括存储器270作为内部/外部组件。
图像分区器210可以将输入到编码设备200的输入图像(或者图片或帧)分区成一个或更多个处理单元。例如，处理单元可以被称为编译单元(CU)。在这种情况下，编译单元可以根据四叉树二叉树三叉树(QTBTTT)结构从编译树单元(CTU)或最大编译单元(LCU)递归地分区。例如，一个编译单元可以基于四叉树结构、二叉树结构和/或三元结构被分区成深度更深的多个编译单元。在这种情况下，例如，可以首先应用四叉树结构，稍后可以应用二叉树结构和/或三元结构。另选地，可以首先应用二叉树结构。可以基于不再分区的最终编译单元执行根据本公开的编译过程。在这种情况下，根据图像特性基于编译效率，最大编译单元可以用作最终编译单元，或者如果需要，编译单元可以被递归地分区成深度更深的编译单元并且具有最优大小的编译单元可以用作最终编译单元。这里，编译过程可以包括预测、变换和重构的过程(将稍后描述)。作为另一示例，处理器还可以包括预测单元(PU)或变换单元(TU)。在这种情况下，预测单元和变换单元可以从上述最终编译单元拆分或分区。预测单元可以是样本预测的单元，并且变换单元可以是用于导出变换系数的单元和/或用于从变换系数导出残差信号的单元。
在一些情况下，单元可以与诸如块或区域的术语互换使用。在一般情况下，M×N块可以表示由M列和N行组成的样本或变换系数的集合。样本通常可以表示像素或像素值，可以仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。样本可以用作与像素或像元的一个图片(或图像)相对应的术语。
在编码设备200中，从输入图像信号(原始块、原始样本阵列)减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差块、残差样本阵列)，并且所生成的残差信号被发送到变换器232。在这种情况下，如所示出的，在编码器200中从输入图像信号(原始块、原始样本阵列)减去预测信号(预测块、预测样本阵列)的单元可以被称为减法器231。预测器可以对要处理的块(以下，称为当前块)执行预测并且生成包括当前块的预测样本的预测块。预测器可以基于当前块或CU确定应用帧内预测还是帧间预测。如在各个预测模式的描述中稍后描述的，预测器可以生成与预测相关的各种类型的信息(诸如预测模式信息)并将所生成的信息发送到熵编码器240。关于预测的信息可以在熵编码器240中编码并以比特流的形式输出。
帧内预测器222可以通过参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可以位于当前块附近或者可以隔开。在帧内预测中，预测模式可以包括多个非定向模式和多个定向模式。例如，非定向模式可以包括DC模式和平面模式。例如，根据预测方向的详细程度，定向模式可以包括33个定向预测模式或65个定向预测模式。然而，这仅是示例，可以根据设置使用更多或更少的定向预测模式。帧内预测器222可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器221可以基于参考图片上运动向量所指定的参考块(参考样本阵列)导出当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以相同或不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等，并且包括时间邻近块的参考图片可以被称为并置图片(colPic)。例如，帧间预测器221可以基于邻近块配置运动信息候选列表并且生成指示哪一候选用于导出当前块的运动向量和/或参考图片索引的信息。可以基于各种预测模式执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器221可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式下，与合并模式不同，可以不发送残差信号。在运动向量预测(MVP)模式的情况下，邻近块的运动向量可以用作运动向量预测项，并且可以通过发信号通知运动向量差来指示当前块的运动向量。
预测器220可以基于下面描述的各种预测方法生成预测信号。例如，预测器可以不仅应用帧内预测或帧间预测以预测一个块，而且同时应用帧内预测和帧间预测两者。这可以被称为组合帧间和帧内预测(CIIP)。另外，预测器可以基于帧内块复制(IBC)预测模式或调色板模式预测块来预测块。IBC预测模式或调色板模式可以用于游戏等的内容图像/视频编译，例如屏幕内容编译(SCC)。IBC基本上在当前图片中执行预测，但是可以与帧间预测相似地执行，使得在当前图片中导出参考块。也就是说，IBC可以使用本公开中描述的帧间预测技术中的至少一者。调色板模式可以被视为帧内编译或帧内预测的示例。当应用调色板模式时，可以基于关于调色板表和调色板索引的信息发信号通知图片内的样本值。
通过预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以用于生成重构信号或生成残差信号。变换器232可以通过对残差信号应用变换技术来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、基于图形的变换(GBT)或条件非线性变换(CNT)中的至少一者。这里，当像素之间的关系信息由图形表示时，GBT意指从图形获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号生成的变换。另外，变换处理可以应用于具有相同大小的正方形像素块或者可以应用于具有正方形以外的可变大小的块。
量化器233可以将变换系数量化并将它们发送到熵编码器240，并且熵编码器240可以对量化的信号(关于量化的变换系数的信息)进行编码并输出比特流。关于量化的变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将块类型量化的变换系数重排为一维向量形式，并且基于一维向量形式的量化的变换系数生成关于量化的变换系数的信息。可以生成关于变换系数的信息。熵编码器240可以执行例如诸如指数Golomb、上下文自适应可以变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等的各种编码方法。熵编码器240可以对量化的变换系数以外的视频/图像重构所需的信息(例如，语法元素的值等)一起或单独地进行编码。编码的信息(例如，编码的视频/图像信息)可以按比特流的形式以NAL(网络抽象层)为单位发送或存储。视频/图像信息还可以包括关于各种参数集的信息，诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。另外，视频/图像信息还可以包括一般约束信息。在本公开中，从编码设备发送/用信号通知给解码设备的信息和/或语法元素可以被包括在视频/图片信息中。视频/图像信息可以通过上述编码过程编码并被包括在比特流中。比特流可以通过网络发送或者可以被存储在数字存储介质中。网络可以包括广播网络和/或通信网络，并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。发送从熵编码器240输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)可以被包括作为编码设备200的内部/外部元件，并且另选地，发送器可以被包括在熵编码器240中。
从量化器233输出的量化的变换系数可以用于生成预测信号。例如，可以通过经由解量化器234和逆变换器235对量化的变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。加法器250将重构的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加以生成重构信号(重构图片、重构块、重构样本阵列)。如果要处理的块不存在残差(诸如应用跳过模式的情况)，则预测块可以用作重构块。加法器250可以被称为重构器或重构块生成器。如下所述，所生成的重构信号可以用于当前图片中要处理的下一块的帧内预测并且可以通过滤波用于下一图片的帧间预测。
此外，可以在图片编码和/或重构期间应用亮度映射与色度缩放(LMCS)。
滤波器260可以通过对重构的信号应用滤波来改进主观/客观图像质量。例如，滤波器260可以通过对重构的图片应用各种滤波方法来生成修改的重构图片并将修改的重构图片存储在存储器270(具体地，存储器270的DPB)中。例如，各种滤波方法可以包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器260可以生成与滤波相关的各种类型的信息并且将所生成的信息发送到熵编码器240，如在各个滤波方法的描述中稍后描述的。与滤波相关的信息可以由熵编码器240编码并以比特流的形式输出。
发送到存储器270的修改的重构图片可以用作帧间预测器221中的参考图片。当通过编码设备应用帧间预测时，可以避免编码设备200与解码设备之间的预测失配并且可以提高编码效率。
存储器270的DPB可以存储用作帧间预测器221中的参考图片的修改的重构图片。存储器270可以存储导出(或编码)当前图片中的运动信息的块的运动信息和/或图片中已经重构的块的运动信息。所存储的运动信息可以被发送到帧间预测器221并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本并且可以将重构样本传送至帧内预测器222。
图3是示意性地说明本公开的示例性实施方式适用于的视频/图像解码设备的配置的图。在下文中，解码设备可以包括图像解码设备和/或视频解码设备。
参考图3，解码设备300可以包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可以包括帧间预测器331和帧内预测器332。残差处理器320可以包括解量化器321和逆变换器321。根据实施方式，熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由硬件组件(例如，解码器芯片组或处理器)配置。另外，存储器360可以包括解码图片缓冲器(DPB)，并且可以由数字存储介质配置。硬件组件还可以包括存储器360作为内部/外部组件。
当输入包括视频/图像信息的比特流时，解码设备300可以与在图2的编码设备中处理视频/图像信息的处理相对应地重构图像。例如，解码设备300可以基于从比特流获得的块分区相关信息导出单元/块。解码设备300可以使用编码设备中应用的处理器来执行解码。因此，例如，解码的处理器可以是编译单元，并且编译单元可以根据四叉树结构、二叉树结构和/或三叉树结构从编译树单元或最大编码单元分区。可以从编译单元导出一个或更多个变换单元。通过解码设备300解码和输出的重构的图像信号可以通过再现设备再现。
解码设备300可以接收从图2的编码设备以比特流的形式输出的信号，并且所接收的信号可以通过熵解码器310解码。例如，熵解码器310可以对比特流进行解析以导出图像重构(或图片重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于各种参数集的信息，诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。另外，视频/图像信息还可以包括一般约束信息。解码设备还可以基于关于参数集的信息和/或一般约束信息对图片进行解码。本公开中稍后描述的发信号通知/接收的信息和/或语法元素可以通过解码过程解码并从比特流获得。例如，熵解码器310基于诸如指数Golomb编码、CAVLC或CABAC的编码方法对比特流中的信息进行解码，并且输出图像重构所需的语法元素和残差的变换系数的量化值。更具体地，CABAC熵解码方法可以接收与比特流中的各个语法元素相对应的bin，使用解码目标语法元素信息、解码目标块的解码信息或在先前阶段中解码的符号/bin的信息来确定上下文模型，并且通过根据所确定的上下文模型预测bin出现的概率对信元执行算术解码，并且生成与各个语法元素的值对应的符号。在这种情况下，CABAC熵解码方法可以在确定上下文模型之后通过将解码的符号/bin的信息用于下一符号/bin的上下文模型来更新上下文模型。熵解码器310所解码的信息当中与预测相关的信息可以被提供给预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310中执行了熵解码的残差值(也就是说，量化的变换系数和相关参数信息)可以被输入到残差处理器320。残差处理器320可以导出残差信号(残差块、残差样本、残差样本阵列)。另外，熵解码器310所解码的信息当中关于滤波的信息可以被提供给滤波器350。此外，用于接收从编码设备输出的信号的接收器(未示出)还可以被配置成解码设备300的内部/外部元件，或者接收器可以是熵解码器310的组件。此外，根据本公开的解码设备可以被称为视频/图像/图片解码设备，并且解码设备可以被分类为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310，并且样本解码器可以包括解量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一者。
解量化器321可以将量化的变换系数解量化并输出变换系数。解量化器321可以按二维块形式重排量化的变换系数。在这种情况下，可以基于在编码设备中执行的系数扫描顺序执行重排。解量化器321可以通过使用量化参数(例如，量化步长信息)对量化的变换系数执行解量化并且获得变换系数。
逆变换器322对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。
预测器330可以对当前块执行预测并生成包括当前块的预测样本的预测块。预测器330可以基于从熵解码器310输出的关于预测的信息确定对当前块应用帧内预测还是帧间预测并且可以确定特定帧内/帧间预测模式。
预测器330可以基于下述各种预测方法生成预测信号。例如，预测器330不仅可以应用帧内预测或帧间预测以预测一个块，而且可以同时应用帧内预测和帧间预测。这可以被称为组合帧间和帧内预测(CIIP)。另外，预测器330可以基于帧内块复制(IBC)预测模式或调色板模式预测块。IBC预测模式或调色板模式可以用于游戏等的内容图像/视频编译，例如屏幕内容编译(SCC)。IBC基本上执行当前图片中的预测，但是可以与帧间预测相似地执行，使得在当前图片中导出参考块。也就是说，IBC可以使用本公开中描述的帧间预测技术中的至少一者。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时，可以基于关于调色板表和调色板索引的信息发信号通知图片内的样本值。
帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可以位于当前块的邻居中或者远离当前块。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式，所参考的样本可以位于当前块的邻居中或者远离当前块。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器332可以基于参考图片上运动向量所指定的参考块(参考样本阵列)导出当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单位预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。例如，帧间预测器332可以基于邻近块配置运动信息候选列表并且基于所接收的候选选择信息导出当前块的运动向量和/或参考图片索引。可以基于各种预测模式执行帧间预测，并且关于预测的信息可以包括指示当前块的帧间预测模式的信息。
加法器340可以通过将所获得的残差信号与从预测器(包括帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构图片、重构块、重构样本阵列)。如果要处理的块不存在残差(诸如当应用跳过模式时)，预测块可以用作重构块。
加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前图片中要处理的下一块的帧内预测，可以如下所述通过滤波输出，或者可以用于下一图片的帧间预测。
此外，可以在图片解码处理中应用亮度映射与色度缩放(LMCS)。
滤波器350可以通过对重构信号应用滤波来改进主观/客观图像质量。例如，滤波器350可以通过对重构图片应用各种滤波方法来生成修改的重构图片并且将修改的重构图片存储在存储器360(具体地，存储器360的DPB)中。例如，各种滤波方法可以包括去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。
存储在存储器360的DPB中的(修改的)重构图片可以用作帧间预测器332中的参考图片。存储器360可以存储从中导出(或解码)当前图片中的运动信息的块的运动信息和/或图片中已经重构的块的运动信息。所存储的运动信息可以被发送到帧间预测器332以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片中的重构块的重构样本并将重构样本传送至帧内预测器331。
在本公开中，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式可以与解码设备300的滤波器350、帧间预测器332和帧内预测器331相同或分别与之对应应用。这也可以适用于帧间预测器332和帧内预测器331。
如上所述，在执行视频编译时，执行预测以提高压缩效率。可以通过预测来生成包括针对当前块(也就是说，目标编译块)的预测样本的预测块。在这种情况下，预测块包括空间域(或像素域)中的预测样本。预测块从编码设备和解码设备中相同地导出。编码设备可以通过向解码设备发信号通知关于原始块与预测块之间的残差(残差信息)的信息而不是原始块本身的原始样本值来提高图像编译效率。解码设备可以基于残差信息导出包括残差样本的残差块，可以通过将残差块与预测块相加来生成包括重构样本的重构块，并且可以生成包括重构块的重构图片。
残差信息可以通过变换过程和量化过程来生成。例如，编码设备可以导出原始块与预测块之间的残差块，可以通过对被包括在残差块中的残差样本(残差样本阵列)执行变换过程来导出变换系数，可以通过对变换系数执行量化过程来导出量化的变换系数，并且可以将相关残差信息(通过比特流)发信号通知给解码设备。在这种情况下，残差信息可以包括信息，诸如量化的变换系数的值信息、位置信息、变换方案、变换核心和量化参数等。解码设备可以基于残差信息执行解量化/逆变换过程并且可以导出残差样本(或残差块)。解码设备可以基于预测块和残差块生成重构图片。此外，编码设备可以通过对量化的变换系数进行解量化/逆变换来导出残差块以供后续图片的帧间预测参考，并且可以生成重构图片。
在本公开中，可以省略量化/解量化和/或变换/逆变换中的至少一者。如果省略量化/解量化，则量化的变换系数可以被称为变换系数。如果省略变换/逆变换，则变换系数也可以被称为系数或残差系数，或者为实现表述的一致性，仍然被称为变换系数。
此外，在本公开中，量化的变换系数和变换系数可以分别被称为变换系数和缩放变换系数。在这种情况下，残差信息可以包括关于变换系数的信息，并且可以通过残差编译语法来发信号通知关于变换系数的信息。可以基于残差信息(或关于变换系数的信息)导出变换系数，并且可以通过变换系数的逆变换(缩放)来导出缩放变换系数。可以基于缩放变换系数的逆变换(变换)导出残差样本。这同样可以应用于/表达于本公开的其它部分。
帧内预测可以指示用于基于当前块所属的图片(下文中称为当前图片)内的参考样本生成当前块的预测样本的预测。当将帧内预测应用于当前块时，可以导出要用于当前块的帧内预测的邻近参考样本。当前块的邻近参考样本包括与左边界邻近并且与大小为nW×nH的当前块的左下邻近的总共2×nH个样本、与上边界邻近并且与当前块的右上邻近的总共2×nW个样本以及与当前块的左上邻近的1个样本。另选地，当前块的邻近参考样本可以包括多列上方邻近样本和多行左侧邻近样本。另外，当前块的邻近参考样本包括与大小为nW×nH的当前块的右边界邻近的总共nH个样本、与当前块的下边界邻近的总共nW个样本以及与当前块的右下邻近的1个样本。
然而，当前块的一些邻近参考样本可能尚未解码，或者可能尚不可用。在这种情况下，解码器可以通过用可用样本代替不可用样本来构造邻近参考样本以用于预测。另选地，可以通过可用样本的插值来构造要用于预测的邻近参考样本。
在导出邻近参考样本时，(i)可以基于当前块的邻近参考样本的平均值或插值导出预测样本，或者(ii)可以基于在当前块的邻近参考样本当中相对于预测样本在特定(预测)方向上存在的参考样本导出预测样本。情况(i)可以称为非定向模式或非角度模式，并且情况(ii)可以称为定向模式或角度模式。
另外，可以通过在邻近参考样本当中的相对于当前块的预测样本位于当前块的帧内预测模式的预测方向上的第一邻近样本与位于和预测方向相反的方向上的第二邻近样本之间的插值来生成预测样本。上述情况可以被称为线性插值帧内预测(LIP)。此外，可以使用线性模型(LM)基于亮度样本生成色度预测样本。这种情况可以被称为LM模式或色度分量LM(CCLM)模式。
另外，基于滤波的邻近参考样本导出当前块的临时预测样本，然后可以通过对临时预测样本和现有邻近参考样本(也就是说，未滤波的邻近参考样本)当中的根据帧内预测模式导出的至少一个参考样本进行加权求和来导出预测样本。上述情况可以被称为位置相关帧内预测(PDPC)。
另外，可以通过以下方法执行帧内预测编码，该方法选择与当前块相邻的多个参考样本线当中的具有最高预测准确度的参考样本线，并且使用对应线中位于预测方向上的参考样本来导出预测样本，并且在此时，向解码设备指示(发信号通知)所使用的参考样本线。上述情况可以被称为多参考线帧内预测或基于MRL的帧内预测。
另外，通过将当前块划分成垂直或水平子分区基于相同帧内预测模式执行帧内预测，但是可以以子分区为单位导出和使用邻近参考样本。也就是说，在这种情况下，针对当前块的帧内预测模式同等地应用于子分区，但是在一些情况下，可以通过导出和使用以子分区为单位的邻近参考样本来改善帧内预测性能。该预测方法可以被称为基于帧内子分区(ISP)的帧内预测。
上述帧内预测方法可以被称为帧内预测类型，以与帧内预测模式区分。帧内预测类型可以被称为诸如帧内预测技术或附加帧内预测模式的各种术语。例如，帧内预测类型(或附加帧内预测模式等)可以包括如上所述的LIP、PDPC、MRL或ISP中的至少一者。除了诸如LIP、PDPC、MRL和ISP的特定帧内预测类型之外的一般帧内预测方法可以被称为正常帧内预测类型。在不应用上述特定帧内预测类型时，一般可以应用正常帧内预测类型，并且可以基于上述帧内预测模式执行预测。此外，根据需要，可以对导出的预测样本进行后处理滤波。
此外，如上所述，帧内预测模式可以包括两个非定向帧内预测模式和65个定向预测模式。非定向帧内预测模式可以包括平面帧内预测模式和DC帧内预测模式，并且定向帧内预测模式可以包括编号为2至66的帧内预测模式。
图4示例性地例示了65个预测方向的帧内定向模式。
参考图4，可以在具有水平方向性的帧内预测模式和具有以具有左上对角线预测方向的帧内预测模式34为中心的垂直方向性的帧内预测模式之间进行区分。也就是说，帧内预测模式2到33具有水平方向，并且帧内预测模式34到66具有垂直方向。帧内预测模式18和帧内预测模式50分别表示水平帧内预测模式和垂直帧内预测模式，帧内预测模式2可以表示左下对角线帧内预测模式，帧内预测模式34可以表示左上对角线帧内预测模式，并且帧内预测模式66可以表示左上对角线帧内预测模式。非定向帧内预测模式可以包括模式编号0的平面帧内预测模式和模式编号1的DC帧内预测模式。
如上所述，帧内预测的预测方向可以被定义为顺时针方向上的45度至-135度。然而，在当前块是非正方形块时，可以用宽角帧内预测(WAIP)模式自适应地替换一些现有定向帧内预测模式。
图5示例性地例示了与宽角帧内预测模式相关联的93个预测方向。
参考图5，除了上述65个定向帧内预测模式之外，帧内预测模式还可以包括宽角帧内预测模式。也就是说，由虚线指示的预测方向可以与仅应用于非正方形块的宽角帧内预测模式相关。
当应用宽角帧内预测模式时，发信号通知关于现有帧内预测模式的信息，并且在解析关于帧内预测模式的信息之后，将关于帧内预测模式的信息重新映射为宽角帧内预测模式的索引。因此，特定块(例如，具有特定大小的非正方形块)的帧内预测模式的总数可以不改变，也就是说，帧内预测模式的总数为67，并且特定块的帧内预测模式的编译可以不改变。
图6是用于说明根据本公开的实施方式的针对非正方形块的帧内预测的图。
如图6的(a)所示，在当前块的宽度大于其高度时，上方参考像素通常可以接近待预测块内部的位置。因此，在左下方向上执行预测可能比在右上方向上更准确。相反，如图6的(b)所示，当块的高度大于其宽度时，左侧参考像素通常可以接近待预测块内的位置。因此，在右上方向上执行预测可能比在左下方向上更准确。因此，可能有利的是将重新映射应用于宽角帧内预测模式的索引(即，模式索引变换)。
如图6所示，可以定义长度为2W+1的上方参考样本和长度为2H+1的左侧参考样本以支持宽角预测方向。此外，当应用宽角帧内预测时，由宽角帧内预测模式替代的帧内预测模式可以根据当前块的纵横比而不同。可以导出根据纵横比由宽角帧内预测模式替代的帧内预测模式，如下面的表1所示。
[表1]
纵横比 替代的帧内预测模式
W/H＝＝16 模式12、13、14、15
W/H＝＝8 模式12、13
W/H＝＝4 模式2、3、4、5、6、7、8、9、10、11
W/H＝＝2 模式2、3、4、5、6、7
W/H＝＝1 无
W/H＝＝1/2 模式61、62、63、64、65、66
W/H＝＝1/4 模式57、58、59、60、61、62、63、64、65、66
W/H＝＝1/8 模式55、56
W/H＝＝1/16 模式53、54、55、56
图7示意性地例示了根据本公开的实施方式的变换技术。
参考图7，变换器可以对应于上述图2的编码设备中的变换器，并且逆变换器可以对应于上述图2的编码设备中的逆变换器，或者对应于图3的解码设备中的逆变换器。
变换器可以通过基于残差块中的残差样本(残差样本阵列)执行初级变换导出(初级)变换系数(S710)。该初级变换可以被称为核心变换。在本文中，初级变换可以基于多变换选择(MTS)，并且当多变换被应用为初级变换时，它可以被称为多核心变换。
多核心变换可以表示附加地使用离散余弦变换(DCT)类型2和离散正弦变换(DST)类型7、DCT类型8和/或DST类型1来变换的方法。也就是说，多核心变换可以表示基于从DCT类型2、DST类型7、DCT类型8和DST类型1之中选择的多个变换核将空间域的残差信号(或残差块)变换成频域的变换系数(或初级变换系数)的变换方法。在本文中，DCT类型2、DST类型7、DCT类型8和DST类型1可以被称为变换类型、变换核(kerne1)或变换核心(core)。可以基于基函数来定义这些DCT/DST变换类型。
在执行多核心变换时，可以从变换核之中选择用于目标块的垂直变换核和水平变换核，可以基于垂直变换核对目标块执行垂直变换，并且可以基于水平变换核对目标块执行水平变换。这里，水平变换可以表示针对目标块的水平分量的变换，而垂直变换可以表示针对目标块的垂直分量的变换。
根据一个示例，如果通过应用MTS来执行初级变换，则可以通过将特定基函数设置为预定值并且组合要在垂直变换或水平变换中应用的基函数来设置变换核的映射关系。例如，当将水平变换核表达为trTypeHor并且将垂直方向变换核表达为trTypeVer时，可以将trTypeHor或trTypeVer值0设置为DCT2，可以将trTypeHor或trTypeVer的值1设置为DST-7，以及可以将trTypeHor或trTypeVer的值2设置为DCT-8。
在这种情况下，MTS索引信息可以被编码并用信号发送给解码设备以标示多个变换核集中的任何一个。例如，MTS索引0可以标示trTypeHor和trTypeVer值都为0，MTS索引1可以标示trTypeHor和trTypeVer值都为1，MTS索引2可以标示trTypeHor值为2而trTypeVer值为1，MTS索引3可以标示trTypeHor值为1而trTypeVer值为2，以及MTS索引4可以标示trTypeHor和trTypeVer值都为2。
在一个示例中，根据MTS索引信息的变换核集被图示在下表中。
[表2]
tu mts idx[x0][y0] 0 1 2 3 4
trTypeHor 0 1 2 1 2
trTypeVer 0 1 1 2 2
变换器可以通过基于(初级)变换系数执行次级变换导出修改的(次级)变换系数(S720)。初级变换是从空间域到频域的变换，而次级变换是指通过使用(初级)变换系数之间存在的相关性以更压缩的表达来进行变换。次级变换可以包括不可分离变换。在这种情况下，次级变换可以被称为不可分离次级变换(NSST)或模式相关不可分离次级变换(MDNSST)。
不可分离次级变换可以指通过基于不可分离变换矩阵对通过初级变换导出的(一阶)变换系数进行次级变换而生成残差信号的修改后的变换系数(或次级变换系数)的变换。这里，基于不可分离变换矩阵，可以在不单独应用垂直变换和水平变换(或独立地应用水平变换和垂直变换)的情况下一次将变换应用于(初级)变换系数。例如，在通过特定预定方向(例如，行-优先方向或列-优先方向)将二维信号(变换系数)重新排列成一维信号之后，不可分离次级变换可以基于一维向量和不可分离变换矩阵的矩阵运算而导出修改后的变换系数(或次级变换系数)。
例如，行优先顺序是按照第一行、第二行、…、第N行的顺序排列M×N块，列优先顺序是按照M×N块的第一列、第二列、…、第M列的顺序按行排列。也就是说，对于不可分离次级变换，可以根据行-主方向将(通过初级变换导出的)变换系数排列成一维向量，然后可以执行矩阵运算，或者可以根据列-主方向将变换系数排列成一维向量，然后执行矩阵运算。
不可分离次级变换可以应用于由(初级)变换系数组成的块(下文称为变换系数块或变换块)的左上区域。例如，当变换系数块的宽度(W)和高度(H)均为8或更大时，可以将8×8不可分离次级变换应用于变换系数块的左上8×8区域。另外，当变换系数块的宽度(W)和高度(H)均为4或更大时，并且变换系数块的宽度(W)或高度(H)小于8时，可以将4×4不可分离次级变换应用于变换系数块的左上min(8，W)×min(8，H)区域。然而，实施例不限于此，例如，即使仅满足变换系数块的宽度(W)或高度(H)均为4或更大的条件，也可以将4×4不可分离次级变换应用于变换系数块的左上min(8，W)×min(8，H)区域。总之，根据变换块的大小，可以将不可分离次级变换应用于变换块的左上4×4或8×8区域。根据示例，针对左上4×4区域的变换可以被命名为4×4变换，并且针对左上8×8区域的变换可以称为8×8变换。
这里，为了选择变换核，可以针对8×8变换和4×4变换二者配置用于不可分离次级变换的、每变换集两个不可分离次级变换核，并且可以存在四个变换集。也就是说，可以针对8×8变换配置四个变换集，并且可以针对4×4变换配置四个变换集。在这种情况下，针对8×8变换的四个变换集中的每个变换集可以包括两个8×8变换核，并且针对4×4变换的四个变换集中的每个变换集可以包括两个4×4变换核。
然而，随着变换的大小(即，变换所应用于的区域的大小)可以为例如除了8×8或4×4之外的大小，集合的数量可以是n，并且每个集合中的变换核的数量可以是k。
变换集可以被称为NSST集或LFNST集。可以例如基于当前块(CU或子块)的帧内预测模式选择变换集之中的特定集。低频不可分离的变换(LFNST)可以是缩减不可分离的变换的示例，其将稍后描述，并且表示用于低频分量的不可分离的变换。
根据示例，可以映射根据帧内预测模式的四个变换集，例如，如下表所示。
[表3]
IntraPmdMode 变换集索引
IntraPredMode＜0 1
0＜＝IntraPredMode＜＝1 0
2＜＝IntraPredMode＜＝12 1
13＜＝IntraPredMode＜＝23 2
24＜＝IntraPredMode＜＝44 3
45＜＝IntrapredMode＜＝55 2
56＜＝IntraPredMode＜＝80 1
81＜＝IntraPredMode＜＝83 0
如表3所示，帧内预测模式可以映射到四个变换集中的任一者，也就是说，lfnstTrSetIdx可以映射到0至3当中的任一者。
当确定特定集用于不可分离的变换时，可以通过不可分离的次级变换索引来选择特定集中的k个变换核之一。编码设备可以基于率失真(RD)校验导出标示特定变换核的不可分离的次级变换索引，并且可以将不可分离的次级变换索引用信号发送给解码设备。解码设备可以基于不可分离的次级变换索引选择特定集中的k个变换核中的一个。例如，lfnst索引值0可以指代第一不可分离的次级变换核，lfnst索引值1可以指代第二不可分离的次级变换核，lfnst索引值2可以指代第三不可分离的次级变换核。另选地，lfnst索引值0可以标示第一不可分离的次级变换没有被应用于目标块，并且lfnst索引值1至3可以标示三个变换核。
变换器可以基于所选择的变换核执行不可分离的次级变换，并且可以获得修改的(次级)变换系数。如上所述，修改的变换系数可以被导出为通过量化器量化的变换系数，并且可以被编码并用信号发送给解码设备，并且被传送到编码设备中的解量化器/逆变换器。
此外，如上所述，如果省略了次级变换，则可以将作为初级(可分离的)变换的输出的(初级)变换系数导出为如上所述通过量化器量化的变换系数，并且可以被编码并用信号发送给解码设备，并传送到编码设备中的解量化器/逆变换器。
逆变换器可以与在上述变换器中已经执行的顺序相反的顺序执行一系列过程。逆变换器可以接收(解量化的)变换系数，并且通过执行次级(逆)变换来导出(初级)变换系数(S750)，并且可以通过对(初级)变换系数执行初级(逆)变换来获得残差块(残差样本)(S760)。就此而言，从逆变换器的视角来看，初级变换系数可以被称为修改的变换系数。如上所述，编码设备和解码设备可以基于残差块和预测块生成重构块，并且可以基于重构块生成重构图片。
逆变换单元可以通过将变换核矩阵应用于(逆量化后的)变换系数来导出修改后的变换系数，所述(逆量化后的)变换系数根据特定顺序(例如，对角线扫描顺序(具体地，从变换块的左上方开始并且在右下方方向上前进的对角线扫描顺序)排列。根据针对变换单元中的次级变换读取变换系数的方向(也就是说，行优先方向或列优先方向)，修改后的变换系数可以以二维方式排列在变换块的左上区域中。当变换单元执行4×4变换时，逆变换单元可以按照2个维度将修改后的变换系数排列在变换块的4×4区域中，当变换单元执行8×8变换时，逆变换单元可以按照2个维度将修改后的变换系数对齐在变换块的8×8区域中。
此外，次级逆变换可以是NSST、缩减次级变换(RST)或LFNST，并且是否应用次级逆变换可以基于从比特流解析的次级变换标志确定。作为另一示例，可以基于残差块的变换系数确定是否应用次级逆变换。
可以基于根据帧内预测模式指定的LFNST(NSST或RST)变换集确定该次级逆变换(也就是说，变换核、变换矩阵或变换核矩阵)。此外，作为实施例，可以根据初级变换确定方法确定次级变换确定方法。取决于帧内预测模式，可以确定初级变换和次级变换的各种组合。此外，例如，可以基于当前块的大小确定应用次级逆变换的区域。
另一方面，如上文所描述的，当省略次级(逆)变换时，可以通过接收(逆量化后的)变换系数并执行一阶(分离)逆变换来获得残差块(残差样本)。如上所述，编码装置和解码装置可以基于残差块和预测块生成重构块，并且基于残差块生成重构图片。
此外，在本文件中，可以在NSST的概念中应用缩减次级变换(RST)(其中，缩减变换矩阵(核)的大小)，以减少不可分离次级变换所需的计算量和存储量。另外，由于RST主要在变换块中的包括非零系数的低频区域中进行，因此可以称为LFNST(低频不可分离变换)。变换索引可以被命名为LFNST索引。
在本说明书中，LFNST可以基于具有缩减大小的变换矩阵表示对目标块的残差样本执行的变换。当执行简化变换时，变换所需的计算量可以由于变换矩阵的大小的缩减而减小。也就是说，LFNST可以用于解决当变换大的块或不可分离变换时发生的计算复杂度问题。
另一方面，当次级逆变换是基于LFNST的时，编码装置200的逆变换单元235和解码装置300的逆变换单元322可以包括用于基于变换系数的逆RST导出修改后的变换系数的逆RST单元和用于基于针对修改后的变换系数的逆初级变换导出目标块的残差样本的逆初级变换单元。逆初级变换意指应用于残差的初级变换的逆变换。在本文件中，基于变换导出变换系数可以意味着通过应用对应变换来导出变换系数。
图8是用于解释根据本文件的实施例的、RST应用于的RST或LFNST的图。
在本公开中，“目标块”可以指代要编码的当前块、残差块或变换块。
在根据示例的RST中，可以将N维向量映射到位于另一个空间中的R维向量，使得可以确定缩减变换矩阵，其中R小于N。N可以是指应用了变换的块的侧边的长度的平方，或与应用了变换的块相对应的变换系数的总数，并且缩减因子可以是指R/N值。缩减因子可以被称为缩减因子、缩小因子、简化因子、简单因子或其他各种术语。此外，R可以被称为缩减系数，但是根据情况，缩减因子可以是指R。此外，根据情况，缩减因子可以是指N/R值。
根据示例的缩减变换矩阵的大小可以是小于N×N(常规变换矩阵的大小)的R×N，并且可以如下面的式1所限定。
[式1]
图8的(a)中所示的缩减变换块中的矩阵T可以指式1的矩阵TR×N。如图8的(a)所示，当将缩减变换矩阵TR×N乘以针对目标块的残差样本时，可以导出针对当前块的变换系数。
在示例中，如果应用了变换的块的大小是8×8并且R＝16(即，R/N＝16/64＝1/4)，则根据图8的(a)的RST可以被表示为在下式2中示出的矩阵运算。在这种情况下，存储和乘法计算可以通过缩减因子缩减至大约1/4。
在本公开中，矩阵运算可以理解为通过将列向量与设置在列向量的左侧的矩阵相乘来获得列向量的运算。
[式2]
在式2中，r1至r64可以表示目标块的残差样本，并且更具体地，可以是通过应用初级变换而生成的变换系数。作为式2的运算的结果，可以导出针对目标块的变换系数ci，并且导出ci的过程可以与式3相同。
[式3]
作为式3的计算的结果，可以导出针对目标块的变换系数c1至cR。也就是说，当R＝16时，可以导出针对目标块的变换系数c1至c16。如果应用常规变换而不是RST，并将64×64(N×N)大小的变换矩阵与64×1(N×1)大小的残差样本相乘，则尽管针对目标块导出了64(N)个变换系数，但因为应用了RST因此针对目标块仅导出16(R)个变换系数。由于用于目标块的变换系数的总数从N缩减到R，所以编码设备200向解码设备300发送的数据量减少，因此编码设备200与解码设备300之间的传输效率可以提高。
当从变换矩阵的大小的视角考虑时，常规变换矩阵的大小为64×64(N×N)，但缩减变换矩阵的大小缩减为16×64(R×N)，因此与执行常规变换的情况相比，执行LFNST的情况下的存储使用率可以减小R/N比率。另外，当与使用常规变换矩阵的情况下的乘法计算的数量N×N相比时，使用缩减变换矩阵可以将乘法计算的数量(R×N)减小R/N比率。
在示例中，编码设备200的变换器232可以通过对针对目标块的残差样本执行初级变换和基于RST的次级变换导出用于目标块的变换系数。可以将这些变换系数传递到解码设备300的逆变换器，并且解码设备300的逆变换器322可以基于针对变换系数的逆缩减次级变换(RST)导出修改后的变换系数，并且可以基于针对修改后的变换系数的逆初级变换导出针对目标块的残差样本。
根据示例的逆RST矩阵TN×R的大小是小于常规逆变换矩阵的大小N×N的N×R，并且与式1中所示的缩减变换矩阵TR×N具有转置关系。
图8的(b)中所示的缩减逆变换块中的矩阵Tt可以指逆RST矩阵TN×R T(上标T指转置)。如图8的(b)所示，当将逆RST矩阵TR×N T乘以针对目标块的变换系数时，可以导出目标块的修改后的变换系数或目标块的残差样本。逆RST矩阵TR×N T可以表示为(TR×N)T N×R。
更具体地，当逆RST被用作次级逆变换时，当逆RST矩阵TR×N T被乘以目标块的变换系数时，可以导出目标块的修改后的变换系数。
此外，根据示例，可以应用逆RST作为逆初级变换。在这种情况下，可以通过将目标块的变换系数乘以逆RST矩阵TR×N T来导出目标块的残差样本。
在一个实施例中，当应用逆变换的块的大小为8×8并且R＝16(即，R/N＝16/64＝1/4)时，根据图8的(b)的逆RST可以表示为矩阵运算，如下面的式4所示。
[式4]
在式4中，c1到c16可以表示目标块的变换系数，也就是说，通过残差编译导出的变换系数。作为式4的运算的结果，可以导出表示目标块的修改后的变换系数或目标块的残差样本的ri，并且ri的导出过程可以与式5相同。
[式5]
作为式5的运算的结果，可以导出标示目标块的修改后的变换系数或目标块的残差样本的r1到rN。由于在式4中N是64，所以可以通过式5导出64个修改后的变换系数。
考虑到逆变换矩阵的大小，常规逆变换矩阵的大小为64×64(N×N)，但与执行常规逆变换相比，简化逆变换矩阵的大小缩减到64×16(N×R)，在执行逆RST时，存储使用率可以减小R/N比率。另外，与使用常规逆变换矩阵时的乘法运算数量N×N相比，使用简化逆变换矩阵，可以将乘法运算的数量按照R/N比率减少为(N×R)。如果不混淆简化逆变换矩阵或逆变换矩阵是变换还是逆变换，则也可以将简化逆变换矩阵或逆变换矩阵命名为简化变换矩阵或变换矩阵。
根据本公开的实施例，对于编码过程中的变换，可以仅选择48条数据，并且可以向其应用最大16×48变换核矩阵，而不是将16×64变换核矩阵应用于形成8×8区域的64条数据。这里，“最大”是指m在用于生成m个系数的m×48变换核矩阵中具有最大值16。
也就是说，当通过将m×48变换核矩阵(m≤16)应用于8×8区域来执行RST时，输入48条数据并且生成m个系数。当m为16时，输入48条数据并且生成16个系数。也就是说，假设48条数据形成48×1向量，则将16×48矩阵和48×1向量顺序相乘，从而生成16×1向量。在该实施例中，式2的列向量是r1到r48，变换矩阵的大小是16×48，并且通过矩阵运算导出16个修改后的变换系数(c1到c16)。
这里，形成8×8区域的48条数据可以被适当地排列，从而形成48×1向量。例如，可以基于构成排除8×8区域中的右下4×4区域的区域的48条数据构造48×1向量。这里，当通过应用最大16×48变换核矩阵来执行矩阵运算时，生成16个修改后的变换系数，并且可以根据扫描顺序将16个修改后的变换系数排列在左上4×4区域中，并且可以用零填充右上4×4区域和左下4×4区域。
在解码过程的逆变换中，可以使用上述变换核矩阵的转置矩阵。也就是说，当执行逆RST或逆LFNST作为由解码装置执行的逆变换处理时，应用逆RST的输入系数数据由根据预定排列顺序(对角线扫描顺序)的一维向量组成，通过将1维向量从左侧乘以对应逆RST矩阵获得的修改后的系数向量可以按照预定排列顺序排列在二维块中。
如果在8×8区域上执行RST或LFNST并且为此执行逆RST或逆LFNST，则式4中的变换矩阵的大小是48×16，十个向量是c1到c16，通过矩阵运算，导出48个修改后的变换系数(r1到r48)。
总之，在由编码装置执行的变换过程中，当RST或LFNST被应用于8×8区域时，在8×8区域的左上区域、右上区域和左下区域(不包括8×8区域的右下区域)的48个变换系数与16×48变换核矩阵之间执行矩阵运算。对于矩阵运算，将48个变换系数输入为一维阵列。当执行该矩阵运算时，导出16个修改后的变换系数，并且可以将修改后的变换系数排列在8×8区域的左上区域中。
相反地，当在由编码装置或解码装置执行的逆变换过程中逆RST或LFNST被应用于8×8区域时，在8×8域的变换系数当中，可以根据扫描顺序以一维阵列的形式输入对应于8×8区域的左上方的16个变换系数，并且利用48×16变换核矩阵进行矩阵运算。也就是说，这种情况下的矩阵运算可以表示为(48×16矩阵)*(16×1变换系数向量)＝(48×1修改后的变换系数向量)。这里，由于n×1向量可以以与n×1矩阵相同的意义来解释，所以它也可以表达为n×1列向量。此外，*表示矩阵乘法运算。当执行该矩阵运算时，可以导出48个修改后的变换系数，可以在8×8区域的左上、右上和左下区域(除了右下区域之外)中排列48个修改后的变换系数。
此外，在现有LFNST中，由于复杂度约束，所以必须考虑编译性能与复杂度之间的折衷。更具体地，必须按照如下方式来设计该技术：该方式使得通过将用于LFNST的输入初级变换系数的区域、输出变换系数的数量、LFNST集合的数量、每个集合的LFNST核的数量、针对LFNST处理一个样本所需的操作的数量等维持在低于某个水平而使计算量和实现复杂度最小化。
然而，在下一标准中，由于实现技术的发展而导致允许的复杂度将增加，因此可以考虑在结构上扩展现有LFNST的技术来提高编译性能。基于结构上扩展LFNST的各种技术，LFNST可以带来的编译性能可以在下一标准允许的实现复杂度内最大化。
就此而言，在下文中，提出了在结构上扩展上述LFNST的各种实施方式。
根据实施方式，表示基于正向LFNST的输入数据区域的关注区域(ROI)可以如下配置。
具体地，正向LFNST接收应用初级变换的变换系数作为输入。在这种情况下，代替接收所有变换系数作为输入，可以接收属于变换块内的预定特定区域的变换系数作为输入。
图9是例示了根据本公开的实施方式的正向LFNST输入区域的图。
图9的(a)示出了VVC标准中的正向LFNST输入区域的示例，并且直到4×4子块的扫描序列中的第三位置被设置为对应输入区域。在下文中，该输入区域(也就是说，被输入用于正向LFNST的输入变换系数的区域)称为关注区域或ROI。
图9的(b)示出了以图9的(a)所示的4×4子块的扫描顺序将第四子块至第六子块添加到ROI。也就是说，由于ROI由六个4×4子块组成，所以图9的(b)中的ROI由96个样本组成。与用于VVC的图9的(a)的ROI相比，在图9的(b)的情况下，可以在LFNST中考虑更多的初级变换系数。基于这样的扩展ROI的扩展LFNST(LFNST)可以为较大块(即，大于或等于16×16)提供比现有VVC LFNST更高的编码性能。
当基于属于ROI的N个样本导出不可分离变换矩阵时，当对应变换矩阵是方阵时导出N×N变换矩阵。这里，当参考图9描述的R被应用于缩减变换时，R值可以等于或小于N，R值可以被解释为通过从正向LFNST的角度应用LFNST而导出的输出变换系数的数量。因此，与图9的(b)相对应的LFNST变换核的维度不仅是96×96，而且是16×96、32×96、48×96、64×96、80×96等。(在该示例中，其可以被示为16m×96矩阵(m≥1))。此时，仅允许输出转换系数的数量为16的倍数的情况，并且R值可以是等于或小于N(即，96)的任何正整数。当从96×96方阵生成R×96矩阵时，可以通过基于正向LFNST从96×96矩阵取样R行来生成。如果构成96×96矩阵的行从顶部按重要性顺序排列，则可以通过从顶部顺序地取样R行来构造R×96矩阵。
图9的(a)和(b)中的ROI分别由48和96个输入样本(输入变换系数或输入数据)组成。读取ROI中的输入样本的顺序可以预先设置，但可以任意设置基本顺序。更具体地，当应用于任意ROI的正向LFNST矩阵是R×N矩阵(即，ROI由N个输入样本组成)时，即使它改变了读取输入样本的顺序，如果它根据改变后的顺序重新排列N个列向量，则与改变之前相比，无论输入样本的顺序如何，输出值也不会改变(输出值由R个变换系数组成)。
此外，对于特定的正向LFNST变换矩阵(也就是说，假设列向量的位置是固定的)，可以按照图10或图11所示的顺序读取构成ROI的输入样本，并将其配置为输入向量。图10和图11示出了根据帧内预测模式从ROI读取输入数据的顺序。
图10的(a)和图11的(a)对应于图9的(a)，并且图10的(b)和图11的(b)对应于图9的(b)。类似于VVC LFNST，如果当针对帧内预测模式应用以模式34为中心的对称性时，则对于图5中的模式-14到-1和模式2到33，如图10的(a)和(b)所示应用行优先顺序，对于模式35到80，可以如图11的(a)和(b)所示应用列优先顺序。对于标示平面模式和DC模式的模式0、1和34，可以原样应用与图10的(a)和图10的(b)相同的顺序，并且图10的(a)和图10的(b)或图11的(a)和图11的(b)可以被应用于每个模式。
作为ROI的另一示例，可以将变换块的左上象限区设置为ROI。也就是说，在M×N变换块中，可以将左上m×n(m≤M，n≤N)区域设置为ROI(从正向LFNST视点)，输入样本(第一变换之后的变换系数)的数量为m×n。在更具体的实施例中，m和n都可以是8，并且正向LFNST矩阵的维度可以是R×64(R等于或小于64，R值的示例是16、32、48、64等)。从mn×mn方阵(例如，64×64矩阵)选择R行的方法可以与上述从96×96生成R×96矩阵的方法相同。
此外，ROI可以不像如图9中所示的那样仅由4×4子块组成。在VVC标准中，4×4子块可以对应于可以应用LFNST的变换块的变换组(系数组，CG)，这些CG不一定是4×4子块。根据示例，CG可以是除了4×4子块之外的任何预定p×q子块。即使应用除了4×4子块之外的大小的子块(CG)，不管子块配置如何，读取正向LFNST的ROI输入样本的顺序也可以遵循如图10的(a)和图10的(b)或图11的(a)和图11的(b)所示确定的特定顺序，可以根据对应CG和变换系数的扫描顺序来排列由正向LFNST输出的变换系数。
如果ROI是非正方形的(即，对于左上区域m×n，m≠n)，则不能使用相对于一个M×N变换块对称的帧内预测模式(例如，作为关于模式34的两个对称模式的模式24和44)之间的对称性。图12是例示了根据本公开的实施方式的非正方形ROI的图。如图12的(a)所示，当ROI是非正方形时，当在行-主要方向和列-主要方向上读取输入样本时，不能使用对称性，因为对于两种情况，变换系数的相位未对齐。在这种情况下，一个M×N块中的两个对称模式不能通过使用预测方向的对称性来共享LFNST核，然而，在M×N变换块与N×M变换块之间，可以利用关于第34模式对称的帧内预测模式的对称性。
例如，如图12的(b)所示，当M×N块和N×M块中的ROI分别是左上m×n区域和n×m区域时，可以根据图12的(b)中针对模式2和66所示的顺序来读取输入样本。也就是说，对于模式2，根据图12的(b)的左侧顺序读取输入样本，对于第66模式，可以根据图12的(b)的右侧顺序读取输入样本。如果通过以这种方式利用两种预测模式的对称性来读取输入样本，则可以将相同的LFNST核应用于图12的(b)中的两个ROI。
此外，根据VVC标准，可以根据变换块大小应用不同LFNST核。也就是说，对于4×4变换块或4×N/N×4(N≥8)变换块(水平长度和垂直长度均大于或等于4以及水平或垂直长度是4的变换块)，可以应用具有适用于左上4×4区域的16×16矩阵形式的LFNST核(其可以命名为LFNST_4×4)。此外，对于水平长度和垂直长度等于或大于8的变换块，可以基于正向LFNST将具有16×48矩阵形式的LFNST核应用于如下ROI(可以命名为LFNST_8×8)，该ROI由左上4×4子块、左上4×4子块右边的4×4子块和与左上4×4子块的下侧相邻的4×4子块组成。
例如，LFNST_4×4和LFNST_8×8各自由4个集合组成，每个集合由2个变换核组成，要应用的哪个核集合可以由帧内预测模式确定。对于所确定的集合，可以通过LFNST索引的信令来指定要应用两个核中的哪一个以及是否应用LFNST。如果LFNST索引值为0，则不应用LFNST，如果是1，则可以应用第一核，如果是2，则可以应用第二核。
如上所述，VVC标准中的LFNST结构已经被简化和描述，但是也存在一些例外。例如，对于4×4变换块和8×8变换块，从对应矩阵采样的8×16矩阵和8×48矩阵被分别应用为正向LFNST，而不是16×16矩阵和16×48矩阵，当应用MIP预测模式时，帧内预测模式可以被视为平面模式，并且可以确定LFNST集合。
由于LFNST_4×4和LFNST_8×8分别由4个LFNST集合组成，因此为了便于以下描述，可以由LFNST集合列表来表示命名为LFNST_4×4或LFNST_8×8的一组LFNST集合。
此外，在本文件中，LFNST_8×8可以标示应用于水平长度或垂直长度为8的变换块的LFNST集合列表，其中水平长度和垂直长度均大于或等于8，另外，应用于水平长度和垂直长度均大于或等于16的变换块的LFNST集合列表可以命名为LFNST_16×16。
LFNST_4×4、LFNST_8×8和LFNST_16×16可以具有的矩阵维度和ROI的附加实施例可以如下。在以下实施例中，变换矩阵是基于何时应用正向变换的。
1.LFNST_4×4可以具有16×16矩阵，并且ROI可以是左上4×4区域。
2.LFNST_8×8可以具有R×48矩阵或S×64矩阵，并且16、32和48可以作为R值，并且16、32、48和64可以作为S值。针对R×48矩阵的ROI可以是图9的(a)，并且针对S×64矩阵的ROI可以是左上角中的8×8区域。
3.LFNST_16×16可以具有R×96矩阵或S×64矩阵或T×48矩阵，16、32、48、64、80、96可以作为R值，16、32、48、64可以用作S值，T值可以是16、32和48。针对R×96矩阵的ROI可以是图9中的(b)，并且针对S×64矩阵的ROI可以是左上角中的8×8区域，并且针对T×48矩阵的ROI可以是图9中的(a)。
作为用于LFNST_4×4、LFNST_8×8和LFNST_16×16的架构，在上述No.1、No.2和No.3中建议的矩阵维度和ROI的任何组合是可能的。例如，在LFNST_4×4的情况下，左上4×4区域的ROI被应用于16×16矩阵，在LFNST_8×8的情况下，左上8×8区域的ROI被应用于32×64矩阵，在LFNST_16×16的情况下，图9的(b)中所示的ROI可以被应用于32×96矩阵。
另外，如果任何一对LFNST_4×4、LFNST_8×8和LFNST_16×16具有相同的矩阵维度，则其可以共享该对的LFNST集合和LFNST核。例如，如果LFNST 8×8的矩阵维度是32×64并且LFNST_16×16的矩阵维度是32×64，则可以将同一LFNST集合列表指派给LFNST_8×8和LFNST_16×16，并且可以设置同一ROI(例如，可以将ROI设置为左上8×8区域)。
作为另一示例，当LFNST_8×8的矩阵维度是32×48并且LFNST_16×16的矩阵维度是32×48时，可以将同一LFNST集合列表分配给LFNST_8×8和LFNST_16×16，并且可以设置同一ROI(例如，可以如图9的(a)所示设置ROI)。
另一方面，当应用逆LFNST时，当输入向量用R个变换系数构造为输入并且输入向量的左侧乘以N×R矩阵时，生成N个输出样本(输出变换系数)。这里，N×R矩阵变成正向LFNST中的R×N矩阵的转置矩阵，并且N个输出样本可以排列在图9至图12的ROI中。当排列在ROI中时，根据帧内预测模式值，可以遵循图10或图11中所示的顺序。例如，当利用帧内预测模式之间的对称性时，图10的行优先顺序可以应用于帧内预测模式-14到-1以及2到33，图11的列优先顺序可以应用于模式35到80。关于标示平面模式和DC模式的模式0、1和34，图10的(a)和(b)的顺序可以应用于所有项，或者图10的(a)和(b)的顺序或图11的(a)和(b)的顺序可以应用于每个模式。
根据实施方式，可以基于正向LFNST如下配置输出数据区域。
具体地，在VVC标准中，用于变换系数的扫描顺序是分层配置的。存在CG的扫描顺序，并且存在每个CG的内部扫描顺序。图13是示出了扫描这些变换系数的顺序的图。如图13所示，扫描序列在从左下到右上的对角线方向上前进。在图13中，小正方形可以表示一个变换系数，并且小正方形内部的数字标示扫描顺序。
如果在CG单元中从左下到右上的扫描一次是一条扫描线，则第一扫描线由1个CG组成，并且第二扫描线和第三扫描线分别由两个CG和三个CG组成，根据相同的方法，第N扫描线也由多个CG组成。
图9的(a)和图9的(b)所示的ROI均由这些CG单元扫描线组成。图9的(a)和图9的(b)示出分别由前两条扫描线和前三条扫描线组成的ROI，自然地，ROI可以由更多条扫描线组成。
如上所述，当正向LFNST准则中的输出变换系数的数量为R并且输入样本的数量为N时，R可以被设置为小于或等于N。具体地，如图9所示，R可以被设置为16的倍数(即，R＝16k，k≥1)。考虑到应用LFNST的变换块的CG是4×4子块的情况，这被设置为使得正向LFNST的输出变换系数的数量是一个CG中存在的样本数量的倍数。因此，如果将R设置为16的倍数，则通过应用正向LFNST获得的变换系数可以被设计为仅排列在特定4×4子块中。通过这种设计，可以进一步简化残差编译部分和LFNST索引信令设计。
例如，如果在除了LFNST变换系数可能存在的区域之外的区域中解析变换系数，则可以省略LFNST索引的信令，并且可以推断不应用LFNST。这里，如果以4×4子块为单位对可以存在LFNST变换系数的区域进行配置并且以对应4×4子块为单位执行残差编译，则可以更简单地检查除了LFNST变换系数可以存在的区域之外的区域中是否存在变换系数。
根据另一实施例，CG可以具有除了4×4子块之外的形状，并且在这种情况下(例如，m×n块，m≠n)，可以将R值设置为m×n的倍数。另外，可能存在正向LFNST输出变换系数的CG可以由根据CG的扫描顺序排列的前k个CG组成。
基本上，可以根据变换系数扫描顺序来排列正向LFNST的输出系数。由于正向LFNST核的行向量通常按重要性顺序从上到下排列，其中假设了构成输出向量的变换系数按从上到下的顺序排列(这里，假设输出向量是列向量)，所以可以顺序地排列系数，其中以更有意义的系数开始。通常假设扫描变换系数的顺序是从最重要的系数扫描的，因为距DC位置的距离通过从由左上位置标示的DC位置扫描而增加，所以较不重要的变换系数被排列并且主要具有0或接近0的值。因此，在编译性能方面，根据从DC位置开始的扫描顺序依次排列正向LFNST的输出变换系数可能是有利的。此外，在许多情况下，残差编译部分被设计为随着距DC位置的距离增大在具有0或接近0的值的变换系数频繁出现时提高编译效率。
此外，正向LFNST的输出变换系数不一定必须根据一个固定扫描顺序来排列。也就是说，根据另一实施例，LFNST的输出变换系数可以根据除扫描顺序之外的顺序来排序。
如果统计地确定VVC标准中的扫描顺序之外的扫描顺序适用于对应LFNST输出系数，则在提前知道是否在执行残差编译之前应用LFNST的情况下，可以应用特定于LFNST的扫描顺序而不是先前确定的扫描顺序。另外，当最佳扫描顺序根据诸如帧内预测模式的编译上下文而变化时，根据示例，针对每个帧内预测模式(或帧内预测模式的组)可以将不同的扫描顺序应用于正向LFNST输出变换系数。
根据实施方式，可以基于变换块的大小应用LFNST集合列表、LFNST集合和LFNST核。
根据示例，与现有VVC标准中的LFNST集合列表、LFNST集合和每个集合的LFNST核的配置不同，可以针对每个变换块大小以更细分的方式应用LFNST集合列表、LFNST集合和LFNST核。这里，每个集合的LFNST核的配置可以指示哪个LFNST集合由多少候选核组成。
例如，可以针对每个可能的变换块形状(即，每个可能的M×N块)应用不同的LFNST集合列表，对应集合列表可以被表达为例如LFNST_M×N。另选地，可以通过对变换块形状进行分组来将对应LFNST集合列表应用于每个组。在VVC标准的情况下，可以看出，通过根据变换块的形状分成两组来应用两种类型的LFNST集合列表，即，LFNST_4×4和LFNST_8×8。其它分组的示例如下。
1.针对变换块的水平长度和垂直长度均等于或大于16的情况设置单独的组，并且可以分配应用于该组的LFNST集合列表。这里，LFNST集合列表可以命名为LFNST_16×16。当与VVC标准的分组结合时，可以将其划分为三个组：(组1)4×4、4×N/N×4(N≥8)变换块，(组2)8×8、8×N/N×8(N≥16)变换块、宽度和高度均大于或等于16的(组3)变换块，应用于该组的每个组和/或LFNST集合列表可以命名为LFNST_4×4、LFNST_8×8或LFNST_16×16。
2.在以上No.1的分组中，可以将组1进一步划分为4×4变换块和4×N/N×4(N≥8)变换块，可以将其划分为组1A和组1B。组2也可以被划分为8×8变换块和8×N/N×8(N≥16)变换块，组2可以被分类为组2A和组2B。此外，组3可以通过特定准则被划分为组3A和组3B。例如，16×16和16×N/N×16(N≥16)变换块可以被设置为组3A，并且其余情况可以被分类为组3B。
另外，组1、组2和组3可以或可以不被划分成如上所述的详细组。例如，如果仅将组1和组3划分为详细组，则所有组可以被配置为组1A、组1B、组2、组3A和组3B。自然地，如果组1、组2和组3都被划分，则组可以被分类为组1A、组1B、组2A、组2B、组3A和组3B。
除了上述两个实施例之外，可以基于变换块的大小根据各种准则应用分组，可以将对应LFNST集合列表指派给每个组。可以针对每个组不同地配置该LFNST集合列表。
例如，构成LFNST集合列表的每个LFNST集合的核的数量可以被不同地设置(例如，对于组1，每个集合的LFNST核的数量是3，并且对于组2，每个集合的LFNST核的数量被给出，也就是说，对于组1，构成集合的LFNST核的数量针对每三个集合被设置，对于组2，针对每2个集合设置构成集合的LFNST核的数量)，更详细地，构成集合的核的数量可以针对构成一个LFNST集合列表的每个LFNST集合被不同地设置。
另选地，每个LFNST集合列表中包括的LFNST集合的数量可以被不同地设置，例如，组1可以由18个LFNST集合组成，并且组2可以由10个LFNST集合组成。自然地，可以根据LFNST集合列表来不同地设置核矩阵的维度。以VVC标准为例，LFNST_4×4由16×16矩阵组成，并且LFNST_8×8由16×48矩阵组成。
更多样化地，对于构成LFNST集合列表的每个LFNST集合，可以不同地设置核矩阵的维度。LFNST集合列表的详细配置的具体示例如下。
1.组1(LFNST_4×4)由18个LFNST集合组成，每个LFNST集合由3个核组成，并且对应核矩阵的维度可以是16×16。组2(LFNST_8×8)由18个LFNST集合组成，每个LFNST集合由3个核组成，并且对应核矩阵的维度可以是16×48。组3(LFNST_16×16)由18个LFNST集合组成，并且每个LFNST集合由3个核组成，并且对应核矩阵的维度可以是32×96。
2.在上述配置1中，所有LFNST集合可以配置有2个核而不是3个核。
3.上述配置中的所有LFNST集合列表可以配置有数量不同于18的集合。例如，LFNST集合列表可以由16个、15个、10个、6个或4个变换集组成。
4.在第一配置中，构成LFNST_8×8的核矩阵的维度可以被设置为32×48至48×48。
5.在第一配置中，构成LFNST_16×16的核矩阵的维度可以被设置为16×96、48×96、64×96、80×96和96×96中的一者。这里，96表示根据正向LFNST构成ROI的输入样本(输入变换系数)的数量，并且ROI可以如图9的(b)所示配置。如果对应于LFNST_16×16的ROI如图9的(a)而不是图9的(b)被配置，则构成LFNST_16×16的核矩阵的维度可以被设置为16×48、32×48和48×48中的一者。
6.基于上述No.1，可以自由组合上述No.2、No.3、No.4和No.5。例如，通过应用No.3，LFNST集合的数量被设置为15，并且通过应用No.4，构成LFNST_8×8的核矩阵的维度可以被设置为32×48。
根据实施方式，可以基于颜色分量确定是否应用LFNST，并且当确定应用LFNST时，可以基于颜色分量应用LFNST集合列表、LFNST集合和LFNST核。
在VVC标准中，当编译单元的树类型是单树时，LFNST仅应用于亮度分量，在分离树(也就是说，双树)的情况下，在用于亮度分量的分离树(双树亮度)的情况下，将LFNST应用于亮度分量，在用于色度分量的分离树(双树色度)的情况下，将LFNST应用于色度分量。
与VVC标准不同，根据实施例，可以仅将LFNST应用于亮度分量。如果LFNST仅应用于亮度分量，则在单树中，LFNST仅应用于亮度分量而不应用于色度分量，如在VVC标准中那样，LFNST索引仅标示应用于亮度分量的LFNST核。如果LFNST仅应用于亮度分量，则因为当其是用于色度分量的分割树时不应用LFNST，所以也不用信号发送LFNST索引(如果不用信号发送LFNST索引，则可以假设默认不应用LFNST)。
另选地，根据另一实施例，在单树的情况下，可以将LFNST应用于亮度分量和色度分量两者，这与VVC标准不同。在这种情况下，可以以两种方式实现。也就是说，1)图像信息被配置为使得可以通过用信号发送一个LFNST索引来为亮度分量和色度分量两者选择对应LFNST核，2)图像信息可以被配置为使得针对亮度分量和色度分量用信号发送个体LFNST索引，使得可以选择用于每个分量的最合适的LFNST核。
当图像信息被配置为使得当使用单树时针对亮度分量和色度分量单独地用信号发送LFNST索引时，可以不同地配置针对亮度分量和色度分量的LFNST集合列表、LFNST集合和LFNST核。
在单树的情况下，针对亮度分量和色度分量的LFNST集合列表、LFNST集合和LFNST核被不同地设置，当通过用信号发送一个LFNST索引来针对亮度分量和色度分量选择LFNST核时，由一个用信号发送的LFNST索引指定的针对亮度分量和色度分量的LFNST核可以是不同的，因为它们是从不同的LFNST集合列表和LFNST集合中选择的。
此外，在VVC标准中，相同的LFNST集合列表被应用于亮度分量和色度分量。
根据实施例，与VVC标准不同，不同的LFNST集合列表、不同的LFNST集合和不同的LFNST核可以应用于亮度分量和色度分量。另选地，根据实施例，可以将另一LFNST集合列表、另一LFNST集合或另一LFNST核应用于所有颜色分量。例如，不同的LFNST集合列表可以应用于Y、Cb和Cr。此外，当应用其它颜色格式(例如，YUV 4:2:2、YUV 4:4:4、RGB 4:4:4)时，不同的LFNST集合列表、不同的LFNST集合和不同的LFNST核可以应用于对应颜色格式。作为更具体的示例，在RGB 4:4:4格式的情况下，不同的LFNST集合列表、不同的LFNST集合和不同的LFNST核可以分别应用于R分量、G分量和B分量。当然，可以将同一LFNST集合列表、LFNST集合和LFNST核应用于三个分量。
根据实施方式，可以基于编译工具和要设置的模式应用LFNST集合列表、LFNST集合和LFNST核。
例如，可以根据量化参数(QP)值的范围来应用不同的LFNST集合列表、LFNST集合和LFNST核。
例如，可以单独使用应用于低QP范围的LFNST集合列表和应用于高QP范围的LFNST集合列表。这里，低QP范围可以表示等于或小于预定阈值QP值的情况，并且高QP范围可以表示超过预定QP值的情况。作为预定QP值(阈值QP值)，可以使用27、28、29、30、31等。
作为另一示例，可以将所有可能QP值分区成N个集合。这里，N个集合可以不包括交叠值。也就是说，当在N个集合当中选择两个不同的集合时，这两个集合之间的交集可以是空集。在这种情况下，假设N个集合的并集是由所有可能QP值组成的集合，则不同的LFNST集合列表、LFNST集合和LFNST核可以应用于N个集合中的每个集合。
另外，当存在M个可能LFNST集合列表时，可以形成N个集合与M个LFNST集合列表之间的映射关系。也就是说，映射到N个集合中的每个集合的LFNST集合列表可以是M个LFNST集合列表中的任一者。自然地，映射到N个集合的LFNST集合列表可以彼此交叠。
例如，如果LFNST_4×4和LFNST_8×8存在或者LFNST_4×4、LFNST_8×8和LFNST_16×16作为LFNST集合列表存在，则当如上所述存在M个LFNST集合列表时，针对LFNST_4×4、LFNST_8×8和LFNST_16×16中的每一者可以存在M个LFNST集合列表。更具体地，对于LFNST_4×4，可以存在称为LFNST_4×4_i(i＝1,2，…，M)的LFNST集合列表，并且对于LFNST_8×8，可以存在称为LFNST_8×8_i(i＝1,2，…，M)的LFNST集合列表，对于LFNST_16×16，可以存在LFNST_16×16_i(i＝1,2，…，M)LFNST集合列表。
如果M的值是2并且LFNST集合列表1被映射用于低QP范围并且LFNST集合列表2被映射用于高QP范围，则取决于变换块大小，低QP范围可以被映射用于LFNST_4×4_1、LFNST_8×8_1或LFNST_16×16_1，并且取决于变换块大小，高QP范围可以被映射用于LFNST_4×4_2、LFNST_8×8_2或LFNST_16×16_2。
当LFNST_4×4、LFNST_8×8和LFNST_16×16的元组被表达为(LFNST_4×4，LFNST_8×8，LFNST_16×16)，或者LFNST_4×4、LFNST_8×8的对被表达为(LFNST_4×4，LFNST_8×8)时，第i LFNST集合列表的元组或对可以被表达为(LFNST_4×4_i，LFNST_8×8_i，LFNST_16×16_i)或(LFNST_4×4_i，LFNST_8×8_i)。相关地，当存在LFNST_4×4、LFNST_8×8和LFNST_16×16时，或者当存在LFNST_4×4和LFNST_8×8时，映射到第i LFNST集合列表可以意味着映射到(LFNST_4×4_i，LFNST_8×8_i，LFNST_16×16_i)或(LFNST_4×4_i，LFNST_8×8_i)。
因此，根据QP值映射到M个LFNST集合列表中的一者可以意味着存在映射到每个QP值的LFNST集合列表并且应用了对应LFNST集合列表。例如，如果对应LFNST集合列表是第jLFNST集合列表，则可以应用(LFNST_4×4_j，LFNST_8×8_j，LFNST_16×16_j)。
另外，例如，当存在如上所述适用的M个LFNST集合列表时，其可以被配置为通过级别语法元素(以下也称为HLS元素)来指定LFNST集合列表，而不是基于是否满足特定条件(QP值范围)针对特定条件(QP值范围)应用LFNST集合列表。
对应HLS元素可以位于序列参数集(SPS)、图片参数集(PPS)、图片报头(PH)、切片报头(SH)等中，它们是收集高级语法元素的语法表。在这方面，对应HLS元素可以具有从0到M-1的值，以指定可能的M个LFNST集合列表中的一者。
例如，对应HLS元素可以与LFNST集合列表索引信息相关。例如，LFNST集合列表索引信息可以位于SPS、PPS、PH、SH等中。在这方面，LFNST集合列表索引信息可以具有从0到M-1的值，以指定可能的M个LFNST集合列表中的一者。
例如，如果存在LFNST_4×4、LFNST_8×8、LFNST_16×16或LFNST_4×4和LFNST_8×8，并且第i LFNST集合列表由LFNST集合列表索引信息指定，则可以应用(LFNST_4×4_i，LFNST_8×8_i，LFNST_16×16_i)或(LFNST_4×4_i，LFNST_8×8_i)。此外，作为示例，如果省略了针对LFNST集合列表索引信息的信令，则LFNST集合列表索引信息的值可以推断为特定值，并且由所推断的值指定的LFNST集合列表可以是默认LFNST集合列表。作为示例，如果默认LFNST集合列表是第k LFNST集合列表，则默认LFNST集合列表可以是(LFNST_4×4_k，LFNST_8×8_k，LFNST_16×16_k)或(LFNST_4×4_k，LFNST_8×8_k)。
根据实施方式，可以针对每个变换块大小应用不同的LFNST集合列表。作为更具体的示例，代替如VVC标准中仅应用LFNST_4×4和LFNST_8×8，可以将不同的LFNST集合列表应用于4×4、4×N/N×4(N≥8)、8×8、8×N/N×8(N≥16)、16×16、16×N/N×16(N≥32)、32×32或更多(水平长度和垂直长度均为32或更大)的情况中的每一者。这里，针对每个块大小集合的LFNST集合列表可以表示为LFNST_4×4、LFNST_4×N_N×4、LFNST_8×8、LFNST_8×N_N×8、LFNST_16×16、LFNST_16×N_N×16、LFNST_32×32。
例如，当根据由编译模式、条件或LFNST集合列表索引信息指定的索引值应用针对块大小集合的M个LFNST集合列表中的第i LFNST集合列表时，第i LFNST集合列表可以表示为元组(LFNST_4×4_i，LFNST_4×N_N×4_i，LFNST_8×8_i，LFNST_8×N_N×8_i，LFNST_16×16_i，LFNST_16×N_N×16_i，LFNST_32×32_i)。
根据VVC标准，各自标示LFNST集合列表的LFNST_4×4和LFNST_8×8可以各自由四个LFNST集合组成，并且所述四个LFNST集合可以通过索引值0、1、2和3来区分。也就是说，LFNST集合可以被分类为第零LFNST集合、第一LFNST集合、第二LFNST集合和第三LFNST集合，并且每个LFNST集合的LFNST集合索引可以具有值0、1、2或3。
另外，VVC标准可以支持宽角帧内预测(WAIP)模式，其中，WAIP模式可以对应于帧内预测模式当中的模式-14至-1和模式67至80。在VVC标准中，现有的第一LFNST集合可以被映射并用于WAIP模式，而无需为WAIP模式分配单独的LFNST集合。也就是说，如下面的表4所示，第一LFNST集合分别被映射到从-14至80的帧内预测模式值。
[表4]
Intra pred.mode -14 -13 -12 -11 -10 -9 -8 -7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 6 7 8 9 10 11 12 13 14 15 16 17
LFNST集合索引 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2
Intra pred.mode 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49
LFNST集合索引 2 2 2 2 2 2 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 2 2 2 2 2
Intra pred.mode 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80
LFNST集合索引 2 2 2 2 2 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
在表4中，Intra pred.mode可以表示当前块的帧内预测模式，并且Intrapred.mode的值为-14至-1和67至80中的一者的情况可以表示当前块的帧内预测模式为WAIP模式。
在这方面，根据本公开中提出的实施方式，与VVC标准不同，可以引入更多数量的LFNST集合，并且可以为WAIP模式分配单独的LFNST集合。如果未将单独的LFNST集合分配给WAIP模式，则可以如上面的表4所示分配第一LFNST集合。
根据一个实施方式，当除WAIP模式之外的模式被命名为正常角度帧内预测(NAIP)模式(即，从0至66的模式)时，如果分配给NAIP模式的LFNST集合的数量是N，并且仅单独分配给WAIP模式的LFNST集合的数量是M，则LFNST集合的组成可以由(N，M)表示。(N，M)的示例可以如下。
1.(35，0)
2.(35，1)
3.(35，3)
4.(15，0)
5.(15，1)
6.(15，3)
这里，可以假设LFNST集合索引值针对NAIP模式的N个LFNST集合从0分配到N-1，并且可以假设LFNST集合索引值针对WAIP模式的M个LFNST集合从N分配到N+M-1。在这种情况下，上面第一实施方式至第六实施方式的帧内预测模式与LFNST集合之间的映射表的示例可以分别在表5至表10中示出。
[表5]
Intra pred.mode -14 -13 -12 -11 -10 -9 -8 -7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
LFNST集合索引 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
Intra pred.mode 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 47 46 47 48 49
LFNST集合索引 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 33 32 31 30 29 28 27 26 25 24 23 22 21 20 19
Intra pred.mode 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80
LFNST集合索引 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
[表6]
Intra pred.mode -14 -13 -12 -11 -10 -9 -8 -7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
LFNST集合索引 35 35 35 35 35 35 35 35 35 35 35 35 35 35 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
Intra pred.mode 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49
LFNST集合索引 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 33 32 31 30 29 28 27 26 25 24 23 22 21 20 19
Intra pred.mode 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80
LFNST集合索引 18 17 16 15 14 13 12 11 10 9 S 7 6 5 4 3 2 35 35 35 35 35 35 35 35 35 35 35 35 35 35
[表7]
Intra pred-mode -14 -13 -12 -11 -10 -9 -8 -7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
LFNST集合索引 35 35 35 35 35 36 36 36 36 37 37 37 37 37 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
Intra pred.mode 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49
LFNST集合索引 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 33 32 31 30 29 28 27 26 25 24 23 22 21 20 19
Intra Pred.mode 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80
LFNST集合索引 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 37 37 37 37 37 36 36 36 36 35 35 35 35 35
[表8]
Intra pred.mode -14 -13 -12 -11 -10 -9 -8 -7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
LFNST集合索引 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 1 1 1 2 2 2 3 3 3 4 4 4 5 5 5 6
Intra pred.mode 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49
LFNST集合索引 7 8 9 9 9 10 10 10 11 11 11 12 12 12 13 13 14 13 13 12 12 12 11 11 11 10 10 10 9 9 9 8
Intra pred.mode 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80
LFNST集合索引 7 6 5 5 5 4 4 4 3 3 3 2 2 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
[表9]
Intra pred.mode -14 -13 -12 -11 -10 -9 -8 -7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
LFNST集合索引 15 15 15 15 15 15 15 15 15 15 15 15 15 15 0 0 1 1 1 2 2 2 3 3 3 4 4 4 5 5 5 6
Intra pred-mode 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49
LFNST集合索引 7 8 9 9 9 10 10 10 11 11 11 12 12 12 13 13 14 13 13 12 12 12 11 11 11 10 10 10 9 9 9 8
Intra pred.mode 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80
LFNST集合索引 7 6 5 5 5 4 4 4 3 3 3 2 2 2 1 1 1 15 15 15 15 15 15 15 15 15 15 15 15 15 15
[表10]
Intra pred.mode -14 -13 -12 -11 -10 -9 -8 -7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
LFNST集合索引 15 15 15 15 15 16 16 16 16 17 17 17 17 17 0 0 1 1 1 2 2 2 3 3 3 4 4 4 5 5 5 6
Intra pred.mode 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49
LFNST集合索引 7 8 9 9 9 10 10 10 11 11 11 12 12 12 13 13 14 13 13 12 12 12 11 11 11 10 10 10 9 9 9 8
Intra pred.mode 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80
LFNST集合索引 7 6 5 5 5 4 4 4 3 3 3 2 2 2 1 1 1 17 17 17 17 17 16 16 16 16 15 15 15 15 15
在上面的表5至表10中，Intra pred.mode可以表示当前块的帧内预测模式，并且Intra pred.mode的值为-14至-1和67至80中的一者的情况可以表示当前块的帧内预测模式为WAIP模式。
另外，根据实施方式，除了WAIP模式之外，对于NAIP模式，可以通过如下区间来映射LFNST集合。这里，区间[P，Q]可以意指从P到Q的整数(所有整数x，其中，P≤x≤Q)，并且符号∪可以意指两个区间的并集。例如，[A，B]∪[C，D]可以指使得A≤x≤B或C≤x≤D的所有整数x。
关于此，下面的表11通过变量D示例性地示出了LFNST集合列表由四个LFNST集合组成的情况。
[表11]
LFNST集合索引 区间 区间长度
0 [0，1] 2
1 [2，17-D]∪[51+D，66] 2(16-D)
2 [18-D，18+D]∪[50-D，50+D] 2(2D+1)
3 [19+D，49-D] 31-2D
参考表11，变量D可以是满足以下式6的整数。例如，根据示出VVC标准中的映射到帧内预测模式的LFNST集合的表4，D的值可以是5。
[式6]
0≤D≤15
下面的表12通过变量D1、D2和D3示例性地示出了LFNST集合列表由六个LFNST集合组成的情况。
[表12]
LFNST集合索引 区间 区间长度
0 [0，1] 2
1 [2，2+D1]∪[66-D1，66] 2(D1+1)
2 [3+D1，17-D2]∪[51-D2，65-D1] 2(15-D1-D2)
3 [18-D2，18+D2]∪[50-D2，50-D2] 2(2D2+1)
4 [19+D2，33-D3]∪[35+D3，49-D2] 2(15-D2-D3)
5 [34-D3，34+D3] 2D3+1
参考表12，变量D1、D2和D3可以是满足下面的式7的整数。此时，如果变量D1、D2和D3满足下面的式7，则帧内预测模式与表12中的LFNST集合之间的映射可以是有效映射。
[式7]
D1≥0,D2≥0,D3≥0，
D1+D2≤14
D2+D3≤14
例如，关于表12，D1、D2和D3可以分别具有值6、3和6。
下面的表13通过变量D1、D2、D3、D4和D5示例性地示出了LFNST集合列表由八个LFNST集合组成的情况。
[表13]
LFNST集合索引 区间 区间长度
0 [0,1] 2
1 [2,2+D1]∪[66-D1,66] 2(D1+1)
2 [3+D1,17-D2-D3]∪[51+D2+D3,65-D1] 2(15-D1-D2-D3)
3 [18-D2-D3,17-D3]∪[51+D3,50+D2+D3] 2D2
4 [18-D3,18+D3]∪[50-D3,50+D3] 2(D3+1)
5 [19+D3,18+D3+D4]∪[50-D3-D4,49-D3] 2D4
6 [19+D3+D4,33-D5]∪[35+D5,49-D3-D4] 2(15-D3-D4-D5)
7 [34-D5,34+D5] 2(D5+1)
参考表13，变量D1、D2、D3、D4和D5可以是满足下面的式8的整数。此时，如果变量D1、D2、D3、D4和D5满足下面的式8，则帧内预测模式与表13中的LFNST集合之间的映射可以是有效映射。
[式8]
D1≥0,D2≥1,D3≥0,D4≥1,D5≥0,
D1+D2+D3≤14
D3+D4+D5≤14
例如，关于表13，D1、D2、D3、D4和D5可以分别具有值4、4、2、4和4。
下面的表14通过变量D1、D2、D3、D4、D5、D6和D7示例性地示出了LFNST集合列表由十个LFNST集合组成的情况。
[表14]
参考表14，变量D1、D2、D3、D4、D5、D6和D7可以是满足下面的式9的整数。此时，如果变量D1、D2、D3、D4、D5、D6和D7满足下面的式9，则帧内预测模式与表14中的LFNST集合之间的映射可以是有效映射。
[式9]
D1≥0,D2≥1,D3≥1,D4≥0,D5≥1,D6≥1,D7≥0,
D1+D2+D3+D4≤14
D4+D5+D6+D7≤14
例如，关于表14，D1、D2、D3、D4、D5、D6和D7可以分别具有值3、4、3、1、3、4和3。
下面的表15通过变量D1、D2、D3、D4、D5、D6、D7、D8和D9示例性地示出了LFNST集合列表由十二个LFNST集合组成的情况。
[表15]
参考表15，变量D1、D2、D3、D4、D5、D6、D7、D8和D9可以是满足下面的式10的整数。此时，如果变量D1、D2、D3、D4、D5、D6、D7、D8和D9满足下面的式10，则帧内预测模式与表15中的LFNST集合之间的映射可以是有效映射。
[式10]
D1≥0,D2≥1,D3≥1,D4≥1,D5≥0,D6≥1,D7≥1,D8≥1,D9≥0，
D1+D2+D3+D4+D5≤14
D5+D6+D7+D8+D9≤14
例如，关于表15，D1、D2、D3、D4、D5、D6、D7、D8和D9可以分别具有值3、3、3、2、1、2、3、3和3。
以这种方式，如表11至表15所示，除了模式0和模式1之外，同一LFNST集合可以应用于关于模式34对称的模式2至66。VVC标准中的LFNST还通过应用同一对称性来映射LFNST集合。
另外，以下特征可以在上表11至表15中的映射中找到。
1.来自模式2的连续模式被映射到同一LFNST集合，并且考虑到上述对称性，来自66的相同数量(A)的连续模式(在模式值减小的方向上)也可以被映射到对应LFNST。
2.区间可以被设置为使得相同数量的模式关于模式18对称(水平方向模式)，并且对应区间可以被映射到同一LFNST集合。也就是说，对应区间可以是比模式18小B的模式到比模式18大B的模式。([18-B,18+B])。考虑到对称性，区间可以被设置为使得相同数量的模式关于模式50对称(垂直方向模式)，并且对应区间可以被映射到同一LFNST集合。
3.区间可以被设置为使得相同数量的模式关于模式34对称(右下对角线模式)，并且对应区间可以被映射到同一LFNST集合。也就是说，对应区间可以是比模式34小C的模式到比模式34大C的模式。([34-C,34+C])。
在保持上述三个特征的前提下，除了表11至表15之外，还可以配置帧内预测模式与LFNST集合之间的其它映射。
例如，当单独的LFNST集合被分配用于WAIP模式并且单独的LFNST集合被分配用于模式0和模式1时，如上面的表11至表15所示，除了根据上述三个特征的区间之外，接下来的两个区间([2+A,17-B],[19+B,33-C])可以为空。尽管对于大于模式34的模式存在类似的空区间，但是考虑到上述对称性，基本上，如果仅确定两个区间([2+A,17-B],[19+B,33-C])的映射，则可以针对关于模式34对称的模式自动确定映射。也就是说，考虑到区间[2+A,17-B]可以划分为N个相邻区间，每个区间的长度大于等于1，并且区间[2+A,17-B]的长度为(16-A-B)，N的最大值可以为(16-A-B)。这里，当满足A+B≤15时，可以假设构成[2+A,17-B]的区间的长度N为1或更大。类似地，考虑到区间[19+B,33-C]可以划分为M个相邻区间，每个区间的长度大于或等于1，并且区间[19+B,33-C]的长度为(16-B-C)，M的最大值可以为(16-B-C)。这里，当满足B+C≤15时，可以假设构成[19+B,33-C]的区间的长度M为1或更大。
此外，在上面的表11至表15中，不包括用于WAIP模式的帧内预测模式与LFNST集合之间的映射。
作为示例，可以假设针对一个方向的WAIP模式的数量是K。根据图5，针对一个方向的WAIP模式的数量可以是14。也就是说，针对向左方向和向上方向中的每一者，可以存在14个WAIP模式，两个方向上的模式可以关于模式34对称，并且针对向左WAIP模式的区间可以表示为[-14,-1]，并且针对向上WAIP模式的区间可以表示为[67,80]。以这种方式，假设针对一个方向的WAIP模式的数量由K组成，则可以将K个模式的区间划分为L个相邻区间，每个区间的长度大于或等于1，并且可以映射针对每个区间的LFNST集合。
就这一点而言，可以以上述方式针对上面的表11至表15映射WAIP模式，并且同一LFNST集合可以映射至关于模式34对称的WAIP模式。
表4至表10示出了如下实施方式，在该实施方式中，映射至NAIP模式的LFNST集合中的一者被映射至WAIP模式，或者单独的LFNST集合被映射至WAIP模式，其中，一个或三个集合被映射。在这方面，根据表4至表10的WAIP模式映射可以应用于表11至表15。
根据一个实施方式，不同的LFNST集合列表、LFNST集合和LFNST核可以应用于每个编译工具。也就是说，如上面的表11至表15所示，可以针对每个编译工具应用用于确定从帧内预测模式应用哪个LFNST集合的映射。还可以同时应用不同的LFNST集合列表、LFNST集合、LFNST核和其它LFNST集合映射。
例如，具体实施方式可以如下。
1.针对应用PDPC模式并且未应用PDPC模式的情况，可以应用不同的LFNST集合列表、LFNST集合和LFNST核，或者可以应用不同的LFNST集合映射。
2.针对应用MIP(矩阵加权帧内预测)模式并且未应用MIP模式的情况，可以应用不同的LFNST集合列表、LFNST集合和LFNST核，或者可以应用不同的LFNST集合映射。例如，当应用MIP时，可以针对每个块大小(例如，LFNST_4×4、LFNST_8×8)应用不同的LFNST集合列表，并且可以应用与VVC标准中的LFNST不同的条件。也就是说，LFNST_4×4或LFNST_8×8应用于的变换块的大小条件可以被不同地配置。作为示例，仅当变换块的水平长度和垂直长度都大于或等于16时，才可以应用LFNST_8×8，并且在其它情况下，可以应用LFNST_4×4。或者，作为另一示例，当应用MIP模式时，可以不应用LFNST_8×8，并且可以仅应用LFNST_4×4。
这里，MIP模式可以意味着通过使用已经在其上执行了平均过程的邻近参考样本来执行矩阵向量乘法过程并且根据需要进一步执行水平/垂直插值过程来导出针对当前块的预测样本的方法。
3.针对应用ISP模式并且未应用ISP模式的情况，可以应用不同的LFNST集合列表、LFNST集合和LFNST核，或者可以应用不同的LFNST集合映射。例如，当应用ISP模式时，一个CU可以被划分为2个或4个分区块。在这种情况下，当对应分区块是薄块(例如，2×N/N×2块或1×N/N×1块)时，可以应用单独的LFNST集合列表。另选地，可以通过收集存在于两个或四个分区块中的所有左上初级变换系数来应用LFNST。例如，在收集四个分区块中的每个分区块的所有4×4左上区域以形成长度为64的输入向量之后，可以应用专用于对应输入向量的16×64矩阵等。
4.针对应用ACT(自适应颜色变换)并且未应用ACT模式的情况，可以应用不同的LFNST集合列表、LFNST集合和LFNST核，或者可以应用不同的LFNST集合映射。
5.针对应用MTS的情况，可以通过调整适用于每个MTS候选的LFNST核候选的数量来降低针对LFNST索引信令的成本。更具体地，当应用DCT-2时，仅应用两个LFNST核候选，并且发信号通知两个bin作为LFNST索引，并且当应用除了DCT-2之外的变换(例如，DST-7或DCT-8)时，仅应用一个LFNST核候选，并且发信号通知一个bin作为LFNST索引。这里，所应用的LFNST集合列表、LFNST集合和LFNST核可以针对每个MTS候选被不同地配置。
根据实施方式，针对每种颜色格式，可以应用不同的LFNST集合列表、LFNST集合和LFNST核，或者可以应用LFNST集合映射。这里，LFNST集合映射可以意味着用于从帧内预测模式确定LFNST集合的映射，如上面的表4至表15所示。
作为具体示例，当颜色格式为4:4:4时，可以应用与4:2:0格式不同的专用于4:4:4格式的单独的LFNST集合列表、LFNST集合和LFNST核。例如，当颜色格式为4:4:4时，可以应用与4:2:0格式不同的单独的LFNST集合列表、LFNST集合和LFNST核。另选地，作为另一示例，当颜色格式为4:4:4时，不同的LFNST集合列表、LFNST集合和LFNST核可以仅应用于色度分量，并且与颜色格式为4:2:0的情况相同的LFNST集合列表、LFNST集合和LFNST核可以应用于亮度分量。
以下附图用于说明本公开的具体示例。由于附图中描述的特定设备的名称或特定信号/消息/字段的名称是作为示例提供的，因此本公开的技术特征不限于以下附图中使用的特定名称。
图14示意性地例示了根据本公开的实施方式的视频/图像编码方法的示例。
图14中公开的方法可以由图2中公开的编码设备执行。具体地，例如，图14的S1400可以由图2的编码设备200的预测器220和/或残差处理器230中的至少一者执行，并且图14的S1410和S1420可以由图2的编码设备200的预测器220执行，图14的S1430至S1470可以由编码设备200的残差处理器230执行，并且图14的S1480可以由编码设备200的熵编码器执行。图14中公开的方法可以包括本公开中的上述实施方式。
参考图14，编码设备200确定当前块的帧内预测模式并且确定LFNST集合索引(S1400)。例如，编码设备200可以确定当前块的帧内预测模式，并且基于帧内预测模式确定LFNST集合索引。
关于此，基于当前块的帧内预测模式是宽角帧内预测WAIP模式，LFNST集合索引可以被导出为一个预定值。另外，基于当前块的帧内预测模式是NAIP模式，LFNST集合索引可以被导出为N个预定值中的一者。
根据一个实施方式，N可以为35，并且基于当前块的帧内预测模式为WAIP模式而导出的一个LFNST集合索引可以等于基于当前块的帧内预测模式为NAIP模式而导出的35个LFNST集合索引中的一者。
例如，可以基于表5导出针对当前块的LFNST集合索引。在上面的表5中，Intrapred.mode可以表示当前块的帧内预测模式，并且Intra pred.mode的值为-14至-1以及67至80中的一者的情况可以表示当前块的帧内预测模式为WAIP模式。
根据一个实施方式，N可以为35，并且基于当前块的帧内预测模式为WAIP模式而导出的一个LFNST集合索引可以不同于基于当前块的帧内预测模式为NAIP模式而导出的35个LFNST集合索引。
例如，可以基于表6导出针对当前块的LFNST集合索引。类似地，在表6中，Intrapred.mode可以表示当前块的帧内预测模式，并且Intra pred.mode的值为-14至-1以及67至80中的一者的情况可以表示当前块的帧内预测模式为WAIP模式。
根据一个实施方式，N可以为15，并且基于当前块的帧内预测模式为WAIP模式而导出的一个LFNST集合索引可以等于基于当前块的帧内预测模式为NAIP模式而导出的15个LFNST集合索引中的一者。例如，可以基于表8导出针对当前块的LFNST集合索引。
根据一个实施方式，N可以为15，并且基于当前块的帧内预测模式为WAIP模式而导出的一个LFNST集合索引可以不同于基于当前块的帧内预测模式为NAIP模式而导出的15个LFNST集合索引。例如，可以基于表9导出针对当前块的LFNST集合索引。
编码设备200生成与帧内预测模式相关的信息(S1410)。例如，编码设备200可以生成与帧内预测模式相关的信息。例如，与帧内预测模式相关的信息可以与帧内预测模式0至66中的任一者相关。另外，当WAIP模式应用于当前块时，在发信号通知/解析与帧内预测模式相关的信息之后，与帧内预测模式相关的信息可以重新映射至与WAIP模式相关的索引。
编码设备200基于帧内预测模式生成针对当前块的预测样本(S1420)。例如，编码设备200可以基于帧内预测模式生成针对当前块的预测样本。
编码设备200基于预测样本生成针对当前块的残差样本(S1430)。例如，编码设备200可以基于预测样本生成针对当前块的残差样本。
编码设备200基于残差样本导出变换系数(S1440)。例如，编码设备200可以基于残差样本导出变换系数。例如，编码设备200可以通过对残差样本执行初级变换来导出针对当前块的变换系数。例如，缩减变换可以应用为初级变换或正常可分离变换。另外，初级变换可以基于多个核心变换，所述多个核心变换基于选自DCT-2、DCT-7、DCT-8和DST-1当中的多个变换核。
编码设备200基于变换系数和LFNST矩阵导出修改的变换系数(S1450)。例如，编码设备200可以基于变换系数和LFNST矩阵导出修改的变换系数。例如，编码设备200可以通过使用LFNST矩阵对变换系数执行LFNST来导出修改的变换系数。例如，LFNST可以是次级变换，并且可以包括反映RST的不可分离次级变换。在这种情况下，应用于次级变换的LFNST矩阵可以是非正方形矩阵，其中行数小于列数。
根据本公开，与现有VVC标准不同，LFNST可以应用于大于16×16的变换块的左上16×16区域。例如，LFNST可以应用于由左上16×16中的6个4×4子块组成的96个样本的区域。也就是说，可以基于属于目标块的左上16×16区域的一些变换系数导出比变换系数更少的修改的变换系数。根据示例，编码设备200基于根据目标块的大小为M×N(M≥16，N≥16)的目标块的左上区域的L(48<L≤96)个变换系数。可以根据预定扫描顺序将所导出的R个修改的变换系数导出为输出阵列。R小于L。
表示编码设备中经受次级变换的输入变换系数的区域的输入区域可以对应于参考上述解码方法和附图中描述的输出区域描述的ROI。因此，省略了对ROI的冗余描述。
排列在输入区域中的输入变换系数的数量L和通过矩阵运算导出的修改的变换系数的数量R可以根据变换核的维度而改变。根据一个示例，R可以是16、32、48、80等，并且L可以是64或96。
编码设备200基于修改的变换系数生成残差信息(S1460)。例如，编码设备200可以基于修改的变换系数生成残差信息。例如，编码设备200可以通过对修改的变换系数执行量化来导出量化的变换系数，并且生成关于量化的变换系数的残差信息。例如，残差信息可以包括上文描述的变换相关信息/语法元素。
编码设备200生成表示LFNST矩阵的LFNST索引信息(S1470)。例如，编码设备200可以生成表示由LFNST集合索引标示的LFNST集合中的LFNST矩阵的LFNST索引信息。也就是说，如表4所示，基于与帧内预测模式的映射关系，可以存在多个LFNST集合，并且一个LFNST集合可以包括多个LFNST矩阵。构成一个LFNST集合的多个LFNST矩阵中的哪一个被应用于LFNST可以与LFNST索引相关。
编码设备200对包括帧内预测模式相关信息、残差信息和LFNST索引信息的视频/图像信息进行编码(S1480)。例如，编码设备200可以对包括与帧内预测模式相关的信息、残差信息和LFNST索引信息的视频/图像信息进行编码。
另外，根据本公开的实施方式，视频/图像信息可以包括各种信息。例如，视频/图像信息可以包括用于图片重构的信息。用于图片重构的信息可以包括与预测相关的信息、与变换相关的信息等。另外，视频/图像信息可以包括与应用于当前块的LFNST相关的信息。与LFNST相关的信息可以被包括在SPS、PPS、PH或SH中。该信息包括关于是否应用LFNST的信息、关于应用LFNST的最小变换大小的信息、关于应用LFNST的最大变换大小的信息以及标示被包括在变换集合中的变换核中的一者的变换索引。它可以包括相关的信息中的至少一者。
编码的视频/图像信息可以以比特流的形式输出。比特流可以通过网络或存储介质发送至解码设备。
具体地，根据本公开的实施方式，视频/图像信息可以包括各种信息。
根据本公开提出的实施方式，图像信息还可以包括LFNST集合列表索引信息。LFNST集合列表索引信息可以是用于指定多个LFNST集合列表中的一者的信息。例如，当存在M个LFNST集合列表时，LFNST集合列表索引信息可以具有从0至M-1的值。
此时，例如，编码设备200可以确定与被应用于导出修改的变换系数的LFNST矩阵相关的针对当前块的LFNST集合列表，并且可以生成和编码与LFSNT集合列表相关的LFNST集合列表索引信息。
例如，如果确定针对当前块的LFNST集合列表，则可以生成LFNST集合列表索引信息，使得可以基于LFNST集合列表中的LFNST集合索引导出LFNST集合。也就是说，LFNST集合列表索引信息可以与针对当前块的LFNST集合列表相关。也就是说，可以存在多个LFNST集合列表，一个LFNST集合列表可以包括多个LFNST集合，并且一个LFNST集合可以包括多个LFNST矩阵。可以基于LFNST集合列表索引信息、LFSNT集合索引和LFNST索引信息确定应用于当前块的LFNST矩阵。
根据实施方式，根据量化参数值的范围，可以将LFNST集合列表索引生成/编码为不同的值。在这种情况下，可以基于预定阈值划分量化参数值的范围。例如，27、28、29、30或31可以用作阈值。
根据实施方式，根据变换块大小的范围，可以将LFNST集合列表索引生成/编码为不同的值。例如，变换块大小为4×4、4×N/N×4(N≥8)、8×8、8×N/N×8(N≥16)、16×16、16×N/N×16(N≥32)或32×32或更大(水平长度和垂直长度均为32或更大)，可以配置为将不同的LFNST集合列表应用于每种情况。
根据实施方式，根据是否将特定编译工具应用于当前块，可以将LFNST集合列表索引生成/编码为不同的值。在这种情况下，例如，特定编译工具可以是PDPC、MIP模式、ISP模式、ACT或MTS中的至少一者。
根据实施方式，根据当前块的颜色格式，可以将LFNST集合列表索引生成/编码为不同的值。
图15示意性地例示了根据本公开的实施方式的视频/图像解码方法的示例。
图15中公开的方法可以由图3中公开的解码设备执行。具体地，例如，图15的S1500可以由解码设备300的熵解码器310执行，并且S1510可以由解码设备300的残差处理器320执行，S1520可以由解码设备300的预测器330和/或残差处理器320中的至少一者执行。另外，S1530至S1550可以由解码设备300的残差处理器320执行，并且S1560可以由残差处理器320和/或加法器340中的至少一者执行。图15中公开的方法可以包括本公开中的上述实施方式。
参考图15，解码设备300从比特流接收/获得视频/图像信息(S1500)。例如，视频/图像信息可以包括残差信息、与帧内预测模式相关的信息和LFNST索引信息。例如，解码设备300可以从比特流接收/获得包括与帧内预测模式相关的信息、残差信息和LFNST索引信息的视频/图像信息。
另外，根据本公开的实施方式，视频/图像信息可以包括各种信息。例如，视频/图像信息可以包括用于图片重构的信息。用于图片重构的信息可以包括与预测相关的信息、与变换相关的信息等。另外，视频/图像信息可以包括与应用于当前块的LFNST相关的信息。与LFNST相关的信息可以被包括在SPS、PPS、PH或SH中。该信息包括关于是否应用LFNST的信息、关于应用LFNST的最小变换大小的信息、关于应用LFNST的最大变换大小的信息以及标示被包括在变换集合中的变换核中的一者的变换索引。它可以包括相关的信息中的至少一者。
解码设备300从残差信息导出针对当前块的变换系数(S1510)。例如，解码设备300可以从残差信息导出针对当前块的量化的变换系数。此外，解码设备300可以通过对量化的变换系数执行逆量化来导出针对当前块的变换系数。
导出的变换系数可以以4×4子块为单位以反向对角线扫描顺序排列，并且4×4子块中的变换系数也可以根据反向对角线扫描顺序排列。也就是说，可以根据在诸如VVC或HEVC的视频编解码器中应用的反向扫描顺序来排列经过逆量化的变换系数。
解码设备300基于帧内预测模式导出针对当前块的LFNST集合索引(S1520)。例如，解码设备300可以基于从与帧内预测模式相关的信息导出的当前块的帧内预测模式导出针对当前块的LFNST集合索引。
这里，作为示例，与帧内预测模式相关的信息可以与帧内预测模式0至66中的任一者相关。另外，当WAIP模式应用于当前块时，在发信号通知/解析与帧内预测模式相关的信息之后，与帧内预测模式相关的信息可以重新映射至与WAIP模式相关的索引。
关于此，基于当前块的帧内预测模式是宽角帧内预测WAIP模式，LFNST集合索引可以被导出为一个预定值。另外，基于当前块的帧内预测模式是NAIP模式，LFNST集合索引可以被导出为N个预定值中的一者。
根据一个实施方式，N可以为35，并且基于当前块的帧内预测模式为WAIP模式而导出的一个LFNST集合索引可以等于基于当前块的帧内预测模式为NAIP模式而导出的35个LFNST集合索引中的一者。
例如，可以基于表5导出针对当前块的LFNST集合索引。在表5中，Intra pred.mode可以表示当前块的帧内预测模式，并且Intra pred.mode的值为-14至-1以及67至80中的一者的情况可以表示当前块的帧内预测模式为WAIP模式。
根据一个实施方式，N可以为35，并且基于当前块的帧内预测模式为WAIP模式而导出的一个LFNST集合索引可以不同于基于当前块的帧内预测模式为NAIP模式而导出的35个LFNST集合索引。
例如，可以基于表6导出针对当前块的LFNST集合索引。类似地，在表6中，Intrapred.mode可以表示当前块的帧内预测模式，并且Intra pred.mode的值为-14至-1以及67至80中的一者的情况可以表示当前块的帧内预测模式为WAIP模式。
根据一个实施方式，N可以为15，并且基于当前块的帧内预测模式为WAIP模式而导出的一个LFNST集合索引可以等于基于当前块的帧内预测模式为NAIP模式而导出的15个LFNST集合索引中的一者。例如，可以基于表8导出针对当前块的LFNST集合索引。
根据一个实施方式，N可以为15，并且基于当前块的帧内预测模式为WAIP模式而导出的一个LFNST集合索引可以不同于基于当前块的帧内预测模式为NAIP模式而导出的15个LFNST集合索引。例如，可以基于表9导出针对当前块的LFNST集合索引。
解码设备300基于LFNST索引和LFNST集合索引导出针对当前块的LFNST矩阵(S1530)。例如，解码设备300可以基于从LFNST索引信息导出的LFNST索引和LFNST集合索引导出针对当前块的LFNST矩阵。例如，解码设备300可以将由从LFNST索引信息导出的LFNST索引标示的LFNST矩阵导出为由LFNST集合索引标示的LFNST集合中的针对当前块的LFNST矩阵。也就是说，如上面的表4所示，基于与帧内预测模式的映射关系，可以存在多个LFNST集合，并且一个LFNST集合可以包括多个LFNST矩阵。可以基于LFNST索引确定构成一个LFNST集合的多个LFNST矩阵中的哪一个要被应用于LFNST。
解码设备300基于变换系数和LFNST矩阵导出修改的变换系数(S1540)。例如，解码设备300可以基于变换系数和LFNST矩阵导出修改的变换系数。例如，解码设备300可以通过使用LFNST矩阵对变换系数执行LFNST来导出修改的变换系数。例如，LFNST可以是逆次级变换，并且可以包括其中反映RST的不可分离次级变换。在这种情况下，应用于逆次级变换的LFNST矩阵可以是非正方形矩阵，其中列数小于行数。
解码设备300基于修改的变换系数生成针对当前块的残差样本(S1550)。例如，解码设备300可以基于修改的变换系数生成针对当前块的残差样本。例如，解码设备300可以通过对修改的变换系数执行初级变换来生成针对当前块的残差样本。在这种情况下，初级变换可以是逆初级变换。例如，缩减逆变换可以应用于初级变换或正常分离变换。另外，初级变换可以基于多个核心变换，所述多个核心变换基于选自DCT-2、DCT-7、DCT-8和DST-1当中的多个变换核。
解码设备300基于残差样本生成重构图片(S1560)。例如，解码设备300可以基于残差样本生成重构图片。此外，解码设备300可以通过将各种滤波方法应用于重构图片来生成修改的重构图片。修改的重构图片可以作为输出被存储和/或作为解码的图片被存储在解码的图片缓冲器或存储器360，并且可以在此后对图片进行解码时在帧间预测过程中用作参考图片。
具体地，根据本公开的实施方式，视频/图像信息可以包括各种信息。
根据本公开提出的实施方式，图像信息还可以包括LFNST集合列表索引信息。LFNST集合列表索引信息可以是用于指定多个LFNST集合列表中的一者的信息。例如，当存在M个LFNST集合列表时，LFNST集合列表索引信息可以具有从0至M-1的值。
此时，例如，解码设备300可以基于从LFNST集合列表索引信息导出的针对当前块的LFNST集合列表索引导出针对当前块的LFNST集合列表。
另外，可以基于LFNST索引和LFNST集合索引从针对当前块的LFNST集合列表导出针对当前块的LFNST矩阵。
例如，如果导出针对当前块的LFNST集合列表，则可以基于LFNST集合列表中的LFNST集合索引导出LFNST集合。另外，由LFNST集合中的LFNST索引标示的LFNST矩阵可以被导出为针对当前块的LFNST矩阵。也就是说，可以存在多个LFNST集合列表，一个LFNST集合列表可以包括多个LFNST集合，并且一个LFNST集合可以包括多个LFNST矩阵。可以基于LFNST集合索引确定构成一个LFNST集合列表的多个LFNST集合中的哪一个要被应用于LFNST。
根据实施方式，根据量化参数值的范围，可以将LFNST集合列表索引导出为不同的值。在这种情况下，可以基于预定阈值划分量化参数值的范围。例如，27、28、29、30或31可以用作阈值。
根据实施方式，根据变换块大小的范围，可以将LFNST集合列表索引导出为不同的值。例如，变换块大小为4×4、4×N/N×4(N≥8)、8×8、8×N/N×8(N≥16)、16×16、16×N/N×16(N≥32)或32×32或更大(水平长度和垂直长度均为32或更大)，可以配置为将不同的LFNST集合列表应用于每种情况。
根据实施方式，根据是否将特定编译工具应用于当前块，可以将LFNST集合列表索引导出为不同的值。在这种情况下，例如，特定编译工具可以是PDPC、MIP模式、ISP模式、ACT或MTS中的至少一者。
根据实施方式，根据当前块的颜色格式，可以将LFNST集合列表索引导出为不同的值。
在上述实施方式中，基于具有一系列步骤或方框的流程图描述方法，但是该实施方式不限于上述步骤或方框的顺序，并且一些步骤可以同时发生或以与上述其它步骤不同的顺序发生。此外，本领域技术人员将理解，上述流程图中所示的步骤不是排他性的，可以包括另外的步骤，或者可以在不影响本公开的实施方式的范围的情况下删除流程图中的一个或更多个步骤。
上述根据本公开的实施方式的方法可以以软件实现。根据本公开的编码设备和/或解码设备可以被包括在执行图像处理的装置中，例如，TV、计算机、智能电话、机顶盒或显示装置。
当本公开的实施方式以软件实现时，上述方法可以由执行上述功能的模块(处理、功能等)来实现。这样的模块可以存储在存储器中并且由处理器执行。存储器可以在处理器内部或外部，并且存储器可以使用各种众所周知的手段联接至处理器。处理器可以包括专用集成电路(ASIC)、其它芯片组、逻辑电路和/或数据处理装置。存储器可以包括ROM(只读存储器)、RAM(随机存取存储器)、闪存、存储卡、存储介质和/或其它存储装置。也就是说，本公开中描述的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如，每个图中所示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。在这种情况下，用于实现的信息(例如，关于指令的信息)或算法可以存储在数字存储介质中。
另外，本公开的实施方式应用于的解码设备和编码设备可以应用于多媒体通信装置，诸如多媒体广播发送和接收装置、移动通信终端、家庭电影视频装置、数字电影视频装置、监控摄像头、视频聊天装置、(3D)视频装置、视频电话视频装置以及医疗视频装置等，其例如可以被包括在存储介质、摄像机、视频点播(VoD)服务提供装置、OTT视频(过顶视频)、互联网流线服务提供装置、3D视频装置、虚拟现实(VR)装置、增强现实(AR)装置、视频通话装置、交通工具终端(例如，车辆(包括自主车辆)终端、飞机终端、船舶终端等)中，并且可以用于处理视频信号或数据信号。例如，OTT视频(过顶视频)装置可以包括游戏控制台、蓝光播放器、互联网接入TV、家庭影院***、智能电话、平板PC、数字视频记录器(DVR)。
此外，应用本公开的实施方式的处理方法可以以计算机执行的程序的形式生成，并且可以存储在计算机可读记录介质中。具有根据本公开的实施方式的数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括存储有计算机可读数据的各种存储装置和分布式存储装置。计算机可读记录介质可以是例如蓝光光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。另外，计算机可读记录介质包括以载波的形式实现的介质(例如，通过互联网传输)。另外，通过编码方法生成的比特流可以存储在计算机可读记录介质中或通过有线或无线通信网络发送。
此外，本公开的实施方式可以通过程序代码实现为计算机程序产品，并且该程序代码可以根据本公开的实施方式在计算机中执行。程序代码可以存储在计算机可读的载体上。
图16是例示了本公开的实施方式应用于的内容流传输***的结构的图。
参考图16，本公开的实施方式应用于的内容流传输***主要可以包括编码服务器、流传输服务器、网络服务器、媒体存储装置、用户装置和多媒体输入装置。
编码服务器将从诸如智能电话、相机、摄像机等这样的多媒体输入装置输入的内容压缩成数字数据以生成比特流，并且将该比特流传输到流传输服务器。作为另一示例，当诸如智能电话、相机、摄像机等这样的多媒体输入装置直接生成比特流时，可以省略编码服务器。
可以通过应用本文件的实施例的编码方法或比特流生成方法来生成比特流。并且流传输服务器可以在发送或接收比特流的处理中临时存储比特流。
流传输服务器基于用户的请求通过网络服务器将多媒体数据发送到用户设备，并且网络服务器用作将服务告知用户的介质。当用户向网络服务器请求所期望的服务时，网络服务器将其传送到流传输服务器，流传输服务器将多媒体数据发送到用户。在这种情况下，内容流传输***可以包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流传输***中的设备之间的命令/响应。
流传输服务器可以从媒体存储装置和/或编码服务器接收内容。例如，当从编码服务器接收内容时，可以实时地接收内容。在这种情况下，为了提供平稳的流传输服务，流传输服务器可以存储比特流达预定时间。
例如，用户设备可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、板式PC、平板PC、超极本、可穿戴装置(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(HMD))、数字TV、台式计算机、数字标牌等。
内容流传输***中的服务器中的每个可以作为分布式服务器***作，并且在这种情况下，能够以分布式方式处理由每个服务器接收到的数据。
能够以各种方式组合本文公开的权利要求。例如，能够组合本公开的方法权利要求的技术特征以在设备中被实现或执行，并且能够组合设备权利要求的技术特征以在方法中被实现或执行。此外，能够组合方法权利要求和设备权利要求的技术特征可以组合以在设备中被实现或执行，并且能够组合方法权利要求和设备权利要求的技术特征以在方法中被实现或执行。

Claims (15)

1.一种由解码设备执行的图像解码方法，所述图像解码方法包括以下步骤：
通过比特流获得图像信息，其中，所述图像信息包括残差信息、与帧内预测模式相关的信息和低频不可分离变换LFNST索引信息；
从所述残差信息导出针对当前块的变换系数；
基于从与帧内预测模式相关的所述信息导出的所述当前块的帧内预测模式，导出针对所述当前块的LFNST集合索引；
基于从所述LFNST索引信息导出的LFNST索引和所述LFNST集合索引，导出针对所述当前块的LFNST矩阵；
基于所述变换系数和所述LFNST矩阵，导出修改的变换系数；
基于所述修改的变换系数，生成针对所述当前块的残差样本；以及
基于所述残差样本，生成重构图片，
其中，基于所述当前块的帧内预测模式是宽角帧内预测WAIP模式，所述LFNST集合索引被导出为一个预定值，并且
其中，基于所述当前块的帧内预测模式是正常角度帧内预测NAIP模式，所述LFNST集合索引被导出为N个预定值中的一者。
2.根据权利要求1所述的图像解码方法，
其中，N为35，并且
其中，基于所述当前块的帧内预测模式为所述WAIP模式而导出的一个LFNST集合索引等于基于所述当前块的帧内预测模式为所述NAIP模式而导出的35个LFNST集合索引中的一者。
3.根据权利要求2所述的图像解码方法，
其中，针对所述当前块的所述LFNST集合索引是基于下表导出的，并且
Intra pred mode -14 -13 -12 -11 -10 -9 -8 -7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 LFNST集合索引 2 2 2 2 2 2 2 2 2 2 2 2 2 2 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 Intra pred.mode 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 LFNST集合索引 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 33 32 31 30 29 28 27 26 25 24 23 22 21 20 19 Intra pred. mode 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 LFNST集合索引 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
其中，Intra pred.mode表示所述当前块的帧内预测模式，并且Intra pred.mode的值为-14至-1以及67至80中的一者的情况表示所述当前块的帧内预测模式为所述WAIP模式。
4.根据权利要求1所述的图像解码方法，
其中，N为35，并且
其中，基于所述当前块的帧内预测模式为所述WAIP模式而导出的一个LFNST集合索引不同于基于所述当前块的帧内预测模式为所述NAIP模式而导出的35个LFNST集合索引。
5.根据权利要求4所述的图像解码方法，
其中，针对所述当前块的所述LFNST集合索引是基于下表导出的，并且
Intra pred.mode -14 -13 -12 -11 -10 -9 -8 -7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 LFNST集合索引 35 35 35 35 35 35 35 35 35 35 35 35 35 35 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 Intra pred.mode 18 19 20 21 22 23 24 25 26 2 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 LFNST集合索引 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 33 32 31 30 29 28 27 26 25 24 23 22 21 20 19 Intra pred. mode 50 51 52 53 54 55 56 57 58 5 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 LFNST集合索引 18 17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2 35 35 35 35 35 35 35 35 35 35 35 35 35 35
其中，Intra pred.mode表示所述当前块的帧内预测模式，并且Intra pred.mode的值为-14至-1以及67至80中的一者的情况表示所述当前块的帧内预测模式为所述WAIP模式。
6.根据权利要求1所述的图像解码方法，
其中，N为15，并且
其中，基于所述当前块的帧内预测模式为所述WAIP模式而导出的一个LFNST集合索引等于基于所述当前块的帧内预测模式为所述NAIP模式而导出的15个LFNST集合索引中的一者。
7.根据权利要求1所述的图像解码方法，
其中，N为15，并且
其中，基于所述当前块的帧内预测模式为所述WAIP模式而导出的一个LFNST集合索引不同于基于所述当前块的帧内预测模式为所述NAIP模式而导出的15个LFNST集合索引。
8.根据权利要求1所述的图像解码方法，
其中，所述图像信息还包括LFNST集合列表索引信息，
其中，所述图像解码方法还包括以下步骤：
基于从所述LFNST集合列表索引信息导出的针对所述当前块的LFNST集合列表索引，导出针对所述当前块的LFNST集合列表，并且
其中，针对所述当前块的所述LFNST矩阵是基于所述LFNST索引和所述LFNST集合索引从针对所述当前块的所述LFNST集合列表导出的。
9.根据权利要求8所述的图像解码方法，
其中，根据量化参数值的范围，所述LFNST集合列表索引被导出为不同的值，并且量化参数值的范围是基于预定阈值被划分的。
10.根据权利要求8所述的图像解码方法，
其中，根据变换块大小的范围，所述LFNST集合列表索引被导出为不同的值。
11.根据权利要求8所述的图像解码方法，
其中，根据特定编译工具是否被应用于所述当前块，所述LFNST集合列表索引被导出为不同的值，并且
其中，所述特定编译工具是位置相关帧内预测PDPC、矩阵加权帧内预测MIP模式、帧内子分区ISP模式、自适应颜色变换ACT以及多变换选择MTS中的至少一者。
12.根据权利要求8所述的图像解码方法，
其中，根据所述当前块的颜色格式，所述LFNST集合列表索引被导出为不同的值。
13.一种由编码设备执行的图像编码方法，所述图像编码方法包括以下步骤：
确定当前块的帧内预测模式，并且基于所述当前块的帧内预测模式，确定低频不可分离变换LFNST集合索引；
生成与所述帧内预测模式相关的信息；
基于所述帧内预测模式，生成针对所述当前块的预测样本；
基于所述预测样本，生成针对所述当前块的残差样本；
基于所述残差样本，导出变换系数；
基于所述变换系数和LFNST矩阵，导出修改的变换系数；
基于修改的变换系数，生成残差信息；
生成表示由所述LFNST集合索引表示的LFNST集合中的所述LFNST矩阵的LFNST索引信息；以及
对包括与所述帧内预测模式相关的信息、所述残差信息和所述LFNST索引信息的图像信息进行编码，
其中，基于所述当前块的帧内预测模式是宽角帧内预测WAIP模式，所述LFNST集合索引被导出为一个预定值，并且
其中，基于所述当前块的帧内预测模式是正常角度帧内预测NAIP模式，所述LFNST集合索引被导出为N个预定值中的一者。
14.根据权利要求13所述的图像解码方法，
其中，N为35，并且
其中，基于所述当前块的帧内预测模式为所述WAIP模式而导出的一个LFNST集合索引等于基于所述当前块的帧内预测模式为所述NAIP模式而导出的35个LFNST集合索引中的一者。
15.一种图像的数据的传输方法，所述传输方法包括以下步骤：
获得针对所述图像的比特流，其中，所述比特流是基于以下操作生成的：确定当前块的帧内预测模式，并且基于所述当前块的帧内预测模式确定低频不可分离变换LFNST集合索引，生成与所述帧内预测模式相关的信息，基于所述帧内预测模式生成针对所述当前块的预测样本，基于所述预测样本生成针对所述当前块的残差样本，基于所述残差样本导出变换系数，基于所述变换系数和LFNST矩阵导出修改的变换系数，基于修改的变换系数生成残差信息，生成表示由所述LFNST集合索引表示的LFNST集合中的所述LFNST矩阵的LFNST索引信息，以及对包括与所述帧内预测模式相关的信息、所述残差信息和所述LFNST索引信息的图像信息进行编码；以及
发送包括所述比特流的所述数据，
其中，基于所述当前块的帧内预测模式是宽角帧内预测WAIP模式，所述LFNST集合索引被导出为一个预定值，并且
其中，基于所述当前块的帧内预测模式是正常角度帧内预测NAIP模式，所述LFNST集合索引被导出为N个预定值中的一者。
CN202280034285.3A 2021-04-12 2022-04-12 用于设计低频不可分离变换的方法和设备 Pending CN117296325A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163174016P 2021-04-12 2021-04-12
US63/174,016 2021-04-12
PCT/KR2022/005285 WO2022220546A1 (ko) 2021-04-12 2022-04-12 저주파 비분리 변환 설계 방법 및 장치

Publications (1)

Publication Number Publication Date
CN117296325A true CN117296325A (zh) 2023-12-26

Family

ID=83640473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280034285.3A Pending CN117296325A (zh) 2021-04-12 2022-04-12 用于设计低频不可分离变换的方法和设备

Country Status (5)

Country Link
US (1) US20240146966A1 (zh)
EP (1) EP4325856A1 (zh)
KR (1) KR20230169985A (zh)
CN (1) CN117296325A (zh)
WO (1) WO2022220546A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10681379B2 (en) * 2015-09-29 2020-06-09 Qualcomm Incorporated Non-separable secondary transform for video coding with reorganizing
US10567801B2 (en) * 2018-03-07 2020-02-18 Tencent America LLC Method and apparatus for video coding with primary and secondary transforms
JP2021519546A (ja) * 2018-03-29 2021-08-10 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 映像符号化のための候補変換セットの決定
EP3707898B1 (en) * 2018-07-13 2021-03-17 Telefonaktiebolaget LM Ericsson (publ) Transform selection in a video encoder and/or video decoder
KR102553341B1 (ko) * 2018-08-12 2023-07-06 엘지전자 주식회사 영상 신호를 처리하기 위한 방법 및 장치

Also Published As

Publication number Publication date
KR20230169985A (ko) 2023-12-18
WO2022220546A1 (ko) 2022-10-20
EP4325856A1 (en) 2024-02-21
US20240146966A1 (en) 2024-05-02

Similar Documents

Publication Publication Date Title
CN113853797B (zh) 使用变换索引的图像编码
US11516510B2 (en) Transform in intra prediction-based image coding
CN114731434B (zh) 基于变换的图像编码方法及其装置
CN116684614A (zh) 解码设备、编码设备和数据发送设备
CN114946189A (zh) 基于变换的图像编码方法及其装置
CN114930847A (zh) 基于变换的图像编码方法及其装置
CN114747220B (zh) 基于变换的图像编码方法及其设备
CN113228685B (zh) 用于基于二次变换编码图像的方法及其装置
CN114762343B (zh) 基于变换的图像编码方法及其装置
CN114651445B (zh) 基于变换的视频编码方法及其装置
CN113597770B (zh) 基于变换的图像编译方法及其装置
CN117296325A (zh) 用于设计低频不可分离变换的方法和设备
CN114747221B (zh) 基于变换的图像编码方法及其装置
CN117597934A (zh) 用于设计低频不可分离变换的方法和装置
CN117652143A (zh) 用于设计低频不可分离变换的方法和装置
CN117857819A (zh) 图像编码设备、图像解码设备和数据发送设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination