CN116781905A - 重构和发送视频信号的方法、对视频信号进行编码的方法 - Google Patents

重构和发送视频信号的方法、对视频信号进行编码的方法 Download PDF

Info

Publication number
CN116781905A
CN116781905A CN202311023381.0A CN202311023381A CN116781905A CN 116781905 A CN116781905 A CN 116781905A CN 202311023381 A CN202311023381 A CN 202311023381A CN 116781905 A CN116781905 A CN 116781905A
Authority
CN
China
Prior art keywords
transform
block
transformation
inverse
present disclosure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311023381.0A
Other languages
English (en)
Inventor
具文模
M·萨勒海法尔
金昇焕
林宰显
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN116781905A publication Critical patent/CN116781905A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

重构和发送视频信号的方法、对视频信号进行编码的方法。本发明提供了一种用于重构视频信号的方法，该方法包括以下步骤：获得针对当前块的二次变换索引；基于二次变换索引推导针对当前块的变换块的特定区域的二次变换矩阵，其中，特定区域表示包括变换块的左上区域的区域，其中，二次变换矩阵基于二次变换的输入长度和输出长度表示；基于二次变换矩阵对特定区域执行逆二次变换；对应用了逆二次变换的块执行逆一次变换；基于应用了逆一次变换的块来获得当前块的残差样本；以及基于残差样本重构当前块；其中，基于变换块的高度和宽度中的每一个等于16，逆二次变换的输入长度被确定为16，并且逆二次变换的输出长度被确定为48。

Description

重构和发送视频信号的方法、对视频信号进行编码的方法
本申请是申请号为201980024147.5(国际申请号为PCT/KR2019/003811，国际申请日为2019年04月01日，发明名称为“通过向分区块应用二次变换来处理视频信号的方法及设备”)的发明专利申请的分案申请。
技术领域
本公开涉及一种用于处理视频信号的方法及设备，并且更具体地，涉及用于将变换系数块的特定区域分区为4×4块，然后对每个分区块应用单独的二次变换的方法及针对分区块分配和共享二次变换的方法。
背景技术
下一代视频内容将具有场景表示的高空间分辨率、高帧速率和高维度的特征。为了处理这样的内容，将显著提高诸如存储器存储、存储器访问速率和处理能力之类的技术。
因此，需要设计一种用于更有效地处理下一代视频内容的新编码工具。具体而言，当应用变换时，就编码效率和复杂性而言，需要设计更有效的变换。
发明内容
技术问题
本公开的实施方式提供了用于反映新的变换设计的编码器/解码器结构。
此外，本公开的实施方式提供了一种用于将变换系数块的特定区域划分为4×4块然后对每个划分块应用单独的二次变换的方法和结构，以及一种针对划分块分配和共享二次变换的方法。
技术方案
本公开提供了一种用于通过新的变换设计来降低复杂度并增强编码效率的方法。
本公开提供了一种用于将变换系数块的特定区域划分为4×4块，然后对每个划分块单独应用二次变换或者在一些划分块之间共享二次变换的方法。
本公开提供了一种用于在具有各种尺寸和形状的块之间针对存在于相同位置处的4×4块共享二次变换的方法。
本公开提供一种用于针对每个4×4划分块通过比较非零变换系数的数量和阈值来有条件地应用二次变换的方法。
本公开提供了一种用于针对全部4×4划分块单独应用二次变换的方法。
本公开提供一种用于在应用二次变换的区域被划分为任意尺寸或形状时配置用于划分区域的二次变换的方法。
技术效果
本发明的优点在于，当对静止图像或运动图像进行编码时，应用二次变换的区域被划分为更小的区域，然后向小区域应用二次变换，以降低执行二次变换所需的复杂度。
此外，本发明的优点在于，能够在划分块之间共享二次变换，或者能够选择更合适的二次变换来调整编码性能和复杂度之间的折衷。
如上所述，本发明的优点在于，能够通过新的变换设计来降低计算复杂度并且能够提高编码效率。
附图说明
图1是例示了根据本公开实施方式的用于对视频信号进行编码的编码器的配置的框图。
图2是例示了根据本公开实施方式的用于对视频信号进行解码的解码器的配置的框图。
图3A至图3D例示了可以应用本公开的实施方式，图3A是用于描述基于四叉树(以下称为“QT”)的块分割结构的图，图3B是用于描述基于二叉树(以下称为“BT”)的块分割结构的图，图3C是用于描述基于三叉树(以下称为“TT”)的块分割结构的图，并且图3D是用于描述基于非对称树(以下称为“AT”)的块分割结构的图。
图4是应用本公开的实施方式并且例示了编码器内的变换和量化单元120/130以及解量化和变换单元140/150的示意性框图。
图5是应用本公开的实施方式，并且例示了解码器内的解量化和变换单元220/230的示意性框图。
图6是示出了作为应用本公开的实施方式的、应用了多重变换选择(MTS)的变换配置组的表。
图7是示出了作为应用本公开的实施方式的、执行多重变换选择(MTS)的编码处理的流程图。
图8是示出了作为应用本公开的实施方式的、执行多重变换选择(MTS)的解码处理的流程图。
图9是用于描述作为应用本公开的实施方式的、对MTS标志和MTS索引进行编码的处理的流程图。
图10是用于描述作为应用本公开的实施方式的、基于MTS标志和MTS索引向行或列应用了水平变换或垂直变换的解码处理的流程图。
图11是作为应用本公开的实施方式的、基于变换相关参数执行逆变换的流程图。
图12是示出了作为应用本公开的实施方式的、在NSST中为每个帧内预测模式分配变换集的表。
图13是作为应用本发明的实施方式的、Givens(吉文斯)旋转的计算流程图。
图14示出了作为应用本公开的实施方式的、由给定旋转层及置换组成的4×4NSST中的一轮配置。
图15是用于描述作为应用本公开的实施方式的、正向简化变换和逆向简化变换的操作的框图。
图16是例示了作为应用本公开的实施方式的、根据逆扫描顺序从第64至第17执行逆扫描的处理的图。
图17例示了作为应用本公开的实施方式的、要应用二次变换的8×8左上划分区域。
图18例示了作为应用本公开的实施方式的、应用了4×4二次变换的最大8×8左上划分区域的分区。
图19是用于描述作为应用本公开的实施方式的、将应用了二次变换的区域划分为M个区域并向每个位置分配索引的方法的图。
图20是用于描述作为应用本公开的实施方式的、在对应用了二次变换的区域进行划分时将变换划分至划分区域的方法的图。
图21是作为应用本公开的实施方式的、通过向划分块(divided block)应用二次变换对视频信号进行编码的流程图。
图22是作为应用本公开的实施方式的、通过向划分块应用二次变换来解码视频信号的流程图。
图23至图25是应用本公开的实施方式，并且图23和图25例示了将应用二次变换的区域划分为M个区域并向每个位置分配索引的其他示例，并且图24是用于描述基于分组对区域进行分类的方法的图。
图26是用于描述作为应用本公开的实施方式的、基于扫描顺序将应用二次变换的区域划分为M个区域的方法的图。
图27是作为应用本公开的实施方式的、内容流传输***的结构图。
具体实施方式
本公开提供了一种用于重构视频信号的方法，该方法包括：通过对当前块执行熵解码和解量化来获得变换系数块；推导与变换系数块中的特定区域相对应的二次变换，其中，特定区域表示包括变换系数块的左上块的区域；使用二次变换对特定区域内的每个子块执行逆二次变换；对应用了逆二次变换的块执行逆一次变换(inverse primarytransform)；并使用应用了逆一次变换的块来重构当前块。
在本公开中，特定区域被划分为4×4子块，并且针对每个4×4子块执行逆二次变换。
在本公开中，基于子块的位置和预测模式中的至少一个，向4×4子块应用相同的4×4二次变换或者应用不同的4×4二次变换。
在本公开中，基于变换系数块的尺寸来确定特定区域是否被划分为4×4子块。
在本公开中，该方法还包括检查4×4子块内的非零变换系数的数量是否等于或大于特定阈值，在该方法中根据检查结果确定是否向4×4子块应用4×4二次变换。
在本公开中，当4×4子块内的非零变换系数的数量等于或大于特定阈值时，向4×4子块应用4×4二次变换，否则不向4×4子块应用4×4二次变换。
本公开提供了一种用于重构视频信号的设备，该设备包括：熵解码单元，其对当前块执行熵解码；以及解量化单元，其对执行了熵解码的当前块执行解量化，以获得变换系数块；变换单元，其推导与变换系数块内的特定区域相对应的二次变换，通过使用二次变换对特定区域内的每个子块执行逆二次变换，并对应用了逆二次变换的块执行逆一次变换；以及重构单元，其使用应用了逆一次变换的块来重构当前块，其中特定区域表示包括变换系数块的左上块的区域。
[实现本发明的方式]
在下文中，将参照附图详细描述本公开的实施方式的配置和操作，参照附图所描述的本公开的配置和操作被描述为实施方式，并且本公开的范围、核心配置以及操作不限于此。
此外，本公开中使用的术语选自当前广泛使用的通用术语，但是在特定情况下，使用申请人随机选择的术语。在这种情况下，在相应部分的详细描述中，由于清楚地描述了其含义，因此该术语不应仅由在本公开的描述中使用的术语名称来简单地解释，并且应该理解并解释相应术语的含义。
此外，当存在被选择用于描述本发明的通用术语或具有相似含义的另一术语时，可以替换本公开中使用的术语以进行更适当的解释。例如，在每个编码处理中，可以适当地替换和解释信号、数据、样本、图片、帧和块。此外，在每个编码处理中，可以适当地替换和解释分区(partitioning)、分解、分割(splitting)和划分(division)。
在本公开中，多重变换选择(MTS)可以指用于使用至少两种变换类型来执行变换的方法。这也可以表示为自适应多重变换(AMT)或显式多重变换(EMT)，同样地，mts_idx也可以表示为AMT_idx、EMT_idx、tu_mts_idx、AMT_TU_idx、EMT_TU_idx、变换索引或变换组合索引，并且本公开不限于这些表达。
图1是作为应用本公开的实施方式的、执行视频信号的编码的编码器的示意性框图。
参照图1，编码器100可以被配置为包括图像划分单元110、变换单元120、量化单元130、解量化单元140、逆变换单元150、滤波单元160、解码图片缓冲器(DPB)170、帧间预测单元180、帧内预测单元185和熵编码单元190。
图像划分单元110可以将输入到编码器100中的输入图像(或图片或帧)划分为一个或更多个处理单元。例如，处理单元可以是编码树单元(CTU)、编码单元(CU)、预测单元(PU)或变换单元(TU)。
然而，这些术语仅是为了便于描述本公开而使用的，本公开不限于这些术语的定义。另外，在本公开中，为了便于描述，术语编码单元被用作在对视频信号进行编码或解码时所使用的单元，但是，本公开不限于此并且可以根据本公开适当地解释。
编码器100从输入图像信号中减去从帧间预测单元180或帧内预测单元185输出的预测信号(或预测块)，以生成残差信号(或残差块)，并且所生成的残差信号被发送给变换单元120。
变换单元120可以通过向残差信号应用变换技术来生成变换系数。变换处理可以应用于四叉树结构正方形块和按照二叉树结构、三元树结构或非对称树结构所划分的块(正方形或矩形)。
变换单元120可以基于多个变换(或变换组合)来执行变换，并且变换方案可以被称为多重变换选择(MTS)。MTS也可以称为自适应多重变换(AMT)或增强多重变换(EMT)。
MTS(或AMT或EMT)可以是指基于从多个变换(或变换组合)中自适应地选择的变换(或变换组合)所执行的变换方案。
多个变换(或变换组合)可以包括本公开的图6中所描述的变换(或变换组合)。在本公开中，变换或变换类型可以表示为例如DCT-类型2、DCT-II、DCT2或DCT-2。
变换单元120可以执行以下实施方式。
本公开提供了一种用于将变换系数块的特定区域划分为4×4块然后向每个划分块应用单独的二次变换的方法和结构，以及一种用于针对划分块分配和共享二次变换的方法。
将在本公开中更详细地描述其详细实施方式。
量化单元130可以对变换系数进行量化并且将量化后的变换系数发送给熵编码单元190，并且熵编码单元190可以对量化信号进行熵编码，并且输出熵编码后的量化信号，作为比特流。
尽管变换单元120和量化单元130被描述为单独的功能单元，但是本公开不限于此，并且可以组合成一个功能单元。解量化单元140和逆变换单元150也可以类似地组合为一个功能单元。
从量化单元130输出的量化信号可以用于生成预测信号。例如，逆量化和逆变换通过环路中的解量化单元140和逆变换单元150应用于量化信号，以重构残差信号。重构的残差信号被添加至从帧间预测单元180或帧内预测单元185输出的预测信号，以生成重构信号。
同时，由于在这样的压缩过程期间发生的量化误差，可能出现可见的块边界的劣化。这种现象被称为块状伪影，这是评估图像质量的关键因素之一。可以执行滤波处理以减少劣化。通过滤波处理，消除了块状劣化并减少了当前图片的误差，以提高图像质量。
滤波单元160对重构信号应用滤波，并且向再现装置输出应用后的重构信号，或者向解码图片缓冲器170发送所输出的重构信号。帧间预测单元170可以将发送至解码图片缓冲器180的滤波信号用作参考图片。这样，在帧间预测模式下将滤波后的图片用作参考图片，以提高图像质量和编码效率。
解码图片缓冲器170可以存储滤波后的图片，以便在帧间预测单元180中将滤波后的图片用作参考图片。
帧间预测单元180执行时间预测和/或空间预测，以便通过参考重构图片来去除时间冗余和/或空间冗余。这里，由于用于预测的参考图片是在前一次的编码/解码时以块为单位量化和解量化的变换信号，所以可能存在块状伪像或振铃伪像。
因此，帧间预测单元180可以通过应用低通滤波器，来以子像素为单位在像素之间插值信号，以解决由于这种信号的不连续性或量化而导致的性能下降。在此，子像素表示通过应用插值滤波器而生成的虚拟像素，整数像素表示存在于重构图片中的实际像素。作为插值方法，可以采用线性插值、双线性插值、维纳滤波器等。
将插值滤波器应用于重构图片以增强预测精度。例如，帧间预测单元180将插值滤波器应用于整数像素以生成插值像素，并且可以通过使用由插值像素组成的插值块作为预测块来执行预测。
同时，帧内预测单元185可以通过参考要经历当前编码的块附近的样本来预测当前块。帧内预测单元185可以执行以下处理以执行帧内预测。首先，可以准备参考样本，该参考样本是生成预测信号所必需的。另外，可以通过使用准备的参考样本来生成预测信号。此后，对预测模式进行编码。在这种情况下，可以通过参考样本填充和/或参考样本滤波来准备参考样本。由于参考样本经历了预测和重构处理，因此可能存在量化误差。因此，可以针对用于帧内预测的每个预测模式执行参考样本滤波处理，以减小这种误差。
通过帧间预测单元180或帧内预测单元185生成的预测信号可以用于生成重构信号或用于生成残差信号。
图2是作为应用本公开的实施方式的、执行视频信号的解码的解码器的示意性框图。
参照图2，解码器200可以被配置为包括解析单元(未示出)、熵解码单元210、解量化单元220、逆变换单元230、滤波单元240、解码图片缓冲器(DPB)单元250、帧间预测单元260和帧内预测单元265。
另外，可以通过再现装置来再现通过解码器200输出的重构视频信号。
解码器200可以接收从图1的编码器100输出的信号，并且可以通过熵解码单元210对接收到的信号进行熵解码。
解量化单元220通过使用量化步长信息从熵解码的信号获得变换系数。
逆变换单元230对变换系数进行逆变换以获得残差信号。
在此，本公开提供一种用于针对按照预测模式、块尺寸或块形状中的至少一个划分的每个变换配置组配置变换组合的方法，并且逆变换单元230可以基于按照本公开配置的变换组合来执行逆变换。此外，可以应用本公开中描述的实施方式。
逆变换单元230可以执行以下实施方式。
本公开提供了一种用于将变换系数块的特定区域划分为4×4块，然后对每个划分块应用单独的二次变换的方法和结构，以及一种用于针对划分块分配和共享二次变换的方法。
逆变换单元230可以推导与变换系数块内的特定区域相对应的二次变换，通过使用二次变换对特定区域内的每个子块执行逆二次变换，并且对应用了逆二次变换的块执行逆一次变换。这里，特定区域表示包括变换系数块的左上块的区域。
作为实施方式，特定区域被划分为4×4子块，并且对每个4×4子块执行逆二次变换。
作为实施方式，基于4×4子块的位置和预测模式中的至少一个，向4×4子块应用相同的4×4二次变换或应用不同的4×4二次变换。
作为实施方式，基于变换系数块的尺寸来确定特定区域是否被划分为4×4子块。
作为实施方式，该方法还包括检查4×4子块内的非零变换系数的数量是否等于或大于特定阈值，在该方法中根据检查结果确定是否向4×4子块应用4×4二次变换。
作为实施方式，当4×4子块内的非零变换系数的数量等于或大于特定阈值时，向4×4子块应用4×4二次变换，否则不向4×4子块应用4×4二次变换。
尽管解量化单元220和逆变换单元230被描述为单独的功能单元，但是本公开不限于此，而是可以组合为一个功能单元。
所获得的残差信号被添加至从帧间预测单元260或帧内预测单元265输出的预测信号，以生成重构信号。
滤波单元240对重构信号应用滤波，并且向生成装置输出应用后的重构信号，或者向解码图片缓冲器单元250发送所输出的重构信号。帧间预测单元250可以将发送给解码图片缓冲器单元260的滤波信号用作参考图片。
在本公开中，在编码器100的变换单元120和各个功能单元中描述的实施方式可以分别等同地应用于解码器的逆变换单元230和对应功能单元。
图3A至图3D示出了可以应用本公开的实施方式，图3A是用于描述基于四叉树(以下称为“QT”)的块分割结构的图，图3B是用于描述基于二叉树(以下称为“BT”)的块分割结构的图，图3C是用于描述基于三叉树(以下称为“TT”)的块分割结构的图，并且图3D是用于描述基于非对称树(以下称为“AT”)的块分割结构的图。
在视频编码中，可以基于四叉树(QT)来分割一个块。此外，可以使用QT来进一步递归地分割按照QT分割的一个子块。不再使用QT分割的叶块可以使用二叉树(BT)、三叉树(TT)和非对称树(AT)中的至少一种方法进行分割。BT可以具有水平BT(2N×N，2N×N)和垂直BT(N×2N，N×2N)的两种类型的分割。TT可以具有水平TT(2N×1/2N，2N×N，2N×1/2N)和垂直TT(1/2N×2N，N×2N，1/2N×2N)的两种类型的分割。AT可以具有水平向上AT(2N×1/2N，2N×3/2N)、水平向下AT(2N×3/2N，2N×1/2N)、垂直向左AT(1/2N×2N，3/2N×2N)和垂直向右AT(3/2N×2N，1/2N×2N)的四种类型的分割。可以使用BT、TT或AT进一步递归地分割每个BT、TT或AT。
图3A示出了QT分割的示例。可以按照QT将块A分割为四个子块A0、A1、A2和A3。子块A1可以按照QT分割为四个子块B0、B1、B2和B3。
图3B示出了BT分割的示例。不再按照QT分割的块B3可以分割为垂直BT C0和C1或水平BT D0和D1。如在块C0中一样，每个子块可以像水平BT E0和E1或垂直BT F0和F1的形式那样被进一步递归地分割。
图3C示出了TT分割的示例。不再按照QT分割的块B3可以被分割为垂直TT C0、C1和C2或水平TT D0、D1和D2。如在块C1中一样，每个子块可以像水平TT E0、E1和E2或垂直TTF0、F1和F2的形式那样被进一步递归地分割。
图3D示出了AT分割的示例。不再按照QT分割的块B3可以分割为垂直AT C0和C1或水平AT D0和D1。如在块C1中一样，每个子块可以像水平AT E0和E1或垂直TT F0和F1的形式那样被进一步递归地分割。
同时，BT分割、TT分割和AT分割可以一起分割。例如，按照BT分割的子块可以按照TT或AT分割。此外，按照TT分割的子块可以按照BT或AT分割。按照AT分割的子块可以按照BT或TT分割。例如，在水平BT分割之后，每个子块可以分割为垂直BT，或者在垂直BT分割之后，每个子块可以被分割为水平BT。两种类型的分割方法的分割顺序不同，但具有最终相同的分割形状。
此外，如果块被分割，则可以以各种方式来定义搜索块的顺序。通常，搜索是从左到右或从上到下执行的。搜索块可以表示用于确定是否分割每个分割子块的附加块的顺序，或者如果不再分割块，则可以表示每个子块的编码顺序，或者可以表示当在子块中参考另一相邻块的信息时的搜索顺序。
图4和图5是应用本公开的实施方式。图4例示了编码器内的变换和量化单元120/130以及解量化和变换单元140/150的示意性框图，并且图5例示了解码器内的解量化和变换单元220/230的示意性框图。
参照图4，变换和量化单元120/130可以包括一次变换单元121、二次变换单元122和量化单元130。解量化和变换单元140/150可以包括解量化单元140、逆二次变换单元151和逆一次变换单元152。
参照图5，解量化和变换单元220/230可以包括解量化单元220、逆二次变换单元231和逆一次变换单元232。
在本公开中，当执行变换时，可以通过多个步骤来执行变换。例如，如在图4中，根据算法，可以应用一次变换和二次变换的两个步骤，或者可以使用更多的变换步骤。在这种情况下，一次变换可以称为核心变换。
一次变换单元121可以将一次变换应用于残差信号。在这种情况下，可以在编码器和/或解码器中以表格形式预定义一次变换。
离散余弦变换类型2(以下称为“DCT2”)可以应用于一次变换。
另选地，离散正弦变换类型7(以下称为“DST7”)可以应用于特定情况。例如，在帧内预测模式中，DST7可以应用于4×4块。
此外，一次变换可以采用多重变换选择(MTS)的各种变换(DST 7、DCT 8、DST 1和DCT 5)的组合。例如，可以采用图6。
二次变换单元122可以向一次变换后的信号应用二次变换，并且这里，可以在编码器和/或解码器的表中预定义二次变换。
作为实施方式，二次变换可以有条件地采用不可分离的二次变换(以下称为“NSST”)。例如，NSST可以仅应用于帧内预测块，并且可以具有适用于每个预测模式组的变换集。
在此，可以基于相对于预测方向的对称性来配置预测模式组。例如，由于预测模式52和预测模式16基于预测模式34(对角线方向)是对称的，因此可以通过形成一个组来应用相同的变换集。在这种情况下，当应用针对预测模式52的变换时，因为预测模式52与预测模式16具有相同的变换集，所以输入数据被转置然后应用。
同时，由于在平面模式和DC模式的情况下不存在关于方向的对称性，因此每个模式具有不同的变换集，并且相应的变换集可以包括两个变换。关于其余方向模式，每个变换集可以包括三个变换。
作为另一实施方式，二次变换可以采用多重变换选择(MTS)的各种变换(DST 7、DCT 8、DST 1和DCT 5)的组合。例如，可以采用图6。
作为另一实施方式，NSST可以不应用于整个一次变换后的块，而可以仅应用于左上8×8区域。例如，当块尺寸为8×8或更大时，应用8×8NSST，而当块尺寸小于8×8时，应用4×4NSST，并且在这种情况下，块被划分为4×4块，然后向每个划分块应用4×4NSST。
作为另一实施方式，即使在4×N/N×4(N>＝16)的情况下，也可以应用4×4NSST。
量化单元130可以对二次变换信号执行量化。
解量化单元140和逆变换单元150以相反的方式执行上述处理，并且将省略其冗余描述。
图5是解码器中的解量化单元220和逆变换单元230的示意性框图。
参照以上图5，解量化单元220和逆变换单元230可以包括解量化单元220、逆二次变换单元231和逆一次变换单元232。
解量化单元220通过使用量化步长信息从熵解码后的信号获得变换系数。
逆二次变换单元231对变换系数执行逆二次变换。在此，逆二次变换表示以上图4中所描述的二次变换的逆变换。
作为另一实施方式，二次变换可以采用多重变换选择(MTS)的各种变换(DST 7、DCT 8、DST 1和DCT 5)的组合。例如，可以采用图6。
逆一次变换单元232对逆二次变换的信号(或块)执行逆一次变换，并获得残差信号。在此，逆一次变换表示以上图4中描述的一次变换的逆变换。
作为实施方式，一次变换可以采用多重变换选择(MTS)的各种变换(DST 7、DCT 8、DST 1和DCT 5)的组合。例如，可以采用图6。
作为本公开的实施方式，DST 7可以应用于一次变换。
作为本公开的实施方式，DCT 8可以应用于一次变换。
本公开可以提供一种用于为按照预测模式、块尺寸或块形状中的至少一个划分的每个变换配置组配置变换组合的方法，并且逆一次变换单元232可以基于按照本公开所配置的变换组合来执行逆变换。此外，可以应用本公开中描述的实施方式。
图6是示出了作为应用本公开的实施方式的、应用多重变换选择(MTS)的变换配置组的表。
应用了多重变换选择(MTS)的变换配置组
在本公开中，用于变换配置组Gi的第j个变换组合候选由下式1所示的对来表示。
[式1]
(H(Gi,j),V(Gi,j))
在此，H(Gi，j)表示第j个候选的水平变换，V(Gi，j)表示第j个候选的垂直变换。例如，在图6中，可以表示H(G3，2)＝DST 7，V(G3，2)＝DCT 8。依据上下文，指配给H(Gi，j)或V(Gi，j)的值可以是标称值以区分变换，如在以上示例中，或者可以是指示变换的索引值，或者可以是用于变换的2维(D)矩阵。
此外，在本公开中，用于DCT和DST的2D矩阵值可以表示为如下式2和3所示。
[式2]
DCT类型2：DCT类型8：/>
[式3]
DST类型7：DST类型4：/>
这里，无论变换是DST还是DCT都用S或C表示，类型号以罗马数字形式表示为上标，并且下标的N表示该变换是N×N变换。此外，在诸如和/>的2D矩阵中，假设列向量形成了变换基础。
参照以上图6，可以基于预测模式来确定变换配置组，并且组的数量可以是总共六个组G0至G5。另外，G0至G4对应于应用帧内预测的情况，并且G5表示应用于通过帧间预测生成的残差块的变换组合(或变换集和变换组合集)。
一种变换组合可以包括应用于相应2D块的行的水平变换(或行变换)以及应用于列的垂直变换(或列变换)。
在此，全部变换配置组中的每个可以具有四个变换组合候选。可以通过0至3的变换组合索引来选择或确定四个变换组合，并且变换组合索引可以被编码并从编码器向解码器发送。
作为实施方式，根据帧内预测模式，通过帧内预测获得的残差数据(或残差信号)可以具有不同的统计特性。因此，如以上图6所示，除一般余弦变换之外的变换可以应用于每个帧内预测模式。
参照以上图6，例示了使用35个帧内预测模式的情况和使用67个帧内预测模式的情况。多个变换组合可以应用于在每个帧内预测模式列中划分的每个变换配置组。例如，多个变换组合可以包括四个(行方向变换和列方向变换)组合。作为特定示例，在组0的行(水平)方向和列(垂直)方向上可以应用DST-7和DST-5，结果，总共四个组合可用。
由于总共四个变换核组合应用于每个帧内预测模式，因此可以每个变换单元发送用于选择变换核组合中的一个的变换组合索引。在本公开中，变换组合索引可以被称为MTS索引并且表示为mts_idx。
此外，除了以上图6中表示的变换核之外，还可以出现由于残差信号的特性DCT2对于行方向和列方向二者均是最佳的情况。因此，针对每个编码单元定义MTS标志以自适应地执行变换。在此，当MTS标志为0时，DCT2可以应用于行方向和列方向两者，而当MTS标志为1时，可以通过MTS索引选择或确定四个组合中的一个。
作为实施方式，当MTS标志为1时，如果用于一个变换单元的非零变换系数的数量不大于阈值，则DST-7可以应用于行方向和列方向两者而无需应用以上图6的变换核。例如，阈值可以被配置为2，阈值可以基于块尺寸或变换单元的尺寸而以不同方式配置。这也适用于本公开中的其他实施方式。
作为实施方式，如果通过首先解析变换系数值使非零变换系数的数量不大于阈值，则可以通过在不解析MTS索引的情况下应用DST-7来减少附加信息传输量。
作为实施方式，当MTS标志为1时，如果非零变换系数的数量大于一个变换单元的阈值，则可以解析MTS索引，并且可以基于MTS索引确定水平变换和垂直变换。
作为实施方式，仅当变换单元的宽度和高度二者等于或小于32时，才可以应用MTS。
作为实施方式，可以通过离线培训来预配置以上图6。
作为实施方式，MTS索引可以被定义为可以同时指示水平变换和垂直变换的一个索引。另选地，MTS索引可以分别定义水平变换索引和垂直变换索引。
作为实施方式，可以在序列、图片、切片、块、编码单元、变换单元或预测单元的至少一级中定义MTS标志或MTS索引。例如，可以在序列参数集(SPS)、编码单元或变换单元的至少一级中定义MTS标志或MTS索引。
作为另一实施方式，可以在不依赖于MTS标志、预测模式和/或块形状的情况下配置与变换索引相对应的变换组合(水平变换或垂直变换)。例如，可以由DCT2、DST7和/或DCT8中的至少一个来配置变换组合。作为特定示例，当变换索引为0、1、2、3或4时，每个变换组合可以是(DCT2，DCT2)、(DST7，DST7)、(DCT8，DST7)、(DST7，DCT8)、或(DCT8，DCT8)。
图7是示出了作为应用本公开的实施方式的、执行多重变换选择(MTS)的编码处理的流程图。
在本公开中，基本描述了变换分别应用于水平方向和垂直方向的实施方式，但是变换组合甚至可以由不可分离的变换组成。
另选地，可以通过可分离的变换和不可分离的变换的混合来配置变换组合。在这种情况下，当使用不可分离的变换时，可能不需要行/列变换选择或水平/垂直方向选择，并且仅当选择了可分离的变换时，才可以使用以上图6的变换组合。
此外，可以与一次变换或二次变换无关地应用由本公开提出的方案。也就是说，不限制所述方案应该仅应用于一次变换和二次变换二者中的任何一个，所述方案可以应用于一次变换和二次变换二者。在此，一次变换可以表示用于首先对残差块进行变换的变换，而二次变换可以表示用于向作为一次变换的结果而生成的块应用变换的变换。
首先，编码器可以确定与当前块相对应的变换配置组(S710)。这里，变换配置组可以表示以上图6的变换配置组，并且本公开不限于此，并且变换配置组可以包括其他变换组合。
编码器可以针对变换配置组中可用的候选变换组合执行变换(S720)。
作为执行变换的结果，编码器可以确定或选择具有最小速率失真(RD)成本的变换组合(S730)。
编码器可以对与所选择的变换组合相对应的变换组合索引进行编码(S740)。
图8是示出了作为应用本公开的实施方式的、执行多重变换选择(MTS)的解码处理的流程图。
首先，解码器可以确定当前块的变换配置组(S810)。
解码器可以从视频信号解析(或获得)变换组合索引，并且在此，变换组合索引可以对应于变换配置组中的多个变换组合中的任何一个(S820)。例如，变换配置组可以包括离散正弦变换类型(DST)7和离散余弦变换类型(DST)8。变换组合索引可以称为MTS索引。
作为实施方式，可以基于当前块的预测模式、块尺寸或块形状中的至少一个来配置变换配置组。
解码器可以推导与变换组合索引相对应的变换组合(S830)。在此，变换组合可以包括水平变换和垂直变换，并且可以包括DST-7或DCT-8中的至少一个。
此外，变换组合可以表示以上图6中描述的变换组合，但是本公开不限于此。即，依据本公开中的其他实施方式，可以通过其他变换组合来配置变换组合。
解码器可以基于变换组合对当前块执行逆变换(S840)。当变换组合包括行(水平)变换和列(垂直)变换时，可以在首先应用行(水平)变换之后应用列(垂直)变换。然而，本公开不限于此，并且变换顺序可以相反，或者当变换组合包括不可分离的变换时，可以立即应用不可分离的变换。
作为实施方式，当垂直变换或水平变换是DST-7或DCT-8时，可以将DST-7的逆变换或DCT-8的逆变换应用于每列，然后应用于每行。
作为实施方式，关于垂直变换或水平变换，不同的变换可以应用于每行和/或每列。
作为实施方式，可以基于指示是否执行MTS的MTS标志来获得变换组合索引。即，当根据MTS标志执行MTS时，可以获得变换组合索引。
作为实施方式，解码器可以检查非零变换系数的数量是否大于阈值。在这种情况下，当非零变换系数的数量大于阈值时，可以获得变换组合索引。
作为实施方式，可以在序列、图片、切片、块、编码单元、变换单元或预测单元的至少一级中定义MTS标志或MTS索引。
作为实施方式，仅当变换单元的宽度和高度二者等于或小于32时，才可以应用逆变换。
另一方面，作为另一实施方式，可以同时执行确定变换配置组的处理和解析变换组合索引的处理。另选地，可以在编码器和/或解码器中预先配置并且省略以上步骤S810。
图9是用于描述作为应用本公开的实施方式的对MTS标志和MTS索引进行编码的处理的流程图。
编码器可以确定是否向当前块应用了多重变换选择(MTS)(S910)。
当应用多重变换选择(MTS)时，编码器可以对MTS标志＝1进行编码(S920)。
另外，编码器可以基于当前块的预测模式、水平变换和垂直变换中的至少一个来确定MTS索引(S930)。在此，MTS索引可以表示指示针对每个帧内预测模式的多个变换组合中的任何一个的索引，并且可以针对每个变换单元发送MTS索引。
当确定了MTS索引时，编码器可以对MTS索引进行编码(S940)。
另一方面，当没有应用多重变换选择(MTS)时，编码器可以对MTS标志＝0进行编码(S950)。
图10是用于描述作为应用本公开的实施方式的、基于MTS标志和MTS索引向行或列应用了水平变换或垂直变换的解码处理的流程图。
解码器可以从比特流解析MTS标志(S1010)。在此，MTS标志可以指示是否向当前块应用了多重变换选择(MTS)。
解码器可以基于MTS标志确定是否向当前块应用了多重变换选择(MTS)(S1020)。例如，可以检查MTS标志是否为1。
当MTS标志为1时，解码器可以检查非零变换系数的数量是否大于(或者是等于或大于)阈值(S1030)。例如，阈值可以被配置为2，阈值可以基于块尺寸或变换单元的尺寸来以不同方式配置。
当非零变换系数的数量大于阈值时，解码器可以解析MTS索引(S1040)。这里，MTS索引可以表示针对每个帧内预测模式或帧间预测模式的多个变换组合中的任何一个，并且可以针对每个变换单元发送MTS索引。另选地，MTS索引可以表示指示在预配置的变换组合表中所定义的任何一个变换组合的索引，并且在此，预配置的变换组合表可以指以上图6，但是本公开限于此。
解码器可以基于MTS索引和预测模式中的至少一个来推导或确定水平变换和垂直变换(S1050)。
另选地，解码器可以推导对应于MTS索引的变换组合。例如，解码器可以推导或确定与MTS索引相对应的水平变换和垂直变换。
同时，当非零变换系数的数量不大于阈值时，解码器可以针对每列应用预配置的垂直逆变换(S1060)。例如，垂直逆变换可以是DST7的逆变换。
另外，解码器可以针对每行应用预配置的水平逆变换(S1070)。例如，水平逆变换可以是DST7的逆变换。即，当非零变换系数的数量不大于阈值时，可以使用由编码器或解码器预先配置的变换核。例如，可以使用在以上图6所例示的变换组合表中未定义但是广泛使用的变换核。
同时，当MTS标志为0时，解码器可以针对每列应用预配置的垂直逆变换(S1080)。例如，垂直逆变换可以是DCT2的逆变换。
另外，解码器可以针对每行应用预配置的水平逆变换(S1090)。例如，水平逆变换可以是DCT2的逆变换。即，当MTS标志为0时，可以使用在编码器或解码器中预先配置的变换核。例如，可以使用在以上图6所例示的变换组合表中未定义但是广泛使用的变换核。
图11是作为应用本公开的实施方式的、基于变换相关参数执行逆变换的流程图。
应用了本公开的解码器可以获得sps_mts_intra_enabled_flag或sps_mts_inter_enabled_flag(S1110)。在此，sps_mts_intra_enabled_flag指示在帧内编码单元的残差编码语法中是否存在tu_mts_flag。例如，当sps_mts_intra_enabled_flag＝0时，在帧内编码单元的残差编码语法中不存在tu_mts_flag；当sps_mts_intra_enabled_flag＝0时，在帧内编码单元的残差编码语法中存在tu_mts_flag。另外，sps_mts_inter_enabled_flag指示在帧间编码单元的残差编码语法中是否存在tu_mts_flag。例如，当sps_mts_inter_enabled_flag＝0时，在帧间编码单元的残差编码语法中不存在tu_mts_flag；当sps_mts_inter_enabled_flag＝0时，在帧间编码单元的残差编码语法中存在tu_mts_flag。
解码器可以基于sps_mts_intra_enabled_flag或sps_mts_inter_enabled_flag获得tu_mts_flag(S1120)。例如，当sps_mts_intra_enabled_flag＝1或sps_mts_inter_enabled_flag＝1时，解码器可以获得tu_mts_flag。这里，tu_mts_flag指示是否向亮度变换块的残差样本应用了多重变换选择(以下称为“MTS”)。例如，当tu_mts_flag＝0时，MTS没有应用于亮度变换块的残差样本，以及当tu_mts_flag＝1时，MTS应用于亮度变换块的残差样本。
作为另一示例，本公开的实施方式中的至少一个可以应用于tu_mts_flag。
解码器可以基于tu_mts_flag获得mts_idx(S1130)。例如，当tu_mts_flag＝1时，解码器可以获得mts_idx。在此，mts_idx指示沿当前变换块的水平和/或垂直方向向亮度残差样本应用了哪个变换核。
例如，本公开的实施方式中的至少一个可以应用于mts_idx。作为具体示例，可以应用以上图6的实施方式中的至少一个。
解码器可以推导与mts_idx相对应的变换核(S1140)。例如，与mts_idx相对应的变换核可以通过被划分为水平变换和垂直变换来定义。
作为另一示例，可以向水平变换和垂直变换应用不同的变换核。然而，本公开不限于此，并且可以向水平变换和垂直变换应用相同的变换核。
作为实施方式，可以如下表1中所示地定义mts_idx。
[表1]
mts_idx[x0][y0] trTypeHor trTypeVer
0 0 0
1 1 1
2 2 1
3 1 2
4 2 2
另外，解码器可以基于变换核来执行逆变换(S1150)。
可以使用以上实施方式中的每个，但是本公开不限于此，并且可以与以上实施方式和本公开的其他实施方式结合使用。
作为本公开的另一实施方式，描述了执行变换过程的解码处理。
解码器可以检查变换尺寸nTbS(S10)。在此，变换尺寸nTbS可以是表示缩放后的变换系数的水平样本尺寸的变量。
解码器可以检查变换核类型trType(S20)。在此，变换核类型trType可以是表示变换核的类型的变量，并且可以应用本公开的各种实施方式。变换核类型trType可以包括水平变换核类型trTypeHor和垂直变换核类型trTypeVer。
参照以上表1，当变换核类型trType为0时，变换核类型可以表示DCT2，当变换核类型trType为1时，变换核类型可以表示DST7，当变换核类型trType为2时，变换核类型可以表示DCT8。
解码器可以基于变换尺寸nTbS或变换核类型中的至少一个来执行变换矩阵乘法(S30)。
作为另一示例，当变换核类型为1并且变换尺寸为4时，在执行变换矩阵乘法时可以应用预定的变换矩阵1。
作为另一示例，当变换核类型为1并且变换尺寸为8时，当执行变换矩阵乘法时，可以应用预定的变换矩阵2。
作为另一示例，当变换核类型为1并且变换尺寸为16时，当执行变换矩阵乘法时，可以应用预定的变换矩阵3。
作为另一示例，当变换核类型为1并且变换尺寸为32时，在执行变换矩阵乘法时可以应用预定义的变换矩阵4。
类似地，当变换核类型为2且变换尺寸为4、8、16或32时，可以分别应用预定义的变换矩阵5、6、7和8。
在此，预定义的变换矩阵1至8中的每个可以对应于各种类型的变换矩阵中的任何一种。作为示例，可以应用以上图6中所例示的类型的变换矩阵。
解码器可以基于变换矩阵乘法来推导变换样本(S40)。
图12是示出了作为应用本公开的实施方式的、在NSST中为每个帧内预测模式分配变换集的表。
不可分离的二次变换(NSST)
二次变换单元可以向一次变换后的信号应用二次变换，并且这里，可以在编码器和/或解码器中以表来定义二次变换。
作为实施方式，二次变换可以有条件地采用不可分离的二次变换(以下称为“NSST”)。例如，NSST可以仅应用于帧内预测块，并且可以具有适用于每个预测模式组的变换集。
在此，可以基于相对于预测方向的对称性来配置预测模式组。例如，由于预测模式52和预测模式16基于预测模式34(对角线方向)是对称的，因此可以通过形成一个组来应用相同的变换集。在这种情况下，当应用针对预测模式52的变换时，因为预测模式52与预测模式16具有相同的变换集，所以输入数据被转置然后被应用。
同时，由于在平面模式和DC模式的情况下不存在关于方向的对称性，因此每个模式具有不同的变换集，并且相应的变换集可以包括两个变换。关于其余的定向模式，每个变换集可以包括三个变换。然而，本公开不限于此，并且各个变换集可以包括多个变换。
图13是作为应用本公开的实施方式的、Givens旋转的计算流程图。
作为另一实施方式，NSST可以不应用于整个一次变换块，而可以仅应用于左上8×8区域。例如，当块尺寸为8×8或更大时，应用8×8 NSST，而当块尺寸小于8×8时，应用4×4NSST，并且在这种情况下，块被划分为4×4块，然后向每个划分块应用4×4 NSST。
作为另一实施方式，即使在4×N/N×4(N＞＝16)的情况下，也可以应用4×4NSST。
将参照图12至图15以及本公开中的其他实施方式更详细地描述NSST、4×4 NSST和8×8NSST。
由于8×8 NSST和4×4 NSST二者遵循都本公开中描述的变换组合配置并且是不可分离的变换，因此8×8 NSST接收64个数据并输出64个数据，而4×4 NSST具有16个输入和16个输出。
8×8 NSST和4×4 NSST二者由Givens旋转的层次组合来配置。下式4中示出了与一个Givens旋转相对应的矩阵，并且下式5中示出了矩阵乘积。
[式4]
[式5]
tm＝xmcosθ-xnsinθ
tn＝xmsinθ+xncosθ
如以上图13所示，由于一个Givens旋转使两个数据旋转，因此为了处理64个数据(针对8×8NSST)或16个数据(针对4×4 NSST)，总共需要32个或8个Givens旋转。
因此，使用32或8的束来形成Givens旋转层。通过确定的置换将一个Givens旋转层的输出数据作为下一Givens旋转层的输入数据进行传输。
图14例示了作为应用本公开的实施方式的、由给定旋转层和置换组成的4×4NSST中的一轮配置。
参照以上图14，例示了在4×4 NSST的情况下顺序地处理四个Givens旋转层。如以上图14所示，通过确定的置换(即，混洗)将一个Givens旋转层的输出数据作为下一Givens旋转层的输入数据进行传输。
如以上图14所示，有规律地确定要置换的模式，并且在4×4 NSST的情况下，四个Givens旋转层和相应的置换组合在一起以形成一轮。
在8×8 NSST的情况下，六个Givens旋转层和相应的置换形成一轮。4×4 NSST经过两轮，而8×8 NSST经过四轮。不同的轮次使用相同的置换模式，但是应用的Givens旋转角度不同。因此，需要存储构成每个变换的全部Givens旋转的角度数据。
作为最后一步，对通过Givens旋转层输出的数据进一步执行一次置换，并针对每个变换分别存储相应的置换信息。在正向NSST中，最后执行相应的置换，而在反向NSST中，与其相反，首先应用相应的逆置换。
在逆NSST的情况下，应用于正向NSST的Givens旋转层和置换以相反次序执行，并且即使对于每个Givens旋转角度采用负值也执行旋转。
图15是用于描述作为应用本公开的实施方式的、正向简化变换和逆向简化变换的操作的框图。
简化二次变换(RST)
当假设表示一个变换的正交矩阵具有N×N形式时，简化变换(以下称为“RT”)仅留下N个变换基本向量当中的R个变换基本向量(R<N)。下式6给出了用于生成变换系数的正向RT的矩阵。
[式6]
由于用于逆向RT的矩阵变为正向RT矩阵的转置矩阵，因此正向RT和逆向RT的应用如以上图15中所示。
当假设向经过一次变换的变换块的左上8×8块应用RT的情况时，RT可以称为8×8简化二次变换(8×8RST)。
当以上式6的R值为16时，正向8×8RST具有16×64矩阵形式，而逆向8×8RST具有64×16矩阵形式。
此外，甚至8×8RST也可以应用与图12中例示的变换集配置相同的变换集配置。即，可以根据以上图12中的变换集来应用相应的8×8RST。
作为实施方式，当一个变换集根据以上图12中的帧内预测模式而包括两个或三个变换时，可以配置包括不应用二次变换的情况在内的最多4个变换中的一个，以进行选择。在此，一个变换可以视为单位矩阵。
当索引0、1、2和3分别被指配给四个变换时，可以针对每个变换块发信号通知称为NSST索引的语法元素，从而指定相应变换。即，在NSST的情况下，可以通过NSST索引为8×8左上块指定8×8NSST，并且可以在RST配置中指定8×8RST。此外，在这种情况下，索引0可以分配给不应用单位矩阵(即，二次变换)的情况。
当应用上式6中示出的正向8×8RST时，生成了16个有效变换系数，结果，可以认为构成8×8区域的64个输入数据被减少至16个输出数据。从二维区域的角度来看，仅四分之一区域填充有有效变换系数。因此，图16中的4×4左上区域可以填充有通过应用正向8×8RST而获得的16个输出数据。
图16是例示了作为应用本公开的实施方式的、根据逆扫描顺序从第64向第17执行逆扫描的处理的图。
以上图16例示了当正向扫描次序从1开始(以正向扫描次序)时，从第17个系数到第64人系数的扫描。但是，以上图16例示了逆扫描，并且例示了从第64个系数到第17个系数执行逆扫描。
参照以上图16，左上方的4×4区域是感兴趣区域(ROI)，感兴趣区域(ROI)被分配了有效变换系数，并且其余区域为空。也就是说，默认值0可以被分配给其余区域。
如果在除以上图16的ROI区域之外的区域中存在除0之外的有效变换系数，则这意味着不应用8×8RST，结果，在这种情况下，可以省略与其对应的NSST索引编码。
相反，如果在除以上图16的ROI区域以外的区域中不存在非零变换系数(如果应用8×8RST，当0被分配给除ROI以外的区域时)，则可能会应用8×8RST，因此，可以对NSST索引进行编码。
这样，因为必须检查非零变换系数的存在，所以可以在残差编码处理之后执行有条件的NSST索引编码。
本公开提出了一种用于将可以应用二次变换的特定区域划分为更小的块，然后应用与每个块相对应的二次变换的方法。例如，特定区域可以是具有最多8×8尺寸的左上区域，但是本公开不限于此。针对每个划分块，二次变换可以相同或不同。
根据本公开，由于应用了简化变换，因此可以期望降低复杂度，并且共享划分块之间的变换以甚至减少所使用的变换的数量。此外，也可以任意配置用于划分块和分配的变换类型的方法，以调整编码性能和复杂度之间的折衷。
图17例示了作为应用本公开的实施方式的、要应用二次变换的8×8左上划分区域。
实施方式1：将变换系数块的特定区域划分为4×4个块，然后向每个划分块应用单 独的二次变换
对于8×8或更大的变换块，可以向8×8左上区域应用8×8NSST或8×8RST，而小于8×8的变换块可以划分为4×4块，然后可以向4×4块中的每一个应用4×4NSST或另一二次变换(例如，4×4LGT等)。
因此，分别需要用于8×8块的二次变换和用于4×4块的二次变换。例如，当使用以上图12的变换集时，需要总共103个8×8二次变换和总共103个4×4二次变换。
如果应用不可分离的二次变换，则8×8块的二次变换的复杂度可能仍然大于4×4块的二次变换。例如，在正方形矩阵形式的变换的情况下，由于8×8二次变换是64×64矩阵，而4×4二次变换是16×16矩阵，因此计算量和所需存储量可能出现16倍的差异。
因此，如果可以用4×4二次变换代替8×8二次变换，则可以降低复杂度。如图17所示，应用8×8二次变换的左上8×8块可以划分为四个4×4块。
在这种情况下，可以向以上图17的区域A、B、C和D应用不同的4×4二次变换。例如，当使用以上图12的变换集，并为所有8×8二次变换中的每个分配用于A、B、C和D的4×4二次变换时(即，当应用于每个对应区域的变换不同时)，应用于左上8×8区域的4×4二次变换变为103×4＝412个。
如果以上图17的块当中的一些块被配置为彼此共享二次变换，则可以减少所需变换的总数。
当应用于区域X的变换称为Gx时，针对以上图17，相应变换可以由GA、GB、GC和GD表示。共享变换的示例如下。
实施方式1-1)GA＝GB＝GC＝GD
在本公开中，可以向组成左上8×8区域的所有4×4块应用相同的4×4二次变换。
实施方式1-2)GA，GB＝GC＝GD
在本公开中，可以向左上4×4块分配单独的4×4二次变换，并且可以向其他剩余的4×4块等同地应用另一4×4二次变换。作为具体示例，当应用4×4RST时，可以仅向左上4×4区域应用4×4RST，而可以不向其余区域应用RST(即，应用恒等变换)或可以向其余区域分配值0(即，应用零矩阵)。这甚至适用于其他实施方式。
实施方式1-3)GA＝GB＝GC，GD
在本公开中，可以仅向左上8×8中的右下4×4块分配单独的4×4二次变换，并且可以向其余的4×4块等同地应用另一4×4二次变换。
实施方式1-4)GA，GB＝GC，GD
在本公开中，可以向左上8×8中的左上4×4块和右下4×4块分配单独的4×4二次变换，并可以向两个其余4×4块B和C等同地应用单独的4×4二次变换。
由于针对上图17的四个块可以应用至少一个变换到多达四个变换，因此，可以在分配变换时应用更多的实施方式。
例如，如实施方式1-2中那样相同的变换可以应用于所有情况，或者可以根据帧内预测模式应用不同的变换。作为具体示例，在以上图12的变换集中，以上实施方式1-1)可以应用于变换集#16，并且以上实施方式1-3)可以应用于变换集#30。
为了减少变换的数量，一些组可以配置为使用相同的GA、GB、GC和GD。例如，当应用以上实施方式1-2)时，如果两个相邻的预测模式组使用相同的变换集，则需要总共110(＝2×2×2+17×3×2)个4×4二次变换。例如，相邻的预测模式分组为0、1、(2，3)、(4，5)、(6，7)、(8，9)、…、(32，33)、34以应用相同的变换集。但是，预测模式0、1和34可以不分组。
图18例示了作为应用本公开的实施方式的、应用了4×4二次变换的最大8×8左上划分区域的分区。
实施方式2：在具有各种尺寸和形状的块之间共享4×4二次变换
当应用二次变换的区域限制为最大为8×8尺寸的左上区域，并且以4×4块为单位应用二次变换时，针对最大为8×8尺寸的左上区域的分区可以表示为图18的(a)、(b)、(c)和(d)(4×4、8×4、4×8、和8×8)。
参照以上图18中，当8×8区域被划分为A、B、C和D的四个4×4区域时，在具有8×8尺寸的区域中占据相同位置的4×4块的标签甚至也原样应用于小于8×8的区域，以将区域表示为A、B和C。
作为本公开的实施方式，可以向位于相同位置的4×4块应用相同的二次变换，而与块的尺寸和形状无关。例如，在上图18中，GA可以共同应用于位置A的块，GB可以应用于B，GC可以应用于C，并且GD可以应用于D。当应用这种配置时，用于尺寸小于8×8的变换系数块的变换集和用于尺寸等于或大于8×8的变换系数块的变换集可以不用单独配置，而是被统一为一个。
当不同的4×4二次变换应用于区域A、B、C和D并且应用以上图12的变换集配置时，具有所有尺寸的变换系数块所需的4×4次变换的数量变为103×4＝412个。
然而，如实施方式1中那样，如果一些块共享变换，则可以进一步减少总变换数。例如，在以上实施方式1-2)的情况下，4×4二次变换的总数变为103×2＝206个，结果，所需变换的数量减半。
实施方式3：对4×4划分块中的每一个块有条件地应用二次变换
当针对一个变换块确定了具有最多8×8尺寸的左上区域并且应用实施方式1中的配置时，可以向全部4×4划分块中的每一个应用4×4二次变换。如同以上实施方式1中一样，在4×4块之间，可以应用相同的4×4二次变换或可以应用不同的4×4二次变换。
在本公开的实施方式中，可以通过NSST索引(或者可以称为变换索引)来确定要应用的变换。
如果NSST索引不为0，则向以上图17中的全部四个4×4块应用相应的4×4二次变换。相反，如果NSST索引为0，则没有变换应用于全部4×4块。
在此，相应的4×4二次变换可以被配置为针对每个4×4块仅当满足特定条件时才应用。例如，当每个4×4块中的非零系数的数量等于或大于特定阈值时，相应4×4二次变换可以被配置为被应用。
如上所述，当根据是否满足条件来确定是否应用变换时，根据针对以上图17中的四个区域(或在以上图18中，(a)一个区域，(b)和(c)两个区域，以及(d)四个区域)是否满足条件，可以向某些区域应用相应变换，而不向其他区域应用相应变换。
如果阈值为2并且针对每个4×4块的非零变换系数的数量等于或小于1，则不应用4×4二次变换。
为了使用根据阈值的条件变换，应该排除在编码器中应用二次变换之后非零变换系数的数量小于阈值的情况。
实施方式4：可用的4×4二次变换类型的多样化
在以上实施方式(实施方式1、2和3)中，描述了以下示例，其中具有最多8×8尺寸的左上区域被划分为4×4块，并且针对每个4×4块应用相应的二次变换。在此，没有关于要应用哪种类型的二次变换的假设。从根本上讲，也可以允许任何类型的二次变换，并且该变换可以具有不可分离的形式或可分离的形式。此外，也可以应用许多类型的已知变换(例如，SOT、RST、LGT和NSST)。
如果对可用的二次变换的类型没有约束，则可以在各种情况下应用不同的变换。在下文中，将描述一些可用的实施方式。
实施方式4-1)在本公开中，称为P的变换类型可以应用于具有8×8尺寸或更大的变换块，并且称为Q的变换类型可以应用于尺寸小于8×8尺寸的变换块。
实施方式4-2)在本公开中，可以以不同方式配置应用于以上图17的区域A的变换的类型和应用于其余区域B、C和D的变换类型。即，可以针对每个区域以不同方式配置变换。例如，就性能而言，应用更复杂和高端的变换可能是有利的，因为非零变换系数更多集中在左上4×4区域A上。
实施方式4-3)在本公开中，可以针对每个预测模式组应用不同的变换。例如，称为P的变换类型可以应用于平面模式和DC模式，并且称为Q的变换类型可以应用于其余的定向模式。
实施方式4-4)在本公开中，仅保留一些变换系数的配置(诸如，RST)甚至可以应用于诸如LGT或NSST之类的变换。即，可以配置为保留通过应用LGT或NSST所生成的N个变换系数当中的一些的L(L＜N)个变换系数。如果在向LGT应用这样的配置时将变换称为简化LGT(RLGT)，而在向NSST应用这样的配置时将变换称为简化NSST(RNSST)，则正常SOT、正常LGT或正常NSST可以被配置为应用于以上图17的区域A，并且RST、RLGT或RNSST可以被配置为应用于区域B、C和D。
如以上实施方式4-2)中所提及的，由于集中在左上4×4区域A上的非零变换系数越多，因此保留的变换系数(在应用二次变换之后生成的变换系数)越多，以使逆变换后重构信号的误差最小化。
图19是用于描述作为应用本公开的实施方式的、将应用了二次变换的区域划分为M个区域并向每个位置分配索引的方法的图，并且图20是用于描述作为应用本公开的实施方式的、在对应用了二次变换的区域进行划分时，将变换划分至划分区域的方法的图。
实施方式5：将二次变换应用区域划分为任意形状时的变换配置
当由所有N个位置组成的二次变换应用区域分区为M个区域(P0，P1，...，PM-1)并且每个Pi(i＝0、1，...，M-1)是针对N位置的索引集时，可以分配与每个Pi相对应的二次变换，并且二次变换可以由表示。例如，如图19所示，当以光栅扫描顺序将索引0至63分配给构成8×8区域的各个位置时，每个Pi成为整个索引集{0、1、2，…，62、63}的子集并且满足Pi∩Pj＝Φ(i，j＝0，1，…，M-1，i≠j)。
此外，当Pi的尺寸(即，内部元素的数量)由|Pi|表示时，满足
使用该标记符号的实施方式如下。
实施方式5-1)|P0|＝32，|P1|＝32
在图20的(a)中，P0和P1分别由0和1表示。具有32个输入数据的二次变换可以应用于两个区域中的每个。在这种情况下，当变换不是RST、RLGT和RNSST时，输出变换系数的数量也变为32。在这里，输入数据可以是应用了一次变换的变换系数块的左上8×8区域的子集。
实施方式5-2)|P0|＝32，|P1|＝16，|P2|＝16
在图20的(b)中，P0、P1和P2分别由0、1和2表示。可以向P0应用具有32个输入数据的二次变换，并且可以向P1和P2应用具有16个输入数据的二次变换。在此，输入数据可以应用了一次变换的变换系数块的左上8×8区域的子集。
作为另一实施方式，关于所有可用实施方式，可以针对每个分区应用不同的变换组合。此外，可用分区的数量很大，因此与分区一样多的各种配置也是可能的。
在以上实施方式(实施方式1至4)中假设的分区也是可用分区之一，并且部分相同或不同的变换可以应用于4×4划分块。
作为另一实施方式，可以针对每个预测模式或预测模式组以不同方式配置诸如以上实施方式5-1)和5-2)的分区配置。另选地，可以根据变换系数块的尺寸来以不同方式配置分区。例如，在8×8以上和小于8×8的情况下，可以以不同方式配置分区。作为具体示例，可以向8×8以上的尺寸应用以上实施方式5-1的分区(图20的(a))，并且可以向小于8×8的尺寸应用以上图18所示的分区。
图21是作为应用本公开实施方式的、通过向划分块应用二次变换对视频信号进行编码的流程图。
编码器可以基于当前块的预测模式、块形状和/或块尺寸中的至少一个来确定(或选择)正向二次变换(S2110)。在这种情况下，正向二次变换的候选可以包括以上图6和/或图12的实施方式中的至少一个。
编码器可以通过速率失真优化来确定最佳的正向二次变换。最佳正向二次变换可以对应于多个变换组合之一，并且可以通过变换索引来定义多个变换组合。例如，对于RD优化，可以针对各个候选者比较执行全部正向二次变换、量化、残差编码等的结果。在这种情况下，可以使用诸如代价＝速率+λ·失真或代价＝失真+λ·速率的公式，但是本公开不限于此。
编码器可以发信号通知与最佳正向二次变换的二次变换索引(S2120)。这里，二次变换索引可以采用本公开中描述的其他实施方式。
例如，二次变换索引可以采用以上图12的变换集配置。由于一个变换集根据帧内预测模式包括两个或三个变换，因此除了不应用二次变换的情况之外，可以配置为选择最多四个变换中的一个。当索引0、1、2和3分别指配给四个变换时，可以通过用信号发送每个变换系数块的二次变换索引来指定所应用的变换。在这种情况下，索引0可以分配给单位矩阵(即，不应用二次变换)的情况。
同时，编码器可以对当前块(残差块)执行正向一次变换(S2130)。这里，步骤S2110和/或步骤S2120可以类似地应用于正向一次变换。
编码器可以将应用了正向一次变换的变换系数块的特定区域划分为子块(S2130)。例如，当变换系数块为N×N时，特定区域可以表示左上M×M区域(M≤N)。
编码器可以通过使用最佳正向二次变换来对子块执行正向二次变换(S2140)。例如，最佳正向二次变换可以对应于子块。即，可以针对每个子块单独应用最佳正向二次变换，或者可以针对全部子块应用相同的最佳正向二次变换。
作为实施方式，子块可以基于位置、尺寸或预测模式中的至少一个进行分组，或者可以向分组的子块应用相同的最佳正向二次变换。
作为实施方式，最佳正向二次变换可以是简化二次变换。简化二次变换表示其中输入N个残差数据(N×1残差向量)并且输出L(L＜N)个变换系数数据(L×1变换系数向量)的变换。
作为实施方式，可以向变换系数块的特定区域应用简化二次变换。例如，在当前块为N×N时，特定区域可以表示左上N/2×N/2区域。然而，本公开不限于此，并且可以根据预测模式、块形状或块尺寸中的至少一个来以不同方式配置。例如，在当前块是N×N时，特定区域可以表示左上M×M区域(M≤N)。
同时，编码器对当前块执行量化以生成变换系数块(S2150)。
编码器对变换系数块执行熵编码以生成比特流。
图22是作为应用本公开的实施方式的、通过向划分块应用二次变换来解码视频信号的流程图。
解码器可以从比特流获得二次变换索引(S2210)。这里，二次变换索引可以采用本公开中描述的其他实施方式。例如，二次变换索引可以包括以上图6和/或图12的实施方式中的至少一个。
解码器可以推导与二次变换索引相对应的二次变换(S2220)。在这种情况下，二次变换的候选可以包括以上图6和/或图12的实施方式中的至少一个。
作为实施方式，二次变换可以对应于当前块中的子块。即，可以针对每个子块各个推导二次变换，或者可以为全部子块推导相同的二次变换。
然而，以上步骤S2210和S2220是实施方式，并且本公开不限于此。例如，解码器可以不获得二次变换索引，而是基于当前块的预测模式、块形状和/或块尺寸中的至少一个来推导二次变换。
同时，解码器可以通过对比特流进行熵解码来获得变换系数块，并对变换系数块执行解量化(S2230)。
解码器可以对解量化的变换系数块的子块执行逆二次变换(S2240)。在这种情况下，可以针对每个子块单独应用逆二次变换，或者可以针对全部子块应用相同的逆二次变换。
作为实施方式，逆二次变换可以是简化二次变换。简化二次变换表示其中输入N个残差数据(N×1残差向量)并且输出L(L＜N)个变换系数数据(L×1变换系数向量)的变换。
作为实施方式，可以向变换系数块的特定区域应用简化二次变换。例如，当变换系数块为N×N时，特定区域可以表示左上N/2×N/2区域。然而，本公开不限于此，并且可以根据预测模式、块形状或块尺寸中的至少一个来以不同方式配置。例如，当变换系数块为N×N时，特定区域可以表示左上M×M区域(M≤N)或M×L(M≤N，L≤N)。
另外，解码器可以对逆二次变换结果执行逆一次变换(S2250)。
解码器通过步骤S2250生成残差块，并将残差块和预测块相加以生成重构块。
作为本公开的另一实施方式，解码器可以通过对当前块执行熵解码和解量化来获得变换系数块。
解码器可以推导与变换系数块中的特定区域相对应的二次变换。这里，特定区域表示包括变换系数块的左上块的区域。
解码器可以使用二次变换对特定区域内的每个子块执行逆二次变换。
解码器可以对应用了逆二次变换的块执行逆一次变换。
解码器可以使用应用了逆一次变换的块来重构当前块。
作为实施方式，特定区域可以划分为4×4子块，并且可以针对4×4子块中的每一个子块执行逆二次变换。
作为实施方式，基于子块的位置和预测模式中的至少一个，向4×4子块可以应用相同的4×4二次变换或者可以应用不同的4×4二次变换。
作为实施方式，可以基于变换系数块的尺寸来确定特定区域是否被划分为4×4子块。
作为实施方式，在本公开中，可以检查4×4子块内的非零变换系数的数量是否等于或大于特定阈值，并且根据检查结果可以确定是否向4×4子块应用了4×4二次变换。
作为实施方式，当4×4子块内的非零变换系数的数量等于或大于特定阈值时，可以向4×4子块应用4×4二次变换，否则可以不向4×4子块应用4×4二次变换。
图23至图25是应用本公开的实施方式，并且图23和图25例示了将应用二次变换的区域划分为M个区域并向每个位置分配索引的其他示例，并且图24是用于描述用于基于分组对区域进行分类的方法的图。
在本公开的实施方式中，可以基于X方向坐标和Y方向坐标之和来确定要应用二次变换的任意区域。
如以上图23所示，当8×8块是二次变换的输入时，位于同一对角线上的输入数据等于X方向坐标和Y方向坐标之和。即，当输入数据#1的坐标被设置为(0，0)时，X坐标在向右方向上增加，而Y坐标在向下方向上增加。在此，块中每个位置显示的数字是用于位置区分的序列号，而不是实际的输入数据值。
参照以上图24，更具体地，可以确认可以形成以下组。在此，基于以上图23中示出的序列号来区分数据集。
在本公开的实施方式中，可以基于分组如下地区分区域。
1)几组集在集合一起以形成区域。例如，组1、2、3、4、5、6、7和8集合在一起作为一个区域，并且其余组9、10、11、12、13、14和15集合在一起作为其余区域，以形成总共两个区域。当认为在图24中组序号值越小重要性越高时，如果形成总共N个区域，则作为组序号值的总范围的[1、15]可以划分为N个区域。例如，可以如[1，G1]、[G1+1，G2]、…、[GN-1+1，15](1≤G1<G2<GN-1<15)那样划分区段。
2)区域并非仅以组为单位特别集合在一起，而是可以出现在组中两个区域之间的边界。例如，当两个区域中的每个由32个位置组成时，第一区域可以配置为包括位置组1、2、3、4、5、6和7以及组8中的#29至32，并且第二区域可以配置为包括在组8中的位置#33至36以及组9、10、11、12、13、14和15。
在此，当区域划分为两个或更多个区域时，区域的边界不必是组单位，而可以是组中的位置。当出现组中区域的边界时，区域划分可以依据根据位置的序列号配置而变化。例如，位置的数量分配可以是以上图25所示的情况。
如果两个区域划分为位置1至32和位置33至64，则以上图23中的区域划分可以有所不同。
图26是作为应用本公开的实施方式的、基于描述用于基于扫描次序将应用二次变换的区域划分为M个区域的方法的图。
在本公开中，可以依据扫描次序来划分区域。以上图26例示了针对8×8区域根据扫描次序来划分区域的情况。
例如，位置#1至48可以应用于一个区域，并且位置#49至64可以分配给另一一区域。作为另一示例，位置#1至32可以分配给一个区域，并且位置#33至64可以分配给另一区域。更一般地，当由N个位置组成的整个区域表示为诸如[1，N]之类的区段时，区域可以被划分为M个区域，如[1，S1]、[S1+1，S2]、…、[SM-1+1，N](1≤S1<S2<…<SM-1<N)。
在以上实施方式中，描述了用于划分区域的方法和标准。二次变换不必应用于所有区域。例如，当区域划分为两个区域时，可以向包括DC在内的更重要的二次区域应用二次变换，并且可以不向其余区域应用二次变换。作为具体示例，当应用4×4RST时，可以仅向左上4×4区域应用4×4RST，而可以不向其余区域应用RST(即，应用恒等变换)或可以分配值0(即，应用零矩阵)。
作为另一示例，当针对8×8区域根据图26中示出的扫描次序来划分区域，并且#1至48被分配给一个区域，并且#49至64分配给另一区域时，RST可以分配给#1至48，并且可以不向#49至64应用RST(即，应用恒等变换)以及可以分配值0(即，应用零矩阵)。
图27示出了应用本公开的内容流传输***。
参照图22，应用本公开的内容流传输***可以基本上包括编码服务器、流传输服务器、网络服务器、媒体存储器、用户设备和多媒体输入装置。
编码服务器基本上起到以下作用：通过将从诸如智能手机、相机或便携式摄像机之类的多媒体输入装置输入的内容压缩为数字数据来生成比特流，并向流传输服务器发送该比特流。对于另一示例，如果诸如智能电话、相机或便携式摄像机的多媒体输入装置直接生成比特流，则可以省略编码服务器。
可以通过应用了本公开的编码方法或比特流生成方法来生成比特流。流传输服务器可以在发送或接收比特流的过程中临时存储比特流。
流传输服务器基于通过网络服务器的用户请求向用户设备发送多媒体数据。网络服务器充当通知用户提供哪些服务的媒介。当用户从网络服务器请求所需的服务时，网络服务器向流传输服务器发送请求。流传输服务器向用户发送多媒体数据。在这种情况下，内容流传输***可以包括单独的控制服务器。在这种情况下，控制服务器起到控制内容流传输***内的设备之间的指示/响应的作用。
流传输服务器可以从媒体存储器和/或编码服务器接收内容。例如，如果从编码服务器接收内容，则流传输服务器可以实时接收内容。在这种情况下，为了提供流畅的流传输服务，流传输服务器可以将比特流存储给定时间。
用户设备的示例可以包括移动电话、智能电话、膝上型计算机、用于数字广播的终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、触屏PC、平板PC、超级本、可穿戴装置(例如，手表型终端(智能手表)、眼镜式终端(智能眼镜)和头戴式显示器(HMD))、数字TV、台式计算机和数字标牌。
内容流传输***内的服务器可以作为分布式服务器运行。在这种情况下，可以分发和处理从服务器接收到的数据。
如上所述，本公开中描述的实施方式可以在处理器、微处理器、控制器或芯片上实现和执行。例如，附图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现和执行。
此外，应用本公开的解码器和编码器可以包括在多媒体广播发送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、用于监视的相机、视频对话装置、实时通信装置(诸如视频通信)、移动流装置、存储介质、便携式摄像机、视频点播(VoD)服务提供装置、顶置(OTT)视频装置、互联网流传输服务提供装置、三维(3D)视频装置、视频电话装置和医疗视频装置，并且可以用于处理视频信号或数据信号。例如，OTT视频装置可以包括游戏机、蓝光播放器、互联网访问TV、家庭影院***、智能手机、平板PC和数字视频记录仪(DVR)。
此外，应用了本公开的处理方法可以制成计算机执行的程序的形式，并且可以存储在计算机可读记录介质中。根据本公开的具有数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括存储有计算机可读数据的所有类型的存储装置。例如，计算机可读记录介质可以包括蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载体形式实现的介质(例如，通过互联网的传输)。此外，使用编码方法生成的比特流可以存储在计算机可读记录介质中，或者可以在有线和无线通信网络上传输。
此外，本公开的实施方式可以实现为使用程序代码的计算机程序产品。程序代码可以由根据本公开实施方式的计算机执行。程序代码可以存储在计算机可读的载体上。
工业适用性
已经出于示例性目的公开了本公开的上述优选实施方式，并且本领域技术人员可以在不脱离所附权利要求中公开的本公开的技术精神和范围的情况下改进、改变、替代或添加各种其他实施方式。

Claims (8)

1.一种用于重构视频信号的方法，该方法包括以下步骤：
获得针对当前块的二次变换索引；
基于所述二次变换索引推导针对所述当前块的变换块中的特定区域的二次变换矩阵，其中，所述特定区域表示包括所述变换块的左上区域的区域，并且其中，所述二次变换矩阵基于二次变换的输入长度和输出长度来表示；
基于所述二次变换矩阵对所述特定区域执行逆二次变换；
对应用了所述逆二次变换的块执行逆一次变换；
基于应用了所述逆一次变换的块来获得所述当前块的残差样本；以及
基于所述残差样本重构所述当前块；
其中，基于所述变换块的高度和宽度中的每一个等于16，所述逆二次变换的输入长度被确定为16，并且所述逆二次变换的输出长度被确定为48。
2.根据权利要求1所述的方法，其中，所述特定区域被划分为4×4子块，并且
其中，针对所述4×4子块中的每个子块执行所述逆二次变换。
3.根据权利要求2所述的方法，其中，基于所述4×4子块的位置和预测模式中的至少一个，向所述4×4子块应用相同的4×4二次变换或者向所述4×4子块应用不同的4×4二次变换。
4.根据权利要求2所述的方法，其中，基于所述变换块的尺寸来确定所述特定区域是否被划分为4×4子块。
5.根据权利要求2所述的方法，所述方法还包括：
检查所述4×4子块内的非零变换系数的数量是否等于或大于特定阈值，
其中，根据检查结果来确定是否向所述4×4子块应用4×4二次变换。
6.根据权利要求5所述的方法，其中，当所述4×4子块内的非零变换系数的数量等于或大于所述特定阈值时，向所述4×4子块应用所述4×4二次变换，
否则，不向所述4×4子块应用所述4×4二次变换。
7.一种用于对视频信号进行编码的方法，所述方法包括以下步骤：
基于当前块的预测样本生成残差样本；
对包括所述残差样本的变换块执行一次变换；
推导针对所述变换块中的特定区域的二次变换矩阵，其中，所述特定区域表示包括所述变换块的左上区域的区域，并且其中，所述二次变换矩阵基于二次变换的输入长度和输出长度来表示；
基于所述二次变换矩阵对所述特定区域执行二次变换；以及
对所述二次变换的二次变换索引进行编码，
其中，基于经变换当前块的高度和宽度中的每一个等于16，所述二次变换的输出长度被确定为16，并且所述二次变换的输入长度被确定为48。
8.一种用于发送由图像编码方法生成的视频信号的方法，所述图像编码方法包括以下步骤：
基于当前块的预测样本生成残差样本；
对包括所述残差样本的变换块执行一次变换；
推导针对所述变换块中的特定区域的二次变换矩阵，其中，所述特定区域表示包括所述变换块的左上区域的区域，并且其中，所述二次变换矩阵基于二次变换的输入长度和输出长度来表示；
基于所述二次变换矩阵对所述特定区域执行二次变换；以及
对所述二次变换的二次变换索引进行编码，
其中，基于经变换当前块的高度和宽度中的每一个等于16，所述二次变换的输出长度被确定为16，并且所述二次变换的输入长度被确定为48。
CN202311023381.0A 2018-04-01 2019-04-01 重构和发送视频信号的方法、对视频信号进行编码的方法 Pending CN116781905A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862651236P 2018-04-01 2018-04-01
US62/651,236 2018-04-01
PCT/KR2019/003811 WO2019194503A1 (ko) 2018-04-01 2019-04-01 분할된 블록에 2차 변환을 적용하여 비디오 신호를 처리하는 방법 및 장치
CN201980024147.5A CN111937386B (zh) 2018-04-01 2019-04-01 通过向分区块应用二次变换来处理视频信号的方法及设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980024147.5A Division CN111937386B (zh) 2018-04-01 2019-04-01 通过向分区块应用二次变换来处理视频信号的方法及设备

Publications (1)

Publication Number Publication Date
CN116781905A true CN116781905A (zh) 2023-09-19

Family

ID=68101328

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202311020591.4A Pending CN116847081A (zh) 2018-04-01 2019-04-01 图像解码设备、图像编码设备和用于发送视频信号的设备
CN202311023381.0A Pending CN116781905A (zh) 2018-04-01 2019-04-01 重构和发送视频信号的方法、对视频信号进行编码的方法
CN201980024147.5A Active CN111937386B (zh) 2018-04-01 2019-04-01 通过向分区块应用二次变换来处理视频信号的方法及设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311020591.4A Pending CN116847081A (zh) 2018-04-01 2019-04-01 图像解码设备、图像编码设备和用于发送视频信号的设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980024147.5A Active CN111937386B (zh) 2018-04-01 2019-04-01 通过向分区块应用二次变换来处理视频信号的方法及设备

Country Status (6)

Country Link
US (3) US11405614B2 (zh)
EP (1) EP3761642A4 (zh)
JP (1) JP2021517795A (zh)
KR (3) KR20240040133A (zh)
CN (3) CN116847081A (zh)
WO (1) WO2019194503A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7223014B2 (ja) * 2018-06-03 2023-02-15 エルジー エレクトロニクス インコーポレイティド 縮小された変換を用いて、ビデオ信号を処理する方法及び装置
GB2585030A (en) * 2019-06-25 2020-12-30 British Broadcasting Corp Method of signalling in a video codec
US20230291900A1 (en) * 2022-03-09 2023-09-14 Tencent America LLC Systems and methods for partition dependent secondary transform

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8335811B2 (en) * 2004-03-04 2012-12-18 Broadcom Corporation Method and system for high fidelity IDCT and DCT algorithms
JP4146444B2 (ja) * 2005-03-16 2008-09-10 株式会社東芝 動画像符号化の方法及び装置
US9661338B2 (en) * 2010-07-09 2017-05-23 Qualcomm Incorporated Coding syntax elements for adaptive scans of transform coefficients for video coding
US8885701B2 (en) * 2010-09-08 2014-11-11 Samsung Electronics Co., Ltd. Low complexity transform coding using adaptive DCT/DST for intra-prediction
WO2012044075A2 (ko) * 2010-09-28 2012-04-05 삼성전자 주식회사 영상의 변환 방법 및 장치, 역변환 방법 및 장치
US20130003856A1 (en) * 2011-07-01 2013-01-03 Samsung Electronics Co. Ltd. Mode-dependent transforms for residual coding with low latency
RU2602834C2 (ru) * 2011-10-19 2016-11-20 Кт Корпорейшен Способ и устройство для кодирования/декодирования видеоданных
US20140254661A1 (en) * 2013-03-08 2014-09-11 Samsung Electronics Co., Ltd. Method and apparatus for applying secondary transforms on enhancement-layer residuals
US9516345B2 (en) * 2014-03-17 2016-12-06 Qualcomm Incorporated Systems and methods for low complexity forward transforms using mesh-based calculations
US9432696B2 (en) * 2014-03-17 2016-08-30 Qualcomm Incorporated Systems and methods for low complexity forward transforms using zeroed-out coefficients
CN105516730B (zh) * 2014-09-24 2018-04-24 晨星半导体股份有限公司 视讯编码装置及视讯解码装置以及其编码与解码方法
FR3032583B1 (fr) * 2015-02-06 2018-03-02 Orange Procede de codage d'une image numerique, procede de decodage, dispositifs, et programmes d'ordinateurs associes
KR102600756B1 (ko) * 2015-03-06 2023-11-10 한국과학기술원 저 복잡도 변환에 기반한 영상 부호화 및 복호화 방법 및 이를 이용하는 장치
US20170034530A1 (en) * 2015-07-28 2017-02-02 Microsoft Technology Licensing, Llc Reduced size inverse transform for decoding and encoding
US10491922B2 (en) * 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
US10623774B2 (en) * 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US10708164B2 (en) * 2016-05-03 2020-07-07 Qualcomm Incorporated Binarizing secondary transform index
CN109076243B (zh) * 2016-05-04 2022-01-25 夏普株式会社 用于对变换数据进行编码的***和方法
EP3457691A1 (en) * 2016-05-13 2019-03-20 Sharp Kabushiki Kaisha Image decoding device and image encoding device
EP3454559A1 (en) * 2016-05-13 2019-03-13 Sony Corporation Image processing device and method
KR20220053702A (ko) * 2016-05-13 2022-04-29 소니그룹주식회사 화상 처리 장치 및 방법
RU2740863C2 (ru) * 2016-05-13 2021-01-21 Сони Корпорейшн Устройство и способ обработки изображения
US10972733B2 (en) * 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
CN115914625A (zh) * 2016-08-01 2023-04-04 韩国电子通信研究院 图像编码/解码方法
WO2018049594A1 (en) * 2016-09-14 2018-03-22 Mediatek Inc. Methods of encoder decision for quad-tree plus binary tree structure
CN110326294A (zh) * 2017-01-03 2019-10-11 Lg电子株式会社 使用二次变换编码/解码视频信号的方法和设备
CA3142941C (en) * 2017-01-03 2024-06-18 Lg Electronics Inc. Image processing method and apparatus therefor
EP3349451A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing Method and apparatus for selecting a coding mode used for encoding/decoding a residual block
US11509934B2 (en) * 2017-03-16 2022-11-22 Hfi Innovation Inc. Method and apparatus of enhanced multiple transforms and non-separable secondary transform for video coding
US20180288439A1 (en) * 2017-03-31 2018-10-04 Mediatek Inc. Multiple Transform Prediction
US10855997B2 (en) * 2017-04-14 2020-12-01 Mediatek Inc. Secondary transform kernel size selection
KR102604680B1 (ko) * 2017-12-21 2023-11-21 엘지전자 주식회사 선택적 변환에 기반한 영상 코딩 방법 및 그 장치
US10841577B2 (en) * 2018-02-08 2020-11-17 Electronics And Telecommunications Research Institute Method and apparatus for video encoding and video decoding based on neural network
US10863175B2 (en) * 2018-03-01 2020-12-08 Panasonic Intellectual Property Corporation Of America Encoder, and decoder, encoding method, decoding method
US10567801B2 (en) * 2018-03-07 2020-02-18 Tencent America LLC Method and apparatus for video coding with primary and secondary transforms
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
US11172211B2 (en) * 2019-04-04 2021-11-09 Tencent America LLC Method and apparatus for video coding
US11252410B2 (en) * 2019-06-11 2022-02-15 Tencent America LLC Method and apparatus for video coding

Also Published As

Publication number Publication date
KR20240040133A (ko) 2024-03-27
US20220312012A1 (en) 2022-09-29
KR20230070324A (ko) 2023-05-22
US20240129467A1 (en) 2024-04-18
US11405614B2 (en) 2022-08-02
WO2019194503A1 (ko) 2019-10-10
KR102650865B1 (ko) 2024-03-22
US11889080B2 (en) 2024-01-30
KR102571996B1 (ko) 2023-08-28
EP3761642A1 (en) 2021-01-06
US20210014493A1 (en) 2021-01-14
EP3761642A4 (en) 2021-04-14
CN111937386B (zh) 2023-09-01
JP2021517795A (ja) 2021-07-26
CN116847081A (zh) 2023-10-03
CN111937386A (zh) 2020-11-13
KR20200123211A (ko) 2020-10-28

Similar Documents

Publication Publication Date Title
CN112166613B (zh) 使用缩减二次变换来处理视频信号的方法和装置
CN111226442B (zh) 配置用于视频压缩的变换的方法及计算机可读存储介质
KR102599446B1 (ko) 인트라 예측 모드에 기초하여 변환 인덱스 코딩을 수행하는 방법 및 이를 위한 장치
CN116320414A (zh) 对视频信号进行编解码的方法和非暂态可读存储介质
CN112840648B (zh) 用于处理图像信号的方法和装置
US11350130B2 (en) Method and apparatus for processing video signal by using approximation transform on basis of preprocessing/postprocessing matrix
US11889080B2 (en) Method and apparatus for processing video signal by applying secondary transform to partitioned block
WO2019209050A1 (ko) 변환 타입에 기초하여 비디오 신호를 처리하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination