CN113491116A - 基于帧内预测的视频信号处理方法和装置 - Google Patents

基于帧内预测的视频信号处理方法和装置 Download PDF

Info

Publication number
CN113491116A
CN113491116A CN202080016690.3A CN202080016690A CN113491116A CN 113491116 A CN113491116 A CN 113491116A CN 202080016690 A CN202080016690 A CN 202080016690A CN 113491116 A CN113491116 A CN 113491116A
Authority
CN
China
Prior art keywords
transform
block
current block
prediction
intra prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080016690.3A
Other languages
English (en)
Inventor
金东哲
高建重
郑在洪
孙周亨
郭真三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Humax Co Ltd
Original Assignee
Humax Co Ltd
Wilus Institute of Standards and Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Humax Co Ltd, Wilus Institute of Standards and Technology Inc filed Critical Humax Co Ltd
Publication of CN113491116A publication Critical patent/CN113491116A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种编码或解码视频信号的视频信号处理方法和设备。该视频信号处理方法可以包括以下步骤：确定帧内子分区(ISP)模式是否适用于当前块；如果ISP模式适用于当前块，则将当前块在水平或垂直方向上拆分为多个矩形变换块；通过对变换块中的每个执行帧内预测，生成变换块的预测块；以及基于变换块的残差块和预测块重构当前块。

Description

基于帧内预测的视频信号处理方法和装置
技术领域
本公开涉及一种视频信号处理方法和设备，更具体地，涉及一种基于帧内预测编码或解码视频信号的视频信号处理方法和设备。
背景技术
压缩编译指代用于通过通信线路发送数字化信息或以适合于存储介质的形式存储信息的一系列信号处理技术。压缩编码的对象包括诸如语音、视频和文本的对象，并且特别地，用于对图像执行压缩编码的技术被称为视频压缩。考虑到空间相关性、时间相关性和随机相关性，通过去除过多的信息来执行对视频信号的压缩编译。然而，随着各种媒体和数据传输媒体的最新发展，需要更有效的视频信号处理方法和装置。
发明内容
技术问题
本公开的一个方面是提高视频信号编译效率。具体地，本公开提出了一种用于根据帧内子分区的应用以执行预测和重构的单位，执行位置相关帧内预测组合(PDPC)和低频不可分离变换(LFNST)的方法。
技术方案
有鉴于此，本公开提供如下的视频信号处理设备和视频信号处理方法。
根据本公开的实施例，一种视频信号处理方法可以包括：确定是否将帧内子分区(ISP)模式应用于当前块；当将ISP模式应用于当前块时，将当前块划分为多个水平或垂直矩形变换块；通过对变换块中的每个执行帧内预测，生成变换块的预测块；以及基于变换块的残差块和预测块来重构当前块，其中，生成预测块包括以通过划分当前块获得的变换块为单位，执行位置相关帧内预测样本滤波。
作为实施例，生成预测块可以进一步包括基于变换块中的每个的宽度和高度中的至少一个来确定是否应用位置相关帧内预测样本滤波。
作为实施例，确定是否应用位置相关帧内预测样本滤波可以包括：如果变换块中的每个的宽度等于或大于预先配置的参考值，并且变换块中的每个的高度等于或大于预先配置的参考值，则确定应用位置相关帧内预测样本滤波。
作为实施例，可以通过以变换块为单位执行逆二次变换和逆初次变换来导出变换块的残差块。
作为实施例，该方法可以进一步包括：确定是否将二次变换应用于当前块；当将二次变换应用于当前块时，在基于当前块的帧内预测模式预定义的二次变换核集中，导出应用于当前块的二次变换核集；在所确定的二次变换核集中确定应用于当前块的二次变换核；通过以变换块为单位执行逆二次变换，生成变换块的二次逆变换块；以及通过对二次逆变换块执行逆初次变换来生成变换块的残差块。
本公开的实施例提供一种包括处理器的视频信号处理设备，其中，处理器被配置为：确定是否将帧内子分区(ISP)模式应用于当前块；当将ISP模式应用于当前块时，将当前块划分为多个水平或垂直矩形变换块；通过对变换块中的每个执行帧内预测，生成变换块的预测块；以及基于变换块的残差块和预测块来重构当前块，以及处理器被配置为以通过划分当前块获得的变换块为单位，执行位置相关帧内预测样本滤波。
作为实施例，处理器可以基于变换块中的每个的宽度和高度中的至少一个来确定是否应用位置相关帧内预测样本滤波。
作为实施例，如果变换块中的每个的宽度等于或大于预先配置的参考值，并且变换块中的每个的高度等于或大于预先配置的参考值，则处理器可以确定应用位置相关帧内预测样本滤波。
作为实施例，可以通过以变换块为单位执行逆二次变换和逆初次变换来导出变换块的残差块。
作为实施例，处理器可以：确定是否将二次变换应用于当前块；如果将二次变换应用于当前块，则在基于当前块的帧内预测模式预定义的二次变换核集中，导出应用于当前块的二次变换核集；在所确定的二次变换核集中确定应用于当前块的二次变换核；以变换块为单位执行逆二次变换以生成变换块的二次逆变换块；以及通过对二次逆变换块执行逆初次变换来生成变换块的残差块。
本公开的实施例提供一种视频信号处理方法，包括：确定是否将帧内子分区(ISP)模式应用于当前块；当将ISP模式应用于当前块时，将当前块划分为多个水平或垂直矩形变换块；通过对变换块中的每个执行帧内预测，生成变换块的预测块；以及通过从原始块减去预测块来生成变换块的残差块，其中，生成预测块包括以通过划分当前块获得的变换块为单位，执行位置相关帧内预测样本滤波。
本公开的实施例提供一种非暂时性计算机可读介质，其中存储了被配置为由计算设备的一个或多个处理器执行的计算机可执行组件，其中，计算机可执行组件：确定是否将帧内子分区(ISP)模式应用于当前块；如果将ISP模式应用于当前块，则将当前块划分为多个水平或垂直矩形变换块；通过对变换块中的每个执行帧内预测，生成变换块的预测块；以及基于变换块的残差块和预测块来重构当前块，以及计算机可执行组件以通过划分当前块获得的变换块为单位，执行位置相关帧内预测样本滤波。
有益效果
根据本公开的实施例，可以提高视频信号编译效率。另外，根据本公开的实施例，以通过帧内子分区划分的变换块为单位，执行位置相关帧内预测组合(PDPC)和LFNST，从而可以提高预测的准确度，并且可以提高压缩性能。
附图说明
图1是根据本发明的实施例的视频信号编码装置的示意性框图。
图2是根据本发明的实施例的视频信号解码装置的示意性框图。
图3示出在图片中编译树单元被划分为编译单元的实施例。
图4示出用于用信号告知四叉树和多类型树的划分的方法的实施例。
图5和图6根据本公开的实施例，更详细地图示帧内预测方法。
图7图示根据本公开的实施例的帧间预测方法。
图8是具体地图示用于通过编码器变换残差信号的方法的图。
图9是具体地图示用于通过编码器和解码器对变换系数进行逆变换来获得残差信号的方法的图。
图10是图示根据本公开的实施例，在编译块被划分为多个变换块的情况下应用帧内预测模式的方法的图。
图11是图示根据本公开的实施例，用于应用位置相关帧内预测组合(PDPC)的方法的图。
图12是图示作为本公开的实施例，根据帧内预测模式，用于PDPC的参考样本的示例的图。
图13是图示作为本公开的实施例，根据帧内预测模式，用于PDPC的参考样本的示例的图。
图14是图示根据应用本公开的实施例，用于将帧内子分区(ISP)和位置相关帧内预测组合(PDPC)应用于编译块的方法的示例的图。
图15是图示根据本公开的实施例的变换单元分区处理方法的图。
图16是图示根据应用本公开的实施例，通过初次变换和二次变换来执行编码/解码的过程的图。
图17是图示根据本公开的实施例的用于选择用于二次变换的变换核的方法的图。
图18是图示根据本公开的实施例的用于以变换块为单位应用二次变换的方法的示例的图。
图19是图示根据应用本公开的实施例，用于将PDPC应用于已经应用了帧内预测模式的当前编译块的方法的图。
图20是图示根据本公开的实施例的视频信号处理方法的流程图。
具体实施方式
考虑到本公开中的功能，本说明书中使用的术语可以是当前广泛使用的通用术语，但是可以根据本领域的技术人员的意图、习俗或新技术的出现而改变。另外，在某些情况下，可能存在申请人任意选择的术语，并且在这种情况下，其含义在本公开的相应描述部分中进行了描述。因此，应基于整个说明书中的术语和内容的实质含义来解释本说明书中使用的术语。
在本说明书中，一些术语可以解释如下。在一些情况下，编译可以解释为编码或解码。在本说明书中，通过执行视频信号的编码(编译)来生成视频信号比特流的装置被称为编码装置或编码器，并且执行视频信号比特流的解码(解码)以重构视频信号的装置被称为解码装置或解码器。另外，在本说明书中，视频信号处理装置被用作包括编码器和解码器两者的概念的术语。信息是包括所有值、参数、系数、元素等的术语。在一些情况下，含义被不同地解释，因此本公开不限于此。“单元”被用作指代图像处理的基本单位或图片的特定位置的含义，并且指代包括亮度分量和色度分量两者的图像区域。另外，“块”指代包括亮度分量和色度分量(即，Cb和Cr)当中的特定分量的图像区域。然而，取决于实施例，诸如“单元”、“块”、“分区(partition)”和“区域”的术语可以互换使用。另外，在本说明书中，单元可以用作包括编译单元、预测单元和变换单元的全部的概念。图片指示场或帧，并且根据实施例，这些术语可以互换使用。
图1是根据本发明的实施例的视频信号编码装置的示意性框图。参考图1，本发明的编码装置100包括变换单元110、量化单元115、逆量化单元120、逆变换单元125、滤波单元130、预测单元150和熵编译单元160。
变换单元110通过对残差信号进行变换来获得变换系数的值，该残差信号是输入的视频信号与由预测单元150生成的预测信号之间的差。例如，可以使用离散余弦变换(DCT)、离散正弦变换(DST)或小波变换。DCT和DST通过将输入图片信号分割成多个块来执行变换。在变换中，编译效率可以根据变换区域中的值的分布和特性而变化。量化单元115对从变换单元110输出的变换系数值的值进行量化。
为了改进编译效率，代替照原样对图片信号进行编译的方法，使用一种方法，其使用通过预测单元150已经编码的区域来预测图片，并通过将在原始图片和预测的图片之间的残差值添加到预测的图片来获得重构图片。为了防止编码器和解码器中的不匹配，当在编码器中执行预测时，应该使用可以在解码器中使用的信息。为此，编码器再次执行重构编码的当前块的处理。逆量化单元120对变换系数的值进行逆量化，并且逆变换单元125使用逆量化的变换系数值来重构残差值。同时，滤波单元130执行滤波操作以改善重构图片的质量并改善编译效率。例如，可以包括去块滤波器、样本自适应偏移(SAO)和自适应环路滤波器。滤波后的图片被输出或存储在解码图片缓冲器(DPB)156中，以用作参考图片。
为了提高编译效率，不原样编译图片信号，而是使用通过使用已编译的区域并且将原始图片和预测图片之间的残差值与预测图片相加来经由预测单元150预测图片，从而获得重构图片的方法。帧内预测单元152在当前图片内执行帧内预测，并且帧间预测单元154通过使用存储在解码图片缓冲器156中的参考图片来预测当前图片。帧内预测单元152从当前图片中的重构区域执行帧内预测，并且将帧内编译信息传送到熵编译单元160。帧间预测单元154可以包括运动估计单元154a和运动补偿单元154b。运动估计单元154a通过参考特定的重构区域来获得当前区域的运动矢量值。运动估计单元154a将参考区域的位置信息(参考帧、运动矢量等)传递到熵编译单元160，以使得将该位置信息包括在比特流中。运动补偿单元154b通过使用从运动估计单元154a传递的运动矢量值来执行帧间运动补偿。
预测单元150包括帧内预测单元152和帧间预测单元154。帧内预测单元152在当前图片内执行帧内预测，并且帧间预测单元154执行帧间预测以通过使用存储在DBP 156中的参考图片来预测当前图片。帧内预测单元152从当前图片中的重构样本执行帧内预测，并且将帧内编码信息传送到熵编译单元160。帧内编码信息可以包括帧内预测模式、最可能模式(MPM)标志和MPM索引中的至少一个。帧内编码信息可以包括关于参考样本的信息。帧间预测单元154可以包括运动估计单元154a和运动补偿单元154b。运动估计单元154a通过参考重构参考图片的特定区域来获得当前区域的运动矢量值。运动估计单元154a将用于参考区域的运动信息集(参考图片索引、运动矢量信息等)传递到熵编译单元160。运动补偿单元154b通过使用从运动估计单元154a传递的运动矢量值来执行运动补偿。帧间预测单元154将包括关于参考区域的运动信息的帧间编码信息传递到熵编译单元160。
根据另一实施例，预测单元150可以包括帧内块复制(BC)预测单元(未示出)。帧内BC预测单元基于当前图片中的重构样本来执行帧内BC预测，并将帧内BC编码信息传送到熵编译单元160。帧内BC预测单元获得参考当前图片中的特定区域，指示用于预测当前区域的参考区域的块矢量值。帧内BC预测单元可以使用所获得的块矢量值来执行帧内BC预测。帧内BC预测单元将帧内BC编码信息传送到熵编译单元160。帧内BC编码信息可以包括块矢量信息。
当执行上述图片预测时，变换单元110变换在原始图片和预测图片之间的残差值以获得变换系数值。在这种情况下，可以以图片内的特定块为单位执行变换，并且可以在预设范围内改变特定块的大小。量化单元115对在变换单元110中生成的变换系数值进行量化，并将其发送到熵编译单元160。
熵编译单元160对指示量化的变换系数的信息、帧内编码信息、帧间编码信息等进行熵编译，以生成视频信号比特流。在熵编译单元160中，可以使用可变长度编译(VLC)方案、算术编译方案等。可变长度编译(VLC)方案包括将输入符号变换成连续的码字，并且码字的长度可以是可变的。例如，频繁出现的符号由短码字表示，而很少出现的符号由长码字表示。基于上下文的自适应可变长度编译(CAVLC)方案可以被用作可变长度编译方案。算术编译可以将连续数据符号变换成单个质数，其中，算术编译可以获得表示每个符号所需的最佳比特。基于上下文的自适应二进制算术编译(CABAC)可以被用作算术编译。例如，熵编译单元160可以二值化指示量化的变换系数的信息。熵编译单元160可以通过算术编译二进制信息来生成比特流。
使用网络抽象层(NAL)单元作为基本单位来封装所生成的比特流。NAL单元包括整数个编译的编译树单元。为了在视频解码器中对比特流进行解码，首先，必须将比特流分离成NAL单元，并且然后必须对每个分离的NAL单元进行解码。同时，可以通过诸如图片参数集(PPS)、序列参数集(SPS)、视频参数集(VPS)等等的高层集合的原始字节序列有效载荷(RBSP)来发送对视频信号比特流进行解码所需的信息。
同时，图1的框图示出根据本发明的实施例的编码装置100，并且分开显示的块在逻辑上区分并示出编码装置100的元件。因此，取决于设备的设计上述编码装置100的元件可以被安装为一个芯片或多个芯片。根据实施例，上述编码装置100的每个元件的操作可以由处理器(未示出)执行。
图2是根据本发明的实施例的视频信号解码装置200的示意性框图。参考图2，本发明的解码装置200包括熵解码单元210、逆量化单元220、逆变换单元225、滤波单元230和预测单元250。
熵解码单元210对视频信号比特流进行熵解码，以提取每个区域的变换系数信息、帧内编码信息、帧间编码信息等。例如，熵解码单元210可以从视频信号比特流中获得用于特定区域的变换系数信息的二值化码。熵解码单元210通过对二进制码进行逆二值化来获得量化的变换系数。逆量化单元220对量化的变换系数进行逆量化，并且逆变换单元225通过使用逆量化的变换系数来恢复残差值。视频信号处理设备200通过将由逆变换单元225获得的残差值与由预测单元250获得的预测值相加来恢复原始像素值。
同时，滤波单元230对图片执行滤波以改善图像质量。这可以包括用于减少块失真的去块滤波器和/或用于去除整个图片的失真的自适应环路滤波器。滤波后的图片被输出或存储在DPB 256中，以用作下一个图片的参考图片。
预测单元250包括帧内预测单元252和帧间预测单元254。预测单元250通过使用通过上述熵解码单元210解码的编码类型、每个区域的变换系数和帧内/帧间编码信息来生成预测图片。为了重构其中执行解码的当前块，可以使用当前图片或包括当前块的其他图片的解码区域。在重构中，仅将当前图片，即，仅执行帧内预测或者帧内BC预测的图片(或贴片(tile)/切片(slice))称为帧内图片或I图片(或贴片/切片)，并且将能够执行所有帧内预测、帧间预测以及帧内BC预测的图片(或贴片/切片)称为帧间图片(或贴片/切片)。为了预测帧间图片(或贴片/切片)当中的每个块的样本值，使用最多一个运动矢量和参考图片索引的图片(或者贴片/切片)被称为预测图片或P图片(或贴片/切片)，并且使用最多两个运动矢量和参考图片索引的图片(或贴片/切片)称为双向预测图片或B图片(或贴片/切片)。换句话说，P图片(或贴片/切片)使用最多一个运动信息集来预测每个块，并且B图片(或贴片/切片)使用最多两个运动信息集来预测每个块。这里，运动信息集包括一个或多个运动矢量和一个参考图片索引。
帧内预测单元252使用帧内编码信息和当前图片中的重构的样本来生成预测块。如上所述，帧内编码信息可以包括帧内预测模式、最可能模式(MPM)标志和MPM索引中的至少一种。帧内预测单元252通过使用位于当前块的左边和/或上边的重构的样本作为参考样本来预测当前块的样本值。在本公开中，重构的样本、参考样本和当前块的样本可以表示像素。而且，样本值可以表示像素值。
根据实施例，参考样本可以是当前块的相邻块中包括的样本。例如，参考样本可以是与当前块的左边界相邻的样本和/或样本可以是与上边界相邻的样本。而且，参考样本可以是当前块的相邻块的样本当中的位于距当前块的左边界预定距离内的线上的样本和/或位于距当前块的上边界预定距离内的线上的样本。在这种情况下，当前块的相邻块可以包括左(L)块、上(A)块、左下(BL)块、右上(AR)块或左上(AL)块。
帧间预测单元254使用存储在DPB 256中的参考图片和帧间编码信息来生成预测块。帧间编译信息可以包括用于参考块的当前块的运动信息集(参考图片索引、运动矢量信息等)。帧间预测可以包括L0预测、L1预测和双向预测。L0预测意指使用L0图片列表中包括的一个参考图片进行预测，而L1预测意指使用L1图片列表中包括的一个参考图片进行预测。为此，可能需要一个运动信息集合(例如，运动矢量和参考图片索引)。在双向预测方法中，可以使用最多两个参考区域，并且两个参考区域可以存在于同一参考图片中或可以存在于不同图片中。即，在双向预测方法中，可以使用最多两个的运动信息集合(例如，运动矢量和参考图片索引)，并且两个运动矢量可以对应于相同的参考图片索引或不同的参考图片索引。在这种情况下，在时间方面，可以在当前图片之前和之后显示(或输出)参考图片。根据实施例，在双向预测方案中使用的两个参考区域可以是分别从图片列表L0和图片列表L1中选择的区域。
帧间预测单元254可以使用运动矢量和参考图片索引来获得当前块的参考块。参考块在与参考图片索引相对应的参考图片中。而且，由运动矢量指定的块的样本值或其内插值可以用作当前块的预测子(predictor)。对于具有子像素(sub-pel)单位像素准确度的运动预测，例如，可以使用用于亮度信号的8抽头内插滤波器和用于色度信号的4抽头内插滤波器。然而，以子像素为单位的用于运动预测的内插滤波器不限于此。以这种方式，帧间预测单元254执行运动补偿以根据先前使用运动信息重构的运动图片来预测当前单元的纹理。在这样的情况下，帧间预测单元可以使用运动信息集。
根据另一实施例，预测单元250可以包括帧内BC预测单元(未示出)。帧内BC预测单元可以通过参考包括当前图片内的重构样本的特定区域来重构当前区域。帧内BC预测单元从熵解码单元210获得当前区域的帧内BC编码信息。帧内BC预测单元获得指示当前图片中的特定区域的当前区域的块矢量值。帧内BC预测单元可以通过使用所获得的块矢量值来执行帧内BC预测。帧内BC编码信息可以包括块矢量信息。
通过将从帧内预测单元252或帧间预测单元254输出的预测值与从逆变换单元225输出的残差值相加生成重构的视频图片。即，视频信号解码装置200使用由预测单元250生成的预测块和从逆变换单元225获得的残差来重构当前块。
同时，图2的框图示出根据本发明的实施例的解码装置200，并且分开显示的块在逻辑上区分并示出解码装置200的元件。因此，取决于设备的设计上述解码装置200的元件可以被安装为一个芯片或多个芯片。根据实施例，上述解码装置200的每个元件的操作可以由处理器(未示出)执行。
图3图示其中在图片中编译树单元(CTU)被分割成编译单元(CU)的实施例。在视频信号的编码过程中，可以将图片分割成一系列编译树单元(CTU)。编译树单元由亮度样本的NXN块和与其相对应的色度样本的两个块组成。编译树单元可以被分割成多个编译单元。编译树单元可以不被分割，并且可以是叶节点。在这种情况下，编译树单元本身可以是编译单元。编译单元指代在上述视频信号的处理过程中，即，帧内/帧间预测、变换、量化和/或熵编译中用于处理图片的基本单元。一个图片中编译单元的大小和形状可能不恒定。编译单元可以具有正方形或矩形形状。矩形编译单元(或矩形块)包括垂直编译单元(或垂直块)和水平编译单元(或水平块)。在本说明书中，垂直块是其高度大于宽度的块，并且水平块是其宽度大于高度的块。此外，在本说明书中，非正方形块可以指代矩形块，但是本公开不限于此。
参考图3，首先将编译树单元分割成四叉树(QT)结构。即，在四叉树结构中具有2NX2N大小的一个节点可以被分割成具有NXN大小的四个节点。在本说明书中，四叉树也可以称为四元树。可以递归地执行四叉树分割，并非所有节点都需要以相同的深度分割。
同时，上述四叉树的叶节点可以进一步被分割成多类型树(MTT)结构。根据本发明的实施例，在多类型树结构中，一个节点可以被分割成水平或垂直划分的二叉或三叉树结构。即，在多类型树结构中，存在四个分割结构，诸如垂直二元分割、水平二元分割、垂直三元分割和水平三元分割。根据本发明的实施例，在每个树结构中，节点的宽度和高度都可以具有2的幂。例如，在二叉树(BT)结构中，2NX2N大小的节点可以通过垂直二元分割被分割成两个NX2N节点，并通过水平二元分割将其分割成两个2NXN节点。另外，在三叉树(TT)结构中，将2NX2N大小的节点通过垂直三元分割被分割成(N/2)X2N、NX2N和(N/2)X2N节点，并通过水平三元分割被分割成2NX(N/2)、2NXN和2NX(N/2)节点。可以递归地执行此多类型树分割。
多类型树的叶节点可以是编译单元。如果未指示用于编译单元的分割或针对最大变换长度该编译单元不大，则无需进一步划分就将编译单元用作预测和变换的单元。另一方面，可以通过诸如PPS、SPS、VPS等的高层集合的RBSP来预定义或发送上述四叉树和多类型树中的以下参数中的至少一个。1)CTU大小：四叉树的根节点大小，2)最小QT大小MinQtSize：允许的最小QT叶节点大小，3)最大BT大小MaxBtSize：允许的最大BT根节点大小，4)最大TT大小MaxTtSize：允许的最大TT根节点大小，5)最大MTT深度MaxMttDepth：从QT的叶节点分割而来的MTT的最大允许深度，6)最小BT大小MinBtSize：允许的最小BT叶节点大小，7)最小TT大小MinTtSize：允许的最小TT叶节点大小。
图4示出用于发信号告知四叉树和多类型树的分割的方法的实施例。可以使用预设标志来发信号告知上述四叉树和多类型树的分割。参考图4，指示是否分割四叉树节点的标志“qt_split_flag”、指示是否分割多类型树节点的标志“mtt_split_flag”、指示多类型树节点的分割方向的标志“mtt_split_vertical_flag”或者指示多类型树节点的分割类型的标志“mtt_split_binary_flag”中的至少一个可以被使用。
根据本发明的实施例，编译树单元是四叉树的根节点，并且可以首先被分割成四叉树结构。在四叉树结构中，为每个节点“QT_node”发信号告知“qt_split_flag”。如果“qt_split_flag”的值为1，则将该节点分割成4个正方形节点，并且如果“qt_split_flag”的值为0，则相应的节点成为四叉树的叶节点“QT_leaf_node”。
每个四叉树叶节点“QT_leaf_node”可以进一步被分割成多类型树结构。在多类型树结构中，为每个节点“MTT_node”发信号告知“mtt_split_flag”。当“mtt_split_flag”的值是1时，相应的节点被分割成多个矩形节点，并且当“mtt_split_flag”的值是0时，相应的节点是多类型树的叶节点“MTT_leaf_node”。当将多类型树节点“MTT_node”分割成多个矩形节点时(即，当“mtt_split_flag”的值是1时)，可以附加地发信号告知节点“MTT_node”的“mtt_split_vertical_flag”和“mtt_split_binary_flag”。当“mtt_split_vertical_flag”的值是1时，指示节点“MTT_node”的垂直分割，并且当“mtt_split_vertical_flag”的值是0时，指示节点“MTT_node”的水平分割。另外，当“mtt_split_binary_flag”的值为1时，节点“MTT_node”被分割成2个矩形节点，并且当“mtt_split_binary_flag”的值为0时，节点“MTT_node”被分割成3个矩形节点。
对不再被划分的编译单元(即，编译单元树的叶节点)上执行用于编码的图片预测(运动补偿)。在下文中，用于执行预测的基本单元将被称为“预测单元”或“预测块”。
在下文中，在此使用的术语“单元”可以代替预测单元，该预测单元是用于执行预测的基本单元。然而，本公开不限于此，并且“单元”可以被理解为广泛地涵盖编译单元的概念。
图5和图6更加具体地图示根据本发明的实施例的帧内预测方法。如上所述，帧内预测单元通过使用位于当前块的左边和/或上边的重构的样本作为参考样本来预测当前块的样本值。
首先，图5示出在帧内预测模式中用于当前块的预测的参考样本的实施例。根据实施例，参考样本可以是与当前块的左边界相邻的样本和/或与上边界相邻的样本。如图5中所示，当当前块的大小是WXH并且与当前块相邻的单个参考线的样本被用于帧内预测时，可以使用位于当前块的左边和上边的最大2W+2H+1个邻近样本来配置参考样本。
当尚未恢复要用作参考样本的至少一些样本时，帧内预测单元可以通过执行参考样本填充过程来获得参考样本。帧内预测单元可以执行参考样本滤波过程以减少帧内预测中的误差。也就是说，可以对通过参考样本填充过程获得的相邻样本和/或参考样本执行滤波，以便获得滤波的参考样本。帧内预测单元通过使用如上获得的参考样本来预测当前块的样本。帧内预测单元通过使用未滤波的参考样本或滤波的参考样本来预测当前块的样本。在本公开中，相邻样本可以包括至少一个参考线上的样本。例如，相邻样本可以包括在与当前块的边界相邻的线上的相邻样本。
接下来，图6示出用于帧内预测的预测模式的实施例。对于帧内预测，可以发信号告知指示帧内预测方向的帧内预测模式信息。帧内预测模式信息指示被包括在帧内预测模式集中的多个帧内预测模式中的一个。当当前块是帧内预测块时，解码器从比特流接收当前块的帧内预测模式信息。解码器的帧内预测单元基于提取的帧内预测模式信息对当前块执行帧内预测。
根据本发明的实施例，帧内预测模式集可以包括在帧内预测中使用的所有帧内预测模式(例如，总共67个帧内预测模式)。更具体地说，帧内预测模式集可以包括平面模式、DC模式以及多个(例如65个)角度模式(即，定向模式)。可以通过预设索引(即，帧内预测模式索引)来指示每个帧内预测模式。例如，如图6所示，帧内预测模式索引0指示平面模式，而帧内预测模式索引1指示DC模式。此外，帧内预测模式索引2至66可以分别指示不同的角度模式。角度模式分别指示在预设角度范围内彼此不同的角度。例如，角度模式可以指示在顺时针方向的45度和-135度之间的角度范围(即，第一角度范围)内的角度。可以基于12点钟方向来定义角度模式。在这种情况下，帧内预测模式索引2指示水平对角线(HDIA)模式，帧内预测模式索引18指示水平(水平，HOR)模式，帧内预测模式索引34指示对角(DIA)模式，帧内预测模式索引50指示垂直(VER)模式，而帧内预测模式索引66指示垂直对角(VDIA)模式。
在下文中，参照图7描述根据本公开的实施例的帧间预测方法。在本公开中，帧间预测方法可以包括为平移运动优化的一般帧间预测方法和基于仿射模型的帧间预测方法。此外，运动矢量可以包括用于根据一般帧间预测方法的运动补偿的一般运动矢量和用于仿射补偿的控制点运动矢量中的至少一个。
图7图示了根据本公开的实施例的帧间预测方法。如上所述，解码器可以参考另一解码图片的重构样本来预测当前块。参照图7，解码器基于当前块701的运动信息集来获取参考图片720内的参考块702。在这种情况下，运动信息集可以包括参考图片索引和运动矢量(MV)。参考图片索引指示参考图片列表中，包括用于当前块的帧间预测的参考块的参考图片720。根据实施例，参考图片列表可以包括L0图片列表或L1图片列表中的至少一个。运动矢量指示当前图片710内的当前块701的坐标值与参考图片720内的参考块702的坐标值之间的偏移。解码器基于参考块702的样本值，获取当前块701的预测子并且使用预测子，重构当前块701。
具体地，编码器可以通过在具有较高恢复序列的图片中搜索与当前块相似的块来获取参考块。例如，编码器可以在预设搜索区域内搜索与当前块的样本值的差值之和最小的参考块。在这种情况下，为了测量当前块和参考块的样本之间的相似性，可以使用绝对差和(SAD)和哈达玛变换差和(SATD)中的至少一个。在此，SAD可以是通过将包括在两个块中的样本值的差的所有绝对值相加而获得的值。此外，SATD可以是通过将通过包括在两个块中的样本值的差的哈达玛变换获取的哈达玛变换系数的所有绝对值相加而获得的值。
同时，可以使用一个或多个参考区域来预测当前块。如上所述，可以使用两个或更多个参考区域，通过一对预测方法来帧间预测当前块。根据实施例，解码器可以基于当前块的两个运动信息集来获取两个参考块。进一步地，解码器可以基于两个所获取的参考块的样本值，获取当前块的第一预测子和第二预测子。此外，解码器可以使用第一预测子和第二预测子来重构当前块。例如，解码器可以基于第一预测子和第二预测子的每个样本的平均值来重构当前块。
如上所述，对于当前块的运动补偿，可以发信号告知一个或多个运动信息集。在这种情况下，可以使用用于多个块中的每一个的运动补偿的运动信息集之间的相似性。例如，可以由用于预测其他重构样本中的一个的运动信息集推导出用于预测当前块的运动信息集。为此，编码器和解码器可以减少信令开销。
例如，可能存在很可能基于与当前块的运动信息集相同或相似的运动信息集预测出的多个候选块。解码器可以基于多个候选块生成合并候选列表。在此，合并候选列表可以包括与在比当前块更早重构的样本之中，很可能已经根据与当前块的运动信息集相关的运动信息集预测出的样本相对应的候选。编码器和解码器可以根据预定义的规则，配置当前块的合并候选列表。在此，分别由编码器和解码器配置的合并候选列表可以相同。例如，编码器和解码器可以基于当前块在当前图片中的位置来配置当前块的合并候选列表。将参考图9描述由编码器和解码器配置当前块的合并候选列表的方法。在本公开中，特定块的位置指示特定块的左上样本在包括该特定块的图片中的相对位置。
同时，为了提高编译效率，可以使用量化对残差信号进行变换获得的变换系数值并且对量化的变换系数进行编译，而不是原样编译上述残差的方法。如上所述，变换单元可以通过对残差信号进行变换来获得变换系数值。在这种情况下，特定块的残差信号可以分布在当前块的整个区域上。因此，可以通过残差信号的频域转换，将能量集中在低频区域中，从而提高编译效率。在下文中，将详细地描述变换或逆变换残差信号的方法。
图8是具体示出用于通过编码器变换残差信号的方法的图。如上所述，可以将空间域中的残差信号变换成频域。编码器可以通过变换所获得的残差信号来获得变换系数。首先，编码器可以获得包括用于当前块的残差信号的至少一个残差块。残差块可以是当前块，也可以是从当前块划分的块之一。在本公开中，残差块可以被称为残差阵列或残差矩阵，其包括当前块的残差样本。在本公开中，残差块可以表示变换单元或具有与变换块相同大小的块。
接下来，编码器可以通过使用变换核来变换残差块。用于变换残差块的变换核可以是具有垂直变换和水平变换的可分离特性的变换核。在这种情况下，可以将用于残差块的变换分别执行为垂直变换和水平变换。例如，编码器可以通过在残差块的垂直方向上应用变换核来执行垂直变换。编码器可以通过在残差块的水平方向上应用变换核来执行水平变换。在本公开中，变换核可以被用作指代用于残差信号的变换的参数集的术语，诸如变换矩阵、变换阵列、变换函数和变换。根据实施例，变换核可以是多个可用核中的任何一个。基于不同变换类型的变换核可以被用于垂直变换和水平变换中的每一个。将参考图12至图26描述用于选择多个可用变换核之一的方法。
编码器可以将从残差块变换的变换块传递到量化单元，并且量化该变换块。变换块可以包括多个变换系数。具体地，变换块可以包括以二维排列的多个变换系数。与残差块的情况一样，变换块的大小可以与当前块或从当前块划分的块的大小相同。传递到量化单元的变换系数可以被表示为量化值。
编码器可以在对变换系数进行量化之前执行附加变换。如图8所示，上述变换方法可以被称为初次变换，以及附加变换可以被称为二次变换。对于每个残差块，二次变换是可选择的。根据实施例，编码器可以通过对仅通过初次变换难以将能量集中在低频区域中的区域执行二次变换来提高编译效率。例如，可以将二次变换添加到其中在除了残差块的水平或垂直方向外的方向中残差值显示出较大的块。与帧间预测块的残差值相比，帧内预测块的残差值在除了水平或垂直方向以外的方向上具有更高的变换概率。因此，编码器可以对帧内预测块的残差信号附加地执行二次变换。编码器可以省略用于帧间预测块的残差信号的二次变换。
作为另一示例，可以根据当前块或残差块的大小来确定是否执行二次变换。另外，可以根据当前块或残差块的大小，使用具有不同大小的变换核。例如，可以将8X8二次变换应用于宽度或高度中的较短边的长度等于或大于第一预配置的长度的块。此外，4X4二次变换可以应用于宽度或高度中的较短边的长度等于或大于第二预配置长度并且小于第一预配置长度的块。第一预配置长度可以大于第二预配置长度，但本公开不限于此。此外，与初次变换不同，二次变换可以不分为垂直变换和水平变换。这种二次变换可以被称为低频不可分离变换(LFNST)。
执行了频率变换，也不会减少高频带中的能量。因此，可能劣化归因于量化的压缩性能。当对残差值很少存在的区域执行变换时，可能会不必要地增加编码时间和解码时间。因此，可以省略对特定区域的残差信号的变换。可以通过与特定区域的变换有关的语法元素来确定是否对特定区域的残差信号执行变换。例如，语法元素可以包括变换跳过信息。变换跳过信息可以是变换跳过标志。如果关于残差块的变换跳过信息指示变换跳过，则不执行对残差块的变换。在这种情况下，编码器可以立即量化未对其执行相应区域的变换的残差信号。可以经由图1的变换单元，执行参考图8描述的编码器的操作。
上述变换相关语法元素可以是从视频信号比特流解析的信息。解码器可以对视频信号比特流进行熵解码，以便获得变换相关语法元素。编码器可以对变换相关语法元素进行熵编译，以便生成视频信号比特流。
图9是具体图示用于通过编码器和解码器，对变换系数进行逆变换来获得残差信号的方法的图。为了便于描述，将描述经由编码器和解码器中的每一个的逆变换单元执行逆变换操作。逆变换单元可以通过对逆量化的变换系数进行逆变换来获得残差信号。首先，逆变换单元可以从区域的变换相关语法元素中检测是否对特定区域执行逆变换。根据实施例，当用于特定变换块的变换相关语法元素指示变换跳过时，可以省略对变换块的变换。在这种情况下，可以省略上述关于变换块的初次逆变换和二次逆变换。可以将逆量化的变换系数用作残差信号。例如，解码器可以通过将逆量化的变换系数用作残差信号来重构当前块。
根据另一实施例，用于特定变换块的变换相关语法元素可以不指示变换跳过。在这种情况下，逆变换单元可以确定是否对二次变换执行二次逆变换。例如，当变换块是帧内预测块的变换块时，可以对变换块执行二次逆变换。可以基于与变换块相对应的帧内预测模式来确定用于变换块的二次变换核。作为另一示例，可以基于变换块的大小来确定是否执行二次逆变换。可以在逆量化之后并且在初次逆变换之前执行二次逆变换。
逆变换单元可以对逆量化的变换系数或二次逆变换的变换系数执行初次逆变换。在初次逆变换的情况下，与初次变换的情况一样，可以单独地执行垂直变换和水平变换。例如，逆变换单元可以通过对变换块执行垂直逆变换和水平逆变换来获得残差块。逆变换单元可以基于用于对变换块进行变换的变换核来对变换块进行逆变换。例如，编码器可以显式地或隐式地发信号告知指示多个可用变换核当中的被应用于当前变换块的变换核的信息。解码器可以通过使用指示发信号告知的变换核的信息，从多个可用变换核当中选择要用于变换块的逆变换的变换核。逆变换单元可以通过使用经由对变换系数进行逆变换而获得的残差信号来重构当前块。
图10是图示根据本公开的实施例，在编译块被划分为多个变换块的情况下应用帧内预测模式的方法的图。根据本公开的实施例，可以以编译单元(或编译块)(在下文中，简称为块)为单位来确定帧内预测模式。此外，编译单元可以被划分为多个变换块。在实施例中，可以基于编译块的形状来修改(或分析、确定、改进)帧内预测模式。
在实施例中，提供了一种在块不是正方形块的情况下重新分析帧内预测模式的方法。参照图10，nTbW可以是指示变换块的宽度的变量，nTbH可以是指示变换块的高度的变量。nTbW可以是指示编译块的宽度的变量，以及nTbH可以是指示编译块的高度的变量。关于已经应用了帧内子分区(ISP)的块，nTbW可以是指示编译块的宽度的变量，而nTbH可以是指示编译块的高度的变量。另外，在本公开中，whRatio是指示宽度和高度之间的比率的变量。例如，whRatio可以被配置(或定义)为Abs(Log2(nTbW/nTbH))。在下文中，从编码器发信号告知解码器的帧内预测模式可以被称为第一预测模式(或第一帧内预测模式)，并且修改(或重新分析、确定、改进)的模式可以被称为第二预测模式(或第二帧内预测模式)。在下文中，abs()指示应用绝对值的运算符(或函数)。可以基于以下条件导出修改的帧内预测模式。
-第一条件：nTbW>nTbH
-第二条件：第一预测模式等于或大于2
-第三条件：如果whRatio>1，则第一预测模式小于(8+2*whRatio)，如果whRatio<1，则第一预测模式小于8
如果满足包括第一到第三条件的三个条件，则解码器可以将1配置为wideAngle，并且可以将(第一预测模式+65)配置为第二预测模式。wideAngle是指示是否使用广角模式的变量。
-第四条件：nTbW>nTbH
-第五条件：第一预测模式等于或小于66
-第六条件：如果whRatio>1，则第一预测模式大于(60-2*whRatio)，以及如果whRatio<1，则第一预测模式大于60
如果第四至第六条件都满足，则解码器可以将1配置为wideAngle，并且可以将(第一预测模式-67)配置为第二预测模式。
根据本公开的实施例，可以将帧内预测模式分为基本角度模式和扩展角度模式。基本角度模式可以是相对于垂直模式/水平模式，在+-45度范围内的角度模式，而扩展角度模式可以是相对于垂直模式/水平模式超过+-45度的角度模式。因此，发信号告知的模式信息可以根据编译块的形状指示使用基本角度模式还是扩展角度模式。可以基于编译块的形状，根据横向长度和纵向长度之间的比率(或纵向长度和横向长度之间的比率)来定义可用扩展角模式的数量。例如，可以通过2:1、4:1、8:1、16:1等来定义(配置)比率。
例如，如图10(a)所示，可以将被确定为使用帧内预测模式2的cbWidth xcbHeight编译块划分为如图10(b)所示的两个水平变换块。如果tbWidth_1大于tbHeight_1，则具有tbWidth_1x tbHeight_1大小的第一变换块可以具有垂直矩形块形状。cbWidth是指示编译块的宽度的变量，而cbHeight是指示编译块的高度的变量。tbWidth是指示变换块的宽度的变量，而tbHeight是指示变换块的高度的变量。
发信号告知的帧内预测模式2可以基于第一变换块的形状被重新分析，然后将其修改为扩展角度模式，根据所描述的分析方法，其为(2+65)。因此，第二预测模式可以被推导(确定)为67。即，在编译块的单元中确定的帧内预测模式可以不以相同的方式被用于变换块的单元。在这种情况下，可能会导致性能变化。
因此，本公开的实施例提出了如下应用用于确定广角模式的方法以将与为编译块确定的相同的帧内预测模式应用于变换块的方法。作为实施例，编码器/解码器可以将nTbW和nTbH配置为编译块的cbWidth和cbHeight，以导出第二预测模式。编码器/解码器可以通过使用包括变换块的编译块的高度和宽度来确定(或决定)是否使用广角模式。在图10中，将划分具有水平矩形形状的变换块的情况示为示例，但是本公开不限于此。即，所提出的实施例甚至可以以相同的方式应用于分离垂直矩形、正方形或各种组合形状的情况。
图11是图示根据本公开的实施例的用于应用位置相关帧内预测组合(PDPC)的方法的图。如果以下条件全部满足，则可以将PDPC应用于帧内块。
条件1.IntraSubPartitionsSplitType(ISP分区类型)为ISP_NO_SPLIT，或者cIdx(分量索引)不等于0。
条件2.refIdx(参考样本线索引)与0相同，或cIdx与0不同。
条件3.如果满足以下条件的至少一个：
-predModeIntra(帧内预测模式)是INTRA_PLANAR
-predModeIntra(帧内预测模式)是INTRA_DC
-predModeIntra(帧内预测模式)是INTRA_ANGULAR18
-predModeIntra(帧内预测模式)是INTRA_ANGULAR50
-predModeIntra(帧内预测模式)等于或小于INTRA_ANGULAR10
-predModeIntra(帧内预测模式)等于或大于INTRA_ANGULAR58
根据本公开的实施例，可以根据下述方法应用PDPC操作。本公开中描述的PDPC不限于其名称，这样的PDPC可以被称为位置相关帧内预测样本滤波。
作为实施例，可以根据如在下面的等式1中的PDPC和帧内预测模式(例如，DC、平面，或定向模式)，通过使用参考样本的线性组合，预测作为位于(x,y)处的预测样本的pred(x,y)。
[等式1]
pred(x,y)＝(wL×R-1,y+wT×Rx,-1–wTL×R-1,-1+(64–wL–wT
+wTL)×pred(x,y)+32)>>6
在该等式中，Rx,-1和R-1,y分别指示位于当前样本(x,y)左侧和上方的参考样本，R-1,-1指示位于当前块的左上的参考样本。如果将DC模式应用于当前块，则可以基于下面的等式2计算权重(这可以被称为PDPC权重)。
[等式2]
wT＝32>>((y<<1)>>移位),wL＝32>>((x<<1)>>移位),wTL＝(wL>>4)+(wT>>4)
在等式2中，移位可以被配置为((log2(宽度)–2+log2(高度)–2+2)>>2。对于平面模式，wTL可以被配置为0(wTL＝0)，对于水平模式，wTL可以被配置为wT(wTL＝wT)，并且对于垂直模式，wTL可以被配置为wL(wTL＝wL)。可以仅基于求和与移位运算来计算PDPC权重。可以通过使用上述等式1，通过单个阶段来计算pred(x,y)的值。
如果将PDPC应用于DC、平面、水平和/或垂直模式，则可能不需要附加边界滤波。作为示例，附加边界滤波可以包括基于常规图像压缩技术(例如，HEVC)的DC模式边界滤波或水平/垂直模式边缘滤波。
图12是图示作为本公开的实施例，根据帧内预测模式，用于PDPC的参考样本的示例的图。参考图12，在图12(a)中，假设帧内预测模式为预测模式2，而在图12(b)中，假设帧内预测模式是预测模式66。具体地，图12图示了将PDPC应用于右上对角线模式的情况的参考样本Rx,-1、R-1,y和R-1,-1。预测样本pred(x',y')表示预测块中位于(x',y')处的预测样本。参考样本Rx,-1的坐标x给出为x＝x'+y'+1。类似地，参考样本R-1,y的坐标y给出为y＝x'+y'+1。
根据本公开的实施例，可以根据下面的等式3确定用于右上对角线模式的PDPC权重。
[等式3]
wT＝16>>((y'<<1)>>移位),wL＝16>>((x'<<1)>>shift),wTL＝0
图13是图示作为本公开的实施例，根据帧内预测模式，用于PDPC的参考样本的示例的图。参考图13，在图13(a)中，假设帧内预测模式的模式编号(或模式索引)为3到10中的一个，以及在图13(b)中，假设帧内预测模式的模式编号是58至65中的一个。类似于上述图12，图13图示了将PDPC应用于左下对角线模式的情况的参考样本Rx,-1、R-1,y和R-1,-1。预测样本pred(x',y')表示预测块中位于(x',y')处的预测样本。参考样本Rx,-1的坐标x给出为x＝x'+y'+1。此外，类似地，参考样本R-1,y的坐标y给出为y＝x'+y'+1。
根据本公开的实施例，可以根据下面的等式4来确定用于左下对角线模式的PDPC权重。
[等式4]
wT＝16>>((y’<<1)>>移位),wL＝16>>((x’<<1)>>移位),wTL＝0。
在图13(a)的情况下，关于右上对角线模式，可以如在下面的等式5中定义PDPC权重。
[等式5]
wT＝32>>((y’<<1)>>shift),wL＝0,wTL＝0
以同样的方式，在图13(b)的情况下，关于左下对角线模式，可以如在下面的等式6中定义PDPC权重。
[等式6]
wL＝32>>((x’<<1)>>shift),wT＝0,wTL＝0
参考图12和图13，作为实施例，如在将PDPC应用于DC、平面、水平和/或垂直模式的情况下，如图13所示，对于对角模式和对角模式的相邻模式，可能不需要附加边界滤波。
可以基于为定向模式帧内预测定义的表来导出图13所示的示例的参考样本的坐标。如上所述，该表可以由对角线模式及其相邻模式来定义。因此，优点在于不需要根据本公开中描述的PDPC实施方式的附加表。此外，当计算坐标x和y时，可能不使用乘法运算。另外，在实施例中，在参考样本的坐标为分数的情况下，可以对参考样本执行线性插值。
图14是图示根据应用本公开的实施例，用于将帧内子分区(ISP)和位置相关帧内预测组合(PDPC)应用于编译块的方法的示例的图。参照图14(a)，当前编译块可以由使用宽度(W)和高度(H)的W×H表示。图14(b)图示了在应用ISP模式的情况下，将当前编译块垂直划分为四个变换块的示例。图14(c)图示了以图14(b)所示的所划分的变换块为单位应用PDPC的示例。
在实施例中，编码器/解码器可以以已经应用了ISP的变换块为单位使用(或应用)插值滤波，如图14(b)所示。插值滤波指示从参考样本获取样本值的方法。作为实施例，如果滤波器标志为0，则编码器/解码器可以使用三次插值滤波器系数，而如果滤波器标志为1，则可以使用高斯插值滤波器系数。编码器/解码器可以通过使用所确定的插值滤波器系数来确定参考样本值，并且可以将该值用作预测值。此外，在实施例中，编码器/解码器可以将1配置为块的滤波器标志，该块的变换块是亮度分量并且已经对其应用了ISP。作为另一示例，编码器/解码器可以基于滤波器标志来确定是否应用插值滤波器。
此外，在实施例中，编码器/解码器可以基于相对于作为亮度分量并且已经对其应用于ISP的变换块的块的宽度(W)和高度(H)来配置(或确定)滤波器标志值。作为实施例，编码器/解码器可以通过将块的样本的数量(W*H)与预定义(或预先配置的)特定参考值进行比较来配置标志值。例如，编码器/解码器可以执行诸如W*H>参考值、W*H>＝参考值、W*H<参考值和W*H<＝参考值的比较。作为另一种方法，编码器/解码器可以通过将块的宽度和高度中的每一个与参考值进行比较来不同地配置滤波器标志值。作为实施例，可以由(W>参考值且H>参考值)或(W>参考值或H>参考值)来定义确定滤波器标志值的条件。在上述例子中，不等式的符号不限于“大于参考值”，还可以定义为“等于”、“等于或大于”、“小于”、“等于或小于”。应用于W和H的参考值可以彼此不同，并且可以对其应用不同的不等号。可替代地，可以根据块大小是否属于特定块大小范围来配置滤波器标志值。
参照图14(c)，在本公开的实施例中，编码器/解码器可以将PDPC应用于已经应用了ISP的块。例如，编码器/解码器可以基于块的样本数(W*H)来确定是否将PDPC应用于已经应用了ISP的块。在实施例中，可以定义基于块的样本数量来确定是否应用PDPC的条件。例如，条件可以是W*H>参考值，W*H>＝参考值，W*H<参考值，以及W*H<＝参考值。参考值可以是预先配置的值。作为另一实施例，确定是否应用PDPC的条件可以由(W>参考值且H>参考值)定义或可以由(W>参考值或H>参考值)定义。在上述示例中，不等式的符号不限于“大于参考值”，还可以定义为“等于”、“等于或大于”、“小于”、“等于或小于”。例如，确定是否应用PDPC的条件可以由(W≥参考值且H≥参考值)定义或可以由(W≥参考值或H≥参考值)定义。作为实施例，应用于W和H的参考值可以彼此相同，也可以彼此不同，并且可以用相同的符号(或相同的不等号)或不同的符号来定义。
此外，参照图14(c)，在本公开的实施例中，可以执行将应用了ISP的块划分为多个矩形变换块，并且以所划分的变换块为单位执行编码/解码的过程。在实施例中，编码器/解码器可以以编译块为单位而不是以变换块为单位应用PDPC。即，相对于应用了ISP的编译块，编码器/解码器可以以编译块为单位，而不是以变换块为单位执行PDPC。
参照图14(c)，在本公开的实施例中，当编码器/解码器将PDPC应用于已经应用了ISP的块时，仅当满足为某些模式定义的特定条件时，编码器/解码器可以将PDPC应用于应用PDPC的模式中的某些模式。例如，如在上述实施例中，如果基于样本数量或宽度/高度来确定PDPC的应用，则可以为平面模式、水平模式和垂直模式不同地配置参考值。
另外，根据本公开的实施例，当编码器/解码器确定是否应用参考样本滤波时，编码器/解码器可以基于块是否是对其应用了ISP和/或PDPC的块来配置指示是否应用滤波的滤波器标志。例如，可以将已经对其应用了ISP和PDPC的块的滤波器标志配置为具有固定值0或1。可替代地，可以通过模式相关帧内平滑(MDIS)条件，确定已经对其应用了ISP和PDPC的块的滤波器标志值。可替代地，编码器/解码器可以将不同的滤波器标志值应用于已经对其应用了ISP和PDPC的块和对其仅应用了ISP的块。
此外，根据本公开的实施例，当编码器/解码器确定广角模式时，编码器/解码器可以基于编译块的宽度和高度重新配置帧内预测模式。例如，编码器/解码器可以对已经对其应用了ISP的块，基于编译块的宽度和高度，执行重新分析广角模式的过程，并且可以基于该过程，配置参考样本滤波器标志。可替代地，编码器/解码器可以基于已经对其应用了ISP的块的分区方向/大小，不同地配置广角模式应用方法。作为实施例，可以基于变换块的宽度/高度或编译块的宽度/高度来应用特定的分区方向，并且可以根据不同的方案来应用其他方向。作为另一个实施例，编码器/解码器可以基于所划分的变换块中的每个的宽度和高度来应用广角模式。例如，如果变换块的宽度和高度的最小值大于或者等于或大于参考值，则可以使用编译块的高度和宽度来应用广角模式，并且如果最小值小于或者等于或小于参考值，则可以使用变换块的宽度和高度来应用广角模式。可替代地，相反，如果变换块的宽度和高度的最小值大于或者等于或大于参考值，则可以使用变换块的宽度和高度来应用广角模式，而如果最小值小于或者等于或小于参考值，则可以使用编译块的高度和宽度来应用广角模式。
在上述描述中，可以组合地或单独地应用参考图10至14描述的实施例中的一个或多个。此外，可以以基本相同的方式由解码器和编码器应用上述实施例。
图15是图示根据本公开的实施例的变换单元分区处理方法的图。参照图15，在本公开的实施例中，编码器/解码器可以将当前块(编译块或编译单元)分割为多个变换块以对当前块进行编码或解码。作为实施例，如果应用帧内子分区(ISP)模式，可以将编译块划分为多个变换块。可替代地，如果编译块的大小大于最大变换大小，则可以将编译块划分为多个变换块。如果应用帧内子分区模式，则编译块可以被划分为水平或垂直矩形变换块，并且可以被划分为两个或四个变换块，如图15所示。
图16是图示根据应用本公开的实施例，通过初次变换和二次变换来执行编码/解码的过程的图。如上所述，编译块可以被划分为多个变换块，并且编码器/解码器可以对所划分的变换块应用变换。图16示出了对变换块应用两次变换的示例。图16所示的前向初次变换指示参考编码器侧首先应用的变换，并且在本公开中可以被称为初次变换。图16所示的前向二次变换指示参考编码器侧第二次应用的变换，并且在本公开中可以被称为二次变换。可以参考解码器侧，对逆量化变换块顺序地执行二次变换(即，逆二次变换)和初次变换(即，逆初次变换)。如上所述，二次变换可以被称为低频不可分离变换(LFNST)。
在本公开的实施例中，用于初次变换的变换矩阵(或变换核、变换类型)可以是传统的图像压缩技术中已知的变换矩阵，诸如DCT-2、DST-7和DCT-8。二次变换可以根据编译块的大小应用于变换块中的部分区域。例如，部分区域可以是4x4的区域，或者8x8的区域。部分区域的位置可以是编译块(或变换块)的左上区域。作为实施例，如果编译块的宽度和高度都大于4，则变换可以应用于左上8x8区域，而如果宽度和高度之一等于4，则变换可以应用于左上4x4区域。二次变换可以应用于根据帧内模式已经编译的块的亮度分量和色度分量。
图17是图示根据本公开的实施例的用于选择用于二次变换的变换核的方法的图。参照图17，可以基于用于帧内预测的预测模式确定变换核集(或变换类型集、变换矩阵集)以及在编码器/解码器中定义图17所示的表。在本实施例中，帧内预测模式可以由-14至83定义。如图17所示，可以为每个帧内预测模式组确定变换核集。相同的索引可以应用于亮度分量和色度分量。基于帧内预测模式确定二次变换核集，以及可以在获得(或确定)帧内预测模式后确定变换核集。因此，导致了相关性问题。因此，在本公开的实施例中，描述了消除这种相关性的方法。
作为实施例，编码器/解码器可以考虑以下事项下，根据帧内预测模式确定应用于当前块的变换核集。
-CU的横向长度与纵向长度的比率，或纵向长度与横向长度的比率
-CU的大小
-初次变换的类型
-MTS索引
-是否应用隐式MTS
编码器/解码器可以基于上述事项确定变换核集，上述事项之一或者其多个的组合可以用于确定变换核集。
图18是图示根据本公开的实施例，用于以变换块为单位应用二次变换的方法的示例的图。根据本公开的实施例，编码器/解码器可以将编译块(或编译单元)划分为多个变换块(或变换单元)，并且可以对每个变换块应用二次变换。二次变换可以应用于一个编译单元被划分成的多个变换块中的每一个。基于划分编译单元的方法确定每个变换块的大小。可以根据垂直划分或水平划分来确定已经对其应用了ISP的编译单元的每个变换块的大小，如图15所示，以及可以根据附加分区的数量来确定大小。已经对其应用了ISP的块的分区数可以是2或4。图18图示了垂直划分作为对其应用ISP的块的一个编译单元并且分区的数量为4的情况。如在上述图14(b)中，如果编译单元的大小为WxH，则每个变换块的大小可以是W/4xH。变换块的大小可以被用作确定是否应用二次变换的宽度和高度。
根据本公开的实施例，编码器/解码器可以对变换块中的每个使用相同的变换核集，或者可以使用不同的变换核集。如果所划分的变换块使用相同的帧内预测模式并且其大小相同，则这些块可以使用相同的变换核。相反，编码器/解码器可以确定并使用用于变换块中的每个的核集。已经对其应用了帧内子分区模式的编译单元的亮度分量被变换为多个变换块，但是其色度分量可以不被划分。在这种情况下，亮度变换块和色度变换块可以使用相同的二次变换核集，并且需要满足对其应用二次变换块的编译块的大小。此外，亮度变换块和色度变换块可以具有不同的大小。编码器/解码器可以根据应用二次变换块的块大小的条件，对4x4或8x8区域应用二次变换。作为另一种方法，编码器/解码器可以将与应用于亮度变换的区域相同的区域用于色度分量。用于亮度的帧内预测模式和用于色度的帧内预测模式可能彼此不同，因此编码器/解码器可以使用不同的变换核集。该描述是关于基于帧内预测模式确定核集的方法给出的，但是可以对其应用参考图17描述的用于确定二次变换核集的所有方法。
根据本公开的实施例，如果编译单元的大小大于最大变换大小，则可以将编译单元划分为多个变换块而无需单独的信令。在这种情况下，如果应用二次变换，则性能可能会降低并且复杂性可能会增加。因此，可以限制对其应用二次变换的最大编译块。最大编译块的大小可以与最大变换大小相同。可替代地，可以使用编译块的预先配置的大小。预先配置的值可以是64、32或16，但本公开不限于此。预先配置的值可以是较长边的长度值，也可以是总样本数。
另外，在实施例中，编码器/解码器可以不将二次变换块的大小限制为编译单元的左上4x4或8x8区域，并且可以定义2x8、8x2、4x16、16x4、2x32和32x2区域。编码器/解码器可以考虑到编译块的横向长度与纵向长度的比率或纵向长度与横向长度的比率，自适应地/无需发信号告知地确定对其应用二次变换的区域。
图19是图示根据应用本公开的实施例，用于将PDPC应用于对其应用了帧内预测模式的当前编译块的方法的图。根据本公开的实施例，如果当前块不是正方形，则在帧内预测模式之中的DC模式的情况下，编码器/解码器可以仅使用较长边的参考样本来执行预测。在这种情况下，对于当前编译块的预测可能根本不反映较短边的样本值。在这种情况下，当前块的预测值和较短边的参考样本可能会有很大的差异。因此，编码器/解码器可以在帧内预测时对样本执行基于位置的滤波。如上所述，在本公开中，这种对样本的基于位置的滤波方法可以被称为PDPC。如果应用PDPC，则编码器/解码器可以在DC模式中通过使用第一参考样本、第二参考样本和与左上角相邻的参考样本值来基于权重执行滤波。参考样本和/或应用于每个参考样本的权重可以通过使用下面的等式7至等式12来导出。
[等式7]
refL[x][y]＝p[-1][y]
[等式8]
refT[x][y]＝p[x][-1]
[等式9]
wT[y]＝32>>((y<<1)>>nScale)
[等式10]
wL[x]＝32>>((x<<1)>>nScale)
[等式11]
wTL[x][y]＝(predModeIntra＝＝INTRA_DC)？((wL[x]>>4)+(wT[y]>>4)):0
[等式12]
predSamples[x][y]＝clip1Cmp((refL[x][y]*wL[x]+refT[x][y]*wT[y]-p[-1][-1]*wTL[x][y]+(64-wL[x]-wT[y]+wTL[x][y])*predSamples[x][y]+32)>>6)
在上述等式中，左参考样本可以通过使用等式7导出，而右参考样本可以通过使用等式8导出。应用于右参考样本的权重值可以通过使用等式9导出，而应用于左参考样本的权重值可以通过使用等式10导出，以及应用于位于左上边缘的参考样本的权重值可以通过使用等式11导出。之后，编码器/解码器可以基于确定的权重值，根据等式12，生成预测样本。
根据本公开的实施例，编码器/解码器可以对非正方形块(不是正方形块)的相对较长边和较短边配置不同的权重值。例如，编码器/解码器可以将应用于相对较长边的权重值配置为小于应用于较短边的权重值。在上面的等式9和等式10中，如果边属于较短边，则权重值可以被配置为不同于较长边的权重值。例如，权重值可以被配置为16、8、4等而不是32。可替代地，可以使用在上面的等式9和等式10中使用的缩放变量nScale。编码器/解码器可以根据其位置配置较长边和较短边的值。
在实施例中，如果使用多参考线样本，则编码器/解码器可以将PDPC应用于垂直模式和/或水平模式。可替代地，编码器/解码器可以将PDPC应用于垂直、水平、DC和平面模式。
图20是图示根据本公开的实施例的视频信号处理方法的流程图。参照图20，为了便于说明，主要针对解码器进行描述，但本公开不限于此。根据本实施例的视频信号处理方法也可以通过基本相同的方法应用于编码器。
参照图20，解码器确定是否将帧内子分区(ISP)模式应用于当前块(S2001)。
如果对当前块应用ISP模式，则解码器将当前块划分为多个水平或垂直矩形变换块(S2002)。
解码器通过对变换块中的每个执行帧内预测来生成变换块的预测块(S2003)。
解码器基于变换块的残差块和预测块重构当前块(S2004)。
如上所述，预测块的生成可以包括以通过划分当前块获得的变换块为单位执行位置相关帧内预测样本滤波。
此外，如上所述，预测块的生成可以进一步包括基于变换块中的每个的宽度和高度中的至少一个来确定是否应用位置相关帧内预测样本滤波。
此外，如上所述，确定是否应用位置相关帧内预测样本滤波可以包括：如果变换块中的每个的宽度等于或大于预先配置的参考值，并且变换块中的每个的高度等于或大于预先配置的参考值，则确定应用位置相关帧内预测样本滤波。
另外，如上所述，可以通过以变换块为单位执行逆二次变换和逆初次变换来导出变换块的残差块。
此外，如上所述，该方法可以进一步包括：确定是否对当前块应用二次变换；当二次变换应用于当前块时，在基于当前块的帧内预测模式预定义的二次变换核集当中导出应用于当前块的二次变换核集；在所确定的二次变换核集中确定应用于当前块的二次变换核；通过以变换块为单位执行逆二次变换来生成变换块的二次逆变换块；以及通过对二次逆变换块执行逆初次变换来生成变换块的残差块。
可以通过各种手段来实现本发明的上述实施例。例如，可以通过硬件、固件、软件或其组合来实现本发明的实施例。
对于通过硬件实现的情况，可以通过专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等中的一个或多个来实现根据本发明的实施例的方法。
在通过固件或软件实现的情况下，可以以执行上述功能或操作的模块、过程或函数的形式来实现根据本发明的实施例的方法。可以将软件代码存储在存储器中并由处理器驱动。存储器可以位于处理器内部或外部，并且可以通过各种已知的方式与处理器交换数据。
还可以以诸如由计算机执行的程序模块的包括计算机可执行指令的记录介质的形式来实现某些实施例。计算机可读介质可以是可由计算机访问的任何可用介质，并且可以包括所有易失性、非易失性、可移除和不可移除的介质。另外，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以任何用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的方法或技术实现的所有易失性、非易失性、可移动和不可移动介质。通常，通信介质包括计算机可读指令、调制数据信号的其他数据(诸如数据结构或程序模块)或其他传输机制，并且包括任何信息传输介质。
本发明的上述描述仅用于说明目的，并且将会理解，本发明所属的本领域的普通技术人员可以在不改变本发明的技术思想或者基本特征的情况下对本发明进行改变，并且本发明可以以其他特定形式容易地被修改。因此，上述实施例是说明性的，并且在所有方面均不受限制。例如，被描述为单个实体的每个组件可以被分布和实现，并且同样，被描述为被分布的组件也可以以关联的方式被实现。
本发明的范围由所附权利要求书而不是上述详细描述来限定，并且从所附权利要求书的含义和范围及其等效物导出的所有改变或修改都应解释为包括在本发明的范围内。
工业适用性
为了示例的目的，公开了本公开的上述优选实施例，并且本领域技术人员可以在不脱离在所附权利要求书中公开的本公开的技术精神和范围的情况下改进、改变、替换或添加各种其他实施例。

Claims (12)

1.一种视频信号处理方法，包括：
确定是否将帧内子分区(ISP)模式应用于当前块；
当将所述ISP模式应用于所述当前块时，将所述当前块划分为多个水平或垂直矩形变换块；
通过对所述变换块中的每个执行帧内预测，生成所述变换块的预测块；以及
基于所述变换块的残差块和所述预测块来重构所述当前块，
其中，生成所述预测块包括以通过划分所述当前块获得的所述变换块为单位，执行位置相关帧内预测样本滤波。
2.根据权利要求1所述的方法，
其中，生成所述预测块进一步包括基于所述变换块中的每个的宽度和高度中的至少一个来确定是否应用所述位置相关帧内预测样本滤波。
3.根据权利要求2所述的方法，
其中，确定是否应用所述位置相关帧内预测样本滤波包括：当所述变换块中的每个的宽度等于或大于预先配置的参考值，并且所述变换块中的每个的高度等于或大于所述预先配置的参考值时，确定应用所述位置相关帧内预测样本滤波。
4.根据权利要求1所述的方法，
其中，通过以所述变换块为单位执行逆二次变换和逆初次变换来导出所述变换块的残差块。
5.根据权利要求1所述的方法，进一步包括：
确定是否将二次变换应用于所述当前块；
当将所述二次变换应用于所述当前块时，在基于所述当前块的帧内预测模式预定义的二次变换核集中，导出应用于所述当前块的二次变换核集；
在所确定的二次变换核集中确定应用于所述当前块的二次变换核；
通过以所述变换块为单位执行逆二次变换，生成所述变换块的二次逆变换块；以及
通过对所述二次逆变换块执行逆初次变换来生成所述变换块的残差块。
6.一种包括处理器的视频信号处理设备，
其中，所述处理器被配置为：
确定是否将帧内子分区(ISP)模式应用于当前块；
当将所述ISP模式应用于所述当前块时，将所述当前块划分为多个水平或垂直矩形变换块；
通过对所述变换块中的每个执行帧内预测，生成所述变换块的预测块；以及
基于所述变换块的残差块和所述预测块来重构所述当前块，以及
所述处理器被配置为以通过划分所述当前块获得的所述变换块为单位，执行位置相关帧内预测样本滤波。
7.根据权利要求6所述的设备，
其中，所述处理器被配置为基于所述变换块中的每个的宽度和高度中的至少一个来确定是否应用所述位置相关帧内预测样本滤波。
8.根据权利要求7所述的设备，
其中，所述处理器被配置为当所述变换块中的每个的宽度等于或大于预先配置的参考值，并且所述变换块中的每个的高度等于或大于所述预先配置的参考值时，确定应用所述位置相关帧内预测样本滤波。
9.根据权利要求6所述的设备，
其中，通过以所述变换块为单位执行逆二次变换和逆初次变换来导出所述变换块的残差块。
10.根据权利要求6所述的设备，
其中，所述处理器被配置为：
确定是否将二次变换应用于所述当前块；
当将所述二次变换应用于所述当前块时，在基于所述当前块的帧内预测模式预定义的二次变换核集中，导出应用于所述当前块的二次变换核集；
在所确定的二次变换核集中确定应用于所述当前块的二次变换核；
通过以所述变换块为单位执行逆二次变换，生成所述变换块的二次逆变换块；以及
通过对所述二次逆变换块执行逆初次变换来生成所述变换块的残差块。
11.一种视频信号处理方法，包括：
确定是否将帧内子分区(ISP)模式应用于当前块；
当将所述ISP模式应用于所述当前块时，将所述当前块划分为多个水平或垂直矩形变换块；
通过对所述变换块中的每个执行帧内预测，生成所述变换块的预测块；以及
通过从原始块减去所述预测块来生成所述变换块的残差块，
其中，生成所述预测块包括以通过划分所述当前块获得的所述变换块为单位，执行位置相关帧内预测样本滤波。
12.一种非暂时性计算机可读介质，其中存储了被配置为由计算设备的一个或多个处理器执行的计算机可执行组件，其中，所述计算机可执行组件：
确定是否将帧内子分区(ISP)模式应用于当前块；
当将所述ISP模式应用于所述当前块时，将所述当前块划分为多个水平或垂直矩形变换块；
通过对所述变换块中的每个执行帧内预测，生成所述变换块的预测块；以及
基于所述变换块的残差块和所述预测块来重构所述当前块，
其中，所述计算机可执行组件以通过划分所述当前块获得的所述变换块为单位，执行位置相关帧内预测样本滤波。
CN202080016690.3A 2019-02-28 2020-02-28 基于帧内预测的视频信号处理方法和装置 Pending CN113491116A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2019-0024368 2019-02-28
KR20190024368 2019-02-28
KR10-2019-0035438 2019-03-27
KR20190035438 2019-03-27
PCT/KR2020/002920 WO2020175965A1 (ko) 2019-02-28 2020-02-28 인트라 예측 기반 비디오 신호 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
CN113491116A true CN113491116A (zh) 2021-10-08

Family

ID=72238632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080016690.3A Pending CN113491116A (zh) 2019-02-28 2020-02-28 基于帧内预测的视频信号处理方法和装置

Country Status (5)

Country Link
US (1) US11979554B2 (zh)
JP (2) JP7293376B2 (zh)
KR (1) KR20210122797A (zh)
CN (1) CN113491116A (zh)
WO (1) WO2020175965A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020184566A1 (ja) * 2019-03-11 2020-09-17 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
WO2020185018A1 (ko) * 2019-03-12 2020-09-17 엘지전자 주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
CA3135322A1 (en) * 2019-03-28 2020-10-01 Huawei Technologies Co., Ltd. Method and apparatus for intra smoothing
KR20200144480A (ko) * 2019-06-18 2020-12-29 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
JP2022538160A (ja) * 2019-06-25 2022-08-31 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． イントラ下位区分のためのコーディングを含むデコーダ、エンコーダ、および方法
WO2021060827A1 (ko) * 2019-09-23 2021-04-01 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
US11818395B2 (en) 2021-04-22 2023-11-14 Electronics And Telecommunications Research Institute Immersive video decoding method and immersive video encoding method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130136180A1 (en) * 2011-11-29 2013-05-30 Futurewei Technologies, Inc. Unified Partitioning Structures and Signaling Methods for High Efficiency Video Coding
WO2016129980A1 (ko) * 2015-02-13 2016-08-18 엘지전자(주) 변환 도메인 예측을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
WO2017192995A1 (en) * 2016-05-06 2017-11-09 Vid Scale, Inc. Method and system for decoder-side intra mode derivation for block-based video coding
WO2018016823A1 (ko) * 2016-07-18 2018-01-25 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2018038554A1 (ko) * 2016-08-24 2018-03-01 엘지전자(주) 이차 변환을 이용한 비디오 신호의 인코딩/디코딩 방법 및 장치
CN108712650A (zh) * 2012-06-29 2018-10-26 韩国电子通信研究院 视频解码方法、视频编码方法和计算机可读介质
TW201841506A (zh) * 2017-03-10 2018-11-16 聯發科技股份有限公司 用於視訊編解碼中具有畫面內方向預測模式之內含畫面內編解碼工具設定的方法和裝置
TW201906406A (zh) * 2017-06-15 2019-02-01 美商高通公司 與視訊寫碼中之變換處理一起應用之內部濾波

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
EP2547107A4 (en) * 2010-04-13 2014-07-02 Samsung Electronics Co Ltd VIDEO ENCODING METHOD AND VIDEO ENCODING APPARATUS BASED ON CODING UNITS DETERMINED ACCORDING TO ARBORESCENT STRUCTURE, AND VIDEO DECODING METHOD AND VIDEO DECODING APPARATUS BASED ON ENCODING UNITS DETERMINED ACCORDING TO ARBORESCENT STRUCTURE
KR102600756B1 (ko) 2015-03-06 2023-11-10 한국과학기술원 저 복잡도 변환에 기반한 영상 부호화 및 복호화 방법 및 이를 이용하는 장치
US10123044B2 (en) 2015-07-16 2018-11-06 Mediatek Inc. Partial decoding circuit of video encoder/decoder for dealing with inverse second transform and partial encoding circuit of video encoder for dealing with second transform
US10425648B2 (en) * 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
US10455228B2 (en) * 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
CN110024399B (zh) 2016-11-28 2024-05-17 韩国电子通信研究院 对图像编码/解码的方法和设备及存储比特流的记录介质
US10674165B2 (en) * 2016-12-21 2020-06-02 Arris Enterprises Llc Constrained position dependent intra prediction combination (PDPC)
US11405645B2 (en) 2017-02-28 2022-08-02 Google Llc Transform kernel selection and entropy coding
US10855997B2 (en) 2017-04-14 2020-12-01 Mediatek Inc. Secondary transform kernel size selection
US10742975B2 (en) * 2017-05-09 2020-08-11 Futurewei Technologies, Inc. Intra-prediction with multiple reference lines
ES2949998T3 (es) 2018-06-03 2023-10-04 Lg Electronics Inc Método y dispositivo para procesar una señal de vídeo usando una transformada reducida
IL281823B2 (en) 2018-10-12 2024-01-01 Guangdong Oppo Mobile Telecommunications Corp Ltd A method for encoding/decoding an image signal and a device for it
CN116684644A (zh) 2018-12-06 2023-09-01 Lg电子株式会社 解码设备、编码设备和数据发送设备
US11570436B2 (en) * 2019-01-28 2023-01-31 Apple Inc. Video signal encoding/decoding method and device therefor
WO2020159316A1 (ko) 2019-02-01 2020-08-06 엘지전자 주식회사 이차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2020162737A1 (ko) 2019-02-08 2020-08-13 주식회사 윌러스표준기술연구소 이차 변환을 이용하는 비디오 신호 처리 방법 및 장치
WO2020171647A1 (ko) * 2019-02-21 2020-08-27 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측을 사용하는 영상 디코딩 방법 및 그 장치
JP2022538160A (ja) 2019-06-25 2022-08-31 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． イントラ下位区分のためのコーディングを含むデコーダ、エンコーダ、および方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130136180A1 (en) * 2011-11-29 2013-05-30 Futurewei Technologies, Inc. Unified Partitioning Structures and Signaling Methods for High Efficiency Video Coding
CN108712650A (zh) * 2012-06-29 2018-10-26 韩国电子通信研究院 视频解码方法、视频编码方法和计算机可读介质
WO2016129980A1 (ko) * 2015-02-13 2016-08-18 엘지전자(주) 변환 도메인 예측을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
WO2017192995A1 (en) * 2016-05-06 2017-11-09 Vid Scale, Inc. Method and system for decoder-side intra mode derivation for block-based video coding
WO2018016823A1 (ko) * 2016-07-18 2018-01-25 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2018038554A1 (ko) * 2016-08-24 2018-03-01 엘지전자(주) 이차 변환을 이용한 비디오 신호의 인코딩/디코딩 방법 및 장치
TW201841506A (zh) * 2017-03-10 2018-11-16 聯發科技股份有限公司 用於視訊編解碼中具有畫面內方向預測模式之內含畫面內編解碼工具設定的方法和裝置
TW201906406A (zh) * 2017-06-15 2019-02-01 美商高通公司 與視訊寫碼中之變換處理一起應用之內部濾波

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN等: "Algorithm Description of Joint Exploration Test Model 7 (JEM 7)", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，7TH MEETING: TORINO, IT, 13–21 JULY 2017，JVET-G1001-V1.ZIP JVET-G1001-V1.DOCX, pages 1 - 48 *
LING LI等: "Non-CE3: block size restriction on PDPC", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，13TH MEETING: MARRAKECH, MA, 9–18 JAN. 2019，JVET-M0814-V7.ZIP JVET-M0814-V7.DOCX, pages 1 - 3 *
SANTIAGO DE-LUXÁN-HERNÁNDEZ等: "CE3: Intra Sub-Partitions Coding Mode (Tests 1.1.1 and 1.1.2)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，13TH MEETING: MARRAKECH, MA, 9–18 JAN. 2019，JVET-M0102-V2.ZIP JVET-M0102_V1.DOCX, pages 1 - 7 *

Also Published As

Publication number Publication date
JP7293376B2 (ja) 2023-06-19
WO2020175965A1 (ko) 2020-09-03
JP2023105114A (ja) 2023-07-28
US11979554B2 (en) 2024-05-07
US20210377519A1 (en) 2021-12-02
KR20210122797A (ko) 2021-10-12
JP2022522013A (ja) 2022-04-13

Similar Documents

Publication Publication Date Title
CN109923866B (zh) 视频解码方法、编码方法
CN109661819B (zh) 用于处理视频信号的方法和设备
CN110024410B (zh) 用于对视频进行编码和解码的方法
CN113196780A (zh) 使用多变换核处理视频信号的方法和设备
CN112840654A (zh) 使用多假设预测的视频信号处理方法和装置
CN113491116A (zh) 基于帧内预测的视频信号处理方法和装置
CN113785566A (zh) 基于帧内预测处理视频信号的方法和设备
CN113454992A (zh) 基于帧内预测的视频信号处理方法和设备
CN112823526B (zh) 通过使用交叉分量线性模型来处理视频信号的方法和设备
CN114145014A (zh) 处理视频信号的方法和设备
CN115623196A (zh) 使用参考样本的视频信号处理方法及设备
US20230188709A1 (en) Method and apparatus for patch book-based encoding and decoding of video data
US20240089456A1 (en) Method and for reconstructing chroma block and video decoding apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220826

Address after: Gyeonggi Do, South Korea

Applicant after: HUMAX Co.,Ltd.

Address before: Seoul, South Kerean

Applicant before: WILUS INSTITUTE OF STANDARDS AND TECHNOLOGY Inc.

Applicant before: HUMAX Co.,Ltd.