CN116472710A - 利用分量之间的参考生成残差信号的方法和装置 - Google Patents

利用分量之间的参考生成残差信号的方法和装置 Download PDF

Info

Publication number
CN116472710A
CN116472710A CN202180078457.2A CN202180078457A CN116472710A CN 116472710 A CN116472710 A CN 116472710A CN 202180078457 A CN202180078457 A CN 202180078457A CN 116472710 A CN116472710 A CN 116472710A
Authority
CN
China
Prior art keywords
residual
block
residual block
samples
chroma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180078457.2A
Other languages
English (en)
Inventor
崔韩率
朴俊泽
沈东圭
朴胜煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Industry Academic Collaboration Foundation of Kwangwoon University
Kia Corp
Original Assignee
Hyundai Motor Co
Industry Academic Collaboration Foundation of Kwangwoon University
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Industry Academic Collaboration Foundation of Kwangwoon University, Kia Corp filed Critical Hyundai Motor Co
Priority claimed from PCT/KR2021/017377 external-priority patent/WO2022114768A1/ko
Publication of CN116472710A publication Critical patent/CN116472710A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及利用分量之间的参考生成残差信号的方法和装置。本发明的实施方案提供影像编码/解码装置和方法，从而通过利用预存储的块的残差信号推导当前块的色度分量的残差信号来推导色度分量的残差信号，而无需传输当前块的部分色度分量的残差信号。

Description

利用分量之间的参考生成残差信号的方法和装置
技术领域
在一些实施方案中，本发明涉及利用分量之间的参考生成残差信号的方法和装置。
背景技术
本部分中的陈述仅提供与本发明有关的背景技术信息，并不一定构成现有技术。
由于视频数据与音频数据或静止影像数据相比具有较大的数据量，视频数据需要大量的硬件资源(包括存储器)来存储或发送未经压缩处理的视频数据。
相应地，编码器通常用于压缩和存储或传输视频数据；解码器接收压缩的视频数据，解压缩接收到的压缩的视频数据，并且播放解压缩的视频数据。视频压缩技术包括H.264/AVC、高效率视频编码(High Efficiency Video Coding，HEVC)和多功能视频编码(Versatile Video Coding，VVC)。与HEVC相比，VCC的编码效率提高了大约30％或更多。
然而，由于影像大小、分辨率和帧速率逐渐增加，要编码的数据量也在增加。相应地，需要一种与现有的压缩技术相比能够提供更高的编码效率和改善的影像增强效果的新的压缩技术。
在影像(视频)解码中，可以通过交叉参考来生成Cb信号或Cr信号的残差信号，以生成色度分量的残差信号。视频解码装置在接收到Cb残差信号之后，通过将Cb残差信号乘以1或-1来推导Cr信号的残差信号，或者在接收到Cr残差信号之后，通过将Cr残差信号乘以1或-1来推导Cb信号的残差信号，这被称为色度残差的联合编码(joint coding of chromaresidual，JCCR)。如同在JCCR中一样，色度分量的残差信号仍然可以被进一步利用以提高压缩比。因此，需要考虑在编码效率方面高效地编码和解码色度信道的残差信号的方法。
发明内容
技术课题
本发明的实施方案提供了一种用于推导当前块的色度分量的残差信号的视频编码/解码装置和方法。在推导色度分量的残差信号时，视频编码/解码装置和方法利用先前重构的块的残差信号，而不传输当前块的部分色度分量的残差信号。
解决方法
本发明的至少一个方面提供了由视频解码装置执行的用于重构当前块的色度残差块的方法。该方法包括：基于代表当前块内的色度残差块与解码的参考分量残差块之间的参考关系的信息，推导参考分量残差块的第一相邻残差样本和色度残差块的第二相邻残差样本的位置。该方法还包括：生成第一相邻残差样本与第二相邻残差样本之间的线性关系。该方法还包括：通过将线性关系应用于参考分量残差块来生成色度残差块。
本发明的另一个方面提供了一种视频解码装置。视频解码装置包括熵解码器，所述熵解码器配置为对代表当前块内的色度残差块与解码的参考分量残差块之间的参考关系的信息进行解码。视频解码装置还包括相邻残差样本推导器，所述相邻残差样本推导器配置为基于代表参考关系的信息来推导参考分量残差块的第一相邻残差样本和色度残差块的第二相邻残差样本的位置。视频解码装置还包括线性模型推导器，所述线性模型推导器配置为生成第一相邻残差样本与第二相邻残差样本之间的线性关系。视频解码装置还包括残差信号生成器，所述残差信号生成器配置为通过将线性关系应用于参考分量残差块来生成色度残差块。
本发明的又一个方面提供了由视频编码装置执行的用于重构当前块的色度残差块的方法。该方法包括：生成代表当前块内的色度残差块与参考分量残差块之间的参考关系的信息。该方法还包括：基于代表参考关系的信息来推导参考分量残差块的第一相邻残差样本和色度残差块的第二相邻残差样本的位置。该方法还包括：生成第一相邻残差样本与第二相邻残差样本之间的线性关系。该方法还包括：通过将线性关系应用于参考分量残差块来生成色度残差块。
发明效果
如上所述，本发明的实施方案提供了推导当前块的色度分量的残差信号的视频编码/解码装置和方法。在推导色度分量的残差信号时，视频编码/解码装置和方法利用先前重构的块的残差信号，从而通过不传输当前块的部分色度分量的残差信号来提高编码效率。
附图说明
图1是可以实现本发明技术的视频编码装置的框图。
图2示出利用四叉树加二叉树三叉树(QTBTTT)结构来对块进行分区的方法。
图3a和图3b示出包括宽角度帧内预测模式的多个帧内预测模式。
图4示出当前块的相邻块。
图5是可以实现本发明技术的视频解码装置的框图。
图6a和图6b示出根据实施方案的参考分量的残差块。
图7是概念性地示出根据实施方案的用于在视频解码装置内重构残差信号的装置的框图。
图8a和图8b示出根据实施方案的相邻残差样本的位置。
图9a和图9b示出根据实施方案的当前色度块的相邻残差样本与参考分量块的相邻残差样本之间的线性关系。
图10a和图10b示出根据实施方案将推导的线性关系应用于参考分量的残差块。
图11是示出根据实施方案的由视频解码装置执行的用于重构色度残差信号的方法的流程图。
图12是示出根据实施方案的由视频编码装置执行的用于重构色度残差信号的方法的流程图。
具体实施方式
在下文中，将参考所附说明性附图对本发明的实施方案进行详细描述。在所附附图中，即使元件在不同的附图中示出，相同的附图标记也表示相同的元件。此外，在下面的描述中，为了清晰和简洁的目的，可以省略相关已知组件和功能的详细描述，以便不模糊本发明的主题。
图1是可以实现本发明技术的视频编码装置的框图。在下文中，参考图1，对视频编码装置以及该装置的子组件进行描述。
编码装置可以包括：图像分割器110、预测器120、减法器130、变换器140、量化器145、重排单元150、熵编码器155、逆量化器160、逆变换器165、加法器170、环路滤波单元180和存储器190。
编码装置的每个组件可以实现为硬件或软件，或者实现为硬件和软件的组合。另外，每个组件的功能可以实现为软件，并且微处理器也可以实现为执行对应于每个组件的软件的功能。
一个视频由包括多个图像的一个或更多个序列组成。每个图像分割为多个区域，并且对每个区域执行编码。例如，一个图像分割为一个或更多个瓦片(tile)或/和切片(slice)。这里，一个或更多个瓦片可以定义为瓦片组。每个瓦片或/和切片分割为一个或更多个编码树单元(coding tree unit，CTU)。另外，每个CTU通过树结构分割为一个或更多个编码单元(coding unit，CU)。应用于每个CU的信息被编码为CU的语法，并且共同应用于包括在一个CTU中的CU的信息被编码为CTU的语法。共同应用于一个切片中的所有块的信息被编码为切片头的语法，而应用于构成一个或更多个图像的所有块的信息被编码为图像参数集(Picture Parameter Set，PPS)或图像头。多个图像共同参考的信息被编码为序列参数集(Sequence Parameter Set，SPS)。一个或更多个SPS共同参考的信息被编码为视频参数集(Video Parameter Set，VPS)。共同应用于一个瓦片或瓦片组的信息也可以被编码为瓦片或瓦片组头的语法。包括在SPS、PPS、切片头、瓦片或瓦片组头中的语法可以称为高级语法。
图像分割器110确定CTU的大小。关于CTU的大小的信息(CTU尺寸)被编码为SPS或PPS的语法，并且被传送至视频解码装置。
图像分割器110将构成视频的每个图像分割为具有预定大小的多个CTU，并且通过利用树结构递归地分割CTU。树结构中的叶节点成为CU，所述CU是编码的基本单元。
树结构可以是四叉树(quadtree，QT)，其中较高节点(或父节点)被分割为具有相同大小的四个较低节点(或子节点)。树结构也可以是二叉树(binarytree，BT)，其中较高的节点分割为两个较低的节点。树结构还可以是三叉树(ternarytree，TT)，其中较高的节点以1:2:1的比率分割为三个较低的节点。树结构还可以是QT结构、BT结构和TT结构中的两个或更多个结构混合的结构。例如，可以利用四叉树加二叉树(quadtree plus binarytree，QTBT)结构，或者可以利用四叉树加二叉树三叉树(quadtree plus binarytreeternarytree，QTBTTT)结构。这里，BTTT被添加到树结构以称为多类型树(multiple-typetree，MTT)。
图2是用于描述通过利用QTBTTT结构来对块进行分割的方法的示意图。
如图2所示，CTU可以首先分割为QT结构。四叉树分割可以是递归的，直到分割块的大小达到QT中允许的叶节点的最小块大小(MinQTSize)。由熵编码器155对指示QT结构的每个节点是否被分割为下层的四个节点的第一标志(QT_split_flag)进行编码，并将其用信号通知视频解码装置。当QT的叶节点不大于BT中允许的根节点的最大块大小(MaxBTSize)时，可以将叶节点进一步分割为BT结构或TT结构的至少一个。在BT结构和/或TT结构中可以存在多个分割方向。例如，可以存在两个方向，例如，水平地分割相应节点的块的方向和竖直地分割相应节点的块的方向。如图2所示，当MTT分割开始时，由熵编码器155对指示节点是否被分割的第二标志(mtt_split_flag)、以及在节点被分割的情况下额外指示分割方向(竖直或水平)的标志和/或指示分割类型(二叉或三叉)的标志进行编码，并将其用信号通知视频解码装置。
替选地，在对指示每个节点是否被分割为下层的四个节点的第一标志(QT_split_flag)进行编码之前，还可以对指示节点是否被分割的CU分割标志(split_cu_flag)进行编码。当CU分割标志(split_cu_flag)的值指示出每个节点没有被分割时，相应节点的块成为分割树结构中的叶节点并成为CU，CU是编码的基本单元。当CU分割标志(split_cu_flag)的值指示出每个节点被分割时，视频编码装置通过上述方案对第一标志首先开始编码。
当QTBT用作树结构的另一个示例时，可以存在两种类型，例如，将相应节点的块水平地分割为具有相同大小的两个块的类型(即，对称水平分割)和将相应节点的块竖直地分割为具有相同大小的两个块的类型(即，对称竖直分割)。由熵编码器155对指示BT结构的每个节点是否被分割为下层的块的分割标志(split_flag)和指示分割类型的分割类型信息进行编码，并将其传送至视频解码装置。在一个实施方案中，可以另外存在相应节点的块被分割为彼此非对称形式的两个块的类型。非对称形式可以包括相应节点的块被分割为大小比率为1:3的两个矩形块的形式和/或相应节点的块在对角线方向上被分割的形式。
CU可以根据从CTU分割的QTBT或QTBTTT而具有各种大小。在下文中，与要编码或解码的CU(即，QTBTTT的叶节点)相对应的块称为“当前块”。当采用QTBTTT分割时，当前块的形状也可以是矩形形状或正方形形状。
预测器120对当前块进行预测以生成预测块。预测器120包括帧内预测器122和帧间预测器124。
在一个实施方案中，可以对图像中的当前块的每个进行预测地编码。在一个实施方案中，可以通过利用帧内预测技术(其利用来自包括当前块的图像的数据)或帧间预测技术(其利用来自在包括当前块的图像之前被编码的图像的数据)执行当前块的预测。帧间预测可以包括单向预测和/或双向预测。
帧内预测器122通过利用在包括当前块的当前图像中位于当前块邻近的像素(参考像素)来预测当前块中的像素。根据预测方向，存在多个帧内预测模式。例如，如图3a所示，多个帧内预测模式可以包括包含平面(planar)模式和DC模式的两种非方向模式，并且可以包括65种方向模式。根据每种预测模式不同地定义要利用的相邻像素和算法等式。
为了对具有矩形形状的当前块进行高效的方向预测，可以额外地利用如图3b中虚线箭头所示的方向模式(#67至#80，帧内预测模式#-1至#-14)。方向模式可以称为“宽角度帧内预测模式(wide angle intra-prediction modes)”。在图3b中，箭头指示用于预测的相应参考样本，而非代表预测方向。预测方向与箭头指示的方向相反。在当前块具有矩形形状时，宽角度帧内预测模式是在没有额外比特传输的情况下在与特定方向模式相反的方向上执行预测的模式。在这种情况下，在宽角度帧内预测模式中，可以通过具有矩形形状的当前块的宽度与高度的比率来确定可用于当前块的一些宽角度帧内预测模式。例如，在当前块具有高度小于宽度的矩形形状时，具有小于45度的角度的宽角度帧内预测模式(帧内预测模式#67至#80)是可用的。在当前块具有宽度大于高度的矩形形状时，具有大于-135度的角度的宽角度帧内预测模式是可用的。
帧内预测器122可以确定要用于对当前块进行编码的帧内预测。在一些示例中，帧内预测器122可以通过利用多个帧内预测模式来对当前块进行编码，和/或从测试模式中选择要利用的适当的帧内预测模式。例如，帧内预测器122可以通过利用对多个测试的帧内预测模式的率失真(rate-distortion)分析来计算率失真值，和/或在测试模式中选择具有最佳率失真特性的帧内预测模式。
帧内预测器122在多个帧内预测模式中选择一个帧内预测模式，并且通过利用根据选择的帧内预测模式确定的相邻像素(参考像素)和算法等式来预测当前块。由熵编码器155对关于选择的帧内预测模式的信息进行编码并将其传送至视频解码装置。
帧间预测器124通过利用运动补偿处理来生成当前块的预测块。帧间预测器124在比当前图像更早已被编码和解码的参考图像中搜索与当前块最相似的块，并且通过利用搜索到的块来生成当前块的预测块。另外，生成运动矢量(motion vector，MV)，所述运动矢量与当前图像中的当前块和参考图像中的预测块之间的位移(displacement)相对应。在一个实施方案中，对亮度(luma)分量执行运动估计，并且基于亮度分量计算的运动矢量用于亮度分量和色度分量两者。由熵编码器155对包括参考图像的信息和关于用于预测当前块的运动矢量的信息的运动信息进行编码，并将其传送至视频解码装置。
帧间预测器124还可以执行参考图像或参考块的插值，以增加预测的准确性。例如，可以通过向包括两个整数样本的多个连续整数样本应用滤波器系数来在两个连续整数样本之间插值子样本。在对插值的参考图像执行搜索与当前块最相似的块的处理时，对于运动矢量可以表示小数单位精度而不是整数样本单位精度。对于要编码的每个目标区域，例如，诸如切片、瓦片、CTU、CU等的单元，可以不同地设置运动矢量的精度或分辨率。当应用这种自适应运动矢量分辨率(adaptive motion vector resolution，AMVR)时，可以针对每个目标区域用信号通知关于要应用于每个目标区域的运动矢量分辨率的信息。例如，当目标区域是CU时，用信号通知关于应用于每个CU的运动矢量分辨率的信息。关于运动矢量分辨率的信息可以是代表要在以下描述的运动矢量差的精度的信息。
另一方面，帧间预测器124可以通过利用双向预测来执行帧间预测。在双向预测的情况下，利用两个参考图像和代表与每个参考图像中的当前块最相似的块位置的两个运动矢量。帧间预测器124分别从参考图像列表0(RefPicList0)和参考图像列表1(RefPicList1)选择第一参考图像和第二参考图像。帧间预测器124还搜索与相应参考图像中的当前块最相似的块，以生成第一参考块和第二参考块。通过对第一参考块和第二参考块进行平均或加权平均来生成当前块的预测块。包括关于用于预测当前块的两个参考图像的信息和关于两个运动矢量的信息的运动信息被传送至熵编码器155。这里，参考图像列表0可以由预恢复图像中按显示顺序在当前图像之前的图像构成，并且参考图像列表1可以由预恢复图像中按显示顺序在当前图像之后的图像构成。然而，尽管不特别限于此，但可以将按显示顺序在当前图像之后的预恢复图像额外地包括在参考图像列表0中。相反，在当前图像之前的预恢复图像也可以额外地包括在参考图像列表1中。
为了最小化用于编码运动信息所消耗的比特量，可以利用各种方法。
例如，在当前块的参考图像和运动矢量与相邻块的参考图像和运动矢量相同时，对能够识别相邻块的信息进行编码，以将当前块的运动信息传送至视频解码装置。这种方法称为合并模式(merge mode)。
在合并模式中，帧间预测器124从当前块的相邻块选择预定数量的合并候选块(在下文中，称为“合并候选”)。
作为用于推导合并候选的相邻块，如图4所示，可以利用与当前图像中的当前块邻近的左侧块A0、左下侧块A1、上侧块B0、右上侧块B1和左上侧块B2的全部或一些。此外，除了当前块所在的当前图像之外，位于参考图像内的块(其可以与用于预测当前块的参考图像相同或不同)也可以用作合并候选。例如，参考图像内的当前块的同位块(co-locatedblock)或与该同位块邻近的块可以额外地用作合并候选。如果通过上述方法选择的合并候选的数量小于预设数量，则将零矢量添加到合并候选。
帧间预测器124通过利用相邻块来配置包括预定数量的合并候选的合并列表。从合并列表中包括的合并候选之中选择要用作当前块的运动信息的合并候选，并且生成用于识别选择的候选的合并索引信息。由熵编码器155对生成的合并索引信息进行编码并将其传送至视频解码装置。
合并跳过模式是合并模式的特例。在量化之后，在用于熵编码的所有变换系数都接近零时，仅传输相邻块选择信息而不传输残差信号。通过利用合并跳过模式，对于具有轻微运动的影像、静止影像、屏幕内容影像等可以实现相对较高的编码效率。
此后，合并模式和合并跳过模式统称为合并/跳过模式。
用于编码运动信息的另一种方法是高级运动矢量预测(advanced motion vectorprediction，AMVP)模式。
在AMVP模式中，帧间预测器124通过利用当前块的相邻块来推导用于当前块的运动矢量的运动矢量预测候选。作为用于推导运动矢量预测候选的相邻块，可以利用与图4所示的当前图像中的当前块邻近的左侧块A0、左下侧块A1、上侧块B0、右上侧块B1和左上侧块B2的全部或一些。此外，除了当前块所在的当前图像之外，位于参考图像(其可以与用于预测当前块的参考图像相同或不同)内的块也可以用作用于推导运动矢量预测候选的相邻块。例如，可以利用参考图像内的当前块的同位块或与该同位块邻近的块。如果通过上述方法选择的运动矢量候选的数量小于预设数量，则将零矢量添加到运动矢量候选。
帧间预测器124通过利用相邻块的运动矢量来推导运动矢量预测候选，并且通过利用运动矢量预测候选来确定当前块的运动矢量的运动矢量预测。通过将当前块的运动矢量减去运动矢量预测来计算运动矢量差。
可以通过将预定义函数(例如，中值和平均值计算等)应用于运动矢量预测候选来获取运动矢量预测。在这种情况下，视频解码装置还知道预定义功能。此外，由于用于推导运动矢量预测候选的相邻块是已经完成编码和解码的块，所以视频解码装置也可能已经知道相邻块的运动矢量。因此，视频编码装置不需要对用于识别运动矢量预测候选的信息进行编码。相应地，在这种情况下，对关于运动矢量差的信息和关于用于预测当前块的参考图像的信息进行编码。
另一方面，还可以通过选择运动矢量预测候选的任何一个的方案来确定运动矢量预测。在这种情况下，用于识别选择的运动矢量预测候选的信息与用于预测当前块的关于运动矢量差的信息以及关于参考图像的信息共同进行额外的编码。
减法器130通过将当前块减去由帧内预测器122或帧间预测器124生成的预测块来生成残差块。
变换器140将具有空域的像素值的残差块中的残差信号变换为频域的变换系数。变换器140可以通过利用残差块的整个大小作为变换单元来变换残差块中的残差信号，或者也可以将残差块分割为多个子块，并且通过利用子块作为变换单元来执行变换。替选地，将残差块划分成两个子块，其包括变换区域和非变换区域，以通过仅利用变换区域子块作为变换单元来变换残差信号。变换区域子块可以是基于水平轴线(或竖直轴线)的具有大小比率为1:1的两个矩形块的一个。在这种情况下，由熵编码器155对指示出仅变换子块的标志(cu_sbt_flag)、以及方向(竖直/水平)信息(cu_sbt_horizontal_flag)和/或位置信息(cu_sbt_pos_flag)进行编码，并将其用信号通知视频解码装置。另外，变换区域子块的大小基于水平轴线(或竖直轴线)可以具有1:3的大小比率。在这种情况下，由熵编码器155对划分相应分割的标志(cu_sbt_quad_flag)进行额外地编码，并将其用信号通知视频解码装置。
另一方面，变换器140可以在水平方向和竖直方向上单独地执行残差块的变换。对于该变换，可以利用各种类型的变换函数或变换矩阵。例如，用于水平变换和竖直变换的成对变换函数可以定义为多变换集(multiple transform set，MTS)。变换器140可以选择MTS中具有最高变换效率的一个变换函数对，并且在水平方向和竖直方向的每个上变换残差块。由熵编码器155对关于MTS中的变换函数对的信息(mts_idx)进行编码，并将其用信号通知视频解码装置。
量化器145利用量化参数对从变换器140输出的变换系数进行量化，并且将量化的变换系数输出到熵编码器155。量化器145可以对相关的残差块立即进行量化，而无需对任何块或帧进行变换。量化器145可以根据变换块中的变换系数的位置来应用不同的量化系数(缩放值)。可以对应用于布置为二维的量化的变换系数的量化矩阵进行编码，并将其用信号通知视频解码装置。
重排单元150可以对量化的残差值执行系数值的重新排列。
重排单元150可以通过利用系数扫描将2D系数阵列改变为1D系数序列。例如，重排单元150可以利用锯齿形扫描(zig-zag scan)或对角线扫描(diagonal scan)来扫描DC系数到高频区域系数，以输出1D系数序列。根据变换单元的大小和帧内预测模式，也可以利用在列方向上扫描2D系数阵列的竖直扫描和在行方向上扫描2D块类型系数的水平扫描来代替锯齿形扫描。在一个实施方案中，根据变换单元的大小和帧内预测模式，可以在锯齿形扫描、对角线扫描、竖直扫描和水平扫描中确定要利用的扫描方法。
熵编码器155通过利用包括基于上下文的自适应二进制算术编码(Context-basedAdaptive Binary Arithmetic Code，CABAC)、指数哥伦布(Exponential Golomb)等的各种编码方案来对从重排单元150输出的1D量化的变换系数的序列进行编码，以生成比特流。
熵编码器155对与块分割相关的信息(例如，CTU大小、CTU分割标志、QT分割标志、MTT分割类型和MTT分割方向等)进行编码，以使得视频解码装置能够等同于视频编码装置来分割块。熵编码器155对关于指示当前块是由帧内预测编码还是由帧间预测编码的预测类型的信息进行编码。熵编码器155根据预测类型对帧内预测信息(即，关于帧内预测模式的信息)或帧间预测信息(在合并模式的情况下的合并索引，以及在AMVP模式的情况下的关于参考图像索引和运动矢量差的信息)进行编码。熵编码器155对与量化相关的信息(即，关于量化参数的信息和关于量化矩阵的信息)进行编码。
逆量化器160对从量化器145输出的量化的变换系数进行反量化，以生成变换系数。逆变换器165将从逆量化器160输出的变换系数从频域变换到空域，以恢复残差块。
加法器170将恢复的残差块和由预测器120生成的预测块相加，以恢复当前块。在对下一个块进行帧内预测时，恢复的当前块中的像素可以用作参考像素。
环路滤波单元180对恢复的像素执行滤波，以减少由于基于块的预测和变换/量化而发生的块伪影(blocking artifacts)、振铃伪影(ringing artifacts)、模糊伪影(blurring artifacts)等。作为环内滤波器的环路滤波单元180可以包括去块滤波器182、样本自适应偏移(sample adaptive offset，SAO)滤波器184和自适应环路滤波器(adaptive loop filter，ALF)186的全部或一些。
去块滤波器182对恢复的块之间的边界进行滤波，以去除由于块单元编码/解码而发生的块伪影(blocking artifacts)，并且SAO滤波器184和ALF 186对去块滤波的视频进行额外的滤波。SAO滤波器184和ALF 186是用于补偿由于有损编码(lossy coding)而发生的恢复的像素与原始像素之间的差异的滤波器。SAO滤波器184应用偏移作为CTU单位，以增强主观图像质量和编码效率。另一方面，ALF 186执行块单元滤波，并且通过划分相应块的边界和变化量的程度来应用不同的滤波器以补偿失真。可以对关于要用于ALF的滤波器系数的信息进行编码，并将其用信号通知视频解码装置。
通过去块滤波器182、SAO滤波器184和ALF 186滤波的恢复的块存储在存储器190中。当一个图像中的所有块被恢复时，恢复的图像可以用作用于对随后要被编码的图像内的块进行帧间预测的参考图像。
图5是可以实现本发明技术的视频解码装置的功能框图。在下文中，参考图5，描述了视频解码装置和该装置的子组件。
视频解码装置可以配置为包括熵解码器510、重排单元515、逆量化器520、逆变换器530、预测器540、加法器550、环路滤波单元560和存储器570。
类似于图1的视频编码装置，视频解码装置的每个组件可以实现为硬件或软件，或者实现为硬件和软件的组合。另外，每个组件的功能可以实现为软件，并且微处理器也可以实现为执行对应于每个组件的软件的功能。
熵解码器510通过对由视频编码装置生成的比特流进行解码来提取与块分割相关的信息，以确定要解码的当前块，并且提取恢复当前块所需的预测信息和关于残差信号的信息。
熵解码器510通过从序列参数集(SPS)或图像参数集(PPS)提取关于CTU大小的信息来确定CTU的大小，并且将图像分割为具有确定大小的CTU。CTU被确定为树结构的最高层(即，根节点)，并且提取CTU的分割信息以通过利用树结构来分割CTU。
例如，当通过利用QTBTTT结构来分割CTU时，首先提取与QT的分割相关的第一标志(QT_split_flag)，以将每个节点分割为下层的四个节点。另外，相对于与QT的叶节点相对应的节点来提取与MTT的分割相关的第二标志(MTT_split_flag)、分割方向(竖直/水平)和/或分割类型(二叉/三叉)，以将相应的叶节点分割为MTT结构。结果，QT的叶节点下方的每个节点被递归地分割为BT或TT结构。
作为另一个示例，当通过利用QTBTTT结构来分割CTU时，提取指示是否分割CU的CU分割标志(split_cu_flag)。当分割相应块时，还可以提取第一标志(QT_split_flag)。在分割过程期间，对于每个节点，在递归QT分割0次或更多次之后可能发生0次或更多次的递归MTT分割。例如，对于CTU，MTT分割可以立即发生，或者也可以仅发生多次QT分割。
作为另一个示例，当通过利用QTBT结构来分割CTU时，提取与QT的分割相关的第一标志(QT_split_flag)，以将每个节点分割为下层的四个节点。另外，提取指示将与QT的叶节点相对应的节点是否进一步分割为BT的分割标志(split_flag)以及分割方向信息。
另一方面，当熵解码器510通过利用树结构的分割来确定要解码的当前块时，熵解码器510提取关于指示当前块是被帧内预测还是被帧间预测的预测类型的信息。当预测类型信息指示帧内预测时，熵解码器510提取用于当前块的帧内预测信息(帧内预测模式)的语法元素。当预测类型信息指示帧间预测时，熵解码器510提取代表帧间预测信息的语法元素的信息，即，运动矢量和运动矢量参考的参考图像。
熵解码器510提取量化相关的信息并且提取关于量化的当前块的变换系数的信息作为关于残差信号的信息。
重排单元515可以以由视频编码装置执行的系数扫描次序的相反顺序，将由熵解码器510熵解码的1D量化的变换系数的序列再次改变为2D系数阵列(即，块)。
逆量化器520对量化的变换系数进行反量化，并且通过利用量化参数对量化的变换系数进行反量化。逆量化器520可以向布置为2D的量化的变换系数应用不同的量化系数(缩放值)。逆量化器520可以通过将来自视频编码装置的量化系数(缩放值)的矩阵应用于量化的变换系数的2D阵列来执行反量化。
逆变换器530通过将反量化的变换系数从频域逆变换到空域来恢复残差信号，以生成当前块的残差块。
当逆变换器530对变换块的部分区域(子块)进行逆变换时，逆变换器530提取仅对变换块的子块进行变换的标志(cu_sbt_flag)、子块的方向(竖直/水平)信息(cu_sbt_horizontal_flag)和/或子块的位置信息(cu_sbt_pos_flag)。逆变换器530还将相应子块的变换系数从频域逆变换到空域以恢复残差信号，并且用值“0”填充未被逆变换的区域作为残差信号，以生成当前块的最终残差块。
当应用MTS时，逆变换器530通过利用从视频编码装置用信号通知的MTS信息(mts_idx)来确定在水平方向和竖直方向的每个上要应用的变换索引或变换矩阵。逆变换器530还通过利用确定的变换函数在水平方向和竖直方向上对变换块中的变换系数执行逆变换。
预测器540可以包括帧内预测器542和帧间预测器544。在当前块的预测类型是帧内预测时，激活帧内预测器542，而在当前块的预测类型是帧间预测时，激活帧间预测器544。
帧内预测器542根据从熵解码器510提取的帧内预测模式的语法元素来确定多个帧内预测模式中当前块的帧内预测模式。帧内预测器542根据帧内预测模式通过利用当前块的相邻参考像素来预测当前块。
帧间预测器544通过利用从熵解码器510提取的帧间预测模式的语法元素来确定当前块的运动矢量和运动矢量参考的参考图像。
加法器550通过将从逆变换器530输出的残差块与从帧间预测器544或帧内预测器542输出的预测块相加来恢复当前块。在对后续要被解码的块进行帧内预测时，恢复的当前块内的像素用作参考像素。
作为环内滤波器的环路滤波单元560可以包括去块滤波器562、SAO滤波器564和ALF 566。去块滤波器562对恢复的块之间的边界执行去块滤波，以便去除由于块单元解码而发生的块伪影。SAO滤波器564和ALF 566在去块滤波之后对恢复的块执行额外的滤波，以便补偿由于有损编码而发生的恢复的像素与原始像素之间的差异。通过利用关于从比特流解码的滤波器系数的信息来确定ALF的滤波器系数。
通过去块滤波器562、SAO滤波器564和ALF 566滤波的恢复的块存储在存储器570中。当一个图像中的所有块被恢复时，恢复的图像可以用作用于对随后要被编码的图像内的块进行帧间预测的参考图像。
本发明的实施方案涉及如上所述的影像(视频)的编码和解码。更具体地，本发明的实施方案提供了一种用于推导当前块的色度分量的残差信号的视频编码/解码装置和方法。在推导色度分量的残差信号时，视频编码/解码装置和方法利用先前重构的块的残差信号，而不传输当前块的部分色度分量的残差信号。
以下描述的实施方案可以在视频编码装置的逆变换器165和视频解码装置的逆变换器530中执行。
在下面的描述中，当前块包括亮度分量和色度分量，并且色度分量包括Cb信号和Cr信号。因此，色度分量的残差信号包括Cb信号和Cr信号的残差信号。
另一方面，当前块包括亮度块和色度块。色度块包括Cb块和Cr块。因此，色度块的残差块包括Cb残差块和Cr残差块。对于亮度块，还存在用于编码或解码的残差块。
在下面的描述中，构成残差块的样本的值统称为残差信号。根据情况，编码/解码残差块的表达式可以与编码/解码残差信号的表达式互换使用。
I.色度残差的联合编码(JCCR)
在VVC技术中，可以基于JCCR对Cb信号的残差信号和Cr信号的残差信号进行联合编码。JCCR可以以变换单元(TU)为基础执行，并且由tu_joint_cbcr_residual_flag激活。
根据指示JCCR的tu_joint_cbcr_residual_flag、指示Cb信号的残差信号是否被变换的tu_cb_coded_flag、以及指示Cr信号的残差信号是否被变换的tu_cr_coded_flag，视频解码装置可以如下设置用于恢复色度分量的残差信号的变量TuCResMode。
当tu_joint_cbcr_residual_flag＝0时，即，当未应用JCCR时，TuCResMode设置为0。这里，视频解码装置分别解码Cb信号的残差信号和Cr信号的残差信号。
当tu_joint_cbcr_residual_flag＝1时，即，当应用JCCR时，TuCResMode可以设置如下。
当tu_cb_coded_flag＝1且tu_cr_coded_flag＝0时，TuCResMode设置为1。当tu_cb_coded_flag＝1且tu_cr_coded_flag＝1时，TuCResMode设置为2。当tu_cb_coded_flag＝0且tu_cr_coded_flag＝1时，TuCResMode设置为3。
根据变量TuCResMode，如表1所示，视频解码装置恢复Cb信号的残差信号resCb和Cr信号的残差信号resCr。
[表1]
在表1中，resJointC是由视频解码装置解码的联合色度分量，CSign的值为1或-1，视频编码装置可以传输该值。
另一方面，表1中所示的TuCResMode的三个值可以应用于帧内(I帧)。只有TuCResMode＝2的情况可以应用于预测帧(P帧)和双预测帧(B帧)。
视频编码装置根据TuCResMode生成如表2所示的联合色度分量resJointC，以便视频解码装置解码如表1所示的色度分量的残差信号。
[表2]
TuCResMode resJointC的生成
1 resJointC＝(4·resCb+2·CSign·resCr)/5
2 resJointC＝(resCb+CSign·resCr)/2
3 resJointC＝(4·resCr+2·CSign·resCb)/5
II.利用先前重构的分量的残差信号的方法
在与当前块的多个分量中的第一解码顺序相对应的分量的情况下，视频解码装置可以通过将由视频编码装置传输的比特流应用于熵解码器510、反量化器520和逆变换器530来生成第一分量的残差块。在一个实施方案中，该第一分量是亮度信号。
在与当前块的多个分量中的第二或后续解码顺序相对应的分量的情况下，视频解码装置可以解码残差信号推导方法索引。在一个实施方案中，第二分量之后的分量是色度信号。
在推导方法1的情况下，以与生成第一亮度分量的方法相同的方式，视频解码装置可以通过将比特流应用于熵解码器510、反量化器520和逆变换器530来重构相应色度分量的残差信号。
在推导方法2的情况下，视频解码装置可以通过将线性模型应用于参考分量的残差块来推导当前块的色度分量的残差块。线性模型参数可以包括用于乘法的权重和用于加法的偏移量。
图6a和图6b示出根据本发明的实施方案的参考分量的残差块。
如图6a所示，当前块的Cb分量的残差块可以利用亮度分量作为参考分量，并且当前块的Cr分量的残差块可以利用Cb分量作为参考分量。作为另一个示例，当前块的Cr分量的残差块可以利用亮度分量作为参考分量，并且当前块的Cb分量的残差块可以利用Cr分量作为参考分量。
如图6b所示，亮度分量可以用作当前块的Cb分量和Cr分量的残差块两者的参考分量。
另一方面，视频解码装置可以从比特流解码权重和偏移值。
作为本发明的另一个示例，视频解码装置可以推导权重和偏移量。例如，视频解码装置可以解码包括由权重和偏移量组成的线性模型的列表的索引，然后利用解码的索引从例如预存储的查找表推导权重和偏移值。
作为本发明的又一个示例，视频解码装置可以推导权重和偏移量作为特定值。
作为本发明的再一个示例，视频解码装置可以通过计算当前块的与参考分量块邻近的参考样本的残差值和与色度块邻近的参考样本的残差值之间的线性关系来推导权重和偏移量。
在下面参考图7的描述中，对用于重构残差信号的装置进行描述，所述装置利用推导的线性关系从参考分量的残差块重构当前块的色度分量的残差块。
另一方面，根据本实施方案的由用于重构残差信号的装置执行的用于重构色度残差信号的方法可以由视频解码装置的逆变换器530来执行。
图7是概念性地示出根据本发明的实施方案的用于在视频解码装置内重构残差信号的装置的框图。
根据本实施方案的用于重构残差信号的装置包括相邻残差样本推导器710、线性模型推导器720和残差信号生成器730的全部或部分。
相邻残差样本推导器710推导每个当前块的色度块(在下文中，其称为“当前色度块”)和解码的参考分量块的相邻残差样本的位置。当前色度块与参考分量块之间的参考关系可以与图6a和图6b所示的相同。换句话说，当前色度块和解码的参考分量块两者可以是当前块的分量。视频编码装置可以对指示上述参考关系的信息进行编码，并将编码的信息传输到视频解码装置。视频解码装置中的熵解码器510可以对指示参考关系的信息进行解码。
由于本发明的实施方案致力于残差信号，在下面的描述中，当前色度块和当前色度残差块可以互换使用，并且参考分量块和参考分量残差块也可以互换使用。
在当前色度块的大小与参考分量块的大小相同时，如图8a所示，相邻残差样本推导器710可以将与当前色度块和参考分量块的顶部或左侧邻近的所有或部分相邻样本指定为相邻残差样本。上述情况的示例可以包括当前块的Cr分量的残差块利用解码的Cb分量作为参考分量的情况，或者当前块的Cb分量的残差块利用解码的Cr分量作为参考分量的情况，如图6a所示。
在当前色度块的大小小于参考分量块的大小时，相邻残差样本推导器710选择与当前色度块的顶部或左侧邻近的所有n个(其中，n是自然数)相邻样本作为相邻残差样本。额外地或替选地，相邻残差样本推导器710可以通过对参考分量块的顶部或左侧部分的n个样本进行子采样来选择相邻残差样本。
在当前色度残差块的宽度为N(其中，N是自然数)并且参考分量的残差块的宽度为α×N(其中，α是自然数)时，如图8b所示，对于参考分量的残差块的顶部部分中的大小为α×line_num(其中，line_num是自然数)的每个非重叠区域，相邻残差样本推导器710可以通过对非重叠区域内的特定位置进行采样来选择相邻残差样本。
在当前色度残差块的高度是M(其中，M是自然数)并且参考分量的残差块的高度是β×M(其中，β是自然数)时，如图8b所示，对于参考分量的残差块的左侧部分中的大小为line_num×β的每个非重叠区域，相邻残差样本推导器710可以通过对非重叠区域内的特定位置进行采样来选择相邻残差样本。
作为上面描述的示例，在图6a和图6b的示例中，当前块的色度分量的残差块可以利用解码的亮度分量作为参考分量。
相邻残差样本推导器710可以选择当前色度块的相邻残差样本和参考分量块的相邻残差样本，使得选择的相邻残差样本基于采样的位置形成一一对应。
基于上述一一对应，如图9a和图9b所示，线性模型推导器720可以通过估算参考分量块的相邻残差样本与当前色度块的相邻残差样本之间的线性关系来推导权重和偏移量。
线性模型推导器720可以通过将最小二乘法应用于分别取自参考分量块和当前色度块的每组L个(其中，L是自然数)相邻残差样本来推导线性关系。
在本发明的另一个实施方案中，线性模型推导器720可以通过选择一对关键相邻残差样本，然后计算两个关键相邻残差样本之间的线性关系来推导权重和偏移量。基于参考分量块或当前色度块的相邻残差样本值，可以利用具有最小值和最大k值(其中，k是自然数)的j(其中，j是自然数)个值的平均值来形成关键相邻残差样本对。
残差信号生成器530可以通过将由线性模型推导器720推导的线性关系应用于先前解码的参考分量的残差块来生成当前色度分量的残差块。
在先前解码的参考分量的残差块具有与当前色度残差块不同的大小时，残差信号生成器530可以对先前解码的参考分量的残差块进行下采样，以使两个残差块具有相同的大小。
例如，如图10a所示，在参考分量的残差块的宽度是当前色度残差块的宽度的α倍，并且参考分量的残差块的高度是当前色度残差块的高度的β倍时，残差信号生成器530可以通过对参考分量残差块的每个非重叠(α×β)区域的每个非重叠区域内的特定位置进行采样来生成参考样本。
残差信号生成器530可以通过将推导的线性关系应用于参考分量的残差块来生成当前色度残差块。如图10b所示，残差信号生成器530可以通过将参考分量的残差块中的每个样本值乘以权重并且将偏移量和加权的样本值相加来生成当前色度残差块。
图11是示出根据本发明的实施方案的由视频解码装置执行的用于重构色度残差信号的方法的流程图。
视频解码装置内的熵解码器510对代表当前块内的色度残差块与参考分量残差块之间的参考关系的信息进行解码(S1100)。当前块的色度残差块与参考分量残差块之间的参考关系可以如图6a和图6b所示。如图6a和图6b所示，视频解码装置可以利用亮度分量或色度分量的解码的残差块作为当前块内的参考分量残差块。
视频解码装置内的逆变换器530基于代表参考关系的信息来推导解码的参考分量残差块的第一相邻残差样本和色度残差块的第二相邻残差样本的位置(S1102)。
视频解码装置可以选择第一相邻残差样本和第二相邻残差样本，以保持第一相邻残差样本与第二相邻残差样本之间的一一对应。
当色度残差块和参考分量残差块的大小相同时，视频解码装置选择与色度残差块的顶部或左侧邻近的全部或部分相邻样本作为第二相邻残差样本，并且选择与参考分量残差块的顶部或左侧邻近的全部或部分相邻样本作为第一相邻残差样本。
当色度残差块的大小小于参考分量残差块时，视频解码装置可以选择与色度残差块的顶部和左侧邻近的所有n个相邻样本作为第二相邻残差样本，并且通过对参考残差块的上部和左侧部分中的n个样本进行子采样来选择第一相邻残差样本。
视频解码装置基于一一对应来生成第一相邻残差样本与第二相邻残差样本之间的线性关系(S1104)。
视频解码装置可以通过将最小二乘法分别应用于取自第一相邻残差样本和第二相邻残差样本的每组L个样本来推导线性关系。
在对包括多个预设线性模型的列表的索引进行解码之后，视频解码装置可以利用解码的索引来推导第一相邻残差样本与第二相邻残差样本之间的线性关系。
视频解码装置通过将推导的线性关系应用于参考分量的残差块来生成色度残差块(S1106)。
当参考分量的残差块的大小不同于色度残差块的大小时，视频解码装置可以对参考分量的残差块进行下采样，以使参考分量的残差块和色度残差块具有相同的大小。
上述用于重构色度残差信号的方法也可以由视频解码装置的逆变换器165来执行。
视频编码装置利用率失真分析来搜索当前块内在色度残差块的重构方面最佳的解码的参考分量残差块。在搜索处理期间，视频编码装置生成代表当前块内的色度残差块与参考分量残差块之间的参考关系的信息。视频编码装置中的逆变换器165可以利用代表参考关系的信息来重构当前块的色度残差块。
视频编码装置可以对代表在搜索过程中生成的最佳参考关系的信息进行编码，并将编码的信息传输到视频解码装置。
图12是示出根据本发明的实施方案的由视频编码装置执行的用于重构色度残差信号的方法的流程图。
视频编码装置生成代表当前块内的色度残差块与解码的参考分量残差块之间的参考关系的信息，用于比特率失真分析(S1200)。当前块的色度残差块与参考分量残差块之间的参考关系可以如图6a和图6b所示。如图6a和图6b所示，视频编码装置可以利用亮度分量或色度分量的残差块作为当前块内的参考分量的残差块。
视频编码装置中的逆变换器165基于代表参考关系的信息来推导参考分量残差块的第一相邻残差样本和色度残差块的第二相邻残差样本的位置(S1202)。
视频编码装置可以选择第一相邻残差样本和第二相邻残差样本，以保持第一相邻残差样本与第二相邻残差样本之间的一一对应。
视频编码装置基于一一对应来生成第一相邻残差样本与第二相邻残差样本之间的线性关系(S1204)。
视频编码装置通过将推导的线性关系应用于参考分量的残差块来生成色度残差块(S1206)。
尽管将各个流程图中的步骤描述为顺序执行，但这些步骤仅仅例示本发明的一些实施方案的技术思想。因此，本发明所属领域的普通技术人员可以通过改变在各个附图中描述的顺序或通过并行地执行两个或更多个步骤来执行步骤。因此，各个流程图中的步骤不限于所示的按发生时间顺序排列的顺序。
应当理解，上述描述呈现了可以以各种其他方式实现的说明性实施方案。在一些实施方案中描述的功能可以通过硬件、软件、固件和/或它们的组合来实现。还应当理解，本说明书中描述的功能组件标记为“...单元”，以突出强调它们独立实现的可能性。
在一些实施方案中，本文中描述的各种方法或功能可以实现为存储在非易失性记录介质中的指令，所述指令可以由一个或更多个处理器读取和执行。非易失性记录介质可以包括例如以计算机***可读取的形式存储数据的各种类型的记录装置。例如，非易失性记录介质可以包括存储介质，例如可擦除可编程只读存储器(EPROM)、闪存驱动器、光盘驱动器、磁性硬盘驱动器和固态驱动器(SSD)等等。
尽管出于说明的目的描述了本发明的实施方案，但是本发明所属的领域的普通技术人员应当理解，在不脱离本发明的思想和范围的情况下，可以进行各种修改、添加和替换。因此，出于简洁和清楚起见，已经描述了本发明的实施方案。本发明的实施方案的技术思想的范围不受例示的限制。相应地，本发明所属领域的普通技术人员应当理解，本发明的范围不受上述明确描述的实施方案的限制，而是受权利要求及其等同形式的限制。
(附图标记说明)
510：熵解码器
530：逆变换器
710：相邻残差样本推导器
720：线性模型推导器
730：残差信号生成器。
相关申请的交叉引用
本申请要求于2020年11月24日提交的韩国专利申请No.10-2020-0158993以及于2021年11月24日提交的韩国专利申请No.10-2021-0163120的优先权，其全部内容通过引用结合于本文中。

Claims (15)

1.一种由视频解码装置执行的用于重构当前块的色度残差块的方法，所述方法包括：
基于代表当前块内的色度残差块与解码的参考分量残差块之间的参考关系的信息，推导参考分量残差块的第一相邻残差样本和色度残差块的第二相邻残差样本的位置；
生成第一相邻残差样本与第二相邻残差样本之间的线性关系；以及
通过将线性关系应用于参考分量残差块来生成色度残差块。
2.根据权利要求1所述的方法，进一步包括对代表参考关系的信息进行解码。
3.根据权利要求1所述的方法，其中，推导位置包括：利用亮度分量或色度分量的残差块作为当前块内的参考分量残差块。
4.根据权利要求1所述的方法，其中，推导位置包括：选择第一相邻残差样本和第二相邻残差样本，以保持第一相邻残差样本与第二相邻残差样本之间的一一对应。
5.根据权利要求1所述的方法，其中，当色度残差块和参考分量残差块具有相同大小时，推导位置包括：
选择与色度残差块的顶部或左侧邻近的全部或部分相邻样本作为第二相邻残差样本，以及
选择与参考分量残差块的顶部或左侧邻近的全部或部分相邻样本作为第一相邻残差样本。
6.根据权利要求1所述的方法，其中，当色度残差块的大小小于参考分量残差块的大小时，推导位置包括：
选择与色度残差块的顶部和左侧邻近的全部n个样本作为第二相邻残差样本，其中n是自然数，以及
选择通过对参考分量残差块的顶部和左侧部分进行子采样而获得的n个样本作为第一相邻残差样本。
7.根据权利要求1所述的方法，其中，当参考分量残差块的宽度为色度残差块的宽度的α倍时，其中α是自然数，推导位置包括：对于参考分量残差块的顶部部分中的大小为α×line num的每个非重叠区域，选择通过对每个非重叠区域内的特定位置进行采样而获得的第一相邻残差样本，其中line_num是自然数。
8.根据权利要求1所述的方法，其中，当参考分量残差块的高度为色度残差块的高度的β倍时，其中β是自然数，推导位置包括：对于参考分量残差块的左侧部分中的大小为β×line_num的每个非重叠区域，选择通过对每个非重叠区域内的特定位置进行采样而获得的第一相邻残差样本。
9.根据权利要求1所述的方法，其中，生成线性关系包括：通过将最小二乘法应用于分别取自第一相邻残差样本和第二相邻残差样本的每组L个相邻残差样本来推导线性关系，其中L是自然数。
10.根据权利要求1所述的方法，其中，生成线性关系包括：对含有多个预设线性模型的列表的索引进行解码，并且利用索引来推导线性关系。
11.根据权利要求1所述的方法，其中，当参考分量残差块的大小不同于色度残差块的大小时，生成色度残差块包括：对参考分量残差块进行下采样以使参考分量残差块和色度残差块具有相同的大小。
12.一种视频解码装置，包括：
熵解码器，其配置为对代表当前块内的色度残差块与解码的参考分量残差块之间的参考关系的信息进行解码；
相邻残差样本推导器，其配置为基于代表参考关系的信息来推导参考分量残差块的第一相邻残差样本和色度残差块的第二相邻残差样本的位置；
线性模型推导器，其配置为生成第一相邻残差样本与第二相邻残差样本之间的线性关系；以及
残差信号生成器，其配置为通过将线性关系应用于参考分量残差块来生成色度残差块。
13.一种由视频编码装置执行的用于重构当前块的色度残差块的方法，所述方法包括：
生成代表当前块内的色度残差块与参考分量残差块之间的参考关系的信息；
基于代表参考关系的信息来推导参考分量残差块的第一相邻残差样本和色度残差块的第二相邻残差样本的位置；
生成第一相邻残差样本与第二相邻残差样本之间的线性关系；以及
通过将线性关系应用于参考分量残差块来生成色度残差块。
14.根据权利要求13所述的方法，其中，推导位置包括：利用亮度分量或色度分量的残差块作为当前块内的参考分量残差块。
15.根据权利要求13所述的方法，其中，推导位置包括：选择第一相邻残差样本和第二相邻残差样本，以保持第一相邻残差样本与第二相邻残差样本之间的一一对应。
CN202180078457.2A 2020-11-24 2021-11-24 利用分量之间的参考生成残差信号的方法和装置 Pending CN116472710A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20200158993 2020-11-24
KR10-2020-0158993 2020-11-24
PCT/KR2021/017377 WO2022114768A1 (ko) 2020-11-24 2021-11-24 성분 간 참조를 이용하는 잔차신호 생성방법과 장치

Publications (1)

Publication Number Publication Date
CN116472710A true CN116472710A (zh) 2023-07-21

Family

ID=81787413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180078457.2A Pending CN116472710A (zh) 2020-11-24 2021-11-24 利用分量之间的参考生成残差信号的方法和装置

Country Status (2)

Country Link
KR (1) KR20220071944A (zh)
CN (1) CN116472710A (zh)

Also Published As

Publication number Publication date
KR20220071944A (ko) 2022-05-31

Similar Documents

Publication Publication Date Title
CN116472709A (zh) 用于视频编码和解码的装置和方法
CN116530082A (zh) 利用帧内预测的视频编码的方法和装置
US11997255B2 (en) Video encoding and decoding using intra block copy
KR20230105646A (ko) 크로마 성분을 위한 템플릿 기반 인트라 모드 유도 방법
KR20220118351A (ko) 인트라 예측 신호와 인터 예측 신호의 가중 합을 이용한 예측 블록을 생성하는 방법 및 이를 이용한 장치
CN116941241A (zh) 利用基于矩阵的交叉分量预测的视频编解码方法和装置
CN116636211A (zh) 利用块合并编码视频的方法和装置
CN116472710A (zh) 利用分量之间的参考生成残差信号的方法和装置
US20230396795A1 (en) Inter prediction-based video encoding and decoding
US20230291914A1 (en) Method and apparatus for generating residual signals using reference between components
US20230283768A1 (en) Method for predicting quantization parameter used in a video encoding/decoding apparatus
US20230300325A1 (en) Video coding method and apparatus using intra prediction
US20230412811A1 (en) Method and apparatus for video coding using spiral scan order
US20230388494A1 (en) Method for generating prediction block by using weighted-sum of intra prediction signal and inter prediction signal, and device using same
US20230291928A1 (en) Video encoding and decoding method and apparatus using selective subblock split information signaling
CN116671108A (zh) 利用选择性子块分区信息传输的编码和解码影像的方法和装置
CN117581534A (zh) 视频编码/解码方法和装置
KR20230105648A (ko) 공간적 상관성을 이용하는 디코더측 움직임벡터 유도 방법
CN118251891A (zh) 利用基于模板匹配的帧内预测的视频编解码的方法和装置
CN116918323A (zh) 用于改善帧内预测的预测信号的视频编解码方法和装置
CN117044200A (zh) 利用螺旋扫描顺序的视频编解码的方法和装置
KR20210088448A (ko) 이종 해상도를 갖는 참조 픽처 기반의 영상 부호화 및 복호화
KR20220136162A (ko) 매핑 기반 비디오 코딩방법 및 장치
CN118140476A (zh) 利用几何帧内预测模式的视频编解码的方法和装置
CN118160304A (zh) 使用各种块划分结构的视频编码方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination