CN113261294B - 基于sbtmvp的帧间预测方法和设备 - Google Patents

基于sbtmvp的帧间预测方法和设备 Download PDF

Info

Publication number
CN113261294B
CN113261294B CN202080007626.9A CN202080007626A CN113261294B CN 113261294 B CN113261294 B CN 113261294B CN 202080007626 A CN202080007626 A CN 202080007626A CN 113261294 B CN113261294 B CN 113261294B
Authority
CN
China
Prior art keywords
block
sub
blocks
prediction
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080007626.9A
Other languages
English (en)
Other versions
CN113261294A (zh
Inventor
张炯文
南廷学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN113261294A publication Critical patent/CN113261294A/zh
Application granted granted Critical
Publication of CN113261294B publication Critical patent/CN113261294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据本文档，一种解码装置用来执行图像解码的方法包括以下步骤：基于运动移位来导出参考块；基于参考块是否为当前图片参考(CPR)块来确定子块时间运动向量预测器(sbTMVP)候选是否可用；在sbTMVP候选可用时基于sbTMVP候选来导出关于当前块的运动信息；基于运动信息来生成预测样本；以及基于预测样本来生成恢复图片，其中sbTMVP候选被确定为关于作为CPR块的参考块不可用。

Description

基于SBTMVP的帧间预测方法和设备
技术领域
本文档涉及图像编码技术，并且更具体地，涉及用于基于子块时间运动向量预测器(sbTMVP)来执行帧间预测的方法和设备。
背景技术
近来，在各种领域中对诸如超高清(HUD)图像和4K或8K或更大的视频这样的高分辨率且高质量的图像和视频的需求日益增加。随着图像和视频数据变成高分辨率和高质量，与现有图像和视频数据相比，相对发送的信息量或位数增加。因此，如果使用诸如现有有线或无线宽带线这样的介质来传输图像数据或者使用现有存储介质来存储图像和视频数据，则传输成本和存储成本增加。
此外，近来对诸如虚拟现实(VR)、人工现实(AR)内容或全息图这样的沉浸式媒体的兴趣和需求日益增加。诸如游戏图像这样的图像特性与真实图像的图像特性不同的图像和视频的广播日益增加。
因此，为了有效地压缩和发送或存储和回放具有这样的各种特性的高分辨率且高质量的图像和视频的信息，需要高效的图像和视频压缩技术。
发明内容
本文档的一个目的是为了提供一种用于提高图像编码效率的方法和设备。
本文档的另一目的是为了提供一种高效的帧间预测方法和设备。
本文档的再一目的是为了提供一种用于通过导出基于子块的运动信息来执行帧间预测的方法和设备。
本文档的又一目的是为了提供一种用于在构造基于子块的时间运动向量预测(sbTMVP)候选以便改进成像编码效率的过程中考虑到块是否成为当前图片参考(CPR)来导出子块运动信息的方法和设备。
本文档的示例性实施方式提供一种由解码设备执行的图像解码方法。该方法包括：基于运动移位来导出参考块；基于参考块是否为当前图片参考(CPR)块来确定子块时间运动向量预测器(sbTMVP)候选的可用性；如果sbTMVP候选可用，则基于sbTMVP候选来导出当前块的运动信息；基于运动信息来生成预测样本；以及基于预测样本来生成重构图片，其中对于作为CPR块的参考块，确定sbTMVP候选不可用。
本文档的另一示例性实施方式提供一种由编码设备执行的图像编码方法。该方法包括：基于运动移位来导出参考块；基于参考块是否为当前图片参考(CPR)块来确定子块时间运动向量预测器(sbTMVP)候选的可用性；如果sbTMVP候选可用，则基于sbTMVP候选来导出当前块的运动信息；基于运动信息来生成预测样本；基于预测样本来生成残差样本；以及对包括关于残差样本的信息的图像信息进行编码，其中对于作为CPR块的参考块，确定sbTMVP候选不可用。
本文档的再一示例性实施方式提供非暂时性计算机可读存储介质，该非暂时性计算机可读存储介质存储使图像解码方法被执行的编码图像信息。
本文档可以提高整体图像/视频压缩效率。
本文档可以通过高效的帧间预测来降低计算复杂度，并且改进整体编码效率。
本文档可以降低在构造基于子块的时间运动向量预测(sbTMVP)候选的过程中考虑到块是否成为当前图片参考块来导出子块运动信息的过程的平均复杂度。
附图说明
图1示意性地例示了适用于本文档的示例性实施方式的视频/图像编码***的示例。
图2是用于示意性地说明适用于本文档的示例性实施方式的视频/图像编码设备的配置的示意图。
图3是用于示意性地说明适用于本文档的示例性实施方式的视频/图像解码设备的配置的示意图。
图4例示了基于帧间预测的视频/图像编码方法的示例，并且图5是示意性地例示了编码设备中的帧间预测器的示例。
图6例示了基于帧间预测的视频/图像解码方法的示例，并且图7是示意性地例示了解码设备中的帧间预测器的示例。
图8示例性地例示了当前块的空间邻近块和时间邻近块。
图9示例性地例示了可以被用于导出时间运动信息候选(ATMVP候选)的空间邻近块。
图10是用于示意性地说明导出基于子块的时间运动信息候选(sbTMVP候选)的过程的示意图。
图11例示了用于考虑CPR导出sbTMVP候选的方法的示例性实施方式。
图12例示了用于考虑CPR导出sbTMVP候选的方法的另一示例性实施方式。
图13是示意性地例示了可以由根据本文档的示例性实施方式的编码设备执行的编码方法的流程图。
图14是示意性地例示了可以由根据本文档的示例性实施方式的解码设备执行的解码方法的流程图。
图15例示了本文档中公开的示例性实施方式适用于的内容流传输***的示例。
具体实施方式
本公开可以以各种方式修改并且可以具有各种实施方式，并且特定的实施方式将在附图中被例示并被详细描述。然而，这并不旨在将本公开限制于具体实施方式。本说明书中通常使用的术语用于描述特定的实施方式，而不是用来限制本公开的技术精神。除非在上下文中另外明确表示，否则单数的表述包括复数的表述。该说明书中的诸如“包括”或“具有”这样的术语应该被理解为指示存在本说明书中描述的特性、数字、步骤、操作、元件、部件或其组合，而不排除存在或添加一个或更多个其它特性、数字、步骤、操作、元件、部件或其组合的可能性。
此外，为了便于与不同特征功能相关的描述，独立地例示了本公开中描述的附图中的元件。这并不意指各个元件被实现为单独的硬件或单独的软件。例如，至少两个元件可以被组合，以形成单个元件，或者单个元件可以被划分成多个元件。其中元件被组合和/或分开的实施方式也被包括在本公开的权利范围内，除非它偏离了本公开的实质。
下文中，参照附图更具体地描述本公开的优选实施方式。下文中，在附图中，相同的附图标记被用于相同的元件，并且可以省略对相同元件的冗余描述。
本公开涉及视频/图像编码。例如，本公开中公开的方法/实施方式可以应用于以通用视频编码(VVC)、EVC(基本视频编码)标准、AOMedia Video 1(AV1)标准、第二代音频视频编码标准(AVS2)或下一代视频/图像编码标准(例如，H.267或H.268等)中公开的方法。
本公开提出了视频/图像编码的各种实施方式，并且除非另外提到，否则这些实施方式可以彼此组合地执行。
在本公开中，视频可以是指随时间推移的一系列图像。图片通常是指表示特定时间区域中的一副图像的单元，并且切片/图块(tile)是在编码时构成图片的部分的单元。切片/图块可以包括一个或更多个编码树单元(CTU)。一幅图片可以由一个或更多个切片/图块组成。一幅图片可以由一个或更多个图块组组成。一个图块组可以包括一个或更多个图块。块部(brick)可以表示图片中的图块内的CTU行的矩形区域。图块可以被分割成多个块部，各个块部由图块内的一个或更多个CTU行组成。没有被分割成多个块部的图块也可以称为块部。块部扫描是以下的分割图片的CTU的特定顺序排序：可以在块部中按CTU光栅扫描对CTU进行连续排序，可以按图块的块部的光栅扫描对图块内的块部进行连续排序，并且可以按图片的图块的光栅扫描对图片中的图块进行连续排序。图块是图片中的特定图块列和特定图块行内的CTU的矩形区域。图块列是CTU的高度等于图片的高度并且宽度由图片参数集中的语法元素指定的矩形区域。图块行是CTU的高度由图片参数集中的语法元素指定并且宽度等于图片宽度的矩形区域。块部扫描是以下的分割图片的CTU的特定顺序排序：在图块中按CTU光栅扫描对CTU进行连续排序，而按图片的图块的光栅扫描对图片中的图块进行连续排序。切片包括可以被排他性包含在单个NAL单元中的图片的整数个块部。切片可以由多个完整图块组成或者仅由一个图块的连续序列的完整块部组成。在本公开中，可以将图块组与切片互换地使用。例如，在本公开中，图块组/图块组头可以被称为切片/切片头。
像素或pel可以意指构成一幅图片(或图像)的最小单元。另外，“样本”可以被用作与像素对应的术语。样本通常可以表示像素或像素的值，并且可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。另选地，样本可以意指空间域中的像素值，并且当像素值被变换到频域时，样本可以意指频域中的变换系数。
单元可以表示图像处理的基本单元。单元可以包括图片的特定区域和与该区域相关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如，cb、cr)块。在一些情况下，可以将单元与诸如块或区域这样的术语互换地使用。在通常情况下，M×N块可以包括M列和N行的样本(样本阵列)或变换系数的集合(或阵列)。
在本公开中，术语“/”和“，”应该被解释为指示“和/或”。例如，表述“A/B”可以意指“A和/或B”。另外，“A、B”可以意指“A和/或B”。另外，“A/B/C”可以意指“A、B和/或C中的至少一个”。另外，“A、B、C”可以意指“A、B和/或C中的至少一个”。
另外，在本公开中，术语“或”应该被解释为指示“和/或”。例如，表述“A或B”可以包括1)仅A、2)仅B和/或3)A和B二者。换句话说，本公开中的术语“或”应该被解释为指示“附加地或另选地”。
图1示意性地例示了可以应用本公开的实施方式的视频/图像编码***的示例。
参照图1，视频/图像编码***可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以经由数字存储介质或网络以文件或流传输的形式将编码后的视频/图像信息或数据传递到接收装置。
源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以被称为视频/图像编码设备，并且解码设备可以被称为视频/图像解码设备。发送器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示器，并且显示器可以被配置为单独的装置或外部组件。
视频源可以通过捕获、合成或生成视频/图像的处理来获得视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板计算机和智能电话，并且可以(电子地)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可以被生成相关数据的处理取代。
编码设备可以对输入视频/图像进行编码。编码设备可以执行诸如针对压缩和编码效率的预测、变换和量化这样的一系列过程。编码后的数据(编码后的视频/图像信息)可以以比特流的形式输出。
发送器可以通过数字存储介质或网络以文件或流传输的形式将以比特流的形式输出的编码后的视频/图像信息或数据发送到接收装置的接收器。数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等这样的各种存储介质。发送器可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络进行发送的元件。接收器可以接收/提取比特流，并且将接收/提取的比特流发送到解码设备。
解码设备可以通过执行与编码设备的操作对应的诸如反量化、逆变换、预测等这样的一系列过程来解码视频/图像。
渲染器可以渲染解码后的视频/图像。可以通过显示器显示渲染后的视频/图像。
图2是示意性地描述可以应用本公开的视频/图像编码设备的配置的图。下文中，所谓的视频编码设备可以包括图像编码设备。
参照图2，编码设备200可以包括图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250、滤波器260和存储器270。预测器220可以包括帧间预测器221和帧内预测器222。残差处理器230可以包括变换器232、量化器233、反量化器234、逆变换器235。残差处理器230还可以包括减法器231。加法器250可以被称为重构器或重构块生成器。根据实施方式，上面已描述的图像分割器210、预测器220、残差处理器230、熵编码器240、加法器250和滤波器260可以由一个或更多个硬件组件(例如，编码器芯片组或处理器)构成。另外，存储器270可以包括解码图片缓冲器(DPB)，并且可以由数字存储介质构成。硬件组件还可以包括存储器270作为内部/外部组件。
图像分割器210将输入到编码设备200的输入图像(或图片或帧)分割成一个或更多个处理单元。作为一个示例，处理单元可以被称为编码单元(CU)。在这种情况下，从编码树单元(CTU)或最大编码单元(LCU)开始，可以根据四叉树二叉树三叉树(QTBTTT)结构来递归地分割编码单元。例如，可以基于四叉树结构、二叉树结构和/或三叉树结构将一个编码单元划分成深度更深的多个编码单元。在这种情况下，例如，可以首先应用四叉树结构，随后可以应用二叉树结构和/或三叉树结构。另选地，可以首先应用二叉树结构。可以基于没有被进一步分割的最终编码单元来执行根据本公开的编码过程。在这种情况下，基于根据图像特性的编码效率，可以将最大编码单元直接用作最终编码单元。另选地，可以按需要将编码单元递归地分割成深度进一步更深的编码单元，使得可以将最佳大小的编码单元用作最终编码单元。这里，编码过程可以包括随后将描述的诸如预测、变换和重构这样的过程。作为另一示例，处理单元还可以包括预测单元(PU)或变换单元(TU)。在这种情况下，可以从上述的最终编码单元划分或分割预测单元和变换单元。预测单元可以是样本预测的单元，并且变换单元可以是用于导出变换系数的单元和/或用于根据变换系数导出残差信号的单元。
在一些情况中，可以将单元和诸如块、区域等这样的术语互换地使用。在常规情况下，M×N块可以表示由M列和N行组成的样本或变换系数的集合。样本通常可以表示像素或像素的值，并且可以仅表示亮度分量的像素/像素值，或仅表示色度分量的像素/像素值。样本可以被用作与一个图片(或图像)的像素或pel对应的术语。
在编码设备200中，从输入图像信号(原始块、原始样本阵列)中减去从帧间预测器221或帧内预测器222输出的预测信号(预测块、预测样本阵列)以生成残差信号(残差块、残差样本阵列)，并且所生成的残差信号被发送到变换器232。在这种情况下，如所示出的，在编码器200中从输入图像信号(原始块、原始样本阵列)中减去预测信号(预测块、预测样本阵列)的单元可以被称为减法器231。预测器可以对处理目标块(下文中，被称为“当前块”)执行预测，并且可以生成包括针对当前块的预测样本的预测块。预测器可以确定以当前块或CU为基础应用帧内预测还是帧间预测。如随后在对每种预测模式的描述中所讨论的，预测器可以生成诸如预测模式信息这样的与预测相关的各种信息，并且将所生成的信息发送到熵编码器240。关于预测的信息可以在熵编码器240中被编码并且以比特流的形式被输出。
帧内预测器222可以通过参考当前图片中的样本来预测当前块。根据预测模式，参考样本可以位于当前块的附近或与当前块分开。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度，定向模式可以包括例如33种定向预测模式或65种定向预测模式。然而，这仅仅是示例，并且根据设置，可以使用更多或更少的定向预测模式。帧内预测器222可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器221可以基于参考图片上的运动向量所指定的参考块(参考样本阵列)来导出针对当前块的预测块。此时，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为基础来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、双重预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以彼此相同或彼此不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等，并且包括时间邻近块的参考图片可以被称为并置图片(colPic)。例如，帧间预测器221可以基于邻近块来配置运动信息候选列表，并且生成指示哪个候选被用于导出当前块的运动向量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳变模式和合并模式的情况下，帧间预测器221可以使用邻近块的运动信息作为当前块的运动信息。在跳变模式下，与合并模式不同，不能发送残差信号。在运动信息预测(运动向量预测、MVP)模式的情况下，邻近块的运动向量可以被用作运动向量预测项，并且可以通过发信号通知运动向量差来指示当前块的运动向量。
预测器220可以基于各种预测方法来生成预测信号。例如，预测器可以将帧内预测或帧间预测应用于对一个块的预测，并且也可以同时应用帧内预测和帧间预测。这可以被称为组合的帧间和帧内预测(CIIP)。另外，预测器可以基于块内复制(IBC)预测模式或调色板模式，以便对块执行预测。IBC预测模式或调色板模式可以被用于诸如屏幕内容编码(SCC)这样的游戏等的内容图像/视频编码。尽管IBC基本上在当前图片中执行预测，但是其执行方式与帧间预测的相似之处在于，它导出当前图片中的参考块。即，IBC可以使用本公开中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时，可以基于关于调色板索引和调色板表的信息来发信号通知图片中的样本值。
通过预测器(包括帧间预测器221和/或帧内预测器222)生成的预测信号可以被用于生成重构信号或者生成残差信号。变换器232可以通过向残差信号应用变换技术来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loève变换(KLT)、基于图的变换(GBT)或有条件非线性变换(CNT)中的至少一种。这里，GBT意指当用曲线图表示像素之间的关系信息时从曲线图获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号而获得的变换。另外，变换处理可以被应用于大小相同的正方形像素块，或者可以应用于大小可变的块而非正方形的块。
量化器233可以对变换系数进行量化并且将它们发送到熵编码器240，并且熵编码器240可以对量化后的信号(关于量化后的变换系数的信息)进行编码并且输出比特流中的编码后的信号。关于量化后的变换系数的信息可以被称为残差信息。量化器233可以基于系数扫描顺序将块类型的量化后的变换系数重新布置成一维向量形式，并且基于一维向量形式的量化后的变换系数来生成关于量化后的变换系数的信息。熵编码器240可以执行诸如例如指数哥伦布(exponential Golomb)、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等这样的各种编码方法。熵编码器240可以对除了量化后的变换系数(例如，语法元素的值等)之外的视频/图像重构所需的信息一起或分别进行编码。编码后的信息(例如，编码后的视频/图像信息)可以以比特流的形式在网络抽象层(NAL)的单元基础上进行发送或存储。视频/图像信息还可以包括关于诸如适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)、视频参数集(VPS)等这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。在本公开中，从编码设备发送到/发信号通知给解码设备的信息和/或语法元素可以被包括在视频/图像信息中。视频/图像信息可以通过上述编码过程进行编码并且被包括在比特流中。可以通过网络传输比特流，或者将其存储在数字存储介质中。这里，网络可以包括广播网络、通信网络和/或类似物，并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等这样的各种存储介质。发送从熵编码器240输出的信号的发送器(未示出)或存储其的存储器(未示出)可以被配置为编码设备200的内部/外部元件，或者发送器可以被包括在熵编码器240中。
从量化器233输出的量化后的变换系数可以被用于生成预测信号。例如，通过利用反量化器234和逆变换器235向量化后的变换系数应用反量化和逆变换，可以重构残差信号(残差块或残差样本)。加法器155将重构后的残差信号与从帧间预测器221或帧内预测器222输出的预测信号相加，使得可以生成重构信号(重构图片、重构块、重构样本阵列)。当如在应用跳变模式的情况下一样没有针对处理目标块的残差时，可以将预测块用作重构块。加法器250可以被称为重构器或重构块生成器。所生成的重构信号可以被用于当前图片中的下一处理目标块的帧内预测，并且如随后描述的，可以被用于通过滤波进行的下一图片的帧间预测。
此外，在图片编码和/或重构处理中，可以应用具有色度缩放的亮度映射(LMCS)。
滤波器260可以通过向重构信号应用滤波来改善主观/客观视频质量。例如，滤波器260可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并且可以将修改后的重构图片存储在存储器270中，尤其是存储在存储器270的DPB中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环形滤波器、双边滤波器等。如随后在对每种滤波方法的描述中所讨论的，滤波器260可以生成与滤波相关的各种信息，并且将所生成的信息发送到熵编码器240。关于滤波的信息可以在熵编码器240中被编码并且以比特流的形式被输出。
已发送到存储器270的修改后的重构图片可以被用作帧间预测器221中的参考图片。据此，编码设备可以避免在应用帧间预测时编码设备100和解码设备中的预测失配，并且还可以提高编码效率。
存储器270DPB可以存储修改后的重构图片，以便使用它作为帧间预测器221中的参考图片。存储器270可以存储从中已导出(或编码了)运动信息的当前图片中的块的运动信息和/或已经重构的图片中的块的运动信息。所存储的运动信息可以被发送到帧间预测器221，以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器270可以存储当前图片中的重构块的重构样本，并且将它们发送到帧内预测器222。
图3是示意性地描述可以应用本公开的视频/图像解码设备的配置的图。
参照图3，视频解码设备300可以包括熵解码器310、残差处理器320、预测器330、加法器340、滤波器350和存储器360。预测器330可以包括帧间预测器331和帧内预测器332。残差处理器320可以包括反量化器321和逆变换器321。根据实施方式，上面已描述的熵解码器310、残差处理器320、预测器330、加法器340和滤波器350可以由一个或更多个硬件组件(例如，解码器芯片组或处理器)构成。另外，存储器360可以包括解码图片缓冲器(DPB)，并且可以由数字存储介质构成。硬件组件还可以包括存储器360作为内部/外部组件。
当输入包括视频/图像信息的比特流时，解码设备300可以与据此已在图2的编码设备中处理视频/图像信息的处理对应地重构图像。例如，解码设备300可以基于与从比特流获得的与块分割相关的信息来导出单元/块。解码设备300可以通过使用在编码设备中应用的处理单元来执行解码。因此，解码的处理单元可以是例如编码单元，可以用编码树单元或最大编码单元顺着四叉树结构、二叉树结构和/或三叉树结构对其进行分割。可以用编码单元导出一个或更多个变换单元。并且，可以通过再现器来再现通过解码设备300解码并输出的重构图像信号。
解码设备300可以以比特流的形式接收从图2的编码设备输出的信号，并且可以通过熵解码器310对接收到的信号进行解码。例如，熵解码器310可以对比特流进行解析，以导出图像重构(或图片重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于诸如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)、视频参数集(VPS)等这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。解码设备可以进一步基于关于参数集的信息和/或常规约束信息对图片进行解码。在本公开中，随后将描述的发信号通知/接收的信息和/或语法元素可以通过解码过程被解码并且从比特流中获得。例如，熵解码器310可以基于诸如指数哥伦布编码、CAVLC、CABAC等这样的编码方法对比特流中的信息进行解码，并且可以输出图像重构所需的语法元素的值和关于残差的变换系数的量化值。更具体地，CABAC熵解码方法可以接收与比特流中的各语法元素对应的bin，使用解码目标语法元素信息以及邻近和解码目标块的解码信息或者在先前步骤中解码的符号/bin的信息来确定上下文模型，根据所确定的上下文模型来预测bin生成概率并且对bin执行算术解码以生成与每个语法元素值对应的符号。这里，CABAC熵解码方法可以在确定上下文模型之后使用针对下一个符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。在熵解码器310中解码的信息当中的关于预测的信息可以被提供到预测器(帧间预测器332和帧内预测器331)，并且在熵解码器310中已对其执行了熵解码的残差值(即，量化后的变换系数)和关联的参数信息可以被输入到残差处理器320。残差处理器320可以导出残差信号(残差块、残差样本、残差样本阵列)。另外，在熵解码器310中解码的信息当中的关于滤波的信息可以被提供到滤波器350。此外，接收从编码设备输出的信号的接收器(未示出)还可以将解码设备300构成为内部/外部元件，并且接收器可以是熵解码器310的组件。此外，根据本公开的解码设备可以被称为视频/图像/图片编码设备，并且解码设备可以被分为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器310，并且样本解码器可以包括反量化器321、逆变换器322、加法器340、滤波器350、存储器360、帧间预测器332和帧内预测器331中的至少一个。
反量化器321可以通过对量化后的变换系数进行反量化来输出变换系数。反量化器321可以将量化后的变换系数重新布置为二维块的形式。在这种情况下，可以基于已在编码设备中执行的系数扫描的顺序来执行重新布置。反量化器321可以使用量化参数(例如，量化步长信息)对量化后的变换系数执行反量化，并且获得变换系数。
逆变换器322通过对变换系数进行逆变换来获得残差信号(残差块、残差样本阵列)。
预测器可以对当前块执行预测，并且生成包括针对当前块的预测样本的预测块。预测器可以基于从熵解码器310输出的关于预测的信息来确定对当前块应用帧内预测还是帧间预测，并且具体地可以确定帧内/帧间预测模式。
预测器320可以基于各种预测方法来生成预测信号。例如，预测器可以将帧内预测或帧间预测应用于对一个块的预测，并且也可以同时应用帧内预测和帧间预测。这可以被称为组合的帧间和帧内预测(CIIP)。另外，预测器可以基于块内复制(IBC)预测模式或调色板模式，以便对块执行预测。IBC预测模式或调色板模式可以被用于诸如屏幕内容编码(SCC)这样的游戏等的内容图像/视频编码。尽管IBC基本上在当前图片中执行预测，但是其执行方式与帧间预测的相似之处在于，它导出当前图片中的参考块。即，IBC可以使用本公开中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时，关于调色板表和调色板索引的信息可以被包括在视频/图像信息中并被发信号通知。
帧内预测器331可以通过参考当前图片中的样本来预测当前块。根据预测模式，参考样本可以位于当前块的附近或与当前块分开。在帧内预测中，预测模式可以包括多种非定向模式和多种定向模式。帧内预测器331可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器332可以基于参考图片上的运动向量所指定的参考块(参考样本阵列)来导出针对当前块的预测块。此时，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为基础来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、双重预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。例如，帧间预测器332可以基于邻近块来配置运动信息候选列表，并且基于接收到的候选选择信息来导出当前块的运动向量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示针对当前块的帧间预测的模式的信息。
加法器340可以通过将所获得的残差信号与从预测器(帧间预测器332和/或帧内预测器331)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构图片、重构块、重构样本阵列)。如果诸如在应用跳变模式时没有针对要处理的块的残差，则可以将预测块用作重构块。
加法器340可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前图片中的下一待处理块的帧内预测，可以通过如下所述的滤波而输出，或者可以用于下一图片的帧间预测。
此外，进行色度缩放的亮度映射(LMCS)可以被应用于图片解码处理。
滤波器350可以通过向重构后的信号应用滤波来改善主观/客观图像质量。例如，滤波器350可以通过向重构图片应用各种滤波方法来生成修改后的重构图片，并且将修改后的重构图片存储到存储器360中，尤其是发送到存储器360的DPB中。各种滤波方法可以包括例如解块滤波、样本自适应偏移、自适应环形滤波器、双边滤波器等。
存储在存储器360的DPB中的(修改后的)重构图片可以被用作帧间预测器332中的参考图片。存储器360可以存储当前图片中的导出了(或解码了)运动信息的块的运动信息和/或图片中的已经重构的块的运动信息。所存储的运动信息可以被发送到帧间预测器260，以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器360可以存储当前图片中的重构块的重构样本，并且将重构样本传送到帧内预测器331。
在本公开中，在编码设备200的滤波器260、帧间预测器221和帧内预测器222中描述的实施方式可以与解码设备300的滤波器350、帧间预测器332和帧内预测器331或者相应地应用以对应于解码设备300的滤波器350、帧间预测器332和帧内预测器331。
如上所述，在执行视频编码中，执行预测以提高压缩效率。通过预测，可以生成包括针对作为目标编码块的当前块的预测样本的预测块。在这种情况下，预测块包括空间域(或像素域)中的预测样本。可以在编码设备和解码设备中相同地导出预测块。编码设备可以通过向解码设备发信号通知原始块而非原始块的原始样本值本身与预测块之间的残差的信息(残差信息)来提高图像编码效率。解码设备可以基于残差信息来导出包括残差样本的残差块，可以通过将残差块与预测块相加来生成包括重构样本的重构块，并且可以生成包括重构块的重构图片。
可以通过变换和量化过程来生成残差信息。例如，编码设备可以导出原始块与预测块之间的残差块，可以通过对残差块中所包括的残差样本(残差样本阵列)执行变换过程来导出变换系数，可以通过对变换系数执行量化过程来导出量化后的变换系数，并且可以(通过比特流)向解码设备发信号通知相关的残差信息。在这种情况下，残差信息可以包括诸如量化后的变换系数的值信息、位置信息、变换方案、变换内核和量化参数这样的信息。解码设备可以基于残差信息来执行反量化/逆变换过程，并且可以导出残差样本(或残差块)。解码设备可以基于预测块和残差块来生成重构块。此外，编码设备可以通过对量化后的变换系数进行反量化/逆变换来导出残差块以便作为下一图片的帧间预测的参考，并且可以生成重构图片。
此外，如上所述，可以在对当前块执行预测时应用帧间预测。也就是说，编码/解码设备的预测器(更具体地，帧间预测器)可以通过以块为单位执行帧间预测来导出预测样本。帧间预测可以表示通过依赖于除当前图片以外的图片的数据元素(例如，样本值或运动信息)的方法所导出的预测。当对当前块应用帧间预测时，可以在由参考图片索引所指示的参考图片上基于由运动向量指定的参考块(参考样本阵列)来导出当前块的预测块(预测样本阵列)。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性，来以块、子块或样本为单位预测当前块的运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测类型(L0预测、L1预测、Bi预测等)信息。在应用帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以彼此相同或彼此不同。时间邻近块可以被称为诸如并置参考块、并置CU(colCU)等这样的名称，并且包括时间邻近块的参考图片可以被称为并置图片(colPic)。例如，可以基于当前块的邻近块来配置运动信息候选列表，并且可以用信号通知指示哪个候选被选择(使用)的标志或索引信息以便导出当前块的运动向量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且例如，在跳变模式和合并模式的情况下，当前块的运动信息可以与所选择的邻近块的运动信息相同。在跳变模式的情况下，与合并模式不同，可能不发送残差信号。在运动向量预测(MVP)模式的情况下，可以将所选择的邻近块的运动向量用作运动向量预测器并且可以用信号通知运动向量差。在这种情况下，可以通过使用运动向量预测器和运动向量差的和来导出当前块的运动向量。
根据帧间预测类型(L0预测、L1预测、双重预测等)，运动信息还可以包括L0运动信息和/或L1运动信息。L0方向运动向量可以被称为L0运动向量或MVL0，并且L1方向运动向量可以被称为L1运动向量或MVL1。基于L0运动向量的预测可以被称为L0预测，基于L1运动向量的预测可以被称为L1预测，并且基于L0运动向量和L1运动向量二者的预测可以被称为双重预测。这里，L0运动向量可以指示与参考图片列表L0关联的运动向量，并且L1运动向量可以指示与参考图片列表L1关联的运动向量。参考图片列表L0可以包括按输出顺序在当前图片之前的图片，并且参考图片列表L1可以包括按输出顺序在当前图片之后的图片作为参考图片。先前图片可以被称为前置(参考)图片，并且后续图片可以被称为倒置(参考)图片。参考图片列表L0还可以包括按输出顺序在当前图片之后的图片作为参考图片。在这种情况下，可以首先在参考图片列表L0中为先前图片编索引，然后为后续图片编索引。参考图片列表L1还可以包括按输出顺序在当前图片之前的图片作为参考图片。在这种情况下，可以首先在参考图片列表L1中为后续图片编索引，然后可以为先前图片编索引。这里，输出顺序可以对应于图片顺序计数(POC)顺序。
另外，各种帧间预测模式可以被用于预测图片中的当前块。例如，可以使用各种模式，诸如合并模式、跳变模式、运动向量预测(MVP)模式、仿射模式、子块合并模式、与MVD合并(MMVD)模式和历史运动向量预测(HMVP)模式。解码器侧运动向量修正(DMVR)模式、自适应运动向量分辨率(AMVR)模式、具有CU级别权重的双向预测(BCW)、双向光流(BDOF)等还可以被用作附加模式。仿射模式也可以被称为仿射运动预测模式。MVP模式也可以被称为高级运动向量预测(AMVP)模式。在本文档中，一些模式和/或通过一些模式导出的运动信息候选也可以在其他模式下被包括在运动信息相关候选之一中。例如，HMVP候选可以被添加到合并/跳变模式的合并候选，或者也可以被添加到MVP模式的mvp候选。如果HMVP候选被用作合并模式或跳变模式的运动信息候选，则HMVP候选可以被称为HMVP合并候选。
可以从编码设备向解码设备发信号通知指示当前块的帧间预测模式的预测模式信息。在这种情况下，预测模式信息可以被包括在比特流中并且被解码设备接收。预测模式信息可以包括指示多种候选模式中的一种的索引信息。另选地，可以通过标志信息的分级信令来指示帧间预测模式。在这种情况下，预测模式信息可以包括一个或更多个标志。例如，可以通过发信号通知跳变标志来指示是否应用跳变模式，可以通过当在不应用跳变模式时发信号通知合并标志来指示是否应用合并模式，并且指示应用MVP模式或者还可以在不应用合并模式时发信号通知用于附加区分的标志。仿射模式可以被作为独立模式发信号通知或者被作为关于合并模式或MVP模式的从属模式发信号通知。例如，仿射模式可以包括仿射合并模式和仿射MVP模式。
另外，可以在对当前块应用帧间预测时使用当前块的运动信息。编码装置可以通过运动估计过程来导出当前块的最佳运动信息。例如，编码设备可以通过使用当前块的原始图片中的原始块来搜索参考图片中的预定搜索范围内的以分数像素为单元的具有高相关性的相似参考块，并且通过搜索到的参考块来导出运动信息。可以以基于相位的样本值之间的差为基础来导出块的相似度。例如，可以基于当前块(或当前块的模板)与参考块(或参考块的模板)之间的绝对差之和(SAD)来计算块的相似度。在这种情况下，可以基于在搜索区域中的具有最小SAD的参考块来导出运动信息。可以基于帧间预测模式根据各种方法将导出的运动信息发信号通知给解码装置。
可以基于根据帧间预测模式导出的运动信息来导出当前块的预测块。预测块可以包括当前块的预测样本(预测样本阵列)。在当前块的运动向量(MV)指示分数样本单位时，可以执行插值过程，并且可以通过插值过程基于参考图片中的分数样本单位的参考样本来导出当前块的预测样本。当对当前块应用仿射帧间预测时，可以基于样本/子块单元MV来生成预测样本。当应用双重预测时，通过基于L0预测(即，使用参考图片列表L0和MVL0中的参考图片进行的预测)导出的预测样本的加权和或加权平均值导出的预测样本和基于L1预测(即，使用参考图片列表L1和MVL1中的参考图片进行的预测)导出的预测样本(根据相位)可以被用作当前块的预测样本。当应用双重预测时，如果基于当前图片，用于L0预测的参考图片和用于L1预测的参考图片位于不同的时间方向上(即，如果预测是双重预测并且对应于双向预测)，则这可以被称为真实双重预测。
可以基于导出的预测样本来生成重构样本和重构图片，此后，可以如上所述地执行诸如环路内滤波等这样的过程。
图4例示了基于帧间预测的视频/图像编码方法的一个示例，并且图5示意性地例示了编码设备中的帧间预测单元的一个示例。图5的编码设备中的帧间预测单元也可以被应用为与图2的编码设备200的帧间预测单元221相同或对应。
参照图4和图5，编码设备对当前块执行帧间预测(S400)。编码设备可以导出当前块的帧间预测模式和运动信息，并且生成当前块的预测样本。这里，可以同时执行帧间预测模式确定过程、运动信息导出过程和预测样本的生成过程，并且可以比其它过程更早地执行任何一个过程。
例如，编码设备的帧间预测单元221可以包括预测模式确定单元221_1、运动信息导出单元221_2和预测样本导出单元221_3，并且预测模式确定单元221_1可以确定针对当前块的预测模式，运动信息导出单元221_2可以导出当前块的运动信息，并且预测样本导出单元221_3可以导出当前块的预测样本。例如，编码设备的帧间预测单元221可以通过运动估计在参考图片的预定区域(搜索区域)中搜索与当前块相近的块，并且导出与当前块的差异最小或者等于或小于预定准则的参考块。可以基于此导出指示参考块所处的参考图片的参考图片索引，并且可以基于参考块与当前块之间的位置差异来导出运动向量。编码设备可以确定各种预测模式当中的应用于当前块的模式。编码设备可以将针对各种预测模式的RD成本进行比较，并且确定用于当前块的最佳预测模式。
例如，当对当前块应用跳变模式或合并模式时，编码设备可以配置下面将描述的合并候选列表，并且导出合并候选列表中所包括的合并候选所指示的参考块当中的与当前块的差异最小或者等于或小于预定准则的参考块。在这种情况下，可以选择与导出的参考块关联的合并候选，并且可以生成并向解码装置发信号通知指示所选择的合并候选的合并索引信息。可以通过使用所选择的合并候选的运动信息来导出当前块的运动信息。
作为另一示例，当对当前块应用(A)MVP模式时，编码装置可以配置(A)MVP候选列表，并且使用在(A)MVP候选列表中所包括的运动向量预测项(mvp)候选当中选择的mvp候选的运动向量作为当前块的mvp。在这种情况下，例如，指示通过运动估计导出的参考块的运动向量可以被用作当前块的运动向量，并且在mvp候选当中的具有与当前块的运动向量的差异最小的运动向量的mvp候选可以成为被选择的mvp候选。可以导出作为通过从当前块的运动向量中减去mvp而获得的差的运动向量差(MVD)。在这种情况下，可以将关于MVD的信息发信号通知给解码设备。另外，当应用(A)MVP模式时，参考图片索引的值可以被配置为参考图片索引信息并且被单独发信号通知给解码设备。
编码设备可以基于预测的样本来导出残差样本(S410)。编码设备可以通过将当前块的原始样本与预测样本进行比较来导出残差样本。
编码设备对包括预测信息和残差信息的图像信息进行编码(S420)。编码设备可以以比特流形式输出编码后的图像信息。预测信息可以包括关于预测模式信息(例如，跳变标志、合并标志、模式索引等)的信息和关于运动信息的信息作为与预测过程相关的信息。关于运动信息的信息可以包括作为用于导出运动向量的信息的候选选择信息(例如，合并索引、mvp标志或mvp索引)。另外，关于运动信息的信息可以包括关于MVD的信息和/或参考图片索引信息。另外，关于运动信息的信息可以包括指示是否应用L0预测、L1预测或双重预测的信息。残差信息是关于残差样本的信息。残差信息可以包括关于针对残差样本的量化后的变换系数的信息。
输出的比特流可以被存储在(数字)存储介质中并且被传送到解码装置或者经由网络被传送到解码装置。
此外，如上所述，编码装置可以基于参考样本和残差样本来生成重构图片(包括重构样本和重构块)。这是为了导出与解码装置执行的预测结果相同的预测结果，结果，能提高编码效率。因此，编码设备可以将重构图片(或重构样本或重构块)存储在存储器中，并且利用重构图片作为参考图片。还可以如上所述对重构图片应用环路内滤波过程。
图6例示了基于帧间预测的视频/图像解码方法的一个示例，并且图7例示了示意性地例示解码设备中的帧间预测单元的一个示例。图7的解码设备中的帧间预测单元也可以被应用为与图3的解码设备300的帧间预测单元332相同或对应。
参照图6和图7，解码设备可以执行与由编码设备执行的操作对应的操作。解码设备可以基于接收到的预测信息对当前块执行预测，并且导出预测样本。
具体地，解码设备可以基于接收到的预测信息来确定针对当前块的预测模式(S600)。解码设备可以基于预测信息中的预测模式信息来确定对当前块应用哪种帧间预测模式。
例如，可以基于合并标记来确定是对当前块应用合并模式还是(A)MVP模式。另选地，可以基于模式索引来选择各种帧间预测模式候选中的一个。帧间预测模式候选可以包括跳变模式、合并模式和/或(A)MVP模式，或者可以包括上述的各种帧间预测模式。
解码设备基于所确定的帧间预测模式来导出当前块的运动信息(S610)。例如，当对当前块应用跳变模式或合并模式时，解码装置可以配置合并候选列表，并且选择合并候选列表中所包括的合并候选当中的一个合并候选。可以基于选择信息(合并索引)来执行选择。可以通过使用所选择的合并候选的运动信息来导出当前块的运动信息。所选择的合并候选的运动信息可以被用作当前块的运动信息。
作为另一示例，当对当前块应用(A)MVP模式时，解码设备可以配置(A)MVP候选列表，并且使用在(A)MVP候选列表中所包括的运动向量预测项(mvp)候选当中选择的mvp候选的运动向量作为当前块的mvp。这里，可以基于选择信息(mvp标志或mvp索引)来执行选择。在这种情况下，可以基于关于MVD的信息来导出当前块的MVD，并且可以基于当前块的mvp和MVP来导出当前块的运动向量。另外，可以基于参考图片索引信息来导出当前块的参考图片索引。可以将当前块的参考图片列表中的参考图片索引所指示的图片导出为进行当前块的帧间预测所参考的参考图片。
此外，可以在没有候选列表配置的情况下导出当前块的运动信息，并且在这种情况下，可以根据预测模式中公开的过程来导出当前块的运动信息。在这种情况下，可以省略候选列表配置。
解码设备可以基于当前块的运动信息来生成当前块的预测样本(S620)。在这种情况下，可以基于当前块的参考图片索引来导出参考图片，并且可以通过使用参考图片上的当前块的运动向量所指示的参考块的样本来导出当前块的预测样本。在这种情况下，在某些情况下，还可以执行针对当前块的预测样本中的全部或一些的预测样本滤波过程。
例如，解码设备的帧间预测单元332可以包括预测模式确定单元332_1、运动信息导出单元332_2和预测样本导出单元332_3，并且预测模式确定单元332_1可以基于接收到的预测模式信息来确定针对当前块的预测模式，运动信息导出单元332_2可以基于关于接收到的运动信息的信息来导出当前块的运动信息(运动向量和/或参考图片索引)，并且预测样本导出单元332_3可以导出当前块的预测样本。
解码设备基于接收到的残差信息来生成当前块的残差样本(S630)。解码设备可以基于预测样本和残差样本来生成当前块的重构样本，并且基于所生成的重构样本来生成重构图片(S640)。此后，还可以如上所述对重构图片应用环路内滤波过程。
如上所述，帧间预测过程可以包括帧间预测模式确定步骤、取决于所确定预测模式的运动信息导出步骤以及基于所导出的运动信息的预测执行(预测样本生成)步骤。帧间预测过程可以由如上所述的编码设备和解码设备执行。
此外，在导出当前块的运动信息时，可以基于空间邻近块和时间邻近块来导出运动信息候选，并且可以基于所导出的运动信息候选来选择当前块的运动信息候选。此时，可以将所选择的运动信息候选用作当前块的运动信息。
图8示例性地例示了当前块的空间邻近块和时间邻近块。
参照图8，空间邻近块是指定位在作为当前执行帧间预测的目标的当前块800周围的邻近块，并且可以包括定位在当前块800的左部周围的邻近块或定位在当前块800的顶部周围的邻近块。例如，空间邻近块可以包括当前块800的左底部拐角邻近块、左部邻近块、右顶部拐角邻近块、顶部邻近块和左顶部拐角邻近块。图8将空间邻近块例示为“S”。
根据示例性实施方式，编码设备/解码设备可以通过根据预定顺序搜索当前块的空间邻近块(例如，左底部拐角邻近块、左部邻近块、右顶部拐角邻近块、顶部邻近块和左顶部拐角邻近块)来检测可用的邻近块，并且导出所检测到的邻近块的运动信息作为空间运动信息候选。
时间邻近块是定位在与包括当前块800的当前图片不同的图片(即，参考图片)上的块，并且是指参考图片中的当前块800的并置块。这里，参考图片在图片顺序计数(POC)上可以在当前图片之前或之后。另外，用于导出时间邻近块的参考图片可以被称为col图片(并置图片)。另外，并置块可以是指位于col图片中与当前块800的位置对应的位置处的块，并且被称为col块。例如，如图8中例示的，时间邻近块可以包括被定位为与当前块800的右底部拐角样本在参考图片(即，col图片)中的位置对应的col块(即，包括右底部拐角样本的col块)和/或被定位为与当前块800的右下部中心样本在参考图片(即，col图片)中的位置对应的col块(即，包括右下部中心样本的col块)。图8将时间邻近块例示为“T”。
根据该示例性实施方式，编码设备/解码设备可以通过根据预定顺序搜索当前块的时间邻近块(例如，包括右底部拐角样本的col块和包括右下部中心样本的col块)来检测可用的块，并且导出所检测到的块的运动信息作为时间运动信息候选。如上所述，使用时间邻近块的技术可以被称为时间运动向量预测(TMVP)。
换句话说，可以基于空间相似度来从空间邻近块导出空间运动信息候选，并且可以基于时间相似度来从时间邻近块导出时间运动信息候选。然而，由于使用时间邻近块的TMVP方法使用参考图片中与当前块的右底部拐角样本的位置或当前块的右下部中心样本的位置对应的col块的运动信息，所以存在未反映帧内运动的限制。因此，作为用于改进常规TMVP方法的方法，可以使用自适应时间运动向量预测(ATMVP)。ATMVP是用于考虑空间相似度来校正时间相似度信息的方法、以及用于基于由空间邻近块的运动向量所指示的位置来导出col块并且将所导出的col块的运动向量用作时间运动信息候选(即，ATMVP候选)的方法。如上所述，ATMVP可以使用空间邻近块来导出col块，从而保证col块的准确度比常规TMVP方法的准确度高。
图9示例性地例示了可以被用于导出时间运动信息候选(ATMVP候选)的空间邻近块。
如上所述，基于ATMVP的帧间预测方法(在下文中，称为ATMVP模式)可以使用当前块的空间邻近块来导出col块(或并置参考块)，并且基于col块的运动信息将所导出的col块构造为时间运动信息候选(即，ATMVP候选)。
参照图9，在ATMVP模式下，空间邻近块可以包括当前块的左底部拐角邻近块(A0)、左部邻近块(A1)、右顶部拐角邻近块(B0)、顶部邻近块(B1)和左顶部拐角邻近块(B2)。在一些情况下，空间邻近块还可以包括除了图9中例示的邻近块以外的其他邻近块，或者也可能不包括图9中例示的邻近块当中的特定邻近块。另外，空间邻近块也可以仅包括特定邻近块，并且例如，仅包括当前块的左部邻近块(A1)。
如果应用了ATMVP模式，则编码设备/解码设备可以在构造时间运动信息候选时检测第一可用的空间邻近块的运动向量(时间向量)同时根据预定搜索顺序搜索空间邻近块，并且将在参考图片中空间邻近块的运动向量(时间向量)所指示的位置处的块设置为col块(即，并置参考块)。
此时，可以通过空间邻近块的参考图片信息、预测模式信息、位置信息等来确定空间邻近块是否可用。例如，如果空间邻近块的参考图片和当前块的参考图片相同，则可以确定所对应的空间邻近块可用。另选地，如果空间邻近块是在帧内预测模式下编码的或者空间邻近块被定位在当前图片/图块外部，则可以确定所对应的空间邻近块不可用。
另外，空间邻近块的搜索顺序可以被不同地定义，并且例如，可以是A1、B1、B0、A0和B2的顺序。另选地，可以通过搜索仅A1来确定A1是否可用。
此外，也可以通过根据帧间预测模式以子块为单位导出运动信息来执行预测。例如，在仿射模式或ATMVP模式下，可以以子块为单位导出运动信息。特别地，用于以子块为单位导出时间运动信息候选的方法可以被称为基于子块的时间运动向量预测(sbTMVP)候选。在下文中，将详细地描述用于导出sbTMVP候选的方法。
图10是用于示意性地说明导出基于子块的时间运动信息候选(sbTMVP候选)的过程的示意图。
sbTMVP是使用col图片中的运动场来改进当前图片中的编码单元的运动向量预测(MVP)和合并模式的方法，并且sbTMVP的col图片可以与由TMVP使用的col图片相同。然而，TMVP在编码单元(CU)级别下执行运动预测，但是sbTMVP可以在子块级别或子编码单元(子CU)级别下执行运动预测。另外，TMVP从col图片中的col块中取出时间运动信息(这里，col块是与当前块的右底部拐角样本的位置或当前块的右下部中心样本的位置对应的col块)，而sbTMVP在根据col图片应用运动移位之后取出时间运动信息。这里，运动移位可以意指使用当前块的空间邻近块中的一个(例如，A1邻近块)的运动向量来导出当前块的col块的过程。
参照图10，编码设备/解码设备可以首先确定当前块的空间邻近块(例如，A1)是否可用。例如，如果空间邻近块(例如，A1)的参考图片使用col图片，则可以确定空间邻近块(例如，A1)可用，并且可以导出空间邻近块(例如，A1)的运动向量(例如，A1)。此时，空间邻近块(例如，A1)的运动向量可以被称为时间MV(tempMV)，并且该运动向量可以被用于运动移位。另选地，如果确定空间邻近块(例如，A1)不可用，则可以将时间MV(即，空间邻近块的运动向量)设置为零向量。换句话说，在这种情况下，可以将运动移位设置为(0,0)。
接下来，编码设备/解码设备可以基于空间邻近块(例如，A1)的运动向量来应用运动移位。例如，可以将运动移位设置为空间邻近块(例如，A1)的运动向量。换句话说，可以通过应用运动移位来将空间邻近块(例如，A1)的运动向量添加到当前块的坐标。
接下来，编码设备/解码设备可以导出在col图片上运动移位的col子块(并置子块)并且获得每个col子块的运动信息(运动向量、参考索引等)。换句话说，编码设备/解码设备可以导出在col图片上与在当前块相应的子块的中心样本的位置处运动移位的位置(即，由空间邻近块(例如，A1)的运动向量所指示的位置)对应的col子块中的每个。另外，相应的col子块的运动信息可以被用作当前块相应的子块的运动信息(即，sbTMVP候选)。这里，中心样本的位置可以是指定位在子块的中心处的4个样本当中定位在右底端部处的样本。
此时，可以对col子块的运动向量应用缩放。可以基于col块的参考图片与当前块的参考图片之间的时间距离差来执行缩放。因此，缩放可以被称为时间运动缩放，使得当前块的参考图片和时间运动向量的参考图片可以对齐。在这种情况下，编码设备/解码设备可以获得col子块的缩放运动向量作为当前块相应的子块的运动信息。
另外，在导出col子块的运动信息时，特定col子块的运动信息也可能不可用。在这种情况下，对于运动信息不可用的特定col子块，可以使用定位在col块的中心处的块(即，包括定位在中心的4个样本当中定位在右底端部处的样本的块)的运动向量，并且可以将该运动向量存储为基本运动向量(即，默认运动向量)。
如上所述，在以子块为单位导出运动信息的仿射模式或sbTMVP模式的情况下，可以导出仿射合并候选和sbTMVP候选，并且可以基于此类候选来构造基于子块的合并候选列表。此时，可以用信号通知指示仿射模式或sbTMVP模式是否被启用还是禁用的标志信息。如果基于标志信息启用了sbTMVP模式，则可以将如此导出的sbTMVP候选添加到基于子块的合并候选列表的第一排序。另外，可以将仿射合并候选添加到基于子块的合并候选列表的下一排序。这里，基于子块的合并候选列表的候选的最大数目可以是5。
另外，在sbTMVP模式下，子块的大小可以是固定的，并且例如，固定为8x8的大小。另外，可以对仅宽度和高度都为8或更大的块应用sbTMVP模式。
此外，可以基于帧内块复制(IBC)预测模式来执行对当前块的预测。IBC预测模式可以被用于游戏等的内容图像/视频编码，诸如屏幕内容编码(SCC)。IBC基本上在当前图片中执行预测，但是可以与帧间预测类似地执行，因为参考块是在当前图片中导出的。换句话说，IBC可以使用本文档中描述的帧间预测技术中的至少一种。
例如，IBC可以使用前述方法中的至少一种来导出运动信息(运动向量)。也可以考虑到如稍后所描述的IBC预测部分地修改和使用帧间预测技术中的至少一种。IBC可以参考当前图片，并且因此也被称为当前图片参考(CPR)。例如，可以基于IBC标志(例如，pred_mode_ibc_flag)来指示IBC是否被应用于当前块。IBC标志(例如，pred_mode_ibc_flag)可以被编码为语法元素并且以比特流的形式生成，并且通过比特流从编码设备用信号通知给解码设备。
对于IBC预测，编码设备可以通过执行块匹配(BM)来导出当前块(例如，CU)的最佳块向量(或运动向量)。可以使用与帧间预测中的运动信息(运动向量)的前述信令类似的方法来通过比特流将所导出的块向量(或运动向量)用信号通知给解码设备。解码设备可以通过经用信号通知的块向量(运动向量)来导出当前图片中当前块的参考块，从而导出当前块的预测信号(预测块或预测样本)。这里，块向量可以对应于前述运动向量，并且表示从当前块到定位在当前图片中的已经重构的区域中的参考块的位移。因此，块向量(或运动向量)也可以被称为位移向量。IBC中的运动向量可以对应于块向量或位移向量。另外，IBC中的MVD可以被称为块向量差(BVD)。当前块的运动向量可以包括亮度分量的运动向量(亮度运动向量)或色度分量的运动向量(色度运动向量)。例如，经IBC编码的CU的亮度运动向量可以是整数样本单位(即，整数精度)。也可以按整数样本单位修剪色度运动向量。如上所述，IBC可以使用帧间预测技术中的至少一种，并且例如，如果像AMVR一样应用IBC，则可以切换1-pel或4-pel运动向量精度。
在CU级别下，IBC预测模式可以通过标志被用信号通知，并被用信号通知给IBC(A)MVP模式或IBC跳变/合并模式。
例如，在IBC跳变/合并模式下，可以使用合并候选索引来导出当前块的块向量。这里，合并候选索引可以指示基于IBC模式编码的邻近候选块而构造的列表中的块向量当中的哪个块向量用于预测当前块。合并候选列表可以被配置为包括空间候选、历史运动向量预测(HMVP)候选和逐对候选。
在IBC(A)MVP模式下，可以以与MVD中的方式相同的方式对块向量差(BVD)进行编码。块向量预测方法可以使用两个候选作为预测器，并且可以从(IBC模式编码的)左部邻近块和(IBC模式编码的)顶部邻近块导出两个候选。此时，如果左部邻近块或顶部邻近块不可用，则可以使用默认块向量作为预测器。标志可以被用信号通知作为用于指示块向量预测器的索引信息。
在下文中，本文档提出用于当在执行帧间预测的过程中构造sbTMVP候选时考虑到它是否为基于IBC编码的块来有效地执行预测的方法。特别地，如果当前块的参考块(即，col块)是在构造sbTMVP候选的过程中用当前图片参考(CPR)编码的块，则可能不将参考块用作有效的sbTMVP候选，使得本文档提出用于在以子块为单位构造运动信息候选的过程中排除sbTMVP候选的方法。可以使用所提出的方法来在以子块为单位构造候选运动信息的过程中获得降低平均复杂度的效果。
图11例示了用于考虑CPR导出sbTMVP候选的方法的示例性实施方式。
参照图11，编码设备/解码设备可以设置用于运动移位的运动信息(即，运动向量)(S1100)。
这里，用于运动移位的运动信息可以包括从空间邻近块导出的运动向量。空间邻近块可以包括当前块的左底部拐角邻近块(A0)、左部邻近块(A1)、右顶部拐角邻近块(B0)、顶部邻近块(B1)和左顶部拐角邻近块(B2)中的至少一个。另选地，空间邻近块可以仅包括当前块的左部邻近块(A1)。
根据该示例性实施方式，编码设备/解码设备可以从空间邻近块中的一个(例如，左部邻近块(A1))导出运动向量以导出当前块的参考块，并且通过基于空间邻近块(例如，左部邻近块(A1))的运动向量来执行运动移位而导出当前块的参考块。
这里，如上所述，参考块可以是在用于导出sbTMVP候选的并置参考图片(即，col图片)中基于运动移位而导出的col块。例如，参考块可以是基于当前块的中心样本的位置运动移位了空间邻近向量(例如，左部邻近向量(A1))的运动向量的col块。为了说明的方便，经运动移位的参考块可以被称为中心参考块、中心参考子块、中心子块等。
编码设备/解码设备可以确定基于运动移位而导出的参考块(即，中心子块)的运动信息是否可用(S1110)。此时，根据图11中例示的示例性实施方式，编码设备/解码设备可以确定参考块(即，中心子块)是否是在帧间预测模式下编码的。
如果参考块(即，中心子块)不是在帧间预测模式下编码的块，则编码设备/解码设备可能不执行导出sbTMVP候选的过程。在这种情况下，编码设备/解码设备可以通过确定sbTMVP候选不可用来从运动信息候选列表中排除sbTMVP候选。这里，如上所述，运动信息候选列表可以是包括基于仿射模式或sbTMVP模式而导出的仿射合并候选和sbTMVP候选的基于子块的合并候选列表。
如果参考块(即，中心子块)是在帧间预测模式下编码的块，则编码设备/解码设备可以执行导出用于当前块的基于子块的运动信息的过程(即，导出sbTMVP候选的过程)。换句话说，编码设备/解码设备可以以子块为单位对于当前块的参考子块中的每个执行下一过程。这里，参考子块可以是在参考图片(即，col图片)上与当前块中的子块中的每个对应的子块(即，col子块)。例如，当前块可以包括第一至第n子块，并且相应地，参考子块也可以包括第一至第n子块。换句话说，编码设备/解码设备可以对于第一至第n参考子块中的每个执行下一过程。
编码设备/解码设备可以确定当前参考子块是否为第一至第n参考子块中的任何一个(S1120)。换句话说，编码设备/解码设备可以确定当前参考子块是否为最后一个子块，并且如果它是最后一个子块，则编码设备/解码设备可以终止导出sbTMVP候选的过程，否则，继续执行导出sbTMVP候选的过程。
如果当前参考子块是第一至第n参考子块中的任何一个，则编码设备/解码设备可以确定当前参考子块是否为在帧间预测模式下编码的块而不是参考当前图片的CPR块(S1130)。
这里，CPR块是指在参考当前图片执行预测的模式(CPR模式或IBC模式)下编码的块。例如，编码设备/解码设备可以基于参考块所参考的第一参考图片是否与参考块被定位在其中的第二参考图片相同来确定当前参考子块是否为CPR块。换句话说，如果第一参考图片和第二参考图片相同，则当前参考子块可以是CPR块。
如果当前参考子块不是在帧间预测模式下编码的块或者当前参考子块是CPR块，则编码设备/解码设备可以将中心参考子块的运动信息设置为用于当前块的基于子块的运动信息(S1140)。换句话说，编码设备/解码设备可以将当前块中与当前参考子块对应的子块的运动信息设置为中心参考子块的运动信息。
如果当前参考子块是在帧间预测模式下编码的块而不是CPR块，则编码设备/解码设备可以通过导出当前参考子块的运动信息来将当前参考子块的运动信息设置为用于当前块的基于子块的运动信息(S1150)。
图12例示了用于考虑CPR导出sbTMVP候选的方法的另一示例性实施方式。
参照图12，编码设备/解码设备可以设置用于运动移位的运动信息(即，运动向量)(S1200)。
这里，用于运动移位的运动信息可以包括从空间邻近块导出的运动向量。空间邻近块可以包括当前块的左底部拐角邻近块(A0)、左部邻近块(A1)、右顶部拐角邻近块(B0)、顶部邻近块(B1)和左顶部拐角邻近块(B2)中的至少一个。另选地，空间邻近块可以仅包括当前块的左部邻近块(A1)。
根据该示例性实施方式，编码设备/解码设备可以从空间邻近块中的一个(例如，左部邻近块(A1))导出运动向量以导出当前块的参考块，并且通过基于空间邻近块(例如，左部邻近块(A1))的运动向量来执行运动移位而导出当前块的参考块。
这里，如上所述，参考块可以是在用于导出sbTMVP候选的并置参考图片(即，col图片)中基于运动移位而导出的col块。例如，参考块可以是基于当前块的中心样本的位置运动移位了空间邻近向量(例如，左部邻近向量(A1))的运动向量的col块。为了说明的方便，经运动移位的参考块可以被称为中心参考块、中心参考子块、中心子块等。
编码设备/解码设备可以确定基于运动移位而导出的参考块(即，中心子块)的运动信息是否可用(S1210)。此时，根据图12中例示的示例性实施方式，编码设备/解码设备可以确定参考块(即，中心子块)是否为在帧间预测模式下编码的块而不是参考当前图片的CPR块。
这里，CPR块是指在参考当前图片执行预测的模式(CPR模式或IBC模式)下编码的块。例如，编码设备/解码设备可以基于参考块所参考的第一参考图片是否与参考块被定位在其中的第二参考图片相同来确定参考块是否为CPR块。换句话说，如果第一参考图片和第二参考图片相同，则参考块可以是CPR块。
如果参考块(即，中心子块)不是在帧间预测模式下编码的块或者参考块(即，中心子块)是CPR块，则编码设备/解码设备可能不执行导出sbTMVP候选的过程。在这种情况下，编码设备/解码设备可以通过确定sbTMVP候选不可用，来从运动信息候选列表中排除sbTMVP候选。这里，如上所述，运动信息候选列表可以是包括基于仿射模式或sbTMVP模式而导出的仿射合并候选和sbTMVP候选的基于子块的合并候选列表。
如果参考块(即，中心子块)是在帧间预测模式下编码的块而不是CPR块，则编码设备/解码设备可以执行导出用于当前块的基于子块的运动信息的过程(即，导出sbTMVP候选的过程)。换句话说，编码设备/解码设备可以以子块为单位对于当前块的参考子块中的每个执行下一过程。这里，参考子块可以是在参考图片(即，col图片)上与当前块中的子块中的每个对应的子块(即，col子块)。例如，当前块可以包括第一至第n子块，并且相应地，参考子块也可以包括第一至第n子块。换句话说，编码设备/解码设备可以对于第一至第n参考子块中的每个执行下一过程。
编码设备/解码设备可以确定当前参考子块是否为第一至第n参考子块中的任何一个(S1220)。换句话说，编码设备/解码设备可以确定当前参考子块是否为最后一个子块，如果它是最后一个子块，则编码设备/解码设备可以终止导出sbTMVP候选的过程，否则继续执行导出sbTMVP候选的过程。
如果当前参考子块是第一至第n参考子块中的任何一个，则编码设备/解码设备可以确定当前参考子块是否为在帧间预测模式下编码的块而不是CPR块(S1230)。
如果当前参考子块不是在帧间预测模式下编码的块或者当前参考子块是CPR块，则编码设备/解码设备可以将中心参考子块的运动信息设置为用于当前块的基于子块的运动信息(S1240)。换句话说，可以将当前块中与当前参考子块对应的子块的运动信息设置为中心参考子块的运动信息。
如果当前参考子块是在帧间预测模式下编码的块而不是CPR块，则编码设备/解码设备可以通过导出当前参考子块的运动信息来将当前参考子块的运动信息设置为用于当前块的基于子块的运动信息(S1250)。
图13是示意性地例示了可以由根据本文档的示例性实施方式的编码设备执行的编码方法的流程图。
图13中例示的方法可以由图2中例示的编码设备200执行。具体地，图13中例示的步骤S1300至S1330可以由图2中例示的预测器220和帧间预测器221执行，图13中例示的步骤S1340可以由图2中例示的残差处理器230执行，并且图13中例示的步骤S1350可以由图2中例示的熵编码器240执行。另外，图13中例示的方法可以包括上面在本文档中描述的示例性实施方式。因此，在图13中，将省略或简化与前述示例性实施方式重叠的内容的详细描述。
参照图13，编码设备可以基于运动移位来导出参考块(S1300)。
这里，可以执行运动移位以基于空间邻近块的运动向量来指定参考图片上的参考块。
根据该示例性实施方式，编码设备可以首先从当前块的空间邻近块导出运动向量。
例如，空间邻近块可以包括当前块的左底部拐角邻近块(A0)、左部邻近块(A1)、右顶部拐角邻近块(B0)、顶部邻近块(B1)和左顶部拐角邻近块(B2)中的至少一个。在这种情况下，编码设备可以检测第一可用的空间邻近块的运动向量(时间向量)同时根据预定搜索顺序搜索空间邻近块，并且将在参考图片中空间邻近块的运动向量(时间向量)所指示的位置处的块设置为参考块(即，col块)。
此时，可以通过空间邻近块的参考图片信息、预测模式信息、位置信息等来确定空间邻近块是否可用。例如，如果空间邻近块的参考图片和当前块的参考图片相同，则可以确定所对应的空间邻近块可用。另选地，如果空间邻近块是在帧内预测模式下编码的或者空间邻近块被定位在当前图片/图块外部，则可以确定所对应的空间邻近块不可用。
另外，空间邻近块的搜索顺序可以被不同地定义，并且例如，可以是A1、B1、B0、A0和B2的顺序。另选地，可以通过搜索仅A1来确定A1是否可用。
另选地，作为另一示例，空间邻近块也可以仅包括特定邻近块，并且例如，仅包括当前块的左部邻近块(A1)。在这种情况下，编码设备可以确定空间邻近块(例如，A1)是否可用。例如，如果空间邻近块(例如，A1)的参考图片使用当前块的参考图片(即，col图片)，则可以确定空间邻近块(例如，A1)可用，并且可以导出空间邻近块(例如，A1)的运动向量。此时，空间邻近块(例如，A1)的运动向量可以被称为时间MV(tempMV)，并且运动向量可以被用于运动移位。另选地，如果确定空间邻近块(例如，A1)不可用，则可以将时间MV(即，空间邻近块的运动向量)设置为零向量。换句话说，在这种情况下，可以将运动移位设置为(0,0)。
接下来，编码设备可以基于如此导出的空间邻近块的运动向量来执行运动移位。例如，编码设备可以基于当前块的中心样本的位置来执行到由空间邻近块的运动向量所指示的位置的运动移位。这里，中心样本的位置可以指示定位在当前块的中心处的4个样本当中的右底端部样本的位置。
另外，编码设备可以基于经运动移位的位置来导出参考块。换句话说，编码设备可以导出在参考图片中基于当前块的中心样本的位置运动移位了空间邻近块的运动向量的位置处的参考块。
这里，如上所述，参考图片可以是用于导出sbTMVP候选的col(并置)图片，并且参考块可以是在基于当前块的中心样本的位置运动移位的位置处的col块。此时，参考块可以被称为中心参考块、中心子块等。
编码设备可以基于参考块是否为当前图片参考(CPR)块来确定子块时间运动向量预测器(sbTMVP)候选是否可用(S1310)。编码设备可以确定sbTMVP候选对于作为CPR块的参考块不可用。
这里，CPR块是指在参考当前图片执行预测的模式(CPR模式或IBC模式)下编码的块。例如，编码设备可以基于参考块所参考的第一参考图片是否与参考块被定位在其中的第二参考图片相同来确定参考块是否为CPR块。换句话说，如果第一参考图片和第二参考图片相同，则参考块可以是CPR块。
根据该示例性实施方式，在确定sbTMVP候选是否可用时，如果帧间预测模式未被应用于参考块或者参考块所参考的第一参考图片和参考块被定位在其中的第二参考图片相同(即，如果参考块是CPR块)，则编码设备可以确定sbTMVP候选不可用。
另选地，根据该示例性实施方式，在确定sbTMVP候选是否可用时，如果帧间预测模式被应用于参考块并且参考块所参考的第一参考图片和参考块被定位在其中的第二参考图片不相同(即，如果参考块不是CPR块)，则编码设备可以确定sbTMVP可用。
如果sbTMVP候选可用，则编码设备可以基于sbTMVP候选来导出用于当前块的运动信息(S1320)。换句话说，编码设备可以基于sbTMVP候选来导出用于当前块的基于子块的运动信息。
根据该示例性实施方式，编码设备可以基于包括参考块的参考图片中的运动移位来导出当前块中的子块中的每个的参考子块。另外，编码设备可以通过导出参考子块中的每个的运动信息来导出作为用于当前块的基于子块的运动信息。
例如，当前块可以包括第一至第n子块，并且相应地，参考子块也可以包括第一至第n子块。在这种情况下，编码设备可以基于当前块中包括的第一和第n子块中的每个的中心样本的位置来应用运动移位，并且在经运动移位的位置处导出第一至第n参考子块。编码设备可以从基于运动移位而导出的第一和第n参考子块中的每一个导出运动信息。
此时，编码设备可以确定参考子块(例如，第一至第n参考子块)的运动信息是否可用。例如，如果参考子块(例如，第一至第n参考子块)当中的特定参考子块的运动信息不可用，则编码设备可以将特定参考子块的运动信息设置为基本运动信息。这里，基本运动信息可以意指默认运动信息，并且可以使用在前述步骤S1300中导出的参考块的运动信息作为基本运动信息。
另外，编码设备可以基于用于当前块的基于子块的运动信息来构造运动信息候选列表。这里，如上所述，运动信息候选列表可以是包括基于仿射模式或sbTMVP模式而导出的仿射合并候选和sbTMVP候选的基于子块的合并候选列表。例如，如果确定sbTMVP候选可用，则可以如上所述导出用于当前块的基于子块的运动信息，并且在这种情况下，可以将sbTMVP候选包括在运动信息候选列表中。另选地，如果确定sbTMVP候选不可用，则可以从运动信息候选列表中排除sbTMVP候选。
编码设备可以基于用于当前块的运动信息来生成预测样本(S1330)。
编码设备可以基于速率失真(RD)成本来选择最佳运动信息，并且基于该最佳运动信息来生成预测样本。例如，如果针对当前块导出的基于子块的运动信息(即，sbTMVP)被选择为最佳运动信息，则编码设备可以基于如此导出的用于当前块的子块的运动信息来生成当前块的预测样本。
编码设备可以基于预测样本来导出残差样本(S1340)，并且对包括关于残差样本的信息的图像信息进行编码(S1350)。
换句话说，编码设备可以基于当前块的原始样本和当前块的预测样本来导出残差样本。另外，编码设备可以生成关于残差样本的信息。这里，关于残差样本的信息可以包括通过对于残差样本执行变换和量化而导出的量化变换系数的值信息、位置信息、变换技术、变换核、量化参数等这样的信息。
编码设备可以对包括关于残差样本的信息的图像信息进行编码以以比特流的形式输出编码图像信息，并且通过网络或存储介质来将比特流发送到解码设备。另外，编码设备可以将基于速率失真(RD)成本而选择的运动信息(例如，关于sbTMVP候选的信息)包括在图像信息中，并且对该图像信息进行编码以便以比特流的形式输出编码图像信息。
图14是示意性地例示了可以由根据本文档的示例性实施方式的解码设备执行的解码方法的流程图。
图14中例示的方法可以由图3中例示的解码设备300执行。具体地，图14中例示的步骤S1400至S1430可以由图3中例示的预测器330和帧间预测器332执行，并且图14中例示的步骤S1440可以由图3中例示的加法器340执行。另外，图14中例示的方法可以包括上面在本文档中描述的示例性实施方式。因此，在图14中，将省略和简化与前述示例性实施方式重叠的内容的详细描述。
参考图14，解码设备可以基于运动移位来导出参考块(S1400)。
这里，可以执行运动移位以基于空间邻近块的运动向量来指定参考图片上的参考块。
根据该示例性实施方式，解码设备可以首先从当前块的空间邻近块导出运动向量。
例如，空间邻近块可以包括当前块的左底部拐角邻近块(A0)、左部邻近块(A1)、右顶部拐角邻近块(B0)、顶部邻近块(B1)和左顶部拐角邻近块(B2)中的至少一个。在这种情况下，解码设备可以检测第一可用的空间邻近块的运动向量(时间向量)同时根据预定搜索顺序搜索空间邻近块，并且将在参考图片中空间邻近块的运动向量(时间向量)所指示的位置处的块设置为参考块(即，col块)。
此时，可以通过空间邻近块的参考图片信息、预测模式信息、位置信息等来确定空间邻近块是否可用。例如，如果空间邻近块的参考图片和当前块的参考图片相同，则可以确定所对应的空间邻近块可用。另选地，如果空间邻近块是在帧内预测模式下编码的或者空间邻近块被定位在当前图片/图块外部，则可以确定所对应的空间邻近块不可用。
另外，空间邻近块的搜索顺序可以被不同地定义，并且例如，可以是A1、B1、B0、A0和B2的顺序。另选地，可以通过搜索仅A1来确定A1是否可用。
另选地，作为另一示例，空间邻近块也可以仅包括特定邻近块，并且例如，仅包括当前块的左部邻近块(A1)。在这种情况下，解码设备可以确定空间邻近块(例如，A1)是否可用。例如，如果空间邻近块(例如，A1)的参考图片使用当前块的参考图片(即，col图片)，则可以确定空间邻近块(例如，A1)可用，并且可以导出空间邻近块(例如，A1)的运动向量。此时，空间邻近块(例如，A1)的运动向量可以被称为时间MV(tempMV)，并且运动向量可以被用于运动移位。另选地，如果确定空间邻近块(例如，A1)不可用，则可以将时间MV(即，空间邻近块的运动向量)设置为零向量。换句话说，在这种情况下，可以将运动移位设置为(0,0)。
接下来，解码设备可以基于如此导出的空间邻近块的运动向量来执行运动移位。例如，解码设备可以基于当前块的中心样本的位置来执行到由空间邻近块的运动向量所指示的位置的运动移位。这里，中心样本的位置可以指示定位在当前块的中心处的4个样本当中的右底端部样本的位置。
另外，解码设备可以基于经运动移位的位置来导出参考块。换句话说，解码设备可以导出在参考图片中基于当前块的中心样本的位置运动移位了空间邻近块的运动向量的位置处的参考块。
这里，如上所述，参考图片可以是用于导出sbTMVP候选的col(并置)图片，并且参考块可以是在基于当前块的中心样本的位置运动移位的位置处的col块。此时，参考块可以被称为中心参考块、中心子块等。
解码设备可以基于参考块是否为当前图片参考(CPR)块来确定子块时间运动向量预测器(sbTMVP)候选是否可用(S1410)。解码设备可以确定sbTMVP候选对于作为CPR块的参考块不可用。
这里，CPR块是指在参考当前图片执行预测的模式(CPR模式或IBC模式)下编码的块。例如，解码设备可以基于参考块所参考的第一参考图片是否与参考块被定位在其中的第二参考图片相同来确定参考块是否为CPR块。换句话说，如果第一参考图片和第二参考图片相同，则参考块可以是CPR块。
根据该示例性实施方式，在确定sbTMVP候选是否可用时，如果帧间预测模式未被应用于参考块，或者参考块所参考的第一参考图片和参考块被定位在其中的第二参考图片块相同(即，如果参考块是CPR块)，则解码设备可以确定sbTMVP候选不可用。
另选地，根据该示例性实施方式，在确定sbTMVP候选是否可用时，如果帧间预测模式被应用于参考块，并且参考块所参考的第一参考图片和参考块被定位在其中的第二参考图片不相同(即，如果参考块不是CPR块)，则解码设备可以确定sbTMVP候选是否可用。
解码设备可以在sbTMVP候选可用的情况下基于sbTMVP候选来导出用于当前块的运动信息(S1420)。换句话说，解码设备可以基于sbTMVP候选来导出用于当前块的基于子块的运动信息。
根据该示例性实施方式，解码设备可以基于包括参考块的参考图片中的运动移位来导出当前块中的子块中的每个的参考子块。另外，解码设备可以通过导出参考子块中的每个的运动信息来导出用于当前块的基于子块的运动信息。
例如，当前块可以包括第一至第n子块，并且相应地，参考子块也可以包括第一至第n子块。在这种情况下，解码设备可以基于当前块中包括的第一和第n子块中的每个的中心样本的位置来应用运动移位，并且在经运动移位的位置处导出第一至第n参考子块。解码设备可以从基于运动移位而导出的第一和第n参考子块中的每个导出运动信息。
此时，解码设备可以确定参考子块(例如，第一至第n参考子块)的运动信息是否可用。例如，如果参考子块(例如，第一至第n参考子块)中的特定参考子块的运动信息不可用，则解码设备可以将特定参考子块的运动信息设置为基本运动信息。这里，基本运动信息可以意指默认运动信息，并且可以使用在前述步骤S1400中导出的参考块的运动信息作为基本运动信息。
另外，解码设备可以基于用于当前块的基于子块的运动信息来构造运动信息候选列表。这里，如上所述，运动信息候选列表可以是包括基于仿射模式或sbTMVP模式而导出的仿射合并候选和sbTMVP候选的基于子块的合并候选列表。例如，如果确定sbTMVP候选可用，则可以如上所述导出用于当前块的基于子块的运动信息，并且在这种情况下，可以将sbTMVP候选包括在运动信息候选列表中。另选地，如果确定sbTMVP候选不可用，则可以从运动信息候选列表中排除sbTMVP候选。
解码设备可以基于用于当前块的运动信息来生成预测样本(S1430)。
根据该示例性实施方式，解码设备可以构造包括如此导出的当前块的基于子块的运动信息(即，sbTMVP候选)的运动信息候选列表(例如，基于子块的合并候选列表)，并且获得由编码设备用信号通知的候选索引信息(例如，基于子块的合并候选索引)。解码设备可以在运动信息候选列表(例如，基于子块的合并候选列表)中选择候选索引信息(例如，基于子块的合并候选索引)所指示的候选以导出该候选作为当前块的子块的运动信息。此时，如果通过候选索引信息从运动信息候选列表(例如，基于子块的合并候选列表)中选择了如此导出的当前块的子块的运动信息(即，sbTMVP候选)，则解码设备可以基于如此导出的当前块的子块的运动信息来生成当前块的预测样本。
解码设备可以基于预测样本来生成重构图片(S1440)。
根据该示例性实施方式，解码设备也可以根据预测模式直接使用预测样本作为重构样本，或者也通过将残差样本添加到预测样本来生成重构样本。
解码设备可以在当前块的残差样本存在的情况下接收关于当前块的残差样本的信息。关于残差样本的信息可以包括关于残差样本的变换系数。解码设备可以基于残差信息来导出当前块的残差样本(或残差样本阵列)。解码设备可以基于预测样本和残差样本来生成重构样本，并且基于重构样本来导出重构块或重构图片。
在以上提到的实施方式中，虽然已基于以一系列步骤或单元的形式的流程图描述了这些方法，但是本公开的实施方式不限于这些步骤的顺序，并且这些步骤中的一些可以按与其它步骤的顺序不同的顺序执行或者可以与其它步骤同时地执行。此外，本领域技术人员将理解，用流程图示出的步骤不是排他性的，并且在不影响本公开的权利范围的情况下，这些步骤可以包括附加步骤或者可以删除流程图中的一个或更多个步骤。
根据本公开的上述方法可以用软件形式实现，并且根据本公开的编码设备和/或解码设备可以被包括在例如TV、计算机、智能电话、机顶盒或显示装置的用于执行图像处理的设备中。
在本公开中，当实施方式用软件形式实现时，以上提到的方法可以被实现为用于执行以上提到的功能的模块(程序、函数等)。模块可以被存储在存储器中并且由处理器来执行。存储器可以布置在处理器的内部或外部，并且通过各种公知手段连接到处理器。处理器可以包括专用集成电路(ASIC)、其它芯片集、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、存储卡、存储介质和/或其它存储装置。即，本公开中描述的实施方式可以在处理器、微处理器、控制器或芯片上实现并执行。例如，图中例示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实现并执行。在这种情况下，用于这种实现的信息(例如，关于指令的信息)或算法可以被存储在数字存储介质中。
此外，应用本公开的解码设备和编码设备可以被包括在多媒体广播发送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(VoD)服务提供装置、顶置(OTT)视频装置、互联网流传输服务提供装置、三维(3D)视频装置、虚拟现实(VR)装置、增强型现实(AR)装置、视频电话装置、运输工具终端(例如，车辆(包括自主车辆)终端、飞机终端和轮船终端)和医疗视频装置中，并且可以被用于处理视频信号或数据信号。例如，顶置(OTT)视频装置可以包括游戏控制台、Blue-ray播放器、互联网访问TV、家庭影院***、智能电话、平板PC和数字录像机(DVR)。
此外，应用本公开的处理方法可以以由计算机执行的程序的形式产生，并且可以被存储在计算机可读记录介质中。根据本公开的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括存储有计算机可读数据的所有种类的存储装置。计算机可读记录介质可以包括例如Blue-ray盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。此外，计算机可读记录介质包括以载波的形式(例如，通过互联网进行传输)实现的媒体。此外，使用编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线或无线通信网络传输。
此外，本公开的实施方式可以使用程序代码被实现为计算机程序产品。可以根据本公开的实施方式由计算机执行程序代码。程序代码可以被存储在可供计算机读取的载波上。
图15例示了可以应用本文档中公开的实施方式的内容流传输***的示例。
参照图15，应用本文档的实施方式的内容流媒体***可以基本上包括编码服务器、流传输服务器、网络服务器、媒体存储部、用户装置和多媒体输入装置。
编码服务器将从诸如智能电话、相机、摄像机等这样的多媒体输入装置输入的内容压缩成数字数据以生成比特流，并且将该比特流发送到流传输服务器。作为另一示例，当诸如智能电话、相机、摄像机等这样的多媒体输入装置直接生成比特流时，可以省略编码服务器。
可以通过应用本文件的实施方式的编码方法或比特流生成方法来生成比特流，并且流传输服务器可以在发送或接收比特流的处理中临时存储比特流。
流传输服务器基于用户的请求通过网络服务器将多媒体数据发送到用户装置，并且网络服务器用作将服务告知用户的介质。当用户向网络服务器请求所期望的服务时，网络服务器将其传送到流传输服务器，并且流传输服务器将多媒体数据发送到用户。在这种情况下，内容流传输***可以包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流传输***中的装置之间的命令/响应。
流传输服务器可以从媒体存储器和/或编码服务器接收内容。例如，当从编码服务器接收到内容时，可以实时地接收内容。在这种情况下，为了提供平稳的流传输服务，流传输服务器可以将比特流存储达预定时间。
用户装置的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、触屏PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器)、数字TV、台式计算机、数字标牌等。
内容流传输***中的各个服务器可以作为分布式服务器操作，其中，从各个服务器接收到的数据可以被分发。

Claims (12)

1.一种由解码设备执行的图像解码方法，所述方法包括：
基于运动移位来导出参考块；
基于所述参考块的预测模式，确定用于当前块的基于子块的时间运动向量预测器sbTMVP候选的可用性；
基于所述sbTMVP候选可用的情况，导出用于所述当前块的子块的运动信息；
基于用于所述当前块的所述子块的所述运动信息，生成预测样本；以及
基于所述预测样本来生成重构图片，
其中，导出用于所述当前块的所述子块的所述运动信息包括：
在包括所述参考块的参考图片中，基于所述运动移位来导出用于所述当前块中的所述子块中的每一个的参考子块；以及
基于所述参考子块中的每一个是否可用，导出用于所述当前块中的所述子块中的每一个的所述运动信息，
其中，基于所述参考子块中的每一个的预测模式，确定所述参考子块中的每一个是否可用，以及
其中，基于所述参考子块的每一个的所述预测模式是当前图片参考CPR模式，所述参考子块中的每一个被确定为不可用。
2.根据权利要求1所述的图像解码方法，其中，基于所述参考块的所述预测模式不是帧间预测模式或者所述参考块所参考的第一参考图片和所述参考块被定位在其中的第二参考图片相同的情况，确定所述sbTMVP候选不可用。
3.根据权利要求1所述的图像解码方法，其中，基于所述参考块的所述预测模式是帧间预测模式并且所述参考块所参考的第一参考图片和所述参考块被定位在其中的第二参考图片不相同的情况，确定所述sbTMVP候选可用。
4.根据权利要求1所述的图像解码方法，其中，基于所述参考子块当中的特定参考子块的所述预测模式不是帧间预测模式的情况，确定所述特定参考子块不可用，
其中，在所述当前块中与不可用的特定参考子块相对应的子块的运动信息被导出为基本运动信息。
5.根据权利要求1所述的图像解码方法，还包括：为所述当前块构造运动信息候选列表，
其中，基于所述sbTMVP候选可用的情况，所述sbTMVP候选被包括在所述运动信息候选列表中，以及
其中，基于所述sbTMVP候选不可用的情况，所述sbTMVP候选被从所述运动信息候选列表中排除。
6.根据权利要求1所述的图像解码方法，其中，导出所述参考块包括：
从所述当前块的空间邻近块导出运动向量；
基于所述当前块的中心样本的位置，执行到由所述空间邻近块的所述运动向量所指示的位置的运动移位；以及
基于所述运动移位的位置来导出所述参考块。
7.根据权利要求6所述的图像解码方法，其中，所述空间邻近块是定位在所述当前块的左部的左部邻近块，以及
其中，所述空间邻近块的所述运动向量是基于所述左部邻近块是否可用而从所述左部邻近块导出的运动向量。
8.一种由编码设备执行的图像编码方法，所述方法包括：
基于运动移位来导出参考块；
基于所述参考块的预测模式，确定用于当前块的基于子块的时间运动向量预测器sbTMVP候选的可用性；
基于所述sbTMVP候选可用的情况，导出用于所述当前块的子块的运动信息；
基于所述当前块的所述子块的所述运动信息，生成预测样本；
基于所述预测样本来生成残差样本；以及
对包括关于所述残差样本的信息的图像信息进行编码，
其中，导出用于所述当前块的所述子块的所述运动信息包括：
在包括所述参考块的参考图片中，基于所述运动移位来导出用于所述当前块中的所述子块中的每一个的参考子块；以及
基于所述参考子块中的每一个是否可用，导出用于所述当前块中的所述子块中的每一个的所述运动信息，
其中，基于所述参考子块中的每一个的预测模式，确定所述参考子块中的每一个是否可用，以及
其中，基于所述参考子块的每一个的所述预测模式是当前图片参考CPR模式，所述参考子块中的每一个被确定为不可用。
9.根据权利要求8所述的图像编码方法，其中，基于所述参考块的所述预测模式不是帧间预测模式或者所述参考块所参考的第一参考图片和所述参考块被定位在其中的第二参考图片相同的情况，确定所述sbTMVP候选不可用。
10.根据权利要求8所述的图像编码方法，其中，基于所述参考块的所述预测模式是帧间预测模式并且所述参考块所参考的第一参考图片和所述参考块被定位在其中的第二参考图片不相同的情况，确定所述sbTMVP候选可用。
11.根据权利要求8所述的图像编码方法，
其中，基于所述参考子块当中的特定参考子块的所述预测模式不是帧间预测模式的情况，确定所述特定参考子块不可用，
其中，在所述当前块中与不可用的特定参考子块相对应的子块的运动信息被导出为基本运动信息。
12.一种发送比特流的方法，包括：
基于运动移位来导出参考块；
基于所述参考块的预测模式，确定用于当前块的基于子块的时间运动向量预测器sbTMVP候选的可用性；
基于所述sbTMVP候选可用的情况，导出用于所述当前块的子块的运动信息；
基于所述当前块的所述子块的所述运动信息，生成预测样本；
基于所述预测样本来生成残差样本；
将包括关于所述残差样本的信息的图像信息编码到比特流；以及
发送所述比特流，
其中，导出用于所述当前块的所述子块的所述运动信息包括：
在包括所述参考块的参考图片中，基于所述运动移位来导出用于所述当前块中的所述子块中的每一个的参考子块；以及
基于所述参考子块中的每一个是否可用，导出用于所述当前块中的所述子块中的每一个的所述运动信息，
其中，基于所述参考子块中的每一个的预测模式，确定所述参考子块中的每一个是否可用，以及
其中，基于所述参考子块的每一个的所述预测模式是当前图片参考CPR模式，所述参考子块中的每一个被确定为不可用。
CN202080007626.9A 2019-01-02 2020-01-02 基于sbtmvp的帧间预测方法和设备 Active CN113261294B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962787754P 2019-01-02 2019-01-02
US62/787,754 2019-01-02
PCT/KR2020/000027 WO2020141886A1 (ko) 2019-01-02 2020-01-02 Sbtmvp 기반 인터 예측 방법 및 장치

Publications (2)

Publication Number Publication Date
CN113261294A CN113261294A (zh) 2021-08-13
CN113261294B true CN113261294B (zh) 2024-06-18

Family

ID=71406746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080007626.9A Active CN113261294B (zh) 2019-01-02 2020-01-02 基于sbtmvp的帧间预测方法和设备

Country Status (3)

Country Link
US (2) US11800089B2 (zh)
CN (1) CN113261294B (zh)
WO (1) WO2020141886A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113796071A (zh) * 2019-05-24 2021-12-14 华为技术有限公司 编码器、解码器及用于ibc融合列表的相应方法
BR112022004553A2 (pt) * 2019-09-13 2022-06-07 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamento e meio de gravação não transitórios legíveis por computador
WO2023283244A1 (en) * 2021-07-06 2023-01-12 Beijing Dajia Internet Information Technology Co., Ltd. Improvements on temporal motion vector prediction
WO2024078331A1 (en) * 2022-10-14 2024-04-18 Mediatek Inc. Method and apparatus of subblock-based motion vector prediction with reordering and refinement in video coding

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9420286B2 (en) * 2012-06-15 2016-08-16 Qualcomm Incorporated Temporal motion vector prediction in HEVC and its extensions
US9426465B2 (en) * 2013-08-20 2016-08-23 Qualcomm Incorporated Sub-PU level advanced residual prediction
US9762927B2 (en) * 2013-09-26 2017-09-12 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
JP6616773B2 (ja) * 2014-01-03 2019-12-04 ユニバーシティ−インダストリー コーオペレイション グループ オブ キョンヒ ユニバーシティ サブ予測ユニット単位の時間的な視点間動き情報の誘導方法及び装置
US10412387B2 (en) * 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
JP2017532885A (ja) * 2014-09-26 2017-11-02 ヴィド スケール インコーポレイテッド 時間ブロックベクトル予測を用いたイントラブロックコピー符号化
US11477477B2 (en) * 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
WO2016165069A1 (en) * 2015-04-14 2016-10-20 Mediatek Singapore Pte. Ltd. Advanced temporal motion vector prediction in video coding
CN115086652A (zh) 2015-06-05 2022-09-20 杜比实验室特许公司 图像编码和解码方法和图像解码设备
US10271064B2 (en) * 2015-06-11 2019-04-23 Qualcomm Incorporated Sub-prediction unit motion vector prediction using spatial and/or temporal motion information
KR20170058838A (ko) * 2015-11-19 2017-05-29 한국전자통신연구원 화면간 예측 향상을 위한 부호화/복호화 방법 및 장치
US10834419B2 (en) * 2016-04-13 2020-11-10 Qualcomm Incorporated Conformance constraint for collocated reference index in video coding
US10582209B2 (en) * 2017-03-30 2020-03-03 Mediatek Inc. Sub-prediction unit temporal motion vector prediction (sub-PU TMVP) for video coding
US11012715B2 (en) * 2018-02-08 2021-05-18 Qualcomm Incorporated Intra block copy for video coding
WO2019216325A1 (en) * 2018-05-09 2019-11-14 Sharp Kabushiki Kaisha Systems and methods for performing motion vector prediction using a derived set of motion vectors
CN116980591B (zh) * 2018-08-29 2024-03-15 北京达佳互联信息技术有限公司 视频编码的方法、计算设备和存储介质
CN113647109A (zh) * 2019-02-17 2021-11-12 北京字节跳动网络技术有限公司 帧内块复制（ibc）模式和非ibc帧间模式的运动候选列表构建

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Algorithm description for Versatile Video Coding and Test Model 3 (VTM 3);Jianle Chen;Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Macao, CN, 3–12 Oct. 2018;第27页 *

Also Published As

Publication number Publication date
US20240022713A1 (en) 2024-01-18
US11800089B2 (en) 2023-10-24
CN113261294A (zh) 2021-08-13
WO2020141886A1 (ko) 2020-07-09
US20220060689A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
CN113574891B (zh) 基于dmvr的帧间预测方法和设备
CN113692743B (zh) 基于dmvr的帧间预测方法和设备
CN111247805B (zh) 在图像编码***中基于以子块为单元进行的运动预测的图像解码方法和设备
CN113261294B (zh) 基于sbtmvp的帧间预测方法和设备
CN113273192B (zh) 使用mpm列表的基于帧内预测的视频编码方法及装置
CN112544077A (zh) 用于子块单元中的时间运动信息预测的帧间预测方法及其装置
CN113678454A (zh) 基于bdof的帧间预测方法和设备
JP7432035B2 (ja) 予測サンプルを生成するための加重値インデックス情報を導出する映像デコーディング方法、及びその装置
CN114080812A (zh) 使用sbtmvp的基于帧间预测的图像或视频编译
KR20210158402A (ko) 현재 블록에 대하여 최종적으로 예측 모드를 선택하지 못하는 경우 인터 예측을 수행하는 영상 디코딩 방법 및 그 장치
KR20210153739A (ko) 디폴트 머지 모드에 기반하여 예측 샘플을 도출하는 영상 디코딩 방법 및 그 장치
KR20210153736A (ko) 쌍 예측(bi-prediction)을 위한 가중치 인덱스 정보를 도출하는 영상 디코딩 방법 및 그 장치
KR20230124108A (ko) Atmvp 후보를 기반으로 영상 코딩을 수행하는 장치
KR20210090715A (ko) Tmvp 후보의 가용 여부를 시그널링하는 방법 및 장치
KR20210158401A (ko) 결정된 예측 모드를 적용하여 예측 샘플들을 생성하는 영상 디코딩 방법 및 그 장치
KR20220003117A (ko) 영상 디코딩 방법 및 그 장치
KR20220003116A (ko) 머지 후보를 이용하여 예측 샘플을 도출하는 영상 디코딩 방법 및 그 장치
CN114080809A (zh) 子块单元的基于时间运动矢量预测子候选的图像或视频编译
CN114128289A (zh) 基于sbtmvp的图像或视频编译
CN113491124B (zh) 基于dmvr的帧间预测方法和设备
CN113491124A (zh) 基于dmvr的帧间预测方法和设备
CN114982231A (zh) 图像解码方法及用于其的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant