CN112889289A - 通过使用运动矢量差分值对视频进行编码和解码的方法以及用于对运动信息进行编码和解码的设备 - Google Patents

Abstract

呈现一种视频解码方法，用于生成合并候选列表，其中，合并候选列表包括被参考以便在跳过模式或合并模式下预测当前块的运动矢量的邻近块，当根据在合并候选列表中确定的运动矢量和指示是否使用合并运动矢量差分的合并差分模式信息使用合并运动矢量差分时，根据基于合并候选信息从合并候选列表确定的一个候选来确定基本运动矢量，通过使用基本运动矢量和合并运动矢量差分来确定当前块的运动矢量，其中，合并运动矢量差分已使用当前块的合并运动矢量差分的距离索引和合并运动矢量差分的方向索引被确定；并且通过使用当前块的运动矢量来重建当前块。

Description

通过使用运动矢量差分值对视频进行编码和解码的方法以及 用于对运动信息进行编码和解码的设备

技术领域

本公开涉及对图像进行编码和解码的领域。更具体地，本公开涉及一种用于编码的方法和设备、以及一种用于对用于对图像进行编码和解码的运动矢量进行解码的方法和设备。

背景技术

在对图像进行编码和解码的方法中，可将一个画面划分成多个块，并且可经由帧间预测或帧内预测对每个块进行预测编码以对画面进行编码。

帧间预测的代表性示例是使用通过去除画面之间的时间冗余来压缩图像的方法的运动估计编码。在运动估计编码中，通过使用至少一个参考画面来预测当前画面的块。可通过使用特定评估函数在特定搜索范围中搜索与当前块最相似的参考块。基于参考块来预测当前块，并且通过从当前块减去作为预测的结果生成的预测块来生成残差块，然后对残差块进行编码。这里，为了更准确地执行预测，对参考画面的搜索范围执行插值，以生成小于整数像素单位的子像素单位的像素，并且可基于生成的子像素单位的像素执行帧间预测。

在诸如H.264高级视频编码(AVC)和高效视频编码(HEVC)的编解码器中，与当前块相邻的先前编码的块或者先前编码的画面中包括的块的运动矢量被用作当前块的预测运动矢量，以预测当前块的运动矢量。经由特定方法将作为当前块的运动矢量与预测运动矢量之间的差的差分运动矢量用信号传送给解码器。

发明内容

技术问题

根据实施例的对运动矢量进行编码和解码的方法以及用于对运动矢量进行编码和解码的设备的技术问题涉及有效地预测运动矢量并且对运动矢量进行编码和解码。

问题的解决方案

根据本公开的实施例的一种对运动矢量进行解码的方法可包括：生成包括邻近块的合并候选列表，其中，所述邻近块被参考用于在跳过模式或合并模式下预测当前块的运动矢量；获得指示是否使用合并运动矢量差和从所述合并候选列表确定的运动矢量的合并差模式信息；当根据所述合并差模式信息使用合并运动矢量差时，从比特流获得合并候选信息，并且从基于所述合并候选信息在所述合并候选列表中确定的候选确定基本运动矢量；通过使用所述基本运动矢量和当前块的合并运动矢量差来确定当前块的运动矢量，其中，当前块的合并运动矢量差是通过使用当前块的合并运动矢量差的距离索引和方向索引确定的；并且通过使用当前块的运动矢量来重建当前块。

公开的有益效果

根据实施例的对运动矢量进行编码和解码的方法以及用于对运动信息进行编码和解码的设备可参考邻近块的运动矢量以有效地预测运动矢量，并且有效地提供适合于被参考的邻近块的列表。

然而，由根据实施例的对运动信息进行编码和解码的方法以及用于对运动信息进行编码和解码的设备可实现的效果不限于上述那些，并且本领域普通技术人员可从以下描述中清楚地理解未提及的其他效果。

附图说明

提供每个附图的简要描述以更好地理解本文引用的附图。

图1是根据实施例的图像解码设备的示意性框图。

图2是根据实施例的图像解码方法的流程图。

图3示出根据实施例的由图像解码设备执行的通过对当前编码单元进行划分来确定至少一个编码单元的处理。

图4示出根据实施例的由图像解码设备执行的通过对非正方形编码单元进行划分来确定至少一个编码单元的处理。

图5示出根据实施例的由图像解码设备执行的基于块形状信息和划分形状模式信息中的至少一个来划分编码单元的处理。

图6示出根据实施例的由图像解码设备执行的从奇数个编码单元中确定预定编码单元的方法。

图7示出根据实施例的当图像解码设备通过划分当前编码单元来确定多个编码单元时对所述多个编码单元进行处理的顺序。

图8示出根据实施例的由图像解码设备执行的当编码单元不可按照预定顺序被处理时确定当前编码单元将被划分为奇数个编码单元的处理。

图9示出根据实施例的由图像解码设备执行的通过划分第一编码单元来确定至少一个编码单元的处理。

图10示出根据实施例的当图像解码设备划分第一编码单元时确定的具有非正方形形状的第二编码单元满足预定条件时，第二编码单元可被划分为的形状受到限制。

图11示出根据实施例的由图像解码设备执行的当划分形状模式信息不能指示正方形编码单元被划分为四个正方形编码单元时对正方形编码单元进行划分的处理。

图12示出根据实施例的多个编码单元之间的处理顺序可根据对编码单元进行划分的处理被改变。

图13示出根据实施例的当编码单元被递归地划分使得多个编码单元被确定时，随着编码单元的形状和尺寸改变而确定编码单元的深度的处理。

图14示出根据实施例的可基于编码单元的形状和尺寸确定的深度以及用于区分编码单元的部分索引(PID)。

图15示出根据实施例的基于画面中包括的多个特定数据单元来确定多个编码单元。

图16是图像编码和解码***的框图。

图17是根据实施例的视频解码设备的框图。

图18是根据实施例的视频解码方法的流程图。

图19是根据实施例的视频编码设备的框图。

图20是根据实施例的视频编码方法的流程图。

图21示出根据实施例的运动矢量候选的位置。

图22示出在坐标平面上显示的运动矢量候选。

图23示出根据实施例的合并候选信息、合并差分距离索引和合并差分方向索引的值和含义。

图24示出根据实施例的用于通过使用基本运动矢量和合并运动矢量差来获得运动矢量的等式。

图25示出根据实施例的用于获得合并差模式信息、合并候选信息、合并差分距离索引和合并差分方向索引的语法。

图26示出根据另一实施例的用于获得合并差模式信息、合并候选信息、合并差分距离索引和合并差分方向索引的语法。

图27是根据另一实施例的用于确定合并相关信息的二值化的参考表。

图28是根据另一实施例的用于确定合并相关信息的上下文信息的参考表。

最佳实施例

根据本公开的实施例的一种对运动信息进行解码的方法可包括：生成包括邻近块的合并候选列表，其中，所述邻近块被参考用于在跳过模式或合并模式下预测当前块的运动矢量；获得指示是否使用合并运动矢量差和从所述合并候选列表确定的运动矢量的合并差模式信息；当根据所述合并差模式信息使用合并运动矢量差时，从比特流获得合并候选信息，并且从基于所述合并候选信息在所述合并候选列表中确定的候选确定基本运动矢量；通过使用所述基本运动矢量和当前块的合并运动矢量差来确定当前块的运动矢量，其中，当前块的合并运动矢量差是通过使用当前块的合并运动矢量差的距离索引和方向索引确定的；并且通过使用当前块的运动矢量来重建当前块。

确定当前块的合并运动矢量差可包括：通过使用上下文信息对所述比特流执行熵解码来获得当前块的合并运动矢量差的所述距离索引的第一二进制位；并且通过在旁路模式下对所述比特流执行熵解码来获得当前块的合并运动矢量差的所述距离索引的其余二进制位。

允许根据所述合并候选信息选择的候选的最大数量可小于包括在所述合并候选列表中的候选的最大数量。

作为1比特信息的所述合并候选信息可通过将一条上下文信息应用于所述比特流经由熵解码被获得。

当在合并模式下执行预测时，获得指示所述合并候选列表中的一个候选的一般合并索引所需的上下文信息的条数与获得所述合并候选信息所需的上下文信息的条数可相同。

根据本公开的实施例的一种对运动信息进行解码的设备包括：帧间预测信息获得器，被配置为：获得指示是否使用合并运动矢量差和从当前块的合并候选列表确定的运动矢量的合并差模式信息，当根据所述合并差模式信息使用合并运动矢量差时，从比特流获得合并候选信息；帧间预测执行器，被配置为：生成包括邻近块的所述合并候选列表，其中，所述邻近块被参考用于在跳过模式或合并模式下预测当前块的运动矢量，从基于所述合并候选信息在所述合并候选列表中确定的候选确定基本运动矢量，通过使用当前块的合并运动矢量差的距离索引和方向索引来确定当前块的合并运动矢量差，并且通过使用所述基本运动矢量和当前块的合并运动矢量差来确定当前块的运动矢量；以及重建器，被配置为：通过使用当前块的运动矢量来重建当前块。

帧间预测信息获得器还可被配置为：通过使用上下文信息对所述比特流执行熵解码来获得当前块的合并运动矢量差的所述距离索引的第一二进制位；并且通过在旁路模式下对所述比特流执行熵解码来获得当前块的合并运动矢量差的所述距离索引的其余二进制位。

允许根据所述合并候选信息选择的候选的最大数量可小于包括在所述合并候选列表中的候选的最大数量。

帧间预测信息获得器还可被配置为通过将一条上下文信息应用于所述比特流经由熵解码来获得作为1比特信息的所述合并候选信息。

当在合并模式下执行预测时，获得指示所述合并候选列表中的一个候选的一般合并索引所需的上下文信息的条数与获得所述合并候选信息所需的上下文信息的条数可相同。

根据本公开的实施例的一种视频编码方法包括：当在跳过模式和合并模式之一下对当前块执行帧间预测时，生成包括被参考用于预测当前块的运动矢量的邻近块的合并候选列表；生成指示是否使用合并运动矢量差和从所述合并候选列表确定的基本运动矢量的合并差模式信息；当使用合并运动矢量差时，生成指示所述合并候选列表中的一个基本运动矢量的合并候选信息；生成与所述基本运动矢量和当前块的运动矢量之间的差相应的合并运动矢量差的距离索引以及合并运动矢量差的方向索引。

生成合并运动矢量差的距离索引和方向索引可包括：使用上下文信息对合并运动矢量差的所述距离索引的第一二进制位执行熵编码；并且在旁路模式下对合并运动矢量差的所述距离索引的其余二进制位执行熵编码。

根据本公开的实施例的一种视频编码设备包括：帧间预测执行器，被配置为：通过对当前块执行帧间预测来确定当前块的运动矢量，当在跳过模式和合并模式之一下对当前块执行帧间预测时，生成包括被参考用于预测当前块的运动矢量的邻近块的合并候选列表；以及帧间预测信息生成器，被配置为：生成指示是否使用合并运动矢量差和从当前块的所述合并候选列表确定的基本运动矢量的合并差模式信息，当使用合并运动矢量差时，生成指示所述合并候选列表中的基本运动矢量的合并候选信息，并且生成与所述基本运动矢量和当前块的运动矢量之间的差相应的合并运动矢量差的距离索引和方向索引。

帧间预测信息生成器还可被配置为：使用上下文信息对合并运动矢量差的所述距离索引的第一二进制位执行熵编码；并且在旁路模式下对合并运动矢量差的所述距离索引的其余二进制位执行熵编码。

一种计算机可读记录介质，其上记录有用于在计算机上实现根据本公开的实施例的视频解码方法的程序。

一种计算机可读记录介质，其上记录有用于在计算机上实现根据本公开的实施例的视频编码方法的程序。

具体实施方式

由于本公开允许各种改变和多种示例，所以在附图中将示出特定实施例并且在书面描述中将详细描述特定实施例。然而，这并不旨在将本公开限制为特定的实践模式，并且将被理解，不脱离本公开的精神和技术范围的所有改变、等同形式和替换形式被包含在本公开中。

在实施例的描述中，当认为现有技术的特定详细解释可能不必要地使本公开的要点模糊时，省略这些特定详细解释。此外，在说明书的描述中使用的数字(例如，第一、第二等)仅是用于将一个元件与另一个元件区分开的标识码。

此外，在本说明书中，将被理解，当元件彼此“连接”或“耦合”时，除非另外特别说明，否则元件可彼此直接连接或耦合，但可选地可在它们之间***中间组件的情况下彼此直接连接或耦合。

在本说明书中，关于被表示为“单元”或“模块”的元件，根据子划分功能可将两个或更多个元件组合成一个元件，或者可将一个元件划分成两个或更多个元件。此外，在下文中描述的每个元件除了执行自己的主要功能之外还可另外执行由另一元件执行的功能中的一些或全部功能，并且每个元件的主要功能中的一些主要功能可由另一组件全部执行。

此外，本说明书中，“图像”或“画面”可表示视频的静止图像或者指运动图像，即视频本身。

此外，本说明书中，“样点”表示被分配到图像的样点位置的数据，即将被处理的数据。例如，空间域中的图像的像素值或变换域上的变换系数可以是样点。包括至少一个这样样点的单元可被定义为块。

此外，本说明书中，“当前块”可表示当前图像的将被编码或解码的最大编码单元、编码单元、预测单元或变换单元的块。

在本说明书中，列表0方向上的运动矢量可表示用于指示列表0中包括的参考画面中的块的运动矢量，并且列表1方向上的运动矢量可表示用于指示列表1中包括的参考画面中的块的运动矢量。此外，单向上的运动矢量可表示用于指示列表0或列表1中包括的参考画面中的块的运动矢量，并且双向上的运动矢量可表示运动矢量包括列表0方向上的运动矢量和列表1方向上的运动矢量。

在下文中，将参照图1至图16描述根据实施例的图像编码设备和图像解码设备以及图像编码方法和图像解码方法。将参照图3至图16描述根据实施例的确定图像的数据单元的方法，并且将参照图17至图28描述根据实施例的通过使用概率运动表示方法来扩展帧间预测方法的视频编码/解码方法。

在下文中，将参照图1和图2描述根据本公开的实施例的用于基于各种形状的编码单元的自适应选择的方法和设备。

图1是根据实施例的图像解码设备的示意性框图。

图像解码设备100可包括接收器110和解码器120。接收器110和解码器120可包括至少一个处理器。此外，接收器110和解码器120可包括存储将由至少一个处理器执行的指令的存储器。

接收器110可接收比特流。比特流包括由稍后描述的图像编码设备1700编码的图像的信息。此外，可从图像编码设备1700发送比特流。图像编码设备1700和图像解码设备100可经由有线或无线连接，并且接收器110可经由有线或无线接收比特流。接收器110可从诸如光学介质或硬盘的存储介质接收比特流。解码器120可基于从接收的比特流获得的信息来重建图像。解码器120可从比特流获得用于重建图像的语法元素。解码器120可基于语法元素重建图像。

将参照图2详细描述图像解码设备100的操作。

图2是根据实施例的图像解码方法的流程图。

根据本公开的实施例，接收器110接收比特流。

图像解码设备100从比特流获得与编码单元的划分形状模式对应的二进制位字符串(操作210)。图像解码设备100确定编码单元的划分规则(操作220)。此外，图像解码设备100基于与划分形状模式对应的二进制位字符串和划分规则中的至少一个将编码单元划分为多个编码单元(操作230)。图像解码设备100可根据编码单元的宽度和高度的比率来确定编码单元的尺寸的可允许的第一范围，以便确定划分规则。图像解码设备100可根据编码单元的划分形状模式确定编码单元的尺寸的可允许的第二范围，以便确定划分规则。

在下文中，将根据本公开的实施例详细描述编码单元的划分。

首先，一个画面可被划分成一个或更多个条带或一个或更多个并行块。一个条带或一个并行块可以是一个或更多个最大编码单元(编码树单元(CTU))的序列。在概念上，相对于最大编码单元(CTU)，存在最大编码块(编码树块(CTB))。

最大编码块(CTB)表示包含N×N个样点的N×N块(N是整数)。每个颜色分量可被划分为一个或更多个最大编码块。

当画面包括三个样点阵列(针对Y分量、Cr分量和Cb分量的样点阵列)时，最大编码单元(CTU)包含亮度样点的最大编码块、色度样点的两个对应的最大编码块以及用于对亮度样点和色度样点进行编码的语法结构。当画面为单色画面时，最大编码单元包括单色样点的最大编码块以及用于对单色样点进行编码的语法结构。当画面是在根据颜色分量分离出的颜色平面中被编码的画面时，最大编码单元包括用于对画面和画面的样点进行编码的语法结构。

一个最大编码块(CTB)可被划分为包括M×N个样点的M×N个编码块(M和N为整数)。

当画面具有针对Y分量、Cr分量和Cb分量的样点阵列时，编码单元(CU)包括亮度样点的编码块、色度样点的两个对应编码块以及用于对亮度样点和色度样点进行编码的语法结构。当画面是单色画面时，编码单元包括单色样点的编码块和用于对单色样点进行编码的语法结构。当画面是在根据颜色分量分离出的颜色平面中被编码的画面时，编码单元包括用于对画面和画面的样点进行编码的语法结构。

如上所述，最大编码块和最大编码单元在概念上彼此区分开，并且编码块和编码单元在概念上彼此区分开。也就是说，(最大)编码单元是指包括包含相应样点的(最大)编码块和对应于(最大)编码块的语法结构的数据结构。然而，因为本领域普通技术人员理解，(最大)编码单元或(最大)编码块是指包括特定数量的样点的特定尺寸的块，所以除非另有说明，否则在以下说明书中提及最大编码块和最大编码单元或者编码块和编码单元而不进行区分。

图像可被划分为最大编码单元(CTU)。可基于从比特流获得的信息来确定每个最大编码单元的尺寸。每个最大编码单元的形状可以是相同尺寸的正方形形状。然而，本公开不限于此。

例如，可从比特流获得关于亮度编码块的最大尺寸的信息。例如，由关于亮度编码块的最大尺寸的信息指示的亮度编码块的最大尺寸可以是4×4、8×8、16×16、32×32、64×64、128×128和256×256中的一个。

例如，可从比特流获得关于亮度块尺寸差和可被一分为二的亮度编码块的最大尺寸的信息。关于亮度块尺寸差的信息可指亮度最大编码单元与可被一分为二的最大亮度编码块之间的尺寸差。因此，当从比特流获得的关于可被一分为二的亮度编码块的最大尺寸的信息和关于亮度块尺寸差的信息彼此组合时，可确定亮度最大编码单元的尺寸。色度最大编码单元的尺寸可通过使用亮度最大编码单元的尺寸来确定。例如，当Y：Cb：Cr比率根据颜色格式为4：2：0时，色度块的尺寸可以是亮度块的尺寸的一半，且色度最大编码单元的尺寸可以是亮度最大编码单元的尺寸的一半。

根据实施例，因为从比特流获得关于可二划分的亮度编码块的最大尺寸的信息，所以可以可变地确定可二划分的亮度编码块的最大尺寸。相反，可三划分的亮度编码块的最大尺寸可以是固定的。例如，在I画面中可三划分的亮度编码块的最大尺寸可以是32×32，并且在P画面或B画面中可三划分的亮度编码块的最大尺寸可以是64×64。

此外，可基于从比特流获得的划分形状模式信息将最大编码单元分层划分为编码单元。可从比特流获得指示是否执行四划分的信息、指示是否执行多划分的信息、划分方向信息或划分类型信息中的至少一个，作为划分形状模式信息。

例如，指示是否执行四划分的信息可指示当前编码单元是否被四划分(QUAD_SPLIT)。

在当前编码单元不被四划分时，指示是否执行多划分的信息可指示当前编码单元是不再被划分(NO_SPLIT)还是被二划分/三划分。

在当前编码单元被二划分或三划分时，划分方向信息指示当前编码单元在水平方向和垂直方向之一上被划分。

在当前编码单元在水平方向或垂直方向上被划分时，划分类型信息指示当前编码单元是二划分或三划分。

可根据划分方向信息和划分类型信息来确定当前编码单元的划分模式。当前编码单元在水平方向上被二划分时的划分模式可被确定为水平二划分模式(SPLIT_BT_HOR)，当前编码单元在水平方向上被三划分时的划分模式可被确定为水平三划分模式(SPLIT_TT_HOR)，当前编码单元在垂直方向上被二划分时的划分模式可被确定为垂直二划分模式(SPLIT_BT_VER)，并且当前编码单元在垂直方向上被三划分时的划分模式可被确定为垂直三划分模式(SPLIT_BT_VER)。

图像解码设备100可从比特流获得来自一个二进制位字符串的划分形状模式信息。由图像解码设备100接收的比特流的形式可包括固定长度二进制码、一元码、截断一元码、预定二进制码等。二进制位(bin)字符串是呈二进制数的信息。bin字符串可包括至少一个比特。图像解码设备100可基于划分规则获得与bin字符串对应的划分形状模式信息。图像解码设备100可基于一个bin字符串来确定是否对编码单元进行四划分、是否不对编码单元进行划分、划分方向和划分类型。

编码单元可小于或等于最大编码单元。例如，因为最大编码单元是具有最大尺寸的编码单元，所以最大编码单元是编码单元之一。当关于最大编码单元的划分形状模式信息指示不执行划分时，在最大编码单元中确定的编码单元具有与最大编码单元相同的尺寸。当关于最大编码单元的划分形状模式信息指示执行划分时，可将最大编码单元划分为多个编码单元。此外，当关于编码单元的划分形状模式信息指示执行划分时，编码单元可被划分为更小的编码单元。然而，图像的划分不限于此，并且可以不区分最大编码单元和编码单元。将参考图3至图16详细描述编码单元的划分。

此外，可从编码单元确定用于预测的一个或更多个预测块。预测块可与编码单元相同或比编码单元小。此外，可从编码单元确定用于变换的一个或更多个变换块。变换块可与编码单元相同或比编码单元小。

变换块和预测块的形状和尺寸可彼此不相关。

在另一实施例中，可通过使用编码单元作为预测单元来执行预测。此外，可通过使用编码单元作为变换块来执行变换。

将参考图3至图16详细描述编码单元的划分。本公开的当前块和邻近块可指示最大编码单元、编码单元、预测块和变换块中的一个。此外，当前编码单元的当前块是当前正在被解码或编码的块或当前正在被划分的块。邻近块可以是在当前块之前重建的块。邻近块可在空间上或时间上与当前块相邻。邻近块可位于当前块的左下方、左侧、左上方、顶部、右上方、右侧、右下方中的一个。

图3示出根据实施例的由图像解码设备执行的通过划分当前编码单元来确定至少一个编码单元的处理。

块形状可包括4N×4N、4N×2N、2N×4N、4N×N、N×4N、32N×N、N×32N、16N×N、N×16N、8N×N或N×8N。这里，N可以是正整数。块形状信息是指示编码单元的形状、方向、宽高比或尺寸中的至少一个的信息。

编码单元的形状可包括正方形和非正方形。当编码单元的宽度和高度的长度相同时(即，当编码单元的块形状为4N×4N时)，图像解码设备100可将编码单元的块形状信息确定为正方形。图像解码设备100可将编码单元的形状确定为非正方形。

当编码单元的宽度和高度彼此不同时(即，当编码单元的块形状为4N×2N、2N×4N、4N×N、N×4N、32N×N、N×32N、16N×N、N×16N、8N×N或N×8N时)，图像解码设备100可将编码单元的块形状信息确定为非正方形形状。当编码单元的形状是非正方形时，图像解码设备100可将编码单元的块形状信息中的宽高比确定为1:2、2:1、1:4、4:1、1:8、、8:1,1:16、16:1、1:32或32:1中的至少一个。此外，图像解码设备100可基于编码单元的宽度的长度和高度的长度来确定编码单元是沿水平方向还是沿垂直方向。此外，图像解码设备100可基于编码单元的宽度的长度、高度的长度或面积中的至少一个来确定编码单元的尺寸。

根据本公开的实施例，图像解码设备100可通过使用块形状信息来确定编码单元的形状，并且可通过使用划分形状模式信息来确定编码单元的划分方法。也就是说，可根据由图像解码设备100使用的块形状信息指示的块形状来确定由划分形状模式信息指示的编码单元划分方法。

图像解码设备100可从比特流获得划分形状模式信息。然而，实施例不限于此，并且图像解码设备100和图像编码设备1700可基于块形状信息来确定预先约定的划分形状模式信息。图像解码设备100可确定针对最大编码单元或最小编码单元的预先约定的划分形状模式信息。例如，图像解码设备100可将针对最大编码单元的划分形状模式信息确定为是四划分。此外，图像解码设备100可将关于最小编码单元的划分形状模式信息确定为“不执行划分”。具体地，图像解码设备100可将最大编码单元的尺寸确定为256×256。图像解码设备100可将预先约定的划分形状模式信息确定为四划分。四划分是编码单元的宽度和高度均被一分为二的划分形状模式。图像解码设备100可基于划分形状模式信息从尺寸为256×256的最大编码单元获得尺寸为128×128的编码单元。此外，图像解码设备100可将最小编码单元的尺寸确定为4×4。图像解码设备100可获得针对最小编码单元的指示“不执行划分”的划分形状模式信息。

根据本公开的实施例，图像解码设备100可使用指示当前编码单元具有正方形形状的块形状信息。例如，图像解码设备100可基于划分形状模式信息来确定是否不对正方形编码单元进行划分、是否对正方形编码单元进行垂直划分、是否对正方形编码单元进行水平划分、或者是否将正方形编码单元划分为四个编码单元。参照图3，当当前编码单元300的块形状信息指示正方形形状时，解码器120可基于指示不执行划分的划分形状模式信息来确定不对与当前编码单元300具有相同尺寸的编码单元310a进行划分，或者可确定基于指示特定划分方法的划分形状模式信息而划分出的编码单元310b、310c、310d、310e或310f。

参照图3，根据本公开的实施例，图像解码设备100可基于指示在垂直方向执行划分的划分形状模式信息来确定通过在垂直方向上划分当前编码单元300而获得的两个编码单元310b。图像解码设备100可基于指示在水平方向上执行划分的划分形状模式信息来确定通过在水平方向上划分当前编码单元300而获得的两个编码单元310c。图像解码设备100可基于指示在垂直方向和水平方向上执行划分的划分形状模式信息来确定通过在垂直方向和水平方向上划分当前编码单元300而获得的四个编码单元310d。根据实施例，图像解码设备100可基于指示在垂直方向上执行三划分的划分形状模式信息来确定通过在垂直方向上划分当前编码单元300而获得的三个编码单元310e。图像解码设备100可基于指示在水平方向上执行三划分的划分形状模式信息来确定通过在水平方向上划分当前编码单元300而获得的三个编码单元310f。然而，正方形编码单元的划分方法不限于上述方法，并且划分形状模式信息可指示各种方法。下面将与本公开的各种实施例有关地详细描述对正方形编码单元进行划分的特定划分方法。

图4示出根据实施例的由图像解码设备执行的通过对非正方形编码单元进行划分来确定至少一个编码单元的处理。

根据实施例，图像解码设备100可使用指示当前编码单元具有非正方形形状的块形状信息。图像解码设备100可基于划分形状模式信息来确定是否不对非正方形当前编码单元进行划分或者是否通过使用特定划分方法来对非正方形当前编码单元进行划分。参照图4，当当前编码单元400或450的块形状信息指示非正方形形状时，图像解码设备100可基于指示不执行划分的划分形状模式信息来确定不对与当前编码单元400或450具有相同的尺寸的编码单元410或460进行划分，或者确定基于指示特定划分方法的划分形状模式信息而划分出的编码单元420a和420b、430a至430c、470a和470b或者480a至480c。下面将与各种实施例有关地详细描述对非正方形编码单元进行划分的特定划分方法。

根据实施例，图像解码设备100可通过使用划分形状模式信息来确定编码单元的划分方法，并且在这种情况下，划分形状模式信息可指示通过划分编码单元而生成的一个或更多个编码单元的数量。参照图4，当划分形状模式信息指示将当前编码单元400或450划分为两个编码单元时，图像解码设备100可通过基于划分形状模式信息对当前编码单元400或450进行划分来确定当前编码单元400或450中包括的两个编码单元420a和420b或者470a和470b。

根据实施例，当图像解码设备100基于划分形状模式信息来对非正方形当前编码单元400或450进行划分时，图像解码设备100可考虑非正方形当前编码单元400或450的长边的位置来对当前编码单元进行划分。例如，图像解码设备100可考虑到当前编码单元400或450的形状，通过对当前编码单元400或450的长边进行划分来确定多个编码单元。

根据实施例，当划分形状模式信息指示将编码单元划分(三划分)为奇数个块时，图像解码设备100可确定当前编码单元400或450中包括的奇数个编码单元。例如，当划分形状模式信息指示将当前编码单元400或450划分为三个编码单元时，图像解码设备100可将当前编码单元400或450划分为三个编码单元430a、430b和430c或者480a、480b和480c。

根据本公开的实施例，当前编码单元400或450的宽度和高度的比率可以是4:1或1:4。当宽度和高度的比率是4:1时，由于宽度的长度长于高度的长度，因此块形状信息可以是水平方向。当宽度和高度的比率是1:4时，由于宽度的长度短于高度的长度，因此块形状信息可以是垂直方向。图像解码设备100可基于划分形状模式信息来确定将当前编码单元划分为奇数个块。此外，图像解码设备100可基于当前编码单元400或450的块形状信息来确定当前编码单元400或450的划分方向。例如，当当前编码单元400沿垂直方向时，图像解码设备100可通过在水平方向上划分当前编码单元400来确定编码单元430a至430c。此外，当当前编码单元450沿水平方向时，图像解码设备100可通过在垂直方向上划分当前编码单元450来确定编码单元480a至480c。

根据本公开的实施例，图像解码设备100可确定当前编码单元400或450中包括的奇数个编码单元，并且不是确定的全部编码单元的尺寸可具有相同的尺寸。例如，所确定的奇数个编码单元430a、430b和430c或者480a、480b和480c中的特定编码单元430b或480b可具有与其他编码单元430a和430c或者480a和480c的尺寸不同的尺寸。也就是说，可通过划分当前编码单元400或450而确定的编码单元可具有多个尺寸，并且在一些情况下，全部奇数个编码单元430a、430b和430c或者480a、480b和480c可具有不同的尺寸。

根据实施例，当划分形状模式信息指示将编码单元划分为奇数个块时，图像解码设备100可确定当前编码单元400或450中包括的奇数个编码单元，并且此外可对通过划分当前编码单元400或450而生成的奇数个编码单元中的至少一个编码单元施加特定限制。参照图4，图像解码设备100可将关于在当前编码单元400或450被划分时生成的三个编码单元430a、430b和430c或者480a、480b和480c中位于中心的编码单元430b或480b的解码处理设置为与其他编码单元430a和430c或者480a或480c的解码处理不同。。例如，与其他编码单元430a和430c或者480a和480c不同，图像解码设备100可限制中心位置处的编码单元430b或480b不再被划分或仅被划分预设次数。

图5示出根据实施例的由图像解码设备执行的基于块形状信息和划分形状模式信息中的至少一个来划分编码单元的处理。

根据实施例，图像解码设备100可基于块形状信息或划分形状模式信息中的至少一个，确定将正方形的第一编码单元500划分为编码单元或不对正方形的第一编码单元500进行划分。根据实施例，当划分形状模式信息指示在水平方向上划分第一编码单元500时，图像解码设备100可通过在水平方向上划分第一编码单元500来确定第二编码单元510。根据本公开的实施例使用的第一编码单元、第二编码单元和第三编码单元是用于理解在划分编码单元之前和在划分编码单元之后的关系的术语。例如，可通过划分第一编码单元来确定第二编码单元，并且可通过划分第二编码单元来确定第三编码单元。将理解，第一编码单元、第二编码单元和第三编码单元的结构遵循以上描述。

根据实施例，图像解码设备100可基于划分形状模式信息确定将确定的第二编码单元510划分为编码单元或者不对确定的第二编码单元510进行划分。参照图5，图像解码设备100可以或者可不基于划分形状模式信息将通过划分第一编码单元500而确定的非正方形的第二编码单元510划分为一个或更多个第三编码单元520a或者520b、520c和520d。图像解码设备100可获得划分形状模式信息，并且可通过基于获得的划分形状模式信息划分第一编码单元500来确定多个各种形状的第二编码单元(例如，第二编码单元510)，并且可基于划分形状模式信息通过使用第一编码单元500的划分方法来划分第二编码单元510。根据实施例，当基于第一编码单元500的划分形状模式信息将第一编码单元500划分为第二编码单元510时，也可基于第二编码单元510的划分形状模式信息将第二编码单元510划分为第三编码单元520a或者520b、520c和520d。也就是说，可基于每个编码单元的划分形状模式信息来递归地划分编码单元。因此，可通过划分非正方形编码单元来确定正方形编码单元，并且可通过递归地划分正方形编码单元来确定非正方形编码单元。

参照图5，可递归地划分通过划分非正方形第二编码单元510而确定的奇数个第三编码单元520b、520c和520d中的特定编码单元(例如，中心位置处的编码单元或正方形编码单元)。根据实施例，奇数个第三编码单元520b、520c和520d中的正方形第三编码单元520c可在水平方向上被划分为多个第四编码单元。多个第四编码单元530a、530b、530c和530d中的非正方形的第四编码单元530b或530d可再次被划分为多个编码单元。例如，非正方形的第四编码单元530b或530d可再次被划分为奇数个编码单元。下面将与各种实施例有关地描述可用于递归地划分编码单元的方法。

根据实施例，图像解码设备100可基于划分形状模式信息将第三编码单元520a或者520b、520c和520d中的每一个划分为编码单元。此外，图像解码设备100可基于划分形状模式信息确定不对第二编码单元510进行划分。根据实施例，图像解码设备100可将非正方形的第二编码单元510划分为奇数个第三编码单元520b、520c和520d。图像解码设备100可对奇数个第三编码单元520b、520c和520d中的特定第三编码单元施加特定限制。例如，图像解码设备100可限制奇数个第三编码单元520b、520c和520d中的中心位置处的第三编码单元520c不再被划分或被划分可设置的次数。

参照图5，图像解码设备100可将非正方形的第二编码单元510中所包括的奇数个第三编码单元520b、520c和520d中的中心位置处的第三编码单元520c限制为不再被划分、限制为通过使用特定划分方法被划分(例如，仅被划分为四个编码单元或通过使用第二编码单元510的划分方法被划分)或者限制为仅被划分特定次数(例如，仅被划分n次(其中，n>0))。然而，对中心位置处的第三编码单元520c的限制不限于上述示例，并且可包括用于与其他第三编码单元520b和520d不同地对中心位置处的第三编码单元520c进行解码的各种限制。

根据本公开的实施例，图像解码设备100可从当前编码单元中的特定位置获得用于对当前编码单元进行划分的划分形状模式信息。

图6示出根据实施例的由图像解码设备执行的从奇数个编码单元中确定预定编码单元的方法。

参照图6，可从当前编码单元600或650中包括的多个样点中的特定位置的样点(例如，中心位置的样点640或690)获得当前编码单元600或650的划分形状模式信息。然而，当前编码单元600中的可获得至少一条划分形状模式信息的特定位置不限于图6中的中心位置，并且可包括当前编码单元600中包括的各种位置(例如，上方、下方、左侧、右侧、左上方、左下方、右上方和右下方位置)。图像解码设备100可从特定位置获得划分形状模式信息，并且可确定将当前编码单元划分为各种形状和各种尺寸的编码单元或者不对当前编码单元进行划分。

根据实施例，在当前编码单元被划分为特定数量的编码单元时，图像解码设备100可选择编码单元中的一个编码单元。如下面将与各种实施例有关地描述的，可使用各种方法来选择多个编码单元中的一个编码单元。

根据实施例，图像解码设备100可将当前编码单元划分为多个编码单元，并且可确定特定位置处的编码单元。

根据实施例，图像解码设备100可使用指示奇数个编码单元的位置的信息来确定奇数个编码单元中的中心位置处的编码单元。参照图6，图像解码设备100可通过划分当前编码单元600或当前编码单元650来确定奇数个编码单元620a、620b和620c或奇数个编码单元660a、660b和660c。图像解码设备100可通过使用关于奇数个编码单元620a、620b和620c或奇数个编码单元660a、660b和660c的位置的信息来确定中间编码单元620b或中间编码单元660b。例如，图像解码设备100可通过基于指示编码单元620a、620b和620c中包括的特定样点的位置的信息确定编码单元620a、620b和620c的位置来确定中心位置的编码单元620b。详细地，图像解码设备100可通过基于指示编码单元620a、620b和620c的左上样点630a、630b和630c的位置的信息确定编码单元620a、620b和620c的位置来确定中心位置处的编码单元620b。

根据实施例，指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括关于编码单元620a、620b和620c在画面中的位置或坐标的信息。根据实施例，指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括指示当前编码单元600中包括的编码单元620a、620b和620c的宽度或高度的信息，并且所述宽度或高度可与指示编码单元620a、620b和620c在画面中的坐标之间的差的信息对应。也就是说，图像解码设备100可通过直接使用关于编码单元620a、620b和620c在画面中的位置或坐标的信息或者通过使用关于编码单元的与坐标之间的差值对应的宽度或高度的信息来确定中心位置处的编码单元620b。

根据实施例，指示上方编码单元620a的左上样点630a的位置的信息可包括坐标(xa,ya)，指示中间编码单元620b的左上样点630b的位置的信息可包括坐标(xb,yb)，指示下方编码单元620c的左上样点630c的位置的信息可包括坐标(xc,yc)。图像解码设备100可通过使用分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的坐标来确定中间编码单元620b。例如，当左上样点630a、630b和630c的坐标按照升序或降序被排序时，可将包括中心位置处的样点630b的坐标(xb,yb)的编码单元620b确定为通过划分当前编码单元600确定的编码单元620a、620b和620c中的中心位置处的编码单元。然而，指示左上样点630a、630b和630c的位置的坐标可包括指示画面中的绝对位置的坐标，或者可使用指示中间编码单元620b的左上样点630b相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxb,dyb)和指示下方编码单元620c的左上样点630c相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxc,dyc)。通过将包括在编码单元中的样点的坐标用作指示样点的位置的信息来确定特定位置处的编码单元的方法不限于上述方法，并且可包括能够使用样点的坐标的各种算术方法。

根据实施例，图像解码设备100可将当前编码单元600划分为多个编码单元620a、620b和620c，并且可基于特定标准选择编码单元620a、620b和620c中的一个编码单元。例如，图像解码设备100可从编码单元620a、620b和620c中选择尺寸与其他编码单元的尺寸不同的编码单元620b。

根据实施例，图像解码设备100可通过使用作为指示上方编码单元620a的左上样点630a的位置的信息的坐标(xa,ya)、作为指示中间编码单元620b的左上样点630b的位置的信息的坐标(xb,yb)和作为指示下方编码单元620c的左上样点630c的位置的信息的坐标(xc,yc)来确定编码单元620a、620b和620c中的每个的的宽度或高度。图像解码设备100可通过使用指示编码单元620a、620b和620c的位置的坐标(xa,ya)、(xb,yb)和(xc，yc)来确定编码单元620a、620b和620c各自的尺寸。根据实施例，图像解码设备100可将上方编码单元620a的宽度确定为当前编码单元600的宽度。图像解码设备100可将上方编码单元620b的高度确定为yb-ya。根据实施例，图像解码设备100可通过使用当前编码单元600的宽度或高度或者上方编码单元620a和中间编码单元620b的宽度或高度来确定下方编码单元620c的宽度或高度。图像解码设备100可基于所确定的编码单元620a至620c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图6，图像解码设备100可将具有与上方编码单元620a和下方编码单元620c的尺寸不同的尺寸的中间编码单元620b确定为特定位置的编码单元。然而，由图像解码设备100执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的上述方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定特定位置处的编码单元的示例对应，并且因此，可使用通过对基于特定样点的坐标确定的编码单元的尺寸进行比较来确定特定位置处的编码单元的各种方法。

图像解码设备100可通过使用作为指示左侧编码单元660a的左上样点670a的位置的信息的坐标(xd,yd)、作为指示中间编码单元660b的左上样点670b的位置的信息的坐标(xe,ye)以及作为指示右侧编码单元660c的左上样点670c的位置的信息的坐标(xf,yf)来确定编码单元660a、660b和660c中的每个的宽度或高度。图像解码设备100可通过使用指示编码单元660a、660b和660c的位置的坐标(xd,yd)、(xe,ye)和(xf,yf)来确定编码单元660a、660b和660c的各自的尺寸。

根据实施例，图像解码设备100可将左侧编码单元660a的宽度确定为xe-xd。图像解码设备100可将左侧编码单元660a的高度确定为当前编码单元650的高度。根据实施例，图像解码设备100可将中间编码单元660b的宽度确定为xf-xe。图像解码设备100可将中间编码单元660b的高度确定为当前编码单元650的高度。根据实施例，图像解码设备100可通过使用当前编码单元650的宽度或高度、或者左侧编码单元660a和中间编码单元660b的宽度或高度来确定右侧编码单元660c的宽度或高度。图像解码设备100可基于所确定的编码单元660a至660c的宽度和高度来确定尺寸与其他编码单元的尺寸不同的编码单元。参照图6，图像解码设备100可将尺寸与左侧编码单元660a和右侧编码单元660c的尺寸不同的中间编码单元660b确定为特定位置的编码单元。然而，由图像解码设备执行的确定尺寸与其他编码单元的尺寸不同的编码单元的上述方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定特定位置处的编码单元的示例对应，并且因此，可使用通过对基于特定样点的坐标确定的编码单元的尺寸进行比较来确定特定位置处的编码单元的各种方法。

然而，确定编码单元的位置所考虑的样点的位置不限于上述的左上位置，并且可使用关于包括在编码单元中的样点的任意位置的信息。

根据实施例，图像解码设备100可考虑当前编码单元的形状，从通过划分当前编码单元确定的奇数个编码单元中选择特定位置处的编码单元。例如，在当前编码单元具有宽度大于高度的非正方形形状时，图像解码设备100可确定沿水平方向的特定位置处的编码单元。也就是说，图像解码设备100可确定沿水平方向的不同位置处的编码单元中的一个编码单元并对该编码单元施加限制。在当前编码单元具有高度大于宽度的非正方形形状时，图像解码设备100可确定沿垂直方向的特定位置处的编码单元。也就是说，图像解码设备100可确定沿垂直方向的不同位置处的编码单元中的一个编码单元，并且可对该编码单元施加限制。

根据实施例，图像解码设备100可使用指示偶数个编码单元的各个位置的信息，以确定偶数个编码单元中的特定位置处的编码单元。图像解码设备100可通过划分(二划分)当前编码单元来确定偶数个编码单元，并且可通过使用关于偶数个编码单元的位置的信息来确定特定位置处的编码单元。与其相关的操作可与已经在上面与图6有关地详细描述的确定奇数个编码单元中的特定位置(例如，中心位置)处的编码单元的操作对应，并且因此这里不提供其详细描述。

根据实施例，当将非正方形的当前编码单元划分为多个编码单元时，可在划分操作中使用关于特定位置处的编码单元的特定信息来确定多个编码单元中的特定位置处的编码单元。例如，图像解码设备100可在划分操作中使用中间编码单元中包括的样点中所存储的块形状信息或划分形状模式信息中的至少一个来确定通过划分当前编码单元所确定的多个编码单元中的中心位置处的编码单元。

参照图6，图像解码设备100可基于划分形状模式信息将当前编码单元600划分为多个编码单元620a、620b和620c，并且可确定多个编码单元620a、620b和620c中的中心位置处的编码单元620b。此外，图像解码设备100可考虑获得划分形状模式信息的位置来确定中心位置处的编码单元620b。也就是说，可从当前编码单元600的中心位置处的样点640获得当前编码单元600的划分形状模式信息，并且当基于划分形状模式信息将当前编码单元600划分为多个编码单元620a、620b和620c时，可将包括样点640的编码单元620b确定为中心位置处的编码单元。然而，用于确定中心位置处的编码单元的信息不限于划分形状模式信息，并且可使用各种类型的信息确定中心位置处的编码单元。

根据实施例，可从包括在将被确定的编码单元中的特定样点获得用于标识特定位置处的编码单元的特定信息。参照图6，图像解码设备100可使用从当前编码单元600中的特定位置处的样点(例如，当前编码单元的中心位置处的样点)获得的划分形状模式信息来确定通过划分当前编码单元600确定的多个编码单元620a、620b和620c中的特定位置处的编码单元(例如，划分出的多个编码单元中的中心位置处的编码单元)。也就是说，图像解码设备100可通过考虑当前编码单元600的块形状来确定特定位置处的样点，从通过划分当前编码单元600确定的多个编码单元620a、620b和620c中确定包括可获得特定信息(例如，划分形状模式信息)的样点的编码单元620b，并且可对编码单元620b施加特定限制。参照图6，根据实施例，在解码操作中，图像解码设备100可将当前编码单元600的中心位置处的样点640确定为可获得特定信息的样点，并且可对包括样点640的编码单元620b施加特定限制。然而，可获得特定信息的样点的位置不限于上述位置，并且可包括编码单元620b中所包括的将被确定为用于限制的样点的任意位置。

根据实施例，可基于当前编码单元600的形状确定可获得特定信息的样点的位置。根据实施例，块形状信息可指示当前编码单元是具有正方形形状还是具有非正方形形状，并且可基于该形状确定可获得特定信息的样点的位置。例如，图像解码设备100可通过使用关于当前编码单元的宽度的信息和关于当前编码单元的高度的信息中的至少一个将位于用于将当前编码单元的宽度或高度中的至少一个对半划分的边界上的样点确定为可获得特定信息的样点。作为另一示例，在当前编码单元的块形状信息指示非正方形形状时，图像解码设备100可将包括用于将当前编码单元的长边对半划分的边界的样点中的一个样点确定为可获得预定信息的样点。

根据实施例，在当前编码单元被划分为多个编码单元时，图像解码设备100可使用划分形状模式信息来确定多个编码单元中的特定位置处的编码单元。根据实施例，图像解码设备100可从编码单元中的特定位置处的样点获得划分形状模式信息，并且通过使用划分形状模式信息对通过划分当前编码单元生成的多个编码单元进行划分，其中，划分形状模式信息是从多个编码单元中的每个编码单元中的特定位置的样点获得的。也就是说，可基于从每个编码单元中的特定位置处的样点获得的划分形状模式信息递归地划分编码单元。上面已经与图5相关地描述了递归地划分编码单元的操作，并且因此这里将不提供其详细描述。

根据实施例，图像解码设备100可通过划分当前编码单元确定一个或更多个编码单元，并且可基于特定块(例如，当前编码单元)确定对所述一个或更多个编码单元进行解码的顺序。

图7示出根据实施例的当图像解码设备通过划分当前编码单元确定多个编码单元时对所述多个编码单元进行处理的顺序。

根据实施例，基于划分形状模式信息，图像解码设备100可通过在垂直方向上划分第一编码单元700来确定第二编码单元710a和710b，通过在水平方向上划分第一编码单元700来确定第二编码单元730a和730b，或者通过在垂直方向和水平方向上划分第一编码单元700来确定第二编码单元750a至750d。

参照图7，图像解码设备100可确定按照水平方向顺序710c对通过在垂直方向上划分第一编码单元700而确定的第二编码单元710a和710b进行处理。图像解码设备100可确定按照垂直方向顺序730c对通过在水平方向上划分第一编码单元700而确定的第二编码单元730a和730b进行处理。图像解码设备100可确定按照用于对一行中的编码单元进行处理然后对下一行中的编码单元进行处理的特定顺序(例如，光栅扫描顺序或Z扫描顺序750e)来对通过在垂直方向和水平方向上划分第一编码单元700而确定的第二编码单元750a至750d进行处理。

根据实施例，图像解码设备100可递归地划分编码单元。参照图7，图像解码设备100可通过划分第一编码单元700来确定多个编码单元710a和710b、730a和730b、或者750a至750d，并且可递归地划分所确定的多个编码单元710a、710b、730a和730b或750a至750d中的每一个。多个编码单元710a、710b、730a和730b、或者750a至750d的划分方法可对应于第一编码单元700的划分方法。如此，多个编码单元710a、710b、730a和730b、或者750a至750d中的每一个可被独立地划分为多个编码单元。参照图7，图像解码设备100可通过在垂直方向上划分第一编码单元700来确定第二编码单元710a和710b，并且可确定独立地划分或者不划分第二编码单元710a和710b中的每一个。

根据实施例，图像解码设备100可通过在水平方向上对左侧第二编码单元710a进行划分来确定第三编码单元720a和720b，并且可不对右侧第二编码单元710b进行划分。

根据实施例，可基于划分编码单元的操作来确定编码单元的处理顺序。换句话说，可基于紧接在被划分之前的编码单元的处理顺序来确定划分后的编码单元的处理顺序。图像解码设备100可独立于右侧第二编码单元710b来确定通过划分左侧第二编码单元710a而确定的第三编码单元720a和720b的处理顺序。因为通过在水平方向上划分左侧第二编码单元710a来确定第三编码单元720a和720b，所以可按照垂直方向顺序720c对第三编码单元720a和720b进行处理。因为左侧第二编码单元710a和右侧第二编码单元710b按照水平方向顺序710c被处理，所以可在按照垂直方向顺序720c对左侧第二编码单元710a中包括的第三编码单元720a和720b进行处理之后对右侧第二编码单元710b进行处理。基于划分之前的编码单元来确定编码单元的处理顺序的操作不限于上述示例，并且可使用各种方法按照特定顺序独立地处理被划分并被确定为各种形状的编码单元。

图8示出根据实施例的由图像解码设备执行的当编码单元不可按照预定顺序被处理时确定当前编码单元将被划分为奇数个编码单元的处理。

根据实施例，图像解码设备100可基于获得的划分形状模式信息确定是否将当前编码单元划分为奇数个编码单元。参照图8，正方形的第一编码单元800可被划分为非正方形的第二编码单元810a和810b，第二编码单元810a和810b可被独立地划分为第三编码单元820a和820b以及820c至820e。根据实施例，图像解码设备100可通过在水平方向上划分左侧第二编码单元810a来确定多个第三编码单元820a和820b，并且可将右侧第二编码单元810b划分为奇数个第三编码单元820c至820e。

根据实施例，图像解码设备100可通过确定第三编码单元820a和820b以及820c至820e是否可按照特定顺序被处理，来确定任意编码单元是否被划分为奇数个编码单元。参照图8，图像解码设备100可通过递归地划分第一编码单元800来确定第三编码单元820a、820b以及820c至820e。图像解码设备100可基于块形状信息或划分形状模式信息中的至少一个确定以下编码单元中的任意一个是否被划分为奇数个编码单元：第一编码单元800、第二编码单元810a和810b、和第三编码单元820a和820b以及820c至820e。例如，第二编码单元810a和810b中的右侧第二编码单元810b可被划分为奇数个第三编码单元820c、820d和820e。第一编码单元800中包括的多个编码单元的处理顺序可以是特定顺序(例如，Z字形扫描顺序830)，图像解码设备100可确定通过将右侧第二编码单元810b划分为奇数个编码单元所确定的第三编码单元820c、820d和820e是否满足用于按照特定顺序进行处理的条件。

根据实施例，图像解码设备100可确定第一编码单元800中包括的第三编码单元820a和820b以及820c至820e是否满足用于按照特定顺序进行处理的条件，并且该条件与第二编码单元810a和810b的宽度或高度中的至少一个是否沿着第三编码单元820a和820b以及820c至820e的边界被对半划分有关。例如，当将非正方形形状的左侧第二编码单元810a的高度对半划分时确定的第三编码单元820a和820b可满足所述条件。然而，因为当将右侧第二编码单元810b划分为三个编码单元时确定的第三编码单元820c至820e的边界不能够将右侧第二编码单元810b的宽度或高度对半划分，所以可确定第三编码单元820c至820e不满足所述条件。当如上所述不满足所述条件时，图像解码设备100可确定扫描顺序不连续，并且可基于确定结果确定右侧第二编码单元810b被划分为奇数个编码单元。根据实施例，当编码单元被划分为奇数个编码单元时，图像解码设备100可对划分出的编码单元中的特定位置处的编码单元施加特定限制。上面已经与各种实施例有关地描述了所述限制或所述特定位置，并且因此此处不再提供其详细描述。

图9示出根据实施例的由图像解码设备执行的通过划分第一编码单元来确定至少一个编码单元的处理。

根据实施例，图像解码设备100可基于通过接收器110获得的划分形状模式信息对第一编码单元900进行划分。正方形的第一编码单元900可被划分为四个正方形编码单元，或者可被划分为多个非正方形编码单元。例如，参照图9，当划分形状模式信息指示将第一编码单元900划分为非正方形编码单元时，图像解码设备100可将第一编码单元900划分为多个非正方形编码单元。详细地，当划分形状模式信息指示通过在水平方向或垂直方向上划分第一编码单元900来确定奇数个编码单元时，图像解码设备100可将正方形的第一编码单元900划分为奇数个编码单元(例如，通过在垂直方向上划分正方形的第一编码单元900而确定的第二编码单元910a、910b和910c，或者通过在水平方向上划分正方形的第一编码单元900而确定的第二编码单元920a、920b和920c)。

根据实施例，图像解码设备100可确定包括在第一编码单元中的第二编码单元910a、910b、910c、920a、920b和920c是否满足用于按照特定顺序进行处理的条件，并且该条件与第一编码单元900的宽度或高度中的至少一个是否沿着第二编码单元910a、910b、910c、920a、920b和920c的边界被对半划分有关。参照图9，因为通过在垂直方向上划分正方形的第一编码单元900所确定的第二编码单元910a、910b和910c的边界未将第一编码单元900的宽度对半划分，所以可确定第一编码单元900不满足用于按照特定顺序进行处理的条件。此外，因为通过在水平方向上划分正方形的第一编码单元900所确定的第二编码单元920a、920b和920c的边界未将第一编码单元900的宽度对半划分，所以可确定第一编码单元900不满足用于按照预定顺序进行处理的条件。当如上所述不满足所述条件时，图像解码设备100可确定扫描顺序不连续，并且可基于确定结果确定第一编码单元900被划分为奇数个编码单元。根据实施例，当编码单元被划分为奇数个编码单元时，图像解码设备100可对划分出的编码单元中的特定位置处的编码单元施加特定限制。上面已经与各种实施例有关地描述了所述限制或所述特定位置，因此此处不再提供其详细描述。

根据实施例，图像解码设备100可通过划分第一编码单元确定各种形状的编码单元。

参照图9，图像解码设备100可将正方形的第一编码单元900或非正方形的第一编码单元930或950划分为各种形状的编码单元。

图10示出根据实施例的当图像解码设备划分第一编码单元时确定的具有非正方形形状的第二编码单元满足预定条件时，第二编码单元可被划分为的形状受到限制。

根据实施例，图像解码设备100可基于由接收器110获得的划分形状模式信息确定将正方形的第一编码单元1000划分为非正方形的第二编码单元1010a和1010b、或者1020a和1020b。第二编码单元1010a和1010b、或者1020a和1020b可被独立地划分。如此，图像解码设备100可基于第二编码单元1010a和1010b、或者1020a和1020b中的每一个的划分形状模式信息，确定将第二编码单元1010a和1010b、或者1020a和1020b中的每一个划分为多个编码单元或者不对第二编码单元1010a和1010b、或者1020a和1020b中的每一个进行划分。根据实施例，图像解码设备100可通过在水平方向上对通过在垂直方向上划分第一编码单元1000而确定的非正方形的左侧第二编码单元1010a进行划分，来确定第三编码单元1012a和1012b。然而，当左侧第二编码单元1010a在水平方向上被划分时，图像解码设备100可将右侧第二编码单元1010b限制为不在左侧第二编码单元1010a被划分的水平方向上被划分。当通过在同一方向上划分右侧第二编码单元1010b来确定第三编码单元1014a和1014b时，因为左侧第二编码单元1010a和右侧第二编码单元1010b在水平方向上被独立地划分，所以可确定第三编码单元1012a和1012b、或者1014a和1014b。然而，这种情况与图像解码设备100基于划分形状模式信息将第一编码单元1000划分为四个正方形的第二编码单元1030a、1030b、1030c和1030d的情况作用相同，并且在图像解码方面可能是低效的。

根据实施例，图像解码设备100可通过在垂直方向上对通过在水平方向上划分第一编码单元1000而确定的非正方形的第二编码单元1020a或1020b进行划分，来确定第三编码单元1022a和1022b、或者1024a和1024b。然而，当第二编码单元(例如，上方第二编码单元1020a)在垂直方向上被划分时，出于上述原因，图像解码设备100可将另一第二编码单元(例如，下方第二编码单元1020b)限制为不在上方第二编码单元1020a被划分的垂直方向上被划分。

图11示出根据实施例的由图像解码设备执行的当划分形状模式信息不能指示正方形编码单元被划分为四个正方形编码单元时对正方形编码单元进行划分的处理。

根据实施例，图像解码设备100可通过基于划分形状模式信息划分第一编码单元1100，来确定第二编码单元1110a和1110b、或者1120a和1120b等。划分形状模式信息可包括关于划分编码单元的各种方法的信息，但是关于各种划分方法的信息可不包括用于将编码单元划分为四个正方形编码单元的信息。根据这样的划分形状模式信息，图像解码设备100可不将正方形的第一编码单元1100划分为四个正方形编码单元1130a、1130b、1130c和1130d。图像解码设备100可基于划分形状模式信息确定非正方形的第二编码单元1110和1110b、或者1120a和1120b等。

根据实施例，图像解码设备100可独立地划分非正方形的第二编码单元1110a和1110b、或者1120a和1120b等。第二编码单元1110a和1110b、或者1120a和1120b等中的每一个可按照特定顺序被递归地划分，并且该划分方法可与基于划分形状模式信息来划分第一编码单元1100的方法对应。

例如，图像解码设备100可通过在水平方向上划分左侧第二编码单元1110a来确定正方形的第三编码单元1112a和1112b，并且可通过在水平方向上划分右侧第二编码单元1110b来确定正方形的第三编码单元1114a和1114b。此外，图像解码设备100可通过在水平方向上划分左侧第二编码单元1110a和右侧第二编码单元1110b两者来确定正方形的第三编码单元1116a、1116b、1116c和1116d。在这种情况下，可确定与从第一编码单元1100划分出的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元。

作为另一示例，图像解码设备100可通过在垂直方向上划分上方第二编码单元1120a来确定正方形的第三编码单元1122a和1122b，并且可通过在垂直方向上划分下方第二编码单元1120b来确定正方形的第三编码单元1124a和1124b。此外，图像解码设备100可通过在垂直方向上划分上方第二编码单元1120a和下方第二编码单元1120b两者来确定正方形的第三编码单元1126a、1126b、1126c和1126d。在这种情况下，可确定与从第一编码单元1100划分出的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元。

图12示出根据实施例的多个编码单元之间的处理顺序可根据划分编码单元的处理被改变。

根据实施例，图像解码设备100可基于划分形状模式信息来划分第一编码单元1200。当块形状指示正方形形状并且划分形状模式信息指示在水平方向或垂直方向中的至少一个方向上划分第一编码单元1200时，图像解码设备100可通过划分第一编码单元1200来确定第二编码单元1210a和1210b、或者1220a和1220b等。参照图12，通过仅在水平方向或垂直方向上划分第一编码单元1200而确定的非正方形的第二编码单元1210a和1210b、或者1220a和1220b可基于每个编码单元的划分形状模式信息被独立地划分。例如，图像解码设备100可通过在水平方向上对通过在垂直方向上划分第一编码单元1200而生成的第二编码单元1210a和1210b进行划分，来确定第三编码单元1216a、1216b、1216c和1216d，并且可通过在垂直方向上对通过在水平方向上划分第一编码单元1200而生成的第二编码单元1220a和1220b进行划分，来确定第三编码单元1226a、1226b、1226c和1226d。上面已经与图11有关地描述了划分第二编码单元1210a和1210b、或者1220a和1220b的操作，因此此处将不提供其详细描述。

根据实施例，图像解码设备100可按照特定顺序处理编码单元。上面已经与图7有关地描述了按照预定顺序处理编码单元的操作，因此此处将不提供其详细描述。参照图12，图像解码设备100可通过划分正方形的第一编码单元1200，确定四个正方形的第三编码单元1216a、1216b、1216c、1216d、以及1226a、1226b、1226c和1226d。根据实施例，图像解码设备100可基于第一编码单元的划分方法来确定第三编码单元1216a、1216b、1216c和1216d、以及1226a、1226b、1226c和1226d的处理顺序。

根据实施例，图像解码设备100可通过在水平方向上对通过在垂直方向上划分第一编码单元1200而生成的第二编码单元1210a和1210b进行划分来确定第三编码单元1216a、1216b、1216c和1216d，并且可按照如下处理顺序1217处理第三编码单元1216a、1216b、1216c和1216d：首先在垂直方向上处理左侧第二编码单元1210a中包括的第三编码单元1216a和1216c，然后在垂直方向上处理右侧第二编码单元1210b中包括的第三编码单元1216b和1216d。

根据实施例，图像解码设备100可通过在垂直方向上对通过在水平方向上划分第一编码单元1200而生成的第二编码单元1220a和1220b进行划分来确定第三编码单元1226a、1226b、1226c和1226d，并且可按照如下处理顺序1227处理第三编码单元1226a、1226b、1226c和1226d：首先在水平方向上处理上方第二编码单元1220a中包括的第三编码单元1226a和1226b，然后在水平方向上处理下方第二编码单元1220b中包括的第三编码单元1226c和1226d。

参照图12，可通过分别划分第二编码单元1210a和1210b、以及1220a和1220b来确定正方形的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d。尽管通过在垂直方向上划分第一编码单元1200而确定的第二编码单元1210a和1210b与通过在水平方向上划分第一编码单元1200而确定的第二编码单元1220a和1220b不同，但是从第二编码单元1210a和1210b以及第二编码单元1220a和1220b划分出的第三编码单元1216a、1216b、1216c和1216d以及第三编码单元1226a、1226b、1226c和1226d最终示出从第一编码单元1200划分出的相同形状的编码单元。如此，通过基于划分形状模式信息以不同的方式递归地划分编码单元，即使最终将编码单元确定为相同的形状，图像解码设备100也可按照不同顺序对多个编码单元进行处理。

图13示出根据实施例的当编码单元被递归地划分使得多个编码单元被确定时，随着编码单元的形状和尺寸改变而确定编码单元的深度的处理。

根据实施例，图像解码设备100可基于特定标准确定编码单元的深度。例如，所述特定标准可以是编码单元的长边的长度。当被划分之前的编码单元的长边的长度是划分后的当前编码单元的长边的长度的2n(n>0)倍时，图像解码设备100可确定当前编码单元的深度比划分之前的编码单元的深度增大n。在下面的描述中，具有增大的深度的编码单元被表示为更低深度的编码单元。

参照图13，根据实施例，图像解码设备100可通过基于指示正方形形状的块形状信息(例如，块形状信息可被表示为“0：SQUARE”)划分正方形的第一编码单元1300，来确定更低深度的第二编码单元1302和第三编码单元1304。假设正方形的第一编码单元1300的尺寸是2N×2N，通过按照1/2划分第一编码单元1300的宽度和高度而确定的第二编码单元1302可具有N×N的尺寸。此外，通过按照1/2划分第二编码单元1302的宽度和高度而确定的第三编码单元1304可具有N/2×N/2的尺寸。在这种情况下，第三编码单元1304的宽度和高度是第一编码单元1300的宽度和高度的1/4。当第一编码单元1300的深度为D时，宽度和高度是第一编码单元1300的宽度和高度的1/2的第二编码单元1302的深度可以是D+1，并且宽度和高度是第一编码单元1300的宽度和高度1/4的第三编码单元1304的深度可以是D+2。

根据实施例，图像解码设备100可通过基于指示非正方形形状的块形状信息(例如，块形状信息可被表示为指示高度长于宽度的非正方形形状的“1：NS_VER”，或者可被表示为指示宽度长于高度的非正方形形状的“2：NS_HOR”)划分非正方形的第一编码单元1310或1320，来确定更低深度的第二编码单元1312或1322和第三编码单元1314或1324。

图像解码设备100可通过划分尺寸为N×2N的第一编码单元1310的宽度或高度中的至少一个来确定第二编码单元1302、1312或1322。也就是说，图像解码设备100可通过在水平方向上划分第一编码单元1310来确定尺寸为N×N的第二编码单元1302或尺寸为N×N/2的第二编码单元1322，或者可通过在水平方向和垂直方向上划分第一编码单元1310来确定尺寸为N/2×N的第二编码单元1312。

根据实施例，图像解码设备100可通过划分尺寸为2N×N的第一编码单元1320的宽度或高度中的至少一个来确定第二编码单元1302、1312或1322。也就是说，图像解码设备100可通过在垂直方向上划分第一编码单元1320来确定尺寸为N×N的第二编码单元1302或尺寸为N/2×N的第二编码单元1312，或者可通过在水平方向和垂直方向上划分第一编码单元1320来确定尺寸为N×N/2的第二编码单元1322。

根据实施例，图像解码设备100可通过划分尺寸为N×N的第二编码单元1302的宽度或高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说，图像解码设备100可通过在垂直方向和水平方向上划分第二编码单元1302来确定尺寸为N/2×N/2的第三编码单元1304、尺寸为N/4×N/2的第三编码单元1314或尺寸为N/2×N/4的第三编码单元1324。

根据实施例，图像解码设备100可通过划分尺寸为N/2×N的第二编码单元1312的宽度或高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说，图像解码设备100可通过在水平方向上划分第二编码单元1312来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/2×N/4的第三编码单元1324，或者可通过在垂直方向和水平方向上划分第二编码单元1312来确定尺寸为N/4×N/2的第三编码单元1314。

根据实施例，图像解码设备100可通过划分尺寸为N×N/2的第二编码单元1322的宽度或高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说，图像解码设备100可通过在垂直方向上划分第二编码单元1322来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/4×N/2的第三编码单元1314，或者可通过在垂直方向和水平方向上划分第二编码单元1322来确定尺寸为N/2×N/4的第三编码单元1324。

根据实施例，图像解码设备100可在水平方向或垂直方向上划分正方形编码单元1300、1302或1304。例如，图像解码设备100可通过在垂直方向上划分尺寸为2N×2N的第一编码单元1300来确定尺寸为N×2N的第一编码单元1310，或者可通过在水平方向上划分尺寸为2N×2N的第一编码单元1300来确定尺寸为2N×N的第一编码单元1320。根据实施例，当基于编码单元的最长边的长度确定深度时，通过在水平方向或垂直方向上划分尺寸为2N×2N的第一编码单元1300而确定的编码单元的深度可与第一编码单元1300的深度相同。

根据实施例，第三编码单元1314或1324的宽度和高度可以是第一编码单元1310或1320的宽度和高度的1/4。当第一编码单元1310或1320的深度为D时，宽度和高度是第一编码单元1310或1320的宽度和高度的1/2的第二编码单元1312或1322的深度可以是D+1，宽度和高度是第一编码单元1310或1320的宽度和高度的1/4的第三编码单元1314或1324的深度可以是D+2。

图14示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引(PID)。

根据实施例，图像解码设备100可通过划分正方形的第一编码单元1400来确定各种形状的第二编码单元。参照图14，图像解码设备100可通过基于划分形状模式信息在垂直方向和水平方向中的至少一个方向上划分第一编码单元1400来确定第二编码单元1402a和1402b、第二编码单元1404a和1404b、以及第二编码单元1406a、1406b、1406c和1406d。也就是说，图像解码设备100可基于第一编码单元1400的划分形状模式信息来确定第二编码单元1402a和1402b、1404a和1404b以及1406a、1406b、1406c和1406d。

根据实施例，基于正方形的第一编码单元1400的划分形状模式信息确定的第二编码单元1402a和1402b、第二编码单元1404a和1404b以及第二编码单元1406a、1406b、1406c和1406d的深度可基于它们的长边的长度而被确定。例如，因为正方形的第一编码单元1400的边的长度等于非正方形的第二编码单元1402a和1402b以及1404a和1404b的长边的长度，所以第一编码单元1400和非正方形的第二编码单元1402a和1402b以及1404a和1404b可具有相同的深度，例如D。然而，当图像解码设备100基于划分形状模式信息将第一编码单元1400划分为四个正方形的第二编码单元1406a、1406b、1406c和1406d时，因为正方形的第二编码单元1406a、1406b、1406c和1406d的边的长度是第一编码单元1400的边的长度的1/2，所以第二编码单元1406a、1406b、1406c和1406d的深度可以是比第一编码单元1400的深度D低1的D+1。

根据实施例，图像解码设备100可通过基于划分形状模式信息在水平方向上划分高度长于宽度的第一编码单元1410来确定多个第二编码单元1412a和1412b以及1414a、1414b和1414c。根据实施例，图像解码设备100可通过基于划分形状模式信息在垂直方向上划分宽度长于高度的第一编码单元1420来确定多个第二编码单元1422a和1422b以及1424a、1424b和1424c。

根据实施例，基于非正方形的第一编码单元1410或1420的划分形状模式信息确定的第二编码单元1412a和1412b、以及第二编码单元1414a、1414b和1414c、或者第二编码单元1422a和1422b以及第二编码单元1424a、1424b和1424c的深度可基于它们的长边的长度而被确定。例如，因为正方形的第二编码单元1412a和1412b的边的长度是具有高度长于宽度的非正方形形状的第一编码单元1410的长边的长度的1/2，所以正方形的第二编码单元1412a和1412b的深度是比非正方形的第一编码单元1410的深度D低1的D+1。

此外，图像解码设备100可基于划分形状模式信息将非正方形的第一编码单元1410划分为奇数个第二编码单元1414a、1414b和1414c。奇数个第二编码单元1414a、1414b和1414c可包括非正方形的第二编码单元1414a和1414c以及正方形的第二编码单元1414b。在这种情况下，因为非正方形的第二编码单元1414a和1414c的长边的长度以及正方形的第二编码单元1414b的边的长度是第一编码单元1410的长边的长度的1/2，所以第二编码单元1414a、1414b和1414c的深度可以是比非正方形的第一编码单元1410的深度D低1的D+1。图像解码设备100可通过使用上述确定从第一编码单元1410划分出的编码单元的深度的方法，确定从具有宽度长于高度的非正方形形状的第一编码单元1420划分出的编码单元的深度。

根据实施例，当奇数个划分出的编码单元不具有相等的尺寸时，图像解码设备100可基于编码单元之间的尺寸比例来确定用于标识划分出的编码单元的PID。参照图14，奇数个划分出的编码单元1414a、1414b和1414c中的中心位置的编码单元1414b的宽度可等于其他编码单元1414a和1414c的宽度并且其高度可以是其他编码单元1414a和1414c的高度的两倍。也就是说，在这种情况下，中心位置处的编码单元1414b可包括两个其它编码单元1414a或1414c。因此，当中心位置处的编码单元1414b的PID基于扫描顺序而为1时，位于与编码单元1414b相邻位置的编码单元1414c的PID可增加2并且因此可以是3。也就是说，可能存在PID值不连续。根据实施例，图像解码设备100可基于用于标识划分出的编码单元的PID是否存在不连续，确定奇数个划分出的编码单元是否不具有相等的尺寸。

根据实施例，图像解码设备100可基于用于标识通过划分当前编码单元确定的多个编码单元的PID值来确定是否使用特定划分方法。参照图14，图像解码设备100可通过划分具有高度长于宽度的矩形形状的第一编码单元1410来确定偶数个编码单元1412a和1412b或奇数个编码单元1414a、1414b和1414c。图像解码设备100可使用指示各个编码单元的PID来识别各个编码单元。根据实施例，可从每个编码单元的特定位置处的样点(例如，左上样点)获得PID。

根据实施例，图像解码设备100可通过使用用于区分编码单元的PID来确定划分出的编码单元中的特定位置处的编码单元。根据实施例，当具有高度长于宽度的矩形形状的第一编码单元1410的划分形状模式信息指示将编码单元划分为三个编码单元时，图像解码设备100可将第一编码单元1410划分为三个编码单元1414a、1414b和1414c。图像解码设备100可将PID分配给三个编码单元1414a、1414b和1414c中的每一个。图像解码设备100可对奇数个划分出的编码单元的PID进行比较，以确定奇数个划分出的编码单元中的中心位置处的编码单元。图像解码设备100可将具有编码单元的PID中的与中间值对应的PID的编码单元1414b确定为通过划分第一编码单元1410确定的编码单元中的中心位置处的编码单元。根据实施例，当划分出的编码单元不具有相等的尺寸时，图像解码设备100可基于编码单元之间的尺寸比例确定用于区分划分出的编码单元的PID。参照图14，通过划分第一编码单元1410生成的编码单元1414b的宽度可等于其他编码单元1414a和1414c的宽度，并且其高度可以是其他编码单元1414a和1414c的高度的两倍。在这种情况下，当中心位置处的编码单元1414b的PID是1时，位于与编码单元1414b相邻位置的编码单元1414c的PID可增加2并且因此可以是3。当如上所述PID未均匀地增大时，图像解码设备100可确定编码单元被划分为多个编码单元，其中，所述多个编码单元包括尺寸与其他编码单元的尺寸不同的编码单元。根据实施例，当划分形状模式信息指示将编码单元划分为奇数个编码单元时，图像解码设备100可按照奇数个编码单元中的特定位置的编码单元(例如，中心位置的编码单元)具有与其他编码单元的尺寸不同的尺寸这样的方式来划分当前编码单元。在这种情况下，图像解码设备100可通过使用编码单元的PID来确定具有不同尺寸的中心位置的编码单元。然而，特定位置的编码单元的PID以及尺寸或位置不限于上述示例，并且可使用编码单元的各种PID以及各种位置和尺寸。

根据实施例，图像解码设备100可使用特定数据单元，其中，在该特定数据单元中，开始递归地划分编码单元。

图15示出根据实施例的基于画面中包括的多个特定数据单元确定多个编码单元。

根据实施例，特定数据单元可被定义为通过使用划分形状模式信息开始递归地划分编码单元的数据单元。也就是说，特定数据单元可与用于确定从当前画面划分出的多个编码单元的最高深度的编码单元对应。在下面的描述中，为了便于解释，特定数据单元被称为参考数据单元。

根据实施例，参考数据单元可具有特定尺寸和特定尺寸形状。根据实施例，参考数据单元可包括M×N个样点。这里，M和N可彼此相等，并且可以是被表示为2的幂的整数。也就是说，参考数据单元可具有正方形形状或非正方形形状，并且可被划分为整数个编码单元。

根据实施例，图像解码设备100可将当前画面划分为多个参考数据单元。根据实施例，图像解码设备100可通过使用每个参考数据单元的划分形状模式信息来对从当前画面划分出的多个参考数据单元进行划分。划分参考数据单元的操作可与使用四叉树结构的划分操作对应。

根据实施例，图像解码设备100可预先确定当前画面中包括的参考数据单元所允许的最小尺寸。因此，图像解码设备100可确定尺寸等于或大于最小尺寸的各种参考数据单元，并且可参考确定的参考数据单元通过使用划分形状模式信息来确定一个或更多个编码单元。

参照图15，图像解码设备100可使用正方形的参考编码单元1500或非正方形的参考编码单元1502。根据实施例，可基于能够包括一个或更多个参考编码单元的各种数据单元(例如，序列、画面、条带、条带片段、并行块、并行块组、最大编码单元等)来确定参考编码单元的形状和尺寸。

根据实施例，图像解码设备100的接收器110可从比特流获得针对各种数据单元中的每个数据单元的参考编码单元形状信息和参考编码单元尺寸信息中的至少一个。上面已经与图3的划分当前编码单元300的操作有关地描述了将正方形参考编码单元1500划分为一个或更多个编码单元的操作，并且上面已经与图4的划分当前编码单元400或450的操作有关地描述了将非正方形参考编码单元1502划分为一个或更多个编码单元的操作。因此，此处不再提供其详细描述。

根据实施例，图像解码设备100可根据基于特定条件预先确定的一些数据单元，使用用于标识参考编码单元的尺寸和形状的PID来确定参考编码单元的尺寸和形状。也就是说，接收器110可从比特流仅获得针对每个条带、条带片段、并行块、并行块组、或最大编码单元的用于标识参考编码单元的尺寸和形状的PID，其中，所述条带、条带片段或最大编码单元是各种数据单元(例如，序列、画面、条带、条带片段、并行块、并行块组、最大编码单元等)中的满足预定条件的数据单元(例如，尺寸等于或小于条带的数据单元)。图像解码设备100可通过使用PID确定针对满足特定条件的每个数据单元的参考数据单元的尺寸和形状。当根据具有相对小尺寸的每个数据单元从比特流获得并使用参考编码单元形状信息和参考编码单元尺寸信息时，使用比特流的效率可能不高，因此，可仅获得并使用PID，而不是直接获得参考编码单元形状信息和参考编码单元尺寸信息。在这种情况下，可预先确定与用于标识参考编码单元的尺寸和形状的PID对应的参考编码单元的尺寸或形状中的至少一个。也就是说，图像解码设备100可通过选择基于PID预先确定的参考编码单元的尺寸或形状中的至少一个，确定包括在用作用于获得PID的单元的数据单元中的参考编码单元的尺寸或形状中的至少一个。

根据实施例，图像解码设备100可使用最大编码单元中包括的一个或更多个参考编码单元。也就是说，从画面划分出的最大编码单元可包括一个或更多个参考编码单元，并且可通过递归地划分每个参考编码单元来确定编码单元。根据实施例，最大编码单元的宽度和高度中的至少一个可以是参考编码单元的宽度和高度中的至少一个的整数倍。根据实施例，可通过基于四叉树结构将最大编码单元划分n次来获得参考编码单元的尺寸。也就是说，根据各种实施例，图像解码设备100可通过基于四叉树结构将最大编码单元划分n次来确定参考编码单元，并且可基于块形状信息和划分形状模式信息中的至少一个来划分参考编码单元。

根据实施例，图像解码设备100可从比特流获得指示当前编码单元的形状的块形状信息或指示当前编码单元的划分方法的划分形状模式信息，并且可使用所获得的信息。划分形状模式信息可被包括在与各种数据单元相关的比特流中。例如，图像解码设备100可使用包括在序列参数集、画面参数集、视频参数集、条带头、条带片段头、并行块头或并行块组头中的划分形状模式信息。此外，图像解码设备100可根据每个最大编码单元、每个参考编码单元或每个处理块从比特流获得与块形状信息或划分形状模式信息对应的语法元素，并且可使用所获得的语法元素。

在下文中，将详细描述根据本公开的实施例的确定划分规则的方法。

图像解码设备100可确定图像的划分规则。可在图像解码设备100和图像编码设备1700之间预先确定划分规则。图像解码设备100可基于从比特流获得的信息来确定图像的划分规则。图像解码设备100可基于从序列参数集、画面参数集、视频参数集、条带头、条带片段头、并行块头或并行块组头中的至少一个获得的信息来确定划分规则。图像解码设备100可根据帧、条带、并行块、时间层、最大编码单元或编码单元不同地确定划分规则。

图像解码设备100可基于编码单元的块形状来确定划分规则。块形状可包括编码单元的尺寸、形状、宽度与高度的比率以及方向。图像解码设备100可基于编码单元的块形状信息进行预先确定以确定划分规则。然而，本公开不限于此。图像解码设备100可基于从接收的比特流获得的信息来确定图像划分规则。

编码单元的形状可包括正方形和非正方形。当编码单元的宽度和高度的长度相同时，图像解码设备100可将编码单元的形状确定为正方形。此外，当编码单元的宽度和高度的长度不相同时，图像解码设备100可将编码单元的形状确定为非正方形。

编码单元的尺寸可包含各种尺寸，例如4×4、8×4、4×8、8×8、16×4、16×8和256×256。可基于编码单元的长边的长度、短边的长度或面积来对编码单元的尺寸进行分类。图像解码设备100可将相同的划分规则应用于被分类为相同组的编码单元。例如，图像解码设备100可将具有相同长边长度的编码单元分类为具有相同尺寸。此外，图像解码设备100可将相同的划分规则应用于具有相同长边长度的编码单元。

编码单元的宽度和高度的比率可包括1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、32:1、1:32等。此外，编码单元的方向可包括水平方向和垂直方向。水平方向可指示编码单元的宽度的长度长于其高度的长度的情况。垂直方向可指示编码单元的宽度的长度短于其高度的长度的情况。

图像解码设备100可基于编码单元的尺寸自适应地确定划分规则。图像解码设备100可基于编码单元的尺寸不同地确定可允许的划分形状模式。例如，图像解码设备100可基于编码单元的尺寸来确定是否允许划分。图像解码设备100可根据编码单元的尺寸来确定划分方向。图像解码设备100可根据编码单元的尺寸来确定可允许的划分类型。

基于编码单元的尺寸确定的划分规则可以是在图像解码设备100中预先确定的划分规则。此外，图像解码设备100可基于从比特流获得的信息来确定划分规则。

图像解码设备100可基于编码单元的位置自适应地确定划分规则。图像解码设备100可基于编码单元在图像中的位置自适应地确定划分规则。

此外，图像解码设备100可确定划分规则，使得经由不同划分路径生成的编码单元不具有相同的块形状。然而，本公开不限于此，并且经由不同划分路径生成的编码单元具有相同的块形状。经由不同划分路径生成的编码单元可具有不同的解码处理顺序。因为上面已经参考图12描述了解码处理顺序，所以不再提供其细节。

图16是图像编码和解码***的框图。

图像编码和解码***1600的编码端1610发送图像的编码比特流，并且解码端1650通过接收和解码该比特流来输出重建图像。这里，解码端1650可具有与图像解码设备100相似的配置。

在编码端1610处，预测编码器1615经由帧间预测和帧内预测输出参考图像，并且变换器和量化器1620将参考画面和当前输入图像之间的残差数据量化为量化的变换系数，并输出量化的变换系数。熵编码器1625通过对量化的变换系数进行编码来对量化的变换系数进行变换，并且将量化的变换系数输出为比特流。经由反量化器和逆变换器1630将量化的变换系数重建为空间域的数据，并且经由去块滤波器1635和环路滤波器1640将空间域的数据输出为重建图像。可经由预测编码器1615将重建图像用作下一输入图像的参考图像。

经由熵解码器1655以及反量化器和逆变换器1660将由解码端1650接收到的比特流中的编码图像数据重建为空间域的残差数据。当将从预测解码器1675输出的残差数据与参考图像组合时配置空间域的图像数据，并且去块滤波器1665和环路滤波器1670可通过对空间域的图像数据进行滤波来输出关于当前原始图像的重建图像。可由预测解码器1675将重建图像用作下一原始图像的参考图像。

编码端1610的环路滤波器1640通过使用根据用户输入而输入的滤波器信息或***设置来执行环路滤波。由环路滤波器1640使用的滤波器信息被输出到熵编码器1625，并且与编码图像数据一起被发送到解码端1650。解码端1650的环路滤波器1670可基于从解码端1650输入的滤波器信息来执行环路滤波。

在下文中，将参照图17至图20描述根据本公开的实施例的用于通过使用概率运动表示方法来扩展帧间预测方法对视频进行编码或解码的方法和设备。

图17是根据实施例的视频解码设备的框图。

参照图17，根据实施例的视频解码设备1700可包括帧间预测信息获得器1710、帧间预测执行器1720和重建器1730。

视频解码设备1700可获得作为对图像进行编码的结果而生成的比特流，并且基于包括在比特流中的信息来对用于帧间预测的运动信息进行解码。

根据实施例的视频解码设备1700可包括用于控制帧间预测信息获得器1710、帧间预测执行器1720和重建器1730的中央处理器(未示出)。可选地，帧间预测信息获得器1710、帧间预测执行器1720和重建器1730可由它们自己的处理器(未示出)进行操作，并且处理器可彼此***地进行操作以操作视频解码设备1700。可选地，可根据视频解码设备1700的外部处理器(未示出)的控制来控制帧间预测信息获得器1710、帧间预测执行器1720和重建器1730。

视频解码设备1700可包括一个或更多个数据存储器(未示出)，其中，所述数据存储器存储帧间预测信息获得器1710、帧间预测执行器1720和重建器1730的输入/输出数据。视频解码设备1700可包括用于控制数据存储器的数据输入和输出的存储器控制器(未示出)。

视频解码设备1700可通过与内部视频解码处理器或外部视频解码处理器相连接地操作来执行包括预测的图像解码操作，以便经由图像解码来重建图像。根据实施例的视频解码设备1700的内部视频解码处理器不仅可作为单独的处理器而且可作为包括图像解码处理模块的中央处理设备或图形处理设备来执行基本图像解码操作。

视频解码设备1700可被包括在上述图像解码设备100中。例如，帧间预测信息获得器1710可被包括在图1的图像解码设备100的接收器110中，并且帧间预测执行器1720和重建器1730可被包括在图像解码设备100的解码器120中。

帧间预测信息获得器1710接收作为对图像进行编码的结果而生成的比特流。比特流可包括用于确定用于当前块的帧间预测的运动矢量的信息。当前块是当图像根据树结构被划分时生成的块，并且例如可与最大编码单元、编码单元或变换单元相应。

帧间预测信息获得器1710可基于包括在序列参数集、画面参数集、视频参数集、条带头和条带片段头中的至少一个中的块形状信息和/或关于划分形状模式的信息来确定当前块。此外，帧间预测信息获得器1710可根据每个最大编码单元、每个参考编码单元或每个处理块，从比特流获得与块形状信息或关于划分形状模式的信息相应的语法元素，并且可使用获得的语法元素来确定当前块。

比特流可包括指示当前块的预测模式的信息，并且当前块的预测模式可包括帧内模式和帧间模式。在当前块的预测模式是帧间模式时，运动矢量的编码/解码方法可包括合并模式、跳过模式和根据本公开的合并运动矢量差模式中的至少一种。合并运动矢量差模式可以是通过将根据差分距离和差分方向而区分的运动矢量差应用于基于合并运动矢量候选确定的一个基本运动矢量来确定当前块的预测运动矢量的模式。

根据实施例，可从比特流获得与合并运动矢量差模式有关的信息。根据实施例的与合并运动矢量差模式有关的信息可包括以下项中的至少一个：指示合并运动矢量差模式是否被应用于当前块的信息(以下称为合并差模式信息)、指示当前块的基本运动矢量的信息(以下称为合并候选信息)、指示从基本运动矢量到运动矢量候选的差分距离的信息(以下称为差分距离索引)、以及指示从基本运动矢量到运动矢量候选的差分方向的信息(以下称为差分方向索引)。

帧间预测信息获得器1710可从与编码单元、变换单元、最大编码单元、条带单元和画面单元中的至少一个单元相应的等级获得与合并运动矢量差模式有关的信息。

帧间预测执行器1720基于比特流中包括的信息来确定当前块的运动矢量。

帧间预测执行器1720可基于包括在比特流中的信息来验证合并运动矢量差模式是否被应用于当前块。指示是否应用合并运动矢量差模式的信息可包括标志或索引。

根据实施例，当跳过模式或合并模式被应用于当前块时，帧间预测信息获得器1710可从比特流提取指示是否应用合并运动矢量差模式的信息。

当合并运动矢量差模式被应用于当前块时，可根据距基本运动矢量的可变的差分距离和差分方向来设置运动矢量候选。

差分距离是基于基本像素单位(例如，1/4像素单位)确定的值，并且可指示相差多少基本像素单位。例如，当基本运动矢量和运动矢量之间的差分距离是1时，运动矢量和基本运动矢量相差与一个1/4像素单位相应的像素距离。差分距离可具有与整数、有理数或无理数相应的值。

当能够由当前块的运动矢量指示的最小像素单位与基本像素单位相同时，帧间预测执行器1720可根据预定的差分距离来确定运动矢量。

然而，当能够由当前块的运动矢量指示的最小像素单位与基本像素单位不同时，帧间预测执行器1720可对预定的差分距离进行缩放，然后基于缩放的差分距离来确定用于基本运动矢量的运动矢量候选。

在当前块的运动矢量能够指示与整数像素单位、1/2像素单位、1/4像素单位和1/8像素单位相应的像素时，能够由当前块的运动矢量指示的最小像素单位是1/8像素单位。另外，当基本像素单位是1/4像素单位时，帧间预测执行器1720可放大用于确定运动矢量的差分距离。

根据实施例，帧间预测执行器1720可根据基本像素单位与能够由当前块的运动矢量指示的最小像素单位的比率来缩放差分距离。

根据实施例，当基本像素单位大于能够由当前块的运动矢量指示的最小像素单位时，帧间预测执行器1720可放大差分距离。

根据实施例，可从在跳过模式和合并模式下使用的合并候选列表确定当前块的基本运动矢量。合并候选列表可包括在空间和时间上与当前块有关的邻近块。在空间和时间上与当前块有关的邻近块可包括在当前块之前解码的块。因此，根据实施例的基本运动矢量可根据从合并候选列表确定的邻近块的运动矢量被确定。

在空间上与当前块有关的邻近块可包括例如位于当前块的左侧的块和位于当前块的顶部的块，但不限于此。此外，在时间上与当前块有关的邻近块可包括例如在与包括当前块的当前画面不同的参考画面中包括的块之中与当前块位于同一点的块以及在空间上与所述同一点处的块相邻的块。

根据实施例，帧间预测执行器1720可将与当前块有关的邻近块的运动矢量确定为基本运动矢量。帧间预测执行器1720可通过使用从比特流获得的合并候选信息在合并候选列表中确定基本运动矢量。

根据实施例的合并候选信息可指示至多到合并候选列表中的第二候选。

可选地，帧间预测执行器1720可修改与当前块有关的邻近块的运动矢量，并且将修改的运动矢量确定为基本运动矢量。根据实施例，帧间预测执行器1720可按照与在高效视频编码(HEVC)标准的高级运动矢量预测(AMVP)模式下确定运动矢量预测因子的候选列表的方法相同的方式来确定基本运动矢量。

根据实施例，帧间预测执行器1720可将分量为0的零运动矢量确定为基本运动矢量。

根据实施例的当前块的合并候选信息可经由固定长度编码(FLC)方法、一元编码方法或截断一元编码方法被编码，然后被包括在比特流中。例如，当合并候选信息经由FLC方法被解码时，cMax值可以是1。

在当前块的基本运动矢量被确定时，帧间预测执行器1720可通过将基本运动矢量应用于合并运动矢量差来确定运动矢量。

帧间预测信息获得器1710可从比特流获取指示差分距离索引和差分方向索引中的至少一个的信息，并且帧间预测执行器1720可基于差分距离索引和差分方向索引中的至少一个确定合并运动矢量差。可从基本运动矢量来确定当前块的运动矢量。

根据实施例的帧间预测信息获得器1710可经由截断一元编码方法对差分距离索引进行解码，并且此时，cMax值可以是7并且cRiceParam值可以是0。根据实施例的帧间预测信息获得器1710可经由FLC方法对差分方向索引进行解码，并且此时，cMax值可以是3并且cRiceParam值可以是0。

根据实施例的帧间预测执行器1720可根据基本像素单位与能够由当前块的运动矢量指示的最小像素单位的比率来对从比特流验证的差分距离进行缩放。当基本像素单位(例如1/4像素单位)大于能够由当前块的运动矢量指示的最小像素单位(例如1/8像素单位)时，帧间预测执行器1720可放大从比特流验证的差分距离。

缩放后的差分距离可指示相差多少最小像素单位。例如，当能够由当前块的运动矢量指示的最小像素单位是1/8像素单位并且缩放后的差分距离是2时，帧间预测执行器1720可确定与基本运动矢量相差与两个1/8像素单位相应的像素距离的运动矢量。

如上所述，基于基本像素单位预先确定的差分距离被用于基于从合并候选列表确定的基本运动矢量来确定当前块的运动矢量，并且因为指示基于基本像素单位的差分距离的信息经由比特流被用信号传送，所以具有能够指示与基本像素单位不同的最小像素单位的精度的帧间预测执行器1720根据最小像素单位对经由比特流用信号传送的差分距离进行缩放。

基于基本像素单位确定的差分距离和基于最小像素单位缩放的差分距离关于像素距离可相同。

根据实施例，指示能够由当前块的运动矢量指示的最小像素单位的信息可被包括在比特流中。帧间预测信息获得器1710可从与块、条带和画面中的至少一个等级相应的比特流获得指示最小像素单位的信息。

用于确定当前块的运动矢量的差分距离索引和差分方向索引中的至少一个可从变换单元等级、编码单元等级、最大编码单元等级、条带等级或画面等级的比特流获得。

根据实施例的帧间预测信息获得器1710可通过使用上下文信息(上下文变量)执行熵解码来获得差分距离索引中的一些二进制位，并且可通过在旁路模式下执行熵解码来获得其余二进制位。

通过对比特流以上下文自适应二进制算术编码(CABAC)方式执行熵解码，可提取语法元素的每个二进制位，并且可将上下文信息用于每个二进制位。在不使用上下文信息的情况下，可以以等概率(0.5)执行旁路模式下的解码、基于概率的熵解码。对于当前二进制位的熵解码，确定是否使用上下文信息以及将使用哪个上下文信息。

根据实施例的帧间预测信息获得器1710可使用上下文信息对比特流执行熵解码，并且获得合并运动矢量差的距离索引的第一二进制位。此外，帧间预测信息获得器1710可通过在旁路模式下对比特流执行熵解码来获得合并运动矢量差的距离索引的其余二进制位。

根据实施例的帧间预测信息获得器1710可在旁路模式下对比特流执行熵解码，以获得指示差分方向索引的两个比特的二进制位。

帧间预测信息获得器1710可从变换单元等级、编码单元等级、最大编码单元等级、条带等级或画面等级的比特流获得指示残差运动矢量的信息。

下面将参照图21描述可在根据实施例的合并运动矢量差模式下从基本运动矢量确定的运动矢量候选。

图21示出根据实施例的运动矢量候选的位置。

根据实施例的帧间预测执行器1720可通过将合并运动矢量差应用于基本运动矢量来确定当前块的运动矢量。根据实施例，在当前块的预测方向是双向时，合并运动矢量差可仅针对一个单向被包括在比特流中。例如，指示合并运动矢量差的信息可仅针对列表0方向和列表1方向中的任一个的单向被包括在比特流中。

图21示出可在双向预测中在合并运动矢量差模式下确定的运动矢量。

从合并候选列表确定当前画面2100的当前块2110的L0方向上的基本运动矢量2125和L1方向上的基本运动矢量2135。L0方向上的基本运动矢量2125指示在L0参考画面2120中的虚线形状的位置，并且L1方向上的基本运动矢量2135指示在L1参考画面2130中的虚线形状的位置。

然而，在合并运动矢量差模式下，可基于差分方向索引和差分距离索引将运动矢量差应用于L1方向上的基本运动矢量2135和基本运动矢量2125中的每一个。

例如，可根据差分距离索引确定基本运动矢量和运动矢量候选之间的距离是s、2s还是3s等。当差分距离索引指示s时，作为将运动矢量差应用于基本运动矢量的结果而生成的运动矢量候选可指示L0参考画面2120和L1参考画面2130中的黑色圆圈的位置。当差分距离索引指示2s时，作为将运动矢量差应用于基本运动矢量的结果而生成的运动矢量候选可指示L0参考画面2120和L1参考画面2130中的白色圆圈的位置。

例如，可根据差分方向索引确定基本运动矢量和运动矢量候选之间的方向在x轴方向上和y轴方向上是+还是-。特别地，差分方向索引可在(x，y)轴方向上指示(+，0)、(-，0)、(0，+)和(0，-)之一。

因此，可通过组合差分距离索引和差分方向索引来确定指示L0参考画面2120和L1参考画面2130中的一个位置的运动矢量。

在下文中，将参考图22描述确定可从基本运动矢量确定的运动矢量候选的方法。图22是示出在坐标平面上显示的运动矢量候选的示图，并且示出根据基于与1/4像素单位相应的基本像素单位预先确定的差分距离而确定的运动矢量候选。

参照图22，帧间预测执行器1720可确定针对配置运动矢量候选根据特定形状所定位的候选。该特定形状可类似于诸如菱形或矩形或圆形的多边形。

帧间预测执行器1720可将距与基本运动矢量相应的点的均匀差分距离中的候选确定为运动矢量候选。帧间预测执行器1720可确定距预设点的第一差分距离中的运动矢量候选，确定距预设点的第二差分距离中的运动矢量候选，并且确定距预设点的第n差分距离中的运动矢量候选。可根据用户的定义来确定差分距离。可选地，帧间预测执行器1720可基于与当前块、时间层或画面组(GOP)有关的信息直接确定差分距离，或者经由比特流获得指示用于确定运动矢量候选的差分距离的信息。

帧间预测执行器1720可根据在比与当前块相应的等级更高的高等级中确定的差分距离来确定用于确定当前块的运动矢量候选的差分距离。

可针对每个差分距离单独地确定运动矢量候选的数量。帧间预测执行器1720可根据关于在比与当前块相应的等级更高的高等级中确定的数量的信息来确定针对当前块的每个差分距离的运动矢量候选的数量。

图22示出每个差分距离中的运动矢量候选的数量为4的情况。在图22中，存在3个差分距离，但是差分距离的数量不限于3。

参照图22，帧间预测执行器1720可基于基本运动矢量(x，y)2201来确定具有菱形形状分布的运动矢量候选。

帧间预测执行器1720可确定距基本运动矢量(x，y)2201的差分距离为1的运动矢量候选(x+1，y)2202、(x-1，y)2203、(x，y+1)2204和(x，y-1)2205。

帧间预测执行器1720可确定距基本运动矢量(x，y)2201的差分距离为2的运动矢量候选(x+2，y)2206、(x-2，y)2207、(x，y+2)2208和(x，y-2)2209。

帧间预测执行器1720可确定距基本运动矢量(x，y)2201的差分距离为4的运动矢量候选(x+4，y)2210、(x-4，y)2211、(x，y+4)2212和(x，y-4)2213。

根据实施例，帧间预测执行器1720可针对每个基本运动矢量确定位于不同差分距离中的运动矢量候选。例如，从多个基本运动矢量中，可针对第一基本运动矢量确定差分距离为1的运动矢量候选，并且可针对第二基本运动矢量确定差分距离为2的运动矢量候选。可选地，例如，可针对第一基本运动矢量确定差分距离为1的运动矢量候选和差分距离为2的运动矢量候选，并且可针对第二基本运动矢量确定差分距离为4的运动矢量候选和差分距离为8的运动矢量候选。

当以1：1的方式将不同的差分距离映射到基本运动矢量时，帧间预测信息获得器1710可从比特流仅获得指示当前块的基本运动矢量的信息或指示差分距离的信息并且确定用于指定当前块的运动矢量的差分距离和当前块的基本运动矢量。

如上所述，可基于基本像素单位来确定用于确定运动矢量候选的差分距离，并且当能够由当前块的运动矢量指示的最小像素单位不同于基本像素单位时，帧间预测执行器1720可对用于针对每个基本运动矢量配置候选组的预设差分距离进行缩放。

在当前块的运动矢量能够指示与整数像素单位、1/2像素单位、1/4像素单位和1/8像素单位相应的像素时，能够由当前块的运动矢量指示的最小像素单位是1/8像素单位。此外，当基本像素单位是1/4像素单元时，帧间预测执行器1720可放大差分距离。根据实施例，帧间预测执行器1720可根据基本像素单位与能够由当前块的运动矢量指示的最小像素单位的比率来放大差分距离。当能够由当前块的运动矢量指示的最小像素单位是m像素单位，基本像素单位是n像素单位并且差分距离是k时，帧间预测执行器1720可将差分距离k按照k×n/m来放大。

根据实施例的帧间预测信息获得器1710可将当前块的预测模式确定为跳过模式和合并模式之一。在跳过模式或合并模式下，根据实施例的帧间预测执行器1720可生成包括被参考用于在跳过模式或合并模式下预测当前块的运动矢量的邻近块的合并候选列表。

在跳过模式或合并模式下，帧间预测信息获得器1710可获得指示是否使用合并运动矢量差和从当前块的合并候选列表确定的运动矢量的合并差模式信息。当根据合并差模式信息使用合并运动矢量差时，可根据使用合并运动矢量差和从当前块的合并候选列表确定的运动矢量的合并运动矢量差模式来执行预测。当根据合并差模式信息使用合并运动矢量差时，帧间预测信息获得器1710可从比特流获得合并候选信息。根据实施例的帧间预测执行器1720可根据基于合并候选信息在合并候选列表中确定的一个候选来确定基本运动矢量。帧间预测执行器1720可通过使用当前块的合并运动矢量差的距离索引和合并运动矢量差的方向索引来确定合并运动矢量差，并且可通过使用基本运动矢量和合并运动矢量差来确定当前块的运动矢量。

根据实施例的重建器1730可通过使用当前块的运动矢量来重建当前块。重建器1730可通过使用当前块的运动矢量来确定参考画面中的参考块，并且从参考块中包括的参考样点中确定与当前块相应的预测样点。

当根据实施例的当前块的预测模式是合并模式并且选择了合并运动矢量差模式时，帧间预测执行器1720可从合并候选列表确定当前块的基本运动矢量并且通过使用基本运动矢量和合并运动矢量差来确定当前块的运动矢量。在当前块的预测模式是合并模式时，视频解码设备1700可从比特流解析当前块的变换系数，并且通过对变换系数执行反量化和逆变换来获得残差样点。重建器1730可通过组合当前块的预测样点和当前块的残差样点来确定当前块的重建样点。

当根据实施例的当前块的预测模式是跳过模式并且选择了合并运动矢量差模式时，帧间预测执行器1720可通过使用合并运动矢量差和从合并候选列表确定的基本运动矢量来确定当前块的运动矢量。然而，因为当前块的预测模式是跳过模式，所以视频解码设备1700不从比特流解析当前块的变换系数，因此无法获得残差样点。在跳过模式下，在没有残差样点的情况下，重建器1730可将当前块的预测样点确定为当前块的重建样点。

在下文中，将参照图18描述通过获得预测信息在跳过模式或合并模式下执行合并运动矢量差模式以执行帧间预测的视频解码方法。

图18是根据实施例的视频解码方法的流程图。

在操作1810，在当前块的预测模式被确定为跳过模式或合并模式时，帧间预测执行器1720可生成包括被参考用于对当前块的运动矢量进行预测的邻近块的合并候选列表。

在操作1820，帧间预测信息获得器1710可获得指示是否使用合并运动矢量差和从当前块的合并候选列表确定的运动矢量的合并差模式信息。换句话说，合并差模式信息指示在当前块处于跳过模式或合并模式时是否应用合并运动矢量差模式。

帧间预测信息获得器1710可使用上下文信息执行熵解码，以在跳过模式或合并模式下获得合并差模式信息。

当获得合并差模式信息时，执行操作1830。

在操作1830，当根据合并差模式信息使用合并运动矢量差时，帧间预测信息获得器1710可从比特流获得合并候选信息。合并候选信息指示合并候选列表中的一个候选。帧间预测信息获得器1710可根据基于合并候选信息从合并候选列表确定的一个候选来确定基本运动矢量。

帧间预测执行器1720可基于在跳过模式或合并模式下获得的合并差模式信息来确定合并运动矢量差模式是否被选择用于当前块。当合并运动矢量差模式被选择用于当前块时，即，当合并运动矢量差和从当前块的合并候选列表确定的运动矢量被使用时，帧间预测信息获得器1710可从比特流获得合并候选信息。

合并候选信息是1比特的信息。另外，可通过将一条上下文信息用于合并候选信息的第一二进制位来获得合并候选信息。帧间预测信息获得器1710可在跳过模式或合并模式下使用上下文信息执行熵解码，以获得合并候选信息。

当在跳过模式或合并模式下选择合并运动矢量差模式时，允许通过合并候选信息选择的最大候选数量可小于包括在合并候选列表中的候选的最大数量。例如，合并候选信息是1比特的标志，因此合并候选信息可指示合并候选列表中的最多两个候选之一。

根据实施例，当在合并模式下执行预测时，获得指示合并候选列表中的一个候选的一般合并索引所需的上下文信息的条数与获得合并候选信息所需的上下文信息的条数可相同。

在操作1840，帧间预测执行器1720可通过使用当前块的合并运动矢量差的距离索引和合并运动矢量差的方向索引来确定当前块的合并运动矢量差，并通过使用基本运动矢量和合并运动矢量差来确定当前块的运动矢量。

帧间预测信息获得器1710可通过在旁路模式下对比特流执行熵解码来获得指示合并运动矢量差的方向索引的两个二进制位。帧间预测信息获得器1710可通过使用上下文信息对比特流执行熵解码来获得指示合并运动矢量差的距离索引的第一二进制位，并且通过在旁路模式下执行熵解码来获得指示合并运动矢量差的距离索引的其余二进制位。

在操作1850，根据实施例的重建器1730可通过使用当前块的运动矢量来重建当前块。重建器1730可通过使用当前块的运动矢量来确定参考画面中的参考块，并且从参考块中包括的参考样点中确定与当前块相应的预测样点。重建器1730可通过在除跳过模式之外的预测模式下将当前块的预测样点与当前块的残差样点相加来确定当前块的重建样点。当在跳过模式下不存在残差样点时，可仅利用当前块的预测样点来确定当前块的重建样点。

在既不是跳过模式也不是合并模式的一般运动矢量预测模式(AMVP或高级时间运动矢量预测(ATMVP))下，视频解码设备1700获得运动矢量预测因子索引和运动矢量差。视频解码设备1700可确定运动矢量预测因子列表中由运动矢量预测因子索引指示的运动矢量预测因子，并且通过组合运动矢量预测因子和运动矢量差信息来确定运动矢量。

与一般运动矢量预测模式相比，跳过模式和合并模式不使用运动矢量差。然而，当在跳过模式或合并模式下选择合并运动矢量差模式时，使用合并运动矢量差。与一般运动矢量预测模式下的运动矢量差相比，合并运动矢量差模式下的合并运动矢量差被简明地表示出。

例如，表示L0预测方向或L1预测方向上的一般运动矢量差所需的信息包括指示运动矢量差的绝对值是否大于0的信息abs_mvd_greater0_flag、指示运动矢量差的绝对值是否大于1的信息abs_mvd_greater1_flag、指示通过从运动矢量差的绝对值减去2获得的值的信息abs_mvd_minus2、和指示运动矢量差的符号的信息mvd_sign_flag。

另一方面，表示L0预测方向或L1预测方向上的合并运动矢量差所需的信息仅是差分方向信息和差分距离信息。因此，因为可仅通过使用差分方向信息和差分距离索引来表示合并运动矢量差，所以与用信号传送一般运动矢量差所需的比特量相比，用信号传送合并运动矢量差所需的比特量可以非常低。

在下文中，将参照图19描述通过在跳过模式或合并模式下选择合并运动矢量差模式来执行帧间预测的视频编码设备。

图19是根据实施例的视频编码设备的框图。

参照图19，根据实施例的视频编码设备1900可包括帧间预测执行器1910和帧间预测信息生成器1920。

视频编码设备1900可对通过执行帧间预测确定的运动信息进行编码，并且以比特流的形式输出编码的运动信息。

根据实施例的视频编码设备1900可包括用于控制帧间预测执行器1910和帧间预测信息生成器1920的中央处理器(未示出)。可选地，帧间预测执行器1910和帧间预测器预测信息生成器1920可由它们自己的处理器(未示出)进行操作，并且处理器可彼此***地进行操作以操作视频编码设备1900。可选地，可根据视频编码设备1900的外部处理器(未示出)的控制来控制帧间预测执行器1910和帧间预测信息生成器1920。

视频编码设备1900可包括一个或更多个数据存储器(未示出)，其中，所述数据存储器存储帧间预测执行器1910和帧间预测信息生成器1920的输入/输出数据。视频编码设备1900可包括用于控制数据存储器的数据输入和输出的存储器控制器(未示出)。

视频编码设备1900可通过与内部视频编码处理器或外部视频编码处理器相连接地操作来执行包括预测的图像编码操作，以便对图像进行编码。根据实施例的视频编码设备1900的内部视频编码处理器不仅可作为单独的处理器而且可作为包括图像编码处理模块的中央处理设备或图形处理设备来执行基本的图像编码操作。

根据实施例的帧间预测执行器1910可通过对当前块执行帧间预测来确定当前块的运动矢量。

当在跳过模式和合并模式之一下对当前块执行帧间预测时，根据实施例的帧间预测信息生成器1920可生成包括被参考用于对当前块的运动矢量进行预测编码的邻近块的合并候选列表。

根据实施例的帧间预测信息生成器1920可确定在跳过模式或合并模式下是否使用从当前块的合并候选列表确定的基本运动矢量和合并运动矢量差。当使用合并运动矢量差时，帧间预测信息生成器1920可生成合并候选信息并且对合并候选信息的比特字符串执行熵编码。合并候选信息指示合并候选列表中的基本运动矢量。

帧间预测信息生成器1920可生成与基本运动矢量和当前块的运动矢量之间的差相应的合并运动矢量差的距离索引以及合并运动矢量差的方向索引。帧间预测信息生成器1920可对合并运动矢量差的距离索引的比特字符串执行熵编码，并且对合并运动矢量差的方向索引执行熵编码。

在下文中，将参照图20描述视频编码设备1900通过在跳过模式或合并模式下选择合并运动矢量差模式来执行帧间预测的处理。

图20是根据实施例的视频编码方法的流程图。

在操作2010，当在跳过模式和合并模式之一下对当前块执行帧间预测时，帧间预测执行器1910可生成包括被参考用于预测当前块的运动矢量的邻近块的合并候选列表。在操作2020，帧间预测信息生成器1920可生成指示是否使用从当前块的合并候选列表确定的基本运动矢量和合并运动矢量差的合并差模式信息。

在操作2030，当使用合并运动矢量差时，帧间预测信息生成器1920可从合并候选列表生成指示一个基本运动矢量的合并候选信息。帧间预测信息生成器1920可通过使用一条上下文信息来对合并候选信息的比特字符串执行熵编码。

在操作2040，帧间预测信息生成器1920可生成与基本运动矢量和当前块的运动矢量之间的差相应的合并运动矢量差的距离索引以及合并运动矢量差的方向索引。

根据实施例的帧间预测执行器1910可确定指示参考画面中的参考块的当前块的运动矢量。

根据实施例的帧间预测执行器1910可将当前块的运动矢量的预测模式确定为跳过模式和合并模式之一。帧间预测信息生成器1920可生成指示当前块的预测模式是否为跳过模式的跳过模式信息和指示预测模式是否为合并模式的合并模式信息。

在当前块的预测模式是跳过模式或合并模式时，帧间预测信息生成器1920可确定当前块的运动矢量是否在使用从当前块的合并候选列表确定的基本运动矢量和合并运动矢量差的合并运动矢量差模式下被预测。帧间预测信息生成器1920可生成指示运动矢量是否在合并运动矢量差模式下被预测的合并差模式信息。

当根据合并运动矢量差模式预测运动信息时，根据实施例的帧间预测信息生成器1920可确定指示合并候选列表中的基本运动矢量的合并候选信息。帧间预测信息生成器1920可通过将一条上下文信息应用于合并候选信息来执行熵编码，以对指示合并候选列表中的一个候选的合并候选信息进行编码。

根据实施例，来自合并候选列表的可由合并候选信息指示的候选的数量最多为2，因此，合并候选信息可以是1比特的信息。

帧间预测信息生成器1920可确定当前块的运动矢量与基本运动矢量之间的合并运动矢量差，并且生成当前块的合并运动矢量差的距离索引和合并运动矢量差的方向索引。

当根据实施例的当前块的预测模式是合并模式并且选择了合并运动矢量差模式时，帧间预测信息生成器1920可生成指示来自合并候选列表的当前块的基本运动矢量的合并候选信息，并且生成用于指示当前块的运动矢量与基本运动矢量之间的合并运动矢量差的差分距离信息和差分方向信息。

在当前块的预测模式是合并模式时，视频编码设备1900可将由当前块的运动矢量指示的参考块的样点确定为当前块的预测样点。视频编码设备1900可确定作为原始样点和当前块的预测样点之间的差的残差样点。视频编码设备1900可对通过对当前块的残差样点执行变换和量化而生成的变换系数进行编码。

根据实施例，在当前块的预测模式是跳过模式时，仅利用当前块的预测样点对当前块进行编码，因此视频编码设备1900不对当前块的残差样点进行编码。即使当根据实施例的当前块的预测模式是跳过模式并且选择了合并运动矢量差模式时，帧间预测信息生成器1920也可对合并差模式信息、合并候选信息、差分距离信息和差分方向信息进行编码，而不对残差样点进行编码。

当在合并运动矢量差模式下对运动矢量进行编码时，帧间预测信息生成器1920可通过将一条上下文信息应用于合并候选信息来执行熵编码。合并候选信息指示合并候选列表中的一个候选。根据实施例的合并候选信息是1比特的信息，因此可通过使用一条上下文信息用于第一二进制位来获得合并候选信息。

根据实施例，当在合并模式下执行预测时，获得指示合并候选列表中的一个候选的一般合并索引所需的上下文信息的条数与获得合并候选信息所需的上下文信息的条数可相同。

帧间预测信息生成器1920可对当前块的合并运动矢量差的距离索引和合并运动矢量差的方向索引执行熵编码。

根据实施例的帧间预测信息生成器1920可分别在旁路模式下对指示合并运动矢量差的方向索引的两个二进制位执行熵编码。帧间预测信息生成器1920可通过使用上下文信息对指示合并运动矢量差的距离索引的第一二进制位执行熵编码，并且分别在旁路模式下对指示合并运动矢量差的距离索引的其余二进制位执行熵编码。

图23示出根据实施例的合并候选信息、合并差分距离索引和合并差分方向索引的值和含义。

合并差分距离索引指示合并运动矢量差的距离索引。合并差分方向索引指示合并运动矢量差的方向索引。

视频解码设备1700可基于合并候选信息、合并差分距离索引和合并差分方向索引来确定当前块的运动矢量。

图23的表2600示出根据实施例的合并候选信息和与其相应的运动矢量候选。根据实施例的合并候选列表包括四个运动矢量候选(第一MV候选、第二MV候选、第三MV候选和第四MV候选)，并且合并候选信息可以以指示它们之一的索引(0、1、2或3)被显示。

在合并运动矢量差模式下，可将合并候选列表中的由合并候选信息指示的一个运动矢量候选确定为基本运动矢量。

在图23的表2610中，根据实施例的合并差分距离索引是0到7之间的整数，并且每个索引可根据截断一元编码方法被二值化。合并差分距离索引可指示2^N之一，其中，N是0至7。合并差分距离是基于基本像素单位确定的，并且当基本像素单位是1/4时，与合并差分距离索引0相应的合并运动矢量差分距离可表示1/4像素距离，并且与合并差分距离索引1相应的合并运动矢量差分距离可表示1/2像素距离。与合并差分距离索引7相应的合并运动矢量差分距离可表示32像素距离。

如上所述，当能够由当前块的运动矢量指示的最小像素单位小于基本像素单位时，可根据最小像素单位与基本像素单位的比率来缩放合并运动矢量差分距离。例如，当基本像素单位是1/4像素单位并且最小像素单位是1/8像素单位时，并且当从比特流获得的指示合并运动矢量差分距离的索引是0时，与索引0相应的合并运动矢量差分距离1可被放大到2。

此外，在表2620中，二进制字符串00的合并运动矢量差分方向索引表示基于基本运动矢量沿X轴的+方向改变的运动矢量候选，并且二进制字符串11的合并运动矢量差分方向索引表示基于基本运动矢量沿Y轴的-方向改变的运动矢量候选。

图23的合并候选信息、合并差分距离索引和合并差分方向索引仅是示例，并且在本公开中提出的在合并运动矢量差模式下可用的索引不限于此。

例如，在合并运动矢量差模式下可从合并候选列表选择的候选的数量可被限制为2，并且合并候选信息可以是1比特的索引。

图24示出根据实施例的用于通过使用基本运动矢量和合并运动矢量差来获得运动矢量的等式。

mvLX[x][y][n]表示当前块的运动矢量。x、y表示当前块的x、y坐标，并且n表示运动矢量mvLX的水平方向分量和垂直方向分量之一。mvLX[x][y][0]表示运动矢量mvLX的水平方向分量，而mvLX[x][y][1]表示运动矢量mvLX的垂直方向分量。

mxLXN[m]表示在合并候选列表中由合并候选信息指示的基本运动矢量。m表示基本运动矢量mvLXN的水平方向分量和垂直方向分量之一。mvLXN[0]表示基本运动矢量mvLXN的水平方向分量，而mvLXN[1]表示基本运动矢量mvLXN的垂直方向分量。

refineMxLX[l]表示合并运动矢量差。l表示合并运动矢量差refineMxLX的水平方向分量和垂直方向分量之一。refineMxLX[0]表示合并运动矢量差refineMxLX的水平方向分量，而refineMxLX[1]表示合并运动矢量差refineMxLX的垂直方向分量。

在mvLX、mxLXN和refineMxLX中，LX表示L0预测方向和L1预测方向之一。因此，mvL0、mxL0N和refineMxL0表示L0预测方向上的运动矢量、基本运动矢量和合并运动矢量差，而mvL1、mxL1N和refineMxL1表示L1预测方向上的运动矢量、基本运动矢量和合并运动矢量差。

根据实施例的视频解码设备1700从比特流获得合并候选信息，并且确定来自合并候选列表的由合并候选信息指示的基本运动矢量的水平方向分量mxLXN[0]和基本运动矢量的垂直方向分量mxLXN[1]。

根据实施例的视频解码设备1700从比特流获得合并差分方向索引和合并差分距离索引，并且通过使用合并差分方向索引和合并差分距离索引来确定合并运动矢量差的水平方向分量refineMxLX[0]和合并运动矢量差的垂直方向分量refineMxLX[1]。

根据实施例的视频解码设备1700可通过将基本运动矢量的水平方向分量mxLXN[0]与合并运动矢量差的水平方向分量refineMxLX[0]相加来获得当前块的运动矢量的水平方向分量mvLX[0][0][0]，并且通过将基本运动矢量的垂直方向分量mxLXN[1]与合并运动矢量差的垂直方向分量refineMxLX[1]相加来获得当前块的运动矢量的垂直方向分量mvLX[0][0][1]。

图25示出根据实施例的用于获得合并差模式信息、合并候选信息、合并差分距离索引和合并差分方向索引的语法。

根据实施例的视频解码设备1700可从比特流的coding_unit语法获得指示当前块是否在跳过模式下被预测的语法元素cu_skip_flag。当在跳过模式下预测当前块时(if(cu_skip_flag))，视频解码设备1700可获得指示当前块是否在合并运动矢量差模式下被预测的语法元素umve_flag。当umve_flag为1时，视频解码设备1700可调用umve_idx_coding语法。视频解码设备1700可从比特流的umv_idx_coding语法获得与合并候选信息相应的语法元素base_mv_idx、与合并运动矢量差的距离索引相应的语法元素distance_idx以及与合并运动矢量差的方向索引相应的语法元素direction_idx。

当不在跳过模式下预测当前块时(当cu_skip_flag不为0时)，视频解码设备1700可获得指示当前块是否在合并模式下被预测的语法元素merge_flag。当在合并模式下预测当前块时(if(merge_flag))，可获得指示当前块是否在合并运动矢量差模式下被预测的语法元素umve_flag。当umve_flag为1时，视频解码设备1700可调用umve_idx_coding语法。视频解码设备1700可从比特流的umv_idx_coding语法获得与合并候选信息相应的语法元素base_mv_idx、与合并差分距离索引相应的语法元素distance_idx以及与合并差分方向索引相应的语法元素direction_idx。

因此，视频解码设备1700可获得指示当前块是否在跳过模式和合并模式下以合并运动矢量差模式被预测的语法元素umve_flag。即使当分别获得跳过模式的umve_flag和合并模式的umve_flag时，也可使用相同的上下文信息经由熵解码来获得这两个umve_flag。

此外，视频解码设备1700可在跳过模式和合并模式下获得合并候选信息base_mv_idx。即使当分别获得跳过模式的base_mv_idx和合并模式的base_mv_idx时，也可使用相同的上下文信息经由熵解码来获得这两个base_mv_idx。

图26示出根据另一实施例的用于获得合并差模式信息、合并候选信息、合并差分距离索引和合并差分方向索引的语法。

根据另一实施例的视频解码设备1700可从比特流的merge_data语法获得指示当前块是否在合并模式下被预测的语法元素regular_merge_flag。当在合并模式下预测当前块时(if(regular_merge_flag＝＝1))，视频解码设备1700可获得指示当前块是否在合并运动矢量差模式下被预测的语法元素mmvd_merge_flag。当在合并运动矢量差模式下预测当前块时(if(mmvd_merge_flag＝＝1))，视频解码设备1700可获得与合并候选信息相应的语法元素mmvd_cand_flag、与合并运动矢量差的距离索引相应的语法元素mmvd_distance_idx、与合并运动矢量差的方向索引相应的语法元素mmvd_direction_idx。

即使当在跳过模式下预测当前块时，视频解码设备1700也可隐式地将regular_merge_flag视为1。因此，当在跳过模式下预测当前块时，视频解码设备1700可获得指示当前块是否在合并运动矢量差模式下被预测的语法元素mmvd_merge_flag，并且当在合并运动矢量差模式下预测当前块时(if(mmvd_merge_flag＝＝1))，视频解码设备1700可获得与合并候选信息相应的语法元素mmvd_cand_flag、与合并运动矢量差的距离索引相应的语法元素mmvd_distance_idx以及与合并运动矢量差的方向索引相应的语法元素mmvd_direction_idx。

根据merge_data语法，视频解码设备1700可在跳过模式和合并模式下经由相同的语法元素mmvd_merge_flag、mmvd_cand_flag、mmvd_distance_idx和mmvd_direction_idx分析与合并运动矢量差模式有关的信息(当前块是否在合并运动矢量差模式下被预测、合并候选信息、合并运动矢量差的距离索引和合并运动矢量差的方向索引)。然而，因为当前块的预测模式不能同时为跳过模式和合并模式，所以跳过模式的mmvd_merge_flag、mmvd_cand_flag、mmvd_distance_idx和mmvd_direction_idx与合并模式的mmvd_distance_idx、mmvd_direction_idx、mmvd_distance_idx和mmvd_direction_idx无法同时获得，并且跳过模式下的与合并运动矢量差模式有关的信息与合并模式下的与合并运动矢量差模式有关的信息可被解释为单独的信息。

视频解码设备1700获得指示当前块是否在跳过模式和合并模式中的每一个模式下以合并运动矢量差模式被预测的语法元素mmvd_merge_flag，但是可使用一条上下文信息经由熵解码来获得mmvd_merge_flag。

此外，视频解码设备1700可在跳过模式和合并模式下获得合并候选信息mmvd_cand_flag。即使当分别获得跳过模式的mmvd_cand_flag和合并模式的mmvd_cand_flag时，也可使用相同的上下文信息经由熵解码来获得两个mmvd_cand_flag。

图27是根据另一实施例的用于确定合并相关信息的二值化的参考表。

例如，指示合并运动矢量差模式下的预测的语法元素mmvd_merge_flag的二值化方法是固定长度(FL)二值化，并且此时，cMax参数值为1。与合并候选信息相应的mmvd_cand_flag的二值化也是FL二值化，并且此时，cMax参数值可以是1。

与合并运动矢量差的距离索引相应的语法元素mmvd_distance_idx的二值化是截断莱斯(TR)二值化，并且此时，cMax参数值可以是7，并且cRiceParam值可以是0。与合并运动矢量差的方向索引相应的语法元素mmvd_direction_idx的二值化是FL二值化，并且此时，cMax参数值可以是3。

图28是根据另一实施例的用于确定合并相关信息的上下文信息的参考表。

图28的参考表示出对每个语法元素的每个二进制位索引执行熵解码所需的上下文信息。

例如，对指示合并运动矢量差模式下的预测的语法元素mmvd_merge_flag的二进制位索引0(即，第一二进制位)进行解码所需的上下文信息为0。因为mmvd_merge_flag是1比特信息，所以不定义用于除二进制位索引0之外的二进制位的上下文信息(na)。因此，对指示视频解码设备1700是否在合并运动矢量差分模式下执行预测的语法元素mmvd_merge_flag(即，对合并差模式信息)执行熵解码所需的上下文信息的条数可以是1。

此外，当在合并模式下执行预测时，视频解码设备1700可从比特流获得指示来自合并候选列表的一个运动矢量候选的信息。视频解码设备1700可经由熵解码获得与指示来自合并候选列表的运动矢量候选的信息相应的语法元素merge_idx。对merge_idx的二进制位索引0(即，第一二进制位)进行解码所需的上下文信息可以是0。可在旁路模式下对merge_idx的其余二进制位进行解码。

因此，获得指示视频解码设备1700是否在合并运动矢量差模式下执行预测的信息和指示来自合并候选列表的运动矢量候选的信息所需的上下文信息的条数可相同，即1。

需要一条上下文信息来获得与合并运动矢量差的距离索引相应的语法元素mmvd_distance_idx的第一二进制位，并且可在旁路模式下对其余的二进制位进行解码，而无需上下文信息。可在旁路模式下对与合并运动矢量差的方向索引相应的语法元素mmvd_direction_idx进行解码，而无需上下文信息。

在下文中，将描述根据另一实施例的视频解码设备1700和视频编码设备1900在合并运动矢量差模式下配置合并候选列表的方法。

用于配置合并候选列表的现有方法对可包括在合并候选列表中的邻近块的运动矢量进行比较，并且移除与已存在于合并候选列表中的运动矢量相同的运动矢量。然而，当配置仅用于合并运动矢量差模式的候选列表(在下文中，称为合并差模式候选列表)时，可通过应用不同于一般合并模式中的合并候选列表的方法来搜索更宽搜索范围的候选。

一般地，在配置合并差模式候选列表时存在候选的修剪处理器，但是当对一些候选部分地执行修剪处理时，基本运动矢量候选之间可能存在重叠候选。

因此，当使用两个或更多个基本运动矢量候选时，可添加修剪处理，使得基本运动矢量不重叠。当存在两个或更多个基本运动矢量候选并且两个运动矢量被识别为相同时，可添加在合并候选列表中不重叠的一个候选作为第二运动矢量候选。

此外，在首先用信号传送运动矢量分辨率之后，可仅另外用信号传送运动矢量差值+1和-1。这里，可在x方向和y方向上同时应用同一运动矢量差的偏移(距离)和符号(方向)。

作为另一示例，可在x方向和y方向上应用单独的运动矢量差的偏移和符号。

根据实施例的运动矢量分辨率信息可与用于在AMVP模式下预测运动矢量差的分辨率信息匹配。

当在合并运动矢量差模式下推导基本运动矢量候选时未从邻近块检测到运动矢量时，可使用零运动矢量(0，0)作为基本运动矢量候选，或者可使用特定运动矢量值作为默认值。

当在合并运动矢量差模式下配置合并差模式候选列表时，可使用关于现有合并候选列表的信息，或者可新配置和使用候选。属于合并差模式候选列表的合并候选的总数被确定为N(N：整数，诸如1、2、3等)。

合并差模式候选列表可包括以下项。

i)一般合并候选列表的第一候选

ii)通过修改合并差模式候选列表中的候选而获得的修改候选

ii-1)可通过将特定偏移应用于合并差模式候选列表的运动矢量来生成修改候选。可基于在帧中累积的信息(例如，基于历史的运动矢量)来确定偏移。可通过参考邻近块的合并运动矢量差的偏移来确定累积信息。可从在诸如条带或画面的高等级中获得的信息来确定偏移。

ii-2)可修改并使用合并差模式候选列表的参考画面索引。可基于在帧中累积的信息来确定参考画面索引。可基于邻近块的参考画面索引来确定累积信息。可在诸如条带或画面的高等级中获得累积信息。这里，可通过根据修改的参考画面索引对运动矢量进行缩放来使用运动矢量或者在不对运动矢量进行缩放的情况下使用运动矢量。

iii)可使用ATMVP中的候选列表中包括的候选。

iii-1)可仅采用中心位置(x0,y0)处的代表性时间运动矢量预测因子(TMVP)作为合并差模式候选列表的候选。这里，中心位置(x0,y0)如下所示。

x0＝x+(块宽度/2)，

y0＝y+(块高度/2)，其中，x和y在块的左上方位置。

iii-2)AMVP中使用的所有子块的TMVP也可用作合并差模式候选列表的候选。

iii-3)当iii-1)和iii-2)时，可首先选择具有最接近当前画面的参考画面的候选。

iii-4)当iii-1)和iii-2)时，可首先选择使用邻近块中被最多参考的参考画面的候选。

iv)可使用另一合并候选列表的候选。可选地，包括在从邻近块推导出的仿射合并候选列表中的候选可用在合并差模式候选列表中。

v)可通过对一般合并候选列表的候选执行修剪处理来生成可包含于合并差模式候选列表中的最大数量候选来配置合并差模式候选列表。

在下文中，将描述合并差模式候选列表的修剪处理。

根据实施例，当将被包括在合并差模式候选列表中的候选之中的候选与运动矢量没有相差特定尺寸N或更大尺寸时，该候选被认为是相似运动矢量并被移除。这里，可通过将候选的参考画面索引调整为相同来比较候选的运动矢量。因此，将被比较的两个运动矢量可被移动到同一参考画面索引的位置，然后被比较。

可如下执行修剪处理，以便防止使用与被用作合并运动矢量差模式的基本运动矢量预测因子相似的运动矢量。当预先***的运动矢量预测因子的坐标基于***到合并差模式候选列表的运动矢量而在x轴上时，不将按下一顺序在x轴上的候选***到合并差模式候选列表中。类似地，当预先***的预测因子在y轴上时，不***按下一顺序在y轴上的候选。这里，x轴或y轴上的信息可以是以1/16(或1/4)的精度表示的运动矢量。作为另一示例，x轴或y轴上的信息可以是在合并运动矢量差模式下执行预定的N像素舍入之后的x和y坐标。这是为了识别当前运动矢量的大方向性，而不是识别x轴或y轴上的坐标的精细值(诸如噪声)。

根据另一实施例，因为根据特定条件使用在特定候选列表中预先修剪的候选，所以视频解码设备1700和视频编码设备1900可立即使用特定候选列表而无需单独的修剪处理。换句话说，可针对合并差模式候选列表选择一般合并候选列表的候选中的多达N个候选。

在下文中，将描述根据另一实施例的在合并运动矢量差模式下修剪基本运动矢量的视频解码设备1700和视频编码设备1900的各种实施例。

如上所述，根据实施例的合并运动矢量差模式包括在合并模式或跳过模式下使用的一般合并候选列表的前N个候选。从一般合并候选列表选择的候选是基本运动矢量，并且可在x方向和y方向之一上将合并运动矢量差的偏移(距离)与基本运动矢量相加。

当基本运动矢量的x坐标值或y坐标值相同时，根据合并运动矢量差的候选可能重叠。因此，根据合并运动矢量差的候选可能在空间域中较不均匀地分布。因此，可能需要修剪合并差模式的运动矢量的候选，使得根据合并运动矢量差的候选进一步均匀分布。在这方面，可确定是否从现有候选排除新添加的基本运动矢量并且将现有候选与新添加的基本运动矢量之间的运动矢量差添加到合并差模式候选列表。当运动矢量差在L0预测方向和L1预测方向中的至少一个方向上在x轴或y轴上具有值0时，可将运动矢量差添加到合并差模式候选列表。

在下文中，将描述根据另一实施例的视频解码设备1700和视频编码设备1900推导合并差模式候选列表的方法的各种实施例。

当合并差模式候选列表使用配置一般合并候选列表的方法时，可在针对合并差模式候选列表确保最大N个候选之后立即结束列表配置处理。

当存在除一般合并模式之外的合并类型时，包括在相应合并类型的候选列表中的候选可不被包括在合并差模式候选列表中。

在下文中，将描述根据另一实施例的由视频解码设备1700和视频编码设备1900执行的单向预测中的合并运动矢量差模式。

根据实施例，合并运动矢量差模式的操作方法可根据由基本运动矢量确定的运动矢量预测因子(以下称为基本运动矢量预测因子)而变化。在单向预测中，当从合并运动矢量差的距离索引和方向索引推导出的差信息与基本运动矢量预测因子相加时，可重新配置运动矢量信息。

根据另一实施例，当基本运动矢量预测因子是单向预测时，可生成并使用另一预测因子。该方法可在P条带和低延迟B情况下表现出高性能。在单向预测的情况下，以下方法可指示是否通过另外用信号传送1比特来使用两个或更多个预测因子。

在合并运动矢量差模式下的单向预测中生成两个或更多个预测因子的方法如下。

i)可通过使用基本运动矢量预测因子的运动矢量和参考画面索引来生成第一预测因子。可通过使用基本运动矢量预测因子的参考索引和通过基于运动矢量加上合并运动矢量差信息(距离索引和方向索引)而生成的新运动矢量来生成第二预测因子。

ii)与i)的处理相同，但是可在生成第二预测因子时与合并运动矢量差信息一起接收附加参考画面索引，并且可根据距由接收的参考画面索引指示的参考画面的距离来对基本运动矢量预测因子的运动矢量进行缩放。可通过使用通过基于缩放的运动矢量加上缩放的合并运动矢量差信息而新生成的运动矢量来生成第二预测因子。

iii)在ii)的处理期间，基于参考画面索引，通过将合并运动矢量差信息与缩放之前的基本运动矢量预测因子的运动矢量相加来预先生成运动矢量，并且可在根据距由另外接收的参考画面索引或隐式参考画面索引指示的参考画面的距离对预先生成的运动矢量进行缩放之后使用预先生成的运动矢量。

在下文中，将描述根据另一实施例的由视频解码设备1700和视频编码设备1900在合并运动矢量差模式下使用的信息的上下文模型。

首先，合并差信息的上下文模型的各种实施例如下。

根据实施例的合并差信息可在跳过模式标志之后或在合并模式标志之后使用。可以可区分地使用在跳过模式标志之后使用的合并差信息(跳过mv差信息)和在合并模式标志之后使用的合并差信息(合并mv差信息)，并且还可单独地对上下文模型进行编码。作为另一示例，跳过mv差信息和合并mv差信息可不通过单独的标志被区分，而是可在一个上下文模型中被编码。

当上下文模型用于对合并差信息的熵解码时，可根据相邻块的数量来确定不同数量的上下文模型。

例如，当相邻块是左侧块和上方块时，可能总共发生三种可能的情况。存在邻近块之中不存在使用合并运动矢量差模式的块的情况、存在一个块的情况以及两个块都在合并运动矢量差模式下被编码的情况。

在三种情况下，一个或更多个上下文模型可用于对合并差信息的熵解码，并且其实施例如下。

首先，可使用两个上下文模型。当所有邻近块不使用合并运动矢量差模式时，可使用第一上下文模型。当邻近块中的至少一个使用合并运动矢量差模式时，可使用第二上下文模型。

三个上下文模型用于合并差信息的熵解码的情况作为以下实施例。当所有邻近块不使用合并运动矢量差模式时，可使用第一上下文模型，当邻近块中的一个使用合并运动矢量差模式时，可使用第二上下文模型，并且当邻近块中的两个使用合并运动矢量差模式时，可使用第三上下文模型。

根据实施例，可如下确定用于合并候选信息的熵解码的上下文信息。例如，可仅在对合并候选信息的第一二进制位进行解码时应用上下文模型。可选地，可通过使用与用于在一般合并模式下对指示合并候选列表中包括的一个候选的一般合并索引进行解码的上下文模型相同的上下文模型来对合并候选信息进行解码。

根据实施例，上下文模型可用于仅对合并运动矢量差的距离索引的第一二进制位进行解码。不应用上下文模型来对合并运动矢量差的距离索引的其余二进制位进行解码。

根据实施例的合并运动矢量差的方向索引的二进制位中的一个可指示x轴方向或y轴方向，并且可应用上下文模型来对相应的二进制位进行解码。二进制位中的另一个可包括十字形状或X形状，并且可应用上下文模型来对相应的二进制位进行解码。

在下文中，提出了一种在合并运动矢量差模式下以各种分辨率表示运动矢量差的方法。

在合并运动矢量差模式下，可应用多种运动矢量分辨率，并且将描述应用其的方法。然而，首先，将描述对基本运动矢量类型进行编码的方法。

通过区分x坐标和y坐标之间的信息来表示关于包括运动矢量差类型的现有运动矢量类型的信息。将描述x坐标作为示例。在现有方法中，用信号传送与运动方向相应的符号信息(+或-)。此外，用信号传送关于运动方向在轴上远离多长的幅度。另外，因为存在0和1的高出现可能性，所以还用信号传送指示0或不是0的信息的比特，或者用信号传送指示1或不是1的信息的比特，并且可对每个比特应用上下文模型。

根据另一实施例的视频解码设备1700和视频编码设备1900可在合并运动矢量差模式下用信号传送运动矢量差的距离索引而不是运动矢量的幅度。此外，代替用信号传送指示运动矢量的方向的符号信息，可在合并运动矢量差模式下用信号传送合并运动矢量差的方向索引。

可基于安装在视频解码设备1700和视频编码设备1900上的视频编解码器中使用的运动矢量的分辨率来表示运动矢量差的方向索引。例如，在VVC编解码器中，在内部以1/6像素单位使用运动矢量。然而，指示运动矢量的分辨率以1/4表示。因此，当合并运动矢量差模式的距离索引为1时，运动矢量的偏移以1/4的分辨率表示。当合并运动矢量差模式的距离索引为2时，运动矢量的偏移以1/2的分辨率表示。多种运动矢量分辨率可由距离索引表示，并且运动矢量的方向可由合并运动矢量差的方向索引表示。

可将合并运动矢量差与和从合并候选列表选择的基本运动矢量相应的运动矢量预测因子相加。因为距离索引表示运动矢量的分辨率，所以运动矢量预测因子需要以相同的分辨率进行舍入，使得最终运动矢量的分辨率与距离索引的分辨率匹配。

预测因子(在距离索引的信息中舍入的值)+合并运动矢量差(距离索引×预设分辨率)×方向索引

合并运动矢量差的分辨率也可被应用于由当前运动矢量使用的帧间预测模式。根据合并运动矢量差的距离索引的运动矢量分辨率的概念可被应用于帧间预测模式(诸如可在当前视频编解码器中使用的跳过模式、合并模式、仿射跳过模式、仿射合并模式、帧间/帧内组合模式、广义B模式、三角形分区模式、AMVP模式、自适应运动矢量分辨率(AMVR)模式或仿射AMVP模式)的运动矢量预测因子。此外，根据合并运动矢量差的距离索引的运动矢量分辨率的概念可被应用于每个帧间预测模式中的运动矢量差分量(包括第N残差分量，例如第一残差分量、第二残差分量等)。因此，在每个帧间预测模式下使用的各种索引可被解译并且用作相应的运动矢量分辨率。

作为另一示例，因为合并运动矢量差的距离索引可被解译为运动矢量的分辨率信息，所以距离索引可不用于两个或更多个帧间预测模式。

可在用于指示帧间预测模式的语法元素pred_mode_flag之后用信号传送距离索引作为多种运动矢量分辨率的表示信息。当在帧间预测模式(pred_mode_flag＝＝MODE_INTER)下被解码时，可将根据距离索引的运动矢量分辨率应用于在此后应用的所有预测模式下将被解码的运动矢量。

根据距离索引的运动矢量分辨率是适用于当前使用的所有预测模式的分辨率，并且可立即被应用于当前VVC中提出的AMVR模式。换句话说，表示AMVR的运动矢量分辨率的信息可在所提出的距离索引中被表示。因此，可使用合并运动矢量差模式的距离索引，而不必在AMVR模式下单独地用信号传送用于运动矢量分辨率的信息，并且可将与距离索引相应的运动矢量的分辨率应用于与基本运动矢量相应的运动矢量预测因子和运动矢量差。

可利用合并运动矢量差模式的距离索引来控制应用于运动矢量的编码和解码的多个分辨率。这里，因为多个合适分辨率的信息可根据图像的特性而变化，所以可能需要包括多个分辨率的分辨率列表。

例如，需要子像素单位的分辨率列表和等于或大于整数像素单位的分辨率列表。

子像素单位的分辨率列表：索引0(对应于1/16像素单位)、索引1(1/8像素单位)、索引2(1/4像素单位)、索引3(1/2像素单位)

整数像素单位的分辨率列表：索引0(对应于1个像素单位)、索引1(2个像素单位)、索引2(4个像素单位)、索引3(8个像素单位)、索引4(16个像素单位)等。

指示分辨率列表中的所使用的列表的列表信息被相同地应用于视频解码设备1700和视频编码设备1900，并且可在高等级(条带头等级或画面等级)中被用信号传送。可选地，可在编码单元等级(其中用信号传送pred_mode_flag的层级)中用信号传送列表信息。可选地，视频解码设备1700和视频编码设备1900可隐式地使用一个列表。

可选地，当在条带等级或并行块等级中用信号传送列表信息时，可针对每个时间层用信号传送单独的列表信息，或者可使用隐式预定分辨率。

作为另一示例，可将可以是合并运动矢量差模式的基本运动矢量的运动矢量候选确定为ATMVP等中所使用的子块运动矢量候选中的代表性候选。例如，子块运动矢量候选的与中心位置相应的子块的运动矢量或与左上方位置相应的子块的运动矢量可被确定为代表性候选。

作为另一示例，可从运动矢量候选排除可以是合并运动矢量差模式的基本运动矢量的子块候选。因此，可降低运算复杂度。

在下文中，将描述当在合并运动矢量差模式下确定基本运动矢量时是否使用ATMVP合并候选。

首先从合并模式下使用的合并候选列表确定根据实施例的合并运动矢量差模式中的基本运动矢量。在根据另一实施例的合并运动矢量差模式下，不仅可从合并候选列表中选择基本运动矢量，而且可从ATMVP候选中选择基本运动矢量。可在条带等级或更高等级(画面、序列、序列参数集(SPS)或画面参数集(PPS))中用信号传送指示是否通过在合并运动矢量差模式下使用ATMVP候选来预测运动矢量的信息。

当ATMVP候选在合并运动矢量差模式下也可用时，需要生成合并候选列表和ATMVP候选列表的所有候选。然而，当ATMVP候选不可用时，视频解码设备1700不需要访问用于ATMVP的存储器并且不需要访问时间方向上的存储器来配置ATMVP候选列表，可在存储器访问方面实现高效率。

视频解码设备1700将相对不准确的运动矢量调整并使用为另一精细运动矢量而不需要完全地或部分地用信号传送与运动矢量相关的信息的运动矢量预测模式将被统称为解码器侧运动矢量推导技术。将合并运动矢量差模式与双向光流(BIO)模式和DMVR模式组合的方法将被描述为代表性的解码器侧运动矢量推导技术。

在下文中，将描述组合合并运动矢量差模式和BIO技术的方法。

当将合并运动矢量差模式应用于双向预测时，使用双向(L0方向和L1方向)上的预测块。在帧间预测技术中，存在每当在双向上存在预测块时生成一个预测块的BIO技术。BIO技术是当存在双向上的参考块时通过使用运动矢量来确定光学运动矢量，并且通过对双向上的参考块的每个像素应用该光学运动矢量来推导一个参考块的技术。

在合并运动矢量差模式中，可能存在一个参考块与双向上的参考块一起生成并使用的情况。这里，可在确保参考块时隐式地应用或不应用BIO模式，而无需用于确定BIO模式的应用的单独信令。

然而，根据实施例，BIO模式可仅在应用合并运动矢量差模式的特定情况下被使用。

在合并运动矢量差模式中，基于包括在合并候选列表中的运动矢量来搜索各种点。这里，可根据距中心的距离对搜索点进行分组。可根据距离索引来区分组。

根据实施例，BIO模式可被配置为在合并运动矢量差模式下仅当距离索引等于或小于预定N时才进行操作。BIO模式是预测块的一种后处理模式类型，并且通过以精细单位校正像素来提高编码效率。这是因为当运动矢量的光流稳定时，即当运动矢量不大时，需要进一步精细地校正像素。

当根据实施例的视频解码设备1700在合并运动矢量差模式下操作时，大距离索引表示通过预测具有大运动的运动矢量来获得参考块。这里，即使当应用BIO模式时，也可能难以实现高编码效率。因此，可通过仅当距离索引等于或小于特定大小时附加地应用BIO模式来提高编码效率。

例如，当仅在距离索引等于或小于预设N时应用BIO模式时，当N为0时，可仅在距离索引为0的搜索点处应用BIO模式，并且当N为1时，可仅在距离索引为0或1的搜索点处应用BIO模式。

BIO模式是考虑在时间上存在于不同位置处的参考帧之间的运动一致性来校正当前像素的方法。可基于首先提供的双向预测中的运动矢量来确定是否将BIO模式应用于运动矢量。这是因为，在邻近块的运动矢量中，可能存在表示对象的准确运动的运动矢量，但是有时可能存在仅为了编码效率而确定的运动矢量。

因此，当双向上的运动矢量不遵循光学一致性时，即使当应用单独的细化时，也仅增加了复杂度并且没有实现编码效率，因此可将BIO模式应用于光学一致性。

因此，利用以下两个条件，可在保持编码效率的同时极大地降低复杂度。

MV_L：L方向上的运动信息

(例如，MV_0：L0方向上的运动矢量，MV_1：L1方向上的运动矢量)

MV_L.x、MV_L.y：分别在L方向上的x坐标和y坐标

(例如，MV_0.x是L0方向上的运动矢量之中的x坐标)

OPT_x、OPT_y：假设存在光学一致性而生成的运动矢量

例如，当MV_0.x为-10时，在远离当前帧相同距离处的另一参考帧上方的最佳x坐标被称为OPT_x，并且与MV_0.x的符号相反的符号被确定为10。当距当前帧的距离不同时，可执行缩放。

条件1：MV_0.x×MV_1.x>0

条件2：ABS(OPT_x-MV_1.x)>N(这里，实数N是预设阈值)

可单独使用或同时使用上述两个条件。可如下混合这两个条件。

(假设从中心到两个参考帧的距离相同)

OPT_x＝-1×MV_0.x

OPT_y＝-1×MV_0.y

如果((ABS(OPT_x-MV_1.x)>N)&&(MV_0.x×MV_1.x>0)||

(ABS(OPT_y–MV_1.y)>N)&&(MV_0.y×MV_1.y>0))，则关闭BIO

换句话说，当L1方向上的运动矢量中的x坐标与最佳x坐标之间的距离大于N并且L1方向上的运动矢量中的x坐标的符号与L0方向上的运动矢量中的x坐标的符号相同时，可不应用BIO模式。类似地，当L1方向上的运动矢量中的y坐标与最佳y坐标之间的距离大于N并且L1方向上的运动矢量中的y坐标的符号与L0方向上的运动矢量中的y坐标的符号相同时，可不应用BIO模式。

另一方面，当L1方向上的运动矢量中的x坐标与最佳x坐标之间的距离不大于N、L1方向上的运动矢量中的x坐标的符号与L0方向上的运动矢量中的x坐标的符号不相同、L1方向上的运动矢量中的y坐标与最佳y坐标之间的距离不大于N、或者L1方向上的运动矢量中的y坐标的符号和L0方向上的运动矢量中的y坐标的符号不相同时，可应用BIO。

在下文中，将描述组合合并运动矢量差模式和解码器侧MV推导(DMVR)方法的方法。

DMVR技术是这样的方法：因为两个参考块是通过使用双向上的运动矢量确定的，所以通过使用两个参考块生成虚拟原始块并通过使用虚拟原始块生成新运动矢量。在该处理期间，因为视频解码设备1700和视频编码设备1900以相同的方式操作，所以不需要用信号传送附加信息。因此，可隐式地应用DMVR模式或不应用DMVR模式，而不必用信号传送用于指示使用DMVR模式的单独信息。

然而，根据实施例的视频解码设备1700和视频编码设备1900提出了一种在特定情况下并且当应用合并运动矢量差模式时应用DMVR模式的方法。

根据实施例，DMVR模式可被配置为在合并运动矢量差模式下仅当距离索引等于或小于预定N时才进行操作。DMVR模式是预测块的一种后处理模式类型，并且通过以精细单位校正像素来提高编码效率。这意味着当运动矢量稳定时，即当根据运动矢量的运动不大时，需要进一步精细校正像素。

当根据实施例的视频解码设备1700在合并运动矢量差模式下进行操作时，大距离索引表示通过预测具有大运动的运动矢量来获得参考块。这里，即使当应用DMVR模式时，也可能难以实现高编码效率。因此，可通过仅当距离索引等于或小于特定大小时另外应用DMVR模式来提高编码效率。

例如，当仅在距离索引等于或小于预设N时应用DMVR模式时，当N为0时，可仅在距离索引为0的搜索点处应用DMVR模式，并且当N为1时，可仅在距离索引为0或1的搜索点处应用DMVR模式。

DMVR模式是考虑在时间上存在于不同位置的参考帧之间的块的相似性来校正当前像素的方法。可基于首先提供的双向预测中的运动矢量来确定是否将DMVR模式应用于运动矢量。这是因为，在邻近块的运动矢量中，可能存在表示对象的准确运动的运动矢量，但是有时可能存在仅为了编码效率而确定的运动矢量。

因此，当双向的运动矢量遵循一定程度的一致性时，可应用DMVR模式。

因此，利用以下两个条件，可在保持编码效率的同时极大地降低复杂度。

MV_L：L方向上的运动信息

(例如，MV_0：L0方向上的运动矢量，MV_1：L1方向上的运动矢量)

MV_L.x、MV_L.y：分别在L方向上的x坐标和y坐标

(例如，MV_0.x是L0方向上的运动矢量之中的x坐标)

OPT_x，OPT_y：假设存在光学一致性而生成的运动矢量

例如，当MV_0.x为-10时，在远离当前帧相同距离处的另一参考帧上方的最佳x坐标被称为OPT_x，并且与MV_0.x的符号相反的符号被确定为10。当距当前帧的距离不同时，可执行缩放。

条件1：MV_0.x×MV_1.x>0

条件2：ABS(OPT_x-MV_1.x)>N(这里，实数N是预设阈值)

可单独使用或同时使用上述两个条件。可如下混合这两个条件。

(假设从中心到两个参考帧的距离相同)

OPT_x＝-1×MV_0.x

OPT_y＝-1×MV_0.y

如果((ABS(OPT_x-MV_1.x)>N)&&(MV_0.x*MV_1.x>0)||

(ABS(OPT_y–MV_1.y)>N)&&(MV_0.y*MV_1.y>0))，则关闭DMVR

换句话说，当L1方向上的运动矢量中的x坐标与最佳x坐标之间的距离大于N并且L1方向上的运动矢量中的x坐标的符号与L0方向上的运动矢量中的x坐标的符号相同时，可不应用DMVR模式。类似地，当L1方向上的运动矢量中的y坐标与最佳y坐标之间的距离大于N并且L1方向上的运动矢量中的y坐标的符号与L0方向上的运动矢量中的y坐标的符号相同时，可不应用DMVR模式。

另一方面，当L1方向上的运动矢量中的x坐标与最佳x坐标之间的距离不大于N、L1方向上的运动矢量中的x坐标的符号与L0方向上的运动矢量中的x坐标的符号不相同、L1方向上的运动矢量中的y坐标与最佳y坐标之间的距离不大于N、或者L1方向上的运动矢量中的y坐标的符号和L0方向上的运动矢量中的y坐标的符号不相同时，可应用DMVR。

在下文中，将描述根据实施例的将合并运动矢量差模式与去块滤波器组合的方法。

可基于每个块的运动矢量来确定用于定义将被应用于两个块之间的边界的去块滤波器的强度的可变边界强度(bs)。在下文中，将描述当基于合并运动矢量差模式预测运动矢量时如何使用根据合并运动矢量差模式解码的运动矢量差信息来确定去块滤波器的滤波强度。

当合并运动矢量差模式不被应用于子块时，可对像在一般跳过模式或一般合并模式下被编码的块那样的子块执行解块滤波。

根据实施例的视频解码设备1700还可将合并运动矢量差模式应用于子块。因为每个基本运动矢量(运动矢量预测因子)是以子块为单位确定的，所以可针对每个子块预测另一运动矢量。可通过使用合并运动矢量差模式的距离索引和方向索引来校正所有子块或一些子块的运动矢量。可考虑子块的运动矢量来确定去块滤波的强度，并且可对子块的边界执行去块滤波。

可以以与当不同编码单元具有不同运动矢量时相同的方式对去块滤波的方法进行编码。

可对通过以预定规则对编码单元进行划分而确定的每个子块执行预测。预定规则可以是对在条带等级中确定的或由编码器/解码器预先商定的最小单元的划分。可根据所确定的处理来确定每个子块的运动矢量。在下文中，将描述用于通过使用子块来确定每个编码单元的运动矢量的各种实施例。

i)可通过在跳过模式、合并模式、跳过模式中的合并运动矢量差模式或合并模式中的合并运动矢量差模式中用信号传送特定比特来识别块的子块的尺寸和形状。例如，当指示划分的比特为0时，不将相应块划分成子块。当指示划分的比特是1时，将相应块划分成子块。当划分成子块的方法是视频编码设备1900和视频解码设备1700隐式商定的方法时，不再用信号传送附加信息。作为另一示例，可在指示划分的比特之后用信号传送指示块是水平地还是垂直地被划分成子块的信息。

ii)还可用信号传送关于当将块划分成子块时推导子块的运动矢量的方法的信息。当关于推导子块的运动矢量的方法的信息是0时，时间运动矢量预测因子可被推导并被用于确定子块的运动矢量，或者当关于所述方法的信息是0时，可另外用信号传送子块的运动矢量。

iii)对于用信号传送的关于运动矢量的信息，可按照与VVC标准的AMVP模式的运动矢量信息相同的方式用信号传送指示MVP列表中的一个的候选信息、预测方向信息、参考画面索引、运动矢量差的绝对值信息和运动矢量差的符号信息。可选地，可通过使用合并运动矢量差模式的运动信息(合并候选信息、以及合并运动矢量差的距离索引和方向索引)来用信号传送子块的运动矢量。另外，与子块的合并运动矢量模式有关的运动矢量差信息可被共享为另一子块的运动矢量差信息。对于后面的连续块，可用信号传送距离索引、方向索引或距离索引和方向索引两者，并且可不发送子块之间重叠的运动矢量差信息。

在下文中，将描述在去块滤波处理中使用合并运动矢量差模式的实施例。

例如，在跳过模式中在合并运动矢量差模式下被解码的块和在合并模式中在合并运动矢量差模式下被解码的块可被确定为单独的块，并且可以对所述块之间的边界执行去块滤波。

作为另一示例，可不对在跳过模式中在合并运动矢量差模式下被解码的块和在合并模式中在合并运动矢量差模式下被解码的块执行在一般跳过模式下被解码的块或在一般合并模式下被解码的块的去块滤波方法。可将应用于在残差块被生成的AMVP模式下被解码的块的去块滤波方法应用于在跳过模式中在合并运动矢量差模式下被解码的块和在合并模式中在合并运动矢量差模式下被解码的块。

作为另一示例，可对在跳过模式中在合并运动矢量差模式下被解码的块执行在一般跳过模式下被解码的块或在一般合并模式下被解码的块的去块滤波方法。应用于在伴随有残差块的AMVP模式下被解码的块的去块滤波方法可用于在合并模式中在合并运动矢量差模式下被解码的块。

作为另一示例，当在AMVP模式下块之间的运动矢量不同时，可根据运动矢量之间的差来确定去块滤波的强度bs。在合并运动矢量差模式下被解码的块之间的运动矢量差或在合并运动矢量差模式下被解码的块与在AMVP模式下被解码的块之间的运动矢量差可使用合并运动矢量差的距离索引或方向索引。可针对在合并运动矢量差模式下被解码的块来获得基本运动矢量以及合并运动矢量差的距离索引和方向索引。因此，因为两个块的基本运动矢量可相同，所以可仅利用合并运动矢量差的距离索引来确定两个块的运动矢量之间的差。因此，可通过仅使用合并运动矢量差的距离索引来确定针对两个块之间的边界的去块滤波的强度。

然而，当在合并运动矢量差模式下不执行解码时，可生成与当前运动矢量相应的合并运动矢量差信息，并且可通过使用所生成的合并运动矢量差的距离索引来确定去块滤波的强度。

另外，本公开的上述实施例可被编写为可存储在介质中的计算机可执行程序。

介质可连续地存储计算机可执行程序，或者临时存储计算机可执行程序或指令以供执行或下载。此外，介质可以是组合了单件或多件硬件的各种记录介质或存储介质中的任何一种，并且介质不限于直接连接到计算机***的介质，而是可被分布在网络上。介质的示例包括被配置为存储程序指令的磁介质(诸如硬盘、软盘和磁带)、光学记录介质(诸如CD-ROM和DVD)、磁光介质(诸如光软盘)以及ROM、RAM和闪存。介质的其他示例包括由发布应用的应用商店或由提供或发布其他各种类型的软件的网站、服务器等管理的记录介质和存储介质。

虽然已经参考附图描述了本公开的一个或更多个实施例，但是本领域普通技术人员将理解，在不脱离由所附权利要求限定的精神和范围的情况下，可在其中进行形式和细节上的各种改变。

Claims (15)

1.一种视频解码方法，包括：

生成包括邻近块的合并候选列表，其中，所述邻近块被参考用于在跳过模式或合并模式下预测当前块的运动矢量；

获得指示是否使用合并运动矢量差和从所述合并候选列表确定的运动矢量的合并差模式信息；

当根据所述合并差模式信息使用合并运动矢量差时，从比特流获得合并候选信息，并且从基于所述合并候选信息在所述合并候选列表中确定的候选确定基本运动矢量；

通过使用所述基本运动矢量和当前块的合并运动矢量差来确定当前块的运动矢量，其中，当前块的合并运动矢量差是通过使用当前块的合并运动矢量差的距离索引和方向索引确定的；并且

通过使用当前块的运动矢量来重建当前块。

2.如权利要求1所述的视频解码方法，其中，确定当前块的合并运动矢量差包括：

通过使用上下文信息对所述比特流执行熵解码来获得当前块的合并运动矢量差的所述距离索引的第一二进制位；并且

通过在旁路模式下对所述比特流执行熵解码来获得当前块的合并运动矢量差的所述距离索引的其余二进制位。

3.如权利要求1所述的视频解码方法，其中，允许根据所述合并候选信息选择的候选的最大数量小于包括在所述合并候选列表中的候选的最大数量。

4.如权利要求1所述的视频解码方法，其中，作为1比特信息的所述合并候选信息是通过将一条上下文信息应用于所述比特流经由熵解码获得的。

5.如权利要求1所述的视频解码方法，其中，当在合并模式下执行预测时，获得指示所述合并候选列表中的一个候选的一般合并索引所需的上下文信息的条数与获得所述合并候选信息所需的上下文信息的条数相同。

6.一种视频解码设备，包括：

帧间预测信息获得器，被配置为：获得指示是否使用合并运动矢量差和从当前块的合并候选列表确定的运动矢量的合并差模式信息，当根据所述合并差模式信息使用合并运动矢量差时，从比特流获得合并候选信息；

帧间预测执行器，被配置为：生成包括邻近块的所述合并候选列表，其中，所述邻近块被参考用于在跳过模式或合并模式下预测当前块的运动矢量，从基于所述合并候选信息在所述合并候选列表中确定的候选确定基本运动矢量，通过使用当前块的合并运动矢量差的距离索引和方向索引来确定当前块的合并运动矢量差，并且通过使用所述基本运动矢量和当前块的合并运动矢量差来确定当前块的运动矢量；以及

重建器，被配置为：通过使用当前块的运动矢量来重建当前块。

7.如权利要求6所述的视频解码设备，其中，帧间预测信息获得器还被配置为：

通过使用上下文信息对所述比特流执行熵解码来获得当前块的合并运动矢量差的所述距离索引的第一二进制位；并且

通过在旁路模式下对所述比特流执行熵解码来获得当前块的合并运动矢量差的所述距离索引的其余二进制位。

8.如权利要求6所述的视频解码设备，其中，允许根据所述合并候选信息选择的候选的最大数量小于包括在所述合并候选列表中的候选的最大数量。

9.如权利要求6所述的视频解码设备，其中，帧间预测信息获得器还被配置为通过将一条上下文信息应用于所述比特流经由熵解码来获得作为1比特信息的所述合并候选信息。

10.如权利要求6所述的视频解码设备，其中，当在合并模式下执行预测时，获得指示所述合并候选列表中的一个候选的一般合并索引所需的上下文信息的条数与获得所述合并候选信息所需的上下文信息的条数相同。

11.一种视频编码方法，包括：

当在跳过模式和合并模式之一下对当前块执行帧间预测时，生成包括被参考用于预测当前块的运动矢量的邻近块的合并候选列表；

生成指示是否使用合并运动矢量差和从当前块的所述合并候选列表确定的基本运动矢量的合并差模式信息；

当使用合并运动矢量差时，生成指示所述合并候选列表中的一个基本运动矢量的合并候选信息；

生成与所述基本运动矢量和当前块的运动矢量之间的差相应的合并运动矢量差的距离索引以及合并运动矢量差的方向索引。

12.如权利要求11所述的视频编码方法，其中，生成合并运动矢量差的距离索引和方向索引包括：

使用上下文信息对合并运动矢量差的所述距离索引的第一二进制位执行熵编码；并且

在旁路模式下对合并运动矢量差的所述距离索引的其余二进制位执行熵编码。

13.一种视频编码设备，包括：

帧间预测执行器，被配置为：通过对当前块执行帧间预测来确定当前块的运动矢量，当在跳过模式和合并模式之一下对当前块执行帧间预测时，生成包括被参考用于预测当前块的运动矢量的邻近块的合并候选列表；以及

帧间预测信息生成器，被配置为：生成指示是否使用合并运动矢量差和从当前块的所述合并候选列表确定的基本运动矢量的合并差模式信息，当使用合并运动矢量差时，生成指示所述合并候选列表中的基本运动矢量的合并候选信息，并且生成与所述基本运动矢量和当前块的运动矢量之间的差相应的合并运动矢量差的距离索引和方向索引。

14.如权利要求13所述的视频编码设备，其中，帧间预测信息生成器还被配置为：

使用上下文信息对合并运动矢量差的所述距离索引的第一二进制位执行熵编码；并且

在旁路模式下对合并运动矢量差的所述距离索引的其余二进制位执行熵编码。

15.一种计算机可读记录介质，其上记录有用于在计算机上实现如权利要求1所述的视频解码方法的程序。

Images