CN110708557B - 解码器中的视频解码方法和设备、计算机设备 - Google Patents

Abstract

一种解码器中的视频解码方法包括：对已编码视频比特流的当前图片中的当前块的预测信息进行解码，所述预测信息指示合并模式中的仿射模型；基于将所述当前块的高度与宽度进行比较的结果，从所述当前块的多个仿射候选中选择一个或多个仿射候选；至少使用所述选择的一个或多个仿射候选，创建所述仿射候选的合并列表；以及基于所述合并列表和所述仿射模型，重建所述当前块。

Description

解码器中的视频解码方法和设备、计算机设备

通过参考并入

本申请要求于2018年7月10日递交的、申请号为62/696,033、发明名称为“运动补偿中仿射合并候选的排序和选择的方法”的美国临时申请，以及于2019年6月 14日递交的、申请号为16/442,008、发明名称为“运动补偿中仿射合并候选的排序和选择的方法”的美国申请的优先权，其全部内容通过引用并入本申请中。

技术领域

本申请涉及视频编解码技术，特别涉及解码器中的视频解码方法和设备、计算机设备。

背景技术

通过具有运动补偿的帧间图片预测技术，可以进行视频编码和解码。未压缩的数字视频可包括一系列图片，每个图片具有例如1920×1080亮度样本及相关色度样本的空间维度。所述系列图片具有固定的或可变的图片速率(也非正式地称为帧率)，例如每秒60个图片或60Hz。未压缩的视频具有非常大的比特率要求。例如，每个样本8比特的1080p60 4:2:0的视频(1920x1080亮度样本分辨率，60Hz帧率)要求接近1.5Gbit/s带宽。一小时这样的视频就需要超过600GB的存储空间。

视频编码和解码的一个目的，是通过压缩减少输入视频信号的冗余信息。视频压缩可以帮助降低对上述带宽或存储空间的要求，在某些情况下可降低两个或更多数量级。无损和有损压缩，以及两者的组合均可采用。无损压缩是指从压缩的原始信号中重建原始信号精确副本的技术。当使用有损压缩时，重建信号可能与原始信号不完全相同，但是原始信号和重建信号之间的失真足够小，使得重建信号可用于预期应用。有损压缩广泛应用于视频。容许的失真量取决于应用。例如，相比于电视应用的用户，某些消费流媒体应用的用户可以容忍更高的失真。可实现的压缩比反映出：较高的允许/容许失真可产生较高的压缩比。

运动补偿可以是一种有损压缩技术，且可涉及如下技术：来自先前重建的图片或重建图片一部分(参考图片)的样本数据块在空间上按运动向量(下文称为MV) 指示的方向移位后，用于新重建的图片或图片部分的预测。在某些情况下，参考图片可与当前正在重建的图片相同。MV可具有两个维度X和Y，或者三个维度，其中第三个维度表示使用中的参考图片(后者间接地可为时间维度)。

在一些视频压缩技术中，应用于某个样本数据区域的MV可根据其它MV来预测，例如根据与正在重建的区域空间相邻的另一个样本数据区域相关的、且按解码顺序在该MV前面的那些MV。这样做可以大大减少编码MV所需的数据量，从而消除冗余信息并增加压缩量。MV预测可以有效地进行，例如，当对从相机导出的输入视频信号(称为自然视频)进行编码时，存在一种统计上的可能性，即面积大于单个MV适用区域的区域，会朝着类似的方向移动，因此，在某些情况下，可以用邻近区域的MV导出的相似运动向量进行预测。这导致针对给定区域发现的MV与根据周围MV预测的MV相似或相同，并且在熵编码之后，又可以用比直接编码MV 时使用的比特数更少的比特数来表示。在某些情况下，MV预测可以是对从原始信号 (即样本流)导出的信号(即MV)进行无损压缩的示例。在其它情况下，MV预测本身可能是有损的，例如由于根据几个周围MV计算预测值时产生的取整误差。

发明内容

本申请实施例提供了解码器中的视频解码方法和设备、计算机设备，进而解决仿射运动补偿效率不高的问题。

根据本申请实施例，提供一种解码器中的视频解码方法，包括：

对已编码视频比特流的当前图片中的当前块的预测信息进行解码，所述预测信息指示合并模式中的仿射模型；

基于将所述当前块的高度与宽度进行比较的结果，从所述当前块的多个仿射候选中选择一个或多个仿射候选；

至少使用所述选择的一个或多个仿射候选，创建所述仿射候选的合并列表；以及

基于所述合并列表和所述仿射模型，重建所述当前块。

根据本申请实施例，提供一种解码器中的视频解码方法，包括：

对已编码视频比特流的当前图片中的当前块的预测信息进行解码，所述预测信息指示合并模式中的仿射模型；

创建合并列表，所述合并列表包括所述当前块的仿射编码空间相邻块，并且所述仿射编码空间相邻块按照块大小从大到小排序；

从所述合并列表中选择候选；以及

基于所述选择的候选的仿射模型，重建所述当前块。

根据本申请实施例，提供一种视频编码设备，包括：

解码模块，用于对已编码视频比特流的当前图片中的当前块的预测信息进行解码，所述预测信息指示合并模式中的仿射模型；

选择模块，用于基于将所述当前块的高度与宽度进行比较的结果，从所述当前块的多个仿射候选中选择一个或多个仿射候选；

创建模块，用于至少使用所述选择的一个或多个仿射候选，创建所述仿射候选的合并列表；以及

重建模块，用于基于所述合并列表和所述仿射模型，重建所述当前块。

根据本申请实施例，提供一种视频编码设备，包括：

解码模块，用于对已编码视频比特流的当前图片中的当前块的预测信息进行解码，所述预测信息指示合并模式中的仿射模型；

创建模块，用于创建合并列表，所述合并列表包括所述当前块的仿射编码空间相邻块，并且所述仿射编码空间相邻块按照块大小从大到小排序；

选择模块，用于从所述合并列表中选择候选；以及

重建模块，用于基于所述选择的候选的仿射模型，重建所述当前块。

根据本申请实施例，提供一种计算机设备，所述设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述至少一条指令由所述一个或多个处理器加载并执行以实现如上所述的视频解码的方法。

通过本申请的实施例，可提高仿射运动补偿效率。

附图说明

根据以下详细描述和附图，所公开的主题的其他特征、性质和各种优点将进一步明确，其中：

图1是一实施例中的当前块及其周围的空间合并候选的示意图；

图2是根据一实施例的通信***的简化框图的示意图；

图3是根据另一实施例的通信***的简化框图的示意图；

图4是根据实施例的解码器的简化框图的示意图；

图5是根据实施例的编码器的简化框图的示意图；

图6示出了根据实施例的编码器的框图；

图7示出了根据实施例的解码器的框图；

图8示出了示例性合并模式候选位置；

图9A示出了根据本申请实施例的一种具有3个运动向量的仿射运动模型的表示；

图9B示出了使用当前块的三个控制点CP0、CP1和CP2处的运动向量来确定参考块的实施例；

图10A和10B示出了根据本申请实施例的一种具有2个运动向量的简化的仿射运动模型的表示；

图11A和11B示出了使用当前块的两个控制点CP0和CP1处的运动向量MV0 和MV1来确定参考块的实施例；

图12A示出了仿射编码正方形块的实施例；

图12B示出了仿射编码非正方形块的实施例，该非正方形块的高度大于宽度；

图12C示出了仿射编码非正方形块的实施例，该非正方形块的宽度大于高度；

图13示出了根据本申请实施例的视频编码过程；

图14示出了根据本申请另一实施例的视频编码过程；以及

图15是根据实施例的计算机***的示意图。

具体实施方式

H.265/HEVC(ITU-T Rec.H.265，“高效视频编码”，2016年12月)描述了各种 MV预测机制。在H.265所提供的多种MV预测机制中，本文描述的是一种下文称为“空间合并”的技术。

参照图1，当前块(101)包括编码器在运动搜索过程中发现的样本，所述样本可以根据空间移动了相同大小的先前块进行预测。不直接对该MV进行编码，而是通过使用与五个周围样本中的任何一个相关联的MV，从与一个或多个参考图片相关联的元数据中导出该MV，例如从最近的(按解码顺序)参考图片中导出该MV。其中，五个周围样本分别用A0、A1和B0、B1、B2(分别为102到106)表示。在H.265 中，MV预测可使用相邻块正在使用的同一参考图片的预测值。

图2是根据本申请公开的实施例的通信***(200)的简化框图。通信***(200) 包括多个终端装置，所述终端装置可通过例如网络(250)彼此通信。举例来说，通信***(200)包括通过网络(250)互连的终端装置(210)和终端装置(220)。在图2的实施例中，终端装置(210)和终端装置(220)执行单向数据传输。举例来说，终端装置(210)可对视频数据(例如由终端装置(210)采集的视频图片流) 进行编码以通过网络(250)传输到另一终端装置(220)。已编码的视频数据以一个或多个已编码视频码流形式传输。终端装置(220)可从网络(250)接收已编码视频数据，对已编码视频数据进行解码以恢复视频数据，并根据恢复的视频数据显示视频图片。单向数据传输在媒体服务等应用中是较常见的。

在另一实施例中，通信***(200)包括执行已编码视频数据的双向传输的终端装置(230)和(240)，所述双向传输可例如在视频会议期间发生。对于双向数据传输，终端装置(230)和终端装置(240)中的每个终端装置可对视频数据(例如由终端装置采集的视频图片流)进行编码以通过网络(250)传输到终端装置(230) 和终端装置(240)中的另一终端装置。终端装置(230)和终端装置(240)中的每个终端装置还可接收由终端装置(230)和终端装置(240)中的另一终端装置传输的已编码视频数据，且可对所述已编码视频数据进行解码以恢复视频数据，且可根据恢复的视频数据在可访问的显示装置上显示视频图片。

在图2的实施例中，终端装置(210)、终端装置(220)、终端装置(230)和终端装置(240)可为服务器、个人计算机和智能电话，但本申请公开的原理可不限于此。本申请公开的实施例适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络(250)表示在终端装置(210)、终端装置(220)、终端装置(230) 和终端装置(240)之间传送已编码视频数据的任何数目的网络，包括例如有线(连线的)和/或无线通信网络。通信网络(250)可在电路交换和/或分组交换信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。出于本论述的目的，除非在下文中有所解释，否则网络(250)的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。

作为实施例，图3示出视频编码器和视频解码器在流式传输环境中的放置方式。本申请所公开主题可同等地适用于其它支持视频的应用，包括例如视频会议、数字 TV、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等等。

流式传输***可包括采集子***(313)，所述采集子***可包括数码相机等视频源(301)，所述视频源创建未压缩的视频图片流(302)。在实施例中，视频图片流(302)包括由数码相机拍摄的样本。相较于已编码的视频数据(304)(或已编码的视频码流)，视频图片流(302)被描绘为粗线以强调高数据量的视频图片流，视频图片流(302)可由电子装置(320)处理，所述电子装置(320)包括耦接到视频源(301)的视频编码器(303)。视频编码器(303)可包括硬件、软件或软硬件组合以实现或实施如下文更详细地描述的所公开主题的各方面。相较于视频图片流 (302)，已编码的视频数据(304)(或已编码的视频码流(304))被描绘为细线以强调较低数据量的已编码的视频数据(304)(或已编码的视频码流(304))，其可存储在流式传输服务器(305)上以供将来使用。一个或多个流式传输客户端子***，例如图3中的客户端子***(306)和客户端子***(308)，可访问流式传输服务器 (305)以检索已编码的视频数据(304)的副本(307)和副本(309)。客户端子***(306)可包括例如电子装置(330)中的视频解码器(310)。视频解码器(310) 对已编码的视频数据的传入副本(307)进行解码，且产生可在显示器(312)(例如显示屏)或另一呈现装置(未描绘)上呈现的输出视频图片流(311)。在一些流式传输***中，可根据某些视频编码/压缩标准对已编码的视频数据(304)、视频数据(307) 和视频数据(309)(例如视频码流)进行编码。该些标准的实施例包括ITU-T H.265。在实施例中，正在开发的视频编码标准非正式地称为下一代视频编码(Versatile Video Coding，VVC)，本申请可用于VVC标准的上下文中。

应注意，电子装置(320)和电子装置(330)可包括其它组件(未示出)。举例来说，电子装置(320)可包括视频解码器(未示出)，且电子装置(330)还可包括视频编码器(未示出)。

图4是根据本申请公开的实施例的视频解码器(410)的框图。视频解码器(410) 可设置在电子装置(430)中。电子装置(430)可包括接收器(431)(例如接收电路)。视频解码器(410)可用于代替图3实施例中的视频解码器(310)。

接收器(431)可接收将由视频解码器(410)解码的一个或多个已编码视频序列；在同一实施例或另一实施例中，一次接收一个已编码视频序列，其中每个已编码视频序列的解码独立于其它已编码视频序列。可从信道(401)接收已编码视频序列，所述信道可以是通向存储已编码的视频数据的存储装置的硬件/软件链路。接收器(431)可接收已编码的视频数据以及其它数据，例如，可转发到它们各自的使用实体(未标示)的已编码音频数据和/或辅助数据流。接收器(431)可将已编码视频序列与其它数据分开。为了防止网络抖动，缓冲存储器(415)可耦接在接收器(431) 与熵解码器/解析器(420)(此后称为“解析器(420)”)之间。在某些应用中，缓冲存储器(415)是视频解码器(410)的一部分。在其它情况下，所述缓冲存储器(415) 可设置在视频解码器(410)外部(未标示)。而在其它情况下，视频解码器(410) 的外部设置缓冲存储器(未标示)以例如防止网络抖动，且在视频解码器(410)的内部可配置另一缓冲存储器(415)以例如处理播出定时。而当接收器(431)从具有足够带宽和可控性的存储/转发装置或从等时同步网络接收数据时，也可能不需要配置缓冲存储器(415)，或可以将所述缓冲存储器做得较小。当然，为了在互联网等业务分组网络上使用，也可能需要缓冲存储器(415)，所述缓冲存储器可相对较大且可具有自适应性大小，且可至少部分地实施于操作***或视频解码器(410)外部的类似元件(未标示)中。

视频解码器(410)可包括解析器(420)以根据已编码视频序列重建符号(421)。这些符号的类别包括用于管理视频解码器(410)的操作的信息，以及用以控制显示装置(412)(例如，显示屏)等显示装置的潜在信息，所述显示装置不是电子装置 (430)的组成部分，但可耦接到电子装置(430)，如图4中所示。用于显示装置的控制信息可以是辅助增强信息(Supplemental Enhancement Information，SEI消息) 或视频可用性信息(VideoUsability Information，VUI)的参数集片段(未标示)。解析器(420)可对接收到的已编码视频序列进行解析/熵解码。已编码视频序列的编码可根据视频编码技术或标准进行，且可遵循各种原理，包括可变长度编码、霍夫曼编码(Huffman coding)、具有或不具有上下文灵敏度的算术编码等等。解析器(420) 可基于对应于群组的至少一个参数，从已编码视频序列提取用于视频解码器中的像素的子群中的至少一个子群的子群参数集。子群可包括图片群组(Group of Pictures， GOP)、图片、图块、条带、宏块、编码单元(Coding Unit，CU)、块、变换单元(Transform Unit，TU)、预测单元(Prediction Unit，PU)等等。解析器(420)还可从已编码视频序列提取信息，例如变换系数、量化器参数值、运动矢量等等。

解析器(420)可对从缓冲存储器(415)接收的视频序列执行熵解码/解析操作，从而创建符号(421)。

取决于已编码视频图片或一部分已编码视频图片(例如：帧间图片和帧内图片、帧间块和帧内块)的类型以及其它因素，符号(421)的重建可涉及多个不同单元。涉及哪些单元以及涉及方式可由解析器(420)从已编码视频序列解析的子群控制信息控制。为了简洁起见，未描述解析器(420)与下文的多个单元之间的此类子群控制信息流。

除已经提及的功能块以外，视频解码器(410)可在概念上细分成如下文所描述的数个功能单元。在商业约束下运行的实际实施例中，这些单元中的许多单元彼此紧密交互并且可以彼此集成。然而，出于描述所公开主题的目的，概念上细分成下文的功能单元是适当的。

第一单元是缩放器/逆变换单元(451)。缩放器/逆变换单元(451)从解析器(420)接收作为符号(421)的量化变换系数以及控制信息，包括使用哪种变换方式、块大小、量化因子、量化缩放矩阵等。缩放器/逆变换单元(451)可输出包括样本值的块，所述样本值可输入到聚合器(455)中。

在一些情况下，缩放器/逆变换单元(451)的输出样本可属于帧内编码块；即：不使用来自先前重建的图片的预测性信息，但可使用来自当前图片的先前重建部分的预测性信息的块。此类预测性信息可由帧内图片预测单元(452)提供。在一些情况下，帧内图片预测单元(452)采用从当前图片缓冲器(458)提取的已重建信息生成大小和形状与正在重建的块相同的周围块。举例来说，当前图片缓冲器(458) 缓冲部分重建的当前图片和/或完全重建的当前图片。在一些情况下，聚合器(455) 基于每个样本，将帧内预测单元(452)生成的预测信息添加到由缩放器/逆变换单元 (451)提供的输出样本信息中。

在其它情况下，缩放器/逆变换单元(451)的输出样本可属于帧间编码和潜在运动补偿块。在此情况下，运动补偿预测单元(453)可访问参考图片存储器(457) 以提取用于预测的样本。在根据符号(421)对提取的样本进行运动补偿之后，这些样本可由聚合器(455)添加到缩放器/逆变换单元(451)的输出(在这种情况下被称作残差样本或残差信号)，从而生成输出样本信息。运动补偿预测单元(453)从参考图片存储器(457)内的地址获取预测样本可受到运动矢量控制，且所述运动矢量以所述符号(421)的形式而供运动补偿预测单元(453)使用，所述符号(421) 例如是包括X、Y和参考图片分量。运动补偿还可包括在使用子样本精确运动矢量时，从参考图片存储器(457)提取的样本值的内插、运动矢量预测机制等等。

聚合器(455)的输出样本可在环路滤波器单元(456)中被各种环路滤波技术采用。视频压缩技术可包括环路内滤波器技术，所述环路内滤波器技术受控于包括在已编码视频序列(也称作已编码视频码流)中的参数，且所述参数作为来自解析器(420)的符号(421)可用于环路滤波器单元(456)。然而，在其他实施例中，视频压缩技术还可响应于在解码已编码图片或已编码视频序列的先前(按解码次序) 部分期间获得的元信息，以及响应于先前重建且经过环路滤波的样本值。

环路滤波器单元(456)的输出可以是样本流，所述样本流可输出到显示装置(412)以及存储在参考图片存储器(457)，以用于后续的帧间图片预测。

一旦完全重建，某些已编码图片就可用作参考图片以用于将来预测。举例来说，一旦对应于当前图片的已编码图片被完全重建，且已编码图片(通过例如解析器 (420))被识别为参考图片，则当前图片缓冲器(458)可变为参考图片存储器(457) 的一部分，且可在开始重建后续已编码图片之前重新分配新的当前图片缓冲器。

视频解码器(410)可根据例如ITU-T H.265标准中的预定视频压缩技术执行解码操作。在已编码视频序列遵循视频压缩技术或标准的语法以及视频压缩技术或标准中记录的配置文件的意义上，已编码视频序列可符合所使用的视频压缩技术或标准指定的语法。具体地说，配置文件可从视频压缩技术或标准中可用的所有工具中选择某些工具作为在所述配置文件下可供使用的仅有工具。对于合规性，还要求已编码视频序列的复杂度处于视频压缩技术或标准的层级所限定的范围内。在一些情况下，层级限制最大图片大小、最大帧率、最大重建取样率(以例如每秒兆(mega) 个样本为单位进行测量)、最大参考图片大小等。在一些情况下，由层级设定的限制可通过假想参考解码器(Hypothetical ReferenceDecoder，HRD)规范和在已编码视频序列中用信号表示的HRD缓冲器管理的元数据来进一步限定。

在实施例中，接收器(431)可连同已编码视频一起接收附加(冗余)数据。所述附加数据可以是已编码视频序列的一部分。所述附加数据可由视频解码器(410) 用以对数据进行适当解码和/或较准确地重建原始视频数据。附加数据可呈例如时间、空间或信噪比(signal noise ratio，SNR)增强层、冗余条带、冗余图片、前向纠错码等形式。

图5是根据本申请公开的实施例的视频编码器(503)的框图。视频编码器(503) 设置于电子装置(520)中。电子装置(520)包括传输器(540)(例如传输电路)。视频编码器(503)可用于代替图3实施例中的视频编码器(303)。

视频编码器(503)可从视频源(501)(并非图5实施例中的电子装置(520) 的一部分)接收视频样本，所述视频源可采集将由视频编码器(503)编码的视频图像。在另一实施例中，视频源(501)是电子装置(520)的一部分。

视频源(501)可提供将由视频编码器(503)编码的呈数字视频样本流形式的源视频序列，所述数字视频样本流可具有任何合适位深度(例如：8位、10位、12 位……)、任何色彩空间(例如BT.601Y CrCB、RGB……)和任何合适取样结构(例如Y CrCb 4:2:0、Y CrCb 4:4:4)。在媒体服务***中，视频源(501)可以是存储先前已准备的视频的存储装置。在视频会议***中，视频源(501)可以是采集本地图像信息作为视频序列的相机。可将视频数据提供为多个单独的图片，当按顺序观看时，这些图片被赋予运动。图片自身可构建为空间像素阵列，其中取决于所用的取样结构、色彩空间等，每个像素可包括一个或多个样本。所属领域的技术人员可以很容易理解像素与样本之间的关系。下文侧重于描述样本。

根据实施例，视频编码器(503)可实时或在由应用所要求的任何其它时间约束下，将源视频序列的图片编码且压缩成已编码视频序列(543)。施行适当的编码速度是控制器(550)的一个功能。在一些实施例中，控制器(550)控制如下文所描述的其它功能单元且在功能上耦接到这些单元。为了简洁起见，图中未标示耦接。由控制器(550)设置的参数可包括速率控制相关参数(图片跳过、量化器、率失真优化技术的λ值等)、图片大小、图片群组(group of pictures，GOP)布局，最大运动矢量搜索范围等。控制器(550)可用于具有其它合适的功能，这些功能涉及针对某一***设计优化的视频编码器(503)。

在一些实施例中，视频编码器(503)在编码环路中进行操作。作为简单的描述，在实施例中，编码环路可包括源编码器(530)(例如，负责基于待编码的输入图片和参考图片创建符号，例如符号流)和嵌入于视频编码器(503)中的(本地)解码器(533)。解码器(533)以类似于(远程)解码器创建样本数据的方式重建符号以创建样本数据(因为在本申请所考虑的视频压缩技术中，符号与已编码视频码流之间的任何压缩是无损的)。将重建的样本流(样本数据)输入到参考图片存储器(534)。由于符号流的解码产生与解码器位置(本地或远程)无关的位精确结果，因此参考图片存储器(534)中的内容在本地编码器与远程编码器之间也是按比特位精确对应的。换句话说，编码器的预测部分“看到”的参考图片样本与解码器将在解码期间使用预测时所“看到”的样本值完全相同。这种参考图片同步性基本原理(以及在例如因信道误差而无法维持同步性的情况下产生的漂移)也用于一些相关技术。

“本地”解码器(533)的操作可与例如已在上文结合图4详细描述视频解码器(410)的“远程”解码器相同。然而，另外简要参考图4，当符号可用且熵编码器 (545)和解析器(420)能够无损地将符号编码/解码为已编码视频序列时，包括缓冲存储器(415)和解析器(420)在内的视频解码器(410)的熵解码部分，可能无法完全在本地解码器(533)中实施。

此时可以观察到，除存在于解码器中的解析/熵解码之外的任何解码器技术，也必定以基本上相同的功能形式存在于对应的编码器中。出于此原因，本申请侧重于解码器操作。可简化编码器技术的描述，因为编码器技术与全面地描述的解码器技术互逆。仅在某些区域中需要更详细的描述，并且在下文提供。

在操作期间，在一些实施例中，源编码器(530)可执行运动补偿预测编码。参考来自视频序列中被指定为“参考图片”的一个或多个先前已编码图片，所述运动补偿预测编码对输入图片进行预测性编码。以此方式，编码引擎(532)对输入图片的像素块与参考图片的像素块之间的差异进行编码，所述参考图片可被选作所述输入图片的预测参考。

本地视频解码器(533)可基于源编码器(530)创建的符号，对可指定为参考图片的已编码视频数据进行解码。编码引擎(532)的操作可为有损过程。当已编码视频数据可在视频解码器(图5中未示)处被解码时，重建的视频序列通常可以是带有一些误差的源视频序列的副本。本地视频解码器(533)复制解码过程，所述解码过程可由视频解码器对参考图片执行，且可使重建的参考图片存储在参考图片高速缓存(534)中。以此方式，视频编码器(503)可在本地存储重建的参考图片的副本，所述副本与将由远端视频解码器获得的重建参考图片具有共同内容(不存在传输误差)。

预测器(535)可针对编码引擎(532)执行预测搜索。即，对于将要编码的新图片，预测器(535)可在参考图片存储器(534)中搜索可作为所述新图片的适当预测参考的样本数据(作为候选参考像素块)或某些元数据，例如参考图片运动矢量、块形状等。预测器(535)可基于样本块逐像素块操作，以找到合适的预测参考。在一些情况下，根据预测器(535)获得的搜索结果，可确定输入图片可具有从参考图片存储器(534)中存储的多个参考图片取得的预测参考。

控制器(550)可管理源编码器(530)的编码操作，包括例如设置用于对视频数据进行编码的参数和子群参数。

可在熵编码器(545)中对所有上述功能单元的输出进行熵编码。熵编码器(545)根据例如霍夫曼编码、可变长度编码、算术编码等技术对各种功能单元生成的符号进行无损压缩，从而将所述符号转换成已编码视频序列。

传输器(540)可缓冲由熵编码器(545)创建的已编码视频序列，从而为通过通信信道(560)进行传输做准备，所述通信信道可以是通向将存储已编码的视频数据的存储装置的硬件/软件链路。传输器(540)可将来自视频编码器(503)的已编码视频数据与要传输的其它数据合并，所述其它数据例如是已编码音频数据和/或辅助数据流(未示出来源)。

控制器(550)可管理视频编码器(503)的操作。在编码期间，控制器(550) 可以为每个已编码图片分配某一已编码图片类型，但这可能影响可应用于相应的图片的编码技术。例如，通常可将图片分配为以下任一种图片类型：

帧内图片(I图片)，其可以是不将序列中的任何其它图片用作预测源就可被编码和解码的图片。一些视频编解码器容许不同类型的帧内图片，包括例如独立解码器刷新(Independent Decoder Refresh，“IDR”)图片。所属领域的技术人员了解I图片的变体及其相应的应用和特征。

预测性图片(P图片)，其可以是可使用帧内预测或帧间预测进行编码和解码的图片，所述帧内预测或帧间预测使用至多一个运动矢量和参考索引来预测每个块的样本值。

双向预测性图片(B图片)，其可以是可使用帧内预测或帧间预测进行编码和解码的图片，所述帧内预测或帧间预测使用至多两个运动矢量和参考索引来预测每个块的样本值。类似地，多个预测性图片可使用多于两个参考图片和相关联元数据以用于重建单个块。

源图片通常可在空间上细分成多个样本块(例如，4×4、8×8、4×8或16×16个样本的块)，且逐块进行编码。这些块可参考其它(已编码)块进行预测编码，根据应用于块的相应图片的编码分配来确定所述其它块。举例来说，I图片的块可进行非预测编码，或所述块可参考同一图片的已经编码的块来进行预测编码(空间预测或帧内预测)。P图片的像素块可参考一个先前编码的参考图片通过空间预测或通过时域预测进行预测编码。B图片的块可参考一个或两个先前编码的参考图片通过空间预测或通过时域预测进行预测编码。

视频编码器(503)可根据例如ITU-T H.265建议书的预定视频编码技术或标准执行编码操作。在操作中，视频编码器(503)可执行各种压缩操作，包括利用输入视频序列中的时间和空间冗余的预测编码操作。因此，已编码视频数据可符合所用视频编码技术或标准指定的语法。

在实施例中，传输器(540)可传输附加数据和已编码的视频。此类数据可以是已编码视频序列的一部分。附加数据可包括时间/空间/SNR增强层、冗余图片和条带等其它形式的冗余数据、SEI消息、VUI参数集片段等。

采集到的视频可作为呈时间序列的多个源图片(视频图片)。帧内图片预测(常常简化为帧内预测)利用给定图片中的空间相关性，而帧间图片预测则利用图片之间的(时间或其它)相关性。在实施例中，将正在编码/解码的特定图片分割成块，正在编码/解码的特定图片被称作当前图片。在当前图片中的块类似于视频中先前已编码且仍被缓冲的参考图片中的参考块时，可通过称作运动矢量的矢量对当前图片中的块进行编码。所述运动矢量指向参考图片中的参考块，且在使用多个参考图片的情况下，所述运动矢量可具有识别参考图片的第三维度。

在一些实施例中，双向预测技术可用于帧间图片预测中。根据双向预测技术，使用两个参考图片，例如按解码次序都在视频中的当前图片之前(但按显示次序可能分别是过去和将来)第一参考图片和第二参考图片。可通过指向第一参考图片中的第一参考块的第一运动矢量和指向第二参考图片中的第二参考块的第二运动矢量对当前图片中的块进行编码。具体来说，可通过第一参考块和第二参考块的组合来预测所述块。

此外，合并模式技术可用于帧间图片预测中以改善编码效率。

根据本申请公开的一些实施例，帧间图片预测和帧内图片预测等预测的执行以块为单位。举例来说，根据HEVC标准，将视频图片序列中的图片分割成编码树单元(codingtree unit，CTU)以用于压缩，图片中的CTU具有相同大小，例如64×64 像素、32×32像素或16×16像素。一般来说，CTU包括三个编码树块(coding tree block， CTB)，所述三个编码树块是一个亮度CTB和两个色度CTB。更进一步的，还可将每个CTU以四叉树拆分为一个或多个编码单元(coding unit，CU)。举例来说，可将 64×64像素的CTU拆分为一个64×64像素的CU，或4个32×32像素的CU，或16 个16×16像素的CU。在实施例中，分析每个CU以确定用于CU的预测类型，例如帧间预测类型或帧内预测类型。此外，取决于时间和/或空间可预测性，将CU拆分为一个或多个预测单元(prediction unit，PU)。通常，每个PU包括亮度预测块(prediction block，PB)和两个色度PB。在实施例中，编码(编码/解码)中的预测操作以预测块为单位来执行。以亮度预测块作为预测块为例，预测块包括像素值(例如，亮度值)的矩阵，例如8×8像素、16×16像素、8×16像素、16×8像素等等。

图6是根据本申请公开的另一实施例的视频编码器(603)的图。视频编码器(603)用于接收视频图片序列中的当前视频图片内的样本值的处理块(例如预测块)，且将所述处理块编码到作为已编码视频序列的一部分的已编码图片中。在本实施例中，视频编码器(603)用于代替图3实施例中的视频编码器(303)。

在HEVC实施例中，视频编码器(603)接收用于处理块的样本值的矩阵，所述处理块为例如8×8样本的预测块等。视频编码器(603)使用例如率失真 (rate-distortion，RD)优化来确定是否使用帧内模式、帧间模式或双向预测模式来编码所述处理块。当在帧内模式中编码处理块时，视频编码器(603)可使用帧内预测技术以将处理块编码到已编码图片中；且当在帧间模式或双向预测模式中编码处理块时，视频编码器(603)可分别使用帧间预测或双向预测技术将处理块编码到已编码图片中。在某些视频编码技术中，合并模式可以是帧间图片预测子模式，其中，在不借助预测值外部的已编码运动矢量分量的情况下，从一个或多个运动矢量预测值导出运动矢量。在某些其它视频编码技术中，可存在适用于主题块的运动矢量分量。在实施例中，视频编码器(603)包括其它组件，例如用于确定处理块模式的模式决策模块(未示出)。

在图6的实施例中，视频编码器(603)包括如图6所示的耦接到一起的帧间编码器(630)、帧内编码器(622)、残差计算器(623)、开关(626)、残差编码器(624)、通用控制器(621)和熵编码器(625)。

帧间编码器(630)用于接收当前块(例如处理块)的样本、比较所述块与参考图片中的一个或多个参考块(例如先前图片和后来图片中的块)、生成帧间预测信息 (例如根据帧间编码技术的冗余信息描述、运动矢量、合并模式信息)、以及基于帧间预测信息使用任何合适的技术计算帧间预测结果(例如已预测块)。在一些实施例中，参考图片是基于已编码的视频信息解码的已解码参考图片。

帧内编码器(622)用于接收当前块(例如处理块)的样本、在一些情况下比较所述块与同一图片中已编码的块、在变换之后生成量化系数、以及在一些情况下还 (例如根据一个或多个帧内编码技术的帧内预测方向信息)生成帧内预测信息。在实施例中，帧内编码器(622)还基于帧内预测信息和同一图片中的参考块计算帧内预测结果(例如已预测块)。

通用控制器(621)用于确定通用控制数据，且基于所述通用控制数据控制视频编码器(603)的其它组件。在实施例中，通用控制器(621)确定块的模式，且基于所述模式将控制信号提供到开关(626)。举例来说，当所述模式是帧内模式时，通用控制器(621)控制开关(626)以选择供残差计算器(623)使用的帧内模式结果，且控制熵编码器(625)以选择帧内预测信息且将所述帧内预测信息添加在码流中；以及当所述模式是帧间模式时，通用控制器(621)控制开关(626)以选择供残差计算器(623)使用的帧间预测结果，且控制熵编码器(625)以选择帧间预测信息且将所述帧间预测信息添加在码流中。

残差计算器(623)用于计算所接收的块与选自帧内编码器(622)或帧间编码器(630)的预测结果之间的差(残差数据)。残差编码器(624)用于基于残差数据操作，以对残差数据进行编码以生成变换系数。在实施例中，残差编码器(624)用于将残差数据从时域转换到频域，且生成变换系数。变换系数接着经由量化处理以获得量化的变换系数。在各种实施例中，视频编码器(603)还包括残差解码器(628)。残差解码器(628)用于执行逆变换，且生成已解码残差数据。已解码残差数据可适当地由帧内编码器(622)和帧间编码器(630)使用。举例来说，帧间编码器(630) 可基于已解码残差数据和帧间预测信息生成已解码块，且帧内编码器(622)可基于已解码残差数据和帧内预测信息生成已解码块。适当处理已解码块以生成已解码图片，且在一些实施例中，所述已解码图片可在存储器电路(未示出)中缓冲并用作参考图片。

熵编码器(625)用于将码流格式化以产生已编码的块。熵编码器(625)根据 HEVC标准等合适标准产生各种信息。在实施例中，熵编码器(625)用于获得通用控制数据、所选预测信息(例如帧内预测信息或帧间预测信息)、残差信息和码流中的其它合适的信息。应注意，根据所公开的主题，当在帧间模式或双向预测模式的合并子模式中对块进行编码时，不存在残差信息。

图7是根据本申请公开的另一实施例的视频解码器(710)的图。视频解码器(710)用于接收作为已编码视频序列的一部分的已编码图像，且对所述已编码图像进行解码以生成重建的图片。在实施例中，视频解码器(710)用于代替图3实施例中的视频解码器(310)。

在图7实施例中，视频解码器(710)包括如图7中所示耦接到一起的熵解码器(771)、帧间解码器(780)、残差解码器(773)、重建模块(774)和帧内解码器(772)。

熵解码器(771)可用于根据已编码图片来重建某些符号，这些符号表示构成所述已编码图片的语法元素。此类符号可包括例如用于对所述块进行编码的模式(例如帧内模式、帧间模式、双向预测模式、后两者的合并子模式或另一子模式)、可分别识别供帧内解码器(772)或帧间解码器(780)用以进行预测的某些样本或元数据的预测信息(例如帧内预测信息或帧间预测信息)、呈例如量化的变换系数形式的残差信息等等。在实施例中，当预测模式是帧间或双向预测模式时，将帧间预测信息提供到帧间解码器(780)；以及当预测类型是帧内预测类型时，将帧内预测信息提供到帧内解码器(772)。残差信息可经由逆量化并提供到残差解码器(773)。

帧间解码器(780)用于接收帧间预测信息，且基于所述帧间预测信息生成帧间预测结果。

帧内解码器(772)用于接收帧内预测信息，且基于所述帧内预测信息生成预测结果。

残差解码器(773)用于执行逆量化以提取解量化的变换系数，且处理所述解量化的变换系数，以将残差从频域转换到空间域。残差解码器(773)还可能需要某些控制信息(用以获得量化器参数QP)，且所述信息可由熵解码器(771)提供(未标示数据路径，因为这仅仅是低量控制信息)。

重建模块(774)用于在空间域中组合由残差解码器(773)输出的残差与预测结果(可由帧间预测模块或帧内预测模块输出)以形成重建的块，所述重建的块可以是重建的图片的一部分，所述重建的图片继而可以是重建的视频的一部分。应注意，可执行解块操作等其它合适的操作来改善视觉质量。

应注意，可使用任何合适的技术来实施视频编码器(303)、视频编码器(503) 和视频编码器(603)以及视频解码器(310)、视频解码器(410)和视频解码器(710)。在实施例中，可使用一个或多个集成电路来实施视频编码器(303)、视频编码器(503) 和视频编码器(603)以及视频解码器(310)、视频解码器(410)和视频解码器(710)。在另一实施例中，可使用执行软件指令的一个或多个处理器来实施视频编码器 (303)、视频编码器(503)和视频编码器(603)以及视频解码器(310)、视频解码器(410)和视频解码器(710)。

I.相关运动信息编码技术

I.1HEVC中的合并模式

在编码技术中，例如使用基于树状结构的分割方案可将图片划分为块。然后可使用不同的处理模式来处理产生的块，比如帧内预测模式、帧间预测模式、合并模式、跳过模式等等。当使用合并模式处理当前正处理的块(称为当前块)时，可从当前块的空间或时间邻域中选择相邻块。通过共享来自选定的相邻块的同一组运动数据，当前块可与选定的相邻块合并。可在一组相邻块上执行这种合并模式操作，以使得相邻块的区域可被合并在一起并且共享同一组运动数据。在从编码器到解码器的传输过程中，针对该当前块，仅传输用于指示选定的相邻块的运动数据的索引，而不是传输整组运动数据。由此，可减少用于传输运动信息的数据量(位)，并且可提高编码效率。

在上述实施例中，提供运动数据的相邻块可从针对该当前块而预定义的候选位置集合中选择。例如，候选位置可包括空间候选位置和时间候选位置。每个空间候选位置和与该当前块相邻的空间相邻块相关联。每个时间候选位置与位于先前已编码的图片中的时间相邻块相关联。与候选位置(称为候选块)重叠的相邻块是当前块的空间相邻块和当前块的时间相邻块的子集。由此，可评估候选块以选择待合并的块，而不是整组相邻块。

图8示出了例如在HEVC中定义的示例性合并模式候选位置。当前块(810)将以合并模式进行处理。为合并模式处理定义候选位置的集合{A,B,C,D,E,T0,T1}。具体地，候选位置{A,B,C,D,E}是空间候选位置，表示与当前块(810)处于同一图片中的候选块的位置。与之相比，候选位置{T0,T1}是时间候选位置，表示处于先前已编码的图片中的候选块的位置。如图所示，候选位置T1可位于当前块(810)的中心附近。

在图8中，每个候选位置由例如具有4x4个样本大小的样本块表示。对应于候选位置的这种块的大小可以等于或小于预测块(PB)的最小允许大小(例如，4x4 个样本)。针对用于生成当前块(810)的基于树状结构的分割方案，对该最小允许大小进行定义。在此配置下，对应于候选位置的块总是被单个相邻PB覆盖。在可选的实施例中，样本位置(例如，块A内右下方的样本，或者块D内右上方的样本) 可用于表示候选位置。

在一个实施例中，基于图8中定义的候选位置{A,B,C,D,E,T0,T1}，可执行合并模式过程，以便从候选位置{A,B,C,D,E,T0,T1}中选择合并候选。在合并模式过程中，可执行候选列表创建过程以创建候选列表。候选列表可具有预定义的最大数量的合并候选(Cm)。候选列表中的每个合并候选可包括一组可用于运动补偿预测的运动数据。

合并候选可根据特定顺序排列在候选列表中。例如，根据合并候选是如何导出的，不同的合并候选可具有不同的选定概率。选定概率较高的合并候选位于选定概率较低的合并候选前边。基于此顺序，每个合并候选关联一索引(称为合并索引)。在一个实施例中，选定概率较高的合并候选将具有较小的索引值，这意味着编码各个索引需要更少的比特。

在一个实施例中，运动数据可包括一个或两个运动向量的水平和垂直运动向量位移值、以及与该一个或两个运动向量相关联的一个或两个参考图片索引，并且可选地包括每个索引与哪个参考图片列表相关联的标识。

在一个实施例中，根据预定顺序，从空间候选位置{A,B,C,D,E}中导出第一数量的合并候选C1，并且从时间候选位置{T0,T1}导出第二数量的合并候选 C2＝Cm-C1。代表候选位置的数字A、B、C、D、E、T0和T1还可用于指代合并候选。例如，从候选位置A获取的合并候选被称为合并候选A。

在一些场景中，候选位置处的合并候选可能不可用。例如，候选位置处的候选块可为帧内预测的、位于包括当前块(810)的条带或矩形块之外，或者不与当前块(810)位于同一编码树块(CTB)行中。在一些场景中，候选位置处的合并候选可为冗余的。例如，当前块(810)的一个相邻块可与两个候选位置重叠。冗余的合并候选可从候选列表中移除。当候选列表中可用的合并候选的总数量小于合并候选的最大数量C时，可生成额外的合并候选(例如，根据预配置的规则)以填充候选列表，从而候选列表可维持一个固定长度。例如，额外的合并候选可包括组合的双向预测候选和零运动向量候选。

在创建了候选列表之后，在编码器中，可执行评估过程以从候选列表中选择合并候选。例如，可计算出对应于每个合并候选的RD性能，然后可选择具有最佳RD 性能的合并候选。相应地，可为当前块(810)确定与选定的合并候选相关联的合并索引，并且通过信号标识给解码器。

在解码器中，可接收当前块(810)的合并索引。可执行如上所述的类似的候选列表创建过程，以生成与在编码器端生成的候选列表相同的候选列表。在一些实施例中，在创建候选列表之后，可基于接收到的合并索引从候选列表中选择合并候选，而无需进行任何评估。选定的合并候选的运动数据可用于后续的当前块(810)的运动补偿预测。

HEVC中还引入了跳过模式。例如，在跳过模式中，使用如上所述的合并模式可预测当前块，从而确定一组运动数据。然而，不会生成残差，并且也不传输变换系数。跳过标志可与当前块相关联。该跳过标志和用于指示当前块的相关运动信息的合并索引可通过信号标识给视频解码器。例如，在帧间预测条带中的编码单元(CU) 的起始处，可通过信号标识的跳过标志暗示了如下内容：该CU仅包含一个PU (2Nx2N)；该合并模式用于导出运动数据；并且位流中不存在残差数据。在解码器端，基于该跳过标志，根据该合并索引可确定预测块，用于解码相应的当前块而不增加残差信号。由此，在此公开的以合并模式进行视频编码的各种方法可与跳过模式结合使用。

I.2通用视频编码(VVC)中的合并模式

通用视频编码(VVC)是由联合视频研究组(JVET)开发的视频编码标准。在 VVC中引入了子CU模式和子CU合并候选。子CU模式包括可选的时间运动向量预测(ATMVP)模式和时间-空间运动向量预测(STMVP)模式。可启用该子CU模式以获得额外的合并候选。不使用额外的句法元素来标识该子CU模式。可以导出两个额外的子CU合并候选(ATMVP候选和STMVP候选)，并将其添加至每个CU的合并候选列表以便分别表示ATMVP模式和STMVP模式。与HEVC的候选列表相比，如果序列参数集指示启用了ATMVP和STMVP模式，则使用多达七个的合并候选。子CU合并候选还可被称为基于子块的候选。ATMVP候选还可被称为基于子块的ATMVP候选或基于子块的TMVP候选。STMVP候选还可被称为基于子块的STMVP 候选。

该额外的合并候选(ATMVP和STMVP)的编码逻辑类似于HEVC中的合并候选的编码逻辑。例如，对于P或B条带中的每个CU，两个额外的子CU合并候选需要多于两次的率失真性能检测。在一个实施例中，根据以下排序将合并候选***或加入候选列表中：空间合并候选(例如，候选A、B、C和D)、子CU合并候选(例如，候选ATMVP和STMVP)、候选E(当列表中的合并候选少于六个时)、时间合并候选(TMVP)、组合的双向预测候选和零运动向量候选。在一个实施例中，如果给定候选列表的长度(例如7)，当具有较高优先权的可用合并候选基于上述排序无法完全填满候选列表时，可使用具有较低优先权的合并候选填充该候选列表。

I.3运动信息差分编码模式

在一些实施例中，可用预测编码方法对当前块的运动信息进行编码。例如，不使用合并模式或跳过模式，而是可使用MV预测子对帧间预测块的运动向量进行差分编码。例如，类似于本文中所描述的、在合并模式中创建合并候选列表，可从MV 预测子候选位置的集合中选择MV预测子的集合，以创建MV预测子候选的列表。然后，可在候选列表中的多个MV预测子候选中选择MV预测子。MV预测子与实际运动向量之间的差值以及选定的MV预测子候选的索引，可从编码器端传输至解码器端。在一些实施例中，此类运动向量预测处理被称为运动信息差分编码模式或者运动信息预测编码模式。在另一些实施例中，运动信息差分编码模式被称为高级运动向量预测(AMVP)模式。

在一些实施例中，图8中定义的候选位置被用作创建MV预测子候选列表的MV 预测子候选位置。在一个实施例中，根据图8中五个空间候选的可用性，选择两个空间运动候选，以创建MV预测子候选列表。根据其可用性，可从左方位置集合{A, D}中选择第一个空间运动候选，并从上方位置集合{C,B,E}中选择第二个空间运动候选，并且选择时遵循这两个集合中指示的搜索顺序。如果无法从这两个位置集合中找到有效的运动向量，则不向MV预测子列表中填入候选。可执行裁剪操作，以从列表中移除冗余候选。当可用的空间MV预测子的数量不等于2时(或者小于2 时)，根据其可用性以及集合中指示的检索顺序，将考虑位置集合{T0,T1}中的时间运动候选。最后，重复包含零运动向量，直至MV预测子候选的数量等于2。

图8中的当前块和相邻块可为单向或双向块，并且因此可与一个或两个参考图片列表(L0和L1)相关联。在当前块是具有两个相关联的MV的双向块时，可对每个MV执行两次上述的MV预测子候选列表创建过程。

当前块和候选块的MV可能与不同的参考图片列表(L0或L1)或不同的参考图片(不同的参考图片索引)相关联。当邻域候选块的参考图片索引与当前块的参考图片索引不相同时，使用各自的运动向量的缩放版本。例如，根据当前图片与参考图片之间的时间距离，对各自的相邻MV进行缩放，其中参考图片由相邻块和当前块的索引指示。

在一些实施例中，除了使用来自当前块的空间或时间相邻块的运动信息作为运动信息预测子之外，还可使用基于子块的运动候选作为运动信息差分编码模式中的运动信息预测子。当将此基于子块的运动候选用于运动信息差分编码模式中时，其可被称为基于子块的运动预测子。

I.4基于仿射运动模型的运动补偿和仿射运动信息预测的实施例

在HEVC中，采用块匹配算法来寻找参考图片中的最佳匹配块。通过运动向量，对该最佳匹配块相对于当前块进行移动，并且将该最佳匹配块用作当前块的预测。可根据该最佳匹配块进行运动补偿。块匹配算法通常基于平移运动模型，并且假设当前块内样本的运动是均匀的。这种基于平移运动模型的算法无法有效地描述一些复杂的运动，比如正在移动的物体的旋转、缩放和其它变形。

与之相比，对于以仿射运动移动的物体所对应的当前块，基于仿射运动模型的预测可有效地确定当前块内样本的运动信息，并由此可找到最佳预测块。例如，在仿射编码或描述的编码块中，样本的不同部分可具有不同的运动向量。在仿射编码或描述的编码块中具有运动向量的基本单元被称为子块。子块的最小尺寸可为1个样本，并且最大尺寸可与当前块的大小一样。

当确定了仿射运动模型时，基于该仿射运动模型，可为当前块中的每个样本导出目标参考图片的运动向量。然而，为了降低实现的复杂度，在一些实施例中，仿射运动补偿在子块基础上而不是样本基础上进行。例如，使用仿射运动模型，可为每个子块导出运动向量。对于同一个子块中的样本，运动向量是相同的。每个子块内的特定位置，比如各个子块的左上方或者中心点，被用作导出各自的运动向量的代表位置。在一个实施例中，子块的大小为4x4个样本。

I.4.1.具有六个仿射运动参数(AMP)的仿射运动模型

通常，用于导出块的运动信息的仿射运动模型可采用6个AMP来表示和定义。基于6个AMP的仿射运动模型也可通过位于该块的不同位置的3个运动向量来表示。

当仿射运动模型是由6个AMP定义时，可使用该6个AMP导出当前块中的样本的运动向量。例如，二维(2D)仿射变换可由公式(1)描述：

其中，(x,y)和(x’,y’)分别是当前图片和参考图片中的一对对应位置，并且a、b、c、 d、e和f是6个AMP。假设(Vx,Vy)＝(x-x’,y-y’)是当前图片中位置(x,y)处的运动向量，则该运动向量可根据公式(2)确定：

如公式(1)(2)所示，可根据该6个AMP确定位置(x,y)处的运动向量(Vx,Vy)。由于该6个AMP可定义各自的仿射运动模型，因此这6个AMP可被用于指代该仿射运动模型。

图9A示出了根据本申请实施例的具有3个运动向量的仿射运动模型的表示。如图所示，当前块(900)的大小为SxS个样本。当前块(1100)的三个角处的三个运动向量MV0、MV1和MV2用于表示该仿射运动模型。具体地，这三个运动向量MV0、 MV1和MV2对应于当前块内的、坐标为(0,0)、(S-1,0)和(0,S-1)的三个样本。这三个样本的位置被称为控制点(CP)。这三个运动向量可被称为控制点运动向量 (CPMV)。

图9B示出了使用当前块(902)的三个控制点CP0、CP1和CP2处的运动向量来确定参考块(904)的实施例。如图所示，在仿射变换之后，矩形块变为平行四边形。

当仿射模型是由当前块的三个CPMV定义时，使用这三个CPMV可导出当前块中的样本(x,y)的运动向量MV(x,y)。例如，参见图11，运动向量MV(x,y)可根据公式(3)确定：

其中，

并且/>

如公式(3) 所示，样本(x,y)的运动向量MV(x,y)是MV0、MV1和MV2这几个CPMV的线性组合。因此，这三个角的运动控制块(1100)中所有样本的运动。相应地，CPMV可用于指代或表示相应的仿射运动模型。

I.4.2.具有四个AMP的仿射运动模型

在另一实施例中，使用4个AMP定义了仿射运动模型的简化版本。在简化的仿射运动模型中，假设仿射变换后块的形状不变。相应地，矩形块将仍保持矩形，并且变换后的长宽比不变。简化的仿射运动模型可用两个控制点处的一对运动向量来表示。

图10A示出了根据本申请实施例的具有2个运动向量的简化的仿射运动模型的表示。如图所示，当前块(1000)的控制点CP0和CP1处的运动向量MV0和MV1 可用于表示该当前块(1000)的简化的仿射运动模型。

图10B示出了使用当前块(1002)的两个控制点CP0和CP1处的运动向量MV0 和MV1来确定参考块(1004)的实施例。如图所示，在仿射变换后，矩形块保持其形状不变。

在当前块的简化的仿射运动模型是由4个AMP定义时，可使用这4个AMP导出当前块中样本的运动向量。例如，使用四参数仿射运动模型的二维(2D)仿射变换可由公式(4)描述：

其中，(x,y)和(x’,y’)分别是当前图片和参考图片中的一对对应位置，并且ρ、θ、c和f是4个AMP。具体地，ρ是用于缩放的缩放因子，θ是用于旋转的角度因子，而 (c,f)是描述平移运动的运动向量。

对于当前块中的每个任意位置(x,y)，指向参考图片的各个运动向量可使用公式(4)并基于参考图片中对应像素的对应关系(x’,y’)来确定。当前图片中位置(x,y)的运动向量MV可为MV＝(x-x’,y-y’)。通过将整个当前块划分为小单元的阵列来进行仿射补偿。单元内的像素共享同一运动向量。每个单元的代表位置通过使用该单元中的选定位置来确定，比如左上方像素、单元的中心等。用于仿射补偿的小单元的大小可为1个像素、4x4个样本、MxN个样本等等。

当简化的仿射模型是由当前块的两个CPMV定义时，参照图10A的实施例，可使用MV0和MV1这两个CPMV并根据公式(5)导出当前块(1300)中的样本(x,y) 的运动向量(vx,vy)：

其中，(v_0x,v_0y)是左上角控制点CP0的运动向量MV0，而(v_1x,v_1y)是右上角控制点CP1 的运动向量MV1。

I.5.仿射合并模式

类似于HEVC中的合并模式，在仿射合并模式中，可创建仿射运动信息候选列表，用于导出当前块的仿射运动信息，其中，仿射运动信息候选列表被称为仿射合并候选列表。

当前块中的仿射信息是从先前的仿射编码块中导出的。在一种方法中，假设参考块和当前块处于相同的仿射对象中，以使得可从参考块的模型中导出当前块的控制点处的MV。按照在参考块中逐个控制点地对MV进行线性修改的相同方式，将当前块的其他位置处的MV进行线性修改。该方法被称为合并模式中基于模型的仿射预测，其类似于上面描述的AMVP模式中的基于模型的仿射预测。在基于模型的仿射预测中，对于合并模式和AMVP模式，候选列表中的仿射运动候选可为相邻块的 CPMV的集合。

在另一种方法中，直接使用相邻块的运动向量作为当前块的控制点处的运动向量。然后，使用来自控制点的信息生成该块内的样本(除控制点之外)的运动向量。该方法被称为合并模式中基于控制点的仿射预测，其类似于上面描述的AMVP模式中基于控制点的仿射预测。在基于控制点的仿射预测中，对于合并模式和AMVP模式，候选列表中的仿射运动候选可为运动向量的集合，其中每个运动向量对应当前块的一个控制点，并且这些运动向量来自于当前块的相邻块。

在任一方法中，用于指代合并候选列表中的选定合并候选的索引通过信号来通知，然而用于当前块的MV的残差(差分)分量不用信号标识(这与使用MV的差分编码的仿射AMVP不同)。假设残差分量为零。

参照图11A-11B，其描述了创建基于控制点的仿射合并模式中的仿射合并候选列表的的实施例。创建候选仿射运动模型的列表，以作为当前块(1100)的仿射合并候选列表。列表中的每个候选仿射运动模型由当前块(1100)的控制点CP1-CP4处的运动信息表示。控制点CP1-CP4处的运动信息是从对应于每个控制点CP1-CP4的相领块中选出的。

图11A示出了用于为控制点CP1-CP3选择运动信息的空间候选位置。图11B示出了在时间共同定位块(temporal co-located block)(1102)处的时间候选位置，用于为控制点CP4选择运动信息。每个控制点CP1-CP4的运动信息都可按照如下优先权顺序来确定：

1)对于CP1,检测排序为B2、A2和B3；

2)对于CP2,检测排序为B0、B1；

3)对于CP3,检测排序为A0、A1；

4)对于CP4，使用TRb。

控制点用于根据以下排序创建合并候选列表：

仿射(CP2,CP3)；

仿射(CP1,CP3)；

仿射(CP1,CP2,CP3)；

仿射(CP1,CP2)；

仿射(CP2,CP4)；

仿射(CP3,CP4)；

仿射(CP1,CP4)；

双线性的；

仿射(CP1,CP2,CP4)；

仿射(CP2,CP3,CP4)；

仿射(CP1,CP3,CP4)。

在一个实施例中，仅当每个候选模型中所有选定的控制点的运动信息都可用并且彼此不一致时(考虑参考图片索引)，各自的候选模型才包含在候选列表中。

II.1根据块形状对基于控制点的仿射合并候选进行排序

本申请的实施例具有提高仿射运动补偿效率的显著优点，比如使用来自相邻编码块的现有运动信息来预测当前块中的仿射运动。本申请的实施例允许编码块具有仿射预测子候选列表的灵活设计。本申请的实施例既可应用于仿射合并模式，又可应用于合并模式和残差(AMVP)模式。

根据一些实施例，为了为仿射编码块内的每个子块导出更精确的运动向量，控制点的选择基于块的形状进行。例如，如果块的宽度大于高度(例如，图12C中的 1204)，则认为水平相邻的MV信息与当前块更相关。类似地，如果块的高度大于块的宽度(例如，图12B中的1202),则认为垂直相邻的MV信息与当前块更相关。如果块是正方形的并且块的高度等于块的宽度(例如，图12A中的1200)，则认为垂直和水平相邻的MV信息与当前块同等相关。

在一些实施例中，在当前块是正方形块时(例如，图12A)，仿射合并候选从以下示例候选组(1)中选出：

仿射(CP2,CP3)

仿射(CP1,CP4)

仿射(CP1,CP2,CP3)

仿射(CP1,CP2,CP4)

仿射(CP2,CP3,CP4)

仿射(CP1,CP3,CP4)。

组(1)中示出的候选相对于垂直或水平候选不具有优先权。

在一些实施例中，在当前块是非正方形块并且该当前块的高度大于宽度时(例如，图12B)，仿射合并候选从以下示例候选组(2)中选出：

仿射(CP1,CP3)

仿射(CP2,CP4)。

对于组(2)中示出的候选，例如，认为垂直相邻的MV信息(例如，CP1和CP2) 更相关。作为实施例，认为来自沿着块的顶部边缘的控制点(即具有相同y坐标不同x坐标的控制点)的MV信息更相关。

在一些实施例中，在当前块是非正方形块并且该当前块的高度大于宽度时(例如，图12C)，仿射合并候选从以下示例候选组(3)中选出：

仿射(CP1,CP2)

仿射(CP3,CP4)。

对于组(3)中示出的候选，例如，认为水平相邻的MV信息(例如，CP1和CP3) 更相关。作为实施例，认为来自沿着块的侧面边缘的控制点(即具有相同x坐标不同y坐标的控制点)的MV信息更相关。

根据一些实施例，当创建包括多个基于控制点的仿射候选的合并列表时，该合并列表是单独的仿射合并列表，或者是具有仿射候选和非仿射候选的联合合并列表。在一些实施例中，基于将更相关的候选放置在候选列表的前部，对合并列表中的仿射候选进行排序，以使得更相关的候选具有较高的选中机会。而且，通过将更相关的候选排列在候选列表的前部，可有利地减少信令开销(合并索引信令)。在一些实施例中，当合并列表为联合合并列表时，将仿射候选放置在非仿射候选的前面。以下实施例可单独或者共同执行。

在一些实施例中，在当前块是正方形块时(例如，图12A)，合并候选列表中仿射合并候选的排序为：来自组(1)的候选，来自组(2)的候选，来自组(3)的候选。在另一实施例中，在当前块是正方形块时(例如，图12A)，合并候选列表中仿射合并候选的排序为：来自组(1)的候选，来自组(3)的候选，来自组(2)的候选。

在一些实施例中，在当前块是非正方形块并且该当前块的高度大于宽度时(例如，图12B)，合并候选列表中仿射合并候选的排序为：来自组(2)的候选，来自组 (1)的候选，来自组(3)的候选。在另一实施例中，在当前块是非正方形块并且该当前块的高度大于宽度时(例如，图12B)，合并候选列表中仿射合并候选的排序为：来自组(2)的候选，来自组(3)的候选，来自组(1)的候选。

在一些实施例中，在当前块是非正方形块并且该当前块的宽度大于高度时(例如，图12C)，合并候选列表中仿射合并候选的排序为：来自组(3)的候选，来自组 (1)的候选，来自组(2)的候选。在另一实施例中，在当前块是非正方形块并且该当前块的宽度大于高度时(例如，图12C)，合并候选列表中仿射合并候选的排序为：来自组(3)的候选，来自组(2)的候选，来自组(1)的候选。

根据一些实施例，每个组中的候选具有不同的权重。因此，当根据特定的组顺序分配合并列表中的候选时，组中的一些候选可能不与同一组中的其它候选放在一起。例如，在组(1)中，候选D、E和F可能被认为没有候选A、B和C重要。因此，根据一些实施例，对于为正方形块的当前块，合并列表中的仿射候选可按如下排列：组(1)中的候选A、B和C；组(2)中的候选；组(3)中的候选；以及组 (1)中的候选D、E和F。

II.2根据候选的块大小对基于模型的仿射合并候选进行排序

根据一些实施例，对于当前块，该当前块的一些相邻块可以以仿射模式进行编码。为了再利用相邻块的仿射模型，可使用基于模型的仿射合并模式对当前块进行编码。当存在多个基于模型的仿射合并候选时，这些仿射合并候选在合并列表中的出现顺序是基于预定义的位置检测顺序确定的。例如，可使用HEVC中的五个空间候选A1、B1、B0、A0和B2的检测顺序(图11)。当仿射编码块较小时，基于该块的控制点导出的仿射模型参数可能不准确。因此，较小的相邻仿射编码块对于当前块的重要性或者权重被认为是相对较低的。

根据一些实施例，当创建合并候选列表并且该合并候选列表包括来自多个相邻位置的基于模型的仿射候选时，根据已编码的仿射相邻块的块大小来确定这些仿射候选的出现顺序。例如，大于第二相邻块的第一相邻块在该合并候选列表中排在该第二相邻块之前。在一些实施例中，当两个仿射编码块具有相同大小时，这两个候选在合并列表中的排序是基于先检测哪个块来确定的。

根据一些实施例，如果相邻仿射编码块太小，例如，如果其大小小于阈值，则将该块从合并候选列表中移除，或者将该块推向合并候选列表的末尾。在一些实施例中，通过(i)仿射编码块的面积、(ii)仿射编码块的较短端或(iii)仿射编码块的较长端来测量该仿射编码块的大小。

图13示出了根据本申请实施例的视频编码过程(1300)。该过程开始于步骤(S1302)，在该步骤(S1302)中，对已编码视频比特流的当前图片中的当前块的预测信息进行解码。该预测信息指示使用合并模式中的仿射模型对该当前块进行编码。

该过程执行步骤(S1304)，在该步骤(S1304)中，将该当前块的高度(H)与宽度(W)进行比较。在步骤(S1306)中，如果H＝W(例如，参见图12A中的正方形块)，则该过程执行步骤(S1308)，在该步骤(S1308)中，选择一个或多个仿射候选而无需对垂直或水平候选赋予优先权。例如，可选择组(1)中的候选A-F中的一个或多个。该过程从步骤(S1308)执行到步骤(S1316)。

如果H不等于W，则该过程从步骤(S1306)执行到步骤(S1310)，在步骤(S1310) 中，确定H是否大于W。如果H>W(例如，参见图12B中的非正方形块)，则该过程执行步骤(S1312)，以选择一个或多个仿射候选，其中优先考虑垂直候选。例如，可选择组(2)中的一个或多个候选。如果H<W(例如，参见图12C中的非正方形块)，则该过程从步骤(S1310)执行到步骤(S1314)，以选择一个或多个仿射候选，其中优先考虑水平候选。例如，可选择组(3)中的一个或多个候选。

该过程从步骤(S1312)和步骤(S1314)执行到步骤(S1316)，在步骤(S1316) 中，至少使用所选定的一个或多个仿射候选来创建仿射候选的合并列表。该过程执行步骤(S1318)，在步骤(S1318)中，基于合并列表和仿射模型重建当前块。

图14示出了根据本申请实施例的视频编码过程(1400)。该方法开始于步骤(S1402)，在步骤(S1402)中，对已编码视频比特流的当前图片中的当前块的预测信息进行解码。该过程执行步骤(S1404)，在步骤(S1404)中，创建合并列表，该合并列表包括根据块大小从大到小排序的、当前块的仿射编码空间相邻块。例如，参照图11A，将当前块1100的仿射编码的空间相邻块加至合并列表中，其中该合并列表中的这些块的排序是从大到小排列的。该过程执行步骤(S1406)，在该步骤 (S1406)中，从合并列表中选择候选。该过程执行步骤(S1408)，在该步骤(S1408) 中，基于所选择的候选的仿射模型重建当前块。

上述技术可以通过计算机可读指令实现为计算机软件，并且物理地存储在一个或多个计算机可读介质中。例如，图15示出了计算机***(1500)，其适于实现所公开主题的某些实施例。

所述计算机软件可通过任何合适的机器代码或计算机语言进行编码，通过汇编、编译、链接等机制创建包括指令的代码，所述指令可由一个或多个计算机中央处理单元(CPU)，图形处理单元(GPU)等直接执行或通过译码、微代码等方式执行。

所述指令可以在各种类型的计算机或其组件上执行，包括例如个人计算机、平板电脑、服务器、智能手机、游戏设备、物联网设备等。

图15所示的用于计算机***(1500)的组件本质上是示例性的，并不用于对实现本申请实施例的计算机软件的使用范围或功能进行任何限制。也不应将组件的配置解释为与计算机***(1500)的示例性实施例中所示的任一组件或其组合具有任何依赖性或要求。

计算机***(1500)可以包括某些人机界面输入设备。这种人机界面输入设备可以通过触觉输入(如：键盘输入、滑动、数据手套移动)、音频输入(如：声音、掌声)、视觉输入(如：手势)、嗅觉输入(未示出)，对一个或多个人类用户的输入做出响应。所述人机界面设备还可用于捕获某些媒体，气与人类有意识的输入不必直接相关，如音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静止影像相机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。

人机界面输入设备可包括以下中的一个或多个(仅绘出其中一个)：键盘(1501)、鼠标(1502)、触控板(1503)、触摸屏(1510)、数据手套(未示出)、操纵杆(1505)、麦克风(1506)、扫描仪(1507)、照相机(1508)。

计算机***(1500)还可以包括某些人机界面输出设备。这种人机界面输出设备可以通过例如触觉输出、声音、光和嗅觉/味觉来刺激一个或多个人类用户的感觉。这样的人机界面输出设备可包括触觉输出设备(例如通过触摸屏(1510)、数据手套 (未示出)或操纵杆(1505)的触觉反馈，但也可以有不用作输入设备的触觉反馈设备)、音频输出设备(例如，扬声器(1509)、耳机(未示出))、视觉输出设备(例如，包括阴极射线管屏幕、液晶屏幕、等离子屏幕、有机发光二极管屏的屏幕(1510)，其中每一个都具有或没有触摸屏输入功能、每一个都具有或没有触觉反馈功能——其中一些可通过诸如立体画面输出的手段输出二维视觉输出或三维以上的输出；虚拟现实眼镜(未示出)、全息显示器和放烟箱(未示出))以及打印机(未示出)。

计算机***(1500)还可以包括人可访问的存储设备及其相关介质，如包括具有CD/DVD的高密度只读/可重写式光盘(CD/DVD ROM/RW)(1520)或类似介质 (1521)的光学介质、拇指驱动器(1522)、可移动硬盘驱动器或固体状态驱动器 (1523)，诸如磁带和软盘(未示出)的传统磁介质，诸如安全软件保护器(未示出) 等的基于ROM/ASIC/PLD的专用设备，等等。

本领域技术人员还应当理解，结合所公开的主题使用的术语“计算机可读介质”不包括传输介质、载波或其它瞬时信号。

计算机***(1500)还可以包括通往一个或多个通信网络的接口。例如，网络可以是无线的、有线的、光学的。网络还可为局域网、广域网、城域网、车载网络和工业网络、实时网络、延迟容忍网络等等。网络还包括以太网、无线局域网、蜂窝网络(GSM、3G、4G、5G、LTE等)等局域网、电视有线或无线广域数字网络(包括有线电视、***、和地面广播电视)、车载和工业网络(包括CANBus)等等。某些网络通常需要外部网络接口适配器，用于连接到某些通用数据端口或***总线 (1549)(例如，计算机***(1500)的USB端口)；其它***通常通过连接到如下所述的***总线集成到计算机***(1500)的核心(例如，以太网接口集成到PC计算机***或蜂窝网络接口集成到智能电话计算机***)。通过使用这些网络中的任何一个，计算机***(1500)可以与其它实体进行通信。所述通信可以是单向的，仅用于接收(例如，无线电视)，单向的仅用于发送(例如CAN总线到某些CAN总线设备)，或双向的，例如通过局域或广域数字网络到其它计算机***。上述的每个网络和网络接口可使用某些协议和协议栈。

上述的人机界面设备、人可访问的存储设备以及网络接口可以连接到计算机***(1500)的核心(1540)。

核心(1540)可包括一个或多个中央处理单元(CPU)(1541)、图形处理单元(GPU)(1542)、以现场可编程门阵列(FPGA)(1543)形式的专用可编程处理单元、用于特定任务的硬件加速器(1544)等。这些设备以及只读存储器(ROM)(1545)、随机存取存储器(1546)、内部大容量存储器(例如内部非用户可存取硬盘驱动器、固态硬盘等)(1547)等可通过***总线(1548)进行连接。在某些计算机***中，可以以一个或多个物理插头的形式访问***总线(1548)，以便可通过额外的中央处理单元、图形处理单元等进行扩展。***装置可直接附接到核心的***总线(1548)，或通过***总线(1549)进行连接。***总线的体系结构包括外部控制器接口PCI、通用串行总线USB等。

CPU(1541)、GPU(1542)、FPGA(1543)和加速器(1544)可以执行某些指令，这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在ROM (1545)或RAM(1546)中。过渡数据也可以存储在RAM(1546)中，而永久数据可以存储在例如内部大容量存储器(1547)中。通过使用高速缓冲存储器可实现对任何存储器设备的快速存储和检索，高速缓冲存储器可与一个或多个CPU(1541)、 GPU(1542)、大容量存储器(1547)、ROM(1545)、RAM(1546)等紧密关联。

所述计算机可读介质上可具有计算机代码，用于执行各种计算机实现的操作。介质和计算机代码可以是为本申请的目的而特别设计和构造的，也可以是计算机软件领域的技术人员所熟知和可用的介质和代码。

作为实施例而非限制，具有体系结构(1200)的计算机***，特别是核心(1240)，可以作为处理器(包括CPU、GPU、FPGA、加速器等)提供执行包含在一个或多个有形的计算机可读介质中的软件的功能。这种计算机可读介质可以是与上述的用户可访问的大容量存储器相关联的介质，以及具有非易失性的核心(1240)的特定存储器，例如核心内部大容量存储器(1247)或ROM(1245)。实现本申请的各种实施例的软件可以存储在这种设备中并且由核心(1240)执行。根据特定需要，计算机可读介质可包括一个或一个以上存储设备或芯片。该软件可以使得核心(1240) 特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文所述的特定过程或特定过程的特定部分，包括定义存储在RAM(1246)中的数据结构以及根据软件定义的过程来修改这种数据结构。另外或作为替代，计算机***可以提供逻辑硬连线或以其它方式包含在电路(例如，加速器(1244))中的功能，该电路可以代替软件或与软件一起运行以执行本文所述的特定过程或特定过程的特定部分。在适当的情况下，对软件的引用可以包括逻辑，反之亦然。在适当的情况下，对计算机可读介质的引用可包括存储执行软件的电路(如集成电路(IC))，包含执行逻辑的电路，或两者兼备。本申请包括任何合适的硬件和软件组合。

虽然本申请已对多个示例性实施例进行了描述，但实施例的各种变更、排列和各种等同替换均属于本申请的范围内。因此应理解，本领域技术人员能够设计多种***和方法，所述***和方法虽然未在本文中明确示出或描述，但其体现了本申请的原则，因此属于本申请的精神和范围之内。

总的来说，本申请实施例提供了一种解码器中的视频解码方法，包括：对已编码视频比特流的当前图片中的当前块的预测信息进行解码，所述预测信息指示合并模式中的仿射模型；基于将所述当前块的高度与宽度进行比较的结果，从所述当前块的多个仿射候选中选择一个或多个仿射候选；至少使用所述选择的一个或多个仿射候选，创建所述仿射候选的合并列表；以及基于所述合并列表和所述仿射模型，重建所述当前块。

当所述当前块的高度等于宽度时，所述选择的一个或多个仿射候选包括第一组候选，所述第一组候选包括(i)第一控制点和(ii)第二控制点；所述第一控制点位于(a)所述当前块的左上角和(b)所述当前块的右上角的其中之一位置上，并且所述第二控制点位于(a)所述当前块的左下角和(b)所述当前块的右下角的其中之一位置上。

当所述当前块的高度大于宽度时，所述选择的一个或多个仿射候选包括第二组候选，所述第二组候选包括一对控制点，所述一对控制点位于(i)所述当前块的左上角和所述当前块的左下角，以及(ii)所述当前块的右上角和所述当前块的右下角的其中之一位置上。

当所述当前块的宽度大于高度时，所述选择的一个或多个仿射候选包括第三组候选，所述第三组候选包括一对控制点，所述一对控制点位于(i)所述当前块的左上角和所述当前块的右上角，以及(ii)所述当前块的左下角和所述当前块的右下角的其中之一位置上。

当所述当前块的宽度等于高度时，在所述合并列表中，所述第一组候选的优先权高于所述第二组候选和所述第三组候选。

当所述当前块的高度大于宽度时，在所述合并列表中，所述第二组候选的优先权高于所述第一组候选和所述第三组候选。

当所述当前块的宽度大于高度时，在所述合并列表中，所述第三组候选的优先权高于所述第一组候选和所述第二组候选。

所述合并列表包括所述选择的一个或多个仿射候选以及至少一个非仿射候选。

本申请实施例提供了另一种解码器中的视频解码方法，包括：对已编码视频比特流的当前图片中的当前块的预测信息进行解码，所述预测信息指示合并模式中的仿射模型；创建合并列表，所述合并列表包括所述当前块的仿射编码空间相邻块，并且所述仿射编码空间相邻块按照块大小从大到小排序；从所述合并列表中选择候选；以及基于所述选择的候选的仿射模型，重建所述当前块。

所述合并列表中具有相同大小的两个块根据所述两个块的检测顺序进行排序。

将所述当前块的仿射编码空间相邻块的块大小小于块大小阈值时，从所述合并列表中移除所述仿射编码空间相邻块。

本申请实施例提供了一种视频编码设备，包括：解码模块，用于对已编码视频比特流的当前图片中的当前块的预测信息进行解码，所述预测信息指示合并模式中的仿射模型；选择模块，用于基于将所述当前块的高度与宽度进行比较的结果，从所述当前块的多个仿射候选中选择一个或多个仿射候选；创建模块，用于至少使用所述选择的一个或多个仿射候选，创建所述仿射候选的合并列表；以及重建模块，用于基于所述合并列表和所述仿射模型，重建所述当前块。

当所述当前块的高度等于宽度时，所述选择模块选择的一个或多个仿射候选包括第一组候选，所述第一组候选包括(i)第一控制点和(ii)第二控制点；

所述第一控制点位于(a)所述当前块的左上角和(b)所述当前块的右上角的其中之一位置上，并且

所述第二控制点位于(a)所述当前块的左下角和(b)所述当前块的右下角的其中之一位置上。

当所述当前块的高度大于宽度时，所述选择模块选择的一个或多个仿射候选包括第二组候选，所述第二组候选包括一对控制点，所述一对控制点位于(i)所述当前块的左上角和所述当前块的左下角，以及(ii)所述当前块的右上角和所述当前块的右下角的其中之一位置上。

当所述当前块的宽度大于高度时，所述选择模块选择的一个或多个仿射候选包括第三组候选，所述第三组候选包括一对控制点，所述一对控制点位于(i)所述当前块的左上角和所述当前块的右上角，以及(ii)所述当前块的左下角和所述当前块的右下角的其中之一位置上。

当所述当前块的宽度等于高度时，在所述合并列表中，所述第一组候选的优先权高于所述第二组候选和所述第三组候选。

当所述当前块的高度大于宽度时，在所述合并列表中，所述第二组候选的优先权高于所述第一组候选和所述第三组候选。

当所述当前块的宽度大于高度时，在所述合并列表中，所述第三组候选的优先权高于所述第一组候选和所述第二组候选。

所述合并列表包括所述选择的一个或多个仿射候选以及至少一个非仿射候选。

本申请实施例提供了一种视频编码设备，包括：解码模块，用于对已编码视频比特流的当前图片中的当前块的预测信息进行解码，所述预测信息指示合并模式中的仿射模型；创建模块，用于创建合并列表，所述合并列表包括所述当前块的仿射编码空间相邻块，并且所述仿射编码空间相邻块按照块大小从大到小排序；选择模块，用于从所述合并列表中选择候选；以及重建模块，用于基于所述选择的候选的仿射模型，重建所述当前块。

本申请实施例提供了一种计算机设备，所述设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述至少一条指令由所述一个或多个处理器加载并执行以实现如上所述的视频解码的方法。

附录A：首字母缩略词

MV：运动向量；

HEVC：高效视频编码；

SEI：补充增强信息；

VUI：视频可用性信息；

GOP：图片组；

TU：变换单元；

PU：预测单元；

CTU：编码树单元；

CTB：编码树块；

PB：预测块；

HRD：假设参考解码器；

SNR：信噪比；

CPU：中央处理单元；

GPU：图形处理单元；

CRT：阴极射线管；

LCD：液晶显示；

OLED：有机发光二极管；

CD：光盘；

DVD：数字化视频光盘；

ROM：只读存储器；

RAM：随机存取存储器；

ASIC：专用集成电路；

PLD：可编程逻辑设备；

LAN：局域网；

GSM：全球移动通信***；

LTE：长期演进；

CANBus：控制器局域网络总线；

USB：通用串行总线；

PCI：***设备互联；

FPGA：现场可编程门阵列；

SSD：固态驱动器；

IC：集成电路；

CU：编码单元；

MVF：运动向量场；

MVP：运动向量预测；

AMVP：高级运动向量预测；

ATMVP：高级时间运动向量预测；

HMVP：基于历史的运动向量预测；

STMVP：时间-空间运动向量预测；

TMVP：时间运动向量预测。

Claims (10)

1.一种解码器中的视频解码方法，其特征在于，包括：

对已编码视频比特流的当前图片中的当前块的预测信息进行解码，所述预测信息指示合并模式中的仿射模型；

基于将所述当前块的高度与宽度进行比较的结果，从所述当前块的多个仿射候选中选择一个或多个仿射候选；

至少使用所述选择的一个或多个仿射候选，创建所述仿射候选的合并列表；以及

基于所述合并列表和所述仿射模型，重建所述当前块；

当所述当前块的高度等于宽度时，所述选择的一个或多个仿射候选包括第一组候选，所述第一组候选包括(i)第一控制点和(ii)第二控制点；

所述第一控制点位于(a)所述当前块的左上角和(b)所述当前块的右上角的其中之一位置上，并且

所述第二控制点位于(a)所述当前块的左下角和(b)所述当前块的右下角的其中之一位置上；

当所述当前块的高度大于宽度时，所述选择的一个或多个仿射候选包括第二组候选，所述第二组候选包括一对控制点，所述一对控制点位于(i)所述当前块的左上角和所述当前块的左下角，以及(ii)所述当前块的右上角和所述当前块的右下角的其中之一位置上；

当所述当前块的宽度大于高度时，所述选择的一个或多个仿射候选包括第三组候选，所述第三组候选包括一对控制点，所述一对控制点位于(i)所述当前块的左上角和所述当前块的右上角，以及(ii)所述当前块的左下角和所述当前块的右下角的其中之一位置上。

2.根据权利要求1所述的方法，其特征在于，

当所述当前块的宽度等于高度时，在所述合并列表中，所述第一组候选的优先权高于所述第二组候选和所述第三组候选。

3.根据权利要求1所述的方法，其特征在于，

当所述当前块的高度大于宽度时，在所述合并列表中，所述第二组候选的优先权高于所述第一组候选和所述第三组候选。

4.根据权利要求1所述的方法，其特征在于，

当所述当前块的宽度大于高度时，在所述合并列表中，所述第三组候选的优先权高于所述第一组候选和所述第二组候选。

5.根据权利要求1所述的方法，其特征在于，

所述合并列表包括所述选择的一个或多个仿射候选以及至少一个非仿射候选。

6.一种视频解码设备，其特征在于，包括：

解码模块，用于对已编码视频比特流的当前图片中的当前块的预测信息进行解码，所述预测信息指示合并模式中的仿射模型；

选择模块，用于基于将所述当前块的高度与宽度进行比较的结果，从所述当前块的多个仿射候选中选择一个或多个仿射候选；

创建模块，用于至少使用所述选择的一个或多个仿射候选，创建所述仿射候选的合并列表；以及

重建模块，用于基于所述合并列表和所述仿射模型，重建所述当前块；

当所述当前块的高度等于宽度时，所述选择模块选择的一个或多个仿射候选包括第一组候选，所述第一组候选包括(i)第一控制点和(ii)第二控制点；

所述第一控制点位于(a)所述当前块的左上角和(b)所述当前块的右上角的其中之一位置上，并且

所述第二控制点位于(a)所述当前块的左下角和(b)所述当前块的右下角的其中之一位置上；

当所述当前块的高度大于宽度时，所述选择模块选择的一个或多个仿射候选包括第二组候选，所述第二组候选包括一对控制点，所述一对控制点位于(i)所述当前块的左上角和所述当前块的左下角，以及(ii)所述当前块的右上角和所述当前块的右下角的其中之一位置上；

当所述当前块的宽度大于高度时，所述选择模块选择的一个或多个仿射候选包括第三组候选，所述第三组候选包括一对控制点，所述一对控制点位于(i)所述当前块的左上角和所述当前块的右上角，以及(ii)所述当前块的左下角和所述当前块的右下角的其中之一位置上。

7.根据权利要求6所述的设备，其特征在于，

当所述当前块的宽度等于高度时，在所述合并列表中，所述第一组候选的优先权高于所述第二组候选和所述第三组候选。

8.根据权利要求6所述的设备，其特征在于，

当所述当前块的高度大于宽度时，在所述合并列表中，所述第二组候选的优先权高于所述第一组候选和所述第三组候选。

9.根据权利要求6所述的设备，其特征在于，

当所述当前块的宽度大于高度时，在所述合并列表中，所述第三组候选的优先权高于所述第一组候选和所述第二组候选。

10.一种计算机设备，其特征在于，所述设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述至少一条指令由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求5任一项所述的视频解码的方法。

Images