CN113228674B

CN113228674B - 视频编码和视频解码

Info

Publication number: CN113228674B
Application number: CN201980083007.5A
Authority: CN
Inventors: 萨韦里奥·布拉西; 安德雷·塞沙斯·迪亚斯; 戈萨拉·库吕帕纳
Original assignee: British Broadcasting Corp
Current assignee: British Broadcasting Corp
Priority date: 2018-12-14
Filing date: 2019-12-10
Publication date: 2024-07-05
Anticipated expiration: 2039-12-10
Also published as: BR112021011517A2; GB201820459D0; US20220060686A1; WO2020120948A1; GB2579824A; GB2579824B; US11589038B2; EP3895428A1; EA202191670A1; KR20210119388A; CN113228674A

Abstract

通过计算帧间预测的预测假设以及帧内预测的预测假设两者来有效预测视频编码器和解码器中的块内的样本。然后通过参数变换将两个预测假设组合在一起以形成新的预测假设，该新的预测假设在预测原始块的内容时可以更准确。

Description

视频编码和视频解码

技术领域

本公开涉及视频编码和视频解码。

背景技术

视频压缩提供减少传输信道上有效载荷的机会。已知的视频编码标准使得能够传输定义视频的比特流数据，使得比特流的接收器能够以构建基本上忠实于从其导出编码比特流的原始视频的解码视频的方式对比特流解码。

早期的视频编码标准是为了在可以接受相对低质量或中等质量重构的设备上再现视频而设计的。这包括手持装置或个人计算装置。在很大程度上，特定质量水平的可接受性既受用户需求的驱动，也受播放设备能力的驱动。

随着接收器设备的质量和能力的提高，用户对原始视频的更高质量再现的需求也在增加。因此出现了技术目标，使得能够在播放器上以比迄今为止实现的质量高的质量再现视频。

附图说明

图1是要由本文公开的实施例编码、传输和解码的帧的说明性示例；

图2是对图1的帧进行编码所基于的参考帧的说明性示例；

图3是要由本文公开的实施例编码、传输和解码的图1的帧的块的说明性示例；

图4是图3的块的帧间预测候选的说明性示例；

图5是图3的块的帧内预测候选的说明性示例；

图6是根据实施例的通信网络的示意图；

图7是图6的通信网络的发射器的示意图；

图8是示出在图7的发射器上实现的编码器的图；

图9是在图8的编码器的预测模块处执行的预测过程的流程图；

图10是图6的通信网络的接收器的示意图；

图11是示出在图10的接收器上实现的解码器的图；

图12是在图8的解码器的预测模块处执行的预测过程的流程图。

具体实施方式

一般而言，本文公开的实施例通过计算帧间预测的预测假设以及帧内预测的预测假设两者来提供视频编码器和解码器中的块内的样本的有效预测。然后通过参数变换将两个预测假设组合在一起以形成新的预测假设，该新的预测假设在预测原始块的内容时可能更准确。可以向解码器提供信息以使得能够确定要使用的参数变换。

根据一个实施例，一种对顺序的多个图像中的图像中的像素块进行编码的方法，包括：

基于顺序的多个图像中的参考图像，为像素块计算一组运动补偿帧间预测候选；

基于一组预定的帧内预测模式，为像素块计算一组帧内预测候选；

将一组所述运动补偿帧间预测候选和帧内预测候选的组合进行集合(assembly)；

针对其中每组参数配置运动补偿帧间预测候选中的一个运动补偿帧间预测候选以及帧内预测候选中的一个帧内预测候选的参数变换的多组参数，为所述运动补偿帧间预测候选和帧内预测候选的每个组合确定组合预测；

根据测量评估每个组合预测；

基于测量选择组合预测之一作为像素块的编码。

另一实施例提供了一种被配置为执行上述编码过程的编码器。编码器可以被并入合适的信号处理设备。

根据另一实施例，一种对比特流进行解码的方法包括：

从比特流中提取运动预测器配置信息，并且基于运动预测器配置信息，为样本块计算一个或多个运动补偿帧间预测候选；

从比特流中提取帧内预测配置信息，并且基于帧内预测配置信息，计算一个或多个帧内预测候选，其中通过用于样本块的帧内预测过程获得帧内预测候选；

从比特流中提取参数变换配置信息，该参数变换配置信息使得能够确定用于一个或多个运动补偿帧间预测候选以及一个或多个帧内预测候选的参数变换的参数；

基于参数变换配置信息确定参数变换参数；以及

通过一个或多个运动补偿帧间预测候选以及一个或多个帧内预测候选的参数变换计算用于所述样本块的组合变换预测，参数变换由参数变换参数控制。

另一实施例提供了一种被配置为执行上述编码过程的编码器。解码器可以被并入合适的信号接收设备。

另一实施例提供了一种计算机程序产品，该计算机程序产品包括可操作以配置计算机设备来执行上述方法的计算机可执行指令。

读者将理解，视频呈现通常包括多个帧，用于在播放设备上顺序显示。使用各种策略来减少在从发射器到接收器的通信信道上传输的比特流上依次描述每个帧所需的数据量。如将理解的，发射器将包括用于将帧数据编码为比特流的编码器，并且接收器将包括用于基于在比特流中承载的信息产生帧数据的解码器。

在本公开的实施例中，视频呈现的每个帧被分割成块。在编码器处，基于先前压缩的内容来预测块的内容。该块预测从实际块中减去，以产生一组残差(残数)。在实施例中，可以使用到频域的变换来对残差数据进行编码。然而，如读者将认识到的，从时域到频域的数据变换可特定于某些实施方式，并且对于所公开的实施例的性能而言不是必要的。

然后，不论是否被变换，都可以缩放残差以适应进一步的处理。

然后，使用熵编码器将量化的残差编码为一组系数，这些系数与块预测一起被放置在比特流上。各种技术标准通常定义比特流的信号结构，以及用于组织信息和识别块预测的句法，使得解码器能够可靠地提取用于解码的系数。

解码器被配置为接收比特流。通常，解码器被配置为期望根据预定的句法结构来组织比特流，使得能够可预测地并且可靠地提取数据。这种句法结构可以通过协作方式(诸如根据技术标准)达成一致。可替代地，句法结构可以由特定制造商或其他贡献者定义。

根据实施例的解码器从比特流中提取系数。这些系数被解码以产生解码数据。然后，对解码数据进行逆量化。可存在选项来指定是否要在接收到的比特流上使用域变换。如果指定了域变换，则对逆量化的数据进行逆变换以获得重构残差。关于如何计算预测块的信息也从比特流中提取并被解码；然后将其用于使用先前重构的数据形成预测块。然后将重构残差添加到形成的预测块以获得重构块。

将理解，在传输开始时，可能需要发送代表视频呈现的完整帧的完整数据块，而不参考任何其他帧。然后，所有后续预测类数据都可以根据由该参考帧建立的初始条件而产生。对于整个视频呈现的编码和解码，参考帧可以是恒定的，或者可以被更新。例如，场景改变可预示着更新参考帧，因为新场景的帧可能与先前建立的参考帧几乎没有相似之处或没有相似之处。即使在场景内，与编码和传输更新的参考帧相比，帧也可能发散到足以降低关于参考帧的编码效率。

将理解，对于所考虑的特定帧，参考帧不必在视频呈现的序列中在所考虑的帧之前。参考帧可能在未来相对于所考虑的帧。

参考帧可以与可以形成预测的编码参数分离地压缩和传输。可以对参考帧进行索引，使得可以在比特流中指示要用于形成特定预测块的参考帧。

本文描述的实施例涉及形成预测块的过程。在传统的视频编码方案中，使用帧内预测或帧间预测。帧内预测方法涉及使用从与正被预测的当前块相同的帧内提取的先前压缩内容来计算预测。相比之下，帧间预测方法涉及通过使用从先前压缩帧中提取的视频信号的先前压缩部分来预测原始样本块的内容。

用于描述帧的分割的命名法是多种多样的。例如，在HEVC中，术语“切片”用于描述帧的分割——一个切片可以包括多个块。在本公开中用于描述帧的分割的术语不暗示本实施例对特定标准化技术的特定适用性，也不暗示将使用类似概念的其他术语的其他标准化技术的适用范围排除在外。

一般而言，本公开的方面涉及通过计算帧间预测的预测假设以及帧内预测的预测假设两者来地预测视频编码器和解码器中的块内的样本的方法。然后，两个预测假设被组合在一起以形成新的预测假设，该新的预测假设在预测原始块的内容时可以更准确。

实施例提供了基于组合算法来组合两个预测假设的方法。组合算法可以在接收器中预先设置。可以使用传输到接收器的信息来指定组合算法。接收器可以存储组合算法库，并且可以基于从接收到的比特流中提取的信息来选择和使用这些存储的算法之一。

通过组合算法进行组合的一种方法是利用加权平均。这可以是两个预测假设的加权算术平均值。要在加权平均中使用的权重可以是预先设置的，或者可以在比特流上将参数传输到接收器以使得能够计算、确定或选择要使用的权重。

在实施例中，比特流上的信息可以包括要在加权平均中使用的权重的值。

在实施例中，比特流上的信息可以包括权重选择参数，基于该权重选择参数，接收器可以响应于选择多个预先存储的权重中的特定一个。将认识到，对于两个预测假设的加权算术平均值，单个权重值足以描述组合算法，因为两个假设中的一个将乘以指定的权重w，而假设中的另一个将乘以互补权重(1-w)。可以实现其他算法。在两个以上的预测假设被使用并且需要被组合的情况想，可以指定更多的权重以实现加权组合。

可以指定其他基于因子的组合算法。例如，可以指定除加权平均之外的函数，其系数可以在比特流中指定，并且在接收器处接收和提取。例如，可以使用线性函数或二次函数来将值内插在多个预测假设中。可以基于从比特流中提取的信息来计算、选择或确定线性函数或二次函数的系数。

可以在比特流中提供参数，为了在接收器处提取和使用，指定是否要使用特定算法。在指定两种组合算法可用于接收器的情况下，这样的参数可以是布尔值(Boolean)。

特别地，实施例提供了用于计算运动补偿预测的机制。运动补偿预测是一种技术，迄今为止在诸如MPEG的许多技术中使用，其向解码器提供某些“运动信息”。一般而言，运动补偿预测包括根据从参考帧到当前帧的变换来确定当前帧和参考帧之间的差异。例如，如果当前帧和参考帧是由其中没有对象移动的(但是，例如，灯光效果可能会随着时间的推移而改变)场景的静止相机捕获的，则参考帧从当前帧的简单减法为压缩提供了有效的基础。然而，如果设置有相机的视点在参考帧和当前帧之间移动，和/或被查看的场景中的对象已经移动，那么简单减法不足以有效地描述差异。在这种情况下，运动矢量应当被用于描述当前帧和参考帧之间的变换。

如果场景内只有对象移动，而场景的背景保持不变，那么考虑帧的分割(例如块)是合适的。在这种情况下，当前帧的块和参考帧的块之间的变换可以简单地被描述为平移(即移位)，其可以被表示为运动矢量。

该运动信息表现为运动矢量和参考帧索引。此类信息被压缩并被包括在比特流中。不同的技术可以被用来压缩运动信息。例如，当使用合并预测时，解码器计算一组候选，也就是使用从相邻块中提取的运动信息构建的一组假设。然后，用信号通知索引以确定当前块的正确假设。这使得解码器能够执行运动补偿，同时需要很少的比特来压缩必要的运动信息。

本文描述的实施例涉及对用于重构视频内容的多个帧的比特流承载信息进行解码的方法，每个帧由一个或多个块组成，该方法包括通过计算多个不同计算的预测候选并组合这些候选以产生组合预测来计算块的预测。

在实施例中，多个预测候选可以包括一个由帧间预测计算的候选和一个由帧内预测计算的候选。在实施例中，可以通过参数变换的方式组合候选。在实施例中，参数变换可以包括由一个或多个权重表征的加权预测。在实施例中，可以从比特流中提取一个或多个权重。在实施例中，可以基于从比特流中提取的系数或参数来计算、确定或选择一个或多个权重。

读者将理解，帧间预测实施方式和帧内预测实施方式在视频压缩方案中都获得了令人满意的结果。然而，可能出现其中使用单个预测过程来预测块内的所有样本可能不理想的情况。

例如，现在将检查对象在静态背景上移动的情况。从帧到帧，对象将在整个背景的不同位置连续地表示。如果不能使用视频编解码器中使用的分割方案对对象进行分割，则现有的预测方法将无法准确预测当前块的内容。使用帧间预测将导致预测候选包含对移动对象的准确预测但不包含对背景的准确预测。相比之下，使用帧内预测方法可能会导致对背景的满意预测，但不能对块内对象的细节进行预测。

读者将注意到，什么构成了令人满意的解码结果取决于用户的期望。可以例如基于客观失真度量来建立测量编码图像的再现精度的客观标准。然而，结合此，可以考虑来自用户的一般主观印象，即特定解码产生视觉上令人满意的结果。

图1和图2中图示了这种情况的示例。图1示出了要编码的当前帧，而图2图示了参考帧。图3图示了图1中的要为其产生预测的当前帧的块。图4图示了帧内预测候选，而图5图示了帧间预测候选。显然，预测候选不是如图4中所示的当前块的内容的准确表示。

因此，本文描述的实施例形成通过组合两个假设获得的新预测，因为这可能更适合预测原始内容。

然而，应注意的是，简单地执行每个样本的平均值也可能不理想。取决于帧内预测候选或帧间预测候选的准确性，可能有很多情况，其中两个预测中的一个可更适合表示当前块的内容，但是另一预测仍然可以提供将改善预测过程的一些缺失的信息。在这种情况下，对两个候选执行加权预测具有潜在优势。通过适当地选择要执行加权预测的权重，可以获得更好的组合预测。

本文描述的实施例采用一组固定的权重。权重在查找表中可用，其中不同的权重可以用于具有不同特性(诸如块尺寸或者取决于其他可用信息)的块。查找表可以被预先提供给适当配置的编码器和解码器。可替代地，查找表可以作为编码视频传输的一部分或者作为在先配置传输而从编码器传输到解码器。

然后，从比特流解码用于从查找表提取的正确元素的索引，使得在执行预测时可以选择和使用正确的权重集。

在另一实施例中，不是将索引传输到LUT条目，而是可以直接从比特流中提取一个或多个权重。

如图6中所示，图示了包括示意性视频通信网络10的布置，其中发射器20和接收器30经由通信信道40进行通信。在实践中，通信信道40可以包括卫星通信信道、有线网络、地面无线电广播网络、诸如用于向家庭和小型企业提供互联网服务的POTS实现的通信信道、光纤通信***或者上述任何一种与任何其他可以想到的通信介质的组合。

此外，本公开还扩展到通过物理传输的存储介质的通信，用于传递到能够读取介质并从中获得比特流的适当配置的接收器，在存储介质上存储了编码比特流的机器可读记录。这方面的示例是提供数字多功能光盘(DVD)或同等产品。以下描述集中于诸如通过电子或电磁信号载体的信号传输，但不应被理解为排除上述涉及存储介质的方法。

如图7中所示，发射器20在结构和功能上是一个计算机设备。它可以与通用计算机设备共享某些特征，但是给定发射器20要被放置的专用功能，一些特征可以是实施特定的。读者将了解哪些功能可以是通用类型，哪些可能需要特定配置以用于视频发射器。

因此，发射器20包括被配置用于处理图形和类似操作中的特定用途的图形处理单元202。发射器20还包括一个或多个其他处理器204，它们通常被提供或者被配置为用于其他目的(诸如数学运算、音频处理和管理通信信道等)。

输入接口206提供用于接收用户输入动作的设施。例如，这种用户输入动作可能是由用户与特定输入单元(包括一个或多个控制按钮和/或开关、键盘、鼠标或其他指点装置)、能够接收语音并将语音处理为控制命令的语音识别单元、被配置为从诸如平板电脑或智能手机的另一装置接收并控制处理的信号处理器、或者远程控制接收器的交互引起的。该清单将被理解为非穷尽性的，并且读者可以设想无论是用户发起的还是自动的其他形式的输入。

同样，输出接口214可操作以提供用于将信号输出到用户或另一设备的设施。这种输出可以包括用于驱动本地视频显示单元(VDU)或任何其他设备的显示信号。

通信接口208实现与一个或多个信号接收者的通信信道，无论是广播的还是端到端的。在本实施例的上下文中，通信接口被配置为引起承载定义由发射器20编码的视频信号的比特流的信号的发射。

处理器204，特别是为了本公开的权益，GPU 202可操作以在编码器的操作中执行计算机程序。在这样做时，依赖于由大容量存储设备208提供的数据存储设施，该存储设备208被实施以提供大规模数据存储(尽管访问速度相对慢)，并且在实践中存储计算机程序以及在当前上下文中准备用于执行编码过程的视频呈现数据。

只读存储器(ROM)210被预配置有被设计为提供发射器20的功能的核的可执行程序，并且随机存取存储器212被提供用于快速访问和存储数据和程序指令，以便执行计算机程序。

现在将参考图8描述发射器20的功能。图8示出了由在发射器20上通过可执行指令实现的编码器对表示视频呈现的数据文件执行的处理流水线，视频呈现包括用于作为图片序列的顺序显示的多个帧。

数据文件还可以包括伴随视频呈现的音频播放信息，以及诸如电子节目指南信息、字幕或元数据的进一步的补充信息，以使能够实现演示的编目。数据文件的这些方面的处理与本公开无关。

参考图8，当前图片或图片序列中的帧被传递到分割模块230，在分割模块230处数据文件被分割成给定大小的块以供编码器顺序处理。然后，每个块被输入到预测模块232，预测模块232试图丢弃序列中存在的时间和空间冗余并使用先前编码的内容获得预测信号。实现这种预测计算的信息被编码在比特流中。该信息可以包括足以实现计算的信息，包括在接收器处推断完成预测所需的其他信息的可能性。

从原始信号中减去预测信号以获得残差信号。然后，残差信号被输入到变换模块234，变换模块234试图通过使用更合适的数据表示来进一步减少块内的空间冗余。读者将注意到，在一些实施例中，域变换可以是可选的阶段并且可以完全省去。域变换的使用或其他方式可以在比特流中用信号通知。

然后，结果信号通常由量化模块236量化，并且最后由计算当前块的预测所需的系数和信息形成的结果数据被输入到利用统计冗余来通过简短的二进制代码以紧凑的形式表示信号的熵编码模块238。再次，读者将注意到，在一些实施例中，熵编码可以是可选特征并且在某些情况下可以完全省去。熵编码的使用可以在比特流中与实现解码的信息(诸如熵编码模式(例如，霍夫曼编码)和/或码本的索引)一起用信号通知。

视情况而定，通过发射器20的编码设施的重复动作，可以构建块信息元素的比特流以用于传输到接收器或多个接收器。比特流还可以承载跨多个块信息元素应用的信息元素，并且因此保持在独立于块信息元素的比特流句法中。这些信息元素的示例包括配置选项、适用于帧序列的参数以及与整个视频呈现相关的参数。

现在将参考图9进一步详细描述预测模块232。如将理解，这只是示例，并且可以设想在本公开和所附权利要求的范围内的其他方法。

对帧间预测帧中的每个运动补偿块执行以下过程。

在步骤S1中，计算运动补偿帧间预测候选的清单。

在步骤S2中，计算帧内预测候选的清单。可以实现多种帧内预测模式。可以基于相邻块被用于构建块预测的程度和方式来定义帧内预测的模式。既定技术标准中定义了各种模式，诸如H.264/AVC和H.265/HEVC。在本实施例中可以使用类似的方法，使得可以定义“DC”、“平面”、“纯水平”和“纯垂直”帧内预测模式。可以定义比这更多的模式，诸如在H.264中，具有在0和8之间的值的索引可以被用于指示九种可用模式中的一种。并非所有模式都需要被使用。可以考虑更具限制性的集合，其中考虑更少或甚至仅一个帧内预测候选。

在步骤S3中，构建运动补偿帧间预测候选和考虑的帧内预测候选的一组组合。然后，遍及每个识别的组合进行循环L1。

在该循环内，在步骤S4中，考虑包含用于在两个可用候选之间执行加权预测的权重的查找表(LUT)。LUT可取决于当前块的特性(诸如其宽度和高度)，或者两个预测候选的特性(诸如帧间预测候选的运动矢量大小或者帧内预测候选的帧内预测模式)。在实施例中，可以考虑多个LUT，并且编码器可以选择一个LUT并且在比特流中传输以使得能够在多个可用LUT当中识别或提取供使用的正确LUT。

进一步在循环L1内，遍及LUT中的所有元素执行循环L2。对于每个元素k，执行以下步骤S6和S7：

S6：在LUT中的位置k处提取对应组的权重

S7：计算组合预测，使用两个预测候选和在LUT中的位置k处提取的权重来执行加权预测

一旦已经遍及LUT中的所有元素进行了循环L2，那么在步骤S8中，在LUT中的元素当中选择元素k0。选择过程可取决于例如对于LUT中的每个项目获取的成本的计算，这可取决于使用该给定项目对块进行编码所需的失真和比特率。可以使用其他方法来执行该选择。然后，使用对应于LUT中的条目k0的权重来执行当前块的最终预测。这结束了对于识别组合的循环L1。

所选择的索引k0与预测信息的其余部分(包括使得能够计算运动补偿预测的信息)一起被编码在比特流中。这可以包括运动矢量、参考帧索引以及用于识别要使用的帧内预测模式的索引或者合并索引(用于从预定义清单中识别正确的合并候选)。在仅考虑单个帧内预测模式的情况下，不需要在比特流中用信号通知帧内预测模式。

接收器的结构架构如图10中所示。它具有作为计算机实施设备的元件。因此，接收器30包括被配置用于处理图形和类似操作的特定用途的图形处理单元302。接收器30还包括一个或多个其他处理器304，通常被提供或者被配置为用于其他目的，诸如数学运算、音频处理和管理通信信道等。

如读者将认识到的，接收器30可以以机顶盒、手持个人电子装置、个人计算机或者适合于视频呈现播放的任何其他装置的形式来实施。

输入接口306提供用于接收用户输入动作的设施。例如，这种用户输入动作可能是由用户与特定输入单元(包括一个或多个控制按钮和/或开关、键盘、鼠标或其他指点装置)、能够接收语音并将语音处理为控制命令的语音识别单元、被配置为从诸如平板电脑或智能手机的另一装置接收并控制处理的信号处理器、或者远程控制接收器的交互引起的。该清单将被理解为非穷尽性的，并且读者可以设想无论是用户发起的还是自动的其他形式的输入。

同样，输出接口314可操作以提供用于将信号输出到用户或另一设备的设施。这种输出可以包括用于驱动本地电视设备的合适格式的电视信号。

通信接口308实现与一个或多个信号接收者的通信信道，无论是广播的还是端到端的。在本实施例的上下文中，通信接口被配置为引起承载定义由接收器30编码的视频信号的比特流的信号的发射。

处理器304，特别是为了本公开的权益，GPU 302可操作以在接收器的操作中执行计算机程序。在这样做时，依赖于由大容量存储设备308提供的数据存储设施，该存储设备308被实施以提供大规模数据存储(尽管访问速度相对慢)，并且在实践中存储计算机程序以及在当前上下文中从执行接收过程产生的视频呈现数据。

只读存储器(ROM)310被预配置有被设计为提供接收器30的功能的核的可执行程序，并且随机存取存储器312被提供用于快速访问和存储数据和程序指令，以便执行计算机程序。

现在将参考图11描述接收器30的功能。图11示出了由在接收器20上通过可执行指令实现的解码器对在接收器30处接收的比特流执行的处理流水线，接收的比特流包括可以从中导出视频呈现的结构化信息，包括通过发射器20的编码器功能编码的帧的重构。

图11中所示的解码过程旨在逆转在编码器处执行的过程。读者将理解，这并不意味着解码过程与编码过程完全相反。

所接收的比特流包括一系列编码的信息元素，每个元素与块相关。在熵解码模块330中对块信息元素进行解码以获得系数块以及计算当前块的预测所需的信息。系数块通常在去量化模块332中被去量化并且通常由变换模块334被逆变换到空间域。

如上所述，读者将认识到，如果在发射器处已经分别使用了熵编码、量化和变换，则将仅需要在接收器处使用熵解码、去量化和逆变换。

预测信号是由预测模块336如前所述根据来自当前或先前帧的先前解码的样本并使用从比特流解码的信息而产生的。然后，在重构块338中，根据解码的残差信号和计算的预测块导出原始图片块的重构。

通过解码功能对连续地接收的块信息元素的重复动作，可以将图片块重构为帧，然后可以集合(assembly)这些帧以产生用于播放的视频呈现。

图12中示出了用于补充前面描述的编码器算法的示例性解码器算法。

如前所述，接收器30的解码器功能从比特流中提取由发射器20的编码器设施编码的、定义块信息和伴随的配置信息的一系列块信息元素。

一般而言，解码器利用来自先前预测的信息本身来构建当前块的预测。这样做时，解码器可以组合来自帧间预测(即来自先前帧)和帧内预测(即来自同一帧中的另一块)的知识。

因此，对于帧间预测帧中的运动补偿帧间预测块，在步骤S21中，从比特流中提取使得能够形成运动补偿帧间预测候选的信息。例如，可以通过对来自比特流的运动矢量和参考帧索引进行直接解码或者通过其中构建合并候选清单的合并预测过程来获得使得能够执行运动补偿的运动信息，并且从比特流中提取合并索引以识别正确的合并运动信息。

一旦已经提取了该信息，在步骤S22中，基于提取的信息形成运动补偿帧间预测候选。

然后，在步骤S23中，计算帧内预测候选的清单，例如“DC”、“平面”、“纯水平”和“纯垂直”帧内预测模式的集合；可以考虑更具限制性的集合，其中考虑更少或甚至仅一个帧内预测候选。

在步骤S24中，从比特流中提取索引以识别要使用的帧内预测模式；在仅考虑单个帧内预测模式的情况下，不需要从比特流中提取这样的模式识别索引，并且因此可以省去该步骤。该步骤选择在步骤S23中计算的候选之一以供使用。

在步骤S25中，从比特流中提取索引k0以从与在编码器过程中使用的LUT对应的预存储的LUT中识别要使用的元素。

然后，在步骤S26中，考虑包含用于在两个可用候选之间执行加权预测的权重的查找表(LUT)。可以实现多个LUT，并且要在特定情况下使用的LUT可取决于当前块的特性(诸如其宽度和高度)，或者两个预测候选的特性(诸如帧间预测候选的运动矢量大小或者帧内预测候选的帧内预测模式)。在一个实施例中，可以从比特流中提取信息以使得能够在多个可用LUT当中选择合适的LUT。如果在所有情况下都使用单个LUT，则没有必要指明在特定情况下应使用哪个LUT。

在步骤S27中，从在步骤S26中识别的LUT中提取位置k0处的权重。然后，在步骤S28中，权重被用于计算帧内预测候选和帧间预测候选的加权平均值，以及获得对于当前块的最终预测。

对于整个传输，对所有接收到的块信息元素执行上述过程。在此基础上，可以将解码块的形成重构为帧，并且将帧重构为重构的视频呈现。

将理解，本发明不限于上述实施例，并且在不脱离本文描述的概念的情况下可以进行各种修改和改进。除了相互排斥的情况之外，任何特征都可以单独使用或者与任何其他特征组合使用，并且本公开扩展到并包括本文描述的一个或多个特征的所有组合和子组合。

Claims

1.一种对顺序的多个图像中的图像中的像素块进行编码的方法，包括：

基于所述顺序的多个图像中的参考图像，为所述像素块计算一组运动补偿帧间预测候选；

基于一组预定的帧内预测模式，为所述像素块计算一组帧内预测候选；

将一组所述运动补偿帧间预测候选和所述帧内预测候选的组合进行集合；

针对多组参数，为所述运动补偿帧间预测候选和所述帧内预测候选的每个组合确定组合预测，所述多组参数中的每一组配置所述运动补偿帧间预测候选中的一个运动补偿帧间预测候选以及所述帧内预测候选中的一个帧内预测候选的参数变换，其中至少一组所述参数配置包括由权重或权重组合控制的一个或多个所述运动补偿帧间预测候选以及一个或多个所述帧内预测候选的加权平均的参数变换，其中所述权重或权重组合包括查找表中的具有相应的权重索引的条目；

根据测量评估每个组合预测；

基于所述测量选择所述组合预测中的一个组合预测作为所述像素块的编码。

2.一种包括一个或多个处理器的发射器，所述处理器能操作以：

基于顺序的多个图像中的参考图像，为所述顺序的多个图像中的图像的像素块计算一组运动补偿帧间预测候选；

根据测量评估每个组合预测；

3.一种对比特流进行解码的方法，包括：

从所述比特流中提取运动预测器配置信息，并且基于所述运动预测器配置信息，为样本块计算一个或多个运动补偿帧间预测候选；

从所述比特流中提取帧内预测配置信息，并且基于所述帧内预测配置信息，计算一个或多个帧内预测候选；

从所述比特流中提取使得能够确定用于所述一个或多个运动补偿帧间预测候选以及所述一个或多个帧内预测候选的参数变换的参数的参数变换配置信息；

基于所述参数变换配置信息确定参数变换参数，确定所述参数变换参数包括从将权重索引与权重进行映射的查找表中提取与权重索引相对应的权重或权重组合；以及

通过所述一个或多个运动补偿帧间预测候选以及所述一个或多个帧内预测候选的参数变换计算用于所述样本块的组合变换预测，所述参数变换包括由从所述查找表中提取的权重或权重组合控制的所述一个或多个运动补偿帧间预测候选以及所述一个或多个帧内预测候选的加权平均。

4.根据权利要求3所述的方法，其中，通过所述一个或多个运动补偿帧间预测候选以及所述一个或多个帧内预测候选的参数变换计算用于所述样本块的组合变换预测是基于所提取的参数变换配置信息，并且基于由推断过程产生的推断信息。

5.根据权利要求3或4所述的方法，其中，所述运动预测器配置信息包括运动信息和参考帧信息，所述方法进一步包括基于从相邻块中提取的所述运动信息和所述参考帧信息计算一个或多个合并候选。

6.根据权利要求3或4所述的方法，其中，从所述比特流中提取使得能够确定用于所述一个或多个运动补偿帧间预测候选以及所述一个或多个帧内预测候选的参数变换的参数的参数变换配置信息包括直接从所述比特流中提取参数。

7.根据权利要求3所述的方法，其中，从所述比特流中提取使得能够确定用于所述一个或多个运动补偿帧间预测候选以及所述一个或多个帧内预测候选的参数变换的参数的参数变换配置信息包括为其他样本块组合所提取的配置与现有的参数信息以确定用于当前块的参数。

8.一种包括一个或多个处理器的接收器，所述处理器能操作以：

从比特流中提取运动预测器配置信息，并且基于所述运动预测器配置信息，为样本块计算一个或多个运动补偿帧间预测候选；

从所述比特流中提取帧内预测配置信息，并且基于所述帧内预测配置信息，计算一个或多个帧内预测候选，其中通过用于样本块的帧内预测过程获得帧内预测候选；

9.一种包括计算机可执行指令的计算机可读存储介质，所述计算机可执行指令能操作以配置计算机设备来执行根据权利要求3至7中任一项所述的方法。