CN112272951A - 用于视频编码的帧内锐化滤波器和/或去振铃滤波器 - Google Patents

Abstract

一种用于从比特流中解码视频当前帧的块的解码器，该解码器包括：参考样本选择单元、滤波器单元、和块生成单元，该参考样本选择单元用于选择当前帧的重构部分的参考样本，该滤波器单元用于对参考样本进行滤波，该块生成单元用于基于滤波后的参考样本生成块的预测，其中，该滤波器单元包括锐化滤波器和/或去振铃滤波器。

Description

用于视频编码的帧内锐化滤波器和/或去振铃滤波器

技术领域

本发明涉及用于从比特流中解码视频当前帧的块的解码器和方法。本发明还涉及用于在比特流中对当前帧的块进行编码的编码器和方法。此外，本发明还涉及存储程序代码的计算机可读存储介质，该程序代码包括用于执行上述方法的指令。

背景技术

为了降低视频信号的比特率，国际标准化组织(international organizationfor standardization，ISO)和国际电信联盟(international telecommunication union，ITU)编码标准应用了使用帧间预测和帧内预测结合预测误差的变换编码的混合视频编码。目前的H.264/AVC和H.265/HEVC标准使用基于参考样本的块内预测，该参考样本是来自于已编码的邻近块。然后，可以使用例如离散余弦变换(discrete cosine transform，DCT)或离散正弦变换(discrete sine transform，DST)将原始块和预测块之间的差异(称为残差)变换到频域、量化、并通过熵编码进行编码。

预测的有效性极大地影响需要编码和传输的残差量。提高预测质量可以减少残差信息量，并降低编码后的视频序列的总比特率。

在解码侧，可以从比特流中提取与预测类型和预测参数有关的信息。可以根据上述信息生成预测块。之后，从比特流中提取残差系数、进行逆量化、变换、以及添加到预测块中，以获得重构的块。完整的图片一旦重建，就会通过环路滤波器。获得的滤波后图片转到输出，并存储在参考图片缓冲区中以用于将来的帧间预测。

视频编码中，常规的帧内预测机制使用来自于已编码区域的参考样本生成针对待编码的块的预测信号。提出了一系列改进帧内预测的方法。在H.265/HEVC视频编码标准化中采用了其中的部分内容。

然而，已知的解决方案会导致参考样本中的自然边缘失真，并且相应地，也会导致由这些样本生成的预测块中的自然边缘失真。为保留低频分量的系数而设计的量化矩阵的使用会使包含自然边缘的块产生更多误差，并导致边缘模糊和重构的边缘附近的振铃效应。为了减少振铃效应，可以使用线性平滑滤波器。这种方法的问题在于，在抑制振铃的同时，自然边缘也可能变得模糊。

发明内容

本发明的目的是提供解码器、编码器、以及用于解码和编码的方法，其中，该解码器、编码器、和方法克服了一个或多个上述现有技术中的问题。

本发明的第一方面提供了一种用于从比特流中解码视频当前帧的块的解码器，该解码器包括：

-参考样本选择单元，用于选择当前帧的重构部分的参考样本，

-滤波器单元，用于对参考样本进行滤波，以及

-块生成单元，用于基于滤波后的参考样本生成块的预测，

其中，滤波器单元包括锐化滤波器和/或去振铃滤波器。

第一方面的解码器包括滤波器单元，该滤波器单元可以使用锐化滤波器和/或去振铃滤波器对参考样本进行滤波。实验表明，对参考样本的锐化和/或去振铃可以提升预测块的预测精度和/或感知图像质量。

第一方面的解码器还可以包括重构单元，该重构单元用于基于块的预测和来自接收的比特流的残差视频块，生成重构的视频块。

在根据第一方面的解码器的第一实施方式中，锐化滤波器和/或去振铃滤波器是非线性滤波器。

发明人的实验表明，非线性滤波器可以在预测精度和/或感知图像质量方面达到特别好的结果。

在根据第一方面或根据第一方面的第一实施方式中的解码器的第二实施方式中，解码器用于基于比特流中的锐化滤波器和/或去振铃滤波器相关信息的信令，和/或基于当前帧的一个或多个重构块的图像属性，激活锐化滤波器和/或去振铃滤波器。

第二实施方式的解码器具有以下优点：可以基于在给定场景中是否期望改善图像质量激活或去激活锐化滤波器和/或去振铃滤波器。比特流中的显式信令允许实现最佳的激活/非激活的设置(例如，基于编码过程中的设置优化)。另一方面，无需显式信令的基于当前帧的一个或多个重构块的图像属性的锐化滤波器和/或去振铃滤波器的激活，可以提高整体编码效率。

为了避免显式信令的开销，可以基于例如周围块的边缘强度、编码块的大小等激活锐化滤波器和/或去振铃滤波器。例如，可以将周围块的边缘强度和/或编码块的大小与阈值进行比较，并且可以基于阈值比较结果激活锐化滤波器和/或去振铃滤波器。例如，如果一个或多个附近块的边缘强度超过某个阈值，则可以激活锐化滤波器和/或去振铃滤波器。可以通过例如计算参考样本(如图7所示，例如布置在靠近当前块的上边缘(upperline)的水平行上的参考样本或布置在靠近当前块的左边缘(left line)的垂直列上的参考样本)的导数的绝对值估计边缘强度，该参考样本用于当前块的帧内预测。

如同最新水平的视频压缩技术，可以通过量化参数(quantization parameter，QP)控制压缩率以及相应的压缩伪影(compression artifact)的级别。可以从每一序列、帧、片、或块的层面设置量化参数。振铃是由量化过程引起的最强烈的压缩伪影之一。压缩级别(量化参数的数值)越高，振铃效应越强。在一些实施例中，抑制振铃效应的去振铃滤波器仅应用于较高的压缩级别和对应较高的QP(或较大的量化参数数值)。因此，可以基于当前块的QP数值激活去振铃滤波器，例如，当超过某个预定义的量化参数数值时(或量化参数阈值)。

例如，在实施例中，可以获得QP，并且可以基于(或取决于)量化参数应用或不应用去振铃滤波器。例如，可以使用QP阈值确定是否应用去振铃滤波器(例如，如果QP低于阈值，则不应用去振铃滤波器，如果QP高于或超过第一阈值，则应用去振铃滤波器；如果阈值是有效的QP，则实施例可以配置为任一方式，如应用去振铃滤波器或不应用去振铃滤波器)。

在另一实施例中，可以基于(或取决于)量化参数应用不同的去振铃滤波器，例如，不同强度的去振铃滤波器。例如，第一QP阈值可以用于确定是否应用去振铃滤波器(例如，如果QP低于第一阈值，则不应用去振铃滤波器，如果QP高于或超过第一阈值，则应用第一去振铃滤波器；如果第一阈值是有效的QP，则实施例可以配置为任一方式，如应用第一去振铃滤波器或不应用第一去振铃滤波器)，第二阈值可以用于确定是否应用更强的去振铃滤波器(例如，如果QP低于第二阈值，则应用第一去振铃滤波器，如果QP高于或超过第二阈值，则应用第二去振铃滤波器，该第二去振铃滤波器在减少振铃效应方面强于第一去振铃滤波器(如果第二阈值是有效的QP，则实施例可以配置为任一方式，如应用第一去振铃滤波器或第二去振铃滤波器)。

另一实施例可以包括两个以上的去振铃滤波器以及对应地两个以上的阈值，以确定是否应用和/或应用哪个去振铃滤波器。

另一实施例可以使用列表或表格(例如，查找表)而非阈值来基于(或取决于)QP确定是否应用去振铃滤波器。例如，该列表可以包括所有应当应用去振铃滤波器的QP(例如，较大的QP)。例如，使用一个以上去振铃滤波器的另一实施例可以使用多个列表(例如，每个去振铃滤波器有一个列表，每个列表包括应当应用该特定的去振铃滤波器的QP)或一个将QP映射到去振铃滤波器的列表(例如通过索引)。

另一实施例可以基于上述与锐化滤波器相同或相似的标准(例如，量化参数的不同阈值或列表)以激活或去激活锐化滤波器。

在优选实施例中，除了锐化滤波器和/或去振铃滤波器的激活/禁用信令之外，还可以在比特流中发信令通知其他参数，和/或可以从图像属性导出其他参数。

可以仅针对视频内容的某些部分执行滤波器的激活，例如序列、图片组、单个图片、任意区域、和/或常规编码块。

在根据第一方面或根据第一方面的前述任一实施方式的第三实施方式中，滤波器单元包括：

-一阶导数单元，用于确定参考样本的一阶导数，

-绝对值单元，用于确定一阶导数的绝对值，

-二阶导数单元，用于基于一阶导数的绝对值确定二阶导数，以及

-扭曲单元，用于基于二阶导数对参考样本进行扭曲。

第三实施方式中的解码器包括非线性滤波器，实验表明，非线性滤波器显示出使得抑制振铃效应并增加自然边缘的主观清晰度的特别好的结果。

在根据第一方面的解码器的第四实施方式中，或根据第一方面的前述任一实施方式的解码器的第四实施方式中，扭曲单元用于使每个参考样本移动相应的位移矢量，该位移矢量通过使用缩放系数对二阶导数进行缩放获得，其中，缩放系数是锐化强度。

在根据第一方面的解码器的第五实施方式中，或根据第一方面的前述任一实施方式的解码器的第五实施方式中，解码器用于基于比特流中的信令，和/或基于局部图像属性，调整缩放系数。

例如，可以在比特流中显式指示缩放系数的数值。替代地，可以通过基于局部图像属性(例如，基于已经从比特流中解码的块的一个或多个边缘的测量强度)调整缩放系数以避免显式信令的开销。

在一些实施例中，缩放系数可以由块的量化参数控制。QP(或QP数值)越高，量化所引起的振铃效应越强烈。

可以将实施例配置为获得QP(或QP数值或代表量化程度的任何其他度量)，并且对较高的量化参数应用更强的去振铃滤波器，以更有力地抑制振铃效应。换句话说，可以将实施例配置为基于量化参数调整去振铃滤波器的强度(例如，通过调整缩放系数)，并且特别地，使得当量化参数增加时，增加去振铃滤波器的强度(例如一次地或逐渐地或逐步地，例如增大缩放系数)(或者反之亦然)，或者是，使得对于量化参数小(较小)的，去振铃滤波器的强度低(较低)，对于量化参数大(较大)的，去振铃滤波器的强度高(较高)。

实施例可以被配置为将块的大小视作对量化级别的另一种指示。例如，由于在比特流中用信号发送的信息数量或大小的限制，实施例可以假定在较高的压缩率下，块的大小往往更大，并且块的大小越大意味着块***标志位表示的信息和每个块的预测信息越少。因此，可以将实施例配置为获取当前块的大小，并且基于块的大小控制或调整缩放系数。例如，可以将实施例配置为对尺寸较大的块应用更强的去振铃滤波器(或锐化滤波器)。例如，如果得到(例如估计)块的大小为块的宽度和高度之和(例如以样本为单位的宽度+高度)，且块的大小等于或大于块大小阈值(或块大小阈值数值)，例如64，则使用第一缩放系数(或第一缩放系数数值)k1，并且如果块的大小小于块大小阈值，则使用另一缩放系数(或缩放系数数值)k2。还可以将实施例配置为当块的大小在特定水平时具有的缩放系数k为零。这实际上意味着对于这类块去激活去振铃滤波器。

另一实施例可以包括一个以上的阈值，以及对应地两个以上的缩放系数，对于不同的块大小应用不同的去振铃滤波器。

在根据第一方面的解码器的第六实施方式中，或根据第一方面的前述任一实施方式的解码器的第六实施方式中，滤波器单元还包括限幅单元(clipping unit)，用于将绝对值限制为高于阈值。

第六实施方式的解码器具有的优点是：对一阶导数的绝对值的极高数值进行限幅，从而避免可能导致图像质量下降的极端异常值。此外，(用阈值)限制绝对值可以例如通过使用扭曲程序或算法保持边缘的位置不变。滤波器仅处理可能产生振铃的平面到边缘过渡区域。

限制性的阈值数值控制了待增强边缘的邻近区域。另一方面，如上所述，由于为当前块设置了量化参数，振铃要高得多。QP越高，相应的振铃区域越宽。在一些实施例中，可以通过块的量化参数控制限制值(阈值)，这将允许调整滤波器以适应伪影区域。例如，可以将实施例配置为对较高的QP数值应用较高的限制性阈值数值，这允许使用较宽的区域进行边缘增强。

如上所述，另一量化级别的指示可以是块的大小。在较高的压缩率下，块的大小往往更大。因此，可以将实施例配置为基于(或取决于)块的大小调整或控制限制性的阈值数值，其中，在块的大小较大时应用较高的限制性数值。

在根据第一方面的解码器的第七实施方式中，或根据第一方面的前述任一实施方式的解码器的第七实施方式中，还包括用于平滑绝对值的模糊滤波器。

例如，模糊滤波器可以是高斯滤波器。

本发明的第二方面涉及一种用于在比特流中对当前帧的块进行编码的编码器，该编码器包括：

-参考样本选择单元，用于选择当前帧的重构部分的参考样本，

-滤波器单元，用于对参考样本进行滤波，

-块生成单元，用于基于滤波后的参考样本生成块的预测，其中，滤波器单元包括锐化滤波器和/或去振铃滤波器，以及

-控制单元，用于控制是否应用锐化滤波器和/或去振铃滤波器。

第二方面的编码器可以用于在比特流中对当前帧的块进行编码，使得其可以由根据本发明第一方面的解码器解码。

第二方面的编码器还可以包括重构单元，用于基于块的预测和残差视频块生成重构的视频块。

在第二方面的编码器的第一实施方式中，控制单元用于通过执行率失真优化、通过使预测误差标准最小化、和/或基于一个或多个局部图像属性，选择以下之一：

-选择性旁路，以及

-锐化滤波器和/或去振铃滤波器的选择性应用。

以此方式，第二方面的编码器可以确定最佳的滤波(或滤波的旁路)。编码器可以用于例如通过该选择的显式信令将该选择编码到比特流中。

在第二方面的编码器的第二实施方式中，或根据第二方面的第一实施方式的第二实施方式中，滤波器包括一个或多个参数，且编码器还包括参数选择单元，该参数选择单元用于通过执行率失真优化、通过使预测误差标准最小化、和/或基于一个或多个局部图像属性，选择一个或多个参数。

在第二方面的编码器的第三实施方式中，或根据第二方面的第一实施方式的第三实施方式中，编码器用于将锐化滤波器标志位、锐化系数、和/或锐化滤波器和/或去振铃滤波器的一个或多个参数编码到比特流中。

根据第二方面的编码器的其他实施方式与根据第一方面的解码器描述的其他实施方式对应。

本发明的第三方面涉及一种用于从比特流中解码视频当前帧的块的方法，该方法包括：

-选择当前帧的重构部分的参考样本，

-滤波参考样本，以及

-基于滤波后的参考样本生成该块的预测，

其中，滤波参考样本包括对参考样本进行锐化和/或去振铃的步骤。

根据本发明第一方面的解码器可以执行根据本发明第三方面的方法。根据本发明第三方面的方法的其他特征或实施方式可以执行根据本发明第一方面的解码器及其不同实施方式的功能。

本发明的第四方面涉及一种用于在比特流中对视频当前帧的块进行编码的方法，该方法包括：

-选择当前帧的重构部分的参考样本，

-滤波参考样本，以及

-基于滤波后的参考样本生成该块的预测，

其中，该方法还包括确定是否通过锐化和/或去振铃滤波参考样本的步骤。

根据本发明第二方面的编码器可以执行根据本发明第四方面的方法。根据本发明第四方面的方法的其他特征或实施方式可以执行根据本发明第二方面的编码器及其不同实施方式的功能。

本发明的第五方面涉及一种存储程序代码的计算机可读存储介质，该程序代码包括用于执行第三方面或第四方面的方法的指令。

本发明的第六方面提供了一种用于从比特流中解码视频当前帧的块的解码器，该解码器包括：

-参考样本选择单元，用于选择当前帧的重构部分的参考样本，

-滤波器单元，用于对参考样本进行滤波，以及

-块生成单元，用于基于滤波后的参考样本生成块的预测，其中，滤波器单元包括用于基于比特流中的标志位应用的锐化滤波器和/或去振铃滤波器。

第六方面的解码器具有以下优点：锐化滤波器和/或去振铃滤波器可以提高预测效率，从而提升客观图像质量和感知图像质量。特别地，由于锐化滤波器和/或去振铃滤波器可以基于比特流中的标志位来应用，因此在这些滤波器可以在使得图像质量改善的情况下有选择性地应用。

第六方面的解码器还可以包括重构单元，用于基于块的预测和来自比特流的残差视频块生成重构的视频块。

在根据第六方面的解码器的第一实施方式中，用于块的预测进行滤波的滤波器单元和/或块生成单元和/或预测后滤波单元包括平滑滤波器。

根据第一实施方式的解码器具有以下优点：该解码器既包括锐化滤波器/去振铃滤波器又包括平滑滤波器。因此，该解码器可以根据情况使用锐化或平滑处理，从而实现最佳的图像再现。

可以将解码器配置为基于比特流中的标志位应用以下之一：

-平滑滤波器，或

-锐化滤波器和/或去振铃滤波器。

例如，如果比特流中的标志位为真，则可以将解码器配置为应用平滑滤波器，并且如果标志位为假，则可以将解码器配置为应用锐化滤波器和/或去振铃滤波器。

这样做的优点是避免了同时应用平滑和锐化的相反动作。

如果比特流中的锐化标志位不为真，则可以将解码器配置为基于规则应用平滑滤波器，该规则是基于一个或多个块属性。

在根据第六方面的解码器的第二实施方式中，或根据第六方面的第一实施方式的解码器的第二实施方式中，解码器用于：

-确定平滑滤波条件，

-从比特流中解析锐化标志位，以及

-如果平滑滤波条件为真且锐化标志位为假，则应用平滑滤波器。

换句话说，根据第二实施方式，只有在满足平滑滤波条件且去激活锐化时才应用平滑滤波器。因此，避免了同时执行平滑和锐化的相反动作。

在根据第六方面的解码器的第三实施方式中，或根据第一方面的任一前述实施方式的解码器的第三实施方式中，该解码器用于：

-从比特流中解析锐化标志位，以及

-如果锐化标志位为假，则从比特流中解析平滑标志位，

和/或，其中，解码器用于：

-从比特流中解析平滑标志位，以及

-如果平滑标志位为假，则从比特流中解析锐化标志位。

换句话说，如果锐化标志位为真(将使得锐化滤波器被应用)，则可以跳过解析平滑标志位。类似地，如果平滑标志位为真(将使得平滑滤波器被应用)，则可以跳过解析锐化标志位。这样做的优点是：需要从比特流中解析的信息较少。因此可以提高编码效率。

在根据第六方面的解码器的第四实施方式中，或根据第六方面的任一前述实施方式的解码器的第四实施方式中，块生成单元包括含DC模式、平面模式、和/或一个或多个角模式在内的多个预测模式，并且该解码器还用于：

-从比特流中解析预测模式，以及

-如果解析出的预测模式既不是DC模式也不是平面模式，则从比特流中解析锐化标志位。

换句话说，如果解析出的预测模式是DC模式或平面模式，则解码器跳过从比特流中解析锐化标志位。这样做的原因是DC模式和平面模式可以看作是平滑滤波器。因此，解码器可以假设如果将DC模式或平面模式用于预测，则应避免锐化。因此，如果预测模式是DC模式或平面模式，则无需解析锐化标志位。因此，第四实施方式的优点在于，可以避免不必要的标志位解析，并且可以提高编码效率。

在根据第六方面的解码器的第五实施方式中，或根据第六方面的任一前述实施方式的解码器的第五实施方式中，块生成单元包括具有不同频率响应特性的用于获得分数像素位置处的样本值的多个插值滤波器，并且该解码器还用于：

-从比特流中解析锐化标志位，以及

-如果该锐化标志位为真，则应用多个插值滤波器中能通过最大数量高频的插值滤波器。

例如，如果可用的有三次滤波器和模糊滤波器(例如高斯或双线性)，则如果锐化标志位为真，因为三次滤波器通过更多的高频，应用三次滤波器。

在根据第六方面的解码器的第六实施方式中，或根据第六方面的任一前述实施方式的解码器的第六实施方式中，平滑滤波器包括：

-块预测方法的DC模式和/或平面模式，

-边界平滑滤波器，

-位置相关帧内预测组合，和/或

-多参数帧内预测。

位置相关帧内预测组合(position-dependent intra prediction combination，PDPC)是一种用于块预测的后处理，位置相关帧内预测组合调用HEVC块预测与滤波和未滤波边界参考样本的组合。使用一些7抽头低通滤波器平滑该边界样本。因而，预测块的像素根据其在块中的位置变得平滑。

多参数帧内预测(multi-parameter intra prediction，MPI)是用于帧内预测的后处理工具，多参数帧内预测调用使用解码边界的附加平滑。MPI的目的是通过对预测结果应用不同的后处理滤波器生成更自然的图案，同时在即使平滑之后仍保持方向性的图案。

在根据第六方面的解码器的第七实施方式中，或根据第六方面的任一前述实施方式的解码器的第七实施方式中，平滑滤波器是高斯滤波器，并且在使用锐化滤波器时，将块生成单元配置为使用三次滤波器而非高斯滤波器。

本发明的第七方面涉及一种用于在比特流中对视频当前帧的块进行编码的编码器，该编码器包括：

-参考样本选择单元，用于选择当前帧的重构部分的参考样本，

-滤波器单元，用于对参考样本进行滤波，其中该滤波器单元包括锐化滤波器和/或去振铃滤波器，

-块生成单元，用于基于滤波后的参考样本生成块的预测，以及

-控制单元，用于控制是否应用锐化滤波器和/或去振铃滤波器。

编码器可以用于为多个编码模式中的每一个计算目标标准，其中多个编码模式中的每一个应用锐化滤波器或平滑滤波器，并且其中，该编码器用于基于计算得到的目标标准选择优选的编码模式。

编码器还可以包括用于在比特流中写入标志位的写入单元，其中该标志位指示是否应当在解码过程中应用锐化滤波器和/或去振铃滤波器。

在第七方面的编码器的第一实施方式中，用于块的预测进行滤波的滤波器单元和/或块生成单元和/或后滤波单元包括平滑滤波器。

在第七方面的编码器的第二实施方式中，或根据第七方面的第一实施方式的编码器的第二实施方式中，该编码器用于：

-在比特流中写入锐化标志位，以及

-当锐化标志位为假时，在比特流中写入平滑标志位，

和/或，其中，该编码器用于：

-在比特流中写入平滑标志位，以及

-当平滑标志位为假时，在比特流中写入锐化标志位。

在第七方面的编码器的第三实施方式中，或根据第七方面的前述任一实施方式的编码器的第三实施方式中，块生成单元包括含DC模式、平面模式、和/或一个或多个角模式在内的多个预测模式，并且解码器还用于：

-确定预测模式，以及

-如果确定的预测模式既不是DC模式也不是平面模式，则在比特流中写入锐化标志位。

本发明的第八方面涉及一种用于从比特流中解码视频当前帧的块的方法，该方法包括：

-选择当前帧的重构部分的参考样本，

-滤波参考样本，

-基于滤波后的参考样本生成该块的预测，

其中，该方法还包括基于比特流中的标志位确定是否滤波参考样本的步骤，包括应用锐化滤波器和/或去振铃滤波器的步骤。

根据本发明第六方面的解码器可以执行根据本发明第八方面的方法。根据本发明第八方面的方法的其他特征或实施方式可以执行根据本发明第六方面的解码器及其不同实施方式的功能。

本发明的第九方面涉及一种用于在比特流中对视频当前帧的块进行编码的方法，该方法包括：

-选择当前帧的重构部分的参考样本，

-滤波参考样本，

-基于滤波后的参考样本生成该块的预测，

其中，该方法还包括确定是否滤波参考样本的步骤，包括应用锐化滤波器和/或去振铃滤波器的步骤。

该方法还可以包括：确定用于预测块的目标标准；以及，基于确定的目标标准来选择优选的编码模式。

根据本发明第七方面的编码器可以执行根据本发明第九方面的方法。根据本发明第九方面的方法的其他特征或实施方式可以执行根据本发明第七方面的编码器及其不同实施方式的功能。

本发明的第十方面涉及一种存储程序代码的计算机可读存储介质，该程序代码包括用于执行第八和第九方面的方法的指令。

附图说明

为了更清楚地说明本发明实施例的技术特征，下面将对用于描述实施例的附图作简要介绍。下面描述中的附图仅仅是本发明的一些实施例，在不脱离权利要求书所限定的本发明的范围的情况下，可以对这些实施例进行修改。

图1是示出用于从比特流中解码视频当前帧的块的解码器的框图；

图2是示出用于在比特流中对当前帧的块进行编码的编码器的框图；

图3是用于从比特流中解码视频当前帧的块的方法的流程图；

图4是用于从比特流中对当前帧的块进行编码的方法的流程图；

图5是用于在比特流中对当前帧的块进行编码的另一编码器的框图；

图6是用于从比特流中解码视频当前帧的块的另一解码器的框图；

图7是帧内预测方法的示意图；

图8是帧内预测单元的框图；

图9是参考样本准备单元的框图；

图10是锐化滤波器的框图；

图11是启用参考样本锐化时的插值滤波器选择方法的流程图；

图12是预测模式选择方法的流程图；

图13是用于锐化标志位的条件解析的方法的流程图；

图14是用于锐化标志位的条件性解析的另一方法的流程图；

图15是用于PDPC标志位的条件性解析的方法的流程图；以及

图16是用于边界平滑和锐化协调的方法的流程图。

具体实施方式

图1示出了用于从比特流中解码视频当前帧的块的解码器100。

解码器100包括参考样本选择单元110、滤波器单元120、和块生成单元130。

参考样本选择单元110用于选择当前帧的重构部分的参考样本。参考样本的选择可以按照常规方案进行。

滤波器单元120用于对参考样本进行滤波，其中，该滤波器单元120包括锐化滤波器和/或去振铃滤波器。可以基于比特流中的信令和/或基于图像的属性(例如，基于已重构的块的图像属性)配置这些滤波器。

块生成单元130用于基于滤波后的参考样本生成块的预测。

图2示出了用于在比特流中对当前帧的块进行编码的编码器200。

该编码器包括参考样本选择单元210、滤波器单元220、块生成单元230、和控制单元240。

参考样本选择单元210用于选择当前帧的重构部分的参考样本。参考样本的选择可以按照常规方案进行。

滤波器单元220用于对参考样本进行滤波，并且其包括锐化滤波器和/或去振铃滤波器。

块生成单元230用于基于滤波后的参考样本生成块的预测。

控制单元240用于控制是否应用是锐化滤波器和/或去振铃滤波器。

将参照图5和图6在下面对解码器100和编码器200的可能实施方式进行更详细的描述。

图3示出了一种用于从比特流中获取视频当前帧的预测块的方法300。

该方法300包括第一步，选择310当前帧的重构部分的参考样本。

该方法300包括第二步，滤波320参考样本。

该方法包括第三步，基于滤波后的参考样本生成330块预测，其中，滤波参考样本包括对参考样本进行锐化和/或去振铃的步骤。

图4示出了一种用于在比特流中对视频当前帧的块进行编码的方法400。

该方法包括第一步，选择410当前帧的重构部分的参考样本。

该方法包括第二步，滤波420参考样本。

该方法包括第三步，基于滤波后的参考样本生成430块预测，其中，该方法还包括确定是否通过锐化和/或去振铃滤波参考样本的步骤。

图5示出了一种编码器500，其包括输入和输出，该输入用于接收视频流的帧或图片的输入块，该输出用于生成编码后的视频比特流。在一个解释性的实践中，编码器500适于将预测、变换、量化、和熵编码应用于视频流。变换、量化、和熵编码分别通过变换单元501、量化单元502、和熵编码单元503执行，以生成作为输出的编码后的视频比特流。

视频流可以包括多个帧，其中每一帧被划分为帧内编码或帧间编码的特定大小的块。例如，通过帧内预测单元509对视频流第一帧的块进行帧内编码。内帧仅使用同一帧内的信息进行编码，因此可以对其进行独立解码，并且其可以为随机访问提供比特流中的入口点。通过帧间预测单元510对视频流其他帧的块进行帧间编码：来自被称为参考帧的编码帧的信息用于减少时间冗余，因此，帧间编码帧的每个块根据参考帧中的块进行预测。模式选择单元508适于选择帧中的块是由帧内预测单元509处理还是由帧间预测单元510处理。模式选择单元508还控制帧内预测或帧间预测的参数。

帧内预测单元509是块预测单元。帧内预测单元509包括锐化滤波器和/或去振铃滤波器(图5中未示出)。

为执行空间或时间预测，编码后的块可以进一步由逆量化单元504、逆变换单元505处理。在重构整个帧之后应用环路滤波单元506，以获得参考帧，之后将参考帧存储在帧缓冲区507中。

帧间预测单元510包括待进行帧间编码的当前帧或图片的块以及来自帧缓冲区507的一个或多个参考帧或图片作为输入。通过帧间预测单元510应用运动估计和运动补偿。运动估计用于基于特定的成本函数获得运动矢量和参考帧。之后，运动补偿根据从参考帧的参考块到当前帧的变换描述当前帧的当前块。帧间预测单元510输出当前块的预测块，其中，该预测块使待编码的当前块与其预测块之间的差异最小化，即，使残差块最小化。残差块的最小化是基于例如率失真优化程序。

帧内预测单元509接收待进行帧内编码的当前帧或图片的块以及来自当前图片的已重构区域的一个或多个参考样本作为输入。之后，帧内预测根据从当前帧的参考样本到当前编码的块的变换描述当前帧的当前块。帧内预测单元509输出当前块的预测块，其中，该预测块使待编码的当前块与其预测块之间的差异最小化，即，使残差块最小化。残差块的最小化可以基于例如率失真优化程序。

之后，变换单元501对当前块与其预测之间的差异(即，残差块)进行变换。变换系数由量化单元502和熵编码单元503进行量化和熵编码。由此生成的编码视频比特流包括帧内编码块和帧间编码块。

图6示出了一种视频解码器600。该视频解码器600特别地包括参考图片缓冲区607和帧内预测单元609，该帧内预测单元是块预测单元并且包括锐化滤波器和/或去振铃滤波器。参考图片缓冲区607适于存储从编码视频比特流中获得的至少一个参考帧，该参考帧与编码视频比特流的当前帧不同。帧内预测单元609用于生成预测块，该预测块是对将要解码的块的估计。帧内预测单元609用于基于获取自参考图片缓冲区607的参考样本生成该预测。帧内预测单元609用于使用锐化滤波器和/或去振铃滤波器对获取自参考图片缓冲区的参考样本进行锐化和/或去振铃。

解码器600适于解码由视频编码器500生成的编码视频比特流，并且优选地，解码器600和编码器500均生成相同的预测。参考图片缓冲区607和帧内预测单元609的特征与图5的参考图片缓冲区507和帧内预测单元509的特征类似。

特别地，视频解码器600包括同样存在于视频编码器600中的其他单元，例如，逆量化单元604、逆变换单元605、环路滤波单元606、和帧内预测单元609，分别对应于视频编码器500的逆量化单元504、逆变换单元505、环路滤波单元506、和帧内预测单元509。

熵解码单元603适于解码接收到的编码视频比特流，并相应地获取量化残差变换系数和锐化滤波器信息(如果存在)。量化残差变换系数被馈送到逆量化单元604和逆变换单元605以生成残差块。残差块与预测块相加，并该相加结果被馈送到环路滤波单元606，以获取解码后的视频。解码后的视频的帧可以存储在参考图片缓冲区607中，并作为用于帧间预测的参考帧。

通常，图5和图6中的帧内预测单元509和帧内预测单元609可以使用来自已编码区域的参考样本，以针对待编码的块或待解码的块生成预测信号(参见图7)。

图7示出了基于多个参考样本720进行的块730的帧内预测，该参考样本720是已编码区域710的一部分。如图7中用箭头740所指示的，基于多个参考样本预测块730。特别地，可以使用多个参考样本预测块730的单个像素。可以从已编码的区域中将参考样本720选择为例如围绕待预测块的垂直一列或水平一行参考样本。

图8是帧内预测单元800的框图。根据本发明的一种实施方式，帧内预测单元800可以是图5和图6的帧内预测单元509和帧内预测单元609的一种实施方式，并且帧内预测单元800包括三个主要模块：

1.参考样本准备单元810。在这一单元中，根据所选择的预测模式、块的大小、和样本可用性定义和预处理参考样本。这些步骤可以由参考样本准备单元810的参考样本准备单元812、平滑滤波器814、和锐化滤波器816执行。

2.预测块生成单元820，用于生成预测块。在这一单元中，根据所选择的预测模式(角、平面、或DC)将参考样本外插值至预测块。为了生成预测块，参考样本在其分数采样位置处应当是已知的。使用插值滤波器以获得参考样本在其分数采样位置处的值。插值滤波器可以是简单的双线性滤波器，或更复杂的高斯滤波器或三次滤波器，以获得更精确的插值。这些步骤可以由预测块生成单元820的双线性插值单元822、三次插值单元824、和高斯插值单元826执行。

3.预测后滤波单元830，用于对预测块进行后滤波。为了进一步提高预测效率，预测块在提取残差之前进行了额外的滤波。例如，帧内边界滤波器可以用于使预测块和已编码的邻近的块之间的边界的差异平滑。多参数帧内预测(multi-parameter intraprediction，MPI)和位置相关帧内预测组合(position dependent intra predictioncombination，PDPC)都旨在以不同强度模糊预测块的不同部分。这些步骤可以由预测后滤波单元830的边界平滑单元832、MPI单元834、和PDPC单元836执行。

在参考样本准备单元810中，连同未经处理的参考样本和经过平滑的参考样本一起，通过将锐化(和/或去振铃)滤波器应用于参考样本，获得了经过锐化(和/或去振铃)的参考样本。例如，在率失真优化过程中(基于成本或最小预测误差标准)或基于一些先验定义的规则(例如，基于块的大小、预测模式等)，编码器可以决定应当使用哪种类型的预处理。

图9是参考样本准备单元900的框图。参考样本准备单元900包括样本选择单元902、平滑滤波器904、和锐化滤波器906。此外，参考样本准备单元900包括开关908，该开关用于在平滑滤波器904、锐化滤波器906、以及旁路连接之间切换，其中，旁路连接绕开了滤波器。

优选地，图9的锐化滤波器906是基于扭曲的非线性锐化滤波器。

图10示出了基于扭曲的非线性锐化滤波器1000的示例。滤波器1000包括一阶导数单元1002、绝对值单元1004、限幅单元1006、模糊滤波器1008、二阶导数单元1010、乘法器1012、和扭曲单元1014。这些单元1002-1014依次连接。特别地，滤波器1000的单元1002-1014用于依次执行以下步骤：

1.通过取一阶导数(dx)获得一行参考样本的梯度。

2.通过计算梯度向量长度获得边缘图。

3.用阈值对边缘图进行限幅，以防止处理极高和/或极低的值。

4.通过例如高斯滤波器使限幅后的边缘图模糊。

5.取二阶导数(d2x)。

6.用系数k对二阶导数向量d2x进行缩放获得位移矢量(wx)。系数k被认为是锐化强度，并且可以例如通过率失真优化过程或最小预测误差准则自适应地选择以更好地拟合局部图像属性。可选地，可以通过比特流中的显式信令指示缩放系数。

7.扭曲，例如使用获得的位移矢量进行双线性插值。

这种基于扭曲的非线性锐化滤波器可以实现两种类型的改进：增加自然边缘的锐度和去除边缘周围的振铃效应。

传统的基于线性锐化(或去模糊)滤波器的边缘增强技术(例如，“反锐化掩模”)可以提高主观质量，但通常无法抑制由残差量化引起的振铃效应。在许多情况下，这些技术甚至会增加振铃并降低客观的性能特征。在许多情况下，非线性滤波器可以为振铃的消除提供更好的结果，并同时增强边缘的主观和客观质量。

给参考样本的处理增加锐化滤波器，例如图10的锐化滤波器1000，使得：

·在自然边缘存在时，通过提高帧内预测质量减少高频残差的数量；

·减少由参考样本量化引起的边缘模糊；以及

·提高预测信号中边缘的主观和客观质量，进而提高了重建图片的质量。

添加特定结构(非线性、基于扭曲、自适应)的锐化滤波器使得：

·减少由参考样本的变换系数的量化引起的振铃效应并增加自然边缘的锐度；

·由于简单自适应形式的滤波器仅具有一个用于适应和传输的系数，因此在有限的信令开销下执行空间自适应。

优选地，自适应系数对于内容的某些部分是可变的：序列、图片组、编码图片、任意区域、或任意大小的规则编码块(例如，使用HEVC术语的CTU、CU、PU、TU)。为了使解码器知道改变后的插值滤波器设置，应将其通过信号发送给解码器或者在没有显示信令的情况下在解码器侧导出。

锐化(和/或去振铃)滤波器可以一直启用或可切换地打开/关闭。例如，通过使预测误差或成本(率/失真)标准最小化，可以由编码器做出选择决定在编码图像的每个特定块(例如，H.265/HEVC术语中的CTU、CU、PU、TU)中是启用还是禁用锐化滤波器，并在比特流中用1比特标志位发信号通知这种选择。

滤波器1000允许增加自然边缘的主观锐度并抑制由参考样本量化引起的靠近边缘的振铃效应。然而，预测信号生成和后滤波的其他步骤可能会导致自然边缘再次模糊。为了避免这种情况，可以明确禁止同时运行锐化和模糊工具。这样的设计减少了由每个特定的预测增强工具的信令而产生的开销，并且通过消除处理中的矛盾组合降低编码器的复杂度。

优选地，如果获得预测信号的其他步骤中包含导致模糊的工具(例如，DC和平面预测模式、高斯插值滤波器、双线性插值滤波器、MPI、PDPC、边界预测滤波器)，则从处理和信令中排除这类工具与锐化的组合。

有时仅通过一个滤波器就可以实现锐化和去振铃的效果。然而，在某些仅需要锐化或仅需要去振铃的情况下，提供仅用于两种目的之一的专用滤波器。

根据特定配置，锐化滤波器的启用并不总是导致所有可能的模糊工具的禁用。其中有些可能被禁用，而另一些则没有。这样的组合可以提升性能。

进一步的修改针对的是帧内预测的后续步骤-预测块生成和预测后滤波。预测块生成使用两种插值滤波器。一种是保留高频的三次滤波器，第二种是低通高斯滤波器。

图11是用于确定使用何种滤波器的示例性方法的流程图。该方法从步骤1100开始，并进行到1102确定块的大小是否与标准匹配，例如，块的大小是否与预定的数值对应。如果是，则该方法推进到1104检查是否设置了锐化标志位(例如，从比特流中解析的锐化标志位)。如果该锐化标志位为真，则该方法推进到使用三次插值滤波器的步骤1108。否则，该方法推进到使用高斯插值滤波器的步骤1106。

在图12中，示出了另一个示例性实施例。通常，在预测期间，块生成帧内预测机制会对现有的预测模式进行查看，并基于最小预测误差或率/失真(成本)标准选择最佳的预测模式。预测模式可以包括平面模式、DC模式、和角模式。

图12的方法优选地在编码期间应用，在图12的方法中，如果在参考样本准备步骤中选择了锐化模式，则从搜索中排除DC模式和平面模式。因此，无需向解码器发送信号指示锐化模式和DC或平面预测模式的组合。

具体地，该方法从步骤1200开始，并且对于每个预测模式1202推进到步骤1204，以确定预测模式是否是DC或平面。如果是，则该方法在步骤1206中确定是否设置了锐化标志位。如果设置了锐化标志位，则该方法推进到步骤1202，到下一预测模式。如果未设置锐化标志位，则该方法继续到计算预测失真/率的步骤1208。在步骤1210中，保存最佳预测模式。

当已经评估了所有预测模式时，图12的方法结束于步骤1212。

图13是应用在解码过程中的相应方法的流程图。该方法从步骤1300开始，并且推进到解析帧内预测模式的步骤1302。随后，在步骤1304中，该方法确定预测模式是否是DC或平面。如果是，则该方法结束于步骤1308，否则在步骤1306中从例如比特流中解析锐化标志位。

在帧内预测的最后一步中–预测后滤波也可能是与参考样本的锐化相矛盾的工具。例如，如果选择了参考样本的锐化，也应当将根据本发明的PDPC从处理中排除。这一事实可以用于优化信令。

根据信令顺序，当PDPC标志位被首先写入时，解码器解析如图14所示的标志位。当锐化标志位被首先写入时，则根据图15执行解析过程。另一个预测后滤波工具–MPI预测也可以以和PDPC相同的方式与锐化工具协调。

更具体地，图14是应用在解码过程中的方法的流程图。在初始化1400之后，该方法推进到1402解析PDPC标志位。在步骤1404中，确定是否设置了PDPC标志。如果设置了PDPC标志，则该方法结束于步骤1408。否则，该方法推进到解析锐化标志位的步骤1406。

图15是应用在解码过程中的另一种方法的流程图。该方法从步骤1500开始，并且推进到1502解析锐化标志位。如果在步骤1504中确定锐化标志位未设置，则该方法在下一步骤1506中解析PDPC标志位。该方法结束于最后一个步骤1508。

图16是参考样本锐化和边界平滑滤波器联合工作的另一示例性实施例的流程图。在初始化1600之后，该方法在步骤1602中确定边界平滑条件是否可用。如果否，则该方法结束于最后一个步骤1608。否则，该方法在步骤1604中确定是否设置了锐化标志位。仅当未设置锐化标志位时，该方法推进到步骤1606以执行边界平滑。

以上描述仅是本发明的实施方式，本发明的范围不限于此。本领域技术人员可以轻易地进行任何变化或替换。因此，本发明的保护范围应以所附权利要求书的保护范围为准。

Claims (20)

1.一种用于从比特流中解码视频当前帧的块(730)的解码器(100；600)，所述解码器包括：

-参考样本选择单元(110)，用于选择当前帧的重构部分的参考样本(720)，

-滤波器单元(120；1000)，用于对所述参考样本进行滤波；以及

-块生成单元(130)，用于基于滤波后的所述参考样本生成所述块的预测，其中，所述块的所述预测是所述块的帧内预测；

其中，所述滤波器单元包括锐化滤波器(1000)和/或去振铃滤波器。

2.根据权利要求1所述的解码器(100；600)，其中，所述锐化滤波器(1000)和/或所述去振铃滤波器是非线性滤波器。

3.根据前述权利要求中的一项所述的解码器(100；600)，其中，所述解码器用于基于所述比特流中的锐化滤波器和/或去振铃滤波器相关信息的信令，和/或基于所述当前帧的一个或多个重构块的图像属性，激活所述锐化滤波器和/或所述去振铃滤波器。

4.根据前述权利要求中的一项所述的解码器(100；600)，其中，所述解码器用于基于所述块的量化参数激活所述锐化滤波器和/或所述去振铃滤波器。

5.根据前述权利要求中的一项所述的解码器(100；600)，其中，所述滤波器单元(120)包括：

-一阶导数单元(1002)，用于确定所述参考样本的一阶导数，

-绝对值单元(1004)，用于确定所述一阶导数的绝对值，

-二阶导数单元(1010)，用于基于所述一阶导数的所述绝对值确定二阶导数，以及

-扭曲单元(1014)，用于基于所述二阶导数对所述参考样本进行扭曲。

6.根据权利要求5所述的解码器(100；600)，其中，所述扭曲单元(1014)用于使每个参考样本移动相应的位移矢量，所述位移矢量通过使用缩放系数对所述二阶导数进行缩放获得，其中，所述缩放系数是所述锐化强度。

7.根据权利要求6所述的解码器(100；600)，其中，所述解码器用于基于所述比特流中的信令，和/或基于局部图像属性，调整所述缩放系数。

8.根据权利要求6所述的解码器(100；600)，其中，所述解码器用于基于所述块的量化参数调整所述缩放系数。

9.根据权利要求6所述的解码器(100；600)，其中，所述解码器用于基于所述块的大小调整所述缩放系数。

10.根据权利要求5至9中的一项所述的解码器(100；600)，其中，所述滤波器单元(120；1000)还包括限幅单元(1006)，所述限幅单元用于将所述绝对值限制为高于第一阈值和/或低于第二阈值。

11.根据权利要求10所述的解码器(100；600)，其中，所述解码器用于基于所述块的大小调整所述限制值。

12.根据权利要求10所述的解码器(100；600)，其中，所述解码器用于基于所述块的量化参数调整所述限制值。

13.根据权利要求5至12中的一项所述的解码器(120)，还包括模糊滤波器(1008)，所述模糊滤波器用于平滑所述绝对值。

14.一种用于在比特流中对当前帧的块进行编码的编码器(200；500)，所述编码器包括：

-参考样本选择单元(210)，用于选择所述当前帧的重构部分的参考样本，

-滤波器单元(220；1000)，用于对所述参考样本进行滤波，其中，所述滤波器单元包括锐化滤波器和/或去振铃滤波器，

-块生成单元(230)，用于基于滤波后的所述参考样本生成所述块的预测，其中，所述块的所述预测是所述块的帧内预测，以及

-控制单元(240)，用于控制是否应用所述锐化滤波器和/或所述去振铃滤波器。

15.根据权利要求14所述的编码器(200；500)，其中，所述控制单元(240)用于，通过执行率失真优化、通过使预测误差标准最小化、和/或基于一个或多个局部图像属性，选择以下之一：

-选择性旁路，以及

-所述锐化滤波器和/或去振铃滤波器的选择性应用。

16.根据权利要求14或15所述的编码器(200；500)，其中，所述滤波器包括一个或多个参数，并且所述编码器还包括参数选择单元，所述参数选择单元用于通过执行率失真优化、通过使预测误差标准最小化、和/或基于一个或多个局部图像属性，选择所述一个或多个参数。

17.根据权利要求15和16中的一项所述的编码器(200；500)，其中，所述编码器用于将锐化滤波器标志位、锐化系数、和/或所述锐化滤波器和/或去振铃滤波器的一个或多个参数编码到所述比特流中。

18.一种用于从比特流中解码视频当前帧的块的方法(300)，所述方法包括：

-选择(310)所述当前帧的重构部分(710)的参考样本(720)，

-滤波(320)所述参考样本，以及

-基于滤波后的所述参考样本生成(330)所述块(730)的预测，其中，所述块的预测是所述块的帧内预测，

其中，滤波所述参考样本包括对所述参考样本进行锐化和/或去振铃的步骤。

19.一种用于在比特流中对视频当前帧的块进行编码的方法(400)，所述方法包括：

-选择(410)所述当前帧的重构部分(710)的参考样本(720)，

-滤波(420)所述参考样本，

-基于滤波后的所述参考样本生成(430)所述块的预测，其中，所述块的预测是所述块的帧内预测；

其中，所述方法还包括确定是否通过锐化和/或去振铃对所述参考样本进行滤波的步骤。

20.一种存储程序代码的计算机可读存储介质，所述程序代码包括由处理器执行时用于执行权利要求18和19之一的方法的指令。

Images