CN103141097A - 优化的去块滤波器 - Google Patents

Abstract

解码器执行用于为编码视频选择去块参数的迭代搜索方法。根据该方法，解码图片可以根据与多维去块向量相关联的参数来去块，并且可以由此估计被称作“去块误差”的误差。如果估计的误差超过预定阈值，则可以创建替换去块向量，每个替换去块向量在相应维度上从当前去块向量前进。该方法可以根据每个前进后的向量对编码图片进行去块，并且可以从每个前进后的向量的每次去块估计误差。最终，去块向量可以根据从各个向量维度的估计的去块误差得出的梯度而被修改，以用于下一迭代。该基于梯度的搜索方法可以以高效方式收敛到一组最终的去块参数。

Description

优化的去块滤波器

技术领域

本发明涉及视频编码，以及更具体地涉及使用内插滤波器作为运动补偿编码一部分的视频编码***。

背景技术

视频编解码器通常使用离散余弦变换（“DCT”）对像素的块（这里称为“像素块”）进行处理来对视频帧进行编码，非常类似于用于静态图像的原始JPEG编码器。初始帧（称作“内”帧）被编码并作为独立帧被发送。被建模为随着场景中对象的小运动而缓慢改变的后续帧使用被称作运动补偿（“MC”）的技术以帧间模式（intermode）被高效编码，在运动补偿中，将像素块相对于其在先前编码帧中的位置的位移作为运动向量，与预测的像素块和来自源图像的像素块之间的差的编码表示一起被发送。

下面提供了运动补偿的简单概述。图1和2示出了运动补偿图像编码器/解码器***的方块图。该***将变换编码（像素的像素块的DCT形式）与预测编码（差分脉冲编码调制（“PCM”）形式）结合，从而降低压缩图像的存储和计算，同时给出高的压缩度和自适应度。因为运动补偿难以在变换域中执行，所以帧间编码器的第一步是创建运动补偿预测误差。该计算要求一个或多个帧存储在编码器和解码器二者中。得到的误差信号使用DCT被变换，由自适应量化器进行量化，使用可变长度编码器（“VLC”）进行熵编码，以及被缓存以用于通过信道传输。

运动评估器如图3中所示工作。在其最简单的形式中，当前帧被划分为运动补偿块，在此被称作“mc块”，其具有恒定大小，例如16×16或8×8。然而，常常也使用可变大小mc块，尤其是在较新的编解码器中，诸如H.264.ITU-T建议H.264、高级视频编码。事实上，非矩形的mc块也已经被研究和提出。mc块的大小通常大于或等于像素块的大小。

同样，在运动补偿的最简单形式中，先前解码帧被用作参考帧，如图3中所示。然而，许多可能的参考帧之一也可以被使用，尤其是在诸如H.264的较新编解码器中。事实上，使用适当的信令，每个mc块可以使用不同的参考帧。

将当前帧中的每个mc块与参考帧中的一组位移的mc块进行比较，来确定哪一个mc块最好地预测了当前mc块。当找到最佳匹配的mc块时，规定参考mc块的位移的运动向量被确定。

利用空间冗余

因为视频是一系列静态图像，所以可以使用类似于JPEG的技术实现一定压缩。这样的压缩方法被称作帧内编码技术，其中视频的每一帧被单独且独立地压缩或编码。帧内编码利用了存在于帧的相邻像素之间的空间冗余。仅使用帧内编码来编码的帧被称作“I-帧”。

利用时间冗余

在上述的单向运动估计（被称作“前向估计”）中，将要编码的帧中的目标mc块与被称作“参考帧”的过去帧中的一组具有相同大小的mc块进行匹配。参考帧中“最匹配”目标mc块的mc块被用作参考mc块。然后计算目标mc块和参考mc块之间的差作为预测误差。预测mc块通常不与参考帧中的编码mc块边界对准。该最匹配参考mc块的位置由描述其与目标mc块之间的位移的运动向量来表示。该运动向量信息也被编码并连同预测误差一起被发送。使用前向预测来编码的帧被称作“P-帧”。

预测误差本身使用上面总结的基于DCT的帧内编码技术来发送。

双向时间预测

双向时间预测，也称作“运动补偿内插”，是现代视频编解码器的关键特征。用双向预测来编码的帧使用两个参考帧，通常一个是过去的，一个是未来的。然而，许多可能的参考帧中的两个也可以被使用，尤其在诸如H.264的较新编解码器中。事实上，使用适当的信令，每个mc块可以使用不同的参考帧。

双向编码帧中的目标mc块可以由来自过去参考帧的mc块（前向预测）、或来自未来参考帧的mc块（后向预测）、或两个mc块（各来自一个参考帧）的平均值（内插）来预测。在每种情况下，来自参考帧的预测mc块与运动向量相关联，以使得每个mc块最多两个运动向量可以被双向预测使用。对于双向预测帧中的mc块的运动补偿内插如图4中所示。使用双向预测编码的帧被称作“B-帧”。

双向预测提供了许多优点。主要的一个是所获得的压缩通常高于单独由前向（单向）预测获得的压缩。为了获得相同图片质量，双向预测帧可以使用比仅使用前向预测的帧更少的比特来编码。

然而，双向预测在编码处理中引入了额外的延迟，因为帧必须不按顺序地编码。此外，其必须承担额外的编码复杂性，因为mc块匹配（计算上最密集的编码过程）对于每个目标mc块必须执行两次，一次使用过去参考帧，一次使用未来参考帧。

双向预测的典型编码器架构

图5示出了典型的双向视频编码器。假设帧重排序发生在编码前，即，用于B-帧预测的I-帧或P-帧必须在任何相应的B-帧之前被编码和发送。在该编解码器中，B-帧不被用作参考帧。如果改变架构，它们也可以用作参考帧，如在H.264中那样。

输入视频被提供至运动补偿估计器/预测器，其将预测提供至减法器的负输入端。对于每个mc块，帧间/帧内分类器然后将输入像素与减法器的预测误差输出进行比较。通常，如果均方预测误差超过均方像素值，则判定为帧内mc块。涉及像素和预测误差二者的DCT的更复杂的比较会产生稍微更好的性能，但是通常被认为不值成本。

对于帧内mc块，预测被设置为零。否则，其如上所述来自预测器。预测误差然后在被编码之前通过DCT和量化器，被多路复用并被发送至缓冲器。

量化后的等级被逆量化器转换为重建的DCT系数，然后由逆DCT单元（“IDCT”）对该逆值进行变换以产生编码的预测误差。加法器将预测与预测误差相加并将结果修剪至例如0至255的范围，来产生经编码的像素值。

对于B-帧，运动补偿估计器/预测器使用图片存储器中的先前帧和未来帧二者。

对于I-帧和P-帧，由加法器输出的编码像素被写入下一图片存储器，同时旧像素被从下一图片存储器拷贝到前一图片存储器。实践中，这通常是通过简单地改变存储地址来实现的。

同样，在实践中，编码像素可以在进入图片存储器之前被自适应去块（deblocking）滤波器滤波。这改进了运动补偿预测，尤其是对于编码伪影可能可见的低比特率情况。

编码统计处理器与量化器适配器一起控制输出比特率，并尽可能地优化图片质量。

双向预测的典型解码器架构

图6示出了典型双向视频解码器。其具有与使用逆处理的编码器的像素重建部分相对应的结构。假设帧重排序发生在解码和视频输出之后。内插滤波器可以位于运动补偿预测器的输出端，如在编码器中一样。

分数运动向量位移

图3和图4示出了参考帧中相对于在当前帧中被解码的当前mc块的位置具有垂直和水平位移的参考mc块。位移量由二维向量[dx,dy]表示，称作运动向量。运动向量可以被编码和发送，或者它们可以从已经在解码器中的信息估计出，在这一情况下它们不被发送。对于双向预测，每个发送的mc块需要两个运动向量。

以最简单的形式，dx和dy是有符号的整数，表示偏离参考mc块的水平方向像素数量和垂直方向行数量。在这种情况下，参考mc块仅通过从参考存储器中读取适当像素来获得。

然而，在较新的视频编解码器中，已经发现允许dx和dy为分数值是有利的。典型地，它们允许位移精度下至四分之一像素，即整数＋－0.25，0.5或0.75。

分数运动向量比简单从参考存储器读取像素具有更多要求。为了获得参考存储像素之间的位置的参考mc块值，有必要在它们之间内插。

简单双线性内插可以很好地工作。然而，在实践中，已经发现使用特别为该目的设计的二维内插滤波器是有利的。事实上，为了性能和实用性，滤波器往往不是移位不变滤波器（shift-invariantfilter）。相反，分数运动向量的不同值可以使用不同内插滤波器。

使用自适应内插滤波器的运动补偿

最佳的运动补偿内插滤波器取决于许多因素。例如，在纯平移时，场景中的对象可能不在移动。可能有既在二维也在三维的对象旋转。其他因素包括缩放、相机运动和由阴影或改变照明引起的光照改变。

相机特性可能由于其传感器的特有性质而不同。例如，许多消费类相机固有是隔行的，它们的输出可能被去隔行并且被过滤来提供没有隔行伪影（artifact）的看起来舒服的图片。低光照条件可能导致增加每帧的曝光时间，导致移动物体的运动依赖型模糊。像素可能不是正方形的。

因此，在许多情况下，如果运动补偿内插滤波器可以适应这些和其他外部因素，则可以具有改进的性能。在这样的***中，内插滤波器可以通过在每一帧上最小化当前mc块与其相应参考mc块之间的均方误差来设计。这些被称作维纳滤波器。滤波器系数然后可以在每帧的开始处被量化和发送，以用在实际运动补偿编码中。在H.264和类似编解码器中，仅允许周期性调节少数几个去块参数。此外，由于滤波器操作是如此的非线性，所以普通的维纳过滤器设计不能被应用。

因此，在本领域中，需要用于在编码过程中选择去块滤波器的参数的高效机制。

附图说明

图1是传统视频编码器的框图。

图2是传统视频解码器的框图。

图3示出了运动补偿预测的原理。

图4示出了双向时间预测的原理。

图5是传统双向视频编码器的框图。

图6是传统双向视频解码器的框图。

图7示出了适于与本发明的实施例一起使用的编码器/解码器***。

图8是根据本发明的一个实施例的视频编码器的简化框图。

图9示出了根据本发明的一个实施例的方法。

图10示出了根据本发明的一个实施例的梯度搜索方法的示例操作。

图11示出了根据本发明的另一实施例的方法。

图12示出了根据本发明的另一实施例的梯度搜索方法的示例操作。

图13是根据本发明的实施例的视频解码器的简化框图。

具体实施方式

本发明的实施例提供了用于为编码视频选择去块参数的迭代方法。根据该方法，解码图片可以根据与多维去块向量相关联的参数被去块，并且可以由此估计被称作“去块误差”的误差。如果估计的误差超过预定阈值，则可以创建替换去块向量，每个替换去块向量在相应维度上从当前去块向量前进。该方法可以根据每个前进的向量对编码图片进行去块，并且可以从每个前进的向量的每次去块估计误差。最终，去块向量可以根据从各个向量维度的估计的去块误差得出的梯度而被修改，以用于下一迭代。该基于梯度的搜索方法可以以高效方式收敛到一组最终的去块参数。

图7示出了适用与本发明一起使用的编码器/解码器***100。在此，编码器110通过网络130与解码器120通信。解码器110可以对源视频的数据流进行编码操作，源视频可以经由相机设备在编码器处本地捕捉，或从存储设备（未示出）获取。编码操作降低源视频数据的带宽，从其产生编码视频。编码器110可以通过网络130将编码视频发送至解码器120。解码器120可以逆向执行由编码器110执行的编码操作，来从编码视频数据产生恢复的视频数据流。由编码器110执行的编码操作通常是有损处理，因此，恢复的视频数据可能是源视频数据的不精确复制。解码器120可以在显示设备上呈现恢复的视频数据，或其可以存储恢复的视频数据用于以后使用。

如上所述，网络130可以将来自编码器110的编码视频数据传输至解码器120。网络130可以作为各种有线或无线通信网络、计算机网络或其组合被提供。此外，网络130可以作为存储单元被提供，例如电、光或磁存储设备。

图8是适于与本发明一起使用的编码器的简化框图。编码器200可以包括基于块的编码链210和预测单元220。

基于块的编码链210可以包括减法器212、变换单元214、量化器216和可变长度编码器218。减法器212可以接收来自源图像的输入mc块，以及来自预测单元220的预测mc块。其可以从输入mc块减去预测mc块，产生像素残差块。变换单元214可以根据空间变换（典型地为离散余弦变换（“DCT”）或小波变换）来将mc块的残差数据转换为变换系数阵列。量化器216可以根据量化参数（“QP”）截断每个块的变换系数。用于截断的QP值可以在信道中被发送至解码器。可变长度编码器218可以根据熵编码算法（例如可变长度编码算法）来对经量化的系数编码。可变长度编码之后，每个mc块的编码数据可以存储在缓冲器240中以等待通过信道发送至解码器。

预测单元220可以包括：逆量化单元222、逆变换单元224、加法器226、去块滤波器228、参考图片高速缓存230、运动补偿预测器232和运动估计器234。逆量化单元222可以根据量化器216使用的QP来量化编码视频数据。逆变换单元224可以将重新量化的系数变换到像素域。加法器226可以将从逆变换单元224输出的像素残差与来自运动补偿预测器232的预测运动数据相加。去块滤波器228可以在恢复的mc块和同一帧的其他恢复的mc块之间的接缝处对恢复的图像数据进行滤波。参考图片高速缓存230可以存储恢复的帧，用于在编码后续接收的mc块的过程中作为参考帧使用。

运动补偿预测器232可以产生预测mc块以供块编码器210使用。运动估计器234可以估计被编码的源图像与存储在参考图片高速缓存230中的参考帧（一个或多个）之间的图像运动。其可以选择将被使用的预测模式（例如，单向P-编码或双向B-编码），并产生用于在这样的预测编码中使用的运动向量。该运动向量可以被输出至运动补偿预测器232和信道。作为响应，运动补偿预测器232可以从参考图片高速缓存230获取预测的mc块，并且可以将该预测块输出至块编码器210。可选地，运动补偿预测器232可以在将所获取的mc块输出至块编码器210之前对其执行内插滤波（未示出）。

去块过滤器228的操作可以基于控制参数而改变。在编码器处，控制逻辑器（未示出）可以检查由预测单元产生的编码图像数据，并且可以将编码图像数据与源图像的数据进行比较来确定哪些参数使得编码误差最小。在一个实施例中，该选择处理可以通过对候选参数值进行梯度搜索处理而被增强，以便快速收敛至一组适当参数。一旦适当参数被选择，参数标识符可以被发送至解码器供解码使用。例如，用于图片中的每个mc块或用于较大实体（例如宏块或片段）的去块参数可以被发送。去块参数可以与编码mc块的其他数据（例如，运动向量、量化参数和编码残差）一起被发送。

图9示出了根据本发明的一个实施例的方法300。该方法300可以开始于编码和解码源图片（框310），然后使用与当前去块向量相关联的去块参数对图片执行去块（框320）。在方法300的第一次迭代中，该向量可以被设置为默认值。方法300可以计算与经去块的图片相关联的误差（框330），并将该误差与预定阈值进行比较（框340）。如果误差小于预定阈值，则方法300可以发送编码图片数据和当前去块向量至解码器（框350），并且方法300可以终止于当前图片。

去块参数可以被认为代表具有多个值的N维向量。例如，H.264定义了两个参数，其可以被图像编码中的编码器定义：slice_alpha_c0_offset_div2和slice_beta_offset_div2（在此称作“α”和“β”）。在应用至H.264实施方式时，去块参数可以被认为是二维向量。未来的编码协议可能定义附加类型的去块参数，当在图9的方法300的上下文中考虑时，其可以被表示为3维、4维或更大维度的空间。

当框340的比较确定误差超过阈值时，方法300可以执行针对新的去块向量的多维搜索。具体地，方法300可以在每个维度i上分别增加当前向量（框360）。方法300使用与每个增加后的向量相关联的参数执行已解码图片的去块（框370），并计算原始图片和去块图片之间的误差（框380）。在N维向量空间中，可以存在N个去块图片和从其获得的N个误差值。方法300可以通过将在框330获得的误差值与在框380从每个维度计算获得的误差进行比较来计算梯度值（框390）。方法300可以从梯度产生新的向量（框400）并且执行另一迭代分析，从而返回至框320。

梯度向量可以是N维向量，其中每个维度i的分量可以通过将来自框330的去块误差和从框380获得的维度误差进行比较来获得。例如，对于梯度向量的每个分量G_i，梯度向量G可以如下计算：

G=[G₁,G₂,…,G_N]，其中G_i=err_i-err_DBLK。

方法300还可以如下产生新的去块向量V：

$V_{\mathrm{new}}=V_{\mathrm{old}}-\frac{w*G}{\left|G\right|},$

其中，w表示算法的步长，每个维度分量V_i被舍入为具有整数值。步长w是可编程的值，其通常基于每个维度上去块向量空间的大小来设置。

如果应用至例如H.264实施方式，方法300可以产生梯度向量G为G=[err_α-err_DBLK,err_β-err_DBLK],其中err_α和err_β是通过框380获得的分别在α和β维度上的误差值。该方法300还可以如下产生新的去块向量[α,β]_new：

${[\mathrm{\α},\mathrm{\β}]}_{\mathrm{new}}={[\mathrm{\α},\mathrm{\β}]}_{\mathrm{old}}-\frac{w*G}{\left|G\right|},$

其中，同样，[α,β]_new被舍入为整数值。在实践中，w=1.4的值可以给出满意结果。

在操作过程中，预期图9的梯度搜索方法300可以通过若干次迭代收敛到产生低于阈值的误差的一组去块参数（框340）。方法300的其他实施例提供其他测试以在已经实现可接受的低误差状态之前终止操作。

例如，在编码图片已经被解码（框310）之后，方法300可以计算编码误差并将其与另一阈值进行比较（框410）。如果解码误差小于阈值，则方法300可以使编码图片被发送至解码器而不带去块参数（框420）。这样的测试有利地确定，去块对于实现适当的图像质量是不必要的，因此，执行框320-400的操作所需的处理资源可以被节省。

在另一实施例中，如果在框340确定的误差大于阈值，则方法300进一步可以确定当前迭代和前一迭代之间的误差的变化（示出为“Δerror”）。当第一次迭代被执行时，可以从当前误差值和在框410获得的解码误差值来得出Δerror。另选地，第一次迭代可以省略框420。方法300可以将Δerror值与另一阈值进行比较（框430）。如果Δerror值超过预定阈值，则可能暗示梯度搜索方法的收敛速率未必能够充分改进图像增强以保证进一步执行方法300的质量。在这种情况下，方法300可以前进至框350，并将编码图片的数据和去块向量发送至解码器。

在另一实施例中，在方法300设置了新向量（框400）之后，方法300可以确定新向量是否已经在该方法的某次先前迭代中被使用过（框440）。如果是，则可能表明，进一步执行方法300未必能改进图像增强以超过进行到当前迭代所获得的结果。在这种情况下，方法300可前进至框350，并将编码图片的数据和在框400的操作之前获得的去块向量发送至解码器。

并且，在另一实施例中，如果框320-400的预定迭代次数已经被执行，而没有产生到达框350的足够低的误差，则方法300可以终止。

在许多实施方式中，每个去块参数维度的可能值的范围是有限的。例如，在H.264实施方式中，每个α和β值都必须是具有在-6和6之间的值的整数。在一种实施方式中，如果在特定维度i上增加向量的处理（框360）会导致增加后的值超过合法值（例如，α=7），则增加后的值应被设置为极限值（α=6），并且与相应维度相关联的框370-380的处理可以被省略。在这种情况下，与相应维度相关的error_i值可以被估计为等于在框330获得的误差值。

在另一实施例中，当方法300从误差值计算梯度（框390）时，方法300还可以计算梯度幅值与在框330获得的去块误差的比值，并将该比值与另一阈值进行比较（框450）。如果该比值小于阈值，则方法300可以前进至框350，并将编码图片的数据和在框320使用的去块向量发送至解码器。

在实施过程中，用于在框340、410和430-450中进行比较的阈值可以是能够调节为适合各自需要的可编程的值。阈值可以被设置为静态的预编程值。另选地，它们可以在操作过程中动态改变。例如，阈值可以基于分配给相应图片的编码操作的类型（例如I-、P-或B-编码）而改变，或者可以基于用于对图片编码的量化参数而改变。阈值可以基于控制了编码器处的编码操作的目标比特率预算而改变。此外，阈值可以基于描述视频数据编码所针对的目标解码器（例如，大屏幕设备（膝上型计算机、平板计算机）或小屏幕设备（便携式媒体播放器、智能电话）的数据而改变。

图10示出了对示例性去块矩阵执行的图9的梯度搜索方法的操作。如图所示，去块矩阵是由值α，β索引的二维13×13矩阵。该示例对应于可以用在H.264实施方式中的去块矩阵。由α和β值索引的每个单元位置与解码器可以应用的一组去块参数相关联。在操作过程中，编码器可以发送α和β的标识符，解码器可以用这些标识符来从存储的矩阵中获取去块滤波器参数。

在该方法的第一次迭代中，去块向量510可以设置为默认值，例如，[0,0]。第一次去块操作可以使用与去块向量510相关联的参数来执行。假设从其获得的误差不足以终止该方法，则去块向量可以在每个维度上增加。在二维向量空间中，这导致一对增加后的向量520，530。一对去块操作可以被执行，分别使用与相应的增加后的向量520，530相关联的参数。梯度向量G可以从与这对去块操作相关联的误差值和从原始去块向量510获得的误差值而得出。之后，可以使用从梯度向量G导出的更新的去块向量540执行另一迭代，如果由此获得的误差不足以终止该方法的操作，则可以计算另一对增加后的向量550，560。操作可以继续，产生新的去块向量、增加后的去块向量和梯度向量（未示出），直到到达终止点。

在二维的情况下，图9的方法的操作可以通过下面的处理流程来执行：

编码当前图片。

解码当前图片。

E0←已解码的未去块图片的MSE（当前图片－已解码图片）。

如果E0<t1：

发送：

压缩的图片比特，以及

去块参数（表示未去块）。

在参考图片高速缓存中存储已解码的未去块图片作为未来图片的运动补偿编码中的参考。

结束当前图片的处理。

否则，

设置去块参数向量[A0,B0]=[*,*]以表示未去块

设置去块参数向量[A1,B1]=[0,0]。

建立临时存储器TS0和TS1来保持图片。

TS0←已解码的未去块图片。

PT.1：使用从向量[A1,B1]获得的参数来对已解码图片进行去块

TS1←去块图片。

计算原始和去块图片之间的均方误差E1。

如果E1<te：

发送：

压缩的图片比特，以及

去块参数A1和B1

将TS1存储至参考图片高速缓存。

结束当前图片的处理。

否则，如果E1/E0>ti:

发送：

压缩的图片比特，以及

去块参数A0和B0

将TS0存储至参考图片高速缓存。

结束当前图片的处理。

如果[A1+1,B1]=[A0,B0],设置E2←E0。

否则，设置E2←E1。

如果[A1+1,B1]≠[A0,B0]且A1<6：

使用从向量[A1+1,B1]获得的参数来对已解码图片进行去块

计算原始和去块图片之间的均方误差E2。

如果[A1,B1+1]=[A0,B0],设置E3←E0。

否则，设置E3←E1。

如果[A1,B1+1]≠[A0,B0]且B1<6：

使用从向量[A1,B1+1]获得的参数来对已解码图片进行去块

计算原始和去块图片之间的均方误差E3。

按照G=[E2-E1,E3-E1]来计算梯度向量G。

如果|G|/E1＜ts：

发送：

压缩的图片比特，以及

去块参数A1和B1

将TS1存储至参考图片高速缓存。

结束当前图片的处理。

否则，

设置去块参数向量[A0,B0]=[A1,B1]

设置E0=E1，以及

设置TS0←TS1

将[A1,B1]存储至历史表。

计算新的去块参数向量[A1,B1]←[A1,B1]-w×G/|G|,其中新的A1和B1被舍入为在范围[-6，6]中的整数。

如果[A1,B1]匹配历史表：

发送：

压缩图片比特，以及

去块参数A0和B0

将TS0存储至参考图片高速缓存。

结束当前图片的处理。

否则，执行下一迭代，在PT.1处开始，使用新的向量[A1,B1]。

图11示出了根据本发明的实施例的方法600。该方法600可以开始于编码和解码源图片（框610），然后使用与当前去块向量相关联的去块参数对该图片执行去块（框620）。在方法600的第一次迭代中，向量可以被设置为默认值。方法600可以计算与去块图片相关联的误差（框630），并将该误差与预定阈值进行比较（框640）。如果误差小于预定阈值，则方法600可以发送编码图片数据和当前去块向量至编码器（框650），并且方法600对于当前图片可以终止。

去块向量可以被认为代表具有多个值的N维向量。如图9中实施例所示，当应用于H.264实施方式时，α和β参数可以被认为是二维向量。未来的编码协议可能定义附加类型的去块参数，当在图11的方法600的上下文中考虑时，其可以被表示为3维、4维或更大维度的空间。

当框640的比较确定误差超过阈值时，方法600可以执行针对新的去块向量的多维搜索。具体地，方法600可以根据维度i的主导搜索方向在每个维度i上分别使当前向量前进。方法600可以使用与每个前进的向量相关联的参数执行已解码图片的去块（框670），并计算原始图片和去块图片之间的误差（框680）。在N维向量空间中，可以存在N个去块图片和从其获得的N个误差值。方法600可以通过将在框630获得的误差值与在框680从每个维度计算获得的误差进行比较来计算梯度值（框690）。方法600可以从梯度产生新的向量（框700）并且执行另一迭代分析，从而返回至框620。

梯度向量可以是N维向量，其中每个维度i的分量可以通过将来自框630的去块误差与从框680获得的维度误差进行比较来获得。例如，对于梯度向量的每个分量G_i，梯度向量G可以如下计算：

G=[G₁,G₂,…,G_N]，其中G_i=(err_i-err_DBLK)·DIR_i。

在上述等式中，DIR_i表示相应维度的主导搜索方向，具有值-1或1。

方法600还可以如下产生新的去块向量V：

$V_{\mathrm{new}}=V_{\mathrm{old}}-\frac{w*G}{\left|G\right|},$

其中，w表示算法的步长，每个维度分量V_i被舍入为具有整数值。步长w是可编程的值，其通常基于每个维度上去块向量空间的大小来设置。

如果应用至例如H.264实施方式，方法600可以产生梯度向量G为G=[(err_α-err_DBLK)·DIR_α,(err_β-err_DBLK)·DIR_β],其中err_α和err_β是通过框380获得的分别在α和β维度上的误差值，DIR_α和DIR_β分别表示在α和β维度上的搜索方向指示符。方法600还可以如下产生新的去块向量[α,β]_new：

${[\mathrm{\&alpha;},\mathrm{\&beta;}]}_{\mathrm{new}}={[\mathrm{\&alpha;},\mathrm{\&beta;}]}_{\mathrm{old}}-\frac{w*G}{\left|G\right|},$

其中，同样，[α,β]_new被舍入为整数值。实践中，w=1.4的值可以给出满意结果。

在操作过程中，预期图11的梯度搜索方法600可以通过若干次迭代收敛到产生低于阈值的误差的一组去块参数（框640）。方法600的其他实施例提供其他测试以在已经实现可接受的低误差状态之前终止操作。

例如，在编码图片已经被解码（框610）之后，方法600可以计算解码误差并将其与另一阈值进行比较（框710）。如果解码误差小于阈值，则方法600可以使编码图片被发送至解码器而不带去块参数（框720）。这样的测试有利地确定，去块对于实现适当的图片质量是不必要的，因此，执行框620-700的操作所需的处理资源可以被节省。

在另一实施例中，如果在框640确定的误差大于阈值，则方法600可以确定当前迭代和前一迭代之间的误差的变化（示出为“Δerror”）。当第一次迭代被执行时，可以从当前误差值和在框710获得的解码误差值来得出Δerror。另选地，第一次迭代可以省略框720。方法600可以将Δerror值与另一阈值进行比较（框730）。如果Δerror值超过预定阈值，则可能暗示梯度搜索方法的收敛速率未必能够充分改进图像增强以保证进一步执行方法600的质量。在这种情况下，方法600可以前进至框650，并将编码图片的数据和去块向量发送至解码器。

在另一实施例中，在方法600设置了新向量（框700）之后，方法600可以确定新向量是否已经在该方法的某次先前迭代中被使用过（框740）。如果是，则可能表面，进一步执行方法600未必能改进图像增强以超过进行到当前迭代所获得的结果。在这种情况下，方法600可以前进至框650，并将编码图片的数据和在框700的操作之前获得的去块向量发送至解码器。

并且，在另一实施例中，如果框620-700的预定迭代次数已经被执行，而没有产生到达框650的足够低的误差，则方法600可以终止。

在许多实施方式中，每个去块参数维度的可能值的范围是有限的。例如，在H.264实施方式中，每个α和β值都必须是具有在-6和6之间的值的整数。在一种实施方式中，如果在特定维度i上使向量前进的处理（框660）会导致前进后的值超过合法值（例如，α=-7），则该前进后的值应被设置为极限值（α=-6），并且与相应维度相关联的框670-680的处理可以被省略。在这种情况下，与相应维度相关联的error_i值可以被估计为等于在框630处获得的误差值。

在另一实施例中，当方法600从误差值计算梯度（框690）时，方法600还可以计算梯度幅值与在框630获得的去块误差的比值，并将该比值与另一阈值进行比较（框750）。如果该比值小于阈值，则方法600可以前进至框650，并将编码图片的数据和在框620使用的去块向量发送至解码器。

在实施过程中，用于在框640、710和730-750中进行比较的阈值可以是能够调节为适合各自需要的可编程的值。阈值可以被设置为静态的预编程值。另选地，它们可以在操作过程中动态改变。例如，阈值可以基于分配给相应图片的编码操作的类型（例如I-、P-或B-编码）而改变，或者可以基于用于对图片编码的量化参数而改变。阈值可以基于控制了编码器处的编码操作的目标比特率预算而改变。此外，阈值可以基于描述视频数据编码所针对的目标解码器（例如，大屏幕设备（膝上型计算机、平板计算机）或小屏幕设备（便携式媒体播放器、智能电话）的数据而改变。

图12示出了对示例性去块矩阵执行的图11的梯度搜索方法的操作。如图所示，去块矩阵是由值α，β索引的二维13×13矩阵。该示例对应于可以用在H.264实施方式中的去块矩阵。由α和β值索引的每个单元位置与解码器可以应用的一组去块参数相关联。在操作过程中，编码器可以发送α和β的标识符，解码器可以用这些标识符来从存储的矩阵中获取去块滤波器参数。

在该方法的第一次迭代中，去块向量810可以设置为默认值，例如，[0,0]。第一次去块操作可以使用与去块向量810相关联的参数来执行。假设从其获得的误差不足以终止该方法，则去块向量可以根据默认方向在每个维度上前进。在二维向量空间中，这导致一对增加后的向量820，830。一对去块操作可以被执行，分别使用与相应的增加后的向量820，830相关联的参数。梯度向量G可以从与这对去块操作相关联的误差值和从原始去块向量810获得的误差值而得出。之后，可以使用从梯度向量G导出的更新的去块向量840执行另一迭代，如果由此获得的误差不足以终止该方法的操作，则可以计算另一对前进的向量850，860。在第二次迭代中，维度向量850，860可以在与第一次迭代的梯度向量G的负数相对应的方向上前进。操作可以继续，产生新的去块向量、增加后的去块向量和梯度向量（未示出），直到到达终止点。

在二维的情况下，图11的方法的操作可以通过下面的处理流程来执行：

编码当前图片。

解码当前图片。

E0←已解码的未去块图片的MSE（当前图片－已解码图片）。

如果E0<t1：

发送：

压缩的图片比特，以及

去块参数（表示未去块）。

在参考图片高速缓存中存储已解码的未去块图片作为未来图片的运动补偿编码中的参考。

结束当前图片的处理。

否则，

设置去块参数向量[A0,B0]=[*,*]以表示未去块

设置去块参数向量[A1,B1]=[0,0]。

建立临时存储器TS0和TS1来保持图片。

TS0←已解码的未去块图片。

PT.1：使用从向量[A1,B1]获得的参数来对已解码图片进行去块

TS1←去块图片。

计算原始和去块图片之间的均方误差E1。

如果E1<te：

发送：

压缩的图片比特，以及

去块参数A1和B1

将TS1存储至参考图片高速缓存。

结束当前图片的处理。

否则，如果E1/E0>ti:

发送：

压缩的图片比特，以及

去块参数A0和B0

将TS0存储至参考图片高速缓存。

结束当前图片的处理。

如果[A1+GA,B1]=[A0,B0],设置E2←E0。

否则，设置E2←E1。

如果[A1+GA,B1]≠[A0,B0]且|A1+GA|≤6：

使用从向量[A1+GA,B1]获得的参数来对已解码图片进行去块

计算原始和去块图片之间的均方误差E2。

如果[A1,B1+GB]=[A0,B0],设置E3←E0。

否则，设置E3←E1。

如果[A1,B1+GB]≠[A0,B0]且|B1+GB|≤6：

使用从向量[A1,B1+GB]获得的参数来对已解码图片进行去块

计算原始和去块图片之间的均方误差E3。

按照G=[(E2-E1)×GA,(E3-E1)×GB]来计算梯度向量G。

如果|G|/E1＜ts：

发送：

压缩的图片比特，以及

去块参数A1和B1

将TS1存储至参考图片高速缓存。

结束当前图片的处理。

否则，

设置去块参数向量[A0,B0]=[A1,B1]

设置E0=E1，以及

设置TS0←TS1

如果|E1-E2|>ta，则设置GA=sign((E1-E2)×GA)

如果|E1-E3|>tb，则设置GB=sign((E1-E3)×GB)

将[A1,B1]存储至历史表。

计算新的去块参数向量[A1,B1]←[A1,B1]-w×G/|G|,其中新的A1和B1被舍入为在范围[-6，6]中的整数。

如果[A1,B1]匹配历史表：

发送：

压缩图片比特，以及

去块参数A0和B0

将TS0存储至参考图片高速缓存。

结束当前图片的处理。

否则，执行下一迭代，在PT.1处开始，使用新的向量[A1,B1]。

在上述方法中，值w表示在去块矩阵中计算梯度向量G的过程中要使用的步长。如上所述，步长w可以被设置为预定值，例如，1.4。在另一实施例中，步长w可以被动态设置。例如，步长w可以被设置为较大的值（例如3.5），并且可以在方法的操作过程中被调细。在这样的实施例中，步长w可以基于缩放因子根据w=a*w（其中a<1）或w=w-a而减小。此外，步长w的减小可以基于去块滤波器执行中的可观察到的误差来动态设置。当每个新的去块操作（上面的框320或620）被执行时，可以在本次迭代的去块误差和前次迭代的去块误差之间进行比较。如果误差值的比值低于预定阈值（例如，|e_i+1/e_i|＞th），则与比值超过阈值的情况相比，可以更激进地修改步长。

在上述实施例中，方法300和600将第一次迭代的去块向量初始化为去块矩阵的中心（例如，[0,0]）。其他实施例可以将去块向量初始化为其他值以加速收敛。例如，在一个实施例中，去块向量可以初始地设置为在对先前图片执行该方法的过程中最终获得的向量。另选地，去块向量可以初始地设置为在处理相同编码类型的先前图片的过程中最终获得的向量（例如，在对B图片操作时为先前的B图片，或在对P图片操作时为先前的P图片）。在另一实施例中，初始去块向量可以被设置为在与正被处理的图片呈现类似的运动向量或引用共同的参考图片的先前图片的处理过程中获得的向量值。另选地，去块向量可以初始地设置为从呈现出共同的编码参数（诸如量化参数、像素纵横比、编码速率、噪声等级或图像复杂度）的其他图片的处理过程中获得的值。

本发明的原理可利用各种类型的误差计算来应用。例如，在框330和380（图9）或在框630和680（图11）中执行的误差计算可以通过计算所涉及的图片之间的均方误差来计算，其具有

的形式，其中p1，p2表示来自一对帧的像素，而i，j表示图片中的像素位置。误差值可以是能够与阈值进行比较的标量值。

在另一实施例中，误差计算可以根据具有

形式的加权均方误差计算来进行，其中d_i,j表示相应像素与最近的解码块之间边界的距离。这样的实施例可以将相对较高的权重分配给在分块伪影往往最明显的块边界处发生的误差。

在其他实施例中，误差计算可以对与块边界的边缘相隔预定距离以内并在数学上呈现共同符号的每个像素的误差求和。每个像素的误差可以根据与边缘的距离被加权。结果可以被平方并在图片上平均。在该实施例中，误差计算不仅将较大的权重分配给靠近块边缘的像素，而且还可以将较大的权重赋予沿边缘的共同误差。具有共同符号的误差往往比随机噪声误差更可见。

在另一实施例中，代替使用均方误差准则，误差计算可以使用主观考虑有意义误差的误差模型来进行。例如，对于原始和编码视频之间不明显的失真，误差计算可以计算最小观看距离（“MVD”）。这个度量也被称作零恰可察觉失真（Just Noticeable Distortion,“JND”）的最小观看距离。在该实施例中，JND值可以如在题目为“Quality Metrics for Coded Video Using Just Noticeable DifferenceModels”、序列号为12/415,340的共同未决申请中公开的那样进行计算。在框340（图9）或框640（图11）中，如果计算出的MVD小于预定阈值，则该方法可以分别前进至框350或650。

在上面的讨论中，误差计算已经被讨论作为确定源图片与经解码且去块的图片之间的误差。在另一实施例中，误差计算可以使用经滤波的源图片来进行，而不使用未滤波的源图片。以该方式，前述方法将在每个图片（或图片一部分）上计算经滤波的未编码当前mc块与经去块的编码当前mc块之间的误差。用于滤波未编码当前mc块的滤波器不需要被标准化或通知解码器。它们可以适合于诸如上面提及的那些参数或解码器未知的其他参数，例如输入视频中的噪声水平。它们可以强调高空间频率，从而给出附加的加权以使边缘锐利。

图13是根据本发明的实施例的解码器900的简化框图。解码器900可以包括可变长度解码器910、逆量化器920、逆变换单元930、加法器940、帧缓冲器950以及去块滤波器960。解码器900还可包括预测单元，其包括参考图片高速缓存970和运动补偿预测器980。

可变长度解码器910可以解码从信道缓冲器接收的数据。可变长度解码器910可以将编码系数数据发送至逆量化器920，将运动向量发送至运动补偿预测器980，以及将去块向量数据发送至去块滤波器960。逆量化器920可以将从逆可变长度解码器910接收的系数数据与量化参数相乘。逆变换单元930可以将从逆量化器920接收的反量化系数数据变换为像素数据。逆变换单元930，顾名思义，可以执行由编码器的变换单元执行的变换操作（例如，DCT或小波变换）的逆操作。加法器940可以逐像素地将由逆变换单元930获得的像素残差数据与从运动补偿预测器980获得的预测像素数据相加。加法器940可以输出恢复的mc块数据，从该mc块数据可以构建恢复的帧，并呈现在显示设备（未示出）上。帧缓冲器950可以积累解码的mc块并从其构建重建帧。去块滤波器960可以根据被信道识别的滤波参数对恢复的帧数据执行去块滤波操作。

运动补偿预测可以经由参考图片高速缓存970和运动补偿预测器980发生。参考图片高速缓存970可以存储由去块滤波器960输出的针对被识别为参考帧的帧（例如，经解码的I-或P-帧）的恢复图像数据。运动补偿预测器980可以响应于从信道接收的mc块运动向量数据，从参考图片高速缓存970获取参考mc块（一个或多个）。运动补偿预测器可以将参考mc块输出至加法器940。

上述讨论标识出了可以用在根据本发明的各个实施例构建的视频编码***中的功能块。实践中，这些***可以被应用在各种设备中，诸如设置有集成摄像头的移动设备（例如有相机功能的电话、娱乐***和计算机），和/或有线通信***，诸如视频会议设备和有相机功能的桌上型计算机。在一些应用中，上面所述的功能块可以作为集成软件***的元件被提供，在该软件***中，这些功能块可以作为计算机程序的分开的元件被提供。在其它应用中，这些功能块可以作为处理***的分立电路部件被提供，诸如数字信号处理器或专用集成电路中的功能单元。本发明的一些其他应用可以被实施为专用硬件和软件部件的混合***。此外，在此所述的功能块不需要作为分开的单元被提供。例如，尽管图8将基于块的编码链210和预测单元220的部件示出为分开的单元，但是在一个或多个实施例中，这些部件中的一些或所有可以被集成，并且它们不需要是分开的单元。这样的实施细节对于本发明的操作是无关紧要的，除非上文有相反说明。

在此具体示出和/或描述了本发明的一些实施例。然而，应该理解，在不背离本发明的精神和范围的情况下，本发明的修改和变型被上述教导所覆盖，并且在权利要求的范围内。

Claims (32)

1.一种为编码视频确定去块参数的方法，迭代地包括：

根据去块向量执行解码图片的去块；

从已去块的解码图片估计去块误差；

对于多个向量维度中的每一个，如果所估计的误差超过预定阈值，则：

在相应维度上使去块向量前进；

根据前进后的维度对解码图片进行去块；以及

从根据前进后的维度去块的解码图片估计去块误差；

根据从所述多个向量维度的所估计的去块误差得出的梯度，修改用于下一次迭代的去块向量。

2.根据权利要求1所述的方法，还包括：如果所估计的误差不超过所述阈值，则将编码图片数据和去块向量的标识符发送至解码器。

3.根据权利要求1所述的方法，还包括：重复所述方法直到去块误差小于预定阈值。

4.根据权利要求1所述的方法，在所述方法的第二次迭代中还包括：

估计第一次迭代和第二次迭代之间所估计的误差的变化率；

如果变化率小于第二阈值，则将编码图片数据和去块向量的标识符发送至解码器。

5.根据权利要求1所述的方法，还包括：如果所述梯度的幅值小于第二阈值，则将编码图片数据和去块向量的标识符发送至解码器。

6.根据权利要求1所述的方法，在所述方法的后续迭代中还包括：

确定修改后的去块向量是否与在所述方法的先前迭代中使用的去块向量匹配，

如果匹配，则将编码图片数据和去块向量的标识符发送至解码器。

7.根据权利要求1所述的方法，其中所述前进包括在相应维度上增加去块向量。

8.根据权利要求1所述的方法，其中所述前进包括：在由先前迭代的梯度确定的方向上在相应维度上调节去块向量。

9.根据权利要求1所述的方法，其中第一次迭代的去块向量被设置为默认值。

10.根据权利要求1所述的方法，其中第一次迭代的去块向量被设置为通过对先前图片执行所述方法获得的最终去块向量值。

11.根据权利要求1所述的方法，其中第一次迭代的去块向量被设置为通过对与当前图片具有共同编码分配的先前图片执行所述方法获得的最终去块向量值。

12.根据权利要求1所述的方法，其中第一次迭代的去块向量被设置为通过对与当前图片具有类似运动特性的先前图片执行所述方法获得的最终去块向量值。

13.根据权利要求1所述的方法，其中已去块图片的所估计的误差由已去块的解码图片与未滤波的源图片数据的比较来确定。

14.根据权利要求1所述的方法，其中已去块图片的所估计的误差由已去块的解码图片与已滤波的源图片数据的比较来确定。

15.一种视频编码方法，包括：

通过运动补偿对源图片的块进行编码；

解码参考图片的块，所述解码包括：

通过迭代的基于梯度的搜索处理，估计去块滤波操作的参数；以及

根据最终估计的去块参数，对已解码的参考图片进行去块滤波；

在参考图片存储器中存储已去块的图片；以及

发送编码图片的数据和最终估计的去块参数至信道。

16.根据权利要求15所述的方法，其中所述搜索处理迭代地包括：

根据去块向量执行解码图片的去块；

从已去块的解码图片估计去块误差；

对于多个向量维度中的每一个，如果所估计的误差超过预定阈值，则：

在相应维度上使去块向量前进；

根据前进后的维度对解码图片进行去块；以及

从根据前进后的维度去块的解码图片估计去块误差；

根据从所述多个向量维度的所估计的去块误差得出的梯度，修改用于下一次迭代的去块向量。

17.根据权利要求16所述的方法，还包括：如果所估计的误差不超过所述阈值，则将编码图片数据和去块向量的标识符发送至解码器。

18.根据权利要求16所述的方法，还包括：重复所述方法直到去块误差小于预定阈值。

19.根据权利要求16所述的方法，在所述方法的第二次迭代中还包括：

估计第一次迭代和第二次迭代之间所估计的误差的变化率；

如果变化率小于第二阈值，则将编码图片数据和去块向量的标识符发送至解码器。

20.根据权利要求16所述的方法，还包括：如果所述梯度的幅值小于第二阈值，则将编码图片数据和去块向量的标识符发送至解码器。

21.根据权利要求16所述的方法，在所述方法的后续迭代中还包括：

确定修改后的去块向量是否与在所述方法的先前迭代中使用的去块向量匹配，

如果匹配，则将编码图片数据和去块向量的标识符发送至解码器。

22.根据权利要求16所述的方法，其中所述前进包括在相应维度上增加去块向量。

23.根据权利要求16所述的方法，其中所述前进包括：在由先前迭代的梯度确定的方向上在相应维度上调节去块向量。

24.根据权利要求16所述的方法，其中第一次迭代的去块向量被设置为默认值。

25.根据权利要求16所述的方法，其中第一次迭代的去块向量被设置为通过对先前图片执行所述方法获得的最终去块向量值。

26.根据权利要求16所述的方法，其中第一次迭代的去块向量被设置为通过对与当前图片具有共同编码分配的先前图片执行所述方法获得的最终去块向量值。

27.根据权利要求16所述的方法，其中第一次迭代的去块向量被设置为通过对与当前图片具有类似运动特性的先前图片执行所述方法获得的最终去块向量值。

28.根据权利要求16所述的方法，其中已去块图片的所估计的误差由已去块的解码图片与未滤波的源图片数据的比较来确定。

29.根据权利要求16所述的方法，其中已去块图片的所估计的误差由已去块的解码图片与已滤波的源图片数据的比较来确定。

30.一种视频编码器，包括：

基于块的编码器，具有用于源图片和预测块的输入端；

预测单元，耦接至基于块的编码器，包括：

基于块的解码器，用于对参考图片的编码块进行解码，所述基于块的解码器包括去块滤波器和用于通过迭代的基于梯度的搜索处理来估计去块参数的控制逻辑器；以及

用于已去块图片的参考图片存储器；以及

发送缓冲器，用于存储编码图片的数据和最终估计的去块参数。

31.根据权利要求30所述的编码器，其中控制逻辑器迭代地进行以下操作：

根据去块向量执行解码图片的去块；

从已去块的解码图片估计去块误差；

对于多个向量维度中的每一个，如果所估计的误差超过预定阈值，则：

在相应维度上使去块向量前进；

根据前进后的维度对解码图片进行去块；以及

从根据前进后的维度去块的解码图片估计去块误差；

根据从所述多个向量维度的所估计的去块误差得出的梯度，修改用于下一次迭代的去块向量。

32.一种视频解码器，包括：

基于块的解码器，具有用于编码的图片数据和预测的块数据的输入端；

预测单元，耦接至基于块的解码器，以响应于在信道中接收的运动向量数据来预测块数据；以及

去块滤波器，接收来自所述基于块的解码器的恢复的块数据，并且响应于在所述信道中接收的去块向量，使用由所述去块向量识别的参数来执行去块，所述去块向量已经通过迭代的基于梯度的搜索处理而产生。

Images