CN1489391A - 用于视频编码的新型空间预测方法及其装置 - Google Patents

Abstract

一种用于视频编码的新型空间预测方法及其装置，对码流编码时，把预测图像变换到频域作频域量化后再作为预测图像；解码时对预测图像作频域量化，然后补偿到解码出的残差图像上。该装置至少设有编码模块和解码模块；编码模块设有预测模块、计算残差系数模块、扫描模块和熵编码模块；解码模块设有：熵解码模块、补偿模块、反量化模块、反变换模块和变换量化模块。本发明克服了基于多方向空间预测的视频编码方法在应用于连续I帧编码时，产生闪烁现象的缺陷，提高了多方向空间预测的视频编码方法的编码效率；提供了抗闪烁的连续I帧编码方案，和基于模式的残差系数扫描方案，还进一步保证了编码效率；提供了实现上述方法的具体***结构。

Description

用于视频编码的新型空间预测方法及其装置

技术领域：

本发明涉及一种用于视频编码的新型空间预测方法及其装置，具体是指一种基于JVT标准的视频编解码技术中，对于全帧内(I帧)编码视频流所产生的闪烁进行消除补偿，并进一步提高编解码效率的新型空间预测方法及其实现该方法的装置；属于数字视频处理技术领域。

背景技术：

高效的视频编解码技术是实现多媒体数据存储与传输的关键，而先进的视频编解码技术通常以标准的形式存在。目前典型的视频压缩标准有国际标准化组织(ISO)下设的运动图像专家组(Moving Picture ExpertGroup，简称MPEG)推出的MPEG系列国际标准；国际电信联盟(ITU)提出的H.26x系列视频压缩标准，以及ISO和ITU建立的联合视频工作组(Joint Video Team，简称JVT)正在制定的JVT视频编码标准等。JVT标准采用的是一种新型的编码技术，它比现存的任何一种编码标准的压缩效率都要高的多。JVT标准在ISO中的正式名称是MPEG-4标准的第十部分，在ITU中的正式名称是H.264标准。

视频编码过程就是对视频序列的每一帧图像进行编码的过程。JVT视频编码标准中，每一帧图像的编码以宏块为基本单元。在编码每一帧图像时，又可以分为帧内(I帧)编码、预测(P帧)编码和双向预测(B帧)编码等情况。I帧编码的特点是在编解码时不需要参考其它帧。一般来说：编码时，I帧、P帧和B帧编码是穿插进行的，例如：按照IBBPBBP的顺序进行。但是，对于一些特殊的应用，例如：要求低运算复杂度、低存储容量或要求实时压缩等应用，可以只使用I帧进行编码。此外，全I帧编码的视频还具有便于编辑的特点。在I帧编码中，宏块内的冗余是通过正交变换消除的，如离散余弦变换(DCT)、小波变换等。而传统的视频编码算法在消除宏块间的冗余时，通常采用正交变换的系数域上的预测方法。然而，这种预测只能在直流分量上进行，因此效率不高。

在I帧编码中，采用多方向的空间预测是目前研究的主流，并获得了很好的效果。帧内的空间预测是指：在进行I帧编码和解码时，首先按一定模式，由(解码端可以获得的)帧内的信息(比如：相邻的已经重构的块)生成当前块的预测；然后，用实际要编码的块减去预测出来的块，得到残差，再对残差进行编码。

多方向的空间预测技术在视频编码中得到了很好的应用。JVT视频编码标准就采用了这种技术。然而，现有的多方向空间预测技术还存在两个主要的缺点：其一是现有的技术应用于连续I帧编码时会产生严重的闪烁现象，影响视觉效果；另一个是：多方向空间预测改变了残差图像在系数域上的概率分布，而现有的方法仍然采用固定的变换系数zigzag扫描顺序，参见图4，该zigzag扫描指的是在视频编码方案中，对变换量化后的块的系数的编码顺序，该顺序对编码效率有很大的影响。目前的编码***(jpeg，mpeg等)中，对于相同大小的块，普遍采用了这种固定的扫描顺序，因此编码效率没有达到最优。JVT是目前正在制定当中的一种高效的视频编码标准。它首先由ITU(国际电信联盟，InternationalTelecommunications Union)制定，进而被ISO/IEC国际标准组织采纳，作为ISO/IEC 14496(MPEG4)的第十部分。

但是，采用JVT做全I帧编码时，重构图像在回放时会有闪烁的现象。经过分析和验证，认为主要是由于编码时块大小可变和帧内预测的相对随机性引起的。

块大小可变指的是：一个被编码的宏块，可以按编码模式细分成更小的子块。分割模式不同，则分成的子块的大小也不同。块大小可变引起闪烁，主要的原因是：前一帧和后一帧的相同位置并且内容基本没有变化的块，编码时采用了不同的分割方式，导致重构结果有很大的不同。这部分通过适当修改编码器的编码策略就可以避免，而不需要修改解码器。参见图1，其为对JVT中宏块细分为各种细块的示意图。

普通编码方案一般只有帧间预测，用于消除时间上的冗余，空间上的冗余则由各种变换来消除。JVT则提出了帧内预测，与变换编码一起用于消除空间上的冗余，进而大大提高了编码效率。具体有Intra4×4模式和Intra16×16模式等两种(Intra4×4模式和Intra16×16模式是两种宏块的划分模式，Intra4×4模式下有9种预测模式，Intra16×16下有4种预测模式)。参见图2，在Intra4×4模式下，将对一个宏块里的每一个子块进行帧内的预测。每个4×4的小块的中像素将通过邻块中已经解码的17个像素进行预测。

参见图3，帧内的预测模式分为9种(模式0到模式8)，其中模式2即为MPEG-4标准中的DC预测。

在Intra16×16模式中，假设要被预测的块的像素用P(x，y)表示，

其中，x，y＝0...15，

被预测块左临界块像素P(-1，y)，y＝0..15，

被预测块上临界块像素P(x，-1)，x＝0..15。

定义4种预测模式，分别为：垂直预测、水平预测、DC预测和平面预测。色度块的预测模式也有四种，与亮度块基本类似。

帧内预测的相对随机性是指：由于用来生成预测的帧内的信息的不同以及预测模式的不同，前后两帧的相同位置并且内容基本没有变化的块，他们的预测值一般来说却不相同。对于没有帧内预测的***进行连续I帧编码时，前后两对应块的细小差别会被变换域的量化操作去除掉。对英德宏块越相似，这一差别被去掉的概率也越大。如果两块完全相同，则重构图像也完全相同。然而对于有帧内预测的***来说，重构图像由两部分相加构成：预测图像和重构的残差图像。重构的残差由于频率域的量化过程，它的频域系数满足量化步长的整数倍；而预测图像由于没有这一过程，它的频域系数刚好满足量化步长的整数倍的可能性很小，实际上如果用它的频域系数除以量化步长，得到的系数的小数部分可以认为是0-1之间的随机数(在量化步长不是很大的时候)，即等于0-1之间(包括0)任何数的概率是相等的。

由于重构图像由这样的两部分构成，所以用它的频域系数除以量化步长得到的系数的小数部分也同样可以认为是0-1之间的随机数。对于像素值比较接近的前后两对应块来说，由于重构图像在频域上的相对随机性，与没有帧内预测的***不同，它们的重构图像的相似程度与它们本身的相似程度的关系并不十分密切。即使它们本身完全相同，重构图像完全相同的概率也很小。

参见图5、6，现有的编码过程为：重构图像在模式选择模块的控制下，由预测模块处理，输出预测图像，该预测图像和当前编码图像经过计算残差系数模块的处理后，再经过扫描模块和熵编码的处理，最终输出编码码流。

参见图7，现有技术中多方向空间预测编码***解码部分的信号流程为：被解码的码流经过熵解码、反量化以及反变换后再经过预测图像的补偿后作为视频流输出。

上述的编/解码过程无法克服基于多方向空间预测的视频编码方法在应用于连续I帧编码时产生的闪烁现象，由于采用固定的扫描方式，无法提高多方向空间预测的视频编码方法的编码效率。

发明内容

本发明的主要目的是提供一种用于视频编码的新型空间预测方法，克服基于多方向空间预测的视频编码方法在应用于连续I帧编码时产生闪烁现象的缺陷，以及提高多方向空间预测的视频编码方法的编码效率，为基于多方向空间预测的视频编码技术提供抗闪烁的连续I帧编码方案和基于模式的残差系数扫描方案，在减轻闪烁现象的同时，保证编码效率。

本发明的另一目的是提供一种用于视频编码的新型空间预测方法，以JVT标准作为实施案例，为JVT标准提供解决连续I帧编码闪烁问题并提高编码效率的具体技术手段。

本发明的又一目的是提供一种用于视频编码的新型空间预测装置，提供实现上述方法的具体装置。

本发明的目的是通过如下的技术方案实现的：

一种用于视频编码的新型空间预测方法，在对码流编码时，用与处理残差图像时采用的变换方法把预测图像也变换到频域，并用相同的量化系数作量化，然后再作为预测图像；解码时对该预测图像采用与编码时相同的处理方法对预测图像作频域量化，然后补偿到解码出的残差图像上。

所述的编码过程具体为：

步骤100：根据选定的预测模式，由当前编码块的临近块的解码图像生成预测图像；

步骤101：把预测图像变换到频域；

步骤102：量化预测图像的频域系数，其中，量化系数与处理残差图像时采用的量化系数相同；且设量化后的频域系数的矩阵满足如下的公式：

    Z＝Q(Y)＝(Y×Quant(Qp)+Qconst(Qp))＞＞Q_bit(Qp)

其中，

Z为量化后的频域系数矩阵，

Y为频域系数矩阵，

Qp为量化参数，

Quant(Qp)、Qconst(Qp)、Q_bit(Qp)为由JVT定义的量化时的函数；

步骤103：依据如下的公式对步骤102获得的频域系数的矩阵进行反量化；

    W＝DQ(Z)＝(Z×DQuant(Qp)+DQconst(Qp))＞＞Q_per(Qp)

    DQuant(Qp)×DQconst(Qp)≈2^{Q_per(Qp)×Q_bit(Qp)}

其中，

W为反量化后的频域系数矩阵，

Z为量化后反量化前的频域系数矩阵，

Qp为量化参数，

DQuant(Qp)、DQconst(Qp)、Q_bit(Qp)、Q_per(Qp)为由JVT定义的量化时的函数；

步骤104：根据步骤100-103的方法，将被编码的当前块变换到频域，得到频域图像；

步骤105：频域图像减去反量化后的频域系数矩阵直接得到频域残差图像；

步骤106：量化频域残差图像得到量化后的频域残差系数，公式同步骤102；

步骤107：对频域残差系数做系数扫描，熵编码得到码流；

步骤108：按照如下的公式，把频域系数矩阵补偿到频域残差系数上；

C＝C+Z；

其中，

C为频域残差系数，

Z为频域系数矩阵；

步骤109：用JVT的公式反量化频域残差系数；

步骤110：按照块的大小和模式反变换频域残差系数，得到初步的重构图像；

步骤111：对重构图像做去除块效应的滤波，得到当前块的输出图像。

在上述的编码之前，还进一步包括基于预测模式决定扫描顺序的处理，具体的过程为：分别统计每种模式下残差图像每个频率的系数非0的概率，按照该概率的值，从大到小的顺序生成扫描顺序表，用以代替单一的zigzag扫描表。该zigzag扫描指的是在视频编码方案中，对变换量化后的块的系数的编码顺序，该顺序对编码效率有很大的影响。参见图4，目前的编码***(jpeg，mpeg等)中，对于相同大小的块，普遍采用了固定的扫描顺序。

在编码扫描时，根据选定的模式顺序查阅扫描顺序表，并按查得的位置的顺序对残差系数进行扫描。

所述的解码过程为：

步骤200：通过熵解码得到预测模式和频域残差系数；

步骤201：根据熵解码得到的预测模式；由当前解码块的临近块的解码图像生成预测图像；

步骤202：把预测图像变换到频域；

步骤203：量化预测图像的频域系数，得到频域系数矩阵；

步骤204：按照如下的公式，把频域系数矩阵补偿到频域残差系数上，

C＝C+Z

其中，

C为频域残差系数，

Z为频域系数矩阵；

步骤205：反量化频域残差系数；

步骤206：按照块大小和模式，反变换频域残差系数得到初步的重构图像；

步骤207：对重构图像做去除块效应的滤波，得到当前块的输出图像。

所述的解码过程还可以为：

步骤210：通过熵解码得到预测模式和频域残差系数；

步骤211：根据熵解码得到的预测模式；由当前解码块的临近块的解码图像生成预测图像；

步骤212：把预测图像变换到频域；

步骤213：量化预测图像的频域系数，得到频域系数的矩阵；

步骤214：分别反量化频域系数和频域残差系数；

步骤215：把经过反量化的频域系数矩阵补偿到经过反量化的频域残差系数上；

步骤216：按照块大小和模式，反变换频域残差系数得到初步的重构图像；

步骤217：对重构图像做去除块效应的滤波，得到当前块的输出图像。

所述的解码过程又可以为：

步骤220：通过熵解码得到预测模式和频域残差系数；

步骤221：根据熵解码得到的预测模式；由当前解码块的临近块的解码图像生成预测图像；

步骤222：把预测图像变换到频域；

步骤223：量化预测图像的频域系数，得到频域系数的矩阵；

步骤224：分别反量化频域系数和频域残差系数；

步骤225：分别按照块大小和模式，反变换频域系数和频域残差系数；

步骤226：把经过反量化和反变换的频域系数矩阵补偿到频域残差系数上，得到初步的重构图像；

步骤227：对重构图像做去除块效应的滤波，得到当前块的输出图像。

在上述的解码扫描时，根据选定的模式顺序查阅扫描顺序表，并按查得的位置的顺序对残差系数进行扫描。

一种用于视频编码的新型空间预测装置，它至少包括编码模块和解码模块；其中，

该编码模块至少设有：预测模块、计算残差系数模块、扫描模块和熵编码模块；该预测模块将输入的重构图像进行处理，得到预测图像，该预测图像经过计算残差系数模块处理后对当前编码图像进行补偿，然后，该补偿后的码流经过扫描模块处理后，再由熵编码模块进行编码输出；

该解码模块至少设有：熵解码模块、补偿模块、反量化模块、反变换模块和变换量化模块；依次对输入的码流信号进行熵解码、反量化和反变换；变换量化模块对预测图像进行处理，获得解码过程中的补偿信息。

该编码模块和/或解码模块中还设有基于预测模式决定扫描顺序的模式选择模块，用于控制预测模块和扫描模块中的方式选择，提高编码和/或解码效率；该扫描模块分别统计每种模式下残差图像每个频率的系数非0的概率，并按照该概率的值，从大到小的顺序生成扫描顺序表，用以代替单一的zigzag扫描表。

所述的编码具体为：

预测模块根据模式选择模块选定的预测模式，由当前编码块的临近块的解码图像生成预测图像；

计算残差系数模块把预测图像变换到频域，并量化预测图像的频域系数，其中，量化系数与处理残差图像时采用的量化系数相同；且量化后的频域系数的矩阵满足如下的公式：

Z＝Q(Y)＝(Y×Quant(Qp)+Qconst(Qp))＞＞Q_bit(Qp)

其中，

Z为量化后的频域系数矩阵；

Y为频域系数矩阵；

Qp为量化参数

Quant(Qp)、Qconst(Qp)、Q_bit(Qp)为由JVT定义的量化时的函数；

计算残差系数模块依据如下的公式对获得的频域系数的矩阵进行反量化；

W＝DQ(Z)＝(Z×DQuant(Qp)+DQconst(Qp))＞＞Q_per(Qp)

DQuant(Qp)×DQconst(Qp)≈2^{Q_per(Qp)×Q_bit(Qp)}

其中，

W为反量化后的频域系数矩阵，

Z为量化后反量化前的频域系数矩阵，

Qp为量化参数，

DQuant(Qp)、DQconst(Qp)、Q_bit(Qp)、Q_per(Qp)为由JVT定义的量化时的函数；

计算残差系数模块采用上述的方法将被编码的当前块变换到频域，得到频域图像；并进一步减去频域系数矩阵直接得到频域残差图像；再对频域残差图像进行量化，得到量化后的频域残差系数；

扫描模块对频域残差系数做系数扫描；该熵编码模块对扫描后的信息进行编码得到码流；

补偿模块按照如下的公式，把频域系数矩阵补偿到频域残差系数上；

C＝C+Z，

其中，

C为频域残差系数；

Z为频域系数矩阵；

反量化模块根据JVT的公式对频域残差系数反量化；反变换模块按照块的大小和模式对频域残差系数反变换，得到初步的重构图像；滤波模块对重构图像做去除块效应的滤波，得到当前块的输出图像。

所述的解码具体为：

熵解码模块对输入的码流进行解码得到预测模式和频域残差系数；然后根据熵解码得到的预测模式；由当前解码块的临近块的解码图像生成预测图像；

变换量化模块把预测图像变换到频域，并且量化预测图像的频域系数，得到频域系数矩阵；

补偿模块按照如下的公式，把频域系数矩阵补偿到频域残差系数上，

C＝C+Z

其中，

C为频域残差系数；

Z为频域系数矩阵；

反量化模块对频域残差系数进行反量化处理；

反变换模块按照块的大小和模式，对频域残差系数进行反变换，得到初步的重构图像；最后滤波模块对重构图像做去除块效应的滤波，得到当前块的输出图像。

所述的解码具体还可以为：

熵解码模块对输入的码流进行解码得到预测模式和频域残差系数；然后根据熵解码得到的预测模式；由当前解码块的临近块的解码图像生成预测图像；

变换量化模块把预测图像变换到频域，并且量化预测图像的频域系数，得到频域系数矩阵；

分别位于熵解码模块和变换量化模块之后的反量化模块，分别反量化频域系数和频域残差系数；

补偿模块把经过反量化的频域系数矩阵补偿到经过反量化的频域残差系数上；

反变换模块按照块的大小和模式，反变换频域残差系数得到初步的重构图像；最后，对重构图像做去除块效应的滤波，得到当前块的输出图像。

所述的解码具体又可以为：

熵解码模块对输入的码流进行解码得到预测模式和频域残差系数；然后根据熵解码得到的预测模式；由当前解码块的临近块的解码图像生成预测图像；

变换量化模块把预测图像变换到频域，并且量化预测图像的频域系数，得到频域系数矩阵；

分别位于熵解码模块和变换量化模块之后的反量化模块，分别反量化频域系数和频域残差系数；

位于反量化模块之后的反变换模块分别按照块大小和模式，反变换频域系数和频域残差系数；

补偿模块把经过反量化和反变换的频域系数矩阵补偿到频域残差系数上，得到初步的重构图像；最后，对重构图像做去除块效应的滤波，得到当前块的输出图像。

解码模块在解码时，还根据选定的模式顺序查阅扫描顺序表，并按查得的位置的顺序对残差系数进行扫描。

通过对以上技术方案的分析，本发明具有以下的优点：

1、通过上述用于视频编码的新型空间预测方法，克服了基于多方向空间预测的视频编码方法在应用于连续I帧编码时，产生闪烁现象的缺陷，提高了多方向空间预测的视频编码方法的编码效率，为基于多方向空间预测的视频编码技术提供了抗闪烁的连续I帧编码方案，和基于模式的残差系数扫描方案，在减轻闪烁现象的同时，还进一步保证了编码效率。

2、本发明以JVT标准作为实施案例，为JVT标准提供了解决连续I帧编码闪烁问题，并为提高该标准的编码效率提供了具体的技术手段。

3、本发明提供的装置提供了实现上述方法的具体***结构，和实现该***的硬件模块及其组合方案。

附图说明：

图1为JVT中宏块细分的示意图。

图2为Intra4×4模式下，每4×4的小块中像素的预测示意图。

图3为帧内预测模式的预测方向示意图。

图4为目前的编码***中普遍采用的固定扫描顺序示意图。

图5为现有技术的编码过程示意图。

图6为现有技术的编码装置示意图。

图7为现有技术中多方向空间预测编码***解码部分的信号流程图。

图8为本发明新的扫描方式的流程图。

图9为本发明一具有新扫描方式实施例的编码示意图。

图10为本发明抗闪烁解码端流程图。

图11为本发明一实施例的解码部分的框图。

图12为本发明另一实施例的解码部分的框图。

图13为本发明又一实施例的解码部分的框图。

具体实施方式

以下结合具体的实施例对本发明做进一步详细的说明：

本发明提供了一种用于视频编码的新型空间预测方法及其装置，其目的在于有效减轻基于多方向空间预测的视频编码方法，在连续I帧编码时产生的闪烁现象；并根据预测模式来决定扫描的顺序，用于有效提高基于多方向空间预测的视频编码方法的编码效率。

在JVT编码标准中，本发明的一实施例中采用了如下的步骤实现抗闪烁处理：

参见图8、图9，

编码端的处理：

1、生成预测图像：根据选定的预测模式，由当前编码块的临近块的解码图像生成预测图像；这一步与JVT原有步骤相同；

2、把预测图像变换到频域，变换的方法与JVT中处理残差图像时采用的变换方法相同；例如，对于4×4的块，设输入为X，则输出Y为：

$Y=\left[\begin{array}{cccc}1& 1& 1& 1\\ 2& 1& -1& -2\\ 1& -1& -1& 1\\ 1& -2& 2& -1\end{array}\right]\left[\begin{array}{cccc}{x}_{00}& x_{01}& x_{02}& x_{03}\\ x_{10}& x_{11}& x_{12}& x_{13}\\ x_{20}& x_{21}& x_{22}& x_{23}\\ x_{30}& x_{31}& x_{32}& x_{33}\end{array}\right]\left[\begin{array}{cccc}1& 2& 1& 1\\ 1& 1& -1& -2\\ 1& -1& -1& 2\\ 1& -2& 1& -1\end{array}\right]$

其中，Y为预测图像的频域系数，X为预测图像；

3、量化预测图像的频域系数Y；量化系数Qp与处理残差图像时采用的Qp相同，设量化后的频域系数的矩阵为Z；则量化公式为：

Z＝Q(Y)＝(Y×Quant(Qp)+Qconst(Qp))＞＞Q_bit(Qp)

4、对频域系数的矩阵Z反量化得到W；这里的反量化与JVT中的反量化有区别：JVT中的反量化与量化的尺度并不一样，

在JVT中，其反量化公式为：

W＝DQ(Z)＝(Z×DQuant(Qp)+DQconst(Qp))＞＞Q_per(Qp)

为了使量化后的系数恢复到量化前的尺度，就必须重新设计反量化公式：本发明的反量化公式为：

W＝DQ’(Z)＝(Z×DQuant’(Qp)+DQcons t’(Qp))＞＞Q_per’(Qp)

并且，新的公式须满足：

DQuant’(Qp)×Quant(Qp)近似等于2^{Q_per’(Qp)×Q_bit(Qp)}

5、把要编码的当前块I变换到频域得到频域图像F；方法同上；

6、频域图像F减去W直接得到频域残差图像S；

7、量化频域残差图像S得到量化后的频域残差系数C，公式同上；

8、对频域残差系数C做系数扫描，熵编码得到码流；

9、把Z补偿到频域残差系数C上；即C＝C+Z；

10、反量化频域残差系数C，用JVT的公式；

11、反变换频域残差系数C得到初步的重构图像B，按照块大小和模式用JVT原有的反变换方法；

12、对重构图像B做去除块效应的滤波，得到当前块的输出图像0。

参见图10、图11

解码端的处理之一：

1、熵解码得到预测模式和频域残差系数C；

2、生成预测图像：根据熵解码得到的预测模式，由当前解码块的临近块的解码图像生成预测图像。这一步与JVT原有步骤相同；

3、把预测图像变换到频域，变换的方法与JVT中处理残差图像时采用的变换方法相同，这一步与编码时的第2步骤相同；

4、量化预测图像的频域系数Y，得到频域系数的矩阵Z，这一步与编码时的第3步骤相同；

5、把频域系数的矩阵Z补偿到频域残差系数C上；即C＝C+Z；同编码流程的步骤9；

6、量化频域残差系数C，用JVT的公式；同编码流程的步骤10；

7、反变换频域残差系数C得到初步的重构图像B；按照块大小和模式用JVT原有的反变换方法；与编码流程的第11步骤相同；

8、对重构图像B做去除块效应的滤波，得到当前块的输出图像0；与编码流程的第12步骤相同；

参见图12、图13，本发明解码端的处理之二、之三：与上述的解码端的处理之一基本相同，不同的是：解码端的处理之一直接在量化后补偿，解码端的处理之二为做完反量化再补偿，解码端的处理之三则是做完反变换后补偿。

上述的方案二、三与方案一类似，只是补偿的位置不同，按补偿位置的不同，还要对量化后的预测图像做反量化和反变换。

本发明的基于预测模式决定扫描顺序的方法则可以有效提高基于多方向空间预测的视频编码方法的编码效率。在JVT编码标准中，采用如下步骤实现基于预测模式的扫描模块：

在设计阶段：首先，分别统计每种模式下残差图像每个频率的系数非0的概率；然后，按照概率从大到小的顺序生成扫描顺序表(例如：以变量矩阵T(m，i)表示；即：第m模式下第i个扫描的系数的位置为T(m，i))。代替单一的zigzag扫描表Z(i)。

在编解码阶段：

当进行扫描时，根据选定的模式m，并按i的递增的顺序查扫描顺序表T，按查得的位置的顺序对残差系数进行扫描。

参见图9，本发明的装置中的编码模块在现有技术的装置基础上，于计算残差系数模块和熵编码模块之间还设有新的扫描模块，该新的扫描模块根据模式选择模块的控制，选择预定的扫描顺序，从而提高处理的效率。

参见图11、12、13，本发明的装置中的解码模块，均增设有变换量化模块，并且包括熵解码模块、反量化模块、反变换模块和预测补偿模块，所不同的是：在不同的实施例中，预测补偿模块的位置可以分别设置在熵解码模块之后，或反量化模块之后，或反变换模块之后。以图11为例，具体的解码过程包括：对码流进行熵解码之后。经过变换量化模块处理的预测图像和经过熵解码的码流信息在预测补偿模块中进行补偿处理，然后依次经过反量化模块和反变换模块处理后输出。与图11不同的是：图12、13所示的预测补偿位置分别位于反量化模块或反变换模块之后。

最后应说明的是：以上实施例仅用以说明本发明而非限制，尽管参照上述公开的较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换；而不脱离本发明所记载的精神和范围的所有技术方案，其均应涵盖在本发明的权利要求范围当中。

Claims (15)

1、一种用于视频编码的新型空间预测方法，其特征在于：对码流编码时，把预测图像也变换到频域，并用相同的量化系数作量化，然后再作为预测图像；解码时对该预测图像采用与编码时相同的处理方法对预测图像作频域量化，然后补偿到解码出的残差图像上。

2、根据权利要求1所述的用于视频编码的新型空间预测方法，其特征在于：所述的编码过程具体为：

步骤100：根据选定的预测模式，由当前编码块的临近块的解码图像生成预测图像；

步骤101：把预测图像变换到频域；

步骤102：量化预测图像的频域系数，其中，量化系数与处理残差图像时采用的量化系数相同；且设量化后的频域系数的矩阵满足如下的公式：

    Z＝Q(Y)＝(Y×Quant(Qp)+Qconst(Qp))＞＞Q_bit(Qp)

其中，

Z为量化后的频域系数矩阵，

Y为频域系数矩阵，

Qp为量化参数，

Quant(Qp)、Qconst(Qp)、Q_bit(Qp)为由JVT定义的量化时的函数；

步骤103：依据如下的公式对步骤102获得的频域系数的矩阵进行反量化；

    W＝DQ(Z)＝(Z×DQuant(Qp)+DQconst(Qp))＞＞Q_per(Qp)

    DQuant(Qp)×DQconst(Qp)≈2^{Q_per(Qp)×Q_bit(Qp)}

其中，

W为反量化后的频域系数矩阵，

Z为量化后反量化前的频域系数矩阵，

Qp为量化参数，

DQuant(Qp)、DQconst(Qp)、Q_bit(Qp)、Q_per(Qp)为由JVT定义的量化时的函数；

步骤104：根据步骤100-103的方法，将被编码的当前块变换到频域，得到频域图像；

步骤105：频域图像减去反量化后的频域系数矩阵直接得到频域残差图像；

步骤106：量化频域残差图像得到量化后的频域残差系数，公式同步骤102；

步骤107：对频域残差系数做系数扫描，熵编码得到码流；

步骤108：按照如下的公式，把频域系数矩阵补偿到频域残差系数上；

C＝C+Z；

其中，

C为频域残差系数，

Z为频域系数矩阵；

步骤109：用JVT的公式反量化频域残差系数，；

步骤110：按照块的大小和模式反变换频域残差系数，得到初步的重构图像；

步骤111：对重构图像做去除块效应的滤波，得到当前块的输出图像。

3、根据权利要求1或2所述的用于视频编码的新型空间预测方法，其特征在于：所述的编码之前，还进一步包括基于预测模式决定扫描顺序的处理，具体的过程为：分别统计每种模式下残差图像每个频率的系数非0的概率，按照该概率的值，从大到小的顺序生成扫描顺序表。

4、根据权利要求2所述的用于视频编码的新型空间预测方法，其特征在于：在编码扫描时，根据选定的模式顺序查阅扫描顺序表，并按查得的位置的顺序对残差系数进行扫描。

5、根据权利要求1所述的用于视频编码的新型空间预测方法，其特征在于：所述的解码过程为：

步骤200：通过熵解码得到预测模式和频域残差系数；

步骤201：根据熵解码得到的预测模式；由当前解码块的临近块的解码图像生成预测图像；

步骤202：把预测图像变换到频域；

步骤203：量化预测图像的频域系数，得到频域系数矩阵；

步骤204：按照如下的公式，把频域系数矩阵补偿到频域残差系数上，

C＝C+Z

其中，

C为频域残差系数，

Z为频域系数矩阵；

步骤205：反量化频域残差系数；

步骤206：按照块大小和模式，反变换频域残差系数得到初步的重构图像；

步骤207：对重构图像做去除块效应的滤波，得到当前块的输出图像。

6、根据权利要求1所述的用于视频编码的新型空间预测方法，其特征在于：所述的解码过程为：

步骤210：通过熵解码得到预测模式和频域残差系数；

步骤211：根据熵解码得到的预测模式；由当前解码块的临近块的解码图像生成预测图像；

步骤212：把预测图像变换到频域；

步骤213：量化预测图像的频域系数，得到频域系数的矩阵；

步骤214：分别反量化频域系数和频域残差系数；

步骤215：把经过反量化的频域系数矩阵补偿到经过反量化的频域残差系数上；

步骤216：按照块大小和模式，反变换频域残差系数得到初步的重构图像；

步骤217：对重构图像做去除块效应的滤波，得到当前块的输出图像。

7、根据权利要求1所述的用于视频编码的新型空间预测方法，其特征在于：所述的解码过程为：

步骤220：通过熵解码得到预测模式和频域残差系数；

步骤221：根据熵解码得到的预测模式；由当前解码块的临近块的解码图像生成预测图像；

步骤222：把预测图像变换到频域；

步骤223：量化预测图像的频域系数，得到频域系数的矩阵；

步骤234：分别反量化频域系数和频域残差系数；

步骤225：分别按照块大小和模式，反变换频域系数和频域残差系数；

步骤226：把经过反量化和反变换的频域系数矩阵补偿到频域残差系数上，得到初步的重构图像；

步骤227：对重构图像做去除块效应的滤波，得到当前块的输出图像。

8、根据权利要求5或6或7所述的用于视频编码的新型空间预测方法，其特征在于：在解码扫描时，根据选定的模式顺序查阅扫描顺序表，并按查得的位置的顺序对残差系数进行扫描。

9、一种用于视频编码的新型空间预测装置，其特征在于：它至少包括编码模块和解码模块；其中，

该编码模块至少设有：预测模块、计算残差系数模块、扫描模块和熵编码模块；该预测模块将输入的重构图像进行处理，得到预测图像，该预测图像经过计算残差系数模块处理后对当前编码图像进行补偿，然后，该补偿后的码流经过扫描模块处理后，再由熵编码模块进行编码输出；

该解码模块至少设有：熵解码模块、补偿模块、反量化模块、反变换模块和变换量化模块；依次对输入的码流信号进行熵解码、反量化和反变换；变换量化模块对预测图像进行处理，获得解码过程中的补偿信息。

10、根据权利要求9所述的用于视频编码的新型空间预测装置，其特征在于：该编码模块和/或解码模块中还设有基于预测模式决定扫描顺序的模式选择模块，用于控制预测模块和扫描模块中的方式选择，提高编码和/或解码效率；该扫描模块分别统计每种模式下残差图像每个频率的系数非0的概率，并按照该概率的值，从大到小的顺序生成扫描顺序表。

11、根据权利要求9或10所述的用于视频编码的新型空间预测装置，其特征在于：所述的编码具体为：

预测模块根据模式选择模块选定的预测模式，由当前编码块的临近块的解码图像生成预测图像；

计算残差系数模块把预测图像变换到频域，并量化预测图像的频域系数，其中，量化系数与处理残差图像时采用的量化系数相同；且量化后的频域系数的矩阵满足如下的公式：

Z＝Q(Y)＝(Y×Quant(Qp)+Qconst(Qp))＞＞Q_bit(Qp)

其中，

Z为量化后的频域系数矩阵；

Y为频域系数矩阵；

Qp为量化参数

Quant(Qp)、Qconst(Qp)、Q_bit(Qp)为由JVT定义的量化时的函数；

计算残差系数模块依据如下的公式对获得的频域系数的矩阵进行反量化；

W＝DQ(Z)＝(Z×DQuant(Qp)+DQconst(Qp))＞＞Q_per(Qp)

DQuant(Qp)×DQconst(Qp)≈2^{Q_per(Qp)×Q_bit(Qp)}

其中，

W为反量化后的频域系数矩阵，

Z为量化后反量化前的频域系数矩阵，

Qp为量化参数，

DQuant(Qp)、DQconst(Qp)、Q_bit(Qp)、Q_per(Qp)为由JVT定义的量化时的函数；

计算残差系数模块采用上述的方法将被编码的当前块变换到频域，得到频域图像；并进一步减去频域系数矩阵直接得到频域残差图像；再对频域残差图像进行量化，得到量化后的频域残差系数；

扫描模块对频域残差系数做系数扫描；该熵编码模块对扫描后的信息进行编码得到码流；

补偿模块按照如下的公式，把频域系数矩阵补偿到频域残差系数上；

C＝C+Z，

其中，

C为频域残差系数；

Z为频域系数矩阵；

反量化模块根据JVT的公式对频域残差系数反量化；反变换模块按照块的大小和模式对频域残差系数反变换，得到初步的重构图像；滤波模块对重构图像做去除块效应的滤波，得到当前块的输出图像。

12、根据权利要求9所述的用于视频编码的新型空间预测装置，其特征在于：所述的解码具体为：

熵解码模块对输入的码流进行解码得到预测模式和频域残差系数；然后根据熵解码得到的预测模式；由当前解码块的临近块的解码图像生成预测图像；

变换量化模块把预测图像变换到频域，并且量化预测图像的频域系数，得到频域系数矩阵；

补偿模块按照如下的公式，把频域系数矩阵补偿到频域残差系数上，

C＝C+Z

其中，

C为频域残差系数；

Z为频域系数矩阵；

反量化模块对频域残差系数进行反量化处理；

反变换模块按照块的大小和模式，对频域残差系数进行反变换，得到初步的重构图像；最后滤波模块对重构图像做去除块效应的滤波，得到当前块的输出图像。

13、根据权利要求9所述的用于视频编码的新型空间预测装置，其特征在于：所述的解码具体为：

熵解码模块对输入的码流进行解码得到预测模式和频域残差系数；然后根据熵解码得到的预测模式；由当前解码块的临近块的解码图像生成预测图像；

变换量化模块把预测图像变换到频域，并且量化预测图像的频域系数，得到频域系数矩阵；

分别位于熵解码模块和变换量化模块之后的反量化模块，分别反量化频域系数和频域残差系数；

补偿模块把经过反量化的频域系数矩阵补偿到经过反量化的频域残差系数上，

反变换模块按照块的大小和模式，反变换频域残差系数得到初步的重构图像；最后，对重构图像做去除块效应的滤波，得到当前块的输出图像。

14、根据权利要求9所述的用于视频编码的新型空间预测装置，其特征在于：所述的解码具体为：

熵解码模块对输入的码流进行解码得到预测模式和频域残差系数；然后根据熵解码得到的预测模式；由当前解码块的临近块的解码图像生成预测图像；

变换量化模块把预测图像变换到频域，并且量化预测图像的频域系数，得到频域系数矩阵；

分别位于熵解码模块和变换量化模块之后的反量化模块，分别反量化频域系数和频域残差系数；

位于反量化模块之后的反变换模块分别按照块大小和模式，反变换频域系数和频域残差系数；

补偿模块把经过反量化和反变换的频域系数矩阵补偿到频域残差系数上，得到初步的重构图像；最后，对重构图像做去除块效应的滤波，得到当前块的输出图像。

15、根据权利要求12或13或14所述的用于视频编码的新型空间预测装置，其特征在于：解码模块在解码时，还根据选定的模式顺序查阅扫描顺序表，并按查得的位置的顺序对残差系数进行扫描。

Images