CN101185342A - 支持快速精细可分级的视频编码方法和装置 - Google Patents

支持快速精细可分级的视频编码方法和装置 Download PDF

Info

Publication number
CN101185342A
CN101185342A CNA2006800191144A CN200680019114A CN101185342A CN 101185342 A CN101185342 A CN 101185342A CN A2006800191144 A CNA2006800191144 A CN A2006800191144A CN 200680019114 A CN200680019114 A CN 200680019114A CN 101185342 A CN101185342 A CN 101185342A
Authority
CN
China
Prior art keywords
frame
residual error
motion vector
reference frame
basic unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800191144A
Other languages
English (en)
Inventor
韩宇镇
李教爀
车尚昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101185342A publication Critical patent/CN101185342A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

提供了一种用于减少基于多层的渐进精细可分级PFGS算法所需的计算量的方法和采用该方法的视频编码方法和装置。所述支持精细可分级FGS的视频编码方法包括：使用以预定精度估计的第一运动向量来获得当前帧的预测图像；量化所述当前帧和所述预测图像之间的残差；逆量化所述量化的残差并产生当前帧的重构图像；使用所估计的运动向量对FGS层参考帧和基层参考帧进行运动补偿；计算所述运动补偿的FGS层参考帧和所述运动补偿的基层参考帧之间的残差；从所述当前帧中减去当前帧的重构图像和所计算的残差；以及对相减结果进行编码。

Description

支持快速精细可分级的视频编码方法和装置
技术领域
与本发明一致的方法和装置涉及视频编码，更具体地，涉及减少基于多层的渐进精细可分级(Progressive Fine Granular Scalability，PFGS)算法所需的计算量的视频编码。
背景技术
随着信息通信技术(包括互联网)的发展，包含诸如文本、视频、音频等等各类信息的多媒体服务正在增加。由于多媒体数据量通常很大，因此多媒体数据需要大容量的存储媒介和较宽的传输带宽。因而，对于传输包括文本、视频和音频的多媒体数据就需要压缩编码方法。
数据压缩的基本原理是去掉数据冗余。可以通过去掉空间冗余、时间冗余、或心理视觉冗余来压缩数据，其中，在空间冗余中，在图像内重复同一颜色或物体；在时间冗余中，在运动图像中相邻帧之间的变化很小或者在音频中重复同一声音；在心理视觉冗余中，考虑了人的视力和对高频的有限感知。在一般的视频编码中，通过基于运动补偿的时域滤波来去掉时间冗余，而通过空间变换来去掉空间冗余。
为了传输去掉数据冗余之后产生的多媒体，需要传输媒介。多媒体的不同类型的传输媒介具有不同的性能。当前所用的传输媒介具有各种传输速率。例如，超高速通信网络每秒能够传输几十兆比特的数据，而移动通信网络具有每秒384千比特的传输速率。为了支持具有各种速度的传输媒介或为了传输多媒体，具有可分级性的数据编码方法可以适合于多媒体环境。
可分级性表示对单个压缩的比特流进行部分解码的能力。可分级性包括指示视频分辨率的空间可分级性、指示视频质量水平的信噪比(SNR)可分级性、和指示帧速率的时间可分级性。
当前，MPEG(运动图像专家组)和ITU(国际电信联盟)的联合视频组(JVT)正在进行用于实施基于H.264可分级扩展(下文中，将称为“H.264SE”)的多层可分级的标准化工作。为了支持SNR可分级，现有的精细可分级(FGS)技术正在被JVT所采用。
图1是用于说明传统的精细可分级(FGS)技术的图。基于FGS的编解码器通过将视频比特流分成基层和FGS层来执行编码。在本说明书的全文中，上标(′)用于表示在量化/逆量化之后获得的重构图像。更详细地，从原始当前帧12内的块O中减去使用运动向量根据重构的左基层帧11内的块MB′和重构的右基层帧13内的块NB′预测的块PB，以获得差块RB。这样，差块RB可以由等式(1)定义：
RB＝O-PB＝O-(MB′+NB′)/2    …(1)
差块RB由基层量化步长QPB(RBQ)量化，接着被逆量化，从而获得重构的差块RB′。计算未量化的差块RB和重构的差块RB′之间的残差，并且利用比基层量化步长QPB小的量化步长QPF来量化与该残差对应的块△(压缩率随着量化步长的减小而减小)。量化的△由△Q来表示。在基层中的量化差块RB Q和在FGS层中的量化块△Q最后被传输到解码器。
图2是用于说明传统的渐进精细可分级(PFGS)技术的视图。传统的FGS技术使用重构的量化基层残差RB′来减少FGS层中的数据量。参照图2，PFGS技术利用这样一个事实：在FGS层中的左右参考帧的质量也被FGS技术提高了。即，PFGS技术包括使用重新更新的左右参考帧21和23来计算新的差块RF，并量化新差块RF和量化的基层块RB′之间的残差，从而提高了编码性能。新的差块RF由等式(2)定义：
RF＝O-PF＝O-(MF′+NF′)/2    …(2)
其中，MF′和NF′分别表示在FGS层中的重构的左右参考帧21和23内的、与适当的运动向量对应的区域。
PFGS技术与FGS技术相比具有这样一个优点：由于左右参考帧的高质量因而能够减少在FGS层中的数据量。因为FGS层也需要单独的运动补偿，所以增加了计算量。即，尽管PFGS与传统的FGS相比提高了性能，但是由于对每个FGS层执行运动补偿以产生预测信号以及所述预测信号与所述原始信号之间的残差信号，因此它需要大量的计算。近来发展的视频编解码器以1/2或1/4的像素精度来对图像信号进行插值用于运动补偿。当以1/4像素精度执行运动补偿时，应当产生具有与原始图像的分辨率的四倍对应的尺寸的图像。
发明内容
技术问题
H.264标准SE技术使用6抽头滤波器作为1/2像素插值滤波器，其涉及相当大的计算复杂度，需要相当多的计算用于运动补偿。这使得编码和解码过程变得复杂，因而需要较高的***资源。特别地，这个缺点在诸如实时广播或视频会议的需要实时编码和解码的领域中可能最成问题。
技术方案
本发明提供了一种用于在保持渐进精细可分级(PFGS)算法的性能的同时减少运动补偿所需的计算量的方法和装置。
根据本发明的一方面，提供了一种支持FGS的视频编码方法，所述视频编码方法包括：使用以预定精度估计的运动向量来获得当前帧的预测图像；量化当前帧和预测图像之间的残差；逆量化所述量化的残差并产生当前帧的重构图像；使用所述估计的运动向量对FGS层参考帧和基层参考帧进行运动补偿；计算运动补偿的FGS层参考帧和运动补偿的基层参考帧之间的残差；从当前帧中减去当前帧的重构图像和所计算的残差；以及对相减结果进行编码。
根据本发明的另一方面，提供了一种支持FGS的视频编码方法，所述视频编码方法包括：使用以预定精度估计的运动向量来获得当前帧的预测图像；量化当前帧和预测图像之间的残差；逆量化所述量化的残差并产生当前帧的重构图像；使用所述估计的运动向量对FGS层参考帧和基层参考帧进行运动补偿，并分别产生所述FGS层的预测帧和所述基层的预测帧；计算所述FGS层的预测帧和所述基层的预测帧之间的残差；从当前帧中减去所述重构图像和残差；以及对相减结果进行编码。
根据本发明的另一方面，提供了一种支持FGS的视频编码方法，所述视频编码方法包括：使用以预定精度估计的运动向量来获得当前帧的预测图像；量化当前帧和预测图像之间的残差；逆量化所述量化的残差并产生当前帧的重构图像；计算FGS层参考帧和基层参考帧之间的残差；使用所述估计的运动向量对所述残差进行运动补偿；从当前帧中减去所述重构图像和运动补偿结果；以及对相减结果进行编码。
根据本发明的另一方面，提供了一种支持精细可分级(FGS)的视频编码方法，所述视频编码方法包括：使用以预定精度估计的运动向量来获得当前帧的预测图像；使用具有比所估计的运动向量的精度低的精度的运动向量对FGS层参考帧和基层参考帧进行运动补偿；计算所述运动补偿的FGS层和基层参考帧之间的残差；从当前帧中减去所述预测图像和残差；以及对相减结果进行编码。
根据本发明的另一方面，提供了一种支持FGS的视频编码方法，所述视频编码方法包括：使用以预定精度估计的运动向量来获得当前帧的预测图像；使用具有比所估计的运动向量的精度低的精度的运动向量对FGS层参考帧和基层参考帧进行运动补偿，并分别产生所述FGS层的预测帧和所述基层的预测帧；计算所述FGS层的预测帧和所述基层的预测帧之间的残差；从当前帧中减去所述预测图像和所计算的残差；以及对相减结果进行编码。
根据本发明的另一方面，提供了一种支持FGS的视频编码方法，所述视频编码方法包括：使用以预定精度估计的运动向量来获得当前帧的预测图像；计算FGS层参考帧和基层参考帧之间的残差；使用具有比所估计的运动向量的精度低的精度的运动向量对所述残差进行运动补偿；从当前帧中减去所述重构图像和所述运动补偿结果；以及对相减结果进行编码。
根据本发明的另一方面，提供了一种支持FGS的视频解码方法，所述视频编码方法包括：从输入比特流中提取基层纹理数据和FGS层纹理数据以及运动向量；根据所述基层纹理数据重构基层帧；使用所述运动向量对FGS层参考帧和基层参考帧进行运动补偿；计算所述运动补偿的FGS层参考帧和所述运动补偿的基层参考帧之间的残差；以及将所述基层帧、FGS层纹理数据和所述残差相加。
根据本发明的另一方面，提供了一种基于FGS的视频编码器，包括：使用以预定精度估计的运动向量来获得当前帧的预测图像的元件；量化当前帧和预测图像之间的残差、逆量化所述量化的残差、以及产生当前帧的重构图像的元件；使用所述估计的运动向量对FGS层参考帧和基层参考帧进行运动补偿的元件；计算所述运动补偿的FGS层和基层参考帧之间的残差的元件；从当前帧中减去所述重构图像和残差的元件；以及对相减结果进行编码的元件。
根据本发明的另一方面，提供了一种基于FGS的视频解码器，所述视频解码器包括：从输入比特流中提取基层纹理数据、FGS层纹理数据和运动向量的元件；根据所述基层纹理数据重构基层帧的元件；使用所述运动向量对FGS层参考帧和基层参考帧进行运动补偿并产生预测FGS层帧和预测基层帧的元件；计算所述预测FGS层帧和所述预测基层帧之间的残差的元件；以及将所述纹理数据、所重构的基层帧和所述残差相加的元件。
附图说明
通过下面参考附图对本发明的示范性实施例的详细描述，本发明的上述和其它方面将变得更加显而易见，其中：
图1是用于说明传统的FGS技术的视图；
图2是用于解释传统的渐进PFGS技术的视图；
图3是用于图示根据本发明的示范性实施例的快速渐进精细可分级(PFGS)的视图；
图4是根据本发明的示范性实施例的视频编码器的框图；
图5是根据本发明的另一个示范性实施例的视频编码器的框图；
图6和图7是根据本发明的又一个示范性实施例的视频编码器的框图；
图8是根据本发明的示范性实施例的视频解码器的框图；
图9是根据本发明的另一个示范性实施例的视频解码器的框图；
图10和图11是根据本发明的又一个示范性实施例的视频解码器的框图；以及
图12是根据本发明的实施例的用于执行编码或解码过程的***的框图。
具体实施方式
下面将参照附图更充分地描述本发明，在附图中示出了本发明的示范性实施例。
通过参照下面对示范性实施例以及所述附图的详细描述，将更容易理解本发明的优点和特性及其实现方法。但是，可以以各种不同的形式来实施本发明，并且本发明不应当被理解为局限于这里所阐述的示范性实施例。相反，提供这些示范性实施例以使得本公开详尽且完整，并将本发明的构思完全传达给本领域技术人员，并且仅由所附权利要求书来限定本发明。在整个说明书中，相似的参考数字指代相似的元件。
图3是用于图示根据本发明的第一示范性实施例的PFGS的视图。
参照图3，与图2类似，将根据PFGS算法来量化FGS层中的△，并且由等式(3)来简单定义该△：
△＝RF-RB′    …(3)
RF由上面的等式(2)所定义，而RB′由等式(4)来定义：
RB′＝O′-PB＝O′-(MB′+NB′)/2    …(4)
其中，O′是通过利用基层量化步长QPB将原始图像O进行量化并接着对所量化的图像进行逆量化而重构的图像。
将等式(2)和(4)代入到等式(3)，得到等式(5)：
△＝O-(MF′+NF′)/2-[O′-(MB′+NB′)/2]    …(5)
参照图3，△M和△N分别表示在基层和FGS层中的左参考帧MF′和MB′之间的残差以及在基层和FGS层中的右参考帧NF′和NB′之间的残差，由等式(6)定义：
△M＝MF′-MB′
△N＝NF′-NB′    …(6)
通过将等式(6)代入到等式(5)中，可以由等式(7)来定义△：
△＝O-O′-(△M+△N)/2    …(7)
如等式(7)所示，编码器可以通过从原始图像O中减去重构的基层图像O′和残差的平均值(△M+△N)/2得到△，其中，通过利用基层量化步长QPB将原始图像O量化并接着对所量化的图像进行逆量化而得到所述重构的基层图像O′，所述残差是基层参考帧和FGS层参考帧中的每一个之间的残差。解码器通过将所重构的基层图像O′、△、和所述基层参考帧与FGS层参考帧之间的残差的平均值相加而重构出原始图像O。
在传统的PFGS算法中，使用具有由运动估计得到的一个像素或子像素(1/2像素或1/4像素)精度的运动向量来进行运动补偿。近来，为了提高补偿效率，通常根据诸如半像素精度或四分之一像素精度的各种像素精度来进行运动估计和补偿。在传统的PFGS中，将利用诸如1/4像素精度的运动补偿而产生的预测图像压缩(pack)成整数像素。接着，对原始图像和预测图像之间的残差进行量化。在这种情况下，该压缩是通过执行具有1/4像素精度的运动估计而将4次插值的参考图像变为原始尺寸的图像的恢复过程。例如，在压缩过程中，可以选择每四个像素中的一个。
但是，等式(7)所定义的、将要被量化以用于根据本发明的快速PFGS的FGS层中的数据△对压缩效率的影响很小，因此不需要对其进行高像素精度的运动补偿。仅对等式(7)右边的第三项(△M+△N)/2进行运动估计和补偿。但是，因为将第三项表示为参考帧之间的层间残差，所以执行高像素精度的运动估计和补偿并不非常有效率。也即，因为在以预定像素精度进行运动补偿的基层中的图像和以所述像素精度进行运动补偿的增强层中的图像之间的结果残差图像对像素精度不敏感，所以与传统PFGS相比，快速PFGS允许更低像素精度的运动估计和补偿。
根据第二示范性实施例，也可以将第一示范性实施例中的等式(5)中的△表示成如等式(8)所示的预测信号PF和PB之间的残差。PF和PB分别等于(MF′+NF′)/2和(MB′+NB′)/2。
△＝O-O′-(PF-PB)    …(8)
第一和第二示范性实施例彼此的区别如下。在第一示范性实施例中，首先计算FGS层参考图像和基层参考图像之间的残差△M和△N然后用2除。在第二示范性实施例中，在计算了FGS层和基层中的预测图像PF和PB之后，再计算所述预测FGS层图像PF和预测基层图像PB之间的残差PF-PB。这就是说，尽管根据第一和第二示范性实施例的快速PFGS算法是以不同的方式实现的，但是能够得到相同的计算结果(△)。
在第一和第二示范性实施例二者中，首先执行运动补偿，然后计算图像之间的残差。在本发明的第三示范性实施例中，可以首先计算不同层中的参考图像之间的残差，然后执行运动补偿。这样，根据本发明的第三示范性实施例，因为对残差执行运动补偿，所以边界填充(boundary padding)基本不影响结果图像。因此，可以跳过边界填充过程。边界填充是考虑到在运动估计期间帧边界处的块匹配受到限制，从而对像素邻近处位于边界的像素进行复制的过程。
在本发明的第三示范性实施例中，残差△可以由等式(9)定义：
△＝O-O′-[(mc(MF′-MB′)+mc(NF′-NB′))/2    …(9)
其中，mc(.)表示用于执行运动补偿的函数。
传统PFGS被用于执行直接预测(运动估计和补偿)以计算由等式(3)定义的RF或RB，而根据本发明的第一至第三示范性实施例的快速PFGS算法被用于计算预测图像之间的残差或预测参考图像之间的残差。因此，本发明的快速PFGS的性能仅稍微受到或不受为了增加运动向量的像素精度而使用的内插的影响。
因此，可以跳过四分之一或半像素内插。此外，可以使用需要更少计算量的双线性滤波器来代替需要很大计算量的H.264标准中所用的半像素内插滤波器。例如，可以对等式(7)至(9)的右边第三项应用双线性滤波器。与在传统PFGS算法中将双线性滤波器直接应用于预测信号以得到RF或RB相比，这可以减少性能退化。
本发明的第一至第三示范性实施例的原理基于等式(3)。换句话说，这些示范性实施例的实现基于这样一个假设：对FGS层残差RF和基层残差RB之间的残差进行编码。但是，当从FGS层得到的残差非常小时，即，当时间相关性非常接近时，根据本发明的第一至第三示范性实施例的上述快速PFGS算法很可能使编码性能退化。在这种情况下，仅对从FGS层得到的残差(即等式(3)中的RF)进行编码可以获得更好的编码性能。即，根据本发明的第四示范性实施例，可以分别将等式(7)至(9)修正为等式(10)至(12)：
△＝O-PB-(△M+△N)/2              …(10)
△＝O-PB-(PF-PB)    …(11)
△＝O-PB-[(mc(MF′-MB′)+mc(NF′-NB′))/2    …(12)
在等式(10)至(12)中，用基层图像的预测图像PB来代替重构的基层图像O′。当然，可以不对等式(10)至(12)的右边第三项应用内插，或者可以使用需要更少计算量的双线性滤波器来用于内插。
在等式(11)中出现了两次的预测图像PB不必是同一个。在运动补偿期间可以使用所估计的运动向量以产生第二项的预测图像PB。另一方面，在运动补偿期间可以使用具有比所估计的运动向量的精度低的精度的运动向量或需要较少计算量的滤波器(如，双线性滤波器)来产生第三项的PB和PF。
使用重构的左右参考帧二者来重构当前帧的PFGS算法存在着漂移误差的问题，该漂移误差是由于当左右参考帧二者中的图像质量的退化被累积地反映在当前帧中时而引起的。可以通过漏预测(leaky prediction)方法来减少该漂移误差，该方法使用由从两个参考帧得到的预测图像和从基层得到的预测图像的加权和(weighted sum)而创建的预测图像。
根据传统PFGS中所使用的漏预测方法，由等式(13)在表示在FGS层中的被编码的值：
△＝O-[αPF+(1-α)PB]    …(13)
根据本发明第五示范性实施例，等式(13)可以被转换成等式(14)：
△＝O-PB-α(PF-PB)    …(14)
为了得到等式(14)，可以仅对等式(11)中的预测图像之间的残差PF-PB应用加权因子α。这样，也可以将漏预测方法应用于本发明。即，可以跳过内插或者使用需要更少计算量的双线性滤波器对残差PF-PB应用内插。在后一种情况下，将内插的结果与加权因子α相乘。
图4是根据本发明的第一示范性实施例的视频编码器100的框图。
尽管参照图1至图3以每个块作为运动估计的基本单元描述了本发明，但是下面将以包含所述块的每一帧来描述快速PFGS。为了表述一致，通过用于指示帧的“F”的下标来指示块的标识符。例如，用FRB来表示包含被标示为RB的块的帧。当然，上标(′)用于表示在量化/逆量化之后获得的重构数据。
当前帧FO被输入到运动估计器105、减法器115和残差计算器170。
运动估计器105使用相邻帧来对当前帧FO执行运动估计，以得到运动向量MV。在运动估计期间所参考的相邻帧在下文中被称为“参考帧“。块匹配算法(BMA)通常被用于估计给定块的运动。在BMA中，以像素或子像素精度在参考帧的搜索区域内移动给定块，并且将具有最小误差的位移确定为运动向量。尽管将固定大小的运动块用于运动估计，但是该运动估计可以利用层次式可变大小块匹配(HVSBM)技术。
当以子像素精度执行运动估计时，需要对参考帧进行上采样或内插为预定的分辨率。例如，当以1/2和1/4像素精度执行运动估计时，必须分别以因子2和4来更新或内插该参考帧。
当编码器100具有开环编解码器结构时，原始相邻帧FM和FN被用作参考帧。当编码器100具有闭环编解码器结构时，将基层中的重构的相邻帧FMB′and FNB′用作参考帧。尽管这里假定编码器100具有闭环编解码器结构，但是编码器100可以具有开环编解码器结构。
将由运动估计器105计算的运动向量MV提供给运动补偿器110。该运动补偿器110使用运动向量MV对参考帧FMB′和FNB′执行运动补偿，并产生当前帧的预测帧FPB。当使用双向预测时，可以将预测图像计算为运动补偿的参考帧的平均值。当使用单向预测时，预测图像可以与运动补偿的参考帧相同。尽管下文假定运动估计和补偿使用双向参考帧，但是本领域技术人员显然可知本发明可以使用单向参考帧。
减法器115计算预测图像和当前图像之间的残差FRB，以传输到变换器120。
变换器120对残差FRB执行空间变换以创建变换系数FRB T。空间变换方法可以包括离散余弦变换(DCT)或小波变换。详细地，在采用DCT的情况下可以创建DCT系数，在采用小波变换的情况下可以创建小波系数。
量化器125对变换系数FRB T进行量化。量化意味着通过离散值来表达任意实数值形式的变换系数，并将这些离散值与根据预定量化表格的索引匹配的过程。例如，量化器125可以将实数值的变换系数除以预定量化步长，并将结果值四舍五入到最近的整数。一般来说，基层的量化步长大于FGS层的量化步长。
将量化结果、即由量化器125得到的量化系数FRB Q提供给熵编码单元150和逆量化器130。
逆量化器130对量化系数FRB Q进行逆量化。逆量化意味着使用与在量化中所用的量化步长相同的量化步长将与在量化期间产生的索引匹配的值进行恢复的逆量化过程。
逆变换器135接收逆量化结果并对所接收的结果进行逆变换。可以以与变换器120执行的变换顺序相反的顺序来执行逆空间变换，例如，逆DCT或逆小波变换。加法器140将逆变换结果与由运动补偿器110得到的预测图像FPB相加，以产生当前帧的重构图像FO′。
缓冲器145存储从加法器140接收的相加结果。缓冲器145存储当前帧的重构图像FO′，也存储先前重构的基层参考帧FMB′和FNB′。
运动向量修正器155改变接收到的运动向量MV的精度。例如，具有1/4像素精度的运动向量MV可能具有值0、0.25、0.5或0.75。如上所述，根据本发明的示范性实施例，当使用具有比基层中的运动向量的像素精度低的像素精度的运动向量MV执行FGS层中的运动补偿时，编码性能中的差别很小。因此，运动向量修正器155将具有1/4像素精度的运动向量MV变为具有比1/4像素精度低的像素精度(如，1/2像素或1像素)的运动向量MV1。可以通过简单地从原始运动向量中截去或舍入像素精度的小数部分来执行这样的改变过程。
缓冲器165临时存储FGS层参考帧FMF′和FNF′。尽管未示出，但是重构FGS层帧FMF′和FNF′或与当前帧相邻的原始帧可以被用作FGS层参考帧。
运动补偿器160使用修正的运动向量MV1来对从缓冲器145接收的重构基层参考帧FMB′和FNB′以及从缓冲器165接收的重构FGS层参考帧FMF′和FNF′执行运动补偿，并将运动补偿的帧mc(FMB′)、mc(FNB′)、mc(FMF′)、和mc(FNF′)提供给残差计算器170。FMF′和FNF′分别表示FGS层中的前向和后向参考帧。FMB′和FNB′分别表示基层中的前向和后向参考帧。
当需要对运动补偿进行内插时，运动补偿器160可以使用与用于运动估计器105或运动补偿器110的内插滤波器不同类型的内插滤波器。例如，当使用具有1/2像素精度的运动向量MV1时，代替H.264标准中所用的6抽头滤波器，可以使用需要较小计算量的双线性滤波器来用于内插。因为在内插之后计算运动补偿的基层帧和运动补偿的FGS层帧之间的残差，所以内插过程基本不影响压缩效率。
残差计算器170计算运动补偿的FGS层参考帧mc(FMF′)和mc(FNF′)以及运动补偿的基层参考帧mc(FMB′)和mc(FNB′)之间的残差。即，残差计算器170计算△M＝mc(FMF′)-mc(FMB′)和△N＝mc(FNF′)-mc(FNB′)。当然，当使用单向参考帧时，可以仅计算一个残差。
然后，残差计算器170计算残差△M和△N的平均值，并从当前帧FO中减去重构图像FO′以及残差△M和△N的平均值。当使用单向参考帧时，不需要计算平均值的过程。
由残差计算器170得到的相减结果F△先由变换器175进行空间变换，接着由量化器180进行量化。量化的结果F△ Q被传输到熵编码单元150。在量化器180中所用的量化步长通常小于在量化器125中所用的量化步长。
熵编码单元150无损地将由运动估计器105所估计的运动向量MV、从量化器125接收到的量化系数FRB Q、从量化器180接收到的量化结果F△ Q编码成为比特流。存在各种无损编码方法，包括算术(arithmetic)编码、可变长度编码等等。
可选地，尽管图中未示出，但是除了残差计算器外，根据本发明第二示范性实施例的视频编码器可以具有与图4所示的视频编码器100相同的配置和操作。
即，根据本发明第二示范性实施例的残差计算器在计算不同层中的帧之间的残差之前，产生每一层的预测帧。换句话说，残差计算器使用运动补偿的FGS层参考帧和运动补偿的基层参考帧来产生预测FGS层帧和预测基层帧。通过简单地对两个运动补偿的参考帧求平均值可以计算预测帧。当然，当使用单向预测时，运动补偿的帧自身可以是预测帧。
残差计算器然后计算预测帧之间的残差，并从当前帧中减去重构图像和计算的残差。
图5是根据本发明第三示范性实施例的视频编码器300的框图。参照图5，在第一和第二示范性实施例中，在执行运动补偿之后计算基层参考图像和FGS层参考图像之间的残差，而所示的视频编码器300在计算两层中的参考帧之间的残差之后执行运动补偿。为了避免重复的说明，下面的描述将关注于第一和第二示范性实施例之间的区别特征。
减法器390将从缓冲器365接收到的FGS层参考帧FMF′和FNF′中减去从缓冲器345接收到的重构的基层参考帧FMB′和FNB′，并将相减结果FMF′-FMB′和FNF′-FNB′提供给运动补偿器360。当使用单向参考帧时，仅存在一个残差。
运动补偿器360使用从运动向量修正器355接收到的修正的运动向量MV1来对从减法器390接收到的FGS层参考帧和基层参考帧之间的残差FMF′-FMB′和FNF′-FNB′执行运动补偿。当在运动补偿期间使用具有1/2像素精度的运动向量MV1时，代替H.264标准中所用的6抽头滤波器，可以使用需要较小计算量的双线性滤波器来用于内插。如上所述，内插基本不影响压缩效率。
残差计算器370计算运动补偿的残差mc(FMF′-FMB′)和mc(FNF′-FNB′)之间的平均值，并从当前帧FO中减去重构图像FO′和所述平均值。当使用单向参考帧时，不需要平均计算过程。
图6和图7是根据本发明第四示范性实施例的视频编码器400和600的示例的框图。首先参照图6，与图4所示的第一示范性实施例不同，在本示范性实施例的视频编码器400中的残差计算器470从当前帧FO中减去预测的基层帧FPB而不是减去重构的基层帧FO′。
根据图6和图7所示的第四示范性实施例的视频编码器400和600与根据图4和图5所示的第一和第三示范性实施例的视频编码器100和300对应。首先参照图6，残差计算器470从当前帧中减去从运动补偿器410接收到的预测基层图像FPB而不是减去重构的基层图像FO′。因此，残差计算器470从当前帧FO中减去预测图像FPB以及残差△M和△N的平均值，从而得到相减结果F△。
类似地，参照图7，残差计算器670从当前帧FO中减去预测图像FPB以及运动补偿的残差mc(FMF′-FMB′)与mc(FNF′-FNB′)的平均值，从而得到相减结果F△。
除了残差计算器470的操作之外，根据与第二示范性实施例(未示出)对应的第四示范性实施例的视频编码器的示例可以具有与图6所示的相同的配置并且执行与之相同的操作。在根据与第二示范性实施例对应的第四示范性实施例的视频编码器中，残差计算器470使用运动补偿的FGS层参考帧mc(FMF′)和mc(FNF′)以及运动补偿的基层参考帧mc(FMB′)和mc(FNB′)分别产生预测FGS层帧FPF和预测基层帧FBF。残差计算器470也计算预测帧FPF和FBF之间的残差FPF-FPB，并从当前帧FO中减去重构图像FO′和残差FPF-FPB，以得到相减结果F△。
如果应用了漏预测，则残差计算器470将残差FPF-FPB乘以加权因子α，并从当前帧FO中减去重构图像FO′和乘积α×(FPF-FPB)，以得到相减结果F△。
图8是根据本发明第一示范性实施例的视频解码器700的框图。参照图8，熵解码单元701无损地解码输入比特流以提取基层纹理数据FPB Q、FGS层纹理数据F△ Q和运动向量MV。无损解码是无损编码的逆过程。
分别向逆量化器705和745提供基层纹理数据FPB Q和FGS层纹理数据F△ Q，向运动补偿器720和运动向量修正器730提供运动向量MV。
逆量化器705对从熵解码单元701接收到的基层纹理数据FPB Q进行逆量化。以与变换器执行的量化顺序相反的顺序来执行此逆量化，从而根据在量化中所用的预定的量化步长来恢复匹配到量化期间产生的索引的值。
逆变换器710对逆量化结果进行逆变换。以与变换器执行的变换顺序相反的顺序来执行该逆变换，具体地，可以使用逆DCT变换或逆小波变换。
将重构残差FRB′提供给加法器715。
运动补偿器720使用提取的运动向量MV对存储在缓冲器725中的先前重构的基层参考帧FMB′和FNB′进行运动补偿，以产生预测图像FPB′，该预测图像随后被发送到加法器715。
当使用双向预测时，通过计算运动补偿的参考帧的平均值来计算预测图像FPB。当使用单向预测时，运动补偿的参考帧就是预测图像FPB。
加法器715将输入的FRB和FPB相加，以输出重构的基层图像FO′，其随后被存储于缓冲器725中。
逆量化器745对FGS层纹理数据F△ Q应用逆量化，逆变换器750对逆量化的结果F△ T′进行逆变换，以得到重构帧F△(F△′)，随后将该重构帧提供给帧重构器755。
运动向量修正器730降低所提取的运动向量MV的精度。例如，具有1/4像素精度的运动向量MV可能具有值0、0.25、0.5或0.75。运动向量修正器730将具有1/4像素精度的运动向量MV变为具有低于1/4像素精度(如1/2像素或1像素)的运动向量MV1。
运动补偿器735使用修正的运动向量MV1来对从缓冲器725接收的重构基层参考帧FMB′和FNB′以及从缓冲器740接收的重构FGS层参考帧FMF′和FNF′执行运动补偿，并将运动补偿的基层帧mc(FMB′)和mc(FNB′)以及运动补偿的FGS层帧mc(FMF′)和mc(FNF′)提供给帧重构器755。
例如，当在运动补偿期间使用具有1/2像素精度的运动向量MV1时，代替H.264标准中所用的6抽头滤波器，可以使用需要较小计算量的双线性滤波器来用于内插。内插过程基本不影响压缩效率。
帧重构器755计算运动补偿的FGS层和基层参考帧mc(FMF′)和mc(FMB′)之间的残差△M，即△M＝mc(FMF′)-mc(FMB′)，以及运动补偿的FGS层和基层参考帧mc(FNF′)和mc(FNB′)之间的残差△N，即，△N＝mc(FNF′)-mc(FNB′)。当然，当使用单向参考帧时，可以仅计算一个残差。
帧重构器755也计算残差△M和△N的平均值，并将该平均值、F△′和重构的基层图像FO′相加，以产生重构的FGS层图像FOF′。当使用单向参考帧时，不需要平均计算过程。
然后缓冲器740存储该重构图像FOF′。当然，先前重构的图像FMF′和FNF′也可以被存储于缓冲器740中。
可选地，除了帧重构器的操作外，根据本发明第二示范性实施例的视频解码器可以具有与图8所示的视频编码器相同的配置并执行与之相同的操作。即，根据本发明第二示范性实施例的帧重构器在计算两层中的帧之间的残差之前产生每一层的预测帧。这就是说，帧重构器使用运动补偿的FGS层参考帧和运动补偿的基层帧来产生预测FGS层帧和预测基层帧。通过简单地对两个运动补偿的参考帧求平均值可以产生预测帧。当然，当使用单向预测时，预测帧可以是运动补偿帧自身。
帧重构器然后计算预测帧之间的残差，并将纹理数据、重构的基层帧和残差相加。
图9是根据本发明第三示范性实施例的视频解码器900的框图。参照图9，与在第一和第二示范性实施例中不同，视频解码器900在计算FGS层和基层中的参考帧之间的残差之后执行运动补偿，而在第一和第二示范性实施例中，在计算FGS层参考图像和基层参考图像之间的残差之前执行运动补偿。为了避免重复的说明，下面的描述将关注于与图4所示的第一示范性实施例的区别特征。
减法器960从FGS层参考帧FMF和FNF′中减去从缓冲器925接收到的重构的基层参考帧FMB′和FNB，并将相减结果FMF′-FMB′和FNF′-FNB′提供给运动补偿器935。当使用单向参考帧时，仅存在一个残差。
运动补偿器935使用从运动向量修正器930接收到的修正的运动向量MV1来对从减法器960接收到的FGS层和基层中的参考帧之间的残差FMF′-FMB′和FNF′-FNB′执行运动补偿。当在运动补偿期间使用具有1/2像素精度的运动向量MV1时，代替H.264标准中所用的6抽头滤波器，可以使用需要较小计算量的双线性滤波器来用于内插。如上所述，内插基本不影响压缩效率。
帧重构器955计算运动补偿的残差之间的平均值，即mc(FMF′-FMB′)和mc(FNF′-FNB′)之间的平均值，并将所计算的平均值、从逆变换器950接收到的F△′和重构的基层图像FO′相加。当使用单向参考帧时，不需要平均值计算过程。
图10和图11是根据本发明第四示范性实施例的视频解码器1000和1200的示例的框图。
参照图10和图11，与图8和图9示出的根据第一和第三示范性实施例的视频解码器700和900对应，帧重构器1055和1255加上了预测基层帧FPB而不是重构的基层帧FO′。
根据图10和图11所示的第四示范性实施例的视频解码器1000和1200分别与图8和图9所示的根据第一和第三示范性实施例的视频解码器对应。
首先参照图10，与图8对应，运动补偿器1020向帧重构器1055提供基层参考图像FPB而不是重构图像FO′。这样，帧重构器1055将从逆变换器1050接收到的F△′、预测基层图像FPB′以及层间残差△M和△N的平均值相加，以得到重构的基层图像FOF′。
类似地，参照图11，帧重构器1255将从逆变换器1250接收到的F△′、从运动补偿器1220接收到的预测基层图像FPB、以及运动补偿的残差mc(FMF′-FMB′)与mc(FNF′-FNB′)的平均值相加，以得到重构的FGS层图像FOF′。
同时，与根据第二示范性实施例(未示出)的视频解码器对应，除了帧重构器1255的操作之外，根据第四示范性实施例的视频解码器可以具有与图8所示的相同的配置并且执行与之相同的操作。在与第二示范性实施例对应的第四示范性实施例的视频解码器中，帧重构器1255使用运动补偿的FGS层参考帧mc(FMF′)和mc(FNF′)以及运动补偿的基层参考帧mc(FMB′)和mc(FNB′)来产生预测FGS层帧FPF和预测基层帧FBF。帧重构器1255也计算预测FGS层帧FPF和预测基层帧FBF之间的残差FPF-FPB，并将从逆变换器1250接收到的F△′、从运动补偿器1220接收到的预测图像FPB和残差FPF-FPB相加，以得到重构图像EOF′。
当应用漏预测(第五示范性实施例)时，帧重构器1255将层间残差FPF-FPB乘以加权因子α，并将F△′、FO′和乘积α×(FPF-FPB)相加以得到FOF′。
图12是根据本发明的示范性实施例的、用于使用视频编码器100、300、400、600或视频解码器700、900、1000、1200执行编码或解码过程的***的框图。该***可以是TV、机顶盒(STB)、桌上型计算机、膝上型计算机、或掌上型计算机、PDA、视频或图像存储设备(例如，VCR或DVR)。该***可以是上面列出的设备的组合或合并它们的另一种设备。此外，该***可以是上述装置的组合或包括它们之中另一装置的一部分的一种装置。该***包括至少一个视频源1310、至少一个输入/输出单元1320、处理器1340、存储器1350和显示单元1330。
视频源1310可以是TV接收器、VCR、或其它视频存储装置。视频源1310可以指示至少一个网络连接，用于使用互联网、广域网(WAN)、局域网(LAN)、地面广播***、有线网络、卫星通信网、无线网、电话网等从服务器接收视频或图像。此外，视频源1310可以是这些网络的组合或包括这些网络中另一个网络的一部分的一个网络。
输入/输出设备1320、处理器1340和存储器1350通过通信介质1360互相通信。通信介质1360可以是通信总线、通信网络或至少一个内部连接电路。从视频源1310接收的输入视频数据可以由处理器1340使用存储在存储器1350中的至少一个软件程序来处理，并且可以由处理器1340执行以产生提供给显示单元1330的输出视频。
具体地，存储在存储器1350中的软件程序包括执行本发明的方法的基于小波的可分级编解码器。可以在存储器1350中存储、从诸如紧密只读存储器(CD-ROM)或软盘的存储介质中读取、或通过各种网络从预定服务器下载该编解码器。
工业实用性
如上所述，本发明提供了能够有效减少实施PFGS算法所需的计算量的视频编码。由于根据本发明的视频编码过程修改了解码过程，因此本发明能够应用于H.264 SE标准文件。
尽管参照本发明的示范性实施例对本发明进行了具体图示和描述，但本领域技术人员应当理解，在不脱离由所附权利要求书所限定的本发明的精神和范围的情况下，可以对本发明进行形式和细节上的各种修改。

Claims (50)

1.一种支持精细可分级FGS的视频编码方法，所述方法包括：
使用以预定精度估计的第一运动向量来获得当前帧的预测图像；
量化所述当前帧和所述预测图像之间的残差；
逆量化所述量化的残差并产生当前帧的重构图像；
使用第二运动向量对FGS层参考帧和基层参考帧进行运动补偿；
计算所述运动补偿的FGS层参考帧和所述运动补偿的基层参考帧之间的残差；
从所述当前帧中减去当前帧的重构图像和所计算的残差；以及
对相减结果进行编码。
2.如权利要求1所述的方法，其中，所述进行运动补偿包括：通过改变所述第一运动向量的精度来产生所述第二运动向量，并且在进行运动补偿中所用的所述第二运动向量的精度低于在获得当前帧的预测图像中所用的所述第一运动向量的精度。
3.如权利要求1所述的方法，其中，所计算的残差是第一残差和第二残差的平均值，其中所述第一残差是前向FGS层参考帧和前向基层参考帧之间的残差，所述第二残差是后向FGS层参考帧和后向基层参考帧之间的残差。
4.如权利要求2所述的方法，其中，如果对运动补偿进行内插，则使用与在获得当前帧的预测图像中所用的内插滤波器的类型不同的内插滤波器来用于所述内插。
5.如权利要求1所述的方法，其中，所述对相减结果进行编码包括：
变换所述相减结果以产生变换系数；
量化所述变换系数以产生量化系数；以及
无损编码所述量化系数。
6.如权利要求1所述的方法，其中，所述获得当前帧的预测图像包括：
使用当前帧和至少一个重构的基层帧作为参考帧来估计所述第一运动向量；
使用所述第一运动向量对所述参考帧进行运动补偿；以及
通过求所述运动补偿的参考帧的平均值而获得所述预测图像。
7.如权利要求1所述的方法，其中，所述获得图像的预测图像包括：
使用所述当前帧和与当前帧相邻的原始帧作为参考帧来估计所述第一运动向量；
使用所述第一运动向量对所述参考帧进行运动补偿；以及
通过求所述运动补偿的参考帧的平均值来获得所述预测图像。
8.如权利要求1所述的方法，其中，所述FGS层参考帧是与FGS层参考帧相邻的原始帧，而所述基层参考帧是由所述基层重构的相邻帧。
9.如权利要求1所述的方法，其中，所述FGS层参考帧是由所述FGS层重构的相邻帧，而所述基层参考帧是由所述基层重构的相邻帧。
10.如权利要求5所述的方法，其中，在量化所述变换系数中所用的量化步长小于在量化所述残差中所用的量化步长。
11.一种支持精细可分级FGS的视频编码方法，所述方法包括：
使用以预定精度估计的第一运动向量来获得当前帧的预测图像；
量化所述当前帧和所述预测图像之间的残差；
逆量化所述量化的残差，并产生当前帧的重构图像；
使用第二运动向量对FGS层参考帧和基层参考帧进行运动补偿，并分别产生所述FGS层的预测帧和所述基层的预测帧；
计算所述FGS层的预测帧和所述基层的预测帧之间的残差；
从当前帧中减去所述重构图像和所述残差；以及
对相减结果进行编码。
12.如权利要求11所述的方法，其中，所述进行运动补偿包括：通过改变所述第一运动向量的精度来产生所述第二运动向量，并且在进行运动补偿中所用的所述第二运动向量的精度低于在获得当前帧的预测图像中所用的所述第一运动向量的精度。
13.如权利要求11所述的方法，其中，所述预测FGS层帧是运动补偿的FGS层参考帧的平均值，而所述预测基层帧是运动补偿的基层参考帧的平均值。
14.如权利要求12所述的方法，其中，如果对运动补偿进行内插，则使用与在获得当前帧的预测图像中所用的内插滤波器的类型不同的内插滤波器来用于所述内插。
15.如权利要求11所述的方法，其中，所述对相减结果进行编码包括：
变换所述相减结果以产生变换系数；
量化所述变换系数以产生量化系数；以及
无损编码所述量化系数。
16.如权利要求15所述的方法，其中，在量化所述变换系数中所用的量化步长小于在量化所述残差中所用的量化步长。
17.一种支持精细可分级FGS的视频编码方法，所述方法包括：
使用以预定精度估计的第一运动向量来获得当前帧的预测图像；
量化所述当前帧和所述预测图像之间的残差；
逆量化所述量化的残差，并产生当前帧的重构图像；
计算精细可分级FGS层参考帧和基层参考帧之间的残差；
使用第二运动向量对所述残差进行运动补偿；
从当前帧中减去所述重构图像和所述运动补偿结果；以及
对相减结果进行编码。
18.如权利要求17所述的方法，其中，所述进行运动补偿包括：通过改变所述第一运动向量的精度来产生所述第二运动向量，并且在对所述残差进行运动补偿中所用的第二运动向量的精度低于在获得当前帧的预测图像中所用的第一运动向量的精度。
19.如权利要求17所述的方法，其中，进行所述相减的运动补偿结果是运动补偿的残差的平均值。
20.如权利要求18所述的方法，其中，如果对运动补偿进行内插，则使用与在获得当前帧的预测图像中所用的内插滤波器的类型不同的内插滤波器来用于所述内插。
21.如权利要求17所述的方法，其中，所述对相减结果进行编码包括：
变换所述相减结果以产生变换系数；
量化所述变换系数以产生量化系数；以及
无损编码所述量化系数。
22.如权利要求21所述的方法，其中，在量化所述变换系数中所用的量化步长小于在量化所述残差中所用的量化步长。
23.一种支持精细可分级FGS的视频编码方法，所述方法包括：
使用以预定精度估计的第一运动向量来获得当前帧的预测图像；
使用具有比所述第一运动向量的精度低的精度的第二运动向量对FGS层参考帧和基层参考帧进行运动补偿；
计算所述运动补偿的FGS层和基层参考帧之间的残差；
从当前帧中减去所述预测图像和所述残差；以及
对相减结果进行编码。
24.一种支持精细可分级FGS的视频编码方法，所述方法包括：
使用以预定精度估计的第一运动向量来获得当前帧的预测图像；
使用具有比所述第一运动向量的精度低的精度的第二运动向量对FGS层参考帧和基层参考帧进行运动补偿，并分别产生所述FGS层的预测帧和所述基层的预测帧；
计算所述FGS层的预测帧和所述基层的预测帧之间的残差；
从当前帧中减去所述预测图像和所计算的残差；以及
对相减结果进行编码。
25.如权利要求24所述的方法，还包括：将所述FGS层的预测帧和所述基层的预测帧之间的残差乘以加权因子α，其中，在对所述预测图像进行减法时的所计算的残差是所述加权因子α与所述FGS层的预测帧和所述基层的预测帧之间的残差的乘积。
26.一种支持精细可分级FGS的视频编码方法，所述方法包括：
使用以预定精度估计的第一运动向量来获得当前帧的预测图像；
计算FGS层参考帧和基层参考帧之间的残差；
使用具有比所述第一运动向量的精度低的精度的第二运动向量对所述残差进行运动补偿；
从当前帧中减去所述重构图像和所述运动补偿结果；以及
对相减结果进行编码。
27.一种支持精细可分级FGS的视频解码方法，所述方法包括：
从输入比特流中提取基层纹理数据和FGS层纹理数据以及第一运动向量；
根据所述基层纹理数据重构基层帧；
使用第二运动向量对FGS层参考帧和基层参考帧进行运动补偿；
计算所述运动补偿的FGS层参考帧和所述运动补偿的基层参考帧之间的残差；以及
将所述基层帧、FGS层纹理数据和所述残差相加。
28.如权利要求27所述的方法，其中，在进行运动补偿中所用的第二运动向量具有比所述第一运动向量的精度低的精度。
29.如权利要求27所述的方法，其中，所计算的残差是第一残差和第二残差的平均值，其中所述第一残差是前向FGS层参考帧和前向基层参考帧之间的残差，所述第二残差是后向FGS层参考帧和后向基层参考帧之间的残差。
30.如权利要求28所述的方法，其中，如果对运动补偿进行内插，则使用与在重构所述基层帧中所用的内插滤波器的类型不同的内插滤波器来用于所述内插。
31.如权利要求27所述的方法，其中，通过对所提取的FGS层纹理数据进行逆量化和逆变换而获得在对所述基层帧进行加法时的FGS层纹理数据。
32.如权利要求31所述的方法，其中，所述重构基层帧包括：
逆量化所述基层纹理数据；
逆变换所述逆量化的结果；
使用所述第一运动向量根据先前重构的基层参考帧产生预测图像；以及
将所述预测图像和所述逆变换的结果相加。
33.如权利要求32所述的方法，其中，在对所述FGS层纹理数据进行逆量化中所用的量化步长小于在重构基层帧时所进行的逆量化中所用的量化步长。
34.一种支持精细可分级FGS的视频解码方法，所述方法包括：
从输入比特流中提取基层纹理数据和FGS层纹理数据以及第一运动向量；
根据所述基层纹理数据重构基层帧；
使用第二运动向量对FGS层参考帧和基层参考帧进行运动补偿，并产生预测FGS层帧和预测基层帧；
计算所述预测FGS层参考帧和所述预测基层参考帧之间的残差；以及
将所述纹理数据、所重构的基层帧和所述残差相加。
35.如权利要求34所述的方法，其中，进行运动补偿中所用的所述第二运动向量具有比所述第一运动向量的精度低的精度。
36.如权利要求35所述的方法，其中，如果对运动补偿进行内插，则使用与在重构所述基层帧中所用的内插滤波器的类型不同的内插滤波器来用于所述内插。
37.如权利要求34所述的方法，其中，通过对所提取的FGS层纹理数据进行逆量化和逆变换而获得在对所述基层帧、所述FGS层中的纹理数据、和所述残差进行相加时的FGS层纹理数据。
38.一种支持精细可分级FGS的视频解码方法，所述方法包括：
从输入比特流中提取基层纹理数据和FGS层纹理数据以及第一运动向量；
根据所述基层纹理数据重构基层帧；
计算FGS层参考帧和基层参考帧之间的残差；
使用第二运动向量对所述残差进行运动补偿；以及
将所述FGS层纹理数据、所述重构的基层帧、和所述运动补偿结果相加。
39.如权利要求38所述的方法，其中，进行所述相加的运动补偿结果是运动补偿的残差的平均值。
40.如权利要求38所述的方法，其中，进行运动补偿中所用的所述第二运动向量具有比所述第一运动向量的精度低的精度。
41.如权利要求40所述的方法，其中，如果对运动补偿进行内插，则使用与在重构所述基层帧中所用的内插滤波器的类型不同的内插滤波器来用于所述内插。
42.如权利要求38所述的方法，其中，通过对所提取的FGS层纹理数据进行逆量化和逆变换获得在进行所述相加时的FGS层纹理数据。
43.一种支持精细可分级FGS的视频解码方法，所述方法包括：
从输入比特流中提取基层纹理数据、FGS层纹理数据以及第一运动向量；
使用所述第一运动向量根据所述基层纹理数据重构基层帧的预测图像；
使用具有比所述第一运动向量的精度低的精度的第二运动向量对FGS层参考帧和基层参考帧进行运动补偿；
计算所述运动补偿的FGS层参考帧和所述运动补偿的基层参考帧之间的残差；以及
将所述FGS层纹理数据、所述预测图像、和所计算的残差相加。
44.一种支持精细可分级FGS的视频解码方法，所述方法包括：
从输入比特流中提取基层纹理数据、FGS层纹理数据和第一运动向量；
使用所述第一运动向量根据所述基层纹理数据重构基层帧的预测图像；
使用具有比所述第一运动向量的精度低的精度的第二运动向量对FGS层参考帧和基层参考帧进行运动补偿，并产生预测FGS层帧和预测基层帧；
计算所述预测FGS层帧和所述预测基层帧之间的残差；以及
将所述FGS层纹理数据、所述预测图像、和所计算的残差相加。
45.如权利要求25所述的方法，还包括：将所述预测FGS层帧和所述预测基层帧之间的残差乘以加权因子α，其中，在进行所述加法时的所计算的残差是所述加权因子α与所述预测FGS层帧和所述预测基层帧之间的残差的乘积。
46.一种支持精细可分级FGS的视频解码方法，所述方法包括：
从输入比特流中提取基层纹理数据、FGS层纹理数据和第一运动向量；
使用所述第一运动向量根据所述基层纹理数据重构基层帧的预测图像；
计算FGS层参考帧和基层参考帧之间的残差；
使用具有比所述第一运动向量的精度低的精度的第二运动向量对所述残差进行运动补偿；以及
将所述FGS层纹理数据、所述预测图像、和所述残差相加。
47.一种基于精细可分级FGS的视频编码器，包括：
用于使用以预定精度估计的第一运动向量来获得当前帧的预测图像的部件；
用于量化所述当前帧和所述预测图像之间的残差、逆量化所述量化的残差、并产生当前帧的重构图像的部件；
用于使用第二运动向量对FGS层参考帧和基层参考帧进行运动补偿的部件；
用于计算所述运动补偿的FGS层和基层参考帧之间的残差的部件；
用于从当前帧中减去所述重构图像和所述残差的部件；以及
用于对所述相减结果进行编码的部件。
48.如权利要求47所述的编码器，其中，在进行运动补偿中所用的第二运动向量的精度低于在获得当前帧的预测图像中所用的第一运动向量的精度。
49.一种基于精细可分级FGS的视频解码器，包括：
用于从输入比特流中提取基层纹理数据、FGS层纹理数据和第一运动向量的部件；
用于根据所述基层纹理数据重构基层帧的部件；
用于使用第二运动向量对FGS层参考帧和基层参考帧进行运动补偿、并产生预测FGS层帧和预测基层帧的部件；
用于计算所述预测FGS层帧和所述预测基层帧之间的残差的部件；以及
用于将所述纹理数据、所重构的基层帧和所述残差相加的部件。
50.如权利要求49所述的解码器，其中，在进行运动补偿中所用的第二运动向量的精度低于从输入比特流中提取的第一运动向量的精度。
CNA2006800191144A 2005-04-29 2006-04-20 支持快速精细可分级的视频编码方法和装置 Pending CN101185342A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US67592105P 2005-04-29 2005-04-29
US60/675,921 2005-04-29
KR1020050052428 2005-06-17

Publications (1)

Publication Number Publication Date
CN101185342A true CN101185342A (zh) 2008-05-21

Family

ID=37651703

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800191144A Pending CN101185342A (zh) 2005-04-29 2006-04-20 支持快速精细可分级的视频编码方法和装置

Country Status (4)

Country Link
US (1) US20060245495A1 (zh)
KR (1) KR100703778B1 (zh)
CN (1) CN101185342A (zh)
BR (1) BRPI0611142A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104620577A (zh) * 2012-08-07 2015-05-13 高通股份有限公司 在一般化残差预测的框架下的经加权差预测
CN104685881A (zh) * 2012-09-28 2015-06-03 夏普株式会社 图像解码装置以及图像编码装置
WO2017031671A1 (zh) * 2015-08-24 2017-03-02 华为技术有限公司 运动矢量场编码方法和解码方法、编码和解码装置
CN110460861A (zh) * 2014-01-08 2019-11-15 微软技术许可有限责任公司 表示经编码的比特流中的运动向量
US11638016B2 (en) 2014-01-08 2023-04-25 Microsoft Technology Licensing, Llc Selection of motion vector precision
CN116982311A (zh) * 2021-03-19 2023-10-31 高通股份有限公司 用于学习的视频压缩的多尺度光流

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4641892B2 (ja) * 2005-07-27 2011-03-02 パナソニック株式会社 動画像符号化装置、方法、及びプログラム
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8340179B2 (en) * 2006-03-21 2012-12-25 Canon Kabushiki Kaisha Methods and devices for coding and decoding moving images, a telecommunication system comprising such a device and a program implementing such a method
JP4321626B2 (ja) * 2007-05-23 2009-08-26 ソニー株式会社 画像処理方法および画像処理装置
KR102139535B1 (ko) 2007-10-16 2020-07-30 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8705627B2 (en) * 2008-07-25 2014-04-22 Sony Corporation Image processing apparatus and method
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
KR20100050072A (ko) * 2008-11-05 2010-05-13 삼성전자주식회사 데이터 압축 방법 및 이를 이용한 데이터 통신 시스템
US8665367B2 (en) * 2010-01-29 2014-03-04 Sharp Laboratories Of America, Inc. Video resolution enhancement technique
JP5768491B2 (ja) * 2011-05-17 2015-08-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
KR102345770B1 (ko) * 2012-12-04 2022-01-03 인텔렉추얼디스커버리 주식회사 비디오 부호화 및 복호화 방법, 그를 이용한 장치
KR20150056679A (ko) * 2013-11-15 2015-05-27 광운대학교 산학협력단 다중 계층 비디오 코딩을 위한 계층 간 참조 픽쳐 생성 방법 및 장치
US20150271512A1 (en) * 2014-03-18 2015-09-24 Texas Instruments Incorporated Dynamic frame padding in a video hardware engine
US10448013B2 (en) * 2016-12-22 2019-10-15 Google Llc Multi-layer-multi-reference prediction using adaptive temporal filtering
US11509897B2 (en) 2020-08-07 2022-11-22 Samsung Display Co., Ltd. Compression with positive reconstruction error
US11503322B2 (en) 2020-08-07 2022-11-15 Samsung Display Co., Ltd. DPCM codec with higher reconstruction quality on important gray levels
CN114268797B (zh) * 2021-12-23 2024-02-06 北京达佳互联信息技术有限公司 用于视频的时域滤波的方法、装置、存储介质及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614936B1 (en) * 1999-12-03 2003-09-02 Microsoft Corporation System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding
US6904092B2 (en) * 2002-02-21 2005-06-07 Koninklijke Philips Electronics N.V. Minimizing drift in motion-compensation fine granular scalable structures
KR100626651B1 (ko) * 2004-02-17 2006-09-21 한국전자통신연구원 선택적인 미세입자 스케일러블 코딩 장치 및 그 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104620577A (zh) * 2012-08-07 2015-05-13 高通股份有限公司 在一般化残差预测的框架下的经加权差预测
CN104685881A (zh) * 2012-09-28 2015-06-03 夏普株式会社 图像解码装置以及图像编码装置
CN104685881B (zh) * 2012-09-28 2018-05-15 夏普株式会社 图像解码装置、图像编码装置以及图像解码方法
CN110460861A (zh) * 2014-01-08 2019-11-15 微软技术许可有限责任公司 表示经编码的比特流中的运动向量
CN110460861B (zh) * 2014-01-08 2022-11-18 微软技术许可有限责任公司 表示经编码的比特流中的运动向量
US11546629B2 (en) 2014-01-08 2023-01-03 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US11638016B2 (en) 2014-01-08 2023-04-25 Microsoft Technology Licensing, Llc Selection of motion vector precision
WO2017031671A1 (zh) * 2015-08-24 2017-03-02 华为技术有限公司 运动矢量场编码方法和解码方法、编码和解码装置
US11102501B2 (en) 2015-08-24 2021-08-24 Huawei Technologies Co., Ltd. Motion vector field coding and decoding method, coding apparatus, and decoding apparatus
CN116982311A (zh) * 2021-03-19 2023-10-31 高通股份有限公司 用于学习的视频压缩的多尺度光流

Also Published As

Publication number Publication date
BRPI0611142A2 (pt) 2010-08-17
KR100703778B1 (ko) 2007-04-06
US20060245495A1 (en) 2006-11-02
KR20060113319A (ko) 2006-11-02

Similar Documents

Publication Publication Date Title
CN101185342A (zh) 支持快速精细可分级的视频编码方法和装置
CN101208958B (zh) 使用基于多层的加权预测的视频编码方法和装置
KR100703788B1 (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
CN101185334B (zh) 利用加权预测编码/解码多层视频的方法和装置
KR100703760B1 (ko) 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치
CN1764280B (zh) 基于多层在视频编码器中有效压缩运动矢量的方法和装置
CN102084655B (zh) 通过过滤器选择进行的视频编码
US20070047644A1 (en) Method for enhancing performance of residual prediction and video encoder and decoder using the same
KR100763179B1 (ko) 비동기 픽쳐의 모션 벡터를 압축/복원하는 방법 및 그방법을 이용한 장치
US20060120448A1 (en) Method and apparatus for encoding/decoding multi-layer video using DCT upsampling
KR20060135992A (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
CN101288308A (zh) 满足单环解码条件的帧内基本层预测方法及使用该预测方法的视频编码方法和设备
KR100703746B1 (ko) 비동기 프레임을 효율적으로 예측하는 비디오 코딩 방법 및장치
RU2340115C1 (ru) Способ кодирования видеосигналов и устройство, поддерживающее быстрый алгоритм точной масштабируемости по качеству
KR100818921B1 (ko) 모션 벡터 압축 방법, 상기 압축 방법을 이용하는 비디오인코더 및 비디오 디코더
JP2005160084A (ja) ＳＮＲ（ｓｉｇｎａｌｔｏｎｏｉｓｅｒａｔｉｏ）スケーラビリティを実現するための動映像処理装置及びその方法
KR0178221B1 (ko) 픽셀의 평균값을 이용한 개선된 패턴 벡터 부호화 시스템
WO2007024106A1 (en) Method for enhancing performance of residual prediction and video encoder and decoder using the same
EP1905238A1 (en) Video coding method and apparatus for reducing mismatch between encoder and decoder
KR100962332B1 (ko) 스케일러블 비디오 인코딩 장치 및 그 방법
WO2006104357A1 (en) Method for compressing/decompressing motion vectors of unsynchronized picture and apparatus using the same

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080521