CN1947426A - 用于实现运动可伸缩性的方法和设备 - Google Patents

用于实现运动可伸缩性的方法和设备 Download PDF

Info

Publication number
CN1947426A
CN1947426A CNA2005800119132A CN200580011913A CN1947426A CN 1947426 A CN1947426 A CN 1947426A CN A2005800119132 A CNA2005800119132 A CN A2005800119132A CN 200580011913 A CN200580011913 A CN 200580011913A CN 1947426 A CN1947426 A CN 1947426A
Authority
CN
China
Prior art keywords
motion vector
enhancement layer
layer
vector components
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005800119132A
Other languages
English (en)
Inventor
韩宇镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1947426A publication Critical patent/CN1947426A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0206—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings
    • H04M1/0208—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings characterized by the relative motions of the body parts
    • H04M1/0235—Slidable or telescopic telephones, i.e. with a relative translation movement of the body parts; Telephones using a combination of translation and other relative motions of the body parts
    • H04M1/0237—Sliding mechanism with one degree of freedom
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种通过从基本层的运动矢量来有效地预测增强层中的运动矢量来提高视频编码方法的多层运动矢量压缩效率的设备及方法。所述设备包括：基本层确定模块，使用获得的运动矢量确定具有基本层的像素精度的基本层的运动矢量分量；和增强层确定模块，确定具有增强层像素精度的增强层的运动矢量分量。

Description

用于实现运动可伸缩性的方法和设备
                           技术领域
本发明涉及一种视频压缩方法，更具体地讲，涉及一种在使用多层结构的视频编码方法中，通过从基本层的运动矢量中有效地预测增强层中的运动矢量来提高运动矢量的压缩效率的设备及方法。
                           背景技术
比如互联网的信息技术(IT)的发展使文本、语音和视频通信不断增加。传统的文本通信不能满足用户的各种需要，从而能够提供比如文本、图像和音乐的多种类型的多媒体服务不断增加。由于多媒体数据的大小通常很大，所以多媒体数据需要大容量的存储介质以及用于传输的宽的带宽。因此，需要用于传送包括文本、视频以及音频的多媒体的压缩编码方法。
数据压缩的基本原理是去除数据冗余。可通过下面的方式来进行数据压缩：通过去除图像中相同的颜色或对象被重复的空间冗余，或者通过去除运动图像中相邻帧之间没有改变或者在音频中相同的声音被重复的时间冗余，或者通过去除考虑到人的视力或者对高频的有限感知的视觉冗余。
目前，大多数视频编码标准是基于运动补偿估计编码方法。通常通过基于运动补偿的时间滤波来去除时间冗余，而通常通过空间变换来去除空间冗余。
为了发送在去除数据冗余之后创建的多媒体，需要传输介质。不同类型的用于多媒体的传输介质具有不同的性能。目前使用的传输介质有各种传输速率。例如，超高速通信网络可按照每秒数百万比特的速率传输数据，而移动通信网络具有每秒384千比特的传输速率。
因此，为了支持具有各种速度的传输介质或者为了以适合于传输环境的速率传输多媒体数据，具有可伸缩性的数据编码方法，比如，小波视频编码和子带视频编码，可适合于多媒体环境。可伸缩性指在解码器或预解码器部分对于单个压缩的比特流进行部分解码的能力。所述解码器或者预解码器可仅从由可伸缩编码方法编码的比特流中的一部分来重构具有不同质量水平、分辨率或者帧速率的多媒体序列。
在传统的视频编码技术中，比特流通常包括运动信息(运动矢量、块大小等)和与运动估计之后获得的残差相应的纹理信息。
在传统的用于获得纹理可伸缩性的方法中，小波变换和嵌入式量化被用于实现空间可伸缩性，运动补偿时间滤波被用于提供时间可伸缩性。
另一实现纹理可伸缩性的方法是时间上或者空间上将纹理信息构造成多个层。例如，所述纹理信息包括多个层：即，基本层、第一增强层和第二增强层。为了支持空间可伸缩性，各个层具有不同的分辨率等级：即1/4公共中间格式(QCIF)，公共中间格式(CIF)和2CIF。在每一层内实现信噪比(SNR)和时间可伸缩性。
在现有的视频编码方案中，运动信息通常被无损地压缩为一个整体。然而，由于过量的运动信息，特别是以低比特率压缩的比特流，非可伸缩的运动信息可显著降低编码效率。为了解决这个问题，正在积极开展实现运动可伸缩性的研究。一种支持运动可伸缩性的方法是根据相对重要性将运动信息划分为多个层，并且有损地仅发送低比特率的运动信息的部分，将更多的比特分配给纹理。运动可伸缩性是MPEG-21部分13可伸缩视频编码很关心的问题。
                          发明内容
                          技术问题
最近，提出了通过将运动矢量构造为多个层来实现运动可伸缩性的各种方法。这些方法被分为两类：基于划分的方法和基于精度的方法。
所述基于划分的方法通过在具有相同像素精度的帧中获得各种分辨率的运动矢量来产生多层的运动矢量。所述基于精度的方法通过在具有一个分辨率的帧中获得多种像素精度的运动矢量来产生多层运动矢量。
本发明提出了一种通过使用基于像素精度的方法将运动矢量重构成多层来实现运动可伸缩性的方法。该方法集中在对基本层和增强层同时提供高的编码性能。
                          技术方案
本发明提供了一种使用包括多个层的运动矢量来有效地实现运动可伸缩性的方法。
本发明还提供了一种通过以使失真最小化的方式根据像素精度将运动矢量构造为多个层而当仅以低比特率来使用基本层时提高编码效率的方法。
本发明还提供了一种当以高比特率使用所有层时通过最小化开销来提高编码性能的方法。
根据本发明的一方面，提供了一种用于重构以预定像素精度获得的运动矢量的设备，所述设备包括：基本层确定模块，根据基本层的像素精度使用获得的运动矢量来确定基本层的运动矢量分量；和增强层确定模块，根据增强层的像素精度确定增强层的运动矢量分量，所述增强层的运动矢量分量接近于获得的运动矢量。
所述基本层确定模块根据基本层的像素精度确定接近于从相邻块的运动矢量预测的值的基本层的运动矢量分量。
为了根据基本层的像素精度确定基本层的运动矢量分量，所述基本层确定模块可将获得的运动矢量分离为符号和大小，可使用无符号值表示所述运动矢量的大小并将原始符号附加在所述值上。
所述基本层确定模块可根据基本层的像素精度将最接近于获得的运动矢量的值确定为基本层的运动矢量分量。
可使用xb＝sign(x)|x|+0.5来确定所述基本层的运动矢量分量xb，其中，sign(x)表示当x为正值和负值时分别返回值1和-1的信号函数，|x|表示关于变量x的绝对值函数，|x|+0.5表示通过截去小数部分不超过|x|+0.5而给出最大的整数的函数。
所述重构以预定像素精度获得的运动矢量的设备可还包括：第一压缩模块，使用下面所述的事实去除第一增强层的运动矢量分量中的冗余：当第一增强层的运动矢量分量不是0时，第一增强层的运动矢量分量的符号与基本层的运动矢量分量的符号相反。
所述重构以预定像素精度获得的运动矢量的设备可还包括：第二压缩模块，使用下面所述的事实去除第二增强层的运动矢量分量中的冗余：当第一增强层的运动矢量分量不是0时，第二增强层的运动矢量分量总是0。
根据本发明的另一方面，提供了一种使用包括多个层的运动矢量的视频编码器，所述编码器包括：运动矢量重构模块、时间滤波模块、空间变换模块和量化模块，其中，所述运动矢量重构模块包括：运动矢量搜索模块，获得具有预定的像素精度的运动矢量；基本层确定模块，根据基本层的像素精度使用获得的运动矢量来确定基本层的运动矢量分量；和增强层确定模块，根据增强层的像素精度确定增强层的运动矢量分量，其中所述增强层的运动矢量分量接近于获得的运动矢量；所述时间滤波模块通过使用获得的运动矢量在时间轴方向上对帧进行滤波来去除时间冗余；所述空间变换模块从所述已经去除时间冗余的经过滤波的帧去除空间冗余，并创建变换系数；和所述量化模块对变换系数执行量化。
根据本发明的另一方面，提供了一种用于重构包括基本层和至少一个增强层的运动矢量的设备，所述设备包括：层重构模块，从自输入的比特流解析的所述多个层的相应值来重构各个层的运动矢量分量；和运动相加模块，将重构的所述多个层的运动矢量分量加在一起并提供该运动矢量。
根据本发明的另一方面，提供了一种用于重构包括基本层和至少一个增强层的运动矢量的设备，所述设备包括：第一重构模块，通过将符号附加到从输入的比特流解析的第一增强层的值来重构第一增强层的运动矢量分量，所述符号与基本层相应值的符号相反；层重构模块，从基本层的值和除第一增强层之外的至少一个增强层的值重构基本层的运动矢量分量和所述除第一增强层之外的至少一个增强层的运动矢量分量，其中所述基本层的值和所述除第一增强层之外的至少一个增强层的值从输入的比特流被解析；和运动相加模块，将所述重构的多个层的运动矢量分量相加在一起，并提供该运动矢量。
还根据本发明的另一方面，提供了一种用于重构包括基本层和至少一个增强层的运动矢量的设备，所述设备包括：第一重构模块，通过将符号附加到从输入的比特流解析的第一增强层的值来重构第一增强层的运动矢量分量，所述符号与基本层的相应值的符号相反；第二重构模块，当第一增强层的值不是0时，设置第二增强层的运动矢量分量为0，而当第一增强层的值是0时，从自输入的比特流解析的第二增强层的值来重构第二增强层的运动矢量分量；层重构模块，从基本层的相应值和除第一及第二增强层之外的至少一个增强层的值来重构基本层的运动矢量分量和所述至少一个增强层的运动矢量分量，其中，所述基本层的相应值和所述至少一个增强层的值从输入的比特流被解析；和运动相加模块，将重构的所述多个层的运动矢量分量相加在一起，并提供该运动矢量。
根据本发明的另一方面，提供了一种使用包括多个层的运动矢量的视频解码器，所述解码器包括：熵解码模块，解析输入的比特流并从所述比特流提取纹理信息和运动信息；运动矢量重构模块，从包含在提取的运动信息中的多个层的相应值来重构各个层的运动矢量分量，并在将所述各个层的运动矢量相加在一起后提供该运动矢量；逆量化模块，对纹理信息进行逆量化并输出变换系数；逆空间变换模块，通过执行逆空间变换将变换系数逆变换为空间域中的变换系数；和逆时间滤波模块，使用提供的运动矢量来对空间域中的逆变换的变换系数执行逆时间滤波，并重构视频序列中的帧。
所述运动矢量重构模块可包括：第一重构模块，通过将符号附加到包含在运动信息中的第一增强层的值来重构第一增强层的运动矢量分量，所述符号与基本层的相应值的符号相反；层重构模块，从基本层的相应值和除第一增强层之外的至少一个增强层的值来重构基本层的运动矢量分量和所述除第一增强层之外的至少一个增强层的运动矢量分量；和运动相加模块，将重构的所述多个层的运动矢量分量相加在一起，并提供该运动矢量。
另外，所述运动矢量重构模块可包括：第一重构模块，通过将符号附加到包含在运动信息中的第一增强层的值来重构第一增强层的运动矢量分量，所述符号与基本层相应值的符号相反；第二重构模块，当第一增强层的值不是0时，设置第二增强层的运动矢量分量为0，而当第一增强层的值是0时，从包含在运动信息中的第二增强层的值来重构第二增强层的运动矢量分量；层重构模块，从基本层的值和包含在运动信息中的除第一及第二增强层之外的至少一个增强层的值来重构基本层的运动矢量分量和所述除第一及第二增强层之外的至少一个增强层的运动矢量分量；和运动相加模块，将重构的所述多个层的运动矢量分量相加在一起，并提供该运动矢量。
根据本发明的另一方面，提供了一种用于重构以预定像素精度获得的运动矢量的方法，所述方法包括：根据基本层的像素精度使用获得的运动矢量来确定基本层的运动矢量分量；和根据所述增强层的像素精度确定增强层的运动矢量分量，所述增强层的运动矢量分量接近于获得的运动矢量。
在确定基本层的运动矢量分量的步骤中，基本层的运动矢量分量根据基本层的像素精度被确定为接近于从相邻块的运动矢量预测的值。
在确定基本层的运动矢量分量的步骤中，根据基本层的像素精度，基本层的运动矢量分量通过如下操作被确定，即：将获得的运动矢量分离成符号和大小；使用无符号的值来表示所述运动矢量的大小，并将原始符号附加到该值上。
在确定基本层的运动矢量分量的步骤中，根据基本层的像素精度，最接近于获得的运动矢量的值被确定为基本层的运动矢量分量。
根据本发明的另一方面，提供了一种用于重构包括基本层和至少一个增强层的运动矢量的方法，所述方法包括：从自输入的比特流中解析的所述多个层的相应值来重构各个层的运动矢量分量；和将重构的所述多个层的运动矢量分量相加在一起，并提供该运动矢量。
根据本发明的另一方面，提供了一种用于重构包括基本层和至少一个增强层的运动矢量的方法，所述方法包括：通过将符号附加到从输入的比特流解析的第一增强层的值来重构第一增强层的运动矢量分量，所述符号与基本层的相应值的符号相反；从自输入的比特流解析的基本层的值和除第一增强层之外的至少一个增强层的值来重构基本层的运动矢量分量和所述至少一个增强层的运动矢量分量；和将重构的所述多个层的运动矢量分量相加在一起，并提供该运动矢量。
根据本发明的另一方面，提供了一种用于重构包括基本层和至少一个增强层的运动矢量的方法，所述方法包括：通过将符号附加到从输入的比特流中解析的第一增强层的值来重构第一增强层的运动矢量分量，所述符号与基本层相应值的符号相反；当第一增强层的值不是0时，设置第二增强层的运动矢量分量为0，而当第一增强层的值是0时，从自输入的比特流中解析的第二增强层的值来重构第二增强层的运动矢量分量；从自输入的比特流中解析的基本层的值和除第一及第二增强层之外的至少一个增强层的值来重构基本层的运动矢量分量和所述至少一个增强层的运动矢量分量；和将重构的多个层的运动矢量分量相加在一起，并提供该运动矢量。
                             附图说明
通过下面结合附图对实施例进行详细描述，本发明的这些和/或其他方面和优点将会变得更加清楚，其中：
图1是用于解释根据像素精度来重构多层的运动矢量的方法的示图；
图2表示根据本发明第一实施例的提高运动矢量的压缩效率的方法；
图3表示按与相邻块的相关性来获得当前块的预测值的示例；
图4表示本发明的第三实施例；
图5是表示根据第一到第三实施例的使用运动矢量测量峰值信噪比(PSNR)作为视频质量的指标的结果的曲线图；
图6是表示根据本发明第三实施例的当以100Kbps来压缩Foreman CIF序列时测量PSNR的结果的曲线图；
图7是将本发明的图6的第三实施例和第四实施例的试验结果进行比较的曲线图；
图8是视频编码***的框图；
图9是视频编码器的框图；
图10是根据本发明第一实施例的示例性的运动矢量重构模块的框图；
图11是用于解释获得增强层的运动矢量的处理的示图；
图12是用于实现根据本发明第四实施例的方法的另一示例性运动矢量重构模块的框图；
图13是视频解码器的框图；
图14是根据本发明的示例性运动矢量重构模块的框图；
图15是用于实现根据本发明第四实施例的方法的另一示例性运动矢量重构模块的框图；
图16是表示比特流结构的示意图；
图17是表示每一图像组(GOP)字段的详细结构的示图；和
图18是表示运动矢量(MV)字段的详细结构的示图。
                        具体实施方式
本发明提出了一种以当仅使用基本层时使失真最小化的方式构造基本层的方法，并且本发明还提出了一种以当使用所有的层时使***开销最小化的方式量化增强层的方法。
现在将参照附图对本发明进行更加全面的描述，在附图中显示了本发明的示例性实施例。通过参照下面的示例性实施例的详细描述以及附图，可更容易地理解本发明的优点和特点以及实现本发明的优点和特点的方法。然而，本发明可以以多种形式实现并且不应该被解释为限于这里描述的实施例。相反，提供这些实施例以便于本公开会更全面和完整，并向本领域的技术人员传达本发明的概念，本发明只由权利要求限定。贯穿说明书，相同的标号表示相同的部件。
图1显示一个运动矢量被划分为3个运动矢量分量的示例。参照图1，在用预定像素精度找到运动矢量A之后，运动矢量A被重构为基本层的运动矢量分量B、第一增强层的运动矢量分量E1与第二增强层的运动矢量分量E2之和。如上所述的作为用预定像素精度进行运动矢量搜索的结果而获得的运动矢量被定义为“实际的运动矢量”。
最高增强层的像素精度通常被选择为预定的像素精度。各个层的运动矢量具有不同的像素精度，所述像素精度从最低(接近于基本层)到最高(远离基本层)的顺序增加。例如，基本层具有1像素的精度，第一增强层具有1/2像素精度，而第二增强层具有1/4像素精度。
编码器将重构的运动矢量发送到以从最高层到最低层的顺序截去运动矢量的一部分的预解码器，而解码器接收所述运动矢量的剩余部分。通过执行这个处理，可实现运动矢量的可伸缩性(运动可伸缩性)。
例如，编码器可发送所有层(基本层、第一增强层和第二增强层)的运动矢量分量，而预解码器在根据可用的通信条件确定发送所有的运动矢量分量并不适合时，可通过截去第二增强层的分量仅将基本层和第一增强层的分量发送到解码器。解码器使用基本层和第一增强层的分量来重构运动矢量。
基本层是具有最高优先级的重要的运动矢量信息，它在传输期间不能被忽略。从而，基本层的比特率必须等于或小于网络支持的介质带宽。在所有层(基本层、第一和第二增强层)的传输中的比特率必须等于或小于最大带宽。
用于构造基本层的方法
本发明提出了根据第一到第三实施例的用于构造基本层的方法，并通过实验来验证这些方法。
在每个实施例中，运动矢量被构造为多个层：用整像素精度表示的基本层的运动矢量分量、和分别用1/2像素精度和1/4像素精度表示的增强层的运动矢量分量。
基本层使用整数来表示运动矢量分量，增强层使用标志1、-1或0而不是实数来以简单的方式表示运动矢量分量。通常用一对x和y分量来表示运动矢量，但是为了解释清楚，贯穿说明书仅描述一个分量。
例如，具有1/2像素精度的第一增强层的运动矢量分量可具有值-0.5、0.5或0，它由标志-1、1或0来表示，类似地，当具有1/4像素精度的第二增强层的运动矢量分量具有值-0.25、0.25或0时，它由标志-1、1或0表示。
由于基本层的运动矢量由整数部分表示，所以在基本层的运动矢量之间具有紧密的空间相关性。从而，在考虑该空间相关性并从相邻块的整数运动矢量获得当前块的预测值之后，只有所述当前块的实际的运动矢量和预测值之间的残差被编码并被发送。相反，因为在增强层的运动矢量之间没有空间相关性，所以通常不用考虑相邻块而对增强层进行编码。
在实现运动可伸缩性的最重要的目标之一就是当增强层被截去时防止编码性能显著下降。当截去增强层而增加了运动矢量的误差从而显著降低了由解码器重构的视频的质量时，由于运动矢量比特的减少而分配更多的比特给纹理信息，这还会减小提高视频质量的效果。因此，本发明的第一到第三实施例集中在：与使用基本层和增强层相比，当仅使用基本层时，防止峰值信噪比(PANR)的显著下降。
在本发明的第一实施例中，提出了一种通过使用基本层的空间相关性来提高运动矢量的压缩效率的方法。根据第一实施例，实际值的小数部分被上舍入或下舍入，以便所得值接近于从基本层中相邻块的运动矢量分量预测的值。图2显示了从基本层中的运动矢量来预测第一和第二增强层中的运动矢量的一个示例。参照图2，当从基本层中的相邻块预测的值是-1，并且实际的运动矢量值是0.75时，实际的运动矢量值被下舍入为0，其接近于预测的值-1，然后从基本层中的运动矢量值0来预测第一和第二增强层中的运动矢量值1。
图3表示通过当前块与相邻块之间的相关性来获得当前块的预测值的示例。参照图3，当在对角方向上确定了基本层中的运动矢量时，通过与运动矢量已经被确定的相邻块(b)、(c)和(d)的相关性来获得当前块(a)的预测值。所述预测值可以是相邻块(b)、(c)和(d)的运动矢量的中值或者平均值。在第一实施例中，如图3所示，寻找当前块(a)的整数值以更接近于从相邻块获得的预测值。
根据第一实施例，由于使用实际值和从相邻块获得的预测值之间的残差来对基本层的运动矢量分量进行量化，所以可用最接近预测值的整数值来表示基本层的运动矢量分量，从而最有效地对基本层进行量化。这样，所述方法在减小基本层的大小方面很有效。
本发明第二实施例的特征在于基本层的整数运动矢量分量尽可能的接近于0。在第二实施例中，为了基本层的运动矢量分量尽可能地接近于0，实际的运动矢量被分离为符号和大小，所述运动矢量的大小由无符号的整数表示，然后原始符号被附加在所述无符号的整数上。该方法使基本层的运动矢量分量是0成为可能，由于大多数的量化模块对0进行量化时效率非常高，所以该方法使得能够更高效地执行量化。所述方法由等式(1)表示：
    xb＝sign(x)|x|                    (1)
其中sign(x)表示这样的一种信号函数：当x分别是正值和负值时，它分别返回值1和-1。
|x|表示变量x的绝对值，x表示给出不超过x的最大整数(通过截去小数部分的函数)。
表1显示能在等式(1)中用值x和xb获得的每一层的值的示例。为了便于解释，值x和xb与因子4相乘并被表示为整数值，在最下面一行中的4(x-xb)表示实际值和基本层的整数运动矢量之间的误差。E1和E2分别表示第一和第二增强层的运动矢量分量，并被表示为标志。
                                           表1
  4x   -7   -6   -5   -4   -3   -2   -1   0   1   2   3   4   5   6   7
  4xb   -4   -4   -4   -4   0   0   0   0   0   0   0   4   4   4   4
  E1   -1   -1   0   0   -1   -1   0   0   0   1   1   0   0   1   1
  E2   -1   0   -1   0   1   0   -1   0   1   0   -1   0   1   0   -1
  4(x-xb)   -3   -2   -1   0   -3   -2   -1   0   1   2   3   0   1   2   3
从表1中可显然得知，第二实施例的方法提供了更高的基本层的运动矢量分量xb具有更多的0的概率，从而与通过简单截去小数部分(xb＝x)来获得xb第一实施例相比，增加了压缩效率。
然而，与在第一实施例中一样，第一和第二增强层的运动矢量分量被表示为标志-1，0或1，这引起效率降低。此外，与第一实施例一样，第二实施例也遭受即使当仅使用基本层时在实际和量化的运动矢量之间多达0.75的差引起的显著失真。
在本发明第三实施例中，基本层的量化的运动矢量和实际的运动矢量之间的差被最小化。也就是说，第三实施例集中于使所述差小于0.5，这是在最大差是0.75的第一和第二实施例上的改进。这通过在一定程度上修正第二实施例来实现。也就是，如等式(2)所定义的，通过对所述实际运动矢量进行舍入运算来使得最接近于实际运动矢量的整数被选择为基本层的运动矢量分量。
    xb＝sing(x)|x|+0.5                    …(2)
除了舍入的使用外，等式(2)与等式(1)相似。图4显示根据本发明第三实施例来表示具有值0.75的运动矢量的一个示例。参照图4，与第一和第二实施例不同，因为1是最接近实际运动矢量0.75的整数，所以值1被选择为基本层的运动矢量分量。如图4所示，使实际运动矢量和第一增强层的运动矢量之间的差最小化的第一增强层的运动矢量分量可为-0.5或0(第一增强层的运动矢量是基本层的运动矢量与第一增强层的运动矢量分量之和)。
在另外的情况下，最小差是0.25。当具有最小误差的两个或者更多的值出现在第一增强层中时，最接近于紧接着的下一层的运动矢量分量的值被选择为所述第一增强层的运动矢量分量。
从而，值0最终被选择为所述第一增强层的运动矢量分量。
通过这样做，实际运动矢量和基本层的运动矢量分量之间的差可被减小到0.25。本发明的第三实施例通过将所述差限制在低于0.5而在仅使用基本层时提供了改善的编码性能。然而该方法的缺点在于比第一或第二实施例增加了基本层的大小。表2显示了可被等式(2)创建的值的示例。
                                                     表2
  4x   -7   -6   -5   -4   -3   -2   -1   0   1   2   3   4   5   6   7
  4xb   -8   -8   -4   -4   -4   -4   0   0   0   4   4   4   4   8   8
  E1   0   1   0   0   0   1   0   0   0   -1   0   0   0   -1   0
  E2   1   0   -1   0   1   0   -1   0   1   0   -1   0   1   0   -1
  4(x-xb)   1   2   -1   0   1   2   -1   0   1   2   -1   0   1   2   -1
从表2中显然得知，在第三实施例中，第一增强层的运动矢量分量E1将是0的概率更高，这导致更高的压缩效率。然而，第二增强层的运动矢量分量E2更复杂以至于分配更多的比特来用于编码。具体地讲，在最下面一行中的4(x-xb)指出基本层的运动矢量分量和实际运动矢量之间的差小于0.5。
表3显示试验的结果，其中，以30Hz的帧速率和256Kbps的比特率来压缩Foreman CIF序列。做本试验的目的在于验证本发明第一到第三实施例的性能。表3列出了根据第一到第三实施例的基本层、第一和第二增强层的运动矢量所需的比特数(以下，“大小”将指“比特数”)。
                        表3
  第一实施例   第二实施例   第三实施例
  基本层   42.76   45.35   48.12
  E1   20.87   21.56   13.20
  E2   24.08   24.14   24.12
  总数   87.71   91.05   85.44
从表3中显然得知，在第一实施例中，基本层具有的大小最小，但是由于基本层的运动矢量被预测，所以第一和第二增强层具有的大小最大，从而总的大小增加。在试图通过分配更多的0给基本层的运动矢量分量来减小所述基本层的运动矢量分量的大小的同时，与第一实施例相比，第二实施例增加了基本层的大小以及总的大小。在第二实施例中，总的大小最大。
在第三实施例中，基本层具有最大的大小，但是由于第一增强层的运动矢量分量具有值0的可能性高，所以第一增强层具有最小的大小。第二增强层具有的大小与其在第一和第二实施例中的对应部分的大小相似。
当仅使用基本层来进行编码时，选择基本层具有最小的大小的方法是有利的。当所有的层被用于编码时，可选择使所述总的大小最小的方法。在前面的情况下，选择第一实施例；在后面的情况下，选择第三实施例。
图5是表示根据如表3中详细描述的本发明的第一到第三实施例从所述三个层中使用运动矢量来测量PSNR(作为视频质量指标)的结果的曲线图。参照图5，第三实施例展示了最好的性能而第一实施例展示了最差的性能。
具体地讲，当仅使用基本层时，第一实施例具有与第二实施例相似的性能，而当使用所有的运动矢量层时，第一实施例与其他实施例相比具有差的性能。
应该特别注意的是：当仅使用基本层时，第三实施例展示了极好的性能。具体地讲，第三实施例中的PSNR值比第二实施例的PSNR值高出大于1.0dB。这是通过使基本层的整数运动矢量分量和实际的运动矢量之间的差最小来获得的。也就是说，由于使所述差最小化比稍微减小所述整数值对于编码性能更有效，所以第三实施例展示了最好的性能。
有效压缩增强层的方法
参照表3，就第一增强层的大小来说，第三实施例优于第一和第二实施例，但是就第二增强层的大小来说，几乎没有区别。因而，对于所述运动矢量的大小将在很大程度上影响所述性能的低比特率编码，当使用所有运动矢量层时，第三实施例并不优于其它实施例。
图6是表示根据第三实施例以100Kbps压缩Foreman CIF序列的实验结果的曲线图。
从图6中显然得知，由于100Kbps是低比特率，所以当仅使用基本层时，与当使用所有层相比，第三实施例展示了极好的性能。具体地讲，尽管当使用基本层或者基本层和第一增强层的结合时，第三实施例显示了优越的性能，但是由于第二增强层的大小大，所以当使用所有层时它的性能会降低。
然而，第三实施例的意图是向第二增强层分配大量的信息。由于第二增强层仅用于充足的比特率，所以它的大小大不会显著影响性能。对于低比特率，仅使用基本层和第一增强层，第二增强层中的比特可被截去。
在第三实施例中，为了防止由于第二增强层的存在而引起的性能的显著降低，本发明提出了一种通过增加两种压缩规则来在使用所有的运动矢量层时提供优越的编码性能的方法。
所述两种压缩规则可在表2中发现。参照表2，所述第一规则是：基本层的运动矢量分量(4xb)具有与第一增强层的运动矢量分量E1相反的符号，当然，当E1是零时除外。换句话说，第一增强层的运动矢量分量E1由0或1表示，当E1是1时，解码器通过将与基本层的运动矢量分量的符号相反的符号附加到E1来重构E1的原始值。
也就是说，由于E1具有与基本层的运动矢量分量相反的符号(没有符号的0除外)，所以E1可被表示为0或1。编码器将-1转换为1，而解码器可通过将所述相反的符号附加到1来重构E1的原始值。
通过应用第一规则，由于第一增强层的运动矢量分量可被表示为0或1，所以可提高熵编码效率。单独应用第一规则所表明的实验结果将比特数减少12％强。
参照表2，第二压缩规则是：当E1是1或者-1时，第二增强层的运动矢量分量E2总是0。因而，当相应的E1不是0时，E2不被编码。
换句话说，当E1不是0时，编码器不对E2进行编码。当E1不是0时，解码器将0作为E2；而当E1是0时，将接收的值作为E2。
应用第二规则所表明的实验结果将比特数减少大约25％，熵编码后将比特数减少大约12％。这补偿了由大的第二增强层所引起的第三实施例的缺点。表4显示在应用第一和第二压缩规则后的表2的值。
                                                表4
  4x   -7   -6   -5   -4   -3   -2   -1   0   1   2   3   4   5   6   7
  4xb   -8   -8   -4   -4   -4   -4   0   0   0   4   4   4   4   8   8
  E1   0   1   0   0   0   1   0   0   0   1   0   0   0   1   0
  E2   1   X   -1   0   1   X   -1   0   1   X   -1   0   1   X   -1
表4中的标志“X”表示没有被发送的部分，这构成了情况的总数的1/4。从而，比特数可被减小25％。通过在第一增强层中将-1转变为1，还可增加压缩效率。通过将第一和第二压缩规则应用到第三实施例而创建的方法被称作第四“实施例”。对于包括四个或者更多层的运动矢量，第四实施例中的压缩规则也可被应用到基本层、第一增强层和第二增强层。此外，可根据应用的类型来应用第一规则或第二规则或者两者。
表5显示根据本发明第四实施例的基本层、第一增强层和第二增强层的运动矢量所需的比特数。
                    表5
  第三实施例   第四实施例   减小率(％)
  基本层   48.12   48.12   0
  E1   13.20   11.13   15.68
  E2   24.12   21.25   11.90
  总数   85.44   80.50   5.8
如表5中所详细展示的，与第三实施例相比，第四实施例将第一和第二增强层的大小减少15.68％和11.90％，从而显著减少了总的比特数。由于被忽略的比特的值是0并且被熵编码模块有效地压缩，所以第二增强层中的比特数被减少了25％。
然而，比特数可被减小了大约12％。图7是将本发明的第三实施例(图6)和第四实施例的实验结果相比较的曲线图。如图7所示，当仅使用基本层时，第四实施例展示了与第三实施例相似的性能，但是当使用所有的层时，它的性能比第三实施例优越。
尽管上面已经描述了包括三个层的运动矢量，但是本领域的技术人员应该理解，本发明可用于包括多于三层的运动矢量。而且，上面描述了对具有一像素精度的基本层、1/2像素精度的第一增强层以及1/4像素精度的第二增强层执行运动矢量搜索。然而，这只是示例，对本领域的技术人员来说，显然也可以执行具有与上面所述的不同的像素精度的运动矢量搜索。尽管与上述实施例的方式相似，像素精度也随着每一层而增加。
为了实现运动可伸缩性，编码器使用多层的运动矢量对输入的视频进行编码，而预解码器或解码器对输入视频的全部或者部分进行解码。将参照图8来示意性地描述总的处理。
图8显示视频编码***的总的构造。参照图8，所述视频编码***包括：编码器100、预解码器200和解码器300。编码器100将输入的视频编码成比特流20。预解码器200根据提取条件，比如考虑通信环境确定的比特率、分辨率或者帧速率截去比特流20中的部分纹理数据。因而，解码器300实现用于纹理数据的可伸缩性。预解码器200还根据通信环境或者纹理的比特数通过以从最高层到最低层的顺序截去比特流20中的部分运动数据来实现运动可伸缩性。通过以这种方式来实现纹理或者运动可伸缩性，预解码器可从原始比特流20提取各种比特流25。
解码器300从提取的比特流25产生输出视频30。当然，预解码器200或者解码器300或者这二者可根据提取条件来提取比特流。
图9是视频编码***的编码器100的框图。编码器100包括：划分模块110、运动矢量重构模块120、时间滤波模块130、空间变换模块140、量化模块150和熵编码模块160。
划分模块110将输入视频10划分成几个图像组(GOP)，其中每一组作为一个单元被独立地编码。
运动矢量重构模块120用预定的像素精度来寻找用于一个GOP的一帧的实际运动矢量，并将所述运动矢量发送到时间滤波模块130。运动矢量重构模块120使用该实际的运动矢量和预定的方法(第一到第三实施例之一)来确定基本层的运动矢量分量。接下来，确定接近于实际运动矢量的具有增强层像素精度的增强层的运动矢量分量。运动矢量重构模块120还将基本层的整数运动矢量分量和作为增强层的运动矢量分量的标志值发送到熵编码模块160。熵编码模块160使用预定的编码算法来对多层运动信息进行编码。
图10是根据本发明的示例性运动矢量重构模块的120的框图。参照图10，运动矢量重构模块120包括运动矢量搜索模块121、基本层确定模块122和增强层确定模块123。
参照图12，为了实现本发明的上述第四实施例，运动矢量重构模块120还包括具有第一压缩模块126或第二压缩模块127或者这二者的增强层压缩模块125。
运动矢量搜索模块121(以预定的像素精度)在当前帧中执行每一块的运动矢量搜索以获得实际的运动矢量。所述块可为固定的可变大小的块。当使用可变大小的块时，关于块大小(模式)的信息需要与实际的运动矢量来一起被发送。
通常，为实现运动矢量搜索，当前图像帧被划分为预定像素大小的块，根据预定的像素精度将参考图像帧中的块与当前图像帧中的相应的块相比较，以获得所述两个块之间的差。给出误差的最小和的运动矢量被指定为当前块的运动矢量。搜索范围可使用参数来预先确定。较小的搜索范围减少了搜索时间并且当运动矢量存在于该搜索范围内时展示了很好的性能。然而，对于所述运动矢量不存在于该范围内的快速运动图像，预测精度将被降低。
使用可变大小的块而非上述固定大小的块可执行运动估计。在使用可变大小的块而进行的运动估计中，对于可变像素大小的块执行运动矢量搜索，以确定使预定代价函数J最小化的可变块大小和运动矢量。
用等式(3)来定义代价函数：
J＝D+λ×R                                  ……(3)
其中D是用于对帧差进行编码的比特数，R是用于对估计的运动矢量进行编码的比特数，λ是拉格朗日系数。
基本层确定模块122根据第一到第三实施例确定基本层的整数运动矢量分量。在第一实施例中，通过与相邻块的运动矢量分量的相关性和对实际的运动矢量的小数部分上舍入或下舍入来确定基本层的运动矢量分量。
在第二实施例中，基本层确定模块122通过将实际运动矢量分离为符号和大小来确定基本层的运动矢量分量。运动矢量的大小由原始符号被附加到其上的无符号的整数来表示。所述确定处理如等式(1)中所示。
在第三实施例中，基本层确定模块122通过寻找最接近于实际运动矢量的整数值来确定基本层的运动矢量分量。所述最接近的整数值通过等式(2)来计算。
增强层确定模块123以这样的方式来确定增强层的运动矢量分量，即：使实际运动矢量和运动矢量分量之间的误差最小化。当存在两个或更多个具有相同误差的矢量时，使紧接着的下一层中的所述运动矢量的误差最小化的运动矢量被选择为增强层的运动矢量分量。
例如，如图11所示，当运动矢量包括四层时，根据第一到第三实施例来确定基本层的运动矢量分量，所述第一到第三增强层的运动矢量分量使用单独的方法来确定。假定根据第一到第三实施例之一确定值1为基本层的运动矢量分量，现在将参照图11来描述确定增强层的运动矢量分量的处理。这里，层的“累积值”被定义为下层的运动矢量分量的和。
参照图11，当因为0.5是最接近于0.625的值而第一增强层的累积值被设置为0.5时，-0.5被确定为第一增强层的运动矢量分量。在第二增强层中，存在两个累积值0.5和0.75，它们相对于0.625具有相同的误差，但是由于0.5较接近于第一增强层的累积值，所以选择0.5。因而，0被确定为第二增强层的运动矢量分量，然后0.125被确定为第三增强层的运动矢量分量。
为了实现根据本发明的第四实施例的上述方法，如图12所示，运动矢量重构模块120还包括具有第一压缩模块126或者第二压缩模块127或者这二者的增强层压缩模块125。
当第一增强层的运动矢量分量是负数时，第一压缩模块126将负数转变为具有相同大小的正数。当第一增强层的运动矢量分量不是0时，第二压缩模块127不对第二增强层的运动矢量分量进行编码。
参照图9，为减小时间冗余，时间滤波模块130使用通过运动矢量重构模块121获得的运动矢量来在时间轴的方向上将帧分解为低通帧和高通帧。可使用比如运动补偿时间滤波(MCTF)或者非限制性的MCTF(UMCTF)的时间滤波算法。
时间变换模块140使用离散余弦变换(DCT)或者小波变换来去除空间冗余，并创建变换系数。
量化模块150对这些变换系数进行量化。所述量化是这样的一种处理：将实变换系数转换为离散值，并将量化的系数映射到量化索引中。具体地讲，当小波变换被用于空间变换时，可能常常使用嵌入式量化。嵌入式零树小波变换(EZW)、分层树集合分割(SPIHT，Set Partitioning in Hierarchical Tree)和嵌入式零块编码(EZBC，Zero Block Coding)是嵌入式量化算法的示例。
熵编码模块160将由量化模块150量化的变换系数和由运动矢量重构模块120产生的运动信息无损编码为比特流20。对于熵编码，可使用比如算术编码和可变长编码的各种技术。
图13是根据本发明实施例的视频编码***中的解码器300的框图。
解码器300包括：熵解码模块310、逆量化模块320、逆空间变换模块330、逆时间滤波模块340和运动矢量重构模块350。
熵解码模块310执行熵编码的逆处理以从比特流20提取纹理信息(编码的帧数据)和运动信息。
图14是根据本发明的示例性的运动矢量重构模块350的框图。运动矢量重构模块350包括层重构模块351和运动相加模块352。
层重构模块351解析提取的运动信息并识别每一层的运动信息。所述运动信息包含每一层的块信息和运动矢量信息。然后层重构模块351从包含在所述运动信息中的相应的层值来重构每一层的运动矢量分量。这里“层值”指从编码器接收的值。具体地讲，是表示基本层的运动矢量分量的整数值或表示增强层的运动矢量分量的标志值。当层值是标志值时，层重构模块351从所述标志值来重构原始运动矢量分量。
运动相加模块352通过将基本层和增强层的运动矢量分量相加在一起来重构运动矢量并将运动矢量发送到逆时间滤波模块340。
图15是用于实现根据本发明第四实施例的方法的另一示例性的运动矢量重构模块350的框图。
参照图15，运动矢量重构模块350包括运动矢量重构模块351、运动相加模块352和具有第一重构模块354或第二重构模块355或者这二者的增强层重构模块353。
当第一增强层的提取的信息的值不是0时，为了重构第一增强层的运动矢量分量，第一重构模块354将与基本层的运动矢量分量的符号相反的符号附加到该值上，并获得与所得值(标志)相应的运动矢量分量。当第一增强层的提取的信息的值是0时，运动矢量分量是0。
为了重构第二增强层的运动矢量分量，当第一增强层的值不是0时，第二重构模块355将第二增强层的运动矢量分量的值设置为0。当所述值是0时，第二重构模块获得与第二增强层的值相应的运动矢量分量。然后，运动相加模块352通过将基本层和第一及第二增强层的运动矢量分量相加在一起来重构运动矢量。
逆量化模块320对提取的纹理信息执行逆量化并输出变换系数。逆量化是指这样的一种处理：从自编码器100接收的量化索引来获得量化的系数。从编码器100接收索引的映射表和量化系数。
在逆空间变换中，逆空间变换模块330将变换系数逆变换到空间域中的变换系数。例如，在DCT变换中，变换系数从频域被逆变换到空间域。在小波变换中，变换系数从小波域被逆变换到空间域。
逆时间滤波模块340使用从运动矢量重构模块350接收的重构的运动矢量来对空间域中的变换系数(即时间残余图像)执行逆时间滤波，以重构组成视频序列的帧。
这里所使用的术语“模块”是指，但并不限于比如执行特定任务的场可编程门阵列(FPGA)或者专用集成电路(ASIC)的软件或硬件组件。模块可被有利地构造为驻留在可寻址的存储介质中或者在一个或多个处理器上执行。从而，作为示例，模块可包括：比如软件组件、面向对象的软件组件、类组件和任务组件的组件、进程、函数、属性、过程、子例程、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组或变量。在所述组件和模块中设置的功能可被结合为更少的组件和模块，或者被进一步分离为另外的组件和模块。此外，所述组件和模块可以以这样的方式实现：在通信***中运行一个或多个计算机。
图16到图18表示比特流400的结构。具体地讲，图16是表示比特流400的总的结构的示意图。
比特流400包括：序列头字段410和数据字段420，所述数据字段420包括多个GOP字段430到450。
所述序列头字段410规定了图像属性，比如帧宽度(2字节)和高度(2字节)、GOP大小(1字节)和帧速率(1字节)。
数据字段420包含所有的图像信息和重构图像所需的其他信息(运动矢量，参考帧号等)。
图17显示每个GOP字段430的详细的结构。参照图17，GOP字段430包括：GOP头460；T(0)字段470，指示关于第一帧(没有参照另一帧而被编码)的信息并且已经经过时间滤波；运动矢量(MV)字段480，指示一组运动矢量；和“其他T”字段490，指示关于除了第一帧之外的帧(参考另一帧编码)的信息。
与规定整个视频序列的属性的序列头字段410不同，GOP头字段460规定比如时间滤波阶次的GOP的图像属性。
图18显示包含MV(1)到MV(n-1)字段的MV字段480的详细结构。
参照图18，MV(1)到MV(n-1)字段的每一个规定了可变大小块信息(比如每个可变大小块的大小、位置)和每一层的运动矢量信息(表示运动矢量分量的标志)。
                         产业上的可利用性
本发明在使基本层中的误差最小化的同时减小了增强层的大小。本发明还使用运动可伸缩性而能够在运动信息和纹理信息之间实现适应性的比特量的分配。
在对详细描述进行总结时，本领域的技术人员应该理解，在实质上没有脱离本发明的原理的情况下，可对示例性实施例进行很多改变和修改。因此，本发明中公开的示例性实施例被用于一般和描述的意义，而不是为了限制的目的。

Claims (21)

1、一种用于重构以预定像素精度获得的运动矢量的设备，所述设备包括：
基本层确定模块，根据基本层的像素精度使用获得的运动矢量来确定基本层的运动矢量分量；和
增强层确定模块，根据增强层的像素精度确定增强层的运动矢量分量，以便增强层的运动矢量分量与基本层的运动矢量分量之和接近于获得的运动矢量。
2、如权利要求1所述的设备，其中，所述基本层确定模块根据基本层的像素精度确定接近于从相邻块的运动矢量预测的值的基本层的运动矢量分量。
3、如权利要求1所述的设备，其中，为了根据基本层的像素精度确定基本层的运动矢量分量，所述基本层确定模块将获得的运动矢量分离为原始符号和大小，使用无符号值表示所述运动矢量的大小并将原始符号附加在所述无符号值上。
4、如权利要求1所述的设备，其中，所述基本层确定模块根据基本层的像素精度将最接近于获得的运动矢量的值确定为基本层的运动矢量分量。
5、如权利要求4所述的设备，其中，基本层的运动矢量分量是xb并使用
Figure A2005800119130002C1
被确定，其中，sign(x)表示当x为正值和负值时分别返回值1和-1的信号函数，|x|表示关于变量x的绝对值函数，
Figure A2005800119130002C2
表示通过截去小数部分不超过|x|+0.5而给出最大的整数的函数。
6、如权利要求4所述的设备，还包括：第一压缩模块，使用下面所述的第一关系去除第一增强层的运动矢量分量中的冗余：当第一增强层的运动矢量分量不是0时，第一增强层的运动矢量分量的符号与基本层的运动矢量分量的符号相反。
7、如权利要求6所述的设备，还包括：第二压缩模块，使用下面所述的第二关系去除第二增强层的运动矢量分量中的冗余：当第一增强层的运动矢量分量不是0时，第二增强层的运动矢量分量总是0。
8、一种使用包括多个层的运动矢量的视频编码器，所述视频编码器包括：
运动矢量重构模块，其包括：
运动矢量搜索模块，获得具有预定的像素精度的运动矢量；
基本层确定模块，根据基本层的像素精度使用获得的运动矢量来确定基本层的运动矢量分量；和
增强层确定模块，根据增强层的像素精度确定增强层的运动矢量分量，以便增强层的运动矢量分量与基本层的运动矢量分量之和接近于获得的运动矢量；
时间滤波模块，通过使用获得的运动矢量在时间轴方向上对帧进行滤波来去除时间冗余；
空间变换模块，从所述已经去除时间冗余的经过滤波的帧去除空间冗余，并创建变换系数；和
量化模块，对变换系数执行量化。
9、一种用于重构包括基本层和至少一个增强层的运动矢量的设备，所述设备包括：
层重构模块，分别从所述基本层的值和所述至少一个增强层的值来重构基本层的运动矢量分量和所述至少一个增强层的运动矢量分量，所述基本层的值和所述至少一个增强层的值从输入比特流被解析；和
运动相加模块，将重构的所述基本层的运动矢量和所述至少一个增强层的运动矢量分量加在一起并提供该运动矢量。
10、一种用于重构包括基本层和至少一个增强层的运动矢量的设备，所述设备包括：
第一重构模块，通过将符号附加到从输入的比特流解析的第一增强层的值来重构第一增强层的运动矢量分量，所述符号与基本层的相应值的符号相反；
层重构模块，分别从基本层的相应值和除第一增强层之外的至少一个增强层的值来重构基本层的运动矢量分量和所述除第一增强层之外的至少一个增强层的运动矢量分量，其中，所述基本层的相应值和所述除第一增强层之外的至少一个增强层的值从输入的比特流被解析；和
运动相加模块，将重构的基本层的运动矢量分量、第一增强层的运动矢量分量和所述除第一增强层之外的至少一个增强层的运动矢量分量相加在一起，并提供该运动矢量。
11、一种用于重构包括基本层和至少一个增强层的运动矢量的设备，所述设备包括：
第一重构模块，通过将符号附加到从输入的比特流解析的第一增强层的值来重构第一增强层的运动矢量分量，所述符号与基本层的相应值的符号相反；
第二重构模块，当第一增强层的值不是0时，设置第二增强层的运动矢量分量为0，而当第一增强层的值是0时，从自输入的比特流解析的第二增强层的值来重构第二增强层的运动矢量分量；
层重构模块，分别从基本层的相应值和除第一及第二增强层之外的第三增强层的值来重构基本层的运动矢量分量和第三增强层的运动矢量分量，其中，所述基本层的相应值和第三增强层的值从输入的比特流被解析；和
运动相加模块，将重构的基本层的运动矢量分量以及重构的第一、第二和第三增强层的运动矢量分量相加在一起，并提供该运动矢量。
12、一种使用包括多个层的运动矢量的视频解码器，所述解码器包括：
熵解码模块，解析输入的比特流并从所述比特流提取纹理信息和运动信息；
运动矢量重构模块，从包含在提取的运动信息中的多个层的相应值来重构所述多个层的运动矢量分量，并在将所述多个层的运动矢量相加在一起后提供该运动矢量；
逆量化模块，对纹理信息进行逆量化并输出变换系数；
逆空间变换模块，通过执行逆空间变换将变换系数逆变换为空间域中的变换系数；和
逆时间滤波模块，使用提供的运动矢量来对空间域中的逆变换的变换系数执行逆时间滤波，并重构视频序列中的帧。
13、如权利要求12所述的解码器，其中，所述运动矢量重构模块包括：
第一重构模块，通过将符号附加到包含在运动信息中的第一增强层的值来重构第一增强层的运动矢量分量，所述符号与基本层的相应值的符号相反；
层重构模块，分别从基本层的相应值和除第一增强层之外的至少一个增强层的值来重构基本层的运动矢量分量和所述除第一增强层之外的至少一个增强层的运动矢量分量；和
运动相加模块，将重构的基本层的运动矢量分量、第一增强层的运动矢量分量和所述除第一增强层之外的至少一个增强层的运动矢量分量相加在一起，并提供该运动矢量。
14、如权利要求12所述的解码器，其中，所述运动矢量重构模块包括：
第一重构模块，通过将符号附加到包含在运动信息中的第一增强层的值来重构第一增强层的运动矢量分量，所述符号与基本层相应值的符号相反；
第二重构模块，当第一增强层的值不是0时，设置第二增强层的运动矢量分量为0，而当第一增强层的值是0时，从包含在运动信息中的第二增强层的值来重构第二增强层的运动矢量分量；
层重构模块，分别从基本层的相应值和除包含在运动信息中的第一及第二增强层之外的至少一个增强层的值来重构基本层的运动矢量分量和所述除第一及第二增强层之外的至少一个增强层的运动矢量分量；和
运动相加模块，将重构的基本层的运动矢量分量、第一增强层的运动矢量分量、第二增强层的运动矢量分量和所述除第一及第二增强层之外的至少一个增强层的运动矢量分量相加在一起，并提供该运动矢量。
15、一种用于重构以预定像素精度获得的运动矢量的方法，所述方法包括：
根据基本层的像素精度使用获得的运动矢量来确定基本层的运动矢量分量；和
根据所述增强层的像素精度确定增强层的运动矢量分量，以便所述增强层的运动矢量分量与基本层的运动矢量分量之和接近于获得的运动矢量。
16、如权利要求15所述的方法，其中，在确定基本层的运动矢量分量的步骤中，基本层的运动矢量分量根据基本层的像素精度被确定为接近于从相邻块的运动矢量预测的值。
17、如权利要求15所述的方法，其中，在确定基本层的运动矢量分量的步骤中，根据基本层的像素精度，基本层的运动矢量分量通过如下操作被确定：将获得的运动矢量分离成原始符号和大小；使用无符号的值来表示所述运动矢量的大小，并将原始符号附加到所述无符号的值上。
18、如权利要求15所述的方法，其中，在确定基本层的运动矢量分量的步骤中，根据基本层的像素精度，最接近于获得的运动矢量的值被确定为基本层的运动矢量分量。
19、一种用于重构包括基本层和至少一个增强层的运动矢量的方法，所述方法包括：
分别从所述基本层的值和所述至少一个增强层的值来重构基本层的运动矢量分量和所述至少一个增强层的运动矢量分量，其中，所述基本层的值和所述至少一个增强层的值从输入的比特流被解析；和
将重构的基本层和所述至少一个增强层的运动矢量分量相加在一起，并提供该运动矢量。
20、一种用于重构包括基本层和至少一个增强层的运动矢量的方法，所述方法包括：
通过将符号附加到从输入的比特流解析的第一增强层的值来重构第一增强层的运动矢量分量，所述符号与基本层的相应值的符号相反；
分别从基本层的相应值和除第一增强层之外的至少一个增强层的值来重构基本层的运动矢量分量和所述除第一增强层之外的至少一个增强层的运动矢量分量，其中，所述基本层的相应值和所述除第一增强层之外的至少一个增强层的值从输入的比特流被解析；和
将重构的基本层的运动矢量分量、第一增强层的运动矢量分量和所述除第一增强层之外的至少一个增强层的运动矢量分量相加在一起，并提供该运动矢量。
21、一种用于重构包括基本层和至少一个增强层的运动矢量的方法，所述方法包括：
通过将符号附加到从输入的比特流解析的第一增强层的值来重构第一增强层的运动矢量分量，所述符号与基本层的相应值的符号相反；
当第一增强层的值不是0时，设置第二增强层的运动矢量分量为0，而当第一增强层的值是0时，从自输入的比特流解析的第二增强层的值来重构第二增强层的运动矢量分量；
分别从基本层的相应值和除第一及第二增强层之外的至少一个增强层的值来重构基本层的运动矢量分量和所述除第一及第二增强层之外的至少一个增强层的运动矢量分量，其中，所述基本层的相应值和所述除第一及第二增强层之外的至少一个增强层的值从输入的比特流被解析；和
将重构的基本层的运动矢量分量、第一增强层的运动矢量分量、第二增强层的运动矢量分量和所述除第一和第二增强层之外的至少一个增强层的运动矢量分量相加在一起，并提供该运动矢量。
CNA2005800119132A 2004-04-08 2005-04-01 用于实现运动可伸缩性的方法和设备 Pending CN1947426A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US56025004P 2004-04-08 2004-04-08
US60/560,250 2004-04-08
KR1020040032237 2004-05-07

Publications (1)

Publication Number Publication Date
CN1947426A true CN1947426A (zh) 2007-04-11

Family

ID=37278153

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005800119132A Pending CN1947426A (zh) 2004-04-08 2005-04-01 用于实现运动可伸缩性的方法和设备

Country Status (3)

Country Link
US (1) US20050226334A1 (zh)
KR (1) KR100587561B1 (zh)
CN (1) CN1947426A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101217654B (zh) * 2008-01-04 2010-04-21 华南理工大学 视频码流可伸缩性组织方法
CN102377998A (zh) * 2010-08-10 2012-03-14 财团法人工业技术研究院 用于视频处理的移动估计的方法及装置
US8311098B2 (en) 2007-12-19 2012-11-13 Broadcom Corporation Channel adaptive video transmission system for use with layered video coding and methods for use therewith
US8416848B2 (en) 2007-12-21 2013-04-09 Broadcom Corporation Device adaptive video transmission system for use with layered video coding and methods for use therewith
US8520737B2 (en) 2008-01-04 2013-08-27 Broadcom Corporation Video processing system for scrambling layered video streams and methods for use therewith
US8594191B2 (en) 2008-01-03 2013-11-26 Broadcom Corporation Video processing system and transcoder for use with layered video coding and methods for use therewith
CN104079939A (zh) * 2010-08-10 2014-10-01 财团法人工业技术研究院 用于视频处理的移动估计的方法及装置
US8989268B2 (en) 2010-07-21 2015-03-24 Industrial Technology Research Institute Method and apparatus for motion estimation for video processing
US9078024B2 (en) 2007-12-18 2015-07-07 Broadcom Corporation Video processing system with user customized graphics for use with layered video coding and methods for use therewith
CN104853217A (zh) * 2010-04-16 2015-08-19 Sk电信有限公司 视频编码/解码设备和方法
US9143731B2 (en) 2008-01-02 2015-09-22 Broadcom Corporation Mobile video device for use with layered video coding and methods for use therewith
CN105103553A (zh) * 2013-03-01 2015-11-25 高通股份有限公司 用于可缩放视频译码的空间运动向量缩放
US9210480B2 (en) 2007-12-20 2015-12-08 Broadcom Corporation Video processing system with layered video coding and methods for use therewith
CN107181960A (zh) * 2011-08-17 2017-09-19 佳能株式会社 解码装置、解码方法和存储介质

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100878809B1 (ko) * 2004-09-23 2009-01-14 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 이의 장치
KR100664929B1 (ko) 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
US20060153300A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for motion vector prediction in scalable video coding
US8483277B2 (en) * 2005-07-15 2013-07-09 Utc Fire & Security Americas Corporation, Inc. Method and apparatus for motion compensated temporal filtering using split update process
KR100678911B1 (ko) * 2005-07-21 2007-02-05 삼성전자주식회사 방향적 인트라 예측의 적용을 확장하여 비디오 신호를인코딩하고 디코딩하는 방법 및 장치
FR2903556B1 (fr) * 2006-07-04 2008-10-03 Canon Kk Procedes et des dispositifs de codage et de decodage d'images, un systeme de telecommunications comportant de tels dispositifs et des programmes d'ordinateur mettant en oeuvre de tels procedes
BRPI0809668B1 (pt) * 2007-04-09 2020-07-28 Nokia Technologies Oy vetores de movimento de alta precisão para codificação de vídeos com baixa complexidade de codificação e decodificação
US8126054B2 (en) * 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
US8184705B2 (en) * 2008-06-25 2012-05-22 Aptina Imaging Corporation Method and apparatus for motion compensated filtering of video signals
FR2939593B1 (fr) * 2008-12-09 2010-12-31 Canon Kk Procede et dispositif de codage video
KR101233627B1 (ko) * 2008-12-23 2013-02-14 한국전자통신연구원 스케일러블 부호화 장치 및 방법
US20110158309A1 (en) * 2009-12-28 2011-06-30 Motorola, Inc. Method and apparatus for determining reproduction accuracy of decompressed video
WO2011149292A2 (ko) * 2010-05-26 2011-12-01 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
JP2011259093A (ja) * 2010-06-07 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
US8755437B2 (en) 2011-03-17 2014-06-17 Mediatek Inc. Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate
WO2012122927A1 (en) 2011-03-14 2012-09-20 Mediatek Inc. Method and apparatus for derivation of motion vector candidate and motion vector prediction candidate
GB2504068B (en) * 2012-07-11 2015-03-11 Canon Kk Methods and devices for controlling spatial access granularity in compressed video streams
US9693060B2 (en) 2012-11-16 2017-06-27 Qualcomm Incorporated Device and method for scalable coding of video information
US10085017B2 (en) * 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
JP6139701B2 (ja) * 2013-01-07 2017-05-31 ヴィド スケール インコーポレイテッド スケーラブルビデオ符号化のための動き情報シグナリング

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9078024B2 (en) 2007-12-18 2015-07-07 Broadcom Corporation Video processing system with user customized graphics for use with layered video coding and methods for use therewith
US8311098B2 (en) 2007-12-19 2012-11-13 Broadcom Corporation Channel adaptive video transmission system for use with layered video coding and methods for use therewith
US9210480B2 (en) 2007-12-20 2015-12-08 Broadcom Corporation Video processing system with layered video coding and methods for use therewith
US8416848B2 (en) 2007-12-21 2013-04-09 Broadcom Corporation Device adaptive video transmission system for use with layered video coding and methods for use therewith
US9143731B2 (en) 2008-01-02 2015-09-22 Broadcom Corporation Mobile video device for use with layered video coding and methods for use therewith
US8594191B2 (en) 2008-01-03 2013-11-26 Broadcom Corporation Video processing system and transcoder for use with layered video coding and methods for use therewith
US8520737B2 (en) 2008-01-04 2013-08-27 Broadcom Corporation Video processing system for scrambling layered video streams and methods for use therewith
CN101217654B (zh) * 2008-01-04 2010-04-21 华南理工大学 视频码流可伸缩性组织方法
CN104853217A (zh) * 2010-04-16 2015-08-19 Sk电信有限公司 视频编码/解码设备和方法
US8989268B2 (en) 2010-07-21 2015-03-24 Industrial Technology Research Institute Method and apparatus for motion estimation for video processing
CN104079939A (zh) * 2010-08-10 2014-10-01 财团法人工业技术研究院 用于视频处理的移动估计的方法及装置
CN102377998B (zh) * 2010-08-10 2014-08-20 财团法人工业技术研究院 用于视频处理的移动估计的方法及装置
CN102377998A (zh) * 2010-08-10 2012-03-14 财团法人工业技术研究院 用于视频处理的移动估计的方法及装置
CN104079939B (zh) * 2010-08-10 2017-12-15 财团法人工业技术研究院 用于视频处理的移动估计的方法及装置
CN107181960A (zh) * 2011-08-17 2017-09-19 佳能株式会社 解码装置、解码方法和存储介质
US10771806B2 (en) 2011-08-17 2020-09-08 Canon Kabushiki Kaisha Method and device for encoding a sequence of images and method and device for decoding a sequence of images
CN107181960B (zh) * 2011-08-17 2020-10-30 佳能株式会社 解码装置、解码方法和存储介质
CN105103553A (zh) * 2013-03-01 2015-11-25 高通股份有限公司 用于可缩放视频译码的空间运动向量缩放
CN105103553B (zh) * 2013-03-01 2018-08-28 高通股份有限公司 用于对视频信息译码的设备与方法以及非暂时性计算机可读媒体

Also Published As

Publication number Publication date
US20050226334A1 (en) 2005-10-13
KR100587561B1 (ko) 2006-06-08
KR20050098742A (ko) 2005-10-12

Similar Documents

Publication Publication Date Title
CN1947426A (zh) 用于实现运动可伸缩性的方法和设备
US7469011B2 (en) Escape mode code resizing for fields and slices
CN1961582A (zh) 在多层结构中有效压缩运动向量的方法和装置
CN1914921A (zh) 在编码器中提供可分级性的可分级视频编码设备和方法
CN1722831A (zh) 对包括基本层的比特流预解码和解码的方法和设备
CN101049026A (zh) 采用栅格运动估计和补偿的可扩展视频编码
CN1267817C (zh) 用于衰落补偿的信号指示
US8014450B2 (en) Flexible range reduction
CN1943244A (zh) 视频编码中的帧间预测方法、视频编码器、视频解码方法和视频解码器
CN1742488A (zh) 用于编码和解码立体视频的方法和装置
CN1684517A (zh) 用于支持运动可缩放性的方法和设备
CN1926874A (zh) 对视频流传输业务进行视频编码、预解码和视频解码的方法和设备以及图像滤波方法
CN1574970A (zh) 使用图像残余预测编码/解码图像的方法和设备
CN1280709C (zh) 退色补偿的参数化
CN1764280A (zh) 基于多层在视频编码器中有效压缩运动矢量的方法和装置
CN1625265A (zh) 用于可伸缩视频编码和解码的方法和设备
CN1130970A (zh) 用反复误差数据编码方法进行视频压缩
CN1722838A (zh) 使用基础层的可伸缩性视频编码方法和设备
CN1656817A (zh) 上下文自适应的vlc视频变换系数编码/解码方法与设备
US20120057788A1 (en) Image processing apparatus and method
CN1917647A (zh) 自适应地选择用于熵编码的上下文模型的方法和设备
CN1347620A (zh) 转换mpeg－2 4:2:2－轮廓位流为主轮廓位流的方法及架构
JP2013225889A (ja) 強調レイヤ映像符号化に関する適応量子化
CN1722836A (zh) 视频编码和解码方法以及视频编码器和解码器
CN1697328A (zh) 快速视频编解码变换实现

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1102732

Country of ref document: HK

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20070411

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1102732

Country of ref document: HK