CN1751519A - 视频编码 - Google Patents

Abstract

本发明涉及一种用于提供对输入视频流的空间可缩放压缩的方法和设备。编码一个包括基本特征的基本流。编码一个残余信号以产生一个包括增强特征的增强流，其中该残余信号是该输入视频流的原始帧和来自基本层的经放大的帧之间的差别。从增强流中的增强特征中减去基本特征的经处理的版本。

Description

视频编码

本发明涉及一种视频编码，尤其涉及一种空间可缩放视频压缩方法。

由于数字视频中固有的大量数据，在高清晰度电视的发展中，全运动、高清晰度数字视频信号的传输是一个显著的问题。尤其是，根据特定***的显示分辨率，每一个数字图像帧是一个由像素阵列组成的静止图像。结果，包含在高分辨率视频序列中的原始数字信息的数量是巨大的。为了减少必须发送的数据的数量，使用压缩方法来压缩数据。已经建立了多种视频压缩标准或处理，包括MPEG-2、MPEG-4、H.263和H.264。

可以实现多种应用，其中在一个流中可以获得多种分辨率和/或质量下的视频。实现这一点的方法被粗略地称为可缩放技术。有三个可以展开缩放的轴。第一个是在时间轴上的可缩放性，通常被称为时间可缩放性。第二，具有在质量轴上的可缩放性，通常被称为信号—噪声可缩放性或细粒度可缩放性。第三个轴是通常被称为空间可缩放性或分层编码的分辨率轴(在图像中的像素数量)。在分层编码中，比特流被分为两个或更多的比特流或层。每一层可以被组合来形成单个高质量信号。例如，基本层可以提供较低质量的视频信号，同时增强层提供能够增强基本层图像的附加信息。

特别地，空间可缩放性可以提供在不同的视频标准或解码器性能之间的兼容能力。利用空间可缩放性，基本层视频能够具有比输入视频序列更低的分辨率，在这种情况下，增强层携带能够将基本层的分辨率恢复为输入序列水平的信息。

大多数视频压缩标准都支持空间可缩放性。附图1示出了支持MPEG-2/MPEG-4空间可缩放性的编码器100的框图。编码器100包括一个基本编码器112和一个增强编码器114。该基本编码器由一个低通滤波器和下采样器120、一个运动估计器122、一个运动补偿器124、一个正交变换(例如离散余弦变换(DCT))电路130、一个量化器132、一个可变长度编码器134、一个比特率控制电路135、一个反量化器138、一个反变换电路140、开关128、144和一个内插和上采样电路150组成。增强编码器114包括一个运动估计器154、一个运动补偿器155、一个选择器156、一个正交变换(例如离散余弦变换(DCT))电路158、一个量化器160、一个可变长度编码器162、一个比特率控制电路164、一个反量化器166、一个反变换电路168、开关170和172。各单独部件的操作是本领域熟知的，在此不作详细描述。基本编码器112产生一个基本流BS，而增强编码器114基于输入INP产生一个增强流ES。

遗憾的是，这一分层编码方法的编码效率并不高。实际上，对于一个给定的图像质量，一个序列的基本层和增强层的比特率合起来比一次编码相同序列的比特率还要高。

附图2示出了另一个由DemoGrafx提出的已知的编码器200(参见US5,852,565)。该编码器包含与编码器100基本上相同的部件，并且每一个部件的操作也基本上相同，在此不作详细描述。在该结构中，在输入块和上采样器150的经上采样的输出之间的残差被输入到运动估计器154中。为了引导/帮助增强编码器的运动估计，来自基本层的经缩放的运动矢量被使用在运动估计器154中，如附图2中的虚线所示。但是，这一方案并没有显著地克服附图1所示的方案的问题。

虽然如附图1和2所示各视频压缩标准支持空间可缩放性，但是由于编码效率低下而不经常采用空间可缩放性。编码效率低下意味着对于一个给定的图像质量，一个序列的基本层和增强层的比特率合起来比一次编码相同序列的比特率还要高。

本发明的一个目的是通过提供一种方法和设备来克服至少一部分上面描述的已知的空间可缩放性方案的不足，所述方法和设备用于通过仅在增强流中传输增强特征残余来提供更有效的压缩。

根据本发明的一个实施例，公开了一种用于提供对一个输入视频流的空间可缩放压缩的方法和设备。一个包括基本特征的基本流被编码。编码一个残余信号来产生一个包括增强特征的增强流，其中该残余信号是输入视频流的原始帧和来自基本层的经放大的(upscaled)帧之间的差别。从增强流中的增强特征中减去基本特征的经处理的版本版本。

根据本发明的另一个实施例，公开了一种用于解码在基本流和增强流中接收到的压缩视频信息的方法和设备。解码接收到的基本流。解码的基本流的分辨率被上变换。由基本流解码器产生的基本特征被加到所接收的增强流中的残余运动矢量信号中，以便形成一个组合的信号。解码该组合的信号。经上变换的解码基本流和解码的组合信号被加到一起以产生一个视频输出。

参考下面描述的实施例，本发明的这些及其它方面将变得显而易见并且被阐明。

下面将参考附图举例描述本发明，其中：

附图1是利用空间可缩放性的已知编码器的示意框图；

附图2是利用空间可缩放性的已知编码器的示意框图；

附图3是根据本发明的一个实施例的利用空间可缩放性的编码器的示意框图；

附图4是根据本发明的一个实施例的分层解码器的示意框图。

附图3是根据本发明的一个实施例的编码器的示意图。如下所述，由编码器300执行的运动估计作用在完整图像上，而不是作用在附图1和2中所示的残余信号上。由于运动估计作用在完整图像上，基本层的运动估计矢量将与增强层的相应矢量具有高相关性。因此，仅通过传输如下所述的基本层和增强层的运动估计矢量之间的差别就可以减少增强层的比特率。虽然附图3所示的实施例涉及到运动估计和运动矢量，但是本领域的技术人员可以理解，本发明还可以应用于其它基本和增强特征。根据本发明，来自基本层的信息可以被当作对增强层的预测来使用。在基本层中选择的编码特征(如宏块类型、运动类型等等)可以被用于预测在增强层中使用的编码特征。通过从增强特征中减去基本特征，可以获得一个具有较低比特率的增强流。

所示的编码***300实现分层压缩，借此，信道的一部分被用于提供低分辨率基本层而剩余部分被用于传输边缘增强信息，从而可以将这两个信号重新组合来将***提高到高分辨率。

编码器300包括一个基本编码器312和一个增强编码器314。该基本编码器包括一个低通滤波器和下采样器320、一个运动估计器322、一个运动补偿器324、一个正交变换(例如离散余弦变换(DCT))电路330、一个量化器332、一个可变长度编码器(VLC)334、一个比特率控制电路335、一个反量化器338、一个反变换电路340、开关328、344和一个内插和上采样电路350。

一个输入视频块316被分割器318分割并被发送给基本编码器312和增强编码器314。在基本编码器312中，该输入块被输入到一个低通滤波器和下采样器320中。该低通滤波器降低视频块的分辨率，并随后将其馈送给运动估计器322。运动估计器322将每一帧的图像数据作为I图像、P图像或B图像处理。顺序输入的各帧的每一个图像以预设的方式作为I图像、P图像或B图像被处理，例如以I，B，P，B，P，...，B，P的序列来处理。也就是说，运动估计器322参考存储在未示出的帧存储器中的一系列图像中的一个预设的参考帧，并且检测宏块的运动矢量，也就是说，通过在该宏块和参考帧之间的模式匹配(块匹配)来编码帧的16个像素乘以16行的小块，以用于检测该宏块的运动矢量。

在MPEG中，有四种图像预测模式，也就是内部编码(帧内编码)、前向预测编码、后向预测编码和双向预测编码。I图像是一个内部编码的图像，P图像是一个内部编码或前向预测编码或后向预测编码的图像，而B图像是一个内部编码、前向预测编码或双向预测编码的图像。

运动估计器322对P图像执行前向预测来检测它的运动矢量。此外，运动估计器322对B图像执行前向预测、后向预测和双向预测来检测对应的运动矢量。以已知的方式，运动估计器322在帧存储器中搜索最类似于当前输入像素块的像素块。本领域中已知有多种搜索算法。它们通常是基于估计当前输入块和候选块的像素之间的平均绝对偏差(MAD)或均方误差(MSE)。具有最低MAD或MSE的候选块被选择作为经运动补偿的预测块。它与当前输入块的相对位置就是运动矢量。

当从运动估计器322接收到的预测模式和运动矢量后，运动补偿器324可以根据该预测模式和运动矢量读出存储在帧存储器中的编码的和已经本地解码的图像数据，并且能够将读出的数据当作预测图像提供给算术单元325和开关344。该算术单元325还接收输入块并且计算输入块和来自运动补偿器324的预测图像之间的差别。然后将该差值提供给DCT电路330。

如果从运动估计器322中只接收到预测模式，也就是说，如果该预测模式是内部编码模式，则运动补偿器324可以不输出预测图像。在这种情况下，算术单元325可以不执行上述的处理，而是可以直接将该输入块输出到DCT电路330。

DCT电路330对来自算术单元325的输出信号执行DCT处理，以获得提供给量化器332的DCT系数。量化器332根据缓冲器中(未示出)的作为反馈接收到的数据存储量设定一个量化步长(量化标度)，并且利用该量化步长量化来自DCT电路330的DCT系数。经量化的DCT系数和所设定的量化步长一起被提供给VLC单元334。

VLC单元334根据量化器332提供的量化步长将量化器332提供的量化系数变换为可变长度代码，例如霍夫曼代码。所得到的经变换的量化系数被输出给一个未示出的缓冲器。所述量化系数和量化步长同样被提供给一个反量化器338，该反量化器根据量化步长对量化系数进行去量化，以便将其变换成DCT系数。所述DCT系数被提供给对DCT系数执行反DCT的反DCT单元340。所获得的反DCT系数随后被提供给算术单元348。

算术单元348根据开关344的位置从反DCT单元340接收反DCT系数以及从运动补偿器324接收数据。算术单元348将来自反DCT单元340的信号(预测残余)加到来自运动补偿器324的预测图像上，以便本地解码原始图像。但是，如果预测模式指示为内部编码，则反DCT单元340的输出就可以被直接馈送给帧存储器。从算术单元340获得的解码图像被发送到并存储在帧存储器中，以便在随后被当作帧间编码图像、前向预测编码图像、后向预测编码图像或双向预测编码图像的参考图像使用。

增强编码器314包括一个运动估计器354、一个运动补偿器356、一个DCT电路368、一个量化器370、一个VLC单元372、一个比特率控制器374、一个反量化器376、一个反DCT电路378、开关366和382、减法器358和364以及加法器380和388。另外，增强编码器314还包括DC偏移360和384、加法器362以及减法器386。很多这些部件的操作与基本编码器312中的类似部件的操作很相似，在此不作详细描述。

算术单元340的输出也被提供给上采样器350，其通常从解码视频流中重构被滤出的分辨率，并且提供一个具有与所述高分辨率输入基本相同的分辨率的视频数据流。但是，由于在压缩和解压缩过程中的滤波和损失，在所重构的流中存在一定的误差。在减法单元358中通过从原始的、未修改的高分辨率流中减去所重构的高分辨率流来确定误差。

根据附图3所示的本发明的一个实施例，原始的未修改的高分辨率流也被提供给运动估计器354。所重构的高分辨率流也被提供给加法器388以便加上来自反DCT 378的输出(可能根据开关382的位置通过运动补偿器356的输出被修改)。加法器388的输出被提供给运动估计器354。结果，对经放大的基本层加上增强层执行运动估计，而不是对原始高分辨率流和所重构的高分辨率流之间的残差执行运动估计。该运动估计产生了比附图1和2的已知***产生的矢量更好地跟踪实际运动的运动矢量。这产生了感觉上更好的图像质量，尤其是对于具有比专业应用低的比特率的消费者应用来说。

另外，可以将一个DC偏移操作引入到增强编码器314中，该DC偏移操作后面跟随着一个限幅操作，其中DC偏移值360被加法器362加到从减法单元358输出的残余信号上。这一可选择的DC偏移和限幅操作允许增强编码器使用现有的标准(例如MPEG)，其中像素值在一个预定的范围内(例如0...255)。残余信号通常集中在零周围。通过加上DC偏移值360，样本集中可以被转移到该范围的中间，例如对于8比特视频样本来说是128。这一相加的优点在于，可以使用用于增强层的编码器的标准部件，并且导致了一个经济的解决方案(对IP块进行再利用)。

根据本发明的一个实施例，来自VLC单元372的增强输出流被提供给一个分割矢量单元390。来自基本层的运动估计矢量也被提供给该分割矢量单元390。分割矢量单元390从增强层的运动估计矢量中减去经处理的基本层的运动估计矢量，以便产生运动估计矢量残余。该残余信号随后被传输。通过降低增强层的矢量的冗余来降低增强层的比特率。

在本发明的一个实施例中，基本运动矢量在分割矢量单元390(或者在一个附图3中未示出的缩放单元)中被缩放，以形成经处理的基本运动矢量。可以利用一个线性或非线性缩放因子来执行缩放。对于非线性缩放，基本运动矢量的水平部分被第一缩放因子缩放，并且基本运动矢量的垂直部分被第二缩放因子缩放。另外，应该从哪一个基本宏块中取得基本矢量可能是不清楚的。根据本发明的一个实施例，选择一个覆盖大部分目标增强宏块的基本宏块。在本发明的另一个实施例中，选择来自于覆盖目标增强宏块的至少一部分的一些或所有基本宏块的基本运动矢量。然后可以以某种已知的方式对相应的从每一个基本宏块中选择的基本运动矢量进行平均来产生一组随后要被缩放的基本运动矢量。

附图4示出了根据本发明的一个实施例的用于解码由编码器300产生的基本流和增强流的解码器400。在基本解码器402中解码基本流。随后，解码的基本流被上变换器404上变换。将经上变换的基本流提供给加法器单元406。来自于基本层的矢量被从基本解码器402中发送到合并矢量单元408中。但是，基本运动矢量首先必须被合并矢量单元408(或附图4未示出的缩放装置)利用与在分割矢量单元390中使用的相同的缩放因子进行缩放。合并矢量单元408将经处理的基本矢量加到增强流中的残余信号上。因此，增强流的运动矢量被重构，并且现在可以通过增强解码器410对整个增强流进行解码。随后通过加法单元406将解码的增强流加到经上变换的基本流上，以便产生解码器400的完全输出信号。虽然附图4示出的说明性实施例涉及运动矢量，但是本领域的普通技术人员可以理解，本发明也可以应用于其它基本和增强特征。

本发明的上述实施例通过仅传输在增强层中的增强特征残余来降低增强层的比特率，从而提高了空间可缩放压缩方案的效率。应该理解，本发明的不同实施例不限于上面描述的各步骤的确切顺序，因为在不影响本发明的整体操作的情况下可以改变一些步骤的定时。另外，术语“包括”不排除其它元件或步骤，术语“一个”不排除多个和单个处理器或者能够实现权利要求书中引述的几个单元或电路的功能的其它单元。

Claims (22)

1、一种用于执行对输入视频流的空间可缩放压缩的设备，包括一个用于编码和以压缩形式输出视频流的编码器，该设备包括：

一个基本层编码器(312)，用于编码包括基本特征的基本流；

一个增强层编码器(314)，用于编码一个残余信号以产生一个包括增强特征的增强流，其中该残余信号是该输入视频流的原始帧和来自基本层的经放大的帧之间的差别；

一个用于从该增强流中的增强特征中减去基本特征的经处理的版本的单元(390)。

2、根据权利要求1的设备，其中所述基本特征是基本运动矢量，而所述的增强特征是增强运动矢量。

3、根据权利要求2的设备，其中所述基本运动矢量被缩放，以形成经处理的基本运动矢量。

4、根据权利要求3的设备，其中一个线性缩放因子被用于对所述基本运动矢量进行缩放。

5、根据权利要求3的设备，其中一个非线性缩放因子被用于对所述基本运动矢量进行缩放。

6、根据权利要求5的设备，其中第一缩放因子对所述基本运动矢量的水平部分进行缩放，而第二缩放因子对所述基本运动矢量的垂直部分进行缩放。

7、根据权利要求3的设备，其中所述基本运动矢量是从一个基本上覆盖了目标增强宏块的基本宏块中取得的。

8、根据权利要求7的设备，其中所述基本运动矢量是从覆盖了目标增强宏块的至少一部分的多个基本宏块中取得的，其中来自于至少部分覆盖了目标增强宏块的所有多个基本宏块的相应的基本运动矢量被组合为一组随后被缩放的基本运动矢量。

9、根据权利要求8的设备，其中对来自于所述所有多个基本宏块的相应的基本运动矢量进行平均或加权平均，以便产生随后被缩放的该组基本运动矢量。

10、一种用于编码一个输入视频流的分层编码器，包括：

一个下采样单元(320)，用于降低该视频流的分辨率；

一个第一运动估计单元(322)，用来对于经下采样的视频流的每一帧计算基本运动矢量；

一个第一运动补偿单元(324)，用于从该第一运动估计单元接收所述基本运动矢量并且产生一个第一预测流；

一个第一减法单元(325)，用于从所述经下采样的视频流中减去该第一预测流以产生一个基本流；

一个基本编码器(3 12)，用于编码一个较低分辨率基本流；

一个上变换单元(350)，用于解码该基本流和增加该基本流的分辨率，以便产生一个重构的视频流；

一个第二运动估计单元(354)，用于接收该输入视频流和所重构的视频流，并且基于一个经放大的基本层加增强层来对于所接收的各流的每一帧计算增强运动矢量；

一个第二减法单元(358)，用于从该输入视频流中减去所重构的视频流以产生一个残余流；

一个第二运动补偿单元(356)，用于从该运动估计单元接收运动矢量并且产生一个第二预测流；

一个第三减法单元(364)，用于从该残余流中减去该第二预测流；

一个增强编码器(314)，用于对来自于该减法单元的所得到的流进行编码以及输出一个增强流；以及

一个分割矢量单元(390)，用于从该增强流中的增强运动矢量中减去所述基本运动矢量的经处理的版本。

11、一种用于提供对输入视频流的空间可缩放压缩的方法，包括以下步骤：

编码一个包括基本特征的基本流；

编码一个残余信号以产生一个包括增强特征的增强流，其中该残余信号是该输入视频流的原始帧和来自基本层的经放大的帧之间的差别；

从增强流的增强特征中减去所述基本特征的经处理的版本。

12、根据权利要求11的方法，其中所述基本特征是基本运动矢量，而所述增强特征是增强运动矢量。

13、一种用于对压缩的视频信息进行解码的解码器，包括：

一个基本流解码器(402)，用于解码接收到的基本流；

一个上变换单元(404)，用于提高该解码的基本流的分辨率；

一个合并单元(408)，用于将由该基本流解码器产生的经处理的基本特征加到所接收的增强流中的一个残余信号上；

一个增强流解码器(410)，用于解码来自该合并单元的输出信号；以及

一个加法单元(406)，用于组合该经上变换的解码的基本流和该合并单元的解码的输出，以产生一个视频输出。

14、根据权利要求13的解码器，其中所述基本特征是基本运动矢量，而所述增强特征是增强运动矢量。

15、根据权利要求14的解码器，其中所述基本运动矢量被缩放，以形成经处理的基本运动矢量。

16、根据权利要求15的解码器，其中使用一个线性缩放因子来缩放所述基本运动矢量。

17、根据权利要求15的解码器，其中使用一个非线性缩放因子来缩放所述基本运动矢量。

18、根据权利要求17的解码器，其中第一缩放因子缩放所述基本运动矢量的水平部分，而第二缩放因子缩放所述基本运动矢量的垂直部分。

19、根据权利要求15的解码器，其中所述基本运动矢量是从一个基本上覆盖了目标增强宏块的基本宏块中取得的。

20、根据权利要求19的解码器，其中所述基本运动矢量是从覆盖了目标增强宏块的至少一部分的多个基本宏块中取得的，其中来自于至少部分覆盖了目标增强宏块的所有多个基本宏块的相应的基本运动矢量被组合为一组随后被缩放的基本运动矢量。

21、根据权利要求20的解码器，其中对来自于所述所有多个基本宏块的相应的基本运动矢量进行平均或加权平均，以产生随后被缩放的该组基本运动矢量。

22、一种用于解码在一个基本流和一个增强流中接收到的压缩视频信息的方法，包括以下步骤：

解码所接收到的基本流；

提高该解码的基本流的分辨率；

将由基本流解码器产生的经处理的基本特征加到所接收的增强流中的残余信号上，以形成一个组合信号；

解码该组合信号；以及

组合经上变换的解码的基本流和解码的组合信号，以产生一个视频输出。

Images