CN101401432A - 可分级视频编码的错误隐藏 - Google Patents

Abstract

一种在可分级视频编码中导出丢失或损坏的图像区块的替换区块信息(例如，替换运动矢量)的方法，该方法包括将关于至少当前层中的相邻区块信息的信息与至少一个其它层中的对应区块和/或相邻区块的信息组合起来，而导出替换区块信息。

Description

可分级视频编码的错误隐藏

背景技术

压缩视频比特流的传输通常对信道错误非常敏感。例如，编码后的视频比特流中的一个比特误码就可能导致图像质量的严重下降。当传输过程中发生无法通过纠错方案完全校正的比特误码时，在接收机处需要错误检测和隐藏技术来隐藏受到破坏的图像。

错误隐藏算法试图修复所接收到的图像的损坏部分。可在IEEESignal Processing Magazine，2001年7月，第17卷，第4期，第61-82页，Yao Wang，Stephan Wenger，Jaintao Wen，和Aggelos K.Kassaggelos等的“Error Resilient Video Coding Techniques”中找到对本领域内当前技术水平的概况。可以将该技术划分为两大类：空间隐藏和时间隐藏。在空间隐藏中，利用相邻空间信息来重建丢失数据，而在时间隐藏中，根据时间上相邻的帧中的数据来重建丢失数据。

一种简单的时间隐藏技术简单地用前一帧内在空间上对应的区块替换损坏的区块。该方法被称为复制算法。在存在运动的区域内，该方法会产生不良隐藏。可以通过将损坏的区块替换为运动补偿后的区块来获得显著改善，但为了实现这点，需要恢复真实的运动矢量。

如下的多种运动矢量恢复技术被广泛地用来隐藏损坏的区块：

●通过其相邻区块的运动矢量的“平均”得到的运动补偿后区块。

●通过其相邻区块的运动矢量的“中值”得到的运动补偿后区块。

●在W.Lam，A.R.Reibman和B.Liu的“Recovery of lost orerroneously received motion vectors”(IEEE Proc.of Int.Conf.Acoustics，Speech，Signal Processing，545-548页，1992年3月)中描述的边界匹配算法。针对隐藏对一组候选运动矢量(MV)中的每个MV进行测试，并且所选出的MV是这样的MV，即，该MV使其边界与在待隐藏区域的周围从顶部宏块、底部宏块和左侧宏块与它们邻接的边界之间的均方差最小。用于该计算的边界可以根据相邻重建宏块的可用性进行方便的调整。

通常，使用中值法(也被称为矢量中值法)根据一组候选MV对丢失的MV进行估计。矢量中值给出到所有相邻候选矢量的最小距离。因此，该方法是一种用于选择一个相邻MV以便对丢失的区块MV进行重建的良好方法。该方法的缺点是计算成本高，从而导致其无法用于具有有限处理能力(例如，视频移动环境)的应用中。

在通过引用方式并入于此的欧洲专利申请EP1395061中提出的技术使用了比该矢量中值法更简单的算法来选择一个相邻区块MV。周围区块运动矢量的平均给出相对于所有周围运动矢量的最小失真。然而，在周围运动矢量具有明显不同方向的情形中，相反方向的矢量之间的抵消可引起具有幅值小于相邻候选矢量的平均矢量。相比于与均值差异最大的矢量，该丢失的矢量更可能接近于该平均矢量。根据这种观点，选择最接近该均值的矢量。该方法将被称为***均法(N-t-A法：nearest-to-average)。

在可分级视频编码(scalable video coding)中，尤其是在MPEG/ITU-TJVT SVC编解码器以及在某些基于小波的视频编解码器中所采用的方法中，运动矢量可通过可分级形式传输。比特流的基本层(base layer)具有运动矢量的粗略表示，该粗略表示可在增强层中被细化。具体地说，在MPEG-4 AVC Scalable Video Coding amendment(Joint Draft 4，JVTdocument number JVT-Q201)的当前草案中，根据宏块编码模式，可以具有三种选择：

1.该MV分量保持与基本层中的MV分量相同

2.用-1、0或1对MV分量进行细化(以1/4像素为单位)

3.不参照基本层MV而发送新的MV。

在许多用于可分级视频编码的应用情况中，认为基本层具有比增强层更强的错误保护，因此更可能丢失特定区块的运动矢量细化，而其粗略表示可用。

在Ghandi和Ghanbari的“Error concealment for SNR scalable videocoding”(Signal Processing：Image Communication，2005，尚待出版)中，通过选择以下选项其中之一来执行增强层内的错误隐藏：

1.使用了基于相邻MV的当前MV估计的先前增强图像的运动补偿后区块(向前)

2.对应的基本层区块(向上)

3.使用了对应基本MV的运动补偿后区块(直接)接着对这三种选项进行检验，并且选出具有最低边界失真(D)的一个而替换丢失的区块。将区块边界失真定义为：

$D_e=\frac{1}{N}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}|c_i-n_i|$

其中c_i和n_i分别为正确接收到的相邻区块的边界像素和替换像素(参考图1)。

较少错误的隐藏算法解决了可分级视频编码情形中的运动恢复。现有的错误隐藏技术要么是非可分级概念的直接延伸，要么使用了基本层MV和/或纹理的简单复制和伸缩，因此不能很好地适于处理在可分级编码运动矢量中可能出现的错误模式。具体地说，它们没有利用所有时间、空间和质量层中可用的信息来有效地对丢失运动矢量和区块编码/分割模式进行估计。

发明内容

在所附权利要求中阐述了本发明的各个方面。

本发明的一方面涉及一种在可分级视频编码中导出图像区块的区块信息的方法，其中在多个层内以不同的细化级别提供编码后的区块数据，该方法包括：对关于至少当前层和/或图像中的相邻区块的信息与关于至少一个其他层和/或图像中的对应区块和/或相邻区块的信息进行组合，从而导出所述替换区块信息。

在此，相邻意味着在空间上相邻或时间上相邻。当前图像可以指任何层内的当前图像，而另一个图像指的是在时间上不同的图像(例如，先前的图像或后继的图像)，并且也可以指任何层内在时间上不同的图像。

本发明的第二方面涉及一种在可分级视频编码中导出图像区块的区块信息的方法，其中在多层内以不同的细化级别提供编码后的区块数据，该方法包括：组合来自以下区块中的至少两个的可用区块信息而导出所述替换区块信息：当前层内的空间相邻区块、当前层内的时间相邻区块、当前帧的第一其它层内的对应区块、当前帧的第二其它层内的对应区块、在第一其它层内与当前帧的对应区块空间相邻的区块、在第一其它层内与当前帧的对应区块时间相邻的区块、在第二其它层内与当前帧的对应区块空间相邻的区块、在第二其它层内与当前帧的对应区块时间相邻的区块。

本发明的某些方面涉及导出图像区块的区块信息。该区块信息通常但非必须地是用于丢失或损坏区块信息的替换区块信息。该区块信息例如是运动矢量信息或者预测模式或者区块分割信息。利用来自在时间上、空间上或者在另一层内与所述图像区块相邻的区块的信息(即，利用另一层内的对应区块的区块信息，或者在另一层内与对应区块相邻的区块的区块信息)来导出给定图像区块的区块信息。在本说明书中，除非根据上下文明确可知，术语“运动矢量”包括运动矢量细化(例如，在可分级编码中基本层之上的层中的运动矢量细化)。

本发明实施方式的潜在特征是：在当前层运动矢量估计过程中将来自所有层的可用信息进行组合。可以期望：以下候选中的至少一些将可用：

●来自当前层中的空间相邻区块的MV

●来自当前层中的时间相邻区块的MV

●(当前区块及当前层MV不可用的相邻区块的)当前帧中的粗略(基本层/下层)MV

●来自过去帧和未来帧的粗略(基本层/下层)MV

●来自当前帧中更高层的MV细化

●来自过去帧和未来帧的更高层的MV细化。

使用可用候选MV中的一些或全部并且使用旨在最小化隐藏错误的标准来对当前MV进行估计。

附图说明

将参照附图对发明的实施方式进行描述，其中：

图1例示了丢失区块(MB)的边界像素；

图2例示了来自基本层帧和增强层帧的候选运动矢量；

图3例示了对最靠***均MV V₀的候选MV的选择；

图4例示了对顶部区块和底部区块(MB)进行插值以实现空间隐藏；

图5为移动视频电话的示意性框图；

图6例示了基本层和增强层中的相邻区块；

图7例示了空间可分级性和区块模式的各个方面；以及

图8A到图8D例示了对于不同区块模式的基本层的区块与增强层的区块之间的关系。

具体实施方式

将以移动视频电话为背景来描述本发明的多个实施方式，在移动视频电话中，由第一移动电话中的摄像机捕获到的图像数据被传输到第二移动电话并被显示。

图5示意性地例示了移动视频电话1的相应部件。电话1包括用于发送和接收数据的收发机2、用于对所接收数据进行解码的解码器4以及用于显示所接收到的图像的显示器6。该电话还包括用于捕获用户图像的摄像器8以及用于对所捕获图像进行编码的编码器10。

解码器4包括用于根据适当编码技术对所接收到的数据进行解码的数据解码器12、用于检测解码后的数据错误的错误检测器14、用于估计损坏的运动矢量的运动矢量估计器16及用于根据运动矢量估计器的输出而隐藏错误的错误隐藏器18。

下面，将对根据本发明的实施方式对接收图像数据进行解码以在显示器6上显示的方法进行描述。

通过利用了帧、宏块和运动补偿的适当已知技术(例如，MPEG-4技术)对由第一移动电话的摄像器8捕获的图像数据进行编码，以便进行传输。如在现有技术中所公知的，数据以基本层和增强层的形式被分级编码。接着发送编码后的数据。

第二移动电话接收到该图像数据并且由数据解码器12对该图像数据进行解码。如在现有技术中那样，由错误检测器14检测在发送数据中发生的错误，并且在可能的情况下利用纠错方案对其进行校正。在无法对运动矢量中的错误进行校正的情况下，如下所述，在运动矢量估计器16中应用用于导出替换运动矢量的估计方法。

第一实施方式的基础是：将粗略MV作为附加的候选MV而补充到现有技术中已知的***均法(N-t-A)中。

图2的顶部示出了当前层中的MV的示例(以V_E1到V_E6表示)，其将用于在上述N-t-A法中对MV进行恢复。在发明思想的当前实施中，我们将图2底部中用V_B0表示的基本层MV补充到候选MV集中。

在图3中，V₀是候选MV(V_E1到V_E6及V_B0)的均值。在该示例中，最接近V₀的MV是V_E5。因此，选择V_E5替换该当前层内丢失的MV。

在以上示例中，假定在当前层中来自当前区块上方和下方的区块的MV已经被正确解码。如果当前层内更多的MV(例如，左边相邻和右边相邻的MV)可用，则这些可用MV也可用于预测。可以将更多来自基本层的MV、当前层中的其它图像及结合有来自更高增强层的细化的MV补充到候选集中。这一点在当前层中的可用MV很少或者特别是没有可用MV的情况下是非常有用的。

以下描述上述基本方案可能的另选例和改进例。另选的候选选择方法可用来替换以上概述的N-t-A法。空间隐藏算法可与该基本方案结合使用。可将更高级的运动增强用作另选的候选选择方法，或者用作N-t-A法或该另选算法的细化。

在第二实施方式中，候选选择是以基本层中的当前区块的MV的方向/幅值为基础的。具有与该基本层中的当前区块的MV的方向/幅值类似的方向/幅值的空间/时间相邻区块的候选MV被选出。也可以通过将该选出的当前层中的MV与基本层中的MV结合起来(例如取两种MV的均值)而进一步对候选MV进行修正。

在第三实施方式中，关于当前层内MV细化的信息被用来引导候选选择处理。例如，如果当前层内所有的MV细化都很小(例如，为0)，则决定使用基本层运动矢量，因为当前区块的细化极可能也非常小。

第四选择方法是观察周围区块。如果这些相邻区块中的大多数区块根据基本层进行预测，则从基本层中复制用于当前区块的MV。如果这些相邻区块中的大多数区块根据先前帧进行预测，则参照该先前帧对丢失的MV进行估计。同时，如果大多数区块根据下一帧进行预测，则参照下一帧对丢失的MV进行估计。根据该选择方法，一旦选出参照图像，则像以前一样对丢失的MV进行估计。利用这种估计得出的MV，利用所选参照图像(基本(base)、过去当前(previous current)、未来当前(futurecurrent))中的一个来隐藏丢失区块。

在第五实施方式中，将来自不同层(尤其是来自基本层/更粗略层)的信息用作附加的错误标准。一个示例是二步选择算法，该算法包括在第一步骤中使用区块边界匹配并且在第二步骤中将运动补偿与上采样的基本层区块进行比较。在该方案的变形例中，基于错误边界测量的加权平均以及上采样的基本层区块与运动补偿区块之差来导出组合错误测量。

如第六实施方式，可以使用来自更高质量等级的运动矢量细化(更高层运动矢量细化)。

对细化信息的最简单应用是：基于增强运动矢量来限制运动矢量的可能范围使其不超出由语法或已知编码器构造所规定的范围。这意味着可以不必考虑将在下一个增强层中导致无效MV的候选MV。

可以结合该简单限制使用更复杂的方法对可用MV细化的特性进行分析。该分析可基于对MV增强的主要方向的简单确定，也可以基于更复杂的统计分析。然后单独使用或结合其它标准使用所得到的信息，以引导在候选MV中的选择处理。例如，如果MV细化对当前区块位置可用，则将具有最接近对应细化的候选运动矢量选择为当前区块MV的估计。在更复杂的实施方式中，将细化的接近度与其它信息(例如对属于主要簇(dominant cluster)的候选MV的预先选择、区块边缘差异等)进行组合。

作为特殊情形，还可以使用细化运动矢量场的分析来恢复基本层内丢失的运动矢量。在一种实施方式中，使用与基本层中的接收MV对应的增强层中的MV细化与对应于丢失MV的那些MV细化之间的关联来指导要用于隐藏的基本层MV的选择。

第七实施方式涉及空间隐藏。如果当前层中的相邻区块为帧内编码，则丢失的区块可以根据错误标准并根据相邻的重建区块进行内部预测/插值，从而实现隐藏。通常在发生错误时，相同水平线上的多个区块受到破坏。因此，有利的是，根据发生错误的区块上方和下方的行上区块中包含的信息来估计损坏的区块。图4中示出了这种插值的一个示例，其中，采用了当前区块顶部的区块与当前区块底部的区块之间的插值。

接着，基于适当的错误度量而决定使用空间预测/插值。一个示例是估计的当前区块与其上采样的基本层版本之间的均方差。

与以上构思类似的构思可用于恢复宏块模式、宏块及子宏块分割信息。

当区块丢失时，其信息(例如，区块模式)也将丢失。如果周围区块模式使用双向预测，则将该丢失区块当作双向模式，并且利用来自过去和未来增强图像的双向运动补偿而将丢失MV隐藏起来。

在大多数宏块的一侧(例如，右侧)宏块被帧内编码的情况下，丢失的宏块将被分割为两个部分。在一部分中，利用根据相邻帧内宏块(INTRAmacroblock)的空间隐藏来执行隐藏，而丢失宏块的另一部分将通过根据周围相邻帧间宏块(INTER macroblock)对丢失MV进行估计来进行隐藏。

在MPEG-4AVC/H.264中，为运动估计和运动补偿之目的，可以借助许多方法将宏块进行分割。分割模式为16x16、16x8、8x16及8x8。根据其分割模式，每个宏块可具有分配给该宏块的一个以上MV。对于尺寸为16x16的区块，需要一个MV，对于尺寸为16x8和8x16的区块，需要两个MV，而对于8x8模式的区块，则需要4个MV。为了估计丢失的MB模式，对周围宏块的模式进行检验。例如，如果大多数MV具有16x8模式，则将16x8模式分配给丢失宏块模式。因此，将需要由周围的相邻MV估计两个MV，以便隐藏丢失的MV。类似地，当使用了8x8分割时，可以将8x8区块进一步细分为8x4、4x8和4x4子区块。可以根据与上述宏块分割模式类似的方式恢复这些子宏块分割模式。

以下阐述用于选择候选运动矢量的其他方法。例如，接下来可以利用适当方法(例如上述方法或现有方法)来处理候选运动矢量，以导出替换区块信息(例如，替换运动矢量或估计运动矢量)。

第八实施方式涉及阈值和权重。

紧接在当前层下方的信息可能非常重要。例如，对于具有称为基本层的低层和称为增强层的高层的两层而言，很可能增强层区块中的信息与基本层中对应区块的信息相似。

要解决的问题是如何预测作为增强层内和基本层内周围区块MV的函数的区块运动矢量(MV)。本实施方式涉及确定对候选MV对估计MV的影响进行控制的权重。基于基本层MV与增强层MV之间的相似性而确定该权重值。

根据可用MV之间的相似性选择分配给候选MV的权重。具体地说，在本实施方式中，考虑到可用MV之间关系的两方面。对于描述为当前区块并且具有要估计的丢失或损坏运动矢量的给定区块而言，考虑到以下情况：

1.基本层中的当前区块的MV与基本层中的空间相邻MV之间的相似性；

2.基本层中和增强层中的同一空间相邻区块的MV之间的相似性。

在具体实施中，将相似性测量值划分为由两个阈值所限定的三个范围(高、中、低)。如果相似性度量高，则将高权重分配给对应的区块信息，并将低权重分配给另一个区块信息。如果相似性度量中间范围内，则将中间权重分配给来自两类区块的信息。最后，如果相似性度量低，则进一步减小对应区块信息的权重，并进一步增大另一个区块信息的权重。

以下参考图6解释所述两个方面。图6例示了基本层和增强层中的当前区块以及基本层和增强层中的空间相邻区块。具体地说，空间相邻区块为垂直位于当前区块上方并被描述为顶部区块的区块。在下文中，将基本层和增强层中的当前区块及顶部区块描述为当前基本区块(Current Base)、当前增强区块(Current Enhancement)、顶部基本区块(TopBase)和顶部增强区块(Top Enhancement)。

在方面1的具体实施中，对两个区块(即，基本层中的顶部基本区块和当前基本区块)的运动矢量(MV)进行比较。如在MPEG-4 SVC中，每个区块可具有多达16个子区块，从而使每个区块的边界可具有多达4个子区块(例如，图6所示的当前基本区块中的区块：a、b、c和d)。然后对顶部基本区块中的每个子区块的MV与当前基本区块中的对应子区块的MV之间的欧几里德距离(Euclidean distance)的和进行计算，从而得出两个相邻区块之间的距离度量DistS，其由以下方程定义：

$\mathrm{Dist}=\underset{i\∈\{a,..,d\}}{\mathrm{\Σ}}{(V_{i_{\mathrm{TB}},x}-V_{i_{\mathrm{CB}},x})}^2+{(V_{i_{\mathrm{TB}},y}-V_{i_{\mathrm{CB}},y})}^2,---\left(1\right)$

其中V_iTB和V_iCB分别为顶部基本区块和当前基本区块的MV，而各MV均由x分量和y分量构成。

如果度量DistS低于第一阈值TH1，即表示顶部基本区块中的MV与当前基本区块中的MV非常相似，则增强层中的MV与丢失的MV之间可以具有较高关联度。因此基本层中的MV的权重因子保持最小。然而，如果度量DistS高于第一阈值THS1，但低于第二阈值THS2(其中THS2>THS1)，则增大基本层的权重因子。最后，如果度量DistS高于THS2，则将较低的权重分配给增强层的MV，或者甚至丢弃增强层的MV，而仅仅使用基本层MV来恢复丢失的MV。

在第二方面中，对两个层的MV进行比较。如方程2所示，利用来自顶部增强区块中的子区块的MV和顶部基本区块中的MV计算欧几里德距离DistL。

$\mathrm{Dist}=\underset{i\∈\{a,..,d\}}{\mathrm{\Σ}}{(V_{i_{\mathrm{TE}},x}-V_{i_{\mathrm{TB}},x})}^2+{(V_{i_{\mathrm{TE}},y}-V_{i_{\mathrm{TB}},y})}^2,---\left(2\right)$

其中V_iTE和V_iTB分别为顶部增强区块和顶部基本区块的MV。

如前面一样，将度量DistL与两个阈值比较。然而此时，如果度量DistL低于第一阈值THL1，则仅仅使用基本层MV来计算丢失的MV(更一般地，以最高的权重使用基本层MV)。如果度量DistL高于第一阈值THL1，但低于第二阈值THL2(其中THL2>THL1)，则减小分配给基本层MV的权重，而增大分配给增强层MV的权重。如果DistL高于第二阈值THL2，则进一步增大增强层的权重，并进一步减小基本层的权重。

可以使用其它距离度量来作为该相似性度量。

在第一和第二方面中，在导出估计MV(例如，在对候选MV进行平均或在其它类似方法中)时使用了加权。或者如上所述，可使用加权来确定是将MV包含在候选MV集中还是将其从候选MV集中排除，接着例如利用上述方法或现有方法对该候选MV集进行处理，从而导出估计MV。

在第一方法中(参考方程1)，相似性度量涉及基本层中的空间信息。然而在第二方法中(参考方程2)，相似性度量涉及不同的层。

换句话说，一般地说，在第一方法中，对于具有丢失或损坏MV(位于增强层中)的当前区块而言，如果在基本层中与当前区块相邻的一个或更多个区块的MV与基本层中的当前区块的MV相似，则可以合理地假定相同的情况适用于当前增强层，因此将更大的权重分配给增强层中的MV。

在第二方法中，一般地说，如果增强层中的相邻MV并不与基本层中对应的相邻MV相似，则将更高的优先级或更高的权重赋予增强层中的MV，而如果增强层中的相邻MV与基本层中的对应MV相似，则将更高的优先级或更高的权重赋予基本层中的MV。

第八实施方式涉及到空间可分级性。

在可分级性方面，在两层之间并非总是一对一映射。例如在空间可分级性方面，基本层中的一个区块对应于增强层中的4个区块，从而给出了一对多的对应性。因此如图7所示，例如，增强层中的每两行对应于基本层中的一行。具体地说，例如图7上部所示的增强层中的区块1到区块4对应于基本层中的一个区块(未示出)，并且4个区块位于两行内(即，2N行(区块3、4)和2N+1行(区块1、2))。

在MPEG-4 SVC中，各尺寸为16x16像素的上级区块(称为宏块)可以具有不同尺寸的子块。一般可以为1个尺寸为16x16、2个尺寸为16x8、8x16或4个尺寸为8x8的子块。可以将8x8的子块进一步分割为4x4的子-子块，各子-子块具有不同的MV。在图7的底部例示了这一点。

区块和子块在空间可分级性上的一对多对应性可被用于基于对不同层中区块之间关系的多个观测结论而更好地指导MV候选选择处理。

如果基本层区块的尺寸为16x16，则其在增强层中的4个对应区块将更可能为16x16的模式。在这种情况下，在估计增强层的奇数(2N+1)行中的区块信息时，认为增强层的偶数(2N)行中的区块信息将与奇数行的区块相似。这一点参考图8A可知，其中在所示的更粗略层中的区块(A)为16x16的区块。

在这种情况下，在那些行中的增强层区块被赋予更高的优先性。相似结论适用于8x16的区块，并且因此以相同方式对它们处理(参考图8B；各区块A1和A2均为8x16)。

然而如果基本层区块的尺寸为16x8，则增强层中的偶数列(2M)中的区块将更可能相似于奇数列(2M+1)中的区块(参考图8C；各区块A1和A2均为16x8)。结果，对于这种情形而言，当在偶数列(2M)内估计区块信息时，奇数列(2M+1)内对应的区块被赋予更高的优先性。

最后，如果基本层区块为8x8，则不可能期望增强层中的相邻宏块之间存在较强的关联度(参考图8D；各区块A1、A2、A3和A4均为8x8)。

本发明的应用示例包括视频电话、视频会议、数字电视、高分辨率数字电视、移动多媒体、广播、可视数据库、互动游戏。涉及到可以使用本发明的图像运动的其它应用包括移动机器人、卫星成像、生物医药技术(例如，放射线照相术)及监视。

在本说明书中，术语“帧”用于描述图像单元，包括处理后的(例如，滤波、改变分辨率、上采样及下采样)，但该术语也应用于其它相似术语(例如图像、场、图片或图像子单元或区域、帧等)。在适当场合，术语“像素”和“像素区块或像素组”可互换使用。在本说明书中，除非文中明显看出，术语“图像”指的是整个图像或图像的一个区域。相似地，图像区域可以指整个图像。图像包括帧或场，并且图像涉及静态图像或图像序列或者相关图像组(例如，电影或视频)中的图像。

图像可以为灰度图像或彩色图像，或者为其他类型的多频谱图像(例如，红外、紫外或其它电磁图像、或者声学图像等)。

本发明优选地通过利用适当设备处理电信号而得到实施。

本发明可在例如具有适当软件和/或硬件改进的基于计算机的***中实施。例如，可利用计算机或具有控制或处理装置(例如处理器或控制装置)、包括图像存储装置的数据存储装置(例如存储器、磁存储介质、CD、DVD等)、数据输出装置(例如，显示器或监视器或打印机)以及数据输入装置(例如，接收机)或这些组件与另外组件的任意组合的类似设备来实施本发明。可通过软件和/或硬件形式或者在专用设备中提供本发明的各个方面，或者可以提供诸如芯片的专用模块。根据本发明实施方式的设备中的***构件可以远离其它构件进行设置。

Claims (46)

1、一种在可分级视频编码中导出图像区块的区块信息的方法，其中在多个层中以不同的细化级别设置编码后的区块数据，该方法包括：将关于至少当前层和/或图像中的相邻区块信息的信息与关于至少一个其他层和/或图像中的对应区块和/或相邻区块的信息进行组合，从而导出所述替换区块信息。

2、一种在可分级视频编码中导出图像区块的区块信息的方法，其中在多个层中以不同的细化级别设置编码后的区块数据，该方法包括：组合以下中的至少两种的可用区块信息而导出所述替换区块信息：当前层中的空间相邻区块、当前层中的时间相邻区块、当前帧的第一其它层中的对应区块、当前帧的第二其它层中的对应区块、在第一其它层中与当前帧的对应区块空间相邻的区块、在第一其它层中与当前帧的对应区块时间相邻的区块、在第二其它层中与当前帧的对应区块空间相邻的区块、在第二其它层中与当前帧的对应区块时间相邻的区块。

3、根据权利要求1或权利要求2所述的方法，该方法用于导出区块的运动矢量。

4、根据权利要求3所述的方法，该方法包括分析在当前层和/或至少一个其他层中与所述图像区块相邻的区块的运动矢量的特征。

5、根据权利要求4所述的方法，该方法包括：基于与至少一个其他层中的所述图像区块的运动矢量的相似性来选择相邻区块的运动矢量。

6、根据权利要求4或权利要求5所述的方法，该方法包括基于多数原则来选择运动矢量特征。

7、根据权利要求6所述的方法，该方法包括选择占大多数的运动矢量特征。

8、根据权利要求3到权利要求7中任何一项所述的方法，其中所述特征包括方向和/或幅值。

9、根据权利要求3到权利要求8中任何一项所述的方法，该方法包括：对从不同层中选出的一个或更多个运动矢量进行组合。

10、根据权利要求9所述的方法，该方法包括：对来自当前层中的相邻区块的运动矢量与来自至少一个其它层中的对应区块和/或相邻区块的运动矢量进行组合。

11、根据权利要求9或权利要求10所述的方法，该方法包括：计算来自当前层中的相邻区块的运动矢量与来自至少一个其它层中的对应区块和/或相邻区块的运动矢量的均值。

12、根据权利要求11所述的方法，该方法包括：将所述平均步骤中使用的最接近所述均值的运动矢量选择作为所述替换运动矢量。

13、根据权利要求12所述的方法，其中所述均值是平均值。

14、根据权利要求3到权利要求13中任何一项所述的方法，该方法包括对选出的运动矢量进行加权以进行所述组合。

15、根据权利要求3到权利要求13中任何一项所述的方法，该方法包括：对在同一层中和/或至少一个其它层中与所述图像区块相邻的区块的多个运动矢量进行比较，并且基于所述比较而对运动矢量进行选择和/或加权以进行所述组合。

16、一种在可分级视频编码中导出图像区块的运动矢量的方法，其中在多个层中以不同的细化级别设置编码后的区块数据，利用选出和/或加权的、在同一层和/或至少一个其它层中与所述图像区块相邻的区块的运动矢量来导出所述图像区块的运动矢量，所述方法包括：基于区块尺寸来对运动矢量进行选择和/或加权，和/或对在同一层中和/或至少一个其它层中与所述图像区块相邻的区块的多个运动矢量进行比较，并且基于所述比较来对运动矢量进行选择和/或加权。

17、根据权利要求16所述的方法，该方法包括：对选出和/或加权的运动矢量进行组合，以导出所述运动矢量。

18、根据权利要求3-15、17中任何一项所述的方法，该方法包括：对在同一层中和/或至少一个其它层中与所述图像区块相邻的区块的多个运动矢量之间的相似性进行评估，并且基于所述相似性来确定是否从所述当前层和/或至少一个其它层中选择运动矢量进行所述组合。

19、根据权利要求3-15、17、18中任何一项所述的方法，该方法包括：对在同一层中和/或至少一个其它层中与所述图像区块相邻的区块的多个运动矢量之间的相似性进行评估，并且基于所述相似性而对选出的运动矢量进行加权以进行所述组合。

20、根据权利要求18或权利要求19所述的方法，其中，所述评估相似性的步骤包括计算相似度值，并且将所述相似度值与至少一个阈值进行比较。

21、根据权利要求3-15、17-20中任何一项所述的方法，该方法包括：对当前层中的运动矢量与更粗略层中的运动矢量进行比较，并且对来自当前层和/或更粗略层的运动矢量进行组合，其中在组合中，所述更粗略层中的运动矢量的影响与所述当前层中的运动矢量与更粗略层中的运动矢量之间的相似性直接相关。

22、根据权利要求3-15、17-20中任何一项所述的方法，该方法包括：对更粗略层中的运动矢量进行比较，并且对来自所述当前层和/或更粗略层的运动矢量进行组合，其中在组合中，所述更粗略层中的运动矢量的影响与该更粗略层中的运动矢量之间的相似性反向相关。

23、根据权利要求3-15、17-22中任何一项所述的方法，该方法包括基于区块尺寸对运动矢量进行选择和/或加权以进行所述组合。

24、根据权利要求3-24中任何一项所述的方法，其中，所述当前层中的多个区块对应于所述更粗略层中的同一区块，所述方法包括：在选择、加权或组合过程中将更大的影响指派给与所述图像区块同样地对应于所述更粗略层中的所述同一区块、并与所述图像区块相邻的区块。

25、根据权利要求4-7中任何一项所述的方法，其中，所述特征包括这样类型的预测，即，相对于另一层的预测、相对于前一帧的预测或相对于下一帧的预测。

26、根据权利要求3-25中任何一项所述的方法，该方法替代运动矢量信息而应用于诸如预测模式信息或区块划分信息的其它区块信息。

27、一种在可分级视频编码中导出图像区块的丢失或损坏运动矢量的替换运动矢量的方法，其中在多个层中以不同的细化级别设置编码后的区块数据，所述方法包括：选择所述图像区块的层中的、具有与低层中的对应区块的运动矢量相似的方向和/或幅值的相邻区块的运动矢量。

28、一种在可分级视频编码中导出图像区块的丢失或损坏运动矢量的替换运动矢量的方法，其中在多个层中以不同的细化级别设置编码后的区块数据，所述方法包括：基于对所述图像区块的层中的相邻运动矢量的评估，例如，确定相邻运动矢量是否接近于0，来确定是否使用下层中的对应区块的运动矢量。

29、一种在可分级视频编码中导出图像区块的丢失或损坏运动矢量的替换运动矢量的方法，其中在多个层中以不同的细化级别设置编码后的区块数据，该方法包括参照更高层的运动矢量。

30、一种在可分级视频编码中导出图像区块的丢失或损坏运动矢量的替换区块信息的方法，该替换区块信息例如是模式信息或分割信息，其中基于所述图像的层中相邻区块的所述区块信息和至少一个其它层中的相邻区块和/或对应区块的所述区块信息，在多个层中以不同的细化级别设置编码后的区块数据。

31、根据前述任何一项权利要求所述的方法，其中，使用相对于当前层的更高层。

32、根据前述任何一项权利要求所述的方法，其中，使用了基本层。

33、根据前述任何一项权利要求所述的方法，该方法还包括：利用来自至少两个层的信息来对诸如运动矢量信息的区块信息进行评估。

34、一种隐藏图像区块中的错误的方法，该方法包括：使用通过前述任何一项权利要求所述的方法而导出的区块信息。

35、一种隐藏图像区块中的错误的方法，该方法包括：确定相邻区块是否为帧内编码，并且利用该信息来指导应用根据一个或更多个相邻区块进行的空间预测/插值。

36、根据权利要求35所述的方法，其中，对于当前层增强不可用的、所述当前区块的空间预测/插值所使用的相邻帧内编码区块，使用它们的基本层表现的上采样。

37、根据权利要求35所述的方法，该方法还包括：基于插值区块与对应区块的上采样版本之间的比较来进行评估。

38、一种在可分级视频编码中评估图像区块的丢失或损坏区块信息的替换区块信息的方法，其中在多个层中以不同的细化级别设置编码后的区块数据，该方法包括使用来自至少两个层的信息。

39、根据权利要求38所述的方法，该方法包括：对来自至少两个层的信息进行组合。

40、根据权利要求39所述的方法，该方法包括：对基于区块边界失真的错误度量与基于具有替换后区块信息的区块与下层的对应区块的上采样版本二者之间的比较的错误度量进行组合。

41、一种用于执行前述权利要求中任何一项所述方法的计算机程序。

42、一种存储有权利要求41中所述的计算机程序的数据存储介质。

43、一种适于执行权利要求1-40中任何一项所述方法的控制装置或设备。

44、根据权利要求43所述的设备，该设备包括数据解码装置、错误检测装置、运动矢量估计装置和错误隐藏装置。

45、一种用于通信***或用于检索存储数据的***的接收机，该接收机包括权利要求43或权利要求44所述的设备。

46、根据权利要求45所述的接收机，其中，所述接收机为移动视频电话。

Images