CN102291585A

CN102291585A - 用于视频序列中错误隐藏的方法

Info

Publication number: CN102291585A
Application number: CN2011102747909A
Authority: CN
Inventors: M·汉努克塞拉; 王业奎
Original assignee: Nokia Oyj
Current assignee: Nokia Technologies Oy
Priority date: 2002-07-15
Filing date: 2003-07-15
Publication date: 2011-12-21
Also published as: RU2321967C2; KR101075860B1; US20040139462A1; WO2004008733A2; AU2003281127B2; US8107539B2; JP2005533422A; MXPA05000559A; KR20100108442A; RU2005103827A; AU2003281127A1; WO2004008733A3; JP4373329B2; EP1535467A4; CN1669322A; EP1535467B1; EP1535467A2

Abstract

一种用于视频序列中错误隐藏的方法和设备。当视频序列中有场景过渡且属于该场景过渡的图象有错误时，使用基于场景过渡类型的错误隐藏过程来隐藏错误。在附加增强信息消息中向视频解码器提供场景过渡以及关于其场景过渡类型的信息。如果场景过渡是渐变场景过渡，则使用空间-时间错误隐藏算法来隐藏图象。如果场景过渡是场景剪辑且只有部分图象被丢失或者损坏，则应用空间错误隐藏来隐藏图象丢失或者损坏的部分。如果属于场景剪辑的整幅图象丢失或者损坏，且该图象开始新的场景，则不隐藏之。

Description

用于视频序列中错误隐藏的方法

本申请是基于在2003年07月15日提交的、申请号为03816728.X(PCT/IB2003/002802)、发明名称为“用于视频序列中错误隐藏的方法”的专利申请的分案申请。

技术领域

本发明主要涉及视频编码，并且尤其涉及隐藏由错误引入的人为图像失真。

背景技术

视频序列由一系列静止图象或帧组成。视频压缩方法是基于减少视频序列中冗余和与知觉无关的部分。视频序列中的冗余可以分为光谱、空间和时间冗余。光谱冗余指同一幅图象的不同颜色成分之间的相似性。空间冗余源于一幅图象中相邻象素之间的相似性。时间冗余的存在是因为出现在以前图象帧中的物体还可能出现在当前的图象帧中。可以通过利用这种时间冗余并从被称为参考图象的别的图象预测当前图象来实现压缩。通过生成描述当前图象和参考图象之间运动的运动补偿数据实现了进一步的压缩。

视频压缩方法典型地区分利用时间冗余减少的图像和不利用时间冗余减少的图象。不利用时间冗余减少的方法的压缩图象通常被称为INTRA-(或者I-)帧或者图象。时域预测图象通常由出现在当前图象之前的图象来前向预测，并被称为INTER-或者P-帧。典型地，压缩的视频片段由图象序列组成，其能被粗略的分为时域无关的INTRA图象和时域差分编码的INTER图象。典型地，INTRA图象被用来在重建的视频信号中阻止传输错误的时域传播，以及提供进入视频比特流的随机存取点。因为INTRA图象提供的压缩效率通常比INTER图象提供的低，因此通常很少用它，特别是在低比特率的应用中。

视频序列可以由许多摄影机场景(scene)或者镜头(shot)组成。镜头被定义为使用一个摄影机拍摄的一组连续的帧或者图象。通常而言，一个镜头中的帧是高度相关的。但是，在一个典型的视频序列中，图象内容从一个场景到另一个场景是显著不同的，因此一个场景的第一个图象通常是INTRA编码的。视频序列中不同镜头之间的变化被称为“场景过渡”。场景过渡可以采取许多不同的形式。比如，一个镜头结束，而另一个以“场景剪辑”突然开始。在其他情形，场景过渡是渐变的，并发生在多于一个的帧中。渐变的场景过渡的例子是“消隐”、“淡变”(淡入、淡出)和“划变(wipe)”。

压缩视频很容易被传输错误损坏，主要有两个原因。首先，由于利用了时域预测差分编码(INTER帧)，所以错误会在空间和时间上传播。其次，使用变长编码使得视频比特流更容易出错。接收器(视频解码器)有许多方法来寻址在传输路径中引入的损坏。通常而言，当接收到信号时，传输错误首先被检测，并且然后被解码器校正或者隐藏。术语“错误校正”指完全地恢复错误数据的过程，如同本来就没有引入错误，而“错误隐藏”指隐藏传输错误的影响的过程，使之在重建的视频序列中几乎不可见。

目前，由ISO/IEC运动图象专家组和ITU-T视频编码专家组组成的联合视频组(JVT)为ITU-T H.264/MPEG-4第10部分AVC视频编解码器开发的视频解码器缺乏一种用于决定如何隐藏INTRA编码帧和场景过渡帧中的传输错误的方法，并且正是在这种情况下，开发了本发明。

发明内容

本发明的目的是提供一种为属于视频序列中场景过渡的帧选择合适的错误隐藏形式的方法。该方法同样适用于突变的场景过渡(即场景剪辑)和渐变的场景过渡，比如淡变、划变和消隐等。

为了对属于场景过渡的帧进行有效的错误隐藏，需要两种信息：1)镜头变化开始和结束所在帧的信息；以及2)涉及的场景过渡的类型(剪辑、消隐、淡变、划变等)。因为正确解码视频编码层(VCL)数据时不需要刚才所述的两种类型的信息，所以本发明建议与场景过渡相关的信息以附加增强信息(SEI)来提供，并被包括在作为附加增强信息(SEI)消息的已编码的视频比特流中。于是隐藏发生在属于场景过渡的帧中的错误所需要的所有必需信息可以从SEI消息中推出。

依照本发明，视频序列中每一个场景与场景标识符值相关。连续场景的场景标识符值彼此不同，这样，当视频解码器接收的场景标识符和先前接收的不同时，它就可以断定已经发生了场景变化。在一个场景过渡周期中的帧与两个场景标识符值相关，两个过渡场景每个都有一个。此外，渐变场景过渡与特定的过渡类型相关，其可以是消隐、淡入、淡出、划变或者以上都不是(即某种其它类型的过渡)。这个粗略的分类为解码器提供了足够的指导，允许其在场景过渡时对数据丢失或者损坏选择合适的错误隐藏算法。

这样，依照本发明的第一个方面，提供了一种用于隐藏视频序列的帧中错误的方法，该视频序列至少包含第一个场景和第二个场景，第二个场景具有源于第一个场景的场景过渡，其中，场景过渡包含多个帧，并且场景过渡是多种类型中的一种。该方法包括：

识别场景过渡的类型；以及

基于识别的场景过渡类型，应用错误隐藏过程来隐藏属于该过渡的帧中的错误。

所识别的场景过渡的类型可以是场景剪辑或者是渐变场景过渡。

优选地，如果属于场景剪辑的整幅图象丢失，则不隐藏丢失的图象。

优选地，如果属于场景剪辑的部分图象丢失或者损坏，则应用空间错误隐藏算法来隐藏该图象丢失或者损坏的部分。

优选地，如果属于渐变过渡的整幅图象丢失或者损坏，则应用空间-时间错误隐藏算法来隐藏该图象丢失或者损坏的部分。

优选地，如果属于渐变过渡的部分图象丢失或者损坏，则应用空间-时间错误隐藏算法来隐藏该图象丢失或者损坏的部分。

优选地，在附加增强信息消息中向解码器提供所识别的场景过渡的指示信息，使得解码器能基于所述信息来隐藏错误。

有利地，所识别的场景过渡的指示信息包括场景过渡类型的指示，并向属于该过渡的每个帧提供所确定的场景过渡的指示信息。

依照本发明的第二个方面，提供了一种用来将视频序列编码为数据流的视频编码设备，该视频序列至少包含一个第一场景和一个第二场景以及具有源于第一场景的场景过渡，其中，场景过渡包含多个帧，并且场景过渡是多种类型中的一种。该视频编码设备包括：

用来识别与过渡相关的帧的装置；

用来提供关于过渡类型的信息的装置。

依照本发明的第三个方面，提供了一种用来从数据流中解码视频序列的视频解码设备，该视频序列至少包含一个第一场景和一个第二场景以及具有源自第一场景的场景过渡，其中，场景过渡包含多个帧，并且场景过渡是多种类型中的一种。该视频编码设备包括：

用来接收数据流的装置；以及

基于场景过渡的类型，用来隐藏属于该过渡的帧中的错误的错误隐藏算法。

在结合图1至3阅读描述时，本发明将是显而易见的。

附图说明

图1是依照本发明说明错误隐藏方法的流程图，显示了如何依照场景过渡的类型来为场景过渡中的图象选择合适的错误隐藏方法。

图2是说明依照本发明实现的用于提供编码数据流的视频编码器的框图，该编码数据流为了错误隐藏的目的而包括场景过渡指示信息。

图3是说明依照本发明及对应于图2图示的视频编码器实现的视频解码器的框图。

具体实施方式

如上所述，包括在已编码的视频比特流中的附加增强信息(SEI)包含对正确地解码已编码的视频数据非必需的信息，但是，它在用于解码或者显示的目的时仍然有用。这样，SEI信息是用于携带关于视频序列中特定帧属于的场景的信息和用于提供关于场景过渡的信息的理想载体。

依照ITU-T H.264/MPEG-4第10部分AVC视频编码标准，SEI元素包含一个或者多个SEI消息。每个SEI消息由一个SEI报头和一个SEI有效载荷组成。SEI有效载荷的类型和大小使用可扩展的语法编码。SEI有效载荷的大小用字节表示。有效的SEI有效载荷类型列在JVT委员会草案的附件C中(参见文件JVT D015d5)。

SEI有效载荷可以是SEI有效载荷报头。比如，有效载荷报头可以表示特定数据属于的图象。每种有效载荷类型分别定义有效载荷报头。SEI有效载荷的定义在JVT委员会草案的附件C中被详细说明(再次参见文件JVT D015d5)。

SEI单元的传输相对于其它的NAL(网络抽象层)单元是同步的。SEI消息可以涉及片段、图象的部分、图象、任意的图象组、过去的序列、正在被解码的序列、或者将在未来被解码的序列。SEI消息也可以涉及传输顺序上排在前边或后边的一个或者多个NAL单元。

下面的表1定义了如在ITU-T H.264/MPEG-4第10部分AVC视频编码标准中使用的SEI有效载荷的语法，而表2呈现了如依照本发明建议的用在与场景信息发信相关的特定语法。

表1：SEI有效载荷语法

scene_information(PayloadType，PayloadSize){	种类	描述符
			scene_identifier	u(8)
if(more_sei_payload_data()){
			second_scene_identifier	u(8)
if(more_sei_payload_data())
			scene_transition_type	e(v)
}
			}

表2：SEI场景信息语法

表2中给出的场景信息参数涉及包括按传输顺序的已编码的宏块数据的下一个NAL单元。

scene_identifier：场景被定义为一个摄影机拍摄的一组连续帧。通常而言，一个场景中的帧是高度相关的。依照本发明，给定的场景中的帧共用同样的scene_identifier参数值，并且编码顺序上连续的场景不应该具有同样的scene_identifier参数值。

second_scene_identifier：如果存在，则second_scene_identifier参数表示下一个包含已编码宏块数据的NAL单元属于包含来自两个场景的图象数据的帧。换言之，该帧属于渐变场景过渡。second_scene_identifier参数按编码顺序是后面场景的场景标识符。

scene_transition_type：如果在SEI场景信息中不存在scene_transition_type参数，则这表示该场景过渡类型未知、未定义或者无关。如果存在，则以下表3中给出的值是有效的。

值	描述
		0	消隐
1	淡出
		2	淡入
4	划变
		其它值	保留

表3：依照本发明的一个优选实施例的场景过渡类型

现在将描述上述场景信息用在解码过程中处理数据丢失或者损坏的方法。

如果整幅图象正好在当前图象之前丢失并且自先前接收的图象起场景已发生变化，则不应该隐藏丢失的图象，因为它开始了新的场景。如果整幅图象正好在当前图象之前丢失并且自先前接收的图象起没有场景变化发生，则解码器隐藏丢失的图象。如果在过渡周期中丢失整幅图象，则解码器在隐藏丢失图象时利用指示的场景过渡类型。

如果当前图象的部分丢失或者损坏，且如果场景信息SEI消息与该图象相关，则解码器进行如下操作：

1).如果自先前的图象被接收以来场景已发生变化，则解码器应用空间错误隐藏算法来隐藏当前图象丢失或者损坏的部分。

2).如果自先前接收的图象起场景还未发生变化，则解码器使用空间-时间错误隐藏算法。

3).如果当前图象属于场景过渡，则解码器在隐藏丢失图象时利用指示的场景过渡类型。

依照本发明，如果编码器工作在易于发生错误的传输环境或者需要基于已编码的视频信号生成视频内容描述，则编码器应该生成场景信息SEI消息。即使不立即需要内容描述，也会对一些类型的视频内容在后来出现需要，比如娱乐节目视频。因此，依照本发明，如果可能，优选的是编码器总是生成场景信息SEI消息。

因此，编码器为每个场景剪辑和渐变过渡都生成场景信息SEI消息。对每一个场景剪辑图象，有以后可以被重复以用于容错弹性的相关的场景信息SEI消息。对每个渐变场景过渡，有与第一幅过渡图象(即由过渡起始和过渡结束场景组成的第一幅图象)相关的(优选是重复的)场景信息SEI消息。对每个渐变场景过渡，也有和最后一幅过渡图象(最后一幅过渡图象指由过渡起始和过渡接收场景组成的最后一幅图象)之后的第一幅图象相关联的(优选是重复的)场景信息SEI消息。如上所述，scene_identifier参数的值在连续场景中是不同的。

在面向分组的传输环境中，如果可能，传输分组器将每个场景信息SEI消息至少复制到两个分组中，以便保证正确接收至少一个出现的消息。在RTP传输中，分组器使用复合分组来将场景信息SEI消息与已编码的图象内容相关联。在面向字节流的传输环境中，每个场景信息SEI消息至少被复制。

依照本发明的通过发信号来指明镜头变化以在视频序列进行错误隐藏的方法在图1的流程图100中进行了说明。

当解码器在解码过程中遇到数据丢失或者损坏时，解码器在步骤110中判定该丢失或者损坏的图象是整幅图象还是图象的一部分。如果整幅图象已丢失，则解码器确定发生了何种类型的丢失情形(步骤120)。如果整幅图象正好在当前图象之前丢失并且自先前接收的图象起场景已发生变化(比如，如在接收的SEI信息中的scene_identifier参数值指示的)，则不应该隐藏丢失的图象，因为这种情况下，如上所述，丢失的图象表示了新场景的开始(步骤124)。如果整幅图象正好在当前图象之前丢失并且自先前接收的图象起没有场景变化发生，则解码器隐藏丢失的图象，如步骤122所示。如果在过渡周期中丢失了整幅图象，则解码器在隐藏丢失图象时利用指示的场景过渡类型(从接收的SEI信息中获得)，如步骤126所示。

如果已丢失了部分图象，则解码器确定发生了何种类型的丢失情形(步骤130)。如果部分当前图象被丢失或者损坏，且如果场景信息SEI消息与该图象相关联，则解码器进行如下操作：如果自先前接收的图象起场景已发生了变化，则解码器应用空间错误隐藏算法来隐藏当前图象丢失或者损坏的部分，如步骤134所示。如果自先前接收的图象起场景还没有发生变化，则解码器应用空间-时间错误隐藏算法，如步骤132所示。如果当前图象属于场景过渡，则解码器在隐藏丢失图象时使用指示的场景过渡类型，如步骤136所示。

为了执行如图1的流程图100所示的错误隐藏方法，依照本发明实现的视频编码器应该能够监控场景改变并在编码器生成的比特流中传送指示场景改变的信息。这种视频编码器200的框图如图2所示。如图所示，依照本发明实现的视频编码器包括场景过渡监控器210、编码引擎220、控制单元230和多路复用器/分组器单元240。表示视频序列的视频输入信号被施加至视频编码器的输入端，并经场景过渡监控器210馈送至视频编码引擎220，视频序列的各个帧在此处被编码，比如以INTRA或者INTER格式。场景过渡监控器检查帧，比如通过计算序列的连续帧中的象素间的绝对差别的累积总数，或者通过应用现有技术中已知的任何其它场景检测方法，以便识别组成该视频序列的不同场景。场景过渡监控器210向控制单元230提供每一帧所属场景的指示。当检测到场景间的过渡(比如场景剪辑、淡变、消隐、划变等)时，场景过渡监控器210还会向控制单元230提供过渡类型指示。控制单元给由场景过渡监控器确定的每一个场景分配标识符(例如一个数)，并将该标识符与确定属于所考虑场景的每个帧相关联。此外，当检测到场景过渡时，控制单元230指导视频编码引擎220以INTRA编码格式来对新场景的第一个帧进行编码。有利地，所有属于新场景的后续帧然后以INTER编码格式编码，除非出于某种原因必须用另外的格式来对给定帧编码。在本发明优选实施例中，控制单元230将附加增强信息(SEI信息)与属于场景过渡的每一帧都关联，并将SEI信息传给多路复用器/分组器单元240。有利地，如在本文早前提出的、先前在用于实现本发明的最佳方式中所描述的那样形成用于组成场景过渡的部分的帧的SEI信息。多路复用器/分组器还从视频编码引擎220接收编码的视频数据，并由已编码的视频数据和SEI信息形成单个比特流。然后传输比特流，比如通过传输信道传输至相应的视频解码器(见图3)或者传输到存储设备(未示出)用于以后的检索和观看。

图3是依照本发明实现的且与结合图2描述的视频编码器相对应的视频解码器300的框图。由图3可知，依照本发明的视频解码器包括去分组器/分离器310、控制单元320、错误隐藏单元330和视频解码引擎340。去分组器/分离器以数据分组的形式从传输信道接收表示视频序列的已编码比特流。它从接收的数据分组重建已编码的视频比特流，并将视频比特流分成其组成部分(即分成与该序列的已编码视频帧相关的不同类型的信息)。依照本发明，去分组器/分离器从已编码的视频比特流中提取出包含其中与场景过渡有关的信息的附加增强信息，并将SEI信息传送至控制单元320。用来解码已编码视频帧必需的数据从去分组器/分离器310被传送至解码引擎340，视频序列的各个帧在此处被重建，比如使用INTRA和INTER解码技术。当每一帧被解码时，视频解码引擎340检查接收的视频数据来寻找来自编码器的已编码视频比特流在传输信道上传输时引入的错误。如果视频解码引擎检测到特定帧包含这种错误或者该帧被严重损坏以至其根本不能被解码(即该帧实际上被丢失)，则它试图使用合适的错误隐藏算法来隐藏该错误或者整个帧。依照本发明，由错误隐藏单元330来选择合适的错误隐藏方法。错误隐藏单元从控制单元320接收关于每一帧所属场景的信息。在帧是场景过渡的部分的情况下，控制单元320还会向错误隐藏单元传送有关场景过渡类型的信息。这样，当解码引擎340检测到影响场景过渡的部分的帧的错误时，错误隐藏单元330能够通过考虑该帧所属的场景以及考虑场景过渡类型来选择合适的隐藏错误的方法。优选地，在做出这种选择时，错误隐藏单元330应用上面提出的实现本发明的最佳方式中描述的选择方法。视频解码引擎340然后利用选择的错误隐藏算法来在该帧中隐藏错误，并输出该已解码的帧，比如用于在显示设备上显示(未示出)。

为了验证依照本发明的用于场景剪辑和场景过渡帧的错误隐藏方法的有效性，使用依照ITU-T H.264/MPEG-4第10部分AVC视频编码标准实现的视频编码器和解码器来完成了一系列模拟实验，修改使之能依照本发明的方法来工作。这些模拟实验将在下面详细介绍。

A.随机存取帧和场景剪辑中错误隐藏的模拟

在此模拟中，使用文件VCEG-N79rl中建议的序列和比特率，而且应用用于丢失分组环境的通常情形(如VCEG-N79rl所定义)。此外，为了模拟场景剪辑帧中错误隐藏的效果，由著名的序列″News″、″Foreman″、″Coastguard″、″Carphone″和″Silent″来构造具有常规场景剪辑的30帧的人造序列。下面，这个人造序列被称为“MixedSeq”。在所有的情况下，使用大约1秒的INTRA帧周期来允许频繁的随机存取。对于MixedSeq，这样一个INTRA周期使得所有的场景剪辑都被INTRA编码。还使用了发觉丢失的R/D优化(LA-RDO)。用来编码该序列的其它编码参数如以下表4所示：

表4：模拟随机存取帧和场景剪辑中的错误隐藏使用的编码器参数

错误隐藏

依照上述的实现本发明的最佳方式中提出的准则模拟依照本发明的方法在编码器中生成场景信息SEI消息，并比较两个解码器过程：

1.标准的联合模型解码器，包括在JVT工作草案附录D(参见文件JVT-C039)中描述的错误隐藏方法。

2.依照本发明利用解码器过程增强的联合模型解码器。

比特率和PSNR计算

如在文件VCEG-N79rl中指定的通常条件下所述的，选择诸如量化参数之类的编码参数以使所得的比特率尽可能地接近信道比特率，考虑了每个分组中40字节的IP/UDP/RTP报头。使用包括跳帧和丢失帧的源序列中每一帧来计算PSNR值。为了减少第一帧(第一编码帧的平均大小大于整个序列的平均大小)施加在整体结果上的影响，从第六编码帧来计算比特率和平均PSNR值。此方法使得短序列的编码有公平的结果。不是对4000帧编码，而是使用每个指定序列的300-400帧，以确保至少100帧被编码，而且至少300帧被使用。

丢失分组模拟

在本模拟中，假定包含参数组(表4)的分组被可靠地传送(比如通过在对话建立期间带外的方法)，因此，不从错误模式文件为其读出错误模式。第一帧中的至少一个分组应该被接收以避免解码器崩溃。为了满足这个条件，不管相应的错误模式，第一个帧的第一个分组总是被接收。

典型的解码运行

已编码的数据流被多次解码(每次被称作解码运行)。第n+1次运行的开始丢失位置连续跟随在第n次运行的结束丢失位置。选择解码运行的数量以便总共至少有8000个分组。总的平均PSNR通过平均所有解码运行的平均PSNR值来获得。选择典型的解码运行以使其平均PSNR最接近总的平均PSNR。该典型运行的瞬时PSNR值和解码序列被存储来绘制瞬时PSNR图和用于主观质量评价。

结果

如MixedSeq144kbps的模拟结果所示，在以下表11中给出的，在客观和主观质量方面，在场景剪辑中使用INTRA错误隐藏要比使用INTER错误隐藏性能更好。相反，对那些非场景剪辑的帧而言，使用INTER错误隐藏算法总是优于使用INTRA错误隐藏，正如可以从表5至10给出的其它6个编码例子看出的。这显示了本发明的有用性。

表5：以64kbps、7.5帧/s编码的“Foreman”序列

表6：以144kbps、7.5帧/s编码的“Foreman”序列

表7：以32kbps、10帧/s编码的“Hall”序列

表8：以384kbps、30帧/s编码的“Irene”序列

表9：以144kbps、15帧/s编码的“Paris”序列

表10：以384kbps、15帧/s编码的“Paris”序列

表11：以144kbps、15帧/s编码的“MixedSeq”序列

B.淡变的错误隐藏的模拟

为了模拟用于淡出和淡入帧的错误隐藏的效果，生成两个具有10个淡出帧、10个淡入帧和10个正常帧的人造序列。其一由″News″和″Akiyo″(具有低速运动)的结合构成，另一个由″Carphone″和″Foreman″(具有减速运动)构成。在使用JVT联合模型编码器和I-P-P-P编码模式编码以后，一些淡变帧的丢失被模拟，而丢失的比特流被馈送至解码器。应用两种不同的错误隐藏方法来隐藏由淡变帧的丢失引起的错误：

1.在JVT编解码器中的常规的错误隐藏方法(如JVT工作草案(JVT-C039)的附录D中所述的)；以及

2.如下描述的依照本发明用于淡变的特定的错误隐藏方法。

错误隐藏算法

通过复制和按比例计算先前帧的象素值来隐藏淡变中丢失的帧。但是，如果在该场景过渡周期中只有一个先前帧，则不进行按比例计算。如果Mn’是先前帧的平均Y(亮度)象素值，而Mn”是先前帧之前的帧的平均Y象素值，则比例因子f如下计算：

f＝(2*Mn’-Mn”)/Mn’

用于象素的隐藏的Y、U和V值(Ys，Us，Vs)由先前图象相应的空间值(Y，U，V)以如下方式计算：

Ys＝f*Y

Us＝f*(U-128)+128

Vs＝f*(V-128)+128

如模拟结果所示，依照本发明为淡变使用的特定的错误隐藏方法，在客观和主观质量上比常规JVT视频编码建议的附录D中定义的错误隐藏方法的性能好得多。会有异议认为渐变场景过渡的视觉质量并不重要。但是，场景过渡中的不佳的错误隐藏不仅会导致质量不佳的过渡帧，而且由于时域的错误传播，还会导致场景过渡后质量不佳的正常帧。

消隐的错误隐藏

下面给出两种用于在消隐期间丢失帧的错误隐藏的方法。如果解码器能够在解码前缓冲足够数量的帧，则应该使用算法A。否则，应该使用算法B。

算法A：

如果解码器前的缓冲器包含第二个场景的任一INTRA编码帧(过渡周期后的一个帧)，则该INTRA帧被用作错误隐藏中的第二个锚帧。如果不能得到这样的INTRA帧，则必须应用算法B。第一个锚帧是最后重建的帧。如果dt1和dt2分别是显示时间中第一个锚帧和丢失帧的时域距离和相对于第二个锚帧的相同的测量，(y1，u1，v1)是第一个锚帧中的一个象素，以及(y2，u2，v2)是第二个锚帧中空间对应的象素，那么通过下式给出隐藏的象素(y，u，v)：

y＝clip1((y1*dt2+y2*dt1)/(dt2+dt1))

其中，u和v用相似的方法计算，但是要考虑它们的符号：

u＝clip1((u1-128)*dt2+(u2-128)*dt1)/(dt2+dt1)+128)

其中，数学函数“clip1”定义如下：

clip1(c)＝clip3(0，255，c)

clip3(a，b，c)＝a if c＜a

＝b if c＞b，或者

＝c，在其他情况下。

算法B：

正常的空间-时间错误隐藏。

划变的错误隐藏

解码器必须检测：

1.划变中涉及的两个场景之间边界的形状；以及

2.定义结束场景被开始场景覆盖有多快的速率

可以通过例如比较重建的图象和逐块计算相关性来进行检测。如果两个来自时间上连续的图象的空间上对应的块是相关的，则它们来自同一场景。否则，它们来自不同场景。

基于估计的形状和速率，解码器可以计算丢失的图象或者区域的边界的位置和形状的预测值。属于先前图象上结束场景的以及被估计属于丢失的图象/区域上结束场景的丢失区域可以通过从先前图象复制该区域来隐藏。同样的，属于先前图象上开始场景的以及被估计属于丢失的图象/区域上开始场景的丢失区域可以通过从先前图片复制该区域来隐藏。属于先前图象上结束场景的以及被估计属于丢失的图象/区域上开始场景的丢失区域可以从起始场景的邻近内容来空间地隐藏。当隐藏丢失区域时，可以如错误隐藏中经常做的那样使用与邻近的正确重建的块匹配的边界。

其他过渡类型的错误隐藏

应该应用正常的空间-时间错误隐藏方法。

虽然已经用其的优选实施例描述了本发明，但是本领域的技术人员将会理解，在不背离本发明范围的情况下，可以对其在形式和细节上进行前述的和各种其它的变化、省略和偏离。

Claims

1.一种隐藏视频序列的帧中错误的方法，该视频序列至少包括一个第一场景和一个第二场景，第二场景具有来自第一场景的场景过渡，其中，场景过渡包含许多帧，并且场景过渡是多种渐变场景过渡类型中的一种，其中所述渐变场景过渡类型包括以下一种：淡变、消隐、划变，并且所述方法包括：

从编码的数据流中检索表示场景过渡的类型的信息以用于识别所述场景过渡的类型；以及

基于识别的场景过渡类型，应用错误隐藏过程来隐藏属于该场景过渡的帧中的错误。

2.如权利要求1所述的方法，其中所识别的场景过渡类型是场景剪辑。

3.如权利要求2所述的方法，其中，如果属于场景剪辑的整幅图象丢失，则不隐藏丢失的图象。

4.如权利要求2所述的方法，其中，如果属于场景剪辑的图象的部分被丢失或者损坏，则应用空间错误隐藏算法来隐藏图象丢失或者损坏的部分。

5.如权利要求1所述的方法，其中，如果属于渐变过渡的整幅图象丢失或者损坏，则应用空间-时间错误隐藏算法来隐藏该图象丢失或者损坏的部分。

6.如权利要求1所述的方法，其中，如果属于渐变过渡的图象的部分被丢失或者损坏，则应用空间-时间错误隐藏算法来隐藏图象丢失或者损坏的部分。

7.如权利要求1所述的方法，其中，在附加增强信息消息中向解码器提供指示所识别的场景过渡的信息以便允许解码器基于所述信息来隐藏错误。

8.如权利要求7所述的方法，其中，所述指示所识别的场景过渡的信息包括场景过渡类型的指示。

9.如权利要求7所述的方法，其中，为属于该场景过渡的每个帧提供所述指示所识别场景过渡的信息。

10.用来将视频序列编码为编码的视频数据流的视频编码设备，该视频序列至少包括一个第一场景和一个第二场景，以及具有来自第一场景的场景过渡，其中，场景过渡包含许多帧，并且场景过渡是多种渐变场景过渡类型中的一种，其中所述渐变场景过渡类型包括以下一种：淡变、消隐、划变，所述视频编码设备包括：

用来识别与场景过渡相关的帧的识别器模块；

用来在编码的视频数据流中提供关于场景过渡类型的信息的多路复用模块。

11.如权利要求10所述的视频编码设备，其中，所述信息在附加增强信息消息中提供。

12.如权利要求11所述的视频编码设备，其中，向属于该场景过渡的每一帧提供所述信息。

13.用来从编码的视频数据流解码视频序列的视频解码设备，该视频序列包括一个第一场景和一个第二场景以及具有来自第一场景的场景过渡，其中，场景过渡包含许多帧，并且场景过渡是多种渐变场景过渡类型中的一种，其中所述渐变场景过渡类型包括以下一种：淡变、消隐、划变，所述视频编码设备包括：

用来接收编码的视频数据流以及从编码的数据流中检索识别场景过渡的类型的信息的解多路复用器模块，其中所述解堕落复用器模块被配置用于提供表示所述识别的场景过渡类型的信息，以便允许错误隐藏算法在解码过程中基于场景过渡类型来隐藏属于该场景过渡的帧中的错误。

14.如权利要求13所述的视频解码设备，其中，从编码的视频数据流中的附加增强信息中检索场景过渡的类型。

15.如权利要求14所述的视频解码设备，其中，属于该渐变场景过渡的整幅图象被丢失或者损坏，所述错误隐藏算法包括空间-时间错误隐藏算法来隐藏丢失或者损坏的图象。

16.如权利要求14所述的视频解码设备，其中，属于该渐变场景过渡的图象的部分被丢失或者损坏，所述错误隐藏算法包括空间-时间错误隐藏算法来隐藏图象丢失或者损坏的部分。

17.如权利要求14所述的视频解码设备，其中，场景过渡的类型是场景剪辑，并且属于场景剪辑的图象的部分被丢失或者损坏，所述错误隐藏算法包括空间错误隐藏算法来隐藏图象中错误。

18.如权利要求14所述的视频解码设备，其中，场景过渡的类型是场景剪辑，并且属于该场景剪辑的整幅图象被丢失或者损坏，所述错误隐藏算法适于忽略丢失或者损坏的图象。