CN101485202A - 一种用于统一的错误隐匿框架的方法及设备 - Google Patents

一种用于统一的错误隐匿框架的方法及设备 Download PDF

Info

Publication number
CN101485202A
CN101485202A CNA2006800242358A CN200680024235A CN101485202A CN 101485202 A CN101485202 A CN 101485202A CN A2006800242358 A CNA2006800242358 A CN A2006800242358A CN 200680024235 A CN200680024235 A CN 200680024235A CN 101485202 A CN101485202 A CN 101485202A
Authority
CN
China
Prior art keywords
section
sections
error
frame
medium data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800242358A
Other languages
English (en)
Other versions
CN101485202B (zh
Inventor
石方
塞伊富拉·哈立德·奥古兹
苏密特·塞蒂
维贾雅拉克希米·R·拉韦恩德拉恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101485202A publication Critical patent/CN101485202A/zh
Application granted granted Critical
Publication of CN101485202B publication Critical patent/CN101485202B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/66—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明揭示一种处理包含错误接收的第一区段的多媒体数据的方法及设备。所述方法包含获得对应于所述第一区段的错误分布信息。所述方法进一步包含基于所述错误分布信息将多个错误恢复方案中的一者应用于所述多媒体数据的第一区段。

Description

一种用于统一的错误隐匿框架的方法及设备
相关申请案交叉参考
主张35 U.S.C§119下的优先权A METHOD AND APPARATUS FOR UNIFIEDERROR CONCEALMENT FRAMEWORK本专利申请案主张对2005年3月11日提出申请的标题为“A METHOD AND APPARATUS FOR UNIFIED ERRORCONCEALMENT FRAMEWORK”的第60/680,213号临时专利申请案及2005年3月13日提出申请的标题为“A METHOD AND APPARATUS FOR UNIFIED ERRORCONCEALMENT FRAMEWORK”的第60/681,195号临时专利申请案的优先权。所述两个申请案均受让给本申请案的受让人，且以引用的方式明确地并入本文中。
技术领域
本发明涉及用于使用错误管理对多媒体数据(例如，视频数据或音频数据)进行编码及解码的方法及设备。
背景技术
因特网及无线通信的广泛使用增加了对在因特网及移动/无线信道上流式传输媒体的多媒体服务的需求。在因特网协议(IP)网络中，视频可由服务器提供且可由一个或多个有线或无线客户端流式传输。有线连接包括：拨号、综合业务数字网(ISDN)、电缆、数字订户线路协议(统称为xDSL)、光纤、局域网(LAN)、广域网(WAN)及其它。利用无线通信的电子装置包括：电话(例如，蜂窝电话)、个人数据助理(PDA)、手持式及便携式计算机、卫星电话及其它。在大多数这些应用中(即使不是全部)，带宽要求及/或限制使得视频处理必须利用包含视频压缩算法的源编码器来分析、量化、处理及表示视频数据，以通过花费最少数量的位传送最大量的信息。这些算法的特性有很大的不同，此导致其性能(例如，客观/主观质量、压缩效率及位率)上的大尺度变化。使用压缩算法的视频处理的特性可根据内容而有很大的不同，此可导致其性能(例如，客观/主观质量、压缩效率及位率)上的大尺度变化。
无线信道易于出现错误。如果传输数据的一部分丢失或遭破坏，则所传输数据的此部分是“错误的”。由于视频压缩会固有地消除冗余，因此经压缩的数据变得重要。此数据在传输期间的任何错误部分都会影响在解码器处重构的视频质量。如果错误数据是用于运动补偿预测的参考帧的部分则影响加剧，从而导致时间错误传播。
为减轻由于错误接收的位流数据引起的对重构视频质量的影响，视频解码器对所接收的视频数据进行处理以改善视频质量。此称作错误隐匿。错误隐匿方案利用存在于视频信号中的空间及时间相关性。
目前，几个错误隐匿方案是可用的。根据特定的环境，一个错误隐匿方案可提供比其它错误隐匿方案更好的结果。因此，期望研发一种可动态地从多个错误隐匿方案中选出一个更加适合特定隐匿任务的错误隐匿方案的统一错误隐匿框架。
发明内容
在一个方面中，本发明揭示处理包含错误接收的第一区段的多媒体数据的方法。所述方法包含获得对应于所述第一区段的错误分布信息。所述方法进一步包括：基于所述错误分布信息，将多个错误恢复方案中的一者应用于多媒体数据的所述第一区段。
在另一方面中，用于处理包含错误接收的第一区段的多媒体数据的设备包括：用于获得对应于所述第一区段的错误分布信息的装置；用于基于所述错误分布信息将多个错误恢复方案中的一者应用于多媒体数据的所述第一区段的装置。
在又一方面中，用于处理多媒体数据的设备包含：接收器，其经配置以接收具有错误接收的第一区段的多媒体数据；及错误隐匿器，其经配置以基于对应于所述第一区段的错误分布信息将多个错误恢复方案中的一者应用于多媒体数据的所述第一区段。所述设备可进一步包含经配置以获得对应于所述第一区段的错误分布信息的获得模块。或者，所述错误隐匿器可进一步经构造以获得对应于所述第一区段的错误分布信息。
在以上方面中，多媒体数据可包含多个帧，每个帧包含多个区段，且可通过产生包含经正确解码的区段及错误的区段的位置的图来获得错误分布信息。所述多媒体数据可包含从多层协议产生的信息。可基于所述第一区段的错误分布信息来选择多个错误恢复方案中的一者，且可基于所选的错误恢复方案来处理所述第一区段。所述选择可至少基于包含所述第一区段的第一存取单元是否是均匀地编码，至少基于是否检测到信道转换，至少基于是否检测到新的对象，及/或至少基于所述第一区段是包含均匀编码的切片还是包含非均匀编码的切片。
此外，应注意，可构建一种处理器来实施所述方法及/或设备功能。类似地，可构建一种机器可读媒体，其中所述机器可读媒体具有经配置以实施所述方法及/或设备功能的指令。
附图说明
图1图解说明输入多媒体数据流中可能的切片类型的实例列表。
图2是图解说明错误隐匿的实例方法的流程图。
图3是图解说明用于非均匀类型的错误隐匿的实例方法的流程图。
图4是图解说明处理包含错误接收的第一区段的多媒体数据流的实例方法的流程图。
图5显示图解说明经配置以处理包含错误接收的第一区段的多媒体数据流的实例解码器的方块图。
图6显示图解说明经配置以对输入多媒体数据流进行解码的解码器的实例的方块图。
图7显示实例错误隐匿器。
具体实施方式
在以下说明中，给出具体的细节以提供对所揭示方法及设备的透彻理解。然而，所属领域的技术人员将了解所揭示的方法及设备可在没有这些具体细节的情况下实施。举例来说，可在方块图中显示电组件以避免把某些方面掩盖在不必要的细节中。在其它例示中，可详细显示这些组件、其它结构及技术以进一步解释某些方面。
还应注意，可将某些方面阐述为过程，可将所述过程绘示成流程图、流程图表、结构图或方块图。虽然流程图可将操作阐述为顺序过程，但许多操作可并行或同时实施且所述过程可重复。此外，操作的次序可重新排列。当其操作完成时，过程便结束。过程可对应于方法、功能、程序、子常式、子程序等。当过程对应于函数时，其结束对应于所述函数返回调用函数或主函数。
此外，如本文中所揭示，“一”是指。术语“存储媒体”可表示一个或多个用于存储数据的装置，其中包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光学存储媒体、快闪存储器装置及/或其它用于存储信息的机器可读媒体。术语“机器可读媒体”或“计算机可读媒体”包括(但不限于)便携式或固定存储装置、光学存储装置、无线信道及各种其它能够存储、包含或载送指令及/或数据的媒体。
下文将详细阐述一种对所接收多媒体数据流进行解码的方法的某些实施例。所述多媒体数据可以是各种形式，其包括但不限于视频、音频、图形、文本及图像。所述数据可以是：MPEG-x标准中的压缩视频及音频；H.26x标准中的压缩视频；MPEG-2AAC、MPEG-4AAC、MPEG-2音频层III(MP3)、AMR及G.723音频或语音压缩标准中的压缩音频；或任何其它类型的数字数据。数据流可通过有线网络(例如，电话、电缆及光纤)或无线网络接收。在无线的情况下，网络可包含(例如)码分多址(CDMA或CDMA2000)通信***的部分，或另一选择为，所述***可为频分多址(FDMA)***、正交频分多址(OFDMA)***、时分多址(TDMA)***—例如用于服务行业的GSM/GPRS(通用包无线电服务)/EDGE(增强数据GSM环境)或TETRA(地面群集无线电)移动电话技术、宽带码分多址(WCDMA)、高数据传输率(1xEV-DO或1xEV-DO金牌多播)***、或(一般来说)任何使用各技术组合的无线通信***。
在一个实例中，使用与H.261、MPEG-1 Part 2、MPEG-2 Part 2(H.262)、MPEG-4Part 2、H.263、及H.264的结构相似的结构对多媒体数据流进行编码。多媒体数据流可包含一个或多个数据序列。序列以序列标题开始，包括一个或多个图像群组(GOP)，且以序列结束代码结束。GOP包含一个或多个图像或帧，其中第一个帧是内编码帧。内编码帧(I图像或I帧)是指对任何其它帧不具有参考的帧。
帧是视频序列的一类编码单元。帧中的视频数据包含表示亮度(Y)及两个色度(Cb及Cr)分量的三个矩形矩阵。视如何对帧进行编码而定存在不同类型的帧，例如内编码帧、预测帧、及双向预测帧。内部帧已在上文中阐述。预测帧(P图像或P帧)是通过对当前帧与参考帧之间的差异进行编码使用来自参考帧的运动补偿来进行预测的帧。P帧可将前向或后向帧(但非两者)用作参考帧。双向帧(B图像或B帧)是指将前向或后向帧或两个帧用作参考帧的帧。
P帧及B帧两者通过称为中间或预测编码的编码技术进行编码。中间编码是通过利用当前帧中的区域与参考帧中最佳匹配的预测区域之间的时间冗余对帧中的数据进行编码。所述当前区域与所述最佳匹配参考预测区域之间的差异称为残余误差(或预测误差)。所述参考帧中的最佳匹配预测区域的相对位置可编码为运动向量。
可通过将帧分割为一个或多个切片对帧进行进一步压缩。切片可以是一个或多个宏功能块的群组。切片可按光栅扫描次序而相邻或可对应于所述帧数据的任意子集。可独立地对切片进行编码及/或独立于所述相同帧及其它帧中的其它切片对切片进行解码。因此，切片可指一组可独立解码的宏功能块，且视所述***而定，其可包括或可不包括标题信息。宏功能块是一组相关联的像素，举例来说，亮度信道中的16x16像素区域及基于所采用的色度二次采样模式的对应色度信道像素收集。每个宏功能块可进一步分割若干个子宏功能块——16x8、8x16、8x8、4x8、8x4、4x4。4x4子宏功能块在本文中称为块。
图1图解说明所接收的多媒体数据流中可能的切片类型的实例列表。所述列表还包括预指派切片类型编号的列表，其每一者表示不同类型的切片。应注意，所述列表是一个实例且可包括比图1中所示的更多或更少类型的切片。此外，切片类型可通过编号以外的方式来识别。
出于此实例的目的，将论述三种类型的切片。预测切片(P切片)是指可具有来自相同帧内的其它数据的参考或对其它帧的参考的切片。双向或内插切片(B切片)是指可包括对来自将来及过去的数据的参考的切片。内部切片(I切片)是不具有对其它切片的任何参考的切片。
此外，本文中称为“存取单元”的表示单元可均匀地或非均匀地编码。视数据源而定，存取单元可以是图像、帧、字段、切片、一组切片或其它可独立解码的单元。当存取单元内的所有切片是相同类型时，可对所述存取单元进行均匀编码。如果存在存取单元内的切片是不同类型的可能性时，则所述存取单元是潜在的非均匀存取单元。在考虑所讨论的切片属于均匀编码或潜在非均匀编码的存取单元后，上述三种切片类型可进一步分为六个种类。
此外，如果切片类型未知，则所述切片在本文中称为类型x。举例来说，如果整个切片是错误的或所述切片标题是错误的，则可将所述切片类型视为未知。类型x的切片大多用于表示非均匀存取单元中的切片，因为如果所述存取单元是均匀地编码，则视所述切片所属的存取单元的编码类型而定，类型x的切片将被指派为切片类型5、6或7。这些不同类型的切片将用于对错误隐匿方法的整个论述中。
图2是图解说明错误隐匿方法的一个实例的流程图。在此实例中，阐述一种从多个错误隐匿方案中选出最适合特定隐匿任务的一个方案且然后应用所述相同方案的方法。
所述选择操作可基于输入多媒***流的错误分布信息。输入多媒***流可包含错误分布信息。举例来说，错误分布信息可通过先前处理中的解码器来进行处理，且可能以不同形式重新***到位流以辅助错误隐匿操作。在某些实施例中，错误分布信息是从所述解码器经配置以打算实施的多层协议中产生。
或者，输入多媒***流可不包含错误分布信息。在这些例示中，本文中所述的错误隐匿的方法可进一步包含获得多媒***流的错误分布信息。同样在一些例示中，错误隐匿的方法可进一步包含基于对输入多媒***流的元素的语法及语义检查、动态范围检查的错误检测规定。
举例来说，获得错误分布信息可包含产生宏功能块类型及切片类型的图，所述图可追踪处理中的当前帧的宏功能块类型及切片类型。在另一个实例中，获得错误分布信息可包括：产生包含处理中的当前帧的经正确解码的宏功能块及错误的宏功能块的位置的图。当检测到错误的宏功能块时，可将从所述错误宏功能块到输入多媒***流中的下一再同步点的宏功能块标记为错误的宏功能块。
用于图2的实例方法中的错误隐匿方案可分类为空间错误隐匿(SEC)、时间错误隐匿(TEC)或帧速率上变换(FRUC)。FRUC是一种运动补偿内插技术，其使用来自已经解码的健康时间邻近参考帧的运动信息且构造内插帧以隐匿错误的帧。当整个帧是错误的(或者所述帧标题破坏到无法恢复的程度，或者所有帧有效负载位流丢失)或帧内的错误区域超出预定阈值时，可应用FRUC。在这些情况下，不存在有用的空间相关性：无空间上相关的数据或相关数据太少且所述空间相关性对大多数错误区域上的错误隐匿目的是不可靠的。因此，时间相关性可较为可靠。选择FRUC用于这些情况，因为其可利用帧水平的时间相关性。
空间错误隐匿(SEC)使用来自相同帧中健康的空间上相邻者的信息(举例来说，亮度、色彩及方向性)以隐匿内部、预测及内插切片。当错误的切片或宏功能块是在景物变化(或拍摄边界)帧或瞬时解码更新(DDR)帧中时，可应用SEC，因为空间相关性是最可靠的且最适合这些情况。如果在所述帧内检测到具有新内容的新对象或段且错误的宏功能块或切片在具有所述新内容的新对象或段内或与其重叠(甚至在P帧或B帧中)，则也应用SEC。如果不存在新对象或内容，则可应用SEC，但由于复杂的局部或全局运动(例如旋转运动、对象的变形、非刚性主体、放大及缩小)，平移运动补偿预测会逐渐失效。当错误的宏功能块的邻近宏功能块均为以其它方式中间编码的切片(P切片或B切片)或中间帧(P帧或B帧)中的I型宏功能块时，解码器可确定所述错误宏功能块或切片在具有新内容的新对象或段内或与其重叠。
时间错误隐匿(TEC)使用来自相同帧及已经解码的邻近参考帧中健康的空间邻近宏功能块的运动信息来隐匿错误的宏功能块。TEC可进一步分割成用于P帧的TEC(TEC_P)及用于B帧的TEC(TEC_B)。
对于中间帧(P帧及B帧)或非景物变化、非IDR I帧中的错误宏功能块来说，存在可用于错误隐匿目的的时间及空间相关性两者。可基于邻近时间相关性及空间相关性的主导因素来动态地选择TEC_P、TEC-B或SEC作为隐匿工具。举例来说，对于非景物变化I帧来说，可从其先前P帧或B帧的运动字段来获得其时间相关性。如果认为所获得的时间相关性比所述I帧内的可用健康邻近I宏功能块的空间相关性更加可靠或如果错误数据的程度大于阈值而在大部分丢失区域上导致极弱空间相关性，则相对SEC较优地选择TEC_P作为隐匿工具。举例来说，如果先前P参考帧正确地解码且P帧与当前I帧之间的运动字段平滑，则认为时间相关性比空间相关性更加可靠。
因此，错误隐匿方案的选择标准阐述于图2的实例方法中。所述方法从方块204开始，其中解码器确定当前以帧/秒(FPS)为单位进行测量的帧速率是否变化而没有任何伴随的景物变化，或者确定错误的物理层包(PLP)速率是否超过阈值(TH)。可从输入多媒***流获得此信息，举例来说，从嵌入其中的错误分布信息来获得。当在以较低的帧速率便可满意地再现内容时引入帧速率控制以便进行带宽控制时，当前的帧速率变化而没有伴随的景物变化。在此情况下，应用FRUC。因此，如果FPS变化而不没有伴随的景物变化或者错误的PLP速率超过TH，则选择FRUC(206)并将其应用于错误的宏功能块或错误的切片。如果检测到帧间隙(例如，整个帧丢失)，则即使在当前帧速率不变化的情况下也可选择FRUC(206)。
否则，所述解码器检查(208)当前切片(即，所述错误宏功能块所属的切片)的类型是否是类型7。如图1中所图解说明，切片类型7表示均匀存取单元中的I切片，其可以是景物变化帧中的切片。如果所述切片是均匀存取单元中的I切片，则选择SEC(210)并将其应用于错误的宏功能块或错误的切片。
否则，解码器检查(212)当前切片的类型是否是类型5。如图1中所图解说明，切片类型5表示均匀存取单元中的P切片。如果所述切片是均匀存取单元中的P切片，则选择TEC-P(214)并将其应用于错误的宏功能块或错误的切片。
否则，解码器检查(216)当前切片的类型是否是类型6。如图1中所图解说明，切片类型编号6表示均匀存取单元中的B切片。如果所述切片是均匀存取单元中的B切片，则选择TEC-B(218)且将其应用于错误的宏功能块或错误的切片。
否则，解码器对非均匀编码视频存取单元中的切片实施错误隐匿。非均匀编码视频存取单元的错误隐匿的细节将在图3中更加详细地阐述。
应注意，此流程图中所图解说明的任何一个方块均可省去，按次序重新排列或与一个或多个其它方块组合。举例来说，解码器可同时检查及确定当前切片的类型。举例来说，所述解码器在检查当前切片是否是类型7之前还可检查其是否是类型5。
图3是图解说明用于非均匀编码的视频存取单元的实例错误隐匿方法(其可用于图2的方块220中)的流程图。所述方法在方块2202处开始，其中解码器检查当前切片(错误宏功能块所属的切片)的类型是2(潜在非均匀存取单元中的I切片)还是x(潜在非均匀存取单元中的未知类型的切片)。如果所述切片既不是潜在非均匀存取单元中的I切片也不是未知类型的切片，则所述方法移动到方块2220，此将在下文中阐述。
否则，解码器检查(2204)当前切片的类型是否是x。如果所述切片是类型x，则解码器确定(2206)当前切片的切片类型。切片类型的决定是基于可用的空间上及/或时间上邻近的切片类型，其中包括来自时间上邻近的帧的共同定位切片(因果性及非因果性两者)。如果顶部及底部的空间上邻近的切片两者均存在且两者均是类型2(潜在非均匀编码存取单元中的I切片)或如果只存在这些空间邻近切片的其中一个且其是类型2，则将当前切片指派为类型2。如果顶部及底部的空间上邻近的切片两者均存在且仅这些切片的一者是类型2，或如果仅存在这些空间邻近切片的其中一个且其不是类型2，则基于其它信息作出当前切片的类型确定。
在一个实施例中，其它信息包含当前视频存取单元的运动向量字段的结构和值及时间上邻近的存取单元的切片类型和运动向量字段。在一个实施例中，基于此信息，解码器可推断全局均匀运动(例如，卷动或平移)且为当前切片指派切片类型2。
如果两个邻近切片均存在且两者是类型0，则将当前切片指派为类型0(潜在非均匀解码存取单元中的P切片)，否则，将当前切片指派为类型1(潜在非均匀解码存取单元中的B切片)。
如果解码器检查(2208)并确定当前切片的类型不是2，则所述方法移动到方块2220，此将在下文中阐述。
如果当前切片的类型是2或x，则解码器确定(2210)在当前帧处是否存在有效的信道转换事件，即，错误宏功能块所属的帧是从最新调谐到的信道获取的第一个帧或前几个帧之一。解码器可通过(例如)检查输入多媒***流以了解是否设定了信道转换旗标来确定是否存在有效的信道转换。或者，解码器可响应用户的选择接收“有效的信道转换”。
如果存在信道转换，则解码器确定(2212)当前帧是否属于称为获取图像群组(或获取GOP)的一系列帧。获取GOP包含时间预测帧(P帧及B帧)，其每一者可进一步包含内部编码区域。可积聚及组合获取GOP内的内部编码区域以形成完整的I帧。获取GOP可用作对多媒***流的随机存取点。解码器可通过(例如)检查输入多媒***流以了解是否设定了获取GOP旗标来确定当前帧是否属于获取GOP。如果当前帧属于获取GOP，则选择SEC(2214)并将其应用于错误的宏功能块或错误的切片。
如果不存在信道转换或如果当前帧不属于获取GOP，则解码器确定(2216)是否在当前切片内检测到新对象或新内容。如果在当前切片内检测到新对象或新内容，则可将当前宏功能块定位于新对象或新内容内或与其重叠。在此情况下，可选择SEC。解码器通过观察邻近切片的切片类型及邻近切片内的邻近宏功能块类型来确定当前切片内是否存在新对象或新内容。如果顶部及底部邻近切片两者均是I切片，则声名当前切片内有新对象或新内容。如果顶部及底部邻近切片的其中一个不是或都不是I切片，则不声名在当前切片内有新对象或新内容。在其它实施例中，如果顶部及底部邻近切片的其中一个是I切片，则是否声名新对象或新内容的确定可基于附加信息，例如，对当前及邻近帧的运动向量字段的分析及切片和宏功能块编码的类型。如果检测到新对象或新内容，则选择SEC(2218)且将其应用于错误的宏功能块或错误的切片。
否则，如果切片类型不是2或x，或如果未检测到任何新对象或新内容，则存在可用于错误宏功能块或错误切片的隐匿的时间及空间相关性两者。在此情况下，所述解码器基于嵌入多媒***流中的错误分布信息来确定(2220)时间上的相邻者的相关性是否比空间相关性更加可靠。如果时间相关性更加可靠，则选择TEC(2224)并将其应用于错误的宏功能块或错误的切片。否则，选择SEC(2222)并将其应用于错误的宏功能块或错误的切片。
应注意，此流程图中所图解说明的任何一个方块可省去，按次序重新排列，或与一个或多个其它方块组合。
图4是图解说明处理包含错误接收的第一区段的多媒体数据的方法的另一个实例的流程图。所述方法在方块402处开始，其中获得对应于所述第一区段的错误分布信息。下一步在方块404处，基于所述错误分布信息将多个错误恢复方案中的一者应用于多媒体数据的第一区段。应用(404)可包含从多个错误恢复方案中选出更适合特定隐匿任务的一个方案且然后相应地处理所述错误区段。这些方块的动作与上文在图2-3中的论述相似。
图5显示图解说明经配置以处理包含错误接收的第一区段的多媒体数据的解码器的实例的方块图。所述解码器包含获得(或错误检测)模块502及应用(或错误处理)模块504。获得模块502经配置以获得对应于所接收第一区段的错误分布信息。应用模块504经配置以基于所述错误分布信息将多个错误恢复方案中的一者应用于多媒体数据的所接收的第一区段。应用模块504还可选择特定隐匿方案且相应地处理所接收的错误区段。
图6显示图解说明经配置以对输入多媒体数据流(未显示)进行解码的解码器的实例的方块图。解码器装置600可包含接收器602或错误隐匿器604。应注意，解码器装置600是一个实例且可包含附加元件，例如存储媒体606及处理器608。
存储媒体606可以是包括一个或多个固态或基于磁盘的存储装置的存储器。处理器608可包括一个或多个通用处理器或数字信号处理器。处理器608可以是任何适合的通用单芯片或多芯片微处理器，或任何适合的专用微处理器，例如，数字信号处理器、微控制器或可编程门阵列。处理器608经配置以执行一个或多个软件应用程序以控制解码器600的其它组件的操作。处理器608还经配置以存取存储器606以读取及保存数据。
接收器602经配置以接收多媒体数据。多媒体数据可能具有错误的区段。因此，接收器602可能接收具有错误第一区段的多媒体数据。错误隐匿器604经配置以基于对应于所述第一区段的错误分布信息将多个错误恢复方案中的一者应用于所述多媒体数据的第一区段。
解码器装置600可以可选的方式包含经配置以获得对应于所述第一区段的错误分布信息的获得模块10。或者，错误隐匿器604还可经进一步配置以获得对应于所述第一区段的错误分布信息。
错误隐匿器604可至少基于包含所述第一区段的第一存取单元是否均匀地编码、至少基于是否检测到信道转换、至少基于是否检测到新的对象及/或至少基于所述第一区段是否包含均匀编码的切片或非均匀编码的切片来应用多个错误恢复方案中的一者。如果错误数据与包含所述第一区段的存取单元内的所有数据的比率超过预定的阈值，则错误隐匿器604可针对所述第一区段应用帧速率上变换。如果所述第一区段在新的对象内，则错误隐匿器604可针对所述第一区段应用空间错误隐匿。如果包含所述第一区段的存取单元是I帧且如果所述I帧不是景物变化帧，则错误隐匿器604可针对所述第一区段应用时间错误隐匿。
此外，在某些实施例中，错误隐匿器可包含图7中所示的选择模块705及处理模块710。所述选择模块经配置以基于所述第一区段的错误分布信息选择多个错误恢复方案中的一者，且处理模块614经配置以基于所选的错误恢复方案处理所述第一区段。如上所述，所述多个错误恢复方案可包含空间错误隐匿、帧速率上变换、针对P帧的时间错误隐匿及针对B帧的时间错误隐匿中的一者或其组合。
如果选择模块612经构建，则可对选择模块612进行配置以至少基于包含所述第一区段的第一存取单元是否均匀地编码、是否检测到信道转换、是否检测到新对象及/或所述第一区段是否包含均匀编码的切片或非均匀编码的切片来选择多个错误恢复方案中的一者。类似地，选择模块612可经配置以在错误数据与包含所述第一区段的存取单元内的所有数据上的比率超过预定的阈值的情况下针对所述第一区段选择帧速率上变换；在所述第一区段是在新对象内的情况下针对所述第一区段选择空间错误隐匿；在包含所述第一区段的存取单元是I帧且所述I帧不是景物变化帧的情况下针对所述第一区段选择时间错误隐匿。
因此，错误隐匿器604经配置以对输入多媒体数据实施错误隐匿。错误隐匿器604可经配置以基于上文关于图2-4所述的选择适当错误隐匿方案的方法来实施错误隐匿。在某些实施例中，错误隐匿器604的部分或所有功能可通过处理器608来实施。
应注意，在不改变解码器的功能的情况下，图6中所图解说明的任何一个功能方块可重新排列、去除或与一个或多个其它方块组合。举例来说，错误隐匿器604可与处理器608组合。
在某些实施例中，提供一种用于处理包含错误接收的第一区段的多媒体数据的设备。所述设备包含用于获得对应于所述第一区段的错误分布信息的装置及用于基于所述错误分布信息将多个错误恢复方案中的一者应用于多所述媒体数据第一区段的装置。用于获得错误分布信息的装置可包含获得模块502。用于应用错误恢复技术的装置可包含应用模块504。在一个实施例中，所述应用装置可进一步包含用于基于所述第一区段的错误分布信息选择多个错误恢复方案中的一者的装置及用于基于所选的错误恢复方案处理所述第一区段的装置。用于基于所述第一区段的错误分布信息选择多个错误恢复方案中的一者的装置及用于基于所选的错误恢复方案处理所述第一区段的装置可包含应用模块504。
所属领域的技术人员将了解，可使用各种不同技术及技法中的任一种来表示信息及信号。举例来说，在整个以上阐述中可能提及的数据、指令、命令、信息、信号、位、符号及芯片可通过电压、电流、电磁波、磁场或粒子、光场或粒子、或其任一组合来表示。
所属领域的技术人员将进一步了解，结合本文中所揭示的实例所述的各种说明性逻辑方块、模块、及算法步骤可构建为电子硬件、计算机软件或两者的组合。为清晰地图解说明硬件与软件的互换性，上文已从其功能性方面概述了各种说明性组件、方块、模块、电路、及步骤。此功能性是构建为硬件还是软件取决于特定应用及施加于整个***的设计限制。所属领域的技术人员可针对每个特定应用以不同的方式来构建所述功能性，但这些构建方案的决定不应理解为导致对所揭示方法的范畴的背离。
结合本文中所揭示的实例所述的各种说明性逻辑方块、模块及电路可使用通用处理器、数字信号处理器(DSP)、应用专用集成电路(ASIC)、场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件、或经设计以执行本文中所述功能的其任一组合来构建或实施。通用处理器可以是微处理器，但或者，所述处理器也可以是任何常规的处理器、控制器、微控制器或状态机。处理器还可构建为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP核心的联合，或任何其它此类配置。
结合本文中所揭示的实例阐述的方法或算法的步骤可直接包含实施在硬件中、由处理器执行的软件模块中或两者的组合中。软件模块可驻存在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可换式磁盘、CD-ROM或此项技术中已知的任何其它形式的存储媒体中。存储媒体耦合到所述处理器，以使所述处理器可从所述存储媒体读取信息及将信息写入到所述存储媒体。或者，所述存储媒体可以是处理器的组成部分。处理器及存储媒体可驻存在应用专用集成电路(ASIC)中。ASIC可驻存在无线调制解调器中。或者，处理器及存储媒体可作为离散组件驻存在无线调制解调器中。上文提供对所揭示实例的说明旨在使任何所属领域的技术人员能够制造或使用所揭示的方法及设备。所属领域的技术人员将易于得出对这些实例的各种修改，且本文中所界定的原理可应用到其它实例中。

Claims (64)

1、一种处理包含错误接收的第一区段的多媒体数据的方法，所述方法包含：
获得对应于所述第一区段的错误分布信息；及
基于所述错误分布信息将多个错误恢复方案中的一者应用于所述多媒体数据的所述第一区段。
2、如权利要求1所述的方法，其中所述多媒体数据包含多个帧，每个帧包含多个区段，且其中所述获得包括：产生包含经正确解码的区段及错误的区段的位置的图。
3、如权利要求1所述的方法，其中所述多个错误恢复方案包括空间错误隐匿、帧速率上变换、针对P帧的时间错误隐匿及针对B帧的时间错误隐匿。
4、如权利要求1所述的方法，其中所述多媒体数据包含从多层协议产生的信息。
5、如权利要求1所述的方法，其中所述应用包含：
基于所述第一区段的所述错误分布信息选择多个错误恢复方案中的一者；及
基于所述选定的错误恢复方案处理所述第一区段。
6、如权利要求5所述的方法，其中选择所述多个错误恢复方案中的一者包括：
如果检测到帧速率变化而没有伴随的景物变化或错误物理层包的百分比超过阈值，则针对所述第一区段选择帧速率上变换。
7、如权利要求5所述的方法，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中所述选择至少基于包含所述第一区段的第一存取单元是否是均匀地编码。
8、如权利要求5所述的方法，其中所述选择至少基于是否检测到信道转换。
9、如权利要求5所述的方法，其中所述选择至少基于是否检测到新的对象。
10、如权利要求5所述的方法，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中选择所述多个错误恢复方案中的一者包含：
如果错误数据与包含所述第一区段的所述存取单元内的所有数据的比率超过预定的阈值，则针对所述第一区段选择帧速率上变换。
11、如权利要求5所述的方法，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中选择所述多个错误恢复方案中的一者包含：
如果所述第一区段在新的对象内部，则针对所述第一区段选择空间错误隐匿。
12、如权利要求5所述的方法，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中选择所述多个错误恢复方案中的一者包含：
如果包含所述第一区段的所述存取单元是I帧且如果所述I帧不是景物改变帧，则针对所述第一区段选择时间错误隐匿。
13、如权利要求5所述的方法，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中选择是至少基于所述第一区段是包含均匀编码的切片还是包含非均匀编码的切片。
14、一种用于处理包含错误接收的第一区段的多媒体数据的设备，其包含：
用于获得对应于所述第一区段的错误分布信息的装置；及
用于基于所述错误分布信息将多个错误恢复方案中的一者应用于所述多媒体数据的所述第一区段的装置。
15、如权利要求14所述的设备，其中所述多媒体数据包含多个帧，每个帧包含多个区段，且其中所述获得装置包含用于产生包含经正确解码的区段及错误的区段的位置的图的装置。
16、如权利要求14所述的设备，其中所述多个错误恢复方案包含空间错误隐匿、帧速率上变换、针对P帧的时间错误隐匿及针对B帧的时间错误隐匿。
17、如权利要求14所述的设备，其中所述多媒体数据包含从多层协议产生的信息。
18、如权利要求14所述的设备，其中所述应用装置包含：
用于基于所述第一区段的所述错误分布信息选择多个错误恢复方案中的一者的装置；及
用于基于所述选定的错误恢复方案处理所述第一区段的装置。
19、如权利要求18所述的设备，其中所述多媒体数据进一步包含多个存取单元，每个存取单元包含多个切片，每个切片包含多个区段，且其中所述选择是至少基于包含所述第一区段的第一存取单元是否均匀地编码。
20、如权利要求18所述的设备，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中所述选择是至少基于包含所述第一区段的第一存取单元是否是均匀地编码。
21、如权利要求18所述的设备，其中所述选择至少基于是否检测到信道转换。
22、如权利要求18所述的设备，其中所述选择至少基于是否检测到新的对象。
23、如权利要求18所述的设备，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中如果错误数据与包含所述第一区段的所述存取单元内的所有数据的所述比率超过预定的阈值，则针对所述第一区段选择帧速率上变换。
24、如权利要求18所述的设备，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中如果所述第一区段在新的对象内，则针对所述第一区段选择空间错误隐匿。
25、如权利要求18所述的设备，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中当包含所述第一区段的所述存取单元是I帧时，如果所述I帧不是景物变化帧，则针对所述第一区段选择时间错误隐匿。
26、如权利要求18所述的设备，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中选择是至少基于所述第一区段是包含均匀编码的切片还是非均匀编码的切片。
27、一种经配置以实施一方法的处理器，所述方法包含：
获得对应于所述第一区段的错误分布信息；及
基于所述错误分布信息将多个错误恢复方案中的一者应用于所述多媒体数据的所述第一区段。
28、如权利要求27所述的处理器，其中所述多媒体数据包含多个帧，每个帧包含多个区段，且其中所述获得包含产生包含经正确解码的区段及错误的区段的位置的图。
29、如权利要求27所述的处理器，其中所述多个错误恢复方案包含空间错误隐匿、帧速率上变换、针对P帧的时间错误隐匿及针对B帧的时间错误隐匿。
30、如权利要求27所述的处理器，其中所述多媒体数据包含从多层协议产生的信息。
31、如权利要求27所述的处理器，其中所述应用包含：
基于所述第一区段的所述错误分布信息选择多个错误恢复方案中的一者；及
基于所述选定的错误恢复方案处理所述第一区段。
32、如权利要求31所述的处理器，其中选择所述多个错误恢复方案中的一者包含：
如果检测到帧速率变化而没有伴随的景物变化或错误物理层包的百分比超过阈值，则针对所述第一区段选择帧速率上变换。
33、如权利要求31所述的处理器，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中所述选择至少基于包含所述第一区段的第一存取单元是否是均匀地编码。
34、如权利要求31所述的处理器，其中所述选择至少基于是否检测到信道转换。
35、如权利要求31所述的处理器，其中所述选择至少基于是否检测到新的对象。
36、如权利要求31所述的处理器，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中选择所述多个错误恢复方案中的一者包含：
如果错误数据与包含所述第一区段的所述存取单元内的所有数据的所述比率超过预定的阈值，则针对所述第一区段选择帧速率上变换。
37、如权利要求31所述的处理器，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中选择所述多个错误恢复方案中的一者包含：
如果所述第一区段在新的对象内，则针对所述第一区段选择空间错误隐匿。
38、如权利要求31所述的处理器，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中选择所述多个错误恢复方案中的一者包含：
当包含所述第一区段的所述存取单元是I帧时，如果所述I帧不是景物变化帧，则针对所述第一区段选择时间错误隐匿。
39、如权利要求31所述的处理器，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中选择至少基于所述第一区段是包含均匀编码的切片还是包含非均匀编码的切片。
40、一种计算机可读媒体，其包含用于致使计算机执行一方法的装置，所述方法包含：
获得对应于所述第一区段的错误分布信息；及
基于所述错误分布信息将多个错误恢复方案中的一者应用于所述多媒体数据的所述第一区段。
41、如权利要求40所述的计算机可读媒体，其中所述多媒体数据包含多个帧，每个帧包含多个区段，且其中所述获得包含产生包含经正确解码的区段及错误的区段的位置的图。
42、如权利要求40所述的计算机可读媒体，其中所述多个错误恢复方案包含空间错误隐匿、帧速率上变换、针对P帧的时间错误隐匿及针对B帧的时间错误隐匿。
43、如权利要求40所述的计算机可读媒体，其中所述多媒体数据包含从多层协议产生的信息。
44、如权利要求40所述的计算机可读媒体，其中所述应用包含：
基于所述第一区段的所述错误分布信息选择多个错误恢复方案中的一者；及
基于所述选定的错误恢复方案处理所述第一区段。
45、如权利要求44所述的计算机可读媒体，其中选择所述多个错误恢复方案中的一者包含：
如果检测到帧速率变化而没有伴随的景物变化或错误物理层包的百分比超过阈值，则针对所述第一区段选择帧速率上变换。
46、如权利要求44所述的计算机可读媒体，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中所述选择至少基于包含所述第一区段的第一存取单元是否是均匀地编码。
47、如权利要求44所述的计算机可读媒体，其中所述选择至少基于是否检测到信道转换。
48、如权利要求44所述的计算机可读媒体，其中所述选择至少基于是否检测到新的对象。
49、如权利要求44所述的计算机可读媒体，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中选择所述多个错误恢复方案中的一者包含：
如果错误数据与包含所述第一区段的所述存取单元内的所有数据的所述比率超过预定的阈值，则针对所述第一区段选择帧速率上变换。
50、如权利要求44所述的计算机可读媒体，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中选择所述多个错误恢复方案中的一者包含：
如果所述第一区段在新的对象内，则针对所述第一区段选择空间错误隐匿。
51、如权利要求44所述的计算机可读媒体，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中选择所述多个错误恢复方案中的一者包含：
当包含所述第一区段的所述存取单元是I帧时，如果所述I帧不是景物变化帧，则针对所述第一区段选择时间错误隐匿。
52、如权利要求44所述的计算机可读媒体，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中选择是至少基于所述第一区段是包含均匀编码的切片还是包含非均匀编码的切片。
53、一种用于处理多媒体数据的设备，其包含：
接收器，其经配置以接收具有错误接收的第一区段的所述多媒体数据；及
错误隐匿器，其经配置以基于对应于所述第一区段的错误分布信息将多个错误恢复方案中的一者应用于所述多媒体数据的所述第一区段。
54、如权利要求53所述的设备，其进一步包含经配置以获得对应于所述第一区段的所述错误分布信息的获得模块。
55、如权利要求53所述的设备，其中所述错误隐匿器进一步经配置以获得对应于所述第一区段的所述错误分布信息。
56、如权利要求53所述的设备，其中所述多媒体数据包含从多层协议产生的信息。
57、如权利要求53所述的设备，其中所述错误隐匿器包含：
选择模块，其经配置以基于所述第一区段的所述错误分布信息选择多个错误恢复方案中的一者；及
处理模块，其经配置以基于所述选定的错误恢复方案处理所述第一区段。
58、如权利要求53所述的设备，其中所述多媒体数据进一步包含多个存取单元，每个存取单元包含多个切片，每个切片包含多个区段，且其中所述错误隐匿器经配置以至少基于包含所述第一区段的第一存取单元是否是均匀地编码来应用所述多个错误恢复方案中的一者。
59、如权利要求53所述的设备，其中所述错误隐匿器经配置以至少基于是否检测到信道转换来应用所述多个错误恢复方案中的一者。
60、如权利要求53所述的设备，其中所述错误隐匿器经配置以至少基于是否检测到新的对象来应用多个错误恢复方案中的一者。
61、如权利要求53所述的设备，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中所述错误隐匿器经配置以如果错误数据与包含所述第一区段的所述存取单元内的所有数据的所述比率超过预定的阈值则针对所述第一区段应用帧速率上变换。
62、如权利要求53所述的设备，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中所述错误隐匿器经配置以如果所述第一区段在新的对象内则针对所述第一区段应用空间错误隐匿。
63、如权利要求53所述的设备，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中所述错误隐匿器经配置以当包含所述第一区段的所述存取单元是I帧时，如果所述I帧不是景物变化帧，则针对所述第一区段应用时间错误隐匿。
64、如权利要求53所述的设备，其中所述多媒体数据进一步包含多个切片，每个切片包含多个区段，且其中所述错误隐匿器经配置以至少基于所述第一区段是包含均匀编码的切片还是包含非均匀编码的切片来应用错误恢复方案。
CN2006800242358A 2005-05-11 2006-05-11 一种用于统一的错误隐匿框架的方法及设备 Expired - Fee Related CN101485202B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US68021305P 2005-05-11 2005-05-11
US60/680,213 2005-05-11
US68119505P 2005-05-13 2005-05-13
US60/681,195 2005-05-13
PCT/US2006/018596 WO2006122313A2 (en) 2005-05-11 2006-05-11 A method and apparatus for unified error concealment framework

Publications (2)

Publication Number Publication Date
CN101485202A true CN101485202A (zh) 2009-07-15
CN101485202B CN101485202B (zh) 2013-10-30

Family

ID=37397343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800242358A Expired - Fee Related CN101485202B (zh) 2005-05-11 2006-05-11 一种用于统一的错误隐匿框架的方法及设备

Country Status (7)

Country Link
US (2) US9749655B2 (zh)
EP (1) EP1884028A2 (zh)
JP (1) JP2008545297A (zh)
KR (1) KR101012624B1 (zh)
CN (1) CN101485202B (zh)
TW (1) TW200709580A (zh)
WO (1) WO2006122313A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105900169A (zh) * 2014-01-09 2016-08-24 杜比实验室特许公司 音频内容的空间误差度量

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101012624B1 (ko) 2005-05-11 2011-02-09 퀄컴 인코포레이티드 통합 에러 은폐 프레임워크를 위한 방법 및 장치
JP5275810B2 (ja) * 2005-12-07 2013-08-28 トムソン ライセンシング 基準フレームの選択ルールを使用したビデオエラー隠蔽の方法及び装置
US8509313B2 (en) * 2006-10-10 2013-08-13 Texas Instruments Incorporated Video error concealment
KR101292771B1 (ko) 2006-11-24 2013-08-16 삼성전자주식회사 오디오 신호의 오류은폐방법 및 장치
KR101291193B1 (ko) 2006-11-30 2013-07-31 삼성전자주식회사 프레임 오류은닉방법
CN100586193C (zh) * 2006-12-12 2010-01-27 华为技术有限公司 误码掩盖方法和***
US8340183B2 (en) * 2007-05-04 2012-12-25 Qualcomm Incorporated Digital multimedia channel switching
EP2028866A1 (en) * 2007-08-20 2009-02-25 Alcatel Lucent A device and associated method for concealing errors in decoded media units
US8542748B2 (en) 2008-03-28 2013-09-24 Sharp Laboratories Of America, Inc. Methods and systems for parallel video encoding and decoding
JP5344541B2 (ja) * 2008-06-03 2013-11-20 キヤノン株式会社 データ送信装置、送信方法及びプログラム
US20100008419A1 (en) * 2008-07-10 2010-01-14 Apple Inc. Hierarchical Bi-Directional P Frames
FR2934453B1 (fr) 2008-07-22 2010-10-15 Canon Kk Procede et dispositif de masquage d'erreurs
FR2944938B1 (fr) * 2009-04-28 2011-10-21 Canon Kk Procede et dispositif de correction d'erreurs.
US20120195573A1 (en) * 2011-01-28 2012-08-02 Apple Inc. Video Defect Replacement
JP5811061B2 (ja) * 2012-07-24 2015-11-11 三菱電機株式会社 復号装置、エラーコンシールメント処理装置および復号方法
JP5921469B2 (ja) * 2013-03-11 2016-05-24 株式会社東芝 情報処理装置、クラウドプラットフォーム、情報処理方法およびそのプログラム
US10803876B2 (en) * 2018-12-21 2020-10-13 Microsoft Technology Licensing, Llc Combined forward and backward extrapolation of lost network data
US10784988B2 (en) 2018-12-21 2020-09-22 Microsoft Technology Licensing, Llc Conditional forward error correction for network data
US10945029B2 (en) * 2019-05-31 2021-03-09 Qualcomm Incorporated Video frame rendering criteria for video telephony service

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE477080T1 (de) 1990-09-17 1993-06-09 Canon K.K., Tokio/Tokyo Datenuebertragungsgeraet.
US5742599A (en) 1996-02-26 1998-04-21 Apple Computer, Inc. Method and system for supporting constant bit rate encoded MPEG-2 transport over local ATM networks
JP3895414B2 (ja) * 1996-12-16 2007-03-22 松下電器産業株式会社 映像復号化装置
US6160804A (en) 1998-11-13 2000-12-12 Lucent Technologies Inc. Mobility management for a multimedia mobile network
US6947398B1 (en) 1998-11-13 2005-09-20 Lucent Technologies Inc. Addressing scheme for a multimedia mobile network
KR100587280B1 (ko) * 1999-01-12 2006-06-08 엘지전자 주식회사 오류 은폐방법
DE60017356T2 (de) 2000-03-02 2005-06-02 Matsushita Electric Industrial Co., Ltd., Kadoma Datenübertragung über ein unzuverlässiges Netz
US7035337B2 (en) * 2000-11-29 2006-04-25 Sony Corporation Stream processing apparatus
US7103669B2 (en) * 2001-02-16 2006-09-05 Hewlett-Packard Development Company, L.P. Video communication method and system employing multiple state encoding and path diversity
CN1134174C (zh) * 2001-06-08 2004-01-07 清华大学 地面数字电视广播中的视频差错隐藏方法
WO2003019939A1 (en) * 2001-08-23 2003-03-06 Polycom, Inc. System and method for video error concealment
BR0317962A (pt) 2003-01-10 2005-11-29 Thomson Licensing Sa Aparelho decodificador e método para suavizar artefatos criados durante ocultação de erro
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
JP4020883B2 (ja) 2004-04-20 2007-12-12 株式会社東芝 動画像復号装置
US7436571B2 (en) * 2004-10-20 2008-10-14 Hewlett-Packard Development Company, L.P. Micro-displays
CN101790098B (zh) * 2005-03-10 2016-01-20 高通股份有限公司 用于流式多媒体中优化错误管理的解码器架构
KR101012624B1 (ko) 2005-05-11 2011-02-09 퀄컴 인코포레이티드 통합 에러 은폐 프레임워크를 위한 방법 및 장치
US9113147B2 (en) * 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105900169A (zh) * 2014-01-09 2016-08-24 杜比实验室特许公司 音频内容的空间误差度量
US10492014B2 (en) 2014-01-09 2019-11-26 Dolby Laboratories Licensing Corporation Spatial error metrics of audio content
CN105900169B (zh) * 2014-01-09 2020-01-03 杜比实验室特许公司 音频内容的空间误差度量

Also Published As

Publication number Publication date
KR101012624B1 (ko) 2011-02-09
WO2006122313A2 (en) 2006-11-16
JP2008545297A (ja) 2008-12-11
EP1884028A2 (en) 2008-02-06
US10944988B2 (en) 2021-03-09
KR20080026540A (ko) 2008-03-25
US20170324980A1 (en) 2017-11-09
US9749655B2 (en) 2017-08-29
TW200709580A (en) 2007-03-01
CN101485202B (zh) 2013-10-30
WO2006122313A3 (en) 2009-04-09
US20060262864A1 (en) 2006-11-23

Similar Documents

Publication Publication Date Title
CN101485202B (zh) 一种用于统一的错误隐匿框架的方法及设备
CN102362498B (zh) 选择性进行语法元素编码/解码的装置和方法、以及使用其对图像进行编码/解码的装置和方法
EP2537344B1 (en) Block type signalling in video coding
CN101496409B (zh) 用于自适应视频帧内插的方法和设备
JP5918328B2 (ja) 画像符号化方法及び画像復号方法
US8239766B2 (en) Multimedia coding techniques for transitional effects
CN101663892A (zh) 数字多媒体信道切换
TW200841744A (en) Coding mode selection using information of other coding modes
JP2011211734A (ja) ハイブリッド・イントラ・インター符号化ブロックを符号化する方法及び装置
CN101189884A (zh) 用于p-帧的时间错误隐藏的方法设备
EP2105021A1 (en) Method and apparatus for processing a video signal
EP1880346A2 (en) Temporal error concealment for bi-directionally predicted frames
CA2858693A1 (en) Methods, apparatuses, and programs for encoding and decoding picture
Tagliasacchi et al. Exploiting spatial redundancy in pixel domain Wyner-Ziv video coding
EP1941742A2 (en) Video encoding method enabling highly efficient partial decoding of h.264 and other transform coded information
CN110913215B (zh) 一种预测模式的选择方法及装置、可读存储介质
Ai et al. Weighted motion vectors of double candidate blocks based temporal error concealment method for video transmission over wireless network
WO2012041245A1 (en) Improved Multiple Predictor Set For Intra Coding with Intra Mode Prediction
Wang et al. MV distribution and neighborhood availability based error concealment order for video stream
Li et al. The test and analysis of FMO model in error concealment based on H. 264
NS et al. Studying an Effective Contribution of Techniques of Video Compression
Samcovic et al. H. 264/AVC multiple reference video frames
Yang et al. Improved Motion Vector Recovery in Temporal Error Concealment for H. 264/AVC Decoder
Wu et al. All Zero Block Detection Based on Statistics for AVS-M Intra Frame Prediction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131030

Termination date: 20140511