CN101779471B - 在多视图编码的视频中进行错误隐藏的方法和装置 - Google Patents

在多视图编码的视频中进行错误隐藏的方法和装置 Download PDF

Info

Publication number
CN101779471B
CN101779471B CN2008801026868A CN200880102686A CN101779471B CN 101779471 B CN101779471 B CN 101779471B CN 2008801026868 A CN2008801026868 A CN 2008801026868A CN 200880102686 A CN200880102686 A CN 200880102686A CN 101779471 B CN101779471 B CN 101779471B
Authority
CN
China
Prior art keywords
view
picture
functional block
error concealing
current picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008801026868A
Other languages
English (en)
Other versions
CN101779471A (zh
Inventor
普尔温·比贝哈斯·潘迪特
尹鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Priority to CN201310341550.5A priority Critical patent/CN103428504B/zh
Publication of CN101779471A publication Critical patent/CN101779471A/zh
Application granted granted Critical
Publication of CN101779471B publication Critical patent/CN101779471B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供一种在多视图编码的视频中进行错误隐藏的方法和装置。所述装置包括：解码器(200)，使用基于视图间画面信息和视图间依赖性信息中的至少一个的错误隐藏来对多视图视频内容进行解码。

Description

在多视图编码的视频中进行错误隐藏的方法和装置
相关申请的交叉引用
本申请要求2007年8月15日提交的美国临时申请序列号No.60/955,899的优先权，其内容以全文引用的方式并入本文中。
技术领域
本原理一般地涉及视频解码，更具体地，涉及用于在多视图编码的视频中进行错误隐藏的方法和装置。
背景技术
多视图视频编码方案是一种将来自多个不同摄像机的画面相结合以获得高编码效率或者支持特定应用(如三维(3D)电视、自由视点电视等等)的视频编码***。不能始终保证许多视图的健壮传输，从而需要提供如在传统单视图编码中执行的对丢失或者损坏的画面进行隐藏。
存在多种处理单视图编码的现有技术错误隐藏方案。大致上，可以将这些技术分类为空间纠错(EC)、时间纠错、或者空间-时间联合纠错。
发明内容
本原理解决现有技术的这些和其它缺陷和缺点，涉及在多视图编码的视频中进行错误隐藏的方法和装置。
根据本原理的一方面，提供了一种装置。该装置包括：解码器，使用基于视图间画面信息和视图间依赖性信息中的至少一个的错误隐藏来对多视图视频内容进行解码。
根据本原理的另一方面，提供了一种方法。该方法包括：使用基于视图间画面信息和视图间依赖性信息中的至少一个的错误隐藏来对多视图视频内容进行解码。
通过下面结合附图来阅读的示例实施例的详细描述，本原理的这些和其它方面、特征以及优点将变得显而易见。
附图说明
根据下列示例附图，可以更好地理解本原理，附图中：
图1是示出了根据本原理的实施例可以对其应用本原理的示例多视图视频编码(MVC)编码器的框图；
图2是示出了根据本原理的实施例可以对其应用本原理的示例多视图视频编码(MVC)解码器的框图；
图3是示出了根据本原理的实施例可以对其应用本原理的具有8个视图的多视图视频编码***的时间优先编码结构的图；
图4是示出了根据本原理的实施例在多视图视频编码中进行错误隐藏的示例方法的流程图；
图5是示出了根据本原理的实施例在多视图视频编码中进行错误隐藏的另一个示例方法的流程图；
图6是示出了根据本原理的实施例在多视图视频编码中进行错误隐藏的另一个示例方法的流程图；
图7是示出了根据本原理的实施例在多视图视频编码中进行错误隐藏的另一个示例方法的流程图；
图8是示出了根据本原理的实施例在多视图视频编码中进行错误隐藏的另一个示例方法的流程图；
图9是示出了根据本原理的实施例在多视图视频编码中进行错误隐藏的另一个示例方法的流程图；以及
图10是示出了根据本原理的实施例在多视图视频编码中进行错误隐藏的另一个示例方法的流程图。
具体实施方式
本原理涉及在多视图编码视频中进行错误隐藏的方法和装置。
本描述说明了本原理。因此，可以认识到，本领域技术人员能够想到各种实施本原理的设置，虽然这里没有显式地描述或示出这些设置，但是，这些设置包括在本原理的精神和范围中。
这里阐述的所有示例和条件语言是为了教导的目的，以帮助读者理解本原理以及发明人为了改进现有技术而贡献的概念，这些应被解释为并非将本发明局限于这样具体阐述的示例和条件。
此外，这里阐述本发明的原理、方面和实施例以及其具体示例的所有表述应包括其结构和功能的等效物。此外，这样的等效物应包括当前已知的等效物以及未来开发的等效物，例如，开发出的执行相同功能的任何元件，而不论其结构如何。
因此，例如，本领域技术人员应理解，这里呈现的框图表示了实现本原理的示意电路图的概念视图。类似地，可以认识到，任何流程图、流程图表、状态转移图、伪代码等表示了各种过程，所述过程可以被实质上表示在计算机可读介质中，并从而由计算机或处理器执行，而不论是否显式地示出了这样的计算机或处理器。
可以通过使用专用硬件以及能够与合适的软件相关联地执行软件的硬件，来提供图中所示的各种元件的功能。在由处理器提供时，可以由单个专用处理器、单个共享处理器或多个单处理器(其中一些可以是共享的)来提供该功能。此外，显式使用的术语“处理器”或“控制器”不应被解释为是排他性地指能够执行软件的硬件，可以隐含地包括但不限于：数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、和永久存储器。
也可以包括其他硬件，不论其为传统的和/或常规的。类似地，图中所示的任何开关仅是概念性的。可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互，或甚至手动地实施其功能，如从上下文中可以更具体地理解的，实现者可以选择特定的技术。
在权利要求书中，表述为用于执行指定功能的装置的任何元件应包含执行该功能的任何方式，例如包括a)执行该功能的电路元件的结合或者b)任何形式的软件，从而包括固件、微代码等，与执行该软件的适当电路相结合来执行该功能。由这样的权利要求所限定的本原理在于以下事实：以权利要求所要求保护的方式，将各种所述装置所提供的功能结合并集合在一起。因此，应认为可以提供这些功能的任何装置都与这样所示的装置等效。
本说明书中对本原理的“一个实施例”或者“实施例”的引用意味着，在本原理的至少一个实施例中包括与该实施例相结合描述的特定特征、结构、特性等等。因此，出现在本说明书中各处的短语“在一个实施例”或者“在实施例中”不一定都是指相同的实施例。此外，如本领域和相关领域的普通技术人员容易理解的，尽管由数字(例如实施例1、实施例2等等)来指代本文的特定实施例，但是可以单独或者以任何组合的形式来实现这些实施例，并且维持本原理的精神。
如本文使用的，“高级语法”是指在层级上位于宏块层以上的比特流中出现的语法。例如，如文本所使用的，高级语法可以指代但不限于在片(slice)首部级、补充增强信息(SEI)级、画面参数集(PPS)级、序列参数集(SPS)级、视图参数集(VPS)级、以及网络抽象层(NAL)单元首部级的语法。
此外，如本文中可交换使用的，“跨视图”以及“视图间”都是指属于不同于当前视图的视图的画面。
此外，如本文所使用的，“多个”指两个或者更多项。从而例如“多个局部视差向量”指代两个或者更多局部视差向量。
此外，如本文所使用的，与当前正在解码的画面相关的术语“错误”指当前画面中的错误(例如损坏)或者当前画面的丢失(例如，未收到)等等中的任一项。
应当理解，使用术语“和/或”以及“至少一个”，例如在“A和/或B”以及“A和B中的至少一个”的情况下，预期包含仅对所列第一选项(A)的选择、仅对所列第二选项(B)的选择、或者同时对两个选项(A和B)的选择。作为另一个示例，在“A、B和/或C”以及“A、B和C中至少一个”的情况下，这种短语预期包含仅对所列第一选项(A)的选择、或者仅对所列第二选项(B)的选择、或者仅对所列第三选项(C)的选择、或者仅对所列第一和第二选项(A和B)的选择、或者仅对所列第一和第三的选项(A和C)的选择、或者仅对所列第二和第三选项(B和C)的选择、或者对所有三个选项(A和B和C)的选择。如本领域和相关领域普通技术人员容易理解的，这可以扩展用于所列的许多项。
此外，应当理解，尽管本文针对国际标准化组织/国际电子技术委员会(ISO/IEC)运动图像专家组-4(MPEG-4)第10部分高级视频编码(AVC标准)/国际电信联合会电信部(ITU-T)H.264建议(下文称作MPEG-4AVC标准)的多视图视频编码(MVC)扩展来描述本原理的一个或者更多实施例，但是本原理并不仅限于该标准，因此可以针对其他视频编码标准、建议及其与多视图视频编码相关的扩展(包括MPEG-4AVC标准的扩展)来利用本原理，并且维持本原理的精神。
转到图1，由参考标号100来总体指示示例多视图视频编码(MVC)编码器。编码器100包括组合器105，组合器105具有与变换器110的输入以信号通信方式连接的输出。变换器110的输出以信号通信方式与量化器115的输入相连。量化器115的输出以信号通信方式与熵编码器120的输入以及反量化器125的输入相连。反量化器125的输出以信号通信方式与反变换器130的输入相连。反变换器130的输出以信号通信方式与组合器135的第一非反相输入相连。组合器135的输出以信号通信方式与帧内预测器145的输入和解块滤波器150的输入相连。解块滤波器150的输出以信号通信方式与参考画面存储器155(用于视图i)的输入相连。参考画面存储器155的输出以信号通信方式与运动补偿器175的第一输入和运动估计器180的第一输入相连。运动估计器180的输出以信号通信方式与运动补偿器175的第二输入相连。
参考画面存储器160(用于其它视图)的输出以信号通信方式与视差/照明估计器170的第一输入和视差/照明补偿器165的第一输入相连。视差/照明估计器170的输出以信号通信方式与视差/照明补偿器165的第二输入相连。
熵解码器120的输出可用作编码器100的输出。组合器105的非反相输入可用作编码器100的输入，并且以信号通信方式与视差/照明估计器170的第二输入以及运动估计器180的第二输入相连。开关185的输出以信号通信方式与组合器135的第二非反相输入以及与组合器105的反相输入相连。开关185包括以信号通信方式与运动补偿器175的输出相连的第一输入、以信号通信方式与视差/照明补偿器165的输出相连的第二输入、以及以信号通信方式与帧内预测器145的输出相连的第三输入。
模式判定模块140具有与开关185相连的输出，用于控制开关185选择哪个输入。
转到图2，由参考标号200来总体指示示例多视图视频编码(MVC)解码器。解码器200包括熵解码器205，熵解码器205具有以信号通信方式与反量化器210的输入相连的输出。反量化器的输出以信号通信方式与反变换器215的输入相连。反变换器215的输出以信号通信方式与组合器220的第一非反相输入相连。组合器220的输出以信号通信方式与解块滤波器225的输入以及帧内预测器230的输入相连。解块滤波器225的输出以信号通信方式与参考画面存储器240(用于视图i)的输入相连。参考画面存储器240的输出以信号通信方式与运动补偿器325的第一输入相连。
参考画面存储器245(用于其它视图)的输出以信号通信方式与视差/照明补偿器250的第一输入相连。
熵编码器205的输入可用作解码器200的输入，用于接收残余比特流。此外，模式模块260的输入也可用作解码器200的输入，用于接收控制开关255选择哪个输入的控制语法。此外，运动补偿器235的第二输入可用作解码器200的输入，用于接收运动向量。此外，视差/照明补偿器250的第二输入可用作解码器200的输入，用于接收视差向量和照明补偿语法。
开关255的输出以信号通信方式与组合器220的第二非反相输入相连。开关255的第一输入以信号通信方式与视差/照明补偿器250的输出相连。开关255的第二输入以信号通信方式与运动补偿器235的输出相连。开关255的第三输入以信号通信方式与帧内预测器230的输出相连。模式模块260的输出以信号通信方式与开关255相连，用于控制开关255选择哪个输入。解块滤波器225的输出可用作解码器的输出。
多视图视频编码(MVC)序列是从不同视点捕捉相同场景的两个或者更多视频序列的集合。我们已经认识到，多视图编码(MVC)的序列对错误隐藏提出了特殊的问题。
相应地并且有利地，本原理涉及一种在多视图编码的视频中进行错误隐藏的方法和装置。在提供这种方法和装置时，本原理利用不同视图之间的附加冗余。
可以利用这些不同视图之间的冗余来增强并改善用于单视图编码的当前错误隐藏技术。我们将所提出的使用视图信息的纠错(EC)分类为视图纠错。我们提出可以单独使用或与空间和/或时间纠错联合应用的视图纠错。
正在开发多视图编码***用于MPEG-4AVC标准。因此，尽管如上所述，本原理并不仅限于MPEG-4AVC标准或者其扩展，但是将在与MPEG-4AVC标准相对应的上下文中描述根据本原理的一个或者更多实施例的下列描述。
多视图视频编码(MVC)***包括从不同位置观看场景的多个视图。多视图视频编码***使用大量摄像机间相关来提高***的编码效率。
转到图3，由参考标号300来总体指示具有8个视图的多视图视频编码***的时间优先编码结构。在图3的示例中，连续地对来自不同视图的相同时刻的所有画面进行编码。从而，首先对在时刻T0的所有画面(S0-S7)进行编码，之后是时刻T8处的画面(S0-S7)，以此类推。这被称作时间优先编码。
此外，MPEG-4AVC标准的当前多视图视频编码(MVC)扩展包括仅可以使用在该时刻的画面来进行视图间预测的约束。从而，由于丢失的画面可能不仅用作时间参考还用作视图参考，因此这使得检测该时刻的画面丢失更加相关。
如从图3中可以看到，存在在这种多视图视频编码***中利用的大量冗余。我们使用这种冗余来改进错误隐藏技术。
实施例1(画面拷贝)
在MPEG-4AVC标准的多视图视频编码***中，执行时间优先编码，其中首先对特定时刻的所有画面进行编码。
错误隐藏中的第一步骤是检测。在执行检测步骤之后，以最优方式来隐藏丢失的画面。可以使用的方法中的一种是画面拷贝。传统上，在单视图情况下，画面拷贝涉及拷贝来自当前位置的先前时刻的画面。备选地，更进一步，可以从先前时刻的画面和后续时刻的画面(如果这种画面可用)对丢失的画面进行插值。然而，由于引起画面冻结效应并且还严重影响后续画面，因此这不是最优的。
对于多视图视频编码，我们已经认识到，可以从不同视图的相同时刻的已解码画面来对画面进行拷贝或插值。这具有下述优点：来自另一个视图的画面与隐藏画面同步，因此潜在地是丢失画面的更好表示。
转到图4，由参考标号400来总体指示在多视图视频编码中进行错误隐藏的示例方法。
方法400包括开始框405，将控制传递给功能框410。功能框410检测与正在针对当前视图进行解码的当前画面相关的画面错误，并且将控制传递给功能框415。功能框415将来自相同或不同时间戳的另一个视图的画面拷贝为当前画面，以获得当前画面的隐藏画面，并且将控制传递给功能框417。功能框417联合或单独考虑时间和视图间错误隐藏，并且将控制传递给功能框420。功能框420继续对其它画面进行解码，并且将控制传递给判定框425。判定框425解码确定是否已经对所有画面进行解码。如果是，将控制传递给结束框499。否则，将控制返回功能框410。
转到图5，由参考标号500来总体指示在多视图视频编码中进行错误隐藏的另一个示例方法。
方法500包括开始框505，将控制传递给功能框510。功能框510检测正在针对当前视图进行解码的当前画面的画面错误，并且将控制传递给功能框515。功能框515对来自与当前视图相关的其它视图的一个或者更多画面(来自与当前画面相同或不同的时间戳)进行插值，以生成当前画面的隐藏画面，并且将控制传递给功能框517。功能框517联合或单独考虑时间和视图间错误隐藏，并且将控制传递给功能框520。功能框520继续对其它画面进行解码，并且将控制传递给判定框525。判定框525解码确定是否已经对所有画面进行解码。如果是，则将控制传递给结束框599。否则，将控制返回给功能框510。
实施例2(视图生成)
多视图编码视频可以支持每一个视图的摄像机参数的传输，以及附加地，支持视图的每一个画面的深度信息的传输。使用视图合成以使用摄像机参数以及深度信息来生成视图用于视图预测，或者生成用于自由视点电视的虚拟视图。视图生成还可以用于隐藏丢失的画面。当特定视图的画面丢失时，使用高级语法传输的摄像机参数以及深度信息可以用于生成该视图。生成的画面可以是丢失画面的良好近似。
转到图6，由参考标号600来总体指示在多视图视频编码中进行错误隐藏的另一个示例方法。
方法600包括开始框605，将控制传递给功能框610。功能框610检测正在针对当前视图进行解码的当前画面的画面错误，并且将控制传递给功能框615。功能框615使用深度和摄像机参数来执行视图合成，以生成当前画面的隐藏画面，并且将控制传递给功能框617。功能框617联合或独立考虑时间和视图间错误隐藏，并且将控制传递给功能框620。功能框620继续对其它画面进行解码并且将控制传递给判定框625。判定框625解码确定是否已经对所有画面进行解码。如果是，则将控制传递给结束框699。否则，将控制返回功能框610。
实施例3(全局/局部视差信息)
可以在多视图视频编码***中使用高级语法来传输全局视差向量(GDV)和/或局部视差向量(RDV)。这些全局视差向量和局部视差向量分别表示当前视图相对于参考视图的全局偏移或者局部偏移。对于丢失的画面，可以使用全局视差向量和/或局部视差向量信息以及画面拷贝来将画面偏移该向量。这将导致在偏移之后创建空的空间，使用一个或者更多合适的隐藏技术来填充该空的空间。
转到图7，由参考标号700来总体指示在多视图视频编码中进行错误隐藏的另一个示例方法。
方法700包括开始框705，将控制传递给功能框710。功能框710检测正在针对当前视图进行解码的当前画面的画面错误，并且将控制传递给功能框715。功能框715使用相对于相邻视图的全局视差向量或者局部视差向量来生成当前画面的隐藏画面，并且将控制传递给功能框717。功能框717联合或独立考虑时间和视图间错误隐藏，并且将控制传递给功能框720。功能框720继续对其它画面进行解码，并且将控制传递给判定框725。判定框725解码确定是否已经对所有画面进行解码。如果是，则将控制传递给结束框799。否则将控制返回功能框710。
实施例4(运动和/或残差拷贝)
将运动跳跃(motion skip)作为一个现有技术方案中的编码工具提出。根据该现有技术方案，从特定宏块(在比特流中指示)的另一个视图(基于序列参数集中指示的依赖性)拷贝运动和模式信息，并且使用该信息在时间画面上进行运动补偿。可以将该概念扩展至残差预测，其中，为了编码效率，将来自另一个视图的残差信息继承用于当前视图。
这些技术可以在画面丢失的情况下用于错误隐藏。当画面丢失时，我们可以将所有宏块视为运动跳跃宏块并且继承来自相邻视图的画面的运动、模式以及潜在地残差信息。一旦拷贝了运动、模式以及残差信息，我们具有使用时间画面作为参考来对当前画面进行解码所需的全部信息。
本方法的扩展是还将与相邻视图相关联的所有存储器管理控制操作(MMCO)和参考画面列表重排序(RPLR)命令拷贝到正在隐藏的当前画面。
转到图8，由参考标号800来总体指示在多视图视频编码中进行错误隐藏的另一个示例方法。
方法800包括开始框805，将控制传递给功能框810。功能框810检测正在针对当前视图进行解码的当前画面的画面错误，并且将控制传递给功能框815。功能框815通过将当前画面的所有宏块视为运动跳跃模式宏块来生成当前画面的隐藏画面以对当前画面进行解码，并且将控制传递给功能框817。功能框817联合或单独考虑时间和视图间错误隐藏，并且将控制传递给功能框820。功能框820继续对其它画面进行解码，并且将控制传递给判定框825。判定框825确定是否已经对所有画面进行解码。如果是，则将控制传递给结束框899。否则将控制返回功能框810。
转到图9，由参考标号900来总体指示在多视图视频编码中进行错误隐藏的另一个示例方法。
方法900包括开始框905，将控制传递给功能框910。功能框910检测正在针对当前视图进行解码的当前画面的画面错误，并且将控制传递给功能框913。功能框913通过将当前画面的所有宏块(MB)视为运动跳跃模式宏块来生成当前画面的隐藏画面以对当前画面进行解码，并且将控制传递给功能框916。功能框916考虑来自一个或者更多相邻视图的残差预测以改进隐藏画面并从而改进错误隐藏，并且将控制传递给功能框917。功能框917联合或独立考虑时间和视图间错误隐藏，并且将控制传递给功能框920。功能框920继续对其它画面进行解码，并且将控制传递给判定框925。判定框925解码确定是否已经对所有画面进行解码。如果是，则将控制传递给结束框999。否则将控制返回功能框910。
转到图10，由参考标号900来总体指示在多视图视频编码中进行错误隐藏的另一个示例方法。
方法1000包括开始框1005，将控制传递给功能框1010。功能框1010检测正在针对当前视图进行解码的当前画面的画面错误，并且将控制传递给功能框1013。功能框1013通过将当前画面的所有宏块(MB)视为运动跳跃模式宏块来生成当前画面的隐藏画面以对当前画面进行解码，并且将控制传递给功能框1016。功能框1016考虑来自一个或者更多相邻视图的残差预测以改进隐藏画面并从而改进错误隐藏，并且将控制传递给功能框1018。功能框1018从一个或者更多相邻视图拷贝存储器管理控制操作命令以及RPLR命令，以构建并修改当前画面的参考列表(要由隐藏画面来表示)，并且将控制传递给功能框1019。功能框1019联合或独立考虑时间和视图间错误隐藏，并且将控制传递给功能框1020。功能框1020继续对其它画面进行解码，并且将控制传递给判定框1025。判定框1025解码确定是否已经对所有画面进行解码。如果是，则将控制传递给结束框1099。否则将控制返回功能框1010。
现在将对本发明的许多附属优点/特征中的一些进行描述，其中一些已经在上面提及。例如，一个优点/特征是一种装置，包括：解码器，使用基于视图间画面信息和视图间依赖性信息中的至少一个的错误隐藏来对多视图视频内容进行解码。
另一个优点/特征是具有如上所述解码器的装置，其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述错误隐藏包括：拷贝来自另一个视图的画面作为当前画面的隐藏画面。
另一个优点/特征是具有如上所述解码器的装置，其中，所述错误隐藏包括：拷贝来自另一个视图的画面作为上述当前画面的隐藏画面，其中，来自所述另一个视图的画面属于与当前画面相同的时刻或者与当前画面不同的时刻。
另一个优点/特征是具有如上所述解码器的装置，其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述错误隐藏包括：对来自其它视图的画面进行插值，以获得当前画面的隐藏画面。
另一个优点/特征是具有如上所述解码器的装置，其中，所述错误隐藏包括：对来自其它视图的画面进行插值，以获得上述当前画面的隐藏画面，其中，来自所述其它视图的画面属于与当前画面相同的时刻或者与当前画面不同的时刻。
此外，另一个优点/特征是具有如上所述解码器的装置，其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述错误隐藏包括：使用视图合成以获得当前画面的隐藏画面。
此外，另一个优点/特征是具有如上所述解码器的装置，其中，所述错误隐藏包括：使用视图合成以获得上述当前画面的隐藏画面，其中所述视图合成产生用作隐藏画面的合成画面。
此外，另一个优点/特征是具有如上所述解码器的装置，其中，所述错误隐藏包括：使用视图合成以获得上述当前画面的隐藏画面，其中，所述视图合成产生进一步细化的合成画面，从而使用细化的合成画面作为隐藏画面。
此外，另一个优点/特征是具有如上所述解码器的装置，其中，所述错误隐藏包括：使用视图合成以获得上述当前画面的隐藏画面，其中，所述视图合成使用深度信息和摄像机参数来产生用作隐藏画面的合成画面。
此外，另一个优点/特征是具有如上所述解码器的装置，其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述错误隐藏包括：使用全局视差向量和局部视差向量中的至少一个来对当前画面的隐藏画面进行预测操作和插值操作中的至少一个操作。
此外，另一个优点/特征是具有如上所述解码器的装置，其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述错误隐藏包括：使用运动跳跃模式对当前画面的所有宏块进行解码。
此外，另一个优点/特征是具有如上所述解码器的装置，其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述解码器使用来自另一个视图的残差预测来对当前画面的错误隐藏进行细化。
此外，另一个优点/特征是具有如上所述解码器的装置，其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述解码器从另一个视图拷贝存储器管理控制操作命令和参考画面列表重排序命令，以构建并修改用于当前画面的参考列表。
此外，另一个优点/特征是具有如上所述解码器的装置，其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述解码器单独使用或与空间错误隐藏和时间错误隐藏中的至少一个联合使用视图错误隐藏。
本领域技术人员根据这里的教导可以容易地确定本原理的这些和其他特征以及优点。应理解，可以以各种形式的硬件、软件、固件、专用处理器或其组合来实现本原理的教导。
最优选地，将本原理的教导实现为硬件和软件的组合。此外，可以将软件实现为在程序存储单元上确实实现的应用程序。可以将应用程序加载至包括任何合适体系结构的机器并由其执行。优选地，在具有如一个或更多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)以及输入/输出(“I/O”)接口之类的硬件的计算机平台上实现所述机器。计算机平台还可以包括操作***和微指令代码。这里所描述的各种过程和功能可以是由CPU来执行的微指令代码的一部分或应用程序的一部分或其任何组合。此外，可以将各种其他***单元连接到计算机平台，如附加数据存储单元和打印单元。
还将理解，因为附图中所描述的一些***组成组件和方法优选地是以软件来实现的，所以***组件或处理功能模块之间的实际连接可能依对本原理进行编程的方式的不同而不同。在这里所给出的教导的情况下，本领域技术人员将能够想到本原理的这些和类似的实现或配置。
尽管这里参考附图描述了示意实施例，然而应理解，本原理不限于这些具体实施例，在不脱离本原理的精神和范围的前提下，本领域技术人员可以对本原理进行各种改变和修改。所有这些改变和修改应包括在所附权利要求所阐述的本原理的范围之内。

Claims (3)

1.一种在多视图编码的视频中进行错误隐藏的装置，包括：
解码器(200)，使用基于视图间画面信息和视图间依赖性信息中的至少一个的错误隐藏来对多视图视频内容进行解码，其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述隐藏是利用视图合成来执行的，所述视图合成使用深度信息和摄像机参数来产生合成画面以用作当前画面的隐藏画面，并联合地或单独地考虑时间和视图间错误隐藏。
2.一种在多视图编码的视频中进行错误隐藏的方法，包括：
使用基于视图间画面信息和视图间依赖性信息(415、515)中的至少一个的错误隐藏来对多视图视频内容进行解码，其中，对于正在针对当前视图进行解码并检测出具有错误的当前画面，所述隐藏是利用视图合成来执行的，所述视图合成使用深度信息和摄像机参数来产生合成画面以用作当前画面的隐藏画面，并联合地或单独地考虑时间和视图间错误隐藏。
3.根据权利要求2所述的方法，其中，所述视图合成产生进一步细化的合成画面，从而使用细化的合成画面作为隐藏画面(615)。
CN2008801026868A 2007-08-15 2008-08-11 在多视图编码的视频中进行错误隐藏的方法和装置 Expired - Fee Related CN101779471B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310341550.5A CN103428504B (zh) 2007-08-15 2008-08-11 在多视图编码的视频中进行错误隐藏的方法和装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US95589907P 2007-08-15 2007-08-15
US60/955,899 2007-08-15
PCT/US2008/009573 WO2009023156A2 (en) 2007-08-15 2008-08-11 Method and apparatus for error concealment in multi-view coded video

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201310341550.5A Division CN103428504B (zh) 2007-08-15 2008-08-11 在多视图编码的视频中进行错误隐藏的方法和装置

Publications (2)

Publication Number Publication Date
CN101779471A CN101779471A (zh) 2010-07-14
CN101779471B true CN101779471B (zh) 2013-07-10

Family

ID=40243991

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201310341550.5A Expired - Fee Related CN103428504B (zh) 2007-08-15 2008-08-11 在多视图编码的视频中进行错误隐藏的方法和装置
CN2008801026868A Expired - Fee Related CN101779471B (zh) 2007-08-15 2008-08-11 在多视图编码的视频中进行错误隐藏的方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201310341550.5A Expired - Fee Related CN103428504B (zh) 2007-08-15 2008-08-11 在多视图编码的视频中进行错误隐藏的方法和装置

Country Status (7)

Country Link
US (1) US20100150248A1 (zh)
EP (1) EP2181549A2 (zh)
JP (2) JP5452487B2 (zh)
KR (2) KR20100058471A (zh)
CN (2) CN103428504B (zh)
BR (1) BRPI0814843A2 (zh)
WO (1) WO2009023156A2 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8699667B2 (en) 2007-10-02 2014-04-15 General Electric Company Apparatus for x-ray generation and method of making same
JP2011082683A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
US20130003128A1 (en) * 2010-04-06 2013-01-03 Mikio Watanabe Image generation device, method, and printer
CN102959963A (zh) * 2010-09-20 2013-03-06 联发科技（新加坡）私人有限公司 执行关于3d视频流的播放管理的方法以及相关视频播放***
JP5531881B2 (ja) * 2010-09-22 2014-06-25 富士通株式会社 動画像復号装置、動画像復号方法、及び集積回路
JP5058362B1 (ja) * 2011-06-23 2012-10-24 株式会社東芝 動画像復号装置及び動画像復号方法
JP2013247651A (ja) * 2012-05-29 2013-12-09 Canon Inc 符号化装置、符号化方法およびプログラム
US9521389B2 (en) 2013-03-06 2016-12-13 Qualcomm Incorporated Derived disparity vector in 3D video coding
WO2014168444A1 (ko) * 2013-04-11 2014-10-16 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US9667990B2 (en) 2013-05-31 2017-05-30 Qualcomm Incorporated Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation
CN104320645A (zh) * 2014-09-23 2015-01-28 宁波大学 一种h.264/avc立体视频中图像帧重要性的评价方法
CN104410864B (zh) * 2014-11-07 2018-08-14 太原科技大学 Hevc中基于残差能量的错误隐藏方法
CN109922349B (zh) * 2019-02-01 2021-02-19 杭州电子科技大学 基于视差矢量外推的立体视频右视点b帧错误隐藏方法
CN110062219B (zh) * 2019-03-12 2020-11-06 杭州电子科技大学 结合虚拟视点绘制3d-hevc整帧丢失错误隐藏方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0799647A (ja) * 1993-09-28 1995-04-11 Canon Inc 画像信号再生装置
JP3332575B2 (ja) * 1994-05-23 2002-10-07 三洋電機株式会社 立体動画像再生装置
JP4438159B2 (ja) * 2000-02-10 2010-03-24 ソニー株式会社 情報処理装置、および情報処理方法
GB2362533A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Encoding a video signal with an indicator of the type of error concealment used
US7508874B2 (en) * 2002-01-29 2009-03-24 Broadcom Corporation Error concealment for MPEG decoding with personal video recording functionality
JP3992533B2 (ja) * 2002-04-25 2007-10-17 シャープ株式会社 立体視を可能とする立体動画像用のデータ復号装置
WO2004039086A2 (en) * 2002-10-23 2004-05-06 Koninklijke Philips Electronics N.V. Method for post-processing a 3d digital video signal
US20090225832A1 (en) * 2004-07-29 2009-09-10 Thomson Licensing Error concealment technique for inter-coded sequences
JP4562774B2 (ja) * 2004-10-12 2010-10-13 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 映像合成基盤の多視点動映像の符号化及び復号化を行うための方法及び装置
US8823821B2 (en) * 2004-12-17 2014-09-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using motion vector predictor list
US7728877B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
KR100739764B1 (ko) * 2005-11-28 2007-07-13 삼성전자주식회사 입체 영상 신호 처리 장치 및 방법
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
EP1806930A1 (en) * 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
AU2007232607B2 (en) * 2006-03-30 2010-09-16 Lg Electronics Inc. A method and apparatus for decoding/encoding a video signal
JP4793366B2 (ja) * 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
EP2080379B1 (en) * 2006-10-16 2018-08-22 Nokia Technologies Oy System and method for using parallelly decodable slices for multi-view video coding
KR100801968B1 (ko) * 2007-02-06 2008-02-12 광주과학기술원 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더
CN101291434A (zh) * 2007-04-17 2008-10-22 华为技术有限公司 多视编解码方法及装置
US8265144B2 (en) * 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
KR20090004658A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
15-12-2004－17-12-2004
CAGDAS BILEN ET AL.Motion and disparity aided stereoscopic full frame loss concealment method.《SIGNAL PROCESSING AND COMMUNICATIONS APPLICATIONS, 2007. SIU 2007. IEEE 15TH, IEEE, PISCATAWAY, NJ, USA》.2007,第1-4页. *
CAGDASBILENETAL.Motionanddisparityaidedstereoscopicfullframelossconcealmentmethod.《SIGNALPROCESSINGANDCOMMUNICATIONSAPPLICATIONS 2007. SIU 2007. IEEE 15TH
KANTER M ET AL..A gradient based approach for stereoscopic error concealment.《IMAGE PROCESSING, 2004. ICIP "04. 2004 INTERNATIONAL CONFERENCE ON SINGAPORE 24-27 OCT. 2004, PISCATAWAY, NJ, USA, IEEE》.2004,第1卷183-186. *
KARSTEN A M GUENTHER ET AL..A Fast Displacement-Estimation Based Approach For Stereoscopic Error Concealment.《24. PICTURE CODING SYMPOSIUM
KARSTEN A M GUENTHER ET AL..A Fast Displacement-Estimation Based Approach For Stereoscopic Error Concealment.《24. PICTURE CODING SYMPOSIUM 15-12-2004-17-12-2004;SAN FRANSISCO》.2004,摘要,第1、2节. *
KNORR S ET AL..Robust concealment for erroneous block bursts in stereoscopic images.《3D DATA PROCESSING, VISUALIZATION AND TRANSMISSION, 2004. 3DPVT 2004. PROCEEDINGS. 2ND INTERNATIONAL SYMPOSIUM ON THESSALONIKI, GREECE 6-9 SEPT. 2004, PISCATAWAY, NJ, USA, IEEE》.2004,第820-827页. *
LINJUAN PANG ET AL..A approach to error concealment for entire right frame loss in stereoscopic video transmission.《COMPUTATIONAL INTELLIGENCE AND SECURITY, 2006 INTERNATIONAL CONFERENCE ON, IEEE, PI, 1 NOVEMBER 2006》.2006,第1665-1670页. *
SAN FRANSISCO》.2004,摘要，第1、2节.

Also Published As

Publication number Publication date
CN103428504B (zh) 2017-04-12
EP2181549A2 (en) 2010-05-05
JP5677548B2 (ja) 2015-02-25
JP5452487B2 (ja) 2014-03-26
CN101779471A (zh) 2010-07-14
US20100150248A1 (en) 2010-06-17
BRPI0814843A2 (pt) 2015-01-27
KR20150006488A (ko) 2015-01-16
CN103428504A (zh) 2013-12-04
JP2010537487A (ja) 2010-12-02
KR101618344B1 (ko) 2016-05-04
JP2014042340A (ja) 2014-03-06
WO2009023156A2 (en) 2009-02-19
WO2009023156A3 (en) 2009-04-09
KR20100058471A (ko) 2010-06-03

Similar Documents

Publication Publication Date Title
CN101779471B (zh) 在多视图编码的视频中进行错误隐藏的方法和装置
JP5602192B2 (ja) 映像符号化方法および映像復号化方法並びにその装置
JP6395667B2 (ja) 多視点映像符号化及び復号化用の、ハイレベルシンタックスを使用した改善されたシグナリングのための方法及び装置
CN101611633B (zh) 用于针对多视角视频编码和解码解耦合帧号和/或图像顺序计数（poc）的方法和装置
CN104380749A (zh) 用于视频编码的方法和装置
CA2904424C (en) Method and apparatus of camera parameter signaling in 3d video coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: French Boulogne - Bilang Kurt

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190130

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190130

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130710

Termination date: 20200811