CN101578873B - 一种解码多视图视频内容的装置和方法 - Google Patents

一种解码多视图视频内容的装置和方法 Download PDF

Info

Publication number
CN101578873B
CN101578873B CN2008800017556A CN200880001755A CN101578873B CN 101578873 B CN101578873 B CN 101578873B CN 2008800017556 A CN2008800017556 A CN 2008800017556A CN 200880001755 A CN200880001755 A CN 200880001755A CN 101578873 B CN101578873 B CN 101578873B
Authority
CN
China
Prior art keywords
picture
view
views
decoder
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008800017556A
Other languages
English (en)
Other versions
CN101578873A (zh
Inventor
珀文·B·潘迪特
尹澎
苏野平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101578873A publication Critical patent/CN101578873A/zh
Application granted granted Critical
Publication of CN101578873B publication Critical patent/CN101578873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种用于在多视图编码视频中利用高级语法的视频错误隐藏的方法与装置。所述装置包括解码器(100)，用来解码对应于来自比特流的多视图视频内容的至少一个视图的画面。所述画面表示视频序列的至少一部分。所述画面中的至少一些画面对应于视频序列中的不同时刻。解码器(100)利用现有的语法元素，确定是否丢失了对应于所述不同时刻中一个特定时刻的任何画面。现有的语法元素用来指示包括所述至少一个视图的比特流中的编码视图的数目(315，345)。

Description

一种解码多视图视频内容的装置和方法
相关申请的交叉引用 
本申请要求2007年1月4日提交的美国临时申请第60/883,454号的权益，其全部内容通过引用融入本文。 
技术领域
一般地，本原理涉及视频编码与解码，更具体地，涉及用于在多视图编码视频中利用高级语法的视频错误隐藏的方法与装置。 
背景技术
当在受损(corrupted)比特流中丢失画面时，可以使用几种基于画面的错误隐藏方法来隐藏丢失的画面。为了进行隐藏，必须确定丢失了画面以及所述画面的位置。 
在单个视图的情况下，有几种方法来检测画面丢失。在国际标准化组织/国际电工委员会(ISO/IEC)运动画面专家组-4(MPEG-4)部分10高级视频编码(AVC)标准/国际电信联盟、电信部分(ITU-T)H.264推荐(此后称为“MPEG-4AVC标准”)中，frame_num的概念用于检测参考画面丢失的目的。另外，补充增强信息(SEI)消息，例如恢复点SEI消息、子序列SEI消息、恢复点SEI消息、参考画面标记重复SEI消息，以及画面顺序计数(POC)设计，以及多参考画面缓存都可以用于画面丢失检测的目的。 
但是此类方法没有被扩展用于多视图的情况。 
发明内容
本原理处理现有技术的这些以及其他缺点与不足，本原理针对用于在多视图编码视频中利用高级语法的视频错误隐藏的方法与装置。 
根据本原理的一方面，提供了一种装置。所述装置包括解码器，用来解码对应于来自比特流的多视图视频内容的至少一个视图的画面。所述画面表示视频序列的至少一部分。所述画面中的至少一些画面对应于视频序列中的 不同时刻(time instance)。解码器利用现有的语法元素，确定是否丢失了对应于所述不同时刻中一个特定时刻的任何画面。现有的语法元素用来指示包括所述至少一个视图的比特流中的编码视图的数目。 
根据本原理的一方面，提供了一种方法。所述方法包括解码对应于来自比特流的多视图视频内容的至少一个视图的画面。所述画面表示视频序列的至少一部分。所述画面中的至少一些画面对应于视频序列中的不同时刻。所述解码步骤包括：利用现有的语法元素，确定是否丢失了对应于所述不同时刻中一个特定时刻的任何画面。现有的语法元素用来指示包括所述至少一个视图的比特流中的编码视图的数目。 
从以下要结合附图阅读的对示范性实施例的详细描述，将可以看出本原理的这些以及其他方面、特征、以及优点。 
附图说明
根据以下示范性附图，可以更好地理解本原理，其中： 
图1为根据本原理实施例的、可以应用本原理的示范性多视图视频编码(MVC)解码器的方框图； 
图2为根据本原理实施例的、可以应用本原理的具有8个视图的多视图视频编码***的时间优先编码结构的图示； 
图3为根据本原理实施例的、对于丢失画面使用错误隐藏来解码对应于视频序列的视频数据的示范性方法的流程图；以及 
图4为根据本原理实施例的、对于丢失画面使用错误隐藏来解码对应于视频序列的视频数据的另一示范性方法的流程图。 
具体实施方式
本原理针对用于在多视图编码视频中利用高级语法的视频错误隐藏的方法与装置。
本描述例示本原理。因此应理解本领域技术人员将能够设计出虽然未在这里明确描述或示出、但是体现本原理并且包括在其精神和范围内的各种布置。 
这里所叙述的所有例子和条件语句意在教学目的，以帮助读者理解由发明人贡献以促进本领域技术的本原理和构思，并被解释为不限制为这样具体 叙述的例子和条件。 
此外，这里叙述本原理的原理、方面、以及实施例的所有陈述、以及本原理的具体例子意在包含本原理的结构的和功能的等价物。另外，意在这样的等价物包括当前已知的等价物以及将来发展的等价物，即，无论结构如何、执行相同功能的所开发的任何元件。 
因此，例如，本领域技术人员将理解：这里呈现的框图表示体现本原理的示例电路的概念性视图。类似地，将理解：任何流程图示、流程图、状态转换图、伪代码等等表示各种处理，所述各种处理可以基本上在计算机可读介质中表示，并因此由计算机或处理器执行，无论这样的计算机或处理器是否被明确示出。 
附图中所示的各种元件的功能可以通过使用专用硬件以及能够与适合的软件相关联而执行软件的硬件来提供。当由处理器提供时，所述功能可以由单个专用处理器、单个共享处理器、或其中一些可以被共享的多个独立处理器提供。此外，术语“处理器”或“控制器”的明确使用不应被解释为唯一地代表能够执行软件的硬件，其也可以隐含地、不受限制地包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、以及非易失性存储装置。 
也可以包括其它的传统的和/或定制的硬件。类似地，附图中所示的任何开关只是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑间的交互作用、或甚至手动地执行，具体技术可由实施者选择，如从上下文中被更具体地理解的。 
在本权利要求书中，表示为执行指定功能的部件的任何元件意在包含执行所述功能的任何手段，所述手段包括：例如，a)执行所述功能的电路元件的组合，或者b)任何形式的软件，因此包括与用于执行所述软件以执行所述功能的适当电路组合的固件、微代码等。由这样的权利要求定义的本原理存在于这样的事实：由各种所叙述的部件提供的功能以权利要求所要求保护的方式被组合和集合到一起。因此，将认为，可提供这些功能的任何部件与这里所示出的部件等效。 
说明书中引用的本原理的“一个实施例”或者“实施例”指结合所述实施例描述的特定特征、结构、特性等等包含在本原理的至少一个实施例中。由此，在贯穿说明书的各处出现的术语“在一个实施例中”或者“在实施例中”不一定 都指同一实施例。 
此处所用的“高级语法”指存在于比特流中的语法，其在层次上位于宏块层之上。例如，此处所用的高级语法可以指但是不限于在片首部级、序列参数集合(SPS)级、画面参数集合(PPS)级、视图参数集合(VPS)级、网络抽象层(NAL)单元首部级上的、以及在补充增强信息(SEI)消息中的语法。 
为了说明以及简洁，以下实施例在此处对于使用序列参数集合描述。但是，应该理解，本原理不仅限于对于此处公开的改进的信令使用序列参数集合，由此可以对于至少上述类型的高级语法实现此类改进的信令，所述高级语法包括但不限于在片首部级、序列参数集合(SPS)级、画面参数集合(PPS)级、视图参数集合(VPS)级、网络抽象层(NAL)单元首部级上的、以及在补充增强信息(SEI)消息中的语法，与此同时保持本原理的精神。 
还应该理解，尽管此处对于MPEG-4AVC标准描述了本原理的一个或者多个实施例，但是，本原理不仅限于所述标准，并且由此可以用于其他视频标准、建议、及其扩展，包括MPEG-4AVC标准的扩展，与此同时保持本原理的精神。 
另外，应该理解，术语“和/或”的使用，例如在“A和/或B”的情况下，意在涵盖选择所列的第一选项(A)、选择所列的第二选项(B)、或者选择两个选项(A与B)。作为进一步的例子，在“A、B、和/或C”的情况下，此类词句意在涵盖选择所列的第一选项(A)、选择所列的第二选项(B)、选择所列的第三选项(C)、选择所列的第一与第二选项(A与B)、选择所列的第一与第三选项(A与C)、选择所列的第二与第三选项(B与C)、或者选择全部三个选项(A与B与C)。本领域与相关领域的普通技术人员容易理解，可以将此扩展到所列的诸多项目。 
转到图1，示范性多视图视频编码(MVC)解码器由附图标记100概括指示。解码器100包括熵解码器105，其输出端以信号通信方式连接到逆量化器110的输入端。逆量化器的输出端以信号通信方式连接到逆变换器115的输入端。逆变换器115的输出端以信号通信方式连接到组合器120的第一正相输入端。组合器120的输出端以信号通信方式连接到去块滤波器125的输入端与内预测器130的输入端。去块滤波器125的输出端以信号通信方式连接到参考画面存储器140(对于视图i)的输入端。参考画面存储器140的 输出端以信号通信方式连接到运动补偿器135的第一输入端。 
参考画面存储器145(对于其他视图)的输出端以信号通信方式连接到差异/照明补偿器150的第一输入端。 
熵解码器105的输入端可用作为解码器100的输入端，用来接收剩余比特流。另外，模式模块160的输入端也可用作为解码器100的输入端，用来接收控制语法，以控制开关155选择哪个输入。另外，运动补偿器135的第二输入端可用作为解码器100的输入端，用来接收运动向量。另外，差异/照明补偿器150的第二输入端可用作为解码器100的输入端，用来接收差异向量与照明补偿语法。 
开关155的输出端以信号通信方式连接到组合器120的第二正相输入端。开关155的第一输入端以信号通信方式连接到差异/照明补偿器150的输出端。开关155的第二输入端以信号通信方式连接到运动补偿器135的输出端。开关155的第三输入端以信号通信方式连接到内预测器130的输出端。模式模块160的输出端以信号通信方式连接到开关155，用来控制开关155选择哪个输入。去块滤波器125的输出端可用作解码器的输出端。 
根据本原理，提供了用于在多视图编码视频中利用高级语法的视频错误隐藏的方法与装置。本原理至少解决了在多视图编码视频的情况下的画面丢失检测的问题。此处提供了方法与装置，用来识别/检测在传送多视图编码视频序列期间视图的哪些画面缺失、丢失、或者遗漏。 
在容易出错的传送环境下，例如因特网、无线网络等等，所传送视频比特流可能会遭受由例如信道损伤引起的损坏。在某些实际***中经常遇到的情况为特定的压缩视频画面从比特流中遗漏。对于其中画面小得足以被编码到传送单元、例如实时传输协议(RTP)分组中的低比特率应用，尤其如此。在接收器端，健壮的视频解码器应该能够检测此类丢失，以隐藏它们。 
在多视图视频编码(MVC)中，在编码的视频序列中存在几个视图。在MPEG-4AVC标准的当前的MVC扩展的情况下，每个画面与视图标识符相关联，来识别其属于哪个视图。表1显示用于可扩展视频编码(SVC)多视图视频编码(MVC)扩展语法的网络抽象层(NAL)单元首部。另外，(除MPEG-4AVC标准语法之外)有几种高级语法，用来辅助解码来自不同视图的画面。这些语法存在于序列参数集合(SPS)扩展中。表2显示MPEG-4AVC标准的多视图视频编码(MVC)扩展中的序列参数集合(SPS)。 
表1 
nal_unit_header_svc_mvc_extension(){   C   描述符
  svc_mvc_flag   All   u(1)
  if(lsvc_mvc_flag){    
    priority_id   All   u(6)
    discardable_flag   All   u(1)
    temporal_level   All   u(3)
    dependency_id   All   u(3)
    quality_level   All   u(2)
    layer_base_flag   All   u(1)
    use_base_prediction_flag   All   u(1)
    fragmented_flag   All   u(1)
    last_fragment_flag   All   u(1)
    fragment_order   All   u(2)
    reserved_zero_two_bits   All   u(2)
  }else{    
    temporal_level   All   u(3)
    view_level   All   u(3)
    anchor_pic_flag   All   u(1)
    view_id   All   u(10)
    idr_flag   All   u(1)
    reserved_zero_five_bits   All   u(5)
  }    
  nalUnitHeaderBytes+＝3    
}    
表2 
seq_parameter_set_mvc_extension(){   C   描述符
  num_views_minus_1     ue(v)
  for(i＝0；i＜＝num_views_minus_1；i++){    
     num_anchor_refs_I0[i]     ue(v)
     for(j＝0；j＜num_anchor_refs_I0[i]；j++)    
        anchor_ref_I0[i][j]     ue(v)
     num_anchor_ref_I1[i]     ue(v)
     for(j＝0；j＜num_anchor_refs_I1[i]；j++)    
        anchor_ref_I1[i][j]     ue(v)
  }    
  for(i＝0；i＜＝num_views_minus_1；i++){    
     num_non_anchor_ref_I0[i]     ue(v)
     for(j＝0；j＜num_non_anchor_refs_I0[i]；j++)    
        non_anchor_ref_I0[i][j]     ue(v)
     num_non_anchor_refs_I1[i]     ue(v)
     for(j＝0；j＜num_non_anchor_refs_I1[i]；j++)    
        non_anchor_ref_I1[i][j]     ue(v)
  }    
}    
因此，基于MPEG-4AVC标准的多视图视频编码的当前提议(此后称为“MPEG-4AVC的当前MVC提议”)包括序列参数集合(SPS)中的高级语法， 用来指示序列中编码视图的数目。另外，MPEG-4AVC的当前MVC提议包括用于视图的视图间参考信息。MPEG-4AVC的当前MVC提议还通过分别发送参考视图标识符，区分对锚(anchor)与非锚画面的依赖性。这在表2中显示，其包括哪些视图用作特定视图的参考的信息。我们认识到并且提出可以使用所述信息(编码视图的数目)来在多视图编码视频的情况下检测画面丢失。
在MPEG-4AVC标准的当前多视图视频编码(MVC)扩展中，要求对所有视图首先编码属于特定时刻的画面。转到图2，具有8个视图的多视图视频编码***的时间优先编码结构由附图标记200概括指示。在图2的例子中，相邻地编码来自不同视图的相同时刻处的所有画面。由此，首先编码时刻T0处的所有画面(S0-S7)，随后是时刻T8处的画面(S0-S7)，等等。这称为时间优先编码。及时隐藏丢失画面对于其他视图的客观品质至关重要。 
知道了这一点(时间优先编码)并且从序列参数集合(SPS)知道了序列中编码视图的数目，我们可以检测画面丢失。另外，在所示实施例中，我们假设所有视图具有相同的帧速率。但是，应该理解本原理不仅限于涉及具有相同帧速率的视频的应用，并且由此也可以容易地应用于涉及具有不同帧速率的视频的应用，与此同时保持本原理的精神。帧速率信息存在于序列参数集合中存在的视频可用性信息(VUI)参数中。因为这些参数是可选的，所以它们可以存在也可以不存在。在它们存在的情况下，对于具有不同帧速率的视图，需要以信号通知分离的序列参数集合。一旦解码器了解到不同帧速率的视图，其就可以调用错误检测方法或者简单地不顾错误检测方法的结果。另外，解码器可以选择隐藏画面，但是不使用画面用于显示目的。 
如下为所述检测算法的实施例。从序列参数集合，我们知道了被编码的视图的数目(num_views_minus_1)。我们还知道首先编码特定时间处的所有画面(时间优先编码)。由此，对于每个时刻，我们可以首先缓存来自每个视图的所有画面(例如时间T0)。我们保持为所述时刻到达的画面的数目的计数(N)、以及画面的视图标识符(view_id)。因为我们从序列参数集合语法知道了编码视图的数目，我们比较这些值来确定是否有任何丢失。如果N小于在SPS中指示的值，则我们知道存在丢失。另外，因为我们记录了已经到达的view_id，所以我们可以确定哪些view_id缺失。 
另外，如果我们假设MPEG-4AVC标准兼容视图为被编码的第一视图， 则我们知道在两个MPEG-4AVC标准兼容NAL单元之间，预计有num_views_minus_1个视图。所述信息也可以用来检测画面丢失。与以上实施例类似，然后我们可以确定缺失的(多个)view_id。 
在另一实施例中，我们仅需要在比特流开始时或者在编码顺序改变之后执行缓存一次。一旦在第一缓存时段期间我们通过查看view_id顺序而确定了编码顺序，对于随后的时刻，我们仅需要检查到达的画面是否具有预期的view_id。如果确定其不具有预期的view_id，则我们知道属于预期view_id的画面丢失了，并且由此需要在解码其他画面之前被隐藏。 
转到图3，对于丢失画面使用错误隐藏的、解码对应于视频序列的视频数据的示范性方法由附图标记300概括指示。 
方法300包括开始块305，其将控制传递给功能块310。功能块310分析序列参数集合(SPS)、画面参数集合(PPS)、视图参数集合(VPS)、网络抽象层(NAL)单元首部、和/或任何补充增强信息(SEI)消息，并且将控制传递给功能块315。功能块315设置变量NumViews等于num_views_minus1+1，设置变量PrevPOC等于零，设置变量RecvPic等于零，并且将控制传递给判决块320。判决块320确定是否达到了视频序列的结尾。如果是，则将控制传递给结束块399。否则，将控制传递给功能块325。 
功能块325读取下面画面的画面顺序计数(POC)，增加变量RecvPic，并且将控制传递给判决块330。判决块330确定变量CurrPOC是否等于变量PrevPOC。如果是，则将控制传递给功能块335。否则，将控制传递给功能块340。 
功能块335缓存当前画面，并且将控制返回给功能块325。 
功能块340缓存当前画面，设置变量PrevPOC等于变量CurrPOC，并且将控制传递给判决块345。判决块345确定变量RecvPic是否等于变量NumViews。如果是，则将控制传递给判决块355。否则，将控制传递给功能块350。 
判决块355确定变量RecvPic是否等于零。如果是，则将控制传递给功能块360。否则，将控制传递给功能块370。 
功能块360分析下一个画面，并且将控制传递给功能块365。功能块365解码当前画面，并且将控制返回给判决块355。 
功能块350检查并且存储缺失view_id，并且将控制传递给判决块355。 
功能块370隐藏对应于缺失view_id的画面，并且将控制返回给判决块320。 
转到图4，对于丢失画面使用错误隐藏的、解码对应于视频序列的视频数据的另一示范性方法由附图标记400概括指示。 
方法400包括开始块405，其将控制传递给功能块410。功能块410分析序列参数集合(SPS)、画面参数集合(PPS)、视图参数集合(VPS)、网络抽象层(NAL)单元首部、和/或任何补充增强信息(SEI)消息，并且将控制传递给功能块415。功能块415设置变量NumViews等于num_views_minus1+1，设置变量PrevPOC等于零，设置变量RecvPic等于零，设置变量ViewCodingOrder等于零，并且将控制传递给判决块420。判决块420确定是否达到了视频序列的结尾。如果是，则控制传递给结束块499。否则，将控制传递给功能块425。 
功能块425读取下面画面的画面顺序计数(POC)，增加变量RecvPic，并且将控制传递给判决块430。判决块430确定变量CurrPOC是否等于变量PrevPOC。如果是，则将控制传递给判决块435。否则，将控制传递给功能块450。 
判决块435确定变量ViewCodingOrder是否等于一。如果是，则将控制传递给判决块440。否则，将控制传递给功能块485。 
判决块440确定是否需要隐藏。如果是，则将控制传递给功能块445。否则，将控制传递给功能块490。 
功能块445隐藏缺失view_id的画面，并且将控制返回给判决块420。 
功能块450缓存当前画面，设置变量PrevPoc等于变量CurrPOC，并且将控制传递给判决块455。判决块455确定变量RecvPic是否等于变量NumViews。如果是，则将控制传递给功能块460。否则，将控制传递给功能块480。 
功能块460存储视图编码顺序，设置ViewCodingOrder等于一，并且将控制传递给判决块465。判决块465确定RecvPic是否等于零。如果是，则将控制传递给功能块470。否则，将控制传递给功能块445。 
功能块470分析下一个画面，并且将控制传递给功能块475。功能块475解码当前画面，并且将控制返回给判决块465。 
功能块485缓存当前画面，并且将控制返回给功能块425。 
功能块480检查并且存储缺失view_id，并且将控制传递给判决块465。 
功能块490解码当前画面，并且将控制返回给判决块420。 
现在将描述本发明的诸多伴随的优点/特征中的某些优点/特征，其中某些已经在上面提到。例如，一项优点/特征为一种装置，包括解码器，用来解码对应于来自比特流的多视图视频内容的至少一个视图的画面。所述画面表示视频序列的至少一部分。所述画面中的至少一些画面对应于视频序列中的不同时刻。解码器利用现有的语法元素，确定是否丢失了对应于所述不同时刻中一个特定时刻的任何画面。现有的语法元素用来指示包括所述至少一个视图的比特流中的编码视图的数目。 
另一项优点/特征为具有上述解码器的装置，其中所述现有的语法元素为多视图视频编码语法元素。 
另一项优点/特征为具有上述解码器的装置，其中所述现有的语法元素为多视图编码语法元素，其中所述多视图视频编码语法元素对应于国际标准化组织/国际电工委员会运动画面专家组-4部分10高级视频编码标准/国际电信联盟、电信部分H.264建议的扩展。 
另一项优点/特征为具有上述解码器的装置，其中所述现有的语法元素存在于高级上。 
另外，另一项优点/特征为具有上述解码器的装置，其中所述高级对应于以下中的至少一个：片首部级、序列参数集合级、画面参数集合级、视图参数集合级、网络抽象层单元首部级、以及对应于补充增强信息消息的级。 
另外，另一项优点/特征为具有上述解码器的装置，其中缓存对应于不同时刻中一个特定时刻的任何画面，并且所述解码器保持在所述不同时刻中一个特定时刻到达的画面的计数。 
另外，另一项优点/特征为具有上述解码器的装置，其中缓存对应于不同时刻中一个特定时刻的任何画面，并且所述解码器保持在所述不同时刻中一个特定时刻到达的画面的计数，其中所述解码器比较所述计数的值与所述现有的语法元素的值。 
另外，另一项优点/特征为具有上述解码器的装置，所述解码器比较所述计数的值与所述现有的语法元素的值，其中当对所述画面中的一个特定画面的计数的值不等于所述现有的语法元素的值时，指定所述一个特定画面为丢失。 
另外，另一项优点/特征为具有上述解码器的装置，其中当对所述画面中的一个特定画面的计数的值不等于所述现有的语法元素的值时，指定所述一个特定画面为丢失，其中所述解码器通过从对应于比特流的、已经到达的视图标识符的集合中查找缺失视图标识符，来确定被指定为丢失的所述画面中的一个特定画面的视图标识符。 
另外，另一项优点/特征为具有上述解码器的装置，其中为了解码来自比特流的画面，所述解码器仅缓存画面一次。 
另外，另一项优点/特征为具有上述解码器的装置，为了解码来自比特流的画面，所述解码器仅缓存画面一次，其中所述解码器仅在比特流开始处缓存画面一次。 
另外，另一项优点/特征为具有上述解码器的装置，为了解码来自比特流的画面，所述解码器仅缓存画面一次，其中所述解码器仅在编码顺序改变之后缓存画面一次。 
另外，另一项优点/特征为具有上述解码器的装置，为了解码来自比特流的画面，所述解码器仅缓存画面一次，其中所述解码器在所述缓存之后，保持画面的视图标识符的顺序。 
另外，另一项优点/特征为具有上述解码器的装置，所述解码器在所述缓存之后，保持画面的视图标识符的顺序，其中所述解码器利用为所述不同时刻随后的时刻保持的所述顺序，来确定是否丢失了对应于所述不同时刻随后的时刻的任何画面，所述不同时刻随后的时刻在所述不同时刻中一个特定时刻之后。 
另外，另一项优点/特征为具有上述解码器的装置，其中所述至少一个视图包括至少两个视图，并且当来自所述至少一个视图中的第一编码视图以及所述两个视图为相对于国际标准化组织/国际电工委员会运动画面专家组-4部分10高级视频编码标准/国际电信联盟、电信部分H.264建议的兼容视图时，所述解码器利用所述两个视图之间的视图的数目来确定是否丢失了任何画面，第一编码视图为以下中的一个：所述两个视图中的一个视图，或者另一视图。 
根据此处的教导，本领域普通技术人员可以容易地确定本原理的这些以及其他特征和优点。应该理解，本原理的教导可以以各种形式的硬件、软件、固件、专用处理器、或者其组合来实现。 
最优选地，本原理的教导被实现为硬件和软件的组合。另外，软件可以实现为以有形方式实现在程序存储单元上的应用程序。该应用程序可以被上载到包含任何适当体系结构的机器并且由其执行。优选地，所述机器被实现在计算机平台之上，其具有诸如一个或者多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)、以及输入/输出(“I/O”)接口等硬件。计算机平台还可以包括操作***和微指令代码。此处描述的各种处理和功能可以为微指令代码的一部分或者为应用程序的一部分，或者其任意组合，其可以由CPU执行。另外，例如附加的数据存储单元以及打印单元的各种其他外设单元可以连接到计算机平台。 
还应该理解，因为在附图中所示的某些***构成组件与方法优选地以软件实现，所以***组件或者处理功能块之间的实际连接可能依赖于本原理的编排方式而不同。给出此处的教导，相关领域的普通技术人员将能够设想本原理的这些以及类似的实现或者配置。 
虽然此处参照附图描述了说明性实施例，但是应该理解本原理不限于这些确切的实施例，并且相关领域的普通技术人员在不脱离本原理的范围与精神的前提下，可以在其中进行各种变化和修改。所有这些变化和修改都意在包含在权利要求书所提出的本原理的范围之内。 

Claims (28)

1.一种解码多视图视频内容的装置，包括：
解码器(100)，用来解码对应于来自比特流的多视图视频内容的至少一个视图的画面，所述画面表示视频序列的至少一部分，所述画面中的至少一些画面对应于视频序列中的不同时刻，编码的视频序列具有对所有视图首先编码对应于特定时刻的画面的时间优先编码结构，其中所述解码器通过对于每个时刻缓存来自每个视图的所有画面、并且比较与随后接收的每个相应视图的画面相关联的多视图视频编码语法元素以便验证所接收的每个视图的画面的连续性，确定是否丢失了对应于所述不同时刻中一个特定时刻的任何画面。
2.如权利要求1所述的装置，其中所述多视图视频编码语法元素对应于国际标准化组织/国际电工委员会运动画面专家组-4部分10高级视频编码标准/国际电信联盟、电信部分H.264建议的扩展。
3.如权利要求1所述的装置，其中所述多视图视频编码语法元素是存在于比特流中的高级语法。
4.如权利要求3所述的装置，其中所述高级语法对应于以下中的至少一个：片首部级、序列参数集合级、画面参数集合级、视图参数集合级、网络抽象层单元首部级、以及对应于补充增强信息消息的级。
5.如权利要求1所述的装置，其中缓存所述对应于不同时刻中一个特定时刻的所有画面，并且所述解码器(100)保持在所述不同时刻中一个特定时刻到达的画面的计数。
6.如权利要求5所述的装置，其中所述解码器(100)比较所述计数的值与所述多视图视频编码语法元素的值。
7.如权利要求6所述的装置，其中当对于画面中一个特定画面的计数的值不等于所述多视图视频编码语法元素的值时，指定所述一个特定画面为丢失。
8.如权利要求7所述的装置，其中所述解码器(100)通过从对应于比特流的、已经到达的视图标识符的集合中查找缺失视图标识符，来确定被指定为丢失的所述画面中一个特定画面的视图标识符。
9.如权利要求1所述的装置，其中为了解码来自比特流的画面，所述解码器(100)仅缓存画面一次。
10.如权利要求9所述的装置，其中所述解码器(100)仅在比特流开始处缓存画面一次。
11.如权利要求9所述的装置，其中所述解码器(100)仅在编码顺序改变之后缓存画面一次。
12.如权利要求9所述的装置，其中所述解码器(100)在所述缓存之后保持画面的视图标识符的顺序。
13.如权利要求12所述的装置，其中所述解码器(100)利用为所述不同时刻随后的时刻保持的顺序，来确定是否丢失了对应于所述不同时刻随后的时刻的任何画面，所述不同时刻随后的时刻在所述不同时刻中一个特定时刻之后。
14.如权利要求1所述的装置，其中所述至少一个视图包括至少两个视图，并且当来自所述至少一个视图中的第一编码视图以及所述两个视图为相对于国际标准化组织/国际电工委员会运动画面专家组-4部分10高级视频编码标准/国际电信联盟、电信部分H.264建议的兼容视图时，所述解码器(100)利用所述两个视图之间的视图的数目来确定是否丢失了任何画面，所述第一编码视图为以下中的一个：所述两个视图中的一个视图，或者另一视图。
15.一种解码多视图视频内容的方法，包括：
解码对应于来自比特流的多视图视频内容的至少一个视图的画面，所述画面表示视频序列的至少一部分，所述画面中的至少一些画面对应于视频序列中的不同时刻，编码的视频序列具有对所有视图首先编码对应于特定时刻的画面的时间优先编码结构，其中所述解码步骤包括：通过对于每个时刻缓存来自每个视图的所有画面、并且比较与随后接收的每个相应视图的画面相关联的多视图视频编码语法元素以便验证所接收的每个视图的画面的连续性，确定是否丢失了对应于所述不同时刻中一个特定时刻的任何画面。
16.如权利要求15所述的方法，其中所述多视图视频编码语法元素对应于国际标准化组织/国际电工委员会运动画面专家组-4部分10高级视频编码标准/国际电信联盟、电信部分H.264建议的扩展(310)。
17.如权利要求15所述的方法，其中所述多视图视频编码语法元素是存在于比特流中的高级语法(310)。
18.如权利要求17所述的方法，其中所述高级语法对应于以下中的至少一个：片首部级、序列参数集合级、画面参数集合级、视图参数集合级、网络抽象层单元首部级、以及对应于补充增强信息消息的级(310)。
19.如权利要求15所述的方法，其中缓存对应于所述不同时刻中一个特定时刻的所有画面，并且所述解码步骤包括：保持在所述不同时刻中一个特定时刻到达的画面的计数(325，335)。
20.如权利要求19所述的方法，其中所述解码步骤包括：比较所述计数的值与所述多视图视频编码语法元素的值(315，345)。
21.如权利要求20所述的方法，其中当对于所述画面中一个特定画面的计数的值不等于所述多视图视频编码语法元素的值时，指定所述一个特定画面为丢失(345)。
22.如权利要求21所述的方法，其中所述解码步骤包括：通过从对应于比特流的、已经到达的视图标识符的集合中查找缺失视图标识符，来确定被指定为丢失的画面中的一个特定画面的视图标识符(350)。
23.如权利要求15所述的方法，其中为了解码来自比特流的画面，所述解码步骤包括：仅缓存画面一次(450，485，460，435)。
24.如权利要求23所述的方法，其中所述解码步骤包括：仅在比特流开始处缓存画面一次(450，485，460，435)。
25.如权利要求23所述的方法，其中所述解码步骤包括：仅在编码顺序改变之后缓存画面一次(450，485，460，435)。
26.如权利要求23所述的方法，其中所述解码步骤包括：在所述缓存之后，保持画面的视图标识符的顺序(460)。
27.如权利要求26所述的方法，其中所述解码步骤包括：利用为所述不同时刻随后的时刻保持的顺序，来确定是否丢失了对应于所述不同时刻随后的时刻的任何画面，所述不同时刻随后的时刻在所述不同时刻中一个特定时刻之后(445，440)。
28.如权利要求15所述的方法，其中所述至少一个视图包括至少两个视图，并且当来自所述至少一个视图中的第一编码视图以及所述两个视图为相对于国际标准化组织/国际电工委员会运动画面专家组-4部分10高级视频编码标准/国际电信联盟、电信部分H.264建议的兼容视图时，所述解码步骤利用所述两个视图之间的视图的数目来确定是否丢失了任何画面，所述第一编码视图为以下中的一个：所述两个视图中的一个视图，或者另一视图(415)。
CN2008800017556A 2007-01-04 2008-01-04 一种解码多视图视频内容的装置和方法 Active CN101578873B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US88345407P 2007-01-04 2007-01-04
US60/883,454 2007-01-04
PCT/US2008/000115 WO2008085887A2 (en) 2007-01-04 2008-01-04 Method and apparatus for video error concealment in multi-view coded video using high level syntax

Publications (2)

Publication Number Publication Date
CN101578873A CN101578873A (zh) 2009-11-11
CN101578873B true CN101578873B (zh) 2012-07-25

Family

ID=39609262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800017556A Active CN101578873B (zh) 2007-01-04 2008-01-04 一种解码多视图视频内容的装置和方法

Country Status (8)

Country Link
US (1) US9282327B2 (zh)
EP (1) EP2116064B1 (zh)
JP (1) JP5273816B2 (zh)
KR (1) KR101420894B1 (zh)
CN (1) CN101578873B (zh)
BR (1) BRPI0806829A2 (zh)
ES (1) ES2389745T3 (zh)
WO (1) WO2008085887A2 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10154276B2 (en) 2011-11-30 2018-12-11 Qualcomm Incorporated Nested SEI messages for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
US9936196B2 (en) 2012-10-30 2018-04-03 Qualcomm Incorporated Target output layers in video coding
JP6472441B2 (ja) * 2013-10-11 2019-02-20 シャープ株式会社 ビデオを復号するための方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1722830A (zh) * 2004-07-13 2006-01-18 皇家飞利浦电子股份有限公司 一种编码数据的解码方法和装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3332575B2 (ja) * 1994-05-23 2002-10-07 三洋電機株式会社 立体動画像再生装置
KR100397511B1 (ko) 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
JP3992533B2 (ja) 2002-04-25 2007-10-17 シャープ株式会社 立体視を可能とする立体動画像用のデータ復号装置
JP2006521722A (ja) * 2003-01-28 2006-09-21 トムソン ライセンシング ロバスト・モードでのスタガキャスト
KR100679740B1 (ko) 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
JP4261508B2 (ja) * 2005-04-11 2009-04-30 株式会社東芝 動画像復号装置
BRPI0616745A2 (pt) * 2005-10-19 2011-06-28 Thomson Licensing codificação / decodificação de vìdeo com múltiplas visualizações usando codificação / decodificação de vìdeo escalonável
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
KR20070083168A (ko) * 2006-02-20 2007-08-23 광운대학교 산학협력단 마크로 블록 기반 가중치 예측 기반 멀티 뷰 비디오 부호화및 복호화 장치 및 그 방법
KR100934674B1 (ko) * 2006-03-30 2009-12-31 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
JP2007322302A (ja) 2006-06-02 2007-12-13 Takaoka Electric Mfg Co Ltd 防水型光ファイバ電流センサ
WO2008047258A2 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for implementing low-complexity multi-view video coding
CN101569197B (zh) * 2006-12-21 2013-07-10 汤姆森许可贸易公司 针对多视点视频编码和解码使用高级语法进行改进信号通知的方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1722830A (zh) * 2004-07-13 2006-01-18 皇家飞利浦电子股份有限公司 一种编码数据的解码方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHENYING ET AL.Frame Loss Error Concealment for SVC.<<>.2005,1-17. *
CHENYING ET AL.Frame Loss Error Concealment for SVC.<<Joint Video Team (JVT) of ISO/IEC MPEG&ITU-T VCEG(ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6)>>.2005,1-17.
Purvin Pandit ET AL.High Level Syntax changes for MVC.<<Joint Video Team (JVT) of ISO/IEC MPEG&ITU-T VCEG(ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6)>>.2007, *

Also Published As

Publication number Publication date
JP2010516100A (ja) 2010-05-13
WO2008085887A3 (en) 2009-03-26
CN101578873A (zh) 2009-11-11
KR20090099545A (ko) 2009-09-22
BRPI0806829A2 (pt) 2014-06-03
KR101420894B1 (ko) 2014-07-17
WO2008085887A2 (en) 2008-07-17
EP2116064A2 (en) 2009-11-11
US9282327B2 (en) 2016-03-08
JP5273816B2 (ja) 2013-08-28
EP2116064B1 (en) 2012-08-15
ES2389745T3 (es) 2012-10-31
US20100027681A1 (en) 2010-02-04

Similar Documents

Publication Publication Date Title
CN105532002B (zh) 网络装置和差错处理
CN101578876A (zh) 在多视点编码视频中使用高级语法参考视点的视频差错隐藏方法和装置
TWI657695B (zh) 使用多視界視頻編碼及解碼之高階語法之改良式發信的方法
JP2021048591A5 (zh)
CN101675667A (zh) 用于多视图编码的视频中的视频纠错的方法和装置
CN101485208A (zh) 多视图视频的编码和解码方法及装置
CN101523920B (zh) 在视频操作期间使用网络抽象层单元以信号方式指示即时解码刷新的方法
CN103797797A (zh) 参考画面信号通知
CN103843341A (zh) 用于管理视频解码过程中的画面的解码器及其方法
CN103650502A (zh) 用于参考画面管理的编码器、解码器及其方法
CN101529913A (zh) 用于多视角视频编码的图像标识
CN101578873B (zh) 一种解码多视图视频内容的装置和方法
EP3611923B1 (en) Method for processing video with temporal layers

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: French Boulogne - Billancourt

Patentee before: THOMSON LICENSING

CP02 Change in the address of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20190131

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190131

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right