CN101491079A - 用在多视角视频编码中的方法和装置 - Google Patents

用在多视角视频编码中的方法和装置 Download PDF

Info

Publication number
CN101491079A
CN101491079A CNA200780026446XA CN200780026446A CN101491079A CN 101491079 A CN101491079 A CN 101491079A CN A200780026446X A CNA200780026446X A CN A200780026446XA CN 200780026446 A CN200780026446 A CN 200780026446A CN 101491079 A CN101491079 A CN 101491079A
Authority
CN
China
Prior art keywords
anchor picture
picture
visual angles
anchor
dependency structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA200780026446XA
Other languages
English (en)
Inventor
帕文·拜哈斯·潘迪特
苏晔平
尹鹏
克里斯蒂娜·古米拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101491079A publication Critical patent/CN101491079A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

提供了用在多视角视频编码中的方法和装置。一种装置包括编码器(100)，用于对与多视角视频内容相对应的至少两个视角的锚定图像和非锚定图像进行编码，其中在至少两个视角的至少一个中，按显示顺序部署在前一锚定图像和下一锚定图像之间的一组非锚定图像中的每个非锚定图像的依赖性结构与按显示顺序的前一锚定图像或下一锚定图像相同。

Description

用在多视角视频编码中的方法和装置
相关申请的交叉引用
本申请要求2006年7月11日提交的美国临时申请No.60/830,206的优先权，该申请通过引用整体结合于此。
技术领域
本发明的原理一般地涉及视频编码和解码，更具体而言，涉及用在多视角视频编码(MVC)中的方法和装置。
背景技术
在当前的遵从国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-4(MPEG-4)第10部分高级视频编码(AVC)标准/国际电信联盟电信部门(ITU-T)H.264推荐(下文称作“MPEG-4AVC标准”)的多视角视频编码(MVC)的实现方式中，不能标识特定视角并通知相机参数。出于若干原因，需要该视角信息。视角可缩放性、视角随机访问、并行处理、视角生成和视角合成都是利用视角id信息的多视角视频编码需求。而且，这些需求中的若干需求还利用了当前不以标准化方式传递的相机参数。
在现有技术的第一方法中，提出了一种能够在多视角压缩比特流中进行高效随机访问的方法。在所提出的方法中，定义了新的V图像类型和新的视角依赖性(View Dependency)SEI消息。在所提出的V图像类型中所需的特征是V图像应当不具有对同一相机中其他图像的时间依赖性，并且只能根据同一时刻其他相机中的图像来预测。所提出的视角依赖性SEI消息将准确描述V图像以及在前和在后的图像序列可能依赖于哪些视角。下面是所提出的改变的细节。
对于V图像语法和语义，与MPEG-4 AVC标准有关的特定语法表被扩展以包括对应于V图像的网络抽象层(NAL)单元类型14。另外，V图像类型被定义为具有以下语义：
V图像：一种已编码图像，其中所有片断仅参考具有相同时间索引的片断(即，仅参考其他视角中的片断，而不参考当前视角中的片断)。当V图像被输出或显示时，它还使得解码过程对来自同一视角的所有图像进行标记，这些图像不是IDR图像或V图像，并且在输出顺序上领先于要被标记为“不用作参考”的V图像。每个V图像应当与在同一NAL中发生的视角依赖性SEI消息相关联。
针对视角依赖性补充增强信息消息语法和语义，视角依赖性补充增强信息消息利用以下语法来定义：
view_dependency(payloadSize){
    num_seq_reference_views ue(v)
    seq_reference_view_0 ue(v)
    seq_reference_view_1 ue(v)
    …
    seq_reference_view_Nue(v)
    num_pic_reference_views ue(v)
    pic_reference_view_0ue(v)
    pic_reference_view_1ue(v)
    …
    pic_reference_view_N ue(v)
}
其中num_seq_reference_views/num_pic_reference_views表示可以用作当前序列/图像的参考的潜在图像的数目，并且seq_reference_view_i/pic_reference_view_i表示第i个参考视角的视角数。
与视角依赖性补充增强信息消息相关联的图像应当仅参考由pic_reference_view_i所描述的指定视角。类似地，按输出顺序在该视角中直到该视角中的下一视角依赖性补充增强信息消息为止的所有后续图像应当仅参考由seq_reference_view_i所描述的指定视角。
视角依赖性补充增强信息消息应当与每个瞬时解码刷新(IDR)图像和V图像相关联。
第一现有技术的方法具有应对基本视角(base view)可能随时间改变的情况的优点，但是它需要在判决丢弃哪些图像之前对图像进行额外的缓冲。而且，第一现有技术的方法具有包括递归过程来确定依赖性的缺点。
发明内容
现有技术的这些和其他不足和缺点由本发明的原理加以解决，本发明的原理涉及一种用在多视角视频编码(MVC)中的方法和装置。
根据本发明的原理的一方面，提供了一种装置。该装置包括编码器，用于对与多视角视频内容相对应的至少两个视角的锚定图像和非锚定图像进行编码。在至少两个视角的至少一个中按显示顺序部署在前一锚定图像和下一锚定图像之间的一组非锚定图像中的每个非锚定图像的依赖性结构与按显示顺序的前一锚定图像或下一锚定图像相同。
根据本发明的原理的另一方面，提供了一种方法。该方法包括对与多视角视频内容相对应的至少两个视角的锚定图像和非锚定图像进行编码。在至少两个视角的至少一个中按显示顺序部署在前一锚定图像和下一锚定图像之间的一组非锚定图像中的每个非锚定图像的依赖性结构与按显示顺序的前一锚定图像或下一锚定图像相同。
根据本发明的原理的又一方面，提供了一种装置。该装置包括解码器，用于对与多视角视频内容相对应的至少两个视角的锚定图像和非锚定图像进行解码。在至少两个视角的至少一个中按显示顺序部署在前一锚定图像和下一锚定图像之间的一组非锚定图像中的每个非锚定图像的依赖性结构与按显示顺序的前一锚定图像或下一锚定图像相同。
根据本发明的原理的又一方面，提供了一种方法。该方法包括对与多视角视频内容相对应的至少两个视角的锚定图像和非锚定图像进行解码。在至少两个视角的至少一个中，按显示顺序部署在前一锚定图像和下一锚定图像之间的一组非锚定图像中的每个非锚定图像的依赖性结构与按显示顺序的前一锚定图像或下一锚定图像相同。
根据本发明的原理的又一方面，提供了一种装置。该装置包括解码器，用于对与来自比特流的多视角视频内容相对应的至少两个视角进行解码。与至少两个视角中的一个或多个相对应的至少两个图像组具有不同的依赖性结构。该解码器基于至少一个依赖性表来选择需要被解码的至少两个视角中的图像以对至少两个视角中的至少一个进行随机访问。
根据本发明的原理的又一方面，提供了一种方法。该方法包括对与来自比特流的多视角视频内容相对应的至少两个视角进行解码。与至少两个视角中的一个或多个相对应的至少两个图像组具有不同的依赖性结构。该解码步骤基于至少一个依赖性表来选择需要被解码的至少两个视角中的图像以对至少两个视角中的至少一个进行随机访问。
本发明的原理的这些和其他方面、特征和优点将从下面结合附图阅读的对示例性实施例的详细描述中变清楚。
附图说明
根据以下的示例性附图可以更好地理解本发明的原理，在附图中：
图1是根据本发明的原理的实施例、本发明的原理可以应用到的示例性多视角视频编码(MVC)编码器的框图；
图2是根据本发明的原理的实施例、本发明的原理可以应用到的示例性多视角视频编码(MVC)解码器的框图；
图3是根据本发明的原理的实施例、利用分级B图像的基于MPEG-4AVC标准的间隔视角时间预测结构的视图；
图4是根据本发明的原理的实施例、用于对多视角视频内容的多个视角进行编码的示例性方法的流程图；
图5是根据本发明的原理的实施例、用于对多视角视频内容的多个视角进行解码的示例性方法的流程图；
图6A是图示根据本发明的原理的实施例、本发明的原理可以应用到的与后一锚定时隙(anchor slot)具有相同依赖性的非锚定帧中的示例性依赖性改变的视图；
图6B是图示根据本发明的原理的实施例、本发明的原理可以应用到的与前一锚定时隙具有相同依赖性的非锚定帧中的示例性依赖性改变的视图；
图7是根据本发明的原理的实施例、用于利用随机访问点对多视角视频内容进行解码的示例性方法的流程图；
图8是根据本发明的原理的实施例、用于利用随机访问点对多视角视频内容进行解码的示例性方法的流程图；以及
图9是根据本发明的原理的实施例、用于对多视角视频内容进行编码的示例性方法的流程图。
具·体实施方式
本发明的原理涉及一种用在多视角视频编码(MVC)中的方法和装置。
这里的描述说明了本发明的原理。因而，将会意识到，本领域技术人员能够设计各种布置，这些布置尽管在这里没有明确描述或示出，但是也能实现本发明的原理并且被包括在其精神和范围内。
这里所记载的所有示例和条件性语言都是为了教育目的，以帮助阅读者理解作为本发明的发明人对现有技术的贡献的本发明的原理和概念，并且被解释为不以任何方式限制这里具体记载的示例和条件。
而且，这里记载本发明的原理的各方面和实施例以及其特定示例的所有陈述都是为了包含其结构和功能等同物两者。另外，希望这些等同物既包括当前已知的等同物，又包括在未来开发的等同物，即，开发来执行相同功能(无论结构如何)的任何元素。
因而，例如，本领域技术人员将意识到，这里给出的框图表示实现本发明的原理的说明性电路的概念图。类似地，将会意识到，任何的流程表、流程图、状态转变图、伪代码等等都表示可以实质表示在计算机可读介质中并因此被计算机或处理器执行的各种过程，无论这种计算机或处理器是否明确示出。
附图中所示的各种元素的功能可以通过使用专用硬件以及能够与适当软件相关联地运行元件的硬件来提供。当由处理器提供时，这些功能可以由单个专用处理器提供，由单个共享处理器提供，或者由多个独立处理器提供，其中这多个处理器中的一些可以被共享。而且，术语“处理器”或“控制器”的明确使用不应当被解释为专有地指代能够运行软件的硬件，而是可以隐含地包括但不限于数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机访问存储器(RAM)和非易失性存储装置。
也可包括其他硬件(常规的和/或定制的)。类似地，附图中所示的任何开关都只是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互或者甚至手工地来执行，实施者可选择的特定技术可以从上下文中得到更具体的理解。
在其权利要求中，表达为用于执行特定功能的装置的任何元素都是为了包含执行该功能的任何方式，例如包括a)执行该功能的电路元素的组合或者b)任何形式的软件(包括固件、微代码等等)与用于执行该软件以实现功能的适当电路的组合。这些权利要求中所定义的本发明的原理体现了这样一个事实，即所记载的各种装置所提供的功能被组合并以权利要求所引用的方式被结合在一起。因而，可以认为可提供这些功能的任何装置都等同于这里所示出的内容。
说明书中提到本发明的原理的“一个实施例”或“实施例”是指结合实施例所描述的特定特征、结构、特性等等被包括在本发明的原理的至少一个实施例中。因而，在说明书中各处出现的术语“在一个实施例中”或“在实施例中”并不一定指的是同一实施例。
这里所用的“高层语法”是指在比特流中存在的语法，其在分级结构中位于宏块层之上。例如，这里所用的高层语法可以指(但不限于)在片断头部级别、在补充增强信息(SEI)级别、在图像参数集级别、在序列参数集级别和在NAL单元头部级别的语法。
另外，这里所用的“锚定时隙”是指这样一个时刻，在该时刻来自每个视角的图像被采样，并且来自每个视角的采样图像中的每一个是锚定图像。
转到图1，标号100总地指示一种示例性的多视角视频编码(MVC)编码器。编码器100包括组合器105，组合器105具有与变换器110的输入相连以进行信号传输的输出。变换器110的输出与量化器115的输入相连以进行信号传输。量化器115的输出与熵编码器120的输入和逆量化器125的输入相连以进行信号传输。逆量化器125的输出与逆变换器130的输入相连以进行信号传输。逆变换器130的输出与组合器135的第一非反相输入相连以进行信号传输。组合器135的输出与内预测器145的输入和解块滤波器150的输入相连以进行信号传输。解块滤波器150的输出与参考图像存储装置155(用于视角i)的输入相连以进行信号传输。参考图像存储装置155的输出与运动补偿器175的第一输入和运动估计器180的第一输入相连以进行信号传输。运动估计器180的输出与运动补偿器175的第二输入相连以进行信号传输。
参考图像存储装置160(用于其他视角)与差异估计器170的第一输入和差异补偿器165的第一输入相连以进行信号传输。差异估计器170的输出与差异补偿器165的第二输入相连以进行信号传输。
熵编码器120的输出可用作编码器100的输出。组合器105的非反相输入可用作编码器100的输入，并且与差异估计器170的第二输入和运动估计器180的第二输入相连以进行信号传输。开关185的输出与组合器135的第二非反相输入和组合器105的反相输入相连以进行信号传输。开关185包括与运动补偿器175的输出相连以进行信号传输的第一输入、与差异补偿器165的输出相连以进行信号传输的第二输入、以及与内预测器145的输出相连以进行信号传输的第三输入。
转到图2，标号200总地指示一种示例性的多视角视频编码(MVC)解码器。解码器200包括熵解码器205，熵解码器205具有与逆量化器210的输入相连以进行信号传输的输出。逆量化器的输出与逆变换器215的输入相连以进行信号传输。逆变换器215的输出与组合器220的第一非反相输入相连以进行信号传输。组合器220的输出与解块滤波器225的输入和内预测器230的输入相连以进行信号传输。解块滤波器225的输出与参考图像存储装置240(用于视角i)的输入相连以进行信号传输。参考图像存储装置240的输出与运动补偿器235的第一输入相连以进行信号传输。
参考图像存储装置245(用于其他视角)与差异补偿器250的第一输入相连以进行信号传输。
熵解码器205的输入可用作对解码器200的输入，用于接收残留比特流。而且，开关255的控制输入也可用作对解码器200的输入，用于接收控制语法以控制哪一个输入被开关255选择。另外，运动补偿器235的第二输入可用作解码器200的输入，用于接收运动向量。另外，差异补偿器250的第二输入可用作对解码器200的输入，用于接收差异向量。
开关255的输出与组合器220的第二非反相输入相连以进行信号传输。开关255的第一输入与差异补偿器250的输出相连以进行信号传输。开关255的第二输入与运动补偿器235的输出相连以进行信号传输。开关255的第三输入与内预测器230的输出相连以进行信号传输。模式模块260的输出与开关255相连以进行信号传输，用于控制哪一个输入被开关255选择。解块滤波器225的输出可用作解码器的输出。
在本发明的原理的实施例中，提出了高层语法以用于多视角序列的高效处理。具体而言，提出了具有其自身的NAL单元类型和两个新的NAL单元类型以支持多视角片断的被称为视角参数集(VPS)的新参数集，其NAL单元类型在NA1头部中包括视角标识符(id)以标识片断属于哪一个视角。为了实现与遵从MPEG-4 AVC标准的解码器的后向兼容性和视角可缩放性，提出了维持一个遵从MPEG-4 AVC的视角，在这里被称为“遵从MPEG-4 AVC基本视角”。
这里所用的“高层语法”是指在比特流中存在的语法，其在分级结构中位于宏块层之上。例如，这里所用的高层语法可以指(但不限于)在片断头部级别、在补充增强信息(SEI)级别、在图像参数集级别和在序列参数集级别的语法。
在上述当前的多视角视频编码***的实现方式(其中没有提出标识特定视角并通知相机参数的机制)中，不同的视角被交织以形成单个序列，而不是将不同视角视作分离的视角。如上所述，由于该语法与MPEG-4AVC标准兼容，因此目前不可能标识给定片断属于哪一个视角。出于若干原因，需要该视角信息。视角可缩放性、视角随机访问、并行处理、视角生成和视角合成都是需要标识视角的多视角视频编码的需求。为了高效地支持视角随机访问和视角可缩放性，对于解码器来说很重要的是知道不同的图像是如何彼此依赖的，以便只有必要的图像被解码。对于视角合成来说需要相机参数。如果在解码环路中最终用到了视角合成，则需要指定通知相机参数的标准化方式。根据一个实施例，使用了视角参数集。
在一个实施例中，假定需要一个视角，该视角与MPEG-4 AVC标准完全后向兼容，以支持不兼容MVC但是兼容MPEG-4 AVC的解码器。在一个实施例中，假定存在可独立解码的视角以促进快速的视角随机访问。这些视角被称为“基本视角”。基本视角可以与MPEG-4 AVC标准兼容，也可以不与该标准兼容，但是兼容MPEG-4 AVC的视角总是基本视角。
转到图3，标号300总地指示一种利用分级B图像的基于MPEG-4AVC标准的间隔视角时间预测结构。在图3中，变量I表示内编码图像，变量P表示预测编码的图像，变量B表示双向预测编码的图像，变量T表示特定图像的位置，变量S表示特定图像所对应于的特定视角。
根据一个实施例，定义了以下术语。
“锚定图像”被定义为其解码不涉及在不同时刻采样的任何图像的图像。锚定图像通过将nal_ref_idc设置为3来通知。在图3中，位置T0、T8、...T96和T100中的所有图像都是锚定图像的示例。
“非锚定图像”被定义为不具有上述针对锚定图像指定的约束的图像。在图3中，图像B2、B3和B4是非锚定图像。
“基本视角”是不依赖于任何其他视角并且可以独立解码的视角。在图3中，视角S0是基本视角的示例。
另外，在一个实施例中，提出了被称为视角参数集的新参数集，其具有自身的NAL单元类型和两个新的NAL单元类型以支持多视角视频编码片断。还修改了片断头部语法以指示要使用的view_id和视角参数集。
MPEG-4 AVC标准包括以下两个参数集：(1)序列参数集(SPS)，其包括在整个序列上不会改变的信息；以及(2)图像参数集(PPS)，其包括对于每个图像不会改变的信息。
由于多视角视频编码具有特定于每个视角的额外信息，因此创建了分离的视角参数集(VPS)以发送该信息。确定不同视角之间的依赖性所需的所有信息都在视角参数集中指出。用于所提出的视角参数集的语法表如表1(视角参数集RBSP语法)所示。该视角参数集被包括在新的NAL单元类型中，例如包括在如表2(NAL单元类型编码)所示的类型14中。
根据本发明的描述，定义了以下术语：
view_parameter_set_id标识在片断头部中引用的视角参数集。view_parameter_set_id的值应当在0至255的范围内。
number_of_view_minus_1加1标识比特流中视角的总数。number_of_view_minus_1的值应当在0至255的范围内。
avc_compatible_view_id指示AVC兼容视角的view_id。avc_compatible_view_id的值应当在0至255的范围内。
is_base_view_flag[i]等于1表明视角i是基本视角并且可独立解码。is_base_view_flag[i]等于0表明视角i不是基本视角。对于AVC兼容视角i来说，is_base_view_flag[i]的值应当等于1。
dependency_update_flag等于1表明该视角的依赖性信息在VPS中被更新。dependency_update_flag等于0表明该视角的依赖性信息未被更新并且不应当改变。
anchor_picture_dependency_maps[i][j]等于1表明view_id等于j的锚定图像将依赖于view_id等于i的锚定图像。
non_anchor_picture_dependency_maps[i][j]等于1表明view_id等于j的非锚定图像将依赖于view_id等于i的非锚定图像。non_anchor_picture_dependency_maps[i][j]仅当anchor_picture_dependency_maps[i][j]等于1时存在。如果anchor_picture_dependency_maps[i][j]存在并且等于0，则non_anchor_picture_dependency_maps[i][j]应当被推断为等于0。
表1
 
view_parameter_set_rbsp(){ C 描述符
 view_parameter_set_id 0 ue(v)
 number_of_views_minus_1 0 ue(v)
 avc_compatible_view_id 0 ue(v)
 for(i＝0；i<＝number_of_views_minus_1；i++){
   is_base_view_flag[i] 0 u(1)
   dependency_update_flag 0 u(1)
   if(dependency_update_flag＝＝1){
     for(j＝0；j<＝number_of_views_minus_1；j++){
      anchor_picture_dependency_maps[i][j] 0 f(1)
     if(anchor_picture_dependency_maps[i][j]＝＝1)
       non_anchor_picture_dependency_maps[i][j] 0 f(1)
      }
    }
  }
  for(i＝0；i<＝number_of_views_minus_1；i++){
  camera_parameters_present_flag 0 u(1)
  if(camera_parameters_present_flag＝＝1){
    camera_parameters_1_1[i] 0 f(32)
    ＊＊＊
    camera_parameters_3_4[i] 0 f(32)
    }
  }
 }
表2
 
nal_unit_type NAL单元和RBSP语法结构的内容 C
0 未指定
1 非IDR图像的已编码片断 2，3，4
 
slice_layer_without_partitioning_rbsp()
2 已编码片断数据分区Aslice_data_partition_a_layer_rbsp() 2
3 已编码片断数据分区Bslice_data_partition_b_layer_rbsp() 3
4 已编码片断数据分区Cslice_data_partition_c_layer_rbsp() 4
5 IDR图像的已编码片断slice_layer_without_partitioning_rbsp() 2，3
6 补充增强信息(SEI)sei_rbsp()        5
7 序列参数集seq_parameter_set_rbsp() 0
8 图像参数集pic_parameter_set_rbsp() 1
9 访问单元定界符access_unit_delimiter_rbsp() 6
10 序列结束end_of_seq_rbsp() 7
11 流结束end_of_stream_bsp() 8
12 填充数据filler_data_rbsp() 9
13 序列参数集扩展seq_parameter_set_extension_rbsp() 10
14 视角参数集view_parameter_set_rbsp() 11
15..18 预留
19 在无分区情况下辅助编码图像的已编码片断 2，3，4
 
slice_layer_without_partitioning_rbsp()
20 可缩放扩展中非IDR图像的已编码片断slice_layer_in_scalable_extension_rbsp() 2，3，4
21 可缩放扩展中IDR图像的已编码片断slice_layer_in_scalable_extension_rbsp() 2，3
22 多视角扩展中非IDR图像的已编码片断slice_layer_in_mvc_extension_rbsp() 2，3，4
23 多视角扩展中IDR图像的已编码片断slice_layer_in_mvc_extension_rbsp() 2，3
24..31 未指定
视角参数集中的可选参数包括以下内容：
camera_parameters_present_flag等于1表明投影矩阵按如下方式被通知。
假定相机参数以3×4投影矩阵P的形式传达，则camea_parameters可用于将3D世界中的一点映射到2D图像坐标：I＝P*[Xw:Yw:Zw:1]，其中I是齐次坐标I＝[λ·Ix:λ·Iy:-λ]。
每个元素camera_parameers_*_*可以根据IEEE单精度浮点(32比特)标准来代表。
将该信息置于分离的参数集中的优点在于，仍然维持了与MPEG-4AVC标准兼容的序列参数集(SPS)和图像参数集(PPS)。如果将该信息置于序列参数集或图像参数集中，则对于每个视角，需要发送分离的序列参数集和图像参数集。这太受限了。另外，该信息并很适合序列参数集或图像参数集。另一个原因在于，由于提出了具有兼容MPEG-4 AVC标准的基本视角，因此将不得不对于该视角使用分离的(MPEG-4 AVC兼容的)序列参数集和图像参数集，而对于其他所有视角使用分离的序列参数集/图像参数集(具有视角特定信息)。
在序列的一开始将所有依赖性信息放置在单个视角参数集中是非常有益的。解码器一旦接收到视角参数集就可以利用所有依赖性信息创建一个表。这使得可以在接收到任何片断之前就知道为了对特定视角解码需要哪些视角。作为其结果，只需要解析片断头部来获得view_id并确定是否需要该视角来对用户所指示的目标视角解码。因而，不需要缓冲任何帧或进行等待直到某一点来确定为了对特定视角解码需要哪些帧。
依赖性信息和关于它是否是基本视角的信息在视角参数集中指出。甚至MPEG-4 AVC兼容的基本视角也与特定于该视角的信息(例如，相机参数)相关联。该信息可以被其他视角用于若干目的，包括视角插值/合成。由于存在多个MPEG-4 AVC兼容视角，因此我们提议仅支持一个MPEG-4 AVC兼容视角，这使得对于每个这样的片断来说难以标识其属于哪个视角，并且非多视角视频编码解码器可能很容易被混淆。
通过将其限制到仅仅一个这样的视角，保证了非多视角视频编码解码器将能够正确地对视角解码，并且多视角视频编码解码器可以很容易利用语法avc_compatible_view_id从视角参数集中标识该视角。所有其他的基本视角(非MPEG-4 AVC兼容)可以利用is_base_view_flag来标识。
提出了用于多视角视频编码片断的新的片断头部。为了支持视角可缩放性、视角随机访问等等，需要知道当前片断依赖于哪些视角。为了进行视角合成和视角插值，可能还需要相机参数。该信息存在于视角参数集中，如上面的表1中所示。视角参数集是利用view_parameter_set_id来标识的。我们提议将view_parameter_set_id添加在所有非MPEG-4 AVC兼容的片断的片断头部中，如表3(片断头部语法)所示。对于若干种多视角视频编码需求来说需要view_id信息，包括视角插值/合成、视角随机访问、并行处理等等。该信息也可以用于仅与交叉视角预测有关的特殊编码模式。为了从视角参数集中找到该视角的相应参数，需要在片断头部中发送view_id。
表3
 
slice_header(){ C 描述符
first_mb_in_slice 2 ue(v)
slice_type 2 ue(v)
pic_parameter_set_id 2 ue(v)
 
if(nal_unit_type＝＝22‖nal_unit_type＝＝23){
     view_parameter_set_id 2 ue(v)
     view_id 2 ue(v)
  }
  frame_num 2 u(v)
  if(！frame_mbs_only_flag){
     field_pic_flag 2 u(l)
     if(field_pic_flag)
       bottom_field_flag 2 u(l)
   }
  ......
 }
对于新的多视角视频编码片断，我们提议为每个片断类型(瞬时解码刷新(IDR)和非IDR)创建新的NAL单元类型。我们提议对于IDR片断使用类型22，对于非IDR片断使用类型23，如表2所示。
view_parameter_set_id指定使用中的视角参数集。view_parameter_set_id的值应当在0至255的范围内。
view_id指示当前视角的视角id。view_id的值应当在0至255的范围内。
现在将根据本发明的原理的一个实施例描述视角随机访问的示例。
视角随机访问是一个多视角视频编码的需求。其目的是在付出最小解码努力的情况下获得对任何视角的访问。考虑针对图3中所示的预测结构的视角随机访问的简单示例。
假定用户请求对视角S3解码。从图3中可见，该视角依赖于视角S0、视角S2和视角S4。示例性的视角参数集如下所示。
假定在片断头部语法中视角的view_id被从0至7连续编号，并且仅存在一个view_parameter_set等于0的视角参数集。number_of_views_minus_1被设置为7。avc_compatible_view_id可以被设置为0。
对于视角S0，is_base_view_flag被设置为1，而对于其他视角它被设置为0。S0、S1、S2、S3和S4的依赖性表看起来如表4A(S0的依赖性表，anchor_picture_dependency_map)和表4B(S0的依赖性表，non_anchor_picture_dependency_map)所示。其他视角的依赖性表可以按类似方式写入。
一旦该表在解码器处可用，解码器就可以很容易确定是否需要其接收到的片断来对特定视角解码。解码器仅需要解析片断头部来确定当前片断的view_id，并且对于目标视角S3，其可以查找两个表(表4A和表4B)中的S3栏来确定它是否应当保持当前片断。解码器需要区分锚定图像和非锚定图像，因为它们具有不同的依赖性，这可以从表4A和表4B中看出来。对于目标视角S3，需要对视角S0、S2和S4的锚定图像解码，但是仅仅需要对视角S2和S4的非锚定图像解码。
表4A
 
i\j S0 S1 S2 S3 S4 S5 S6 S7
S0 0 1 1 1 1 1 1 1
S1 0 0 0 0 0 0 0 0
S2 0 1 0 1 1 1 1 1
S3 0 0 0 0 0 0 0 0
S4 0 0 0 1 0 1 1 1
表4B
 
i\j S0 S1 S2 S3 S4 S5 S6 S7
S0 0 1 0 0 0 0 0 0
S1 0 0 0 0 0 0 0 0
S2 0 1 0 1 0 0 0 0
S3 0 0 0 0 0 0 0 0
S4 0 0 0 1 0 1 0 0
转到图4，标号400总地指示一种用于对多视角视频内容的多个视角进行编码的示例性方法。
方法400包括开始框405，开始框405将控制传递给功能框410。功能框410读取用于对多个视角编码的编码参数的配置文件，并将控制传递给功能框415。功能框415将N设置为等于要编码的视角数，并将控制传递给功能框420。功能框420设置number_of_views_minus_1等于N-1，设置avc_compatible_view_id等于MPEG-4 AVC兼容视角的view_id，并将控制传递给功能框425。功能框425设置view_parameter_set_id等于有效整数，初始化变量i使之等于0，并将控制传递给判决框430。判决框430确定i是否大于N。如果是，则控制被传递给判决框435。否则，控制被传递给功能框470。
判决框435确定当前视角是否是基本视角。如果是，则控制被传递给功能框440。否则，控制被传递给功能框480。
功能框440设置is_base_view_flag[i]等于1，并将控制传递给判决框445。判决框445确定依赖性是否被更新。如果是，则控制被传递给功能框450。否则，控制被传递给功能框485。
功能框450设置dependency_update_flag等于1，并将控制传递给功能框455。功能框455设置变量j等于0，并将控制传递给判决框460。判决框460确定j是否小于N。如果是，则控制被传递给功能框465。否则，控制被传递给功能框487。
功能框465将anchor_picture_dependency_maps[i][j]和non_anchor_picture_dependency_maps[i][j]设置为配置文件所指示的值，并将控制传递给功能框467。功能框467将变量j递增1，并将控制返回给判决框460。
功能框470在相机参数存在时将camera_parameters_present_flag设置为等于1，否则将camera_parameters_present_flag设置为等于0，并将控制传递给判决框472。判决框472确定camera_parameters_present_flag是否等于1。如果是，则控制被传递给功能框432。否则，控制被传递给功能框434。
功能框432写入相机参数，并将控制传递给功能框434。
功能框434写入视角参数集(VPS)或序列参数集(SPS)，并将控制传递给结束框499。
功能框480设置is_base_view_flag[i]等于0，并将控制传递给判决框445。
功能框485设置dependency_update_flag等于0，并将控制传递给功能框487。功能框487将变量i递增1，并将控制返回给判决框430。
转到图5，标号500总地指示一种用于对多视角视频内容的多个视角进行解码的示例性方法。
方法500包括开始框505，开始框505将控制传递给功能框510。功能框510解析序列参数集(SPS)或视角参数集(VPS)、view_parameter_set_id、number_of_views_minus_1、avc_compatible_view_id，设置变量i和j等于0，设置N等于number_of_views_minus_1，并将控制传递给判决框515。判决框515确定i是否小于或等于N。如果是，则控制被传递给功能框570。否则，控制被传递给功能框525。
功能框570解析camera_parameters_present_flag，并将控制传递给判决框572。判决框572确定camera_parameters_present_flag是否等于1。如果是，则控制被传递给功能框574。否则，控制被传递给功能框576。
功能框574解析相机参数，并将控制传递给功能框576。
功能框576继续解码，并将控制传递给结束框599。
功能框525解析is_base_view_flag[i]和dependency_update_flag，并将控制传递给判决框530。判决框530确定dependency_update_flag是否等于0。如果是，则控制被传递给功能框532。否则，控制被传递给判决框535。
功能框532将i递增1，并将控制返回给判决框515。
判决框535确定j是否小于或等于N。如果是，则控制被传递给功能框540。否则，控制被传递给功能框537。
功能框540解析anchor_picture_dependency_maps[i][j]，并将控制传递给判决框545。判决框545确定non_anchor_picture_dependency_maps[i][j]是否等于1。如果是，则控制被传递给功能框550。否则，控制被传递给功能框547。
功能框550解析non_anchor_picture_dependency_maps[i][j]，并将控制传递给功能框547。
功能框547将j递增1，并将控制返回给判决框535。
功能框537将i递增1，并将控制返回给功能框515。
前面的实施例提供了在不需要缓冲的情况下解决随机访问的高效方法。这些方法在依赖性结构并不随图像组(GOP)改变的情况下工作良好。然而，如果出现依赖性改变的情况，则这些方法可能失败。这一概念在图6A和6B中示出。
转到图6A，标号600总地指示一幅图示了与后一锚定时隙具有相同依赖性的非锚定帧中的示例性依赖性改变的视图。转到图6B，标号650总地指示一幅图示了与前一锚定时隙具有相同依赖性的非锚定帧中的示例性依赖性改变的视图。
如图6A所示，在GOP 1中，I图像(内编码图像)位于视角0中，但是在GOP 2中，I图像的位置改变到视角1。可以清楚看出，GOP 1中锚定帧的依赖性结构不同于GOP 2中的。还可以看出，两个锚定时隙之间的帧与GOP 2的锚定帧具有相同的依赖性结构。结果，这两个GOP的VPS将会不同。如果在依赖性结构已从前一依赖性结构发生改变并且没有进行缓冲的部分中发起随机访问，则前一依赖性结构将被用于丢弃对于随机访问视角来说不需要的帧。这是有问题的，因为依赖性结构在两个GOP中是不同的。
因此，根据本发明的原理的各种其他实施例，提出了与前面的实施例中提议的不同的方法和装置，不同之处在于下面描述的稍后实施例解决了依赖性随时间在不同GOP之间改变的情况。依赖性结构可能由于若干原因而改变。一个原因在于在不同GOP上I图像位置从一个视角改变到另一个。这在上述的图6A和6B中示出。在这种情况下，下一GOP的依赖性不同于前一GOP的依赖性结构。该信息需要利用新的视角参数集来传达。
具体而言，提出了两种示例性方法来解决该改变的依赖性结构。在第一方法中，考虑两个锚定时隙之间的依赖性结构。在第一方法中，基于依赖性从一个锚定时隙改变到另一个时的时刻之间的依赖性结构来确定对视角子集解码所需要的帧。在第二方法中，将依赖性已改变的GOP的依赖性结构与前一依赖性结构进行组合，以获得将解决上述问题的新的依赖性表。这两种方法现在将进一步详细描述。当然，将要意识到，给定这里提供的本发明的原理的教导，本领域和相关领域的技术人员将能在依赖性随时间在不同图像组之间发生改变时利用这些和各种其他方法和其变体来对多视角视频内容进行编码和/或解码，同时维持本发明的原理的精神。
在第一方法中，通过考虑两个锚定时隙之间的帧的依赖性结构来解决上述问题。
依赖性结构的选择是在编码器处确定的。当在两个GOP之间的依赖性结构中发生改变时，两个锚定时隙之间的帧可以具有与前一锚定时隙或下一锚定时隙相同的依赖性结构。同样，这是由编码器确定的。在图6A和6B中图示了两种不同的选项。
为了对视角的子集解码或者为了对特定视角进行随机访问，知道这两个锚定时隙之间的依赖性结构是很有用的。如果该信息已提前知道，则可以更容易地确定为了解码需要哪些帧，而不用进行额外处理。
为了确定该两个锚定时隙之间的依赖性结构，提出了一个新的语法元素来指示这些非锚定帧是否遵循按显示顺序的前一锚定时隙或下一锚定时隙的依赖性结构。该信号/标志应当存在于比特流中的高层处。该信息可以带内或带外传达。
在示例性实施例中，该信号/标志可以存在于MPEG-4AVC标准的MVC扩展的视角参数集或序列参数集中。在表5A和5B中示出了示例性的信号/标志。
表5A
 
view_parameter_set_rbsp(){ C 描述符
  view_parameter_set_id 0 ue(v)
 
  number_of_views_minus_1 0 ue(v)
  avc_compatible_view_id 0 ue(v)
  previous_anchor_dep_struct_flag 0 u(l)
 }
表5B
 
sequence_parameter_set_rbsp(){ C 描述符
  profile_idc 0 u(8)
  ... 0 ue(v)
  if(profile_idc＝＝MULTI_VIEW) 0 ue(v)
    previous_anchor_dep_struct_flag 0 u(l)
  ......
 }
在接下来的实施例中，previous_anchor_dep_struct_flag等于0表明非锚定帧遵循下一锚定时隙的依赖性结构，而previous_anchor_dep_struct_flag等于1表明非锚定帧遵循前一锚定时隙的依赖性结构。
随机访问或子集视角解码的过程将依赖于该标志。当该标志被设置为1时，其向解码器传达非锚定帧将按显示顺序的前一锚定时隙的依赖性结构，如图6B所示。
当这种情况成立时，解码器知道它不需要缓冲任何帧。在一个示例性实施例中，由解码器执行的用于视角的随机访问的方法如下所示，并且也可以从图6B中看出。假定对于视角2和时间T6来说需要随机访问。
现在将一般性地描述(接着将参考图7进一步描述)涉及依赖性结构从一个GOP到另一个GOP发生改变的情况的第一方法。下面的步骤是按照施加的排序描述的。然而，将会意识到，该排序仅仅是为了说明和清楚目的。因此，给定这里提供的本发明的原理的教导，这种排序可以被重新布置和/或以其他方式修改，同时仍然维持本发明的原理的范围，本领域和相关领域的技术人员可以很容易确定这一点。
在第一步骤中，为目标视角(视角2)定位早于T6的最近的I图像。在第二步骤中，通过查找表7A来为与该I图像相对应的锚定时隙确定依赖性结构。在第三步骤中，如果previous_anchor_dep_struct_flag被确定为设置为0，则缓冲该时隙中的锚定图像；否则，从表7A中确定需要对哪些图像解码。在第四步骤中，对于GOP2的锚定时隙，查找表7C以确定为了对目标视角解码需要哪些图像。如果previous_anchor_depstruct_flag等于0，则循着下文中的第五、第六和第七步骤，以确定需要对来自前一锚定时隙的哪些帧解码；否则，继续到第八步骤。在第五步骤中，对于目标视角(视角2)，在锚定依赖性表(表6C)中检查需要哪些视角(视角1)。在第六步骤中，对于目标视角(视角2)所需的每个视角(视角1)，通过查找该VPS的依赖性表(表6A)来检查需要哪些视角(视角0、视角2)。在第七步骤中，对来自视角(视角0、视角2)的锚定帧解码，如果这些帧指向在时间上在目标视角/时间之前的I图像的视角参数集(VPS)的话。在第八步骤中，为了确定对于所有的非锚定而言需要哪些图像，如果previous_anchor_depstruct_flag被设置为1，则使用前一锚定时隙的依赖性结构来确定对于目标视角而言需要解码哪些帧；否则，使用下一锚定时隙的依赖性结构。
表6A
 
i\j 视角1 视角2 视角3
视角0 0 1 1
视角1 0 0 0
视角2 0 1 0
表6B
 
i\j 视角1 视角2 视角3
视角0 0 1 0
视角1 0 0 0
 
视角2 0 1 0
表6C
 
i\j 视角1 视角2 视角3
视角0 0 0 0
视角1 1 0 1
视角2 0 0 0
表6D
 
i\j 视角1 视角2 视角3
视角0 0 0 0
视角1 1 0 1
视角2 0 0 0
表7A
 
i\j 视角1 视角2 视角3
视角0 0 1 1
视角1 0 0 0
视角2 0 1 0
表7B
 
i\j 视角1 视角2 视角3
视角0 0 1 0
视角1 0 0 0
视角2 0 1 0
表7C
 
i\j 视角1 视角2 视角3
视角0 0 0 0
 
视角1 1 0 1
视角2 0 0 0
表7D
 
i\j 视角1 视角2 视角3
视角0 0 1 0
视角1 0 0 0
视角2 0 1 0
转到图7，标号700总地指示一种用于利用随机访问点来对多视角视频内容进行解码的示例性方法。
该方法包括开始框702，开始框702将控制传递给功能框705。功能框705请求随机访问点，并将控制传递给功能框710。功能框710定位早于随机访问时间的最近的I图像(A)，并将控制传递给功能框715。功能框715确定锚定时隙A的依赖性结构，并将控制传递给判决框720。判决框720确定previous_anchor_dep_struct_flag是否等于0。如果是，则控制被传递给功能框740。否则，控制被传递给功能框725。
功能框740开始缓冲与该时隙相对应的所有锚定图像，并将控制传递给功能框745。功能框745定位晚于随机访问时间的最近的I图像(B)，并将控制传递给判决框750。判决框750确定对于I图像(A)和I图像(B)来说依赖性表是否不同。如果是，则控制被传递给功能框755。否则，控制被传递给功能框775。
功能框755针对目标视角检查锚定依赖性表以查看需要哪些视角，并将控制传递给功能框760。功能框760针对根据以上表所需的每个视角，通过查找相应的视角参数集(VPS)的依赖性表来检查它们需要哪些视角，并将控制传递给功能框765。功能框765对功能框760所标识的所需的视角的锚定帧解码，并将控制传递给功能框770。功能框770对于所有其他帧使用由I图像(B)所指示的依赖性表，并将控制传递给结束框799。
功能框725根据依赖性图确定为了对目标视角解码需要哪些图像，并将控制传递给功能框730。功能框730针对下一锚定时隙通过查找相应的依赖性图表来确定所需的图像，并将控制传递给功能框735。功能框735针对非锚定图像使用随机访问点之前的锚定时隙的依赖性图来确定解码所需的图像，并将控制传递给结束框799。
功能框775读取依赖性表并丢弃对所请求的视角解码不需要的帧，并将控制传递给结束框799。
现在将一般性地描述(接着将参考图8进一步描述)涉及依赖性结构从一个GOP到另一个GOP发生改变的情况的第二方法。下面的步骤是按照施加的排序描述的。然而，将会意识到，该排序仅仅是为了说明和清楚目的。因此，给定这里提供的本发明的原理的教导，这种排序可以被重新布置和/或以其他方式修改，同时仍然维持本发明的原理的范围，本领域和相关领域的技术人员可以很容易确定这一点。
如上所述，在第一方法中，通过以丢弃正确的帧的方式组合两个GOP的依赖性结构，来解决上述的依赖性结构从一个GOP到另一个GOP发生改变的问题。随机访问的过程利用图6A示出。
针对锚定和非锚定图像的GOP 1和GOP 2的依赖性表在表6A、6B、6C和6D中示出。
假定目标视角是视角2并且目标时间是T6。为了对该视角和时间进行随机访问，必须定位在当前目标视角/时间目标(仅在时间上)之前的最近的I图像。注意该I图像的VPS-ID，并且缓冲该时间间隔处的所有锚定图像。一旦(仅在时间上)较晚的下一I图像到达，就检查VPS-ID是否与前一I图像相同。如果ID是相同的，则使用在该VPS中指示的依赖性结构来决定哪些帧保留且哪些帧丢弃。
如果VPS ID是不同的，则应当执行以下步骤。在第一步骤中，对于目标视角(视角2)，在锚定依赖性表(表6C)中检查需要哪些视角(视角1)。在第二步骤中，对于目标视角(视角2)所需的每个视角(视角1)，通过查找该VPS的依赖性表(表6A)来检查需要哪些视角(视角0、视角2)。在第三步骤中，对来自这些视角(视角0、视角2)的锚定帧解码，如果这些帧指向在时间上在目标视角/时间之前的I图像的VPS的话。在第四步骤中，对于指向或者使用与在时间上晚于目标视角/时间的I图像相同的VPS-ID的所有帧，使用在该VPS中指示的依赖性表(表6C、6D)。
第二方法确保了即使当I图像的位置在视角之间改变时，随机访问也可以以高效的方式进行。只需要缓冲与在时间上早于随机访问点的最近的I图像相对应的锚定图像即可。
转到图8，标号800总地指示另一种用于利用随机访问点来对多视角视频内容进行解码的示例性方法。
方法800包括开始框802，开始框802将控制传递给功能框805。功能框805请求随机访问点，并将控制传递给功能框810。功能框810定位早于随机访问时间的最近的I图像(A)，并将控制传递给功能框815。功能框815开始缓冲与该时隙相对应的所有锚定图像，并将控制传递给功能框820。功能框820定位晚于随机访问时间的最近的I图像(B)，并将控制传递给判决框825。判决框825确定对于I图像(A)和I图像(B)来说依赖性表是否不同。如果是，则控制被传递给功能框830。否则，控制被传递给功能框850。
功能框830针对目标视角检查锚定依赖性表以查看需要哪些视角，并将控制传递给功能框835。功能框835针对根据以上表所需的每个视角，通过查找相应的视角参数集(VPS)的依赖性表来检查它们需要哪些视角，并将控制传递给功能框840。功能框840对功能框835所标识的所需的视角的锚定帧解码，并将控制传递给功能框845。功能框845对于所有其他帧使用由I图像(B)所指示的依赖性表，并将控制传递给结束框899。
功能框850读取依赖性表并丢弃对所请求的视角解码不需要的帧，并将控制传递给结束框899。
转到图9，标号900总地指示一种用于对多视角视频内容进行编码的示例性方法。
方法900包括开始框902，开始框902将控制传递给功能框905。功能框905读取编码器配置文件，并将控制传递给判决框910。判决框910确定非锚定图像是否遵循先前锚定图像的依赖性。如果是，则控制被传递给功能框915。否则，控制被传递给功能框920。
功能框915设置previous_anchor_dep_struct_flag等于1，并将控制传递给功能框925。
功能框920设置previous_anchor_dep_struct_flag等于0，并将控制传递给功能框925。
功能框925写入序列参数集(SPS)、视角参数集(VPS)和/或图像参数集(PPS)，并将控制传递给功能框930。功能框930令视角数为N，初始化变量i和j使之等于0，并将控制传递给判决框935。判决框935确定i是否小于N。如果是，则控制被传递给判决框940。否则，控制被传递给结束框999。
判决框940确定j是否小于视角i中的图像数。如果是，则控制被传递给判决框945。否则，控制被返回给判决框935。
判决框945确定当前图像是否是锚定图像。如果是，则控制被传递给判决框950。判决框950确定是否有依赖性改变。如果是，则控制被传递给判决框955。否则，控制被传递给功能框980。
判决框955确定非锚定图像是否遵循先前锚定图像的依赖性。如果是，则控制被传递给功能框960。否则，控制被传递给功能框970。
功能框960设置previous_anchor_dep_struct_flag等于1，并将控制传递给功能框975。
功能框970设置previous_anchor_dep_struct_flag等于0，并将控制传递给功能框975。
功能框975写入序列参数集(SPS)、视角参数集(VPS)和/或图像参数集(PPS)，并将控制传递给功能框980。
功能框980对当前图像编码，并将控制传递给功能框985。功能框985递增变量j，并将控制传递给功能框990。功能框990递增frame_num和图像顺序计数(POC)，并将控制返回给判决框950。
现在将描述本发明的许多附带优点/特征中的一些，其中某些优点/特征上面已提到。例如，一个优点/特征是一种包括编码器的装置，该编码器用于对与多视角视频内容相对应的至少两个视角的锚定图像和非锚定图像进行编码。在至少两个视角的至少一个中按显示顺序部署在前一锚定图像和下一锚定图像之间的一组非锚定图像中的每个非锚定图像的依赖性结构与按显示顺序的前一锚定图像或下一锚定图像相同。
另一个优点/特征是一种具有如上所述的编码器的装置，其中该编码器经由带内和带外通信中的至少一种来通知依赖性结构。
又一个优点/特征是一种具有如上所述的编码器的装置，其中该编码器利用高层语法来通知依赖性结构。
而且，另一个优点/特征是一种具有如上所述的编码器的装置，其中该编码器利用高层语法来通知依赖性结构，并且该依赖性结构是在序列参数集、视角参数集和图像参数集中的至少一个中通知的。
另外，另一个优点/特征是一种具有如上所述的编码器的装置，其中该编码器利用高层语法来通知依赖性结构，并且该依赖性结构是利用标志通知的。
另外，另一个优点/特征是一种具有如上所述的编码器的装置，其中该编码器利用标志来通知依赖性结构，并且该标志由previous_anchor_dep_struct_flag语法元素表示。
另外，另一个优点/特征是一种具有如上所述的编码器的装置，其中该编码器利用高层语法来通知依赖性结构，并且该依赖性结构被用于确定至少两个视角中的任一个视角内的哪些其他图像要被用于至少部分地对该组非锚定图像进行解码。
而且，另一个优点/特征是一种具有如上所述的编码器的装置，其中该编码器利用高层语法来通知依赖性结构，并且该依赖性结构被用于确定在至少两个视角中的至少一个的随机访问期间、至少两个视角中的哪些其他图像要被用于对该组非锚定图像进行解码。
另外，另一个优点/特征是一种具有解码器的装置，该解码器用于对与多视角视频内容相对应的至少两个视角的锚定图像和非锚定图像进行解码。在至少两个视角的至少一个中按显示顺序部署在前一锚定图像和下一锚定图像之间的一组非锚定图像中的每个非锚定图像的依赖性结构与按显示顺序的前一锚定图像或下一锚定图像相同。
另外，另一个优点/特征是一种具有如上所述的解码器的装置，其中该解码器经由带内和带外通信中的至少一种来接收依赖性结构。
而且，另一个优点/特征是一种具有如上所述的解码器的装置，其中该解码器利用高层语法来确定依赖性结构。
另外，另一个优点/特征是一种具有如上所述的解码器的装置，其中该解码器利用高层语法来确定依赖性结构，并且该依赖性结构是利用序列参数集、视角参数集和图像参数集中的至少一个确定的。
另外，另一个优点/特征是一种具有如上所述的解码器的装置，其中该解码器利用高层语法来确定依赖性结构，并且该依赖性结构是利用标志确定的。
另外，另一个优点/特征是一种具有如上所述的解码器的装置，其中该解码器利用标志来确定依赖性结构，并且该标志由previous_anchor_dep_struct_flag语法元素表示。
而且，另一个优点/特征是一种具有如上所述的解码器的装置，其中该解码器利用高层语法来确定依赖性结构，并且该依赖性结构被用于确定至少两个视角中的任一个视角内的哪些其他图像要被用于至少部分地对该组非锚定图像进行解码。
另外，另一个优点/特征是一种具有如上所述的解码器的装置，其中该解码器利用高层语法来确定依赖性结构，并且该依赖性结构被用于确定在至少两个视角中的至少一个的随机访问期间、至少两个视角中的哪些其他图像要被用于对该组非锚定图像进行解码。
另外，另一个优点/特征是一种具有如上所述的解码器的装置，其中该解码器基于依赖性结构是否遵循按显示顺序的前一锚定图像或下一锚定图像，来确定要缓冲至少两个视角中的哪些锚定图像，以对至少两个视角中的至少一个进行随机访问。
另外，另一个优点/特征是一种具有如上所述的解码器的装置，其中该解码器确定要缓冲至少两个视角中的哪些锚定图像以进行随机访问，并且当该组非锚定图像中的非锚定图像的依赖性结构与按显示顺序部署在随机访问点之后的锚定图像相同时，该解码器选择部署在随机访问点之前的锚定图像来进行缓冲。
而且，另一个优点/特征是一种具有如上所述的解码器的装置，其中该解码器确定要缓冲至少两个视角中的哪些锚定图像以进行随机访问，并且当该组非锚定图像中的非锚定图像的依赖性结构与按显示顺序部署在随机访问点之前的锚定图像相同时，该解码器不对部署在随机访问点之前的锚定图像进行缓冲。
另外，另一个优点/特征是一种具有解码器的装置，该解码器用于对与来自比特流的多视角视频内容相对应的至少两个视角进行解码。与至少两个视角中的一个或多个相对应的至少两个图像组具有不同的依赖性结构。该解码器基于至少一个依赖性表来选择需要被解码的至少两个视角中的图像以对至少两个视角中的至少一个进行随机访问。
另外，另一个优点/特征是一种具有如上所述的解码器的装置，其中随机访问开始于按显示顺序早于随机访问的最近的内编码图像。
另外，另一个优点/特征是一种具有如上所述的解码器的装置，其中随机访问开始于按显示顺序早于随机访问的最近的内编码图像，并且比特流包括锚定图像和非锚定图像，并且该解码器缓冲至少两个视角中的下述锚定图像，所述锚定图像在时间上对应于早于随机访问的最近的内编码图像。
而且，另一个优点/特征是一种具有如上所述的解码器的装置，其中随机访问开始于晚于随机访问的最近的内编码图像。
另外，另一个优点/特征是一种具有如上所述的解码器的装置，其中至少一个依赖性表包括相对于随机访问来说较早的内编码图像和较晚的内编码图像的依赖性表，并且该解码器通过比较较早的内编码图像和较晚的内编码图像的依赖性表来选择所需图像。
另外，另一个优点/特征是一种具有如上所述的解码器的装置，其中该解码器通过比较依赖性表来选择所需图像，并且较早的内编码图像和较晚的内编码图像的依赖性表是相同的。
另外，另一个优点/特征是一种具有如上所述的解码器的装置，其中该解码器通过比较相同的依赖性表来选择所需图像，并且较早的内编码图像和较晚的内编码图像的依赖性表中的任一个被用于确定所需图像。
而且，另一个优点/特征是一种具有如上所述的解码器的装置，其中该解码器通过比较依赖性表来选择所需图像，并且较早的内编码图像和较晚的内编码图像的依赖性表是不同的。
另外，另一个优点/特征是一种具有如上所述的解码器的装置，其中该解码器通过比较不同的依赖性表来选择所需图像，并且至少一个依赖性表包括至少一个锚定图像依赖性表，并且该解码器检查至少一个锚定图像依赖性表以确定至少两个视角中的至少一个确实依赖于至少两个视角中的哪一个。
另外，另一个优点/特征是一种具有如上所述的解码器的装置，其中该解码器通过比较不同的依赖性表来选择所需图像，并且对于至少两个视角中的至少一个所依赖的至少两个视角中的每一个，该解码器检查与此对应的依赖性表。
另外，另一个优点/特征是一种具有如上所述的解码器的装置，其中该解码器通过比较不同的依赖性表来选择所需图像，并且锚定图像是根据至少两个视角中的至少一个所依赖的至少两个视角中的每一个来解码的。
而且，另一个优点/特征是一种具有如上所述的解码器的装置，其中该解码器通过比较不同的依赖性表来选择所需图像，并且该解码器基于由至少两个图像组中的一个的改变后的依赖性结构和至少两个图像组中的另一个的未改变的依赖性结构的组合而形成的依赖性表，来确定使用与较晚的内编码图像相同的依赖性表的任何特定图像是否需要被解码以进行随机访问。
本发明的原理的这些和其他的特征和优点可以基于这里的教导很容易被本领域技术人员所确定。将会理解，本发明的原理的教导可以按各种形式实现，包括硬件、软件、固件、专用处理器或其组合。
更优选地，本发明的原理的教导被实现为硬件和软件的组合。而且，软件可以实现为有形地实现在程序存储单元上的应用程序。应用程序可以被上载到包括任何合适体系结构的机器并被该机器执行。优选地，该机器实现在计算机平台上，该计算机平台具有诸如一个或多个中央处理单元
(CPU)、随机访问存储器(RAM)和输入/输出(I/O)接口之类的硬件。计算机平台还可包括操作***和微指令代码。这里描述的各种过程和功能可以是微指令代码的一部分，或者可以是应用程序的一部分，或者是其任何组合，其可以由CPU执行。另外，各种其他***单元可以连接到诸如额外的数据存储单元和打印单元之类的计算机平台。
还将会理解，因为在附图中示出的某些构成***组件和方法优选地是
以软件实现的，所以***组件或过程功能框之间的实际连接可能取决于当
前原理被编程的方式而有所不同。给定这里的教导，本领域技术人员将能
够预期本发明的原理的这些和类似的实现方式或配置。
尽管已参考附图描述了说明性实施例，但是将会理解，本发明的原理并不限于这些精确实施例，而且本领域技术人员可以实现各种改变和修改，而不脱离本发明的原理的范围或精神。所有这些改变和修改都意图被包括在权利要求中所给出的本发明的原理的范围内。

Claims (64)

1.一种装置，包括：
编码器(100)，用于对与多视角视频内容相对应的至少两个视角的锚定图像和非锚定图像进行编码，其中在所述至少两个视角的至少一个中按显示顺序部署在前一锚定图像和下一锚定图像之间的一组非锚定图像中的每个非锚定图像的依赖性结构与按显示顺序的前一锚定图像或下一锚定图像相同。
2.如权利要求1所述的装置，其中所述编码器(100)经由带内和带外通信中的至少一种来通知所述依赖性结构。
3.如权利要求1所述的装置，其中所述编码器(100)利用高层语法来通知所述依赖性结构。
4.如权利要求3所述的装置，其中所述依赖性结构是在序列参数集、视角参数集和图像参数集中的至少一个中通知的。
5.如权利要求3所述的装置，其中所述依赖性结构是利用标志通知的。
6.如权利要求5所述的装置，其中所述标志由previous_anchor_dep_struct_flag语法元素表示。
7.如权利要求3所述的装置，其中所述依赖性结构被用于确定所述至少两个视角中的任一个视角内的哪些其他图像要被用于至少部分地对该组非锚定图像进行解码。
8.如权利要求3所述的装置，其中所述依赖性结构被用于确定在所述至少两个视角中的至少一个的随机访问期间、所述至少两个视角中的哪些其他图像要被用于对该组非锚定图像进行解码。
9.一种方法，包括：
对与多视角视频内容相对应的至少两个视角的锚定图像和非锚定图像进行编码，其中在所述至少两个视角的至少一个中按显示顺序部署在前一锚定图像和下一锚定图像之间的一组非锚定图像中的每个非锚定图像的依赖性结构与按显示顺序的前一锚定图像或下一锚定图像相同(910、920、915)。
10.如权利要求9所述的方法，其中编码步骤包括经由带内和带外通信中的至少一种来通知所述依赖性结构(925)。
11.如权利要求9所述的方法，其中编码步骤包括利用高层语法来通知所述依赖性结构(925)。
12.如权利要求11所述的方法，其中所述依赖性结构是在序列参数集、视角参数集和图像参数集中的至少一个中通知的(925)。
13.如权利要求11所述的方法，其中所述依赖性结构是利用标志通知的(915、920)。
14.如权利要求13所述的方法，其中所述标志由previous_anchor_dep_struct_flag语法元素表示(915、920)。
15.如权利要求11所述的方法，其中所述依赖性结构被用于确定所述至少两个视角中的任一个视角内的哪些其他图像要被用于至少部分地对该组非锚定图像进行解码(915、920)。
16.如权利要求11所述的方法，其中所述依赖性结构被用于确定在所述至少两个视角中的至少一个的随机访问期间、所述至少两个视角中的哪些其他图像要被用于对该组非锚定图像进行解码(915、920)。
17.一种装置，包括：
解码器(200)，用于对与多视角视频内容相对应的至少两个视角的锚定图像和非锚定图像进行解码，其中在所述至少两个视角的至少一个中按显示顺序部署在前一锚定图像和下一锚定图像之间的一组非锚定图像中的每个非锚定图像的依赖性结构与按显示顺序的前一锚定图像或下一锚定图像相同。
18.如权利要求17所述的装置，其中所述解码器(200)经由带内和带外通信中的至少一种来接收所述依赖性结构。
19.如权利要求17所述的装置，其中所述解码器(200)利用高层语法来确定所述依赖性结构。
20.如权利要求19所述的装置，其中所述依赖性结构是利用序列参数集、视角参数集和图像参数集中的至少一个确定的。
21.如权利要求19所述的装置，其中所述依赖性结构是利用标志确定的。
22.如权利要求21所述的装置，其中所述标志由previous_anchor_dep_struct_flag语法元素表示。
23.如权利要求19所述的装置，其中所述依赖性结构被用于确定所述至少两个视角中的任一个视角内的哪些其他图像要被用于至少部分地对该组非锚定图像进行解码。
24.如权利要求19所述的装置，其中所述依赖性结构被用于确定在所述至少两个视角中的至少一个的随机访问期间、所述至少两个视角中的哪些其他图像要被用于对该组非锚定图像进行解码。
25.如权利要求17所述的装置，其中所述解码器(200)基于所述依赖性结构是否遵循按显示顺序的前一锚定图像或下一锚定图像，来确定要缓冲所述至少两个视角中的哪些锚定图像，以对所述至少两个视角中的至少一个进行随机访问。
26.如权利要求25所述的装置，其中当该组非锚定图像中的非锚定图像的依赖性结构与按显示顺序部署在随机访问点之后的锚定图像相同时，所述解码器(200)选择部署在所述随机访问点之前的锚定图像来进行缓冲。
27.如权利要求25所述的装置，其中当该组非锚定图像中的非锚定图像的依赖性结构与按显示顺序部署在随机访问点之前的锚定图像相同时，所述解码器(200)不对部署在所述随机访问点之前的锚定图像进行缓冲。
28.一种方法，包括：
对与多视角视频内容相对应的至少两个视角的锚定图像和非锚定图像进行解码，其中在所述至少两个视角的至少一个中按显示顺序部署在前一锚定图像和下一锚定图像之间的一组非锚定图像中的每个非锚定图像的依赖性结构与按显示顺序的前一锚定图像或下一锚定图像相同(720)。
29.如权利要求28所述的方法，其中解码步骤包括经由带内和带外通信中的至少一种来接收所述依赖性结构(510)。
30.如权利要求28所述的方法，其中解码步骤包括利用高层语法来确定所述依赖性结构(510)。
31.如权利要求30所述的方法，其中所述依赖性结构是利用序列参数集、视角参数集和图像参数集中的至少一个确定的(510)。
32.如权利要求30所述的方法，其中所述依赖性结构是利用标志确定的(720)。
33.如权利要求32所述的方法，其中所述标志由previous_anchor_dep_struct_flag语法元素表示(720)。
34.如权利要求30所述的方法，其中所述依赖性结构被用于确定所述至少两个视角中的任一个视角内的哪些其他图像要被用于至少部分地对该组非锚定图像进行解码(725)。
35.如权利要求30所述的方法，其中所述依赖性结构被用于确定在所述至少两个视角中的至少一个的随机访问期间、所述至少两个视角中的哪些其他图像要被用于对该组非锚定图像进行解码(725)。
36.如权利要求28所述的方法，其中解码步骤包括基于所述依赖性结构是否遵循按显示顺序的前一锚定图像或下一锚定图像，来确定要缓冲所述至少两个视角中的哪些锚定图像，以对所述至少两个视角中的至少一个进行随机访问(730、740)。
37.如权利要求36所述的方法，其中解码步骤包括当该组非锚定图像中的非锚定图像的依赖性结构与按显示顺序部署在随机访问点之后的锚定图像相同时，选择部署在所述随机访问点之前的锚定图像来进行缓冲(740)。
38.如权利要求36所述的方法，其中解码步骤包括当该组非锚定图像中的非锚定图像的依赖性结构与按显示顺序部署在随机访问点之前的锚定图像相同时，不对部署在所述随机访问点之前的锚定图像进行缓冲(720、730、735)。
39.一种装置，包括：
解码器(200)，用于对与来自比特流的多视角视频内容相对应的至少两个视角进行解码，与所述至少两个视角中的一个或多个相对应的至少两个图像组具有不同的依赖性结构，其中所述解码器基于至少一个依赖性表来选择所述至少两个视角中的需要被解码的图像以对所述至少两个视角中的至少一个进行随机访问。
40.如权利要求39所述的装置，其中所述随机访问开始于按显示顺序早于所述随机访问的最近的内编码图像。
41.如权利要求40所述的装置，其中所述比特流包括锚定图像和非锚定图像，并且所述解码器(200)对所述至少两个视角中的在时间上与早于所述随机访问的最近的内编码图像相对应的锚定图像进行缓冲。
42.如权利要求39所述的装置，其中所述随机访问开始于晚于所述随机访问的最近的内编码图像。
43.如权利要求39所述的装置，其中所述至少一个依赖性表包括相对于所述随机访问来说较早的内编码图像的依赖性表和较晚的内编码图像的依赖性表，并且所述解码器(200)通过比较所述较早的内编码图像的依赖性表和较晚的内编码图像的依赖性表来选择所需图像。
44.如权利要求43所述的装置，其中所述较早的内编码图像的依赖性表和较晚的内编码图像的依赖性表是相同的。
45.如权利要求44所述的装置，其中所述较早的内编码图像的依赖性表和较晚的内编码图像的依赖性表中的任一个被用于确定所述所需图像。
46.如权利要求43所述的装置，其中所述较早的内编码图像的依赖性表和较晚的内编码图像的依赖性表是不同的。
47.如权利要求46所述的装置，其中所述至少一个依赖性表包括至少一个锚定图像依赖性表，并且所述解码器(200)检查所述至少一个锚定图像依赖性表以确定所述至少两个视角中的至少一个依赖于所述至少两个视角中的哪一个。
48.如权利要求47所述的装置，其中对于所述至少两个视角中的至少一个所依赖的所述至少两个视角中的每一个，所述解码器(200)检查与其对应的依赖性表。
49.如权利要求48所述的装置，其中所述锚定图像是根据所述至少两个视角中的至少一个所依赖的所述至少两个视角中的每一个来解码的。
50.如权利要求47所述的装置，其中所述解码器(200)基于由所述至少两个图像组中的一个的改变后的依赖性结构和所述至少两个图像组中的另一个的未改变的依赖性结构的组合而形成的依赖性表，来确定使用与所述较晚的内编码图像相同的依赖性表的任何特定图像是否需要被解码以进行随机访问。
51.一种方法，包括：
对与来自比特流的多视角视频内容相对应的至少两个视角进行解码，与所述至少两个视角中的一个或多个相对应的至少两个图像组具有不同的依赖性结构，其中解码步骤基于至少一个依赖性表来选择所述至少两个视角中的需要被解码的图像以对所述至少两个视角中的至少一个进行随机访问(800)。
52.如权利要求51所述的方法，其中所述随机访问开始于按显示顺序早于所述随机访问的最近的内编码图像(810)。
53.如权利要求52所述的方法，其中所述比特流包括锚定图像和非锚定图像，并且解码步骤包括对所述至少两个视角中的在时间上与早于所述随机访问的最近的内编码图像相对应的锚定图像进行缓冲(815)。
54.如权利要求51所述的方法，其中所述随机访问开始于晚于所述随机访问的最近的内编码图像(820)。
55.如权利要求51所述的方法，其中所述至少一个依赖性表包括相对于所述随机访问来说较早的内编码图像的依赖性表和较晚的内编码图像的依赖性表，并且所述解码步骤通过比较所述较早的内编码图像的依赖性表和较晚的内编码图像的依赖性表来选择所需图像(825)。
56.如权利要求55所述的方法，其中所述较早的内编码图像的依赖性表和较晚的内编码图像的依赖性表是相同的(850)。
57.如权利要求56所述的方法，其中所述较早的内编码图像的依赖性表和较晚的内编码图像的依赖性表中的任一个被用于确定所述所需图像(850)。
58.如权利要求55所述的方法，其中所述较早的内编码图像的依赖性表和较晚的内编码图像的依赖性表是不同的(830、835、840)。
59.如权利要求58所述的方法，其中所述至少一个依赖性表包括至少一个锚定图像依赖性表，并且解码步骤包括检查所述至少一个锚定图像依赖性表以确定所述至少两个视角中的至少一个依赖于所述至少两个视角中的哪一个(830)。
60.如权利要求59所述的方法，其中对于所述至少两个视角中的至少一个所依赖的所述至少两个视角中的每一个，解码步骤包括检查与其对应的依赖性表(835)。
61.如权利要求60所述的方法，其中所述锚定图像是根据所述至少两个视角中的至少一个所依赖的所述至少两个视角中的每一个来解码的(840)。
62.如权利要求59所述的方法，其中解码步骤包括基于由所述至少两个图像组中的一个的改变后的依赖性结构和所述至少两个图像组中的另一个的未改变的依赖性结构的组合而形成的依赖性表，来确定使用与所述较晚的内编码图像相同的依赖性表的任何特定图像是否需要被解码以进行随机访问(845)。
63.一种用于视频编码的视频信号结构，包括：
针对与多视角视频内容相对应的至少两个视角编码的锚定和非锚定图像，其中在所述至少两个视角的至少一个中按显示顺序部署在前一锚定图像和下一锚定图像之间的一组非锚定图像中的每个非锚定图像的依赖性结构与按显示顺序的前一锚定图像或下一锚定图像相同。
64.一种其上编码有视频信号数据的存储介质，包括：
针对与多视角视频内容相对应的至少两个视角编码的锚定和非锚定图像，其中在所述至少两个视角的至少一个中按显示顺序部署在前一锚定图像和下一锚定图像之间的一组非锚定图像中的每个非锚定图像的依赖性结构与按显示顺序的前一锚定图像或下一锚定图像相同。
CNA200780026446XA 2006-07-11 2007-05-30 用在多视角视频编码中的方法和装置 Pending CN101491079A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US83020606P 2006-07-11 2006-07-11
US60/830,206 2006-07-11

Publications (1)

Publication Number Publication Date
CN101491079A true CN101491079A (zh) 2009-07-22

Family

ID=38923730

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA200780026446XA Pending CN101491079A (zh) 2006-07-11 2007-05-30 用在多视角视频编码中的方法和装置

Country Status (6)

Country Link
US (1) US20090323824A1 (zh)
EP (1) EP2041955A2 (zh)
JP (1) JP2009543514A (zh)
KR (1) KR20090040287A (zh)
CN (1) CN101491079A (zh)
WO (1) WO2008008133A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2375746A1 (en) 2010-03-31 2011-10-12 Deutsche Telekom AG Method for encoding texture data of free viewpoint television signals, corresponding method for decoding and texture encoder and decoder
CN102860007A (zh) * 2010-04-20 2013-01-02 汤姆森特许公司 对使用计算机图形呈现至少一个图像的数据进行编码的方法和设备及其对应的解码方法和设备
WO2015055143A1 (en) * 2013-10-17 2015-04-23 Mediatek Inc. Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
CN104685890A (zh) * 2012-10-02 2015-06-03 高通股份有限公司 用于视频译码器的操作点的层识别符的改善的发信
CN104904222A (zh) * 2013-01-07 2015-09-09 高通股份有限公司 对视频译码中的视频时序的图片次序计数与时序信息关系的信令
CN105009578A (zh) * 2012-12-21 2015-10-28 瑞典爱立信有限公司 多层视频流编码和解码

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8289370B2 (en) 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
WO2010086500A1 (en) * 2009-01-28 2010-08-05 Nokia Corporation Method and apparatus for video coding and decoding
EP2413606B1 (en) * 2009-03-26 2018-05-02 Sun Patent Trust Decoding method, decoding device
KR101619451B1 (ko) 2009-04-17 2016-05-10 엘지전자 주식회사 다시점 비디오 신호의 처리 방법 및 장치
KR20110007928A (ko) * 2009-07-17 2011-01-25 삼성전자주식회사 다시점 영상 부호화 및 복호화 방법과 장치
AU2011296953A1 (en) * 2010-09-03 2013-03-14 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
JP5833682B2 (ja) * 2011-03-10 2015-12-16 ヴィディオ・インコーポレーテッド スケーラブルなビデオ符号化のための依存性パラメータセット
EP2752011B1 (en) * 2011-08-31 2020-05-20 Nokia Technologies Oy Multiview video coding and decoding
KR102057194B1 (ko) * 2012-01-19 2019-12-19 삼성전자주식회사 시점 변환을 위한 다시점 비디오 예측 방법 및 그 장치, 시점 변환을 위한 다시점 비디오 예측 복원 방법 및 그 장치
WO2013115562A1 (ko) * 2012-01-30 2013-08-08 삼성전자 주식회사 시점변환을 위한 예측구조에 기초한 다시점 비디오 부호화 방법 및 그 장치, 시점변환을 위한 예측구조에 기초한 다시점 비디오 복호화 방법 및 그 장치
CN103379333B (zh) * 2012-04-25 2018-12-04 浙江大学 编解码方法、视频序列码流的编解码方法及其对应的装置
US9313486B2 (en) 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
WO2014047351A2 (en) * 2012-09-19 2014-03-27 Qualcomm Incorporated Selection of pictures for disparity vector derivation
US10805605B2 (en) 2012-12-21 2020-10-13 Telefonaktiebolaget Lm Ericsson (Publ) Multi-layer video stream encoding and decoding
HUE031191T2 (en) * 2012-12-21 2017-07-28 ERICSSON TELEFON AB L M (publ) Multilayered video stream decoding
US9774927B2 (en) 2012-12-21 2017-09-26 Telefonaktiebolaget L M Ericsson (Publ) Multi-layer video stream decoding
US9674542B2 (en) * 2013-01-02 2017-06-06 Qualcomm Incorporated Motion vector prediction for video coding
US10148965B2 (en) * 2015-03-04 2018-12-04 Panasonic Intellectual Property Management Co., Ltd. Moving image coding apparatus and moving image coding method
US10506235B2 (en) 2015-09-11 2019-12-10 Facebook, Inc. Distributed control of video encoding speeds
US10602153B2 (en) 2015-09-11 2020-03-24 Facebook, Inc. Ultra-high video compression
US10063872B2 (en) * 2015-09-11 2018-08-28 Facebook, Inc. Segment based encoding of video
US10375156B2 (en) 2015-09-11 2019-08-06 Facebook, Inc. Using worker nodes in a distributed video encoding system
US10341561B2 (en) 2015-09-11 2019-07-02 Facebook, Inc. Distributed image stabilization
US10602157B2 (en) 2015-09-11 2020-03-24 Facebook, Inc. Variable bitrate control for distributed video encoding
US10499070B2 (en) 2015-09-11 2019-12-03 Facebook, Inc. Key frame placement for distributed video encoding

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7483484B2 (en) * 2003-10-09 2009-01-27 Samsung Electronics Co., Ltd. Apparatus and method for detecting opaque logos within digital video signals

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2375746A1 (en) 2010-03-31 2011-10-12 Deutsche Telekom AG Method for encoding texture data of free viewpoint television signals, corresponding method for decoding and texture encoder and decoder
CN102860007A (zh) * 2010-04-20 2013-01-02 汤姆森特许公司 对使用计算机图形呈现至少一个图像的数据进行编码的方法和设备及其对应的解码方法和设备
CN104685890A (zh) * 2012-10-02 2015-06-03 高通股份有限公司 用于视频译码器的操作点的层识别符的改善的发信
CN104685890B (zh) * 2012-10-02 2019-03-12 高通股份有限公司 用于处理和编码多层视频数据的方法、装置和设备
CN105009578A (zh) * 2012-12-21 2015-10-28 瑞典爱立信有限公司 多层视频流编码和解码
CN105009578B (zh) * 2012-12-21 2018-04-13 瑞典爱立信有限公司 多层视频流编解码方法和设备
CN104904222A (zh) * 2013-01-07 2015-09-09 高通股份有限公司 对视频译码中的视频时序的图片次序计数与时序信息关系的信令
CN104904222B (zh) * 2013-01-07 2018-12-04 高通股份有限公司 对视频译码中的视频时序的图片次序计数与时序信息关系的信令
WO2015055143A1 (en) * 2013-10-17 2015-04-23 Mediatek Inc. Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
US10075690B2 (en) 2013-10-17 2018-09-11 Mediatek Inc. Method of motion information prediction and inheritance in multi-view and three-dimensional video coding

Also Published As

Publication number Publication date
WO2008008133A2 (en) 2008-01-17
EP2041955A2 (en) 2009-04-01
WO2008008133A3 (en) 2008-04-03
JP2009543514A (ja) 2009-12-03
KR20090040287A (ko) 2009-04-23
US20090323824A1 (en) 2009-12-31

Similar Documents

Publication Publication Date Title
CN101491079A (zh) 用在多视角视频编码中的方法和装置
KR101361896B1 (ko) 멀티-뷰 비디오 코딩 방법 및 디바이스
CN101366286B (zh) 用于多视角视频编码的方法和装置
CN101485208B (zh) 多视图视频的编码和解码方法及装置
CN101611633B (zh) 用于针对多视角视频编码和解码解耦合帧号和/或图像顺序计数（poc）的方法和装置
CN101523920B (zh) 在视频操作期间使用网络抽象层单元以信号方式指示即时解码刷新的方法
TW201244487A (en) Picture identification for multi-view video coding
AU2012203039B2 (en) Methods and apparatus for use in a multi-view video coding system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20090722