CN104838658A - 具有不对称空间分辨率的纹理和深度视图分量当中的内部视图运动预测 - Google Patents

具有不对称空间分辨率的纹理和深度视图分量当中的内部视图运动预测 Download PDF

Info

Publication number
CN104838658A
CN104838658A CN201280077621.9A CN201280077621A CN104838658A CN 104838658 A CN104838658 A CN 104838658A CN 201280077621 A CN201280077621 A CN 201280077621A CN 104838658 A CN104838658 A CN 104838658A
Authority
CN
China
Prior art keywords
block
texture view
depth views
subregion
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280077621.9A
Other languages
English (en)
Other versions
CN104838658B (zh
Inventor
何柳
张莉
陈颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104838658A publication Critical patent/CN104838658A/zh
Application granted granted Critical
Publication of CN104838658B publication Critical patent/CN104838658B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)

Abstract

本发明的技术大体上涉及使用与深度视图分量中的块对应的来自纹理视图分量的对应块的运动信息对所述深度视图分量中的所述块进行译码。在一些实例中，出于译码目的，当所述纹理视图分量的空间分辨率不同于所述深度视图分量的空间分辨率时，所述技术可使用运动信息。在本发明中描述的各种IMVP技术当中，本发明描述供用于其中深度视图宏块MB的分区对应于经帧内译码或分割为四个分区的纹理视图MB的译码情形中的IVMP技术。

Description

具有不对称空间分辨率的纹理和深度视图分量当中的内部视图运动预测
技术领域
本发明涉及视频译码，且更明确地说，涉及用于译码视频数据的技术。
背景技术
数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直播***、无线广播***、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及其类似者。数字视频装置实施视频压缩技术，例如，由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频压缩技术。视频装置通过实施这些视频压缩技术可以更有效地发射、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(即，视频帧或视频帧的一部分)可以分割成视频块，视频块也可被称作树块、译码单元(CU)和/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内编码(I)切片中的视频块进行编码。图片的经帧间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测产生用于待译码的块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量及指示经译码块与预测块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余数据而编码。为了进一步压缩，可以将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可以将残余变换系数量化。可以扫描最初以二维阵列布置的经量化的变换系数，以便产生变换系数的一维向量，并且可以应用熵译码以实现更多的压缩。
发明内容
一般来说，本发明描述涉及多视图视频译码和3D视频译码的技术，且更具体地说，本发明描述涉及内部视图运动预测(IVMP)的技术。举例来说，本发明中描述的技术可提供视频译码器(例如，编码器或解码器)可借以基于一或多个对应纹理视图块的运动信息确定深度视图块的运动信息的机制。这些技术可适用于其中深度视图分量的空间分辨率不同于纹理视图分量的空间分辨率的实例。举例来说，本发明的技术可描述在其中包含深度视图块的深度视图分量的空间分辨率不同于包含一或多个对应纹理视图块的对应纹理视图分量的空间分辨率的情况下确定深度视图块的运动信息。在本发明中描述的各种IMVP技术当中，本发明描述供用于其中深度视图宏块MB的分区对应于经帧内译码或分割为四个分区的纹理视图MB的译码情形中的IVMP技术。
在一个实例中，一种用于对视频数据进行译码的方法包含：对纹理视图分量的多个纹理视图块进行译码，其中所述多个纹理视图块对应于深度视图分量的单个深度视图块；响应于所述单个深度视图块的分区对应于来自所述多个纹理视图块的第一纹理视图块，基于来自所述多个纹理视图块的第二纹理视图块的运动信息确定所述单个深度视图块的所述分区的运动信息，其中所述第一纹理视图块是经帧内译码纹理视图块，且其中所述第二纹理视图块是所述第一纹理视图块的空间相邻块；以及基于所述运动信息对所述单个深度视图块进行译码。
在另一个实例中，一种用于对视频数据进行译码的方法包含：对纹理视图分量的多个纹理视图块进行译码，其中所述多个纹理视图块对应于深度视图分量的单个深度视图块；响应于所述单个深度视图块的分区对应于所述多个纹理视图块的第一纹理视图块，基于所述第一纹理视图块的分区的运动信息确定所述单个深度视图块的所述分区的运动信息，其中所述第一纹理视图块经分割为四个分区；以及基于所述运动信息对所述单个深度视图块进行译码。
在另一个实例中，一种用于对视频数据进行译码的装置包含视频译码器，其经配置以：对纹理视图分量的多个纹理视图块进行译码，其中所述多个纹理视图块对应于深度视图分量的单个深度视图块；响应于所述单个深度视图块的分区对应于来自所述多个纹理视图块的第一纹理视图块，基于来自所述多个纹理视图块的第二纹理视图块的运动信息确定所述单个深度视图块的所述分区的运动信息，其中所述第一纹理视图块是经帧内译码纹理视图块，且其中所述第二纹理视图块是所述第一纹理视图块的空间相邻块；以及基于所述运动信息对所述单个深度视图块进行译码。
在另一个实例中，一种用于对视频数据进行译码的装置包含视频译码器，其经配置以：对纹理视图分量的多个纹理视图块进行译码，其中所述多个纹理视图块对应于深度视图分量的单个深度视图块；响应于所述单个深度视图块的分区对应于所述多个纹理视图块的第一纹理视图块，基于所述第一纹理视图块的分区的运动信息确定所述单个深度视图块的所述分区的运动信息，其中所述第一纹理视图块经分割为四个分区；以及基于所述运动信息对所述单个深度视图块的所述分区进行译码。
在另一个实例中，一种用于对视频数据进行译码的设备包含：用于对纹理视图分量的多个纹理视图块进行译码的装置，其中所述多个纹理视图块对应于深度视图分量的单个深度视图块；用于响应于所述单个深度视图块的分区对应于来自所述多个纹理视图块的第一纹理视图块基于来自所述多个纹理视图块的第二纹理视图块的运动信息确定所述单个深度视图块的所述分区的运动信息的装置，其中所述第一纹理视图块是经帧内译码纹理视图块，且其中所述第二纹理视图块是所述第一纹理视图块的空间相邻块；以及用于基于所述运动信息对所述单个深度视图块进行译码的装置。
在另一个实例中，一种用于对视频数据进行译码的设备包含：用于对纹理视图分量的多个纹理视图块进行译码的装置，其中所述多个纹理视图块对应于深度视图分量的单个深度视图块；用于响应于所述单个深度视图块的分区对应于所述多个纹理视图块的第一纹理视图块基于所述第一纹理视图块的分区的运动信息确定所述单个深度视图块的所述分区的运动信息的装置，其中所述第一纹理视图块经分割为四个分区；以及用于基于所述运动信息对所述单个深度视图块进行译码的装置。
在另一个实例中，一种计算机可读存储媒体存储指令，所述指令在被执行时致使一或多个处理器进行以下操作：对纹理视图分量的多个纹理视图块进行译码，其中所述多个纹理视图块对应于深度视图分量的单个深度视图块；响应于所述单个深度视图块的分区对应于来自所述多个纹理视图块的第一纹理视图块，基于来自所述多个纹理视图块的第二纹理视图块的运动信息确定所述单个深度视图块的所述分区的运动信息，其中所述第一纹理视图块是经帧内译码纹理视图块，且其中所述第二纹理视图块是所述第一纹理视图块的空间相邻块；以及基于所述运动信息对所述单个深度视图块进行译码。
在另一个实例中，一种计算机可读存储媒体存储指令，所述指令在被执行时致使一或多个处理器进行以下操作：对纹理视图分量的多个纹理视图块进行译码，其中所述多个纹理视图块对应于深度视图分量的单个深度视图块；响应于所述单个深度视图块的分区对应于所述多个纹理视图块的第一纹理视图块，基于所述第一纹理视图块的分区的运动信息确定所述单个深度视图块的所述分区的运动信息，其中所述第一纹理视图块经分割为四个分区；以及基于所述运动信息对所述单个深度视图块进行译码。
随附图式和以下描述中陈述一或多个实例的细节。其它特征、目标及优势将从描述及附图和从权利要求书中显而易见。
附图说明
图1是根据本发明中所描述的一或多个实例的实例多视图视频译码(MVC)编码或解码次序的符号图。
图2是说明实例MVC预测模式的概念图。
图3是形成视频序列的图片序列的概念说明，其中深度视图分量的第4图片中的所识别宏块及纹理视图的第4图片中的对应宏块的运动向量再用于深度视图分量中。
图4A和4B是纹理视图块和深度视图块的概念图。
图5是说明可利用本发明中描述的技术的实例视频编码及解码***的框图。
图6是用于确定深度视图分区的参考索引及运动向量信息的纹理视图块及深度视图块的概念图。
图7是说明可实施技术的视频编码器的实例的框图，其中纹理视图分量与深度视图分量的空间分辨率不同。
图8是说明可实施技术的视频解码器的实例的框图，其中纹理视图分量与深度视图分量的空间分辨率不同。
图9是说明视频解码器根据技术的实例操作的流程图，其中纹理视图分量与深度视图分量的空间分辨率不同。
图10是说明视频编码器根据技术的实例操作的流程图，其中纹理视图分量与深度视图分量的空间分辨率不同。
图11是可用于确定深度视图块的深度视图分区的参考索引和运动向量信息的深度视图块和纹理视图块的概念图。
图12是根据本发明的技术的视频译码器的实例操作，其中深度视图宏块对应于经帧内译码纹理视图宏块。
图13是根据本发明的技术的视频译码器的实例操作，其中深度视图宏块对应于经分割为四个分区的纹理视图宏块。
具体实施方式
如下文更详细描述，本发明中描述的技术允许“内部视图运动预测”(IVMP)，其中纹理视图与其对应深度视图的空间分辨率不同。在其中纹理视图分量与其对应深度视图分量的空间分辨率不同的实例中，深度视图分量内的深度视图块可对应于纹理视图分量内的多个纹理视图块。因为深度视图块对应于多个纹理视图块，因此在使用纹理视图块的运动信息预测深度视图块的运动信息时存在潜在问题。本发明中描述的技术解决这些问题，从而允许从纹理视图块预测深度视图块的运动信息，甚至在其中纹理视图分量与其对应深度视图分量的空间分辨率不同的实例中也是这样。
本发明将通过描述供用于译码情形的IVMP技术而开始，其中深度视图宏块(MB)的分区对应于未经帧内译码且未分割为四个分区的纹理视图MB。稍后，本发明将描述供用于译码情形的额外IVMP技术，其中深度视图MB的分区对应于经帧内译码或经分割为四个分区的纹理视图MB。除非相反地明确陈述，否则应假定供用于其中深度视图MB的分区对应于未经帧内译码且未分割为四个分区的纹理视图MB的译码情形而引入的IVMP技术也适用于其中深度视图MB的分区对应于经帧内译码或经分割为四个分区的纹理视图MB的译码情形。
本发明中描述的技术大体上适用于多视图视频译码(MVC)及3D视频译码。多视图视频译码(MVC)是指译码从不同视点展示场景的视频图片(即，视图)。举例来说，可存在多个视图，且每一视图认为是包含多个视频图片。当显示来自视图中的至少两者的视频图片时，所得视频呈现为3D视频，其从用以再现视图的显示器出现或推送到所述显示器。
本发明中描述的技术可适用于各种视频译码标准。视频译码标准的实例包含ITU-TH.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。此外，存在一种新的视频译码标准，即高效视频译码(HEVC)，其正由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。
仅出于说明的目的，在H.264/AVC标准的包含其3D视频扩展的上下文中描述所述技术。虽然在H.264/AVC标准的包含其3D视频扩展的上下文中描述所述技术，但本发明中描述的技术也可扩展到其它标准。
H.264/AVC 3D视频扩展的最近公开可用的联合草案在“3D-AVC草案文本4”中描述，所述文本从2012年12月13日开始可从以下超链接下载：
http://phenix.it-sudparis.eu/jct2/doc_end_user/current_document.php？id＝456。
用于每一视图的多个视频图片可称为纹理视图分量。每一纹理视图分量具有对应深度视图分量。纹理视图分量包含视频内容(例如，像素值的亮度和色度分量)，且深度视图分量可指示纹理视图分量内的像素的相对深度。
本发明的技术涉及通过译码纹理及深度数据而译码3D视频数据。一般来说，术语“纹理”用以描述图像的明度(即，亮度或“明度”)值及图像的色度(即，色彩或“色度”)值。在一些实例中，纹理可包含用于蓝色调(Cb)及红色调(Cr)的一组明度数据及两组色度数据。在例如4:2:2或4:2:0等某些色度格式中，色度数据相对于明度数据向下取样。即，色度像素的空间分辨率低于对应明度像素的空间分辨率，例如为明度分辨率的二分之一或四分之一。
深度数据大体上描述对应纹理数据的深度值。举例来说，深度图像可包含各自描述对应纹理数据的深度的一组深度像素。深度数据可用以确定对应纹理数据的水平视差。因而，接收纹理及深度数据的装置可显示一个视图(例如，左眼视图)的第一纹理图像，且通过使第一图像的像素值偏移基于深度值确定的水平视差值而使用深度数据修改所述第一纹理图像以产生另一视图(例如，右眼视图)的第二纹理图像。大体来说，水平视差(或简称“视差”)描述第一视图中的像素与第二视图中的对应像素的水平空间偏移，其中所述两个像素对应于如于所述两个视图中表示的相同对象的相同部分。
在又其它实例中，可针对垂直于图像平面的z维度中的像素定义深度数据，使得与给定像素相关联的深度是相对于针对所述图像定义的零视差平面而定义。此深度可用以产生水平视差用于显示像素，使得所述像素取决于所述像素相对于零视差平面的z维度深度值而对于左眼与右眼以不同方式显示。零视差平面可对于视频序列的不同部分改变，且相对于零视差平面的深度量也可改变。可对于左眼与右眼类似地定义位于零视差平面上的像素。位于零视差平面之前的像素可对于左眼与右眼显示于不同位置中(例如，具有水平视差)，以便产生像素似乎是从垂直于图像平面的z方向上的图像出现的感觉。位于零视差平面之后的像素可显示为具有轻微模糊以轻微地感觉到深度，或可对于左眼与右眼显示于不同位置中(例如，具有与位于零视差平面之前的像素相反的水平视差)。许多其它技术也可用以传达或定义图像的深度数据。
对于深度视图分量中的每一像素，可在纹理视图分量中存在一或多个对应像素。举例来说，如果深度视图分量与纹理视图分量的空间分辨率相同，则深度视图分量中的每一像素对应于纹理视图分量中的一个像素。如果深度视图分量的空间分辨率小于纹理视图分量的空间分辨率，则深度视图分量中的每一像素对应于纹理视图分量中的多个像素。深度视图分量中的像素的值可指示纹理视图中的对应一或多个像素的相对深度。
在一些实例中，视频编码器用信号表示纹理视图分量的视频数据及用于视图中的每一者的对应深度视图分量。视频解码器利用纹理视图分量及深度视图分量两者的视频数据来解码视图的视频内容以供显示。显示器接着显示多视图视频以产生3D视频。
纹理视图分量可在视频数据块(其被称作“视频块”且在H.264上下文中通常称为“宏块”)中译码。类似地，深度视图分量也作为“视频块”(在H.264标准中通常称为“宏块”)而译码。每一深度视图块可具有一或多个对应纹理视图块。举例来说，如果深度视图分量与纹理视图分量的空间分辨率相同，则每一深度视图块对应于一个纹理视图块。如果纹理视图分量的空间分辨率小于纹理视图分量的空间分辨率，则每一深度视图块对应于两个或两个以上纹理视图块。
然而，不同视频块(纹理和深度)通常分开地经译码。其它视频译码标准可将视频块称为树块或译码单元(CU)。
纹理视图分量的视频块可使用帧内预测(例如，相对于同一纹理视图分量中的其它部分预测)或帧间预测(例如，相对于一或多个在时间上不同的纹理视图分量和/或潜在地来自不同视图的纹理视图分量(视图间预测)中的部分预测)来译码。举例来说，为对当前纹理视图块进行帧间预测，视频译码器(例如，视频编码器或视频解码器)识别另一纹理视图分量(称为参考纹理视图分量)中的块，且译码(例如，编码或解码)当前纹理视图块与所述参考纹理视图分量的所述块之间的残余。参考纹理视图分量的所述块可称为参考纹理视图块。一般来说，本发明使用术语“当前”来识别当前正译码的块或分区。因此，当前深度视图分区是当前正译码的深度视图分区。当前深度视图块是当前正译码的深度视图块，等等。
此外，对于帧间预测，视频译码器译码指示参考纹理视图分量中的参考纹理视图块的位置的运动向量及识别参考纹理视图分量的参考索引。在一些实例中，视频译码器利用两个参考纹理视图分量及两个运动向量来对当前纹理视图分量的块进行帧间预测。
一般来说，用以预测当前纹理视图块的信息可被称为所述块的运动信息。对于帧间预测，运动信息可包含分割模式、运动向量和参考索引，或其任何组合。
已提议利用用以预测纹理视图块的运动信息也预测对应于纹理视图块的深度视图块。再次，当深度视图块指示纹理视图块内的像素的相对深度时，所述深度视图块对应于所述纹理视图块。类似地，当深度视图分量指示纹理视图分量内的像素的相对深度时，所述深度视图分量对应于所述纹理视图分量。在一些实例中，纹理视图分量与对应深度视图分量可译码成相同视频网络抽象层(NAL)单元。
利用用以预测纹理视图块的运动信息用于预测对应于所述纹理视图块的深度视图块称为“内部视图运动预测”(IVMP)。此预测称为IVMP，因为用于纹理视图块的运动信息(即，用以预测纹理视图块的信息)用以预测对应深度视图块(例如，经采用而无需信令)。深度视图块所属于的深度视图分量及纹理视图块所属于的其对应纹理视图分量可认为是属于同一视图，因此得出短语“内部视图运动预测”。
如果深度视图分量与纹理视图分量的空间分辨率相同，则对于纹理视图分量中的块，在对应深度视图分量中存在一个对应块。对于此情况，已提议使用当前纹理视图分量中的块的运动信息但相对于其它深度视图分量对对应深度视图分量中的块进行帧间预测。
举例来说，如上文所描述，纹理视图块相对于参考纹理视图分量中的块(例如，参考纹理视图块)进行帧间预测。在MVC及3D视频译码中，存在对应于参考纹理视图分量的深度视图分量(称为参考深度视图分量)。为预测当前深度视图分量中的深度视图块，视频译码器可使用对应纹理视图分量中的对应纹理视图块的运动信息来识别用以译码所述深度视图块的参考深度视图分量。
从参考纹理视图分量，视频译码器可识别对应于所述参考纹理视图分量的深度视图分量(即，识别参考深度视图分量)。视频译码器还可识别对应于参考纹理视图块的参考深度视图分量中的深度视图块，其中参考纹理视图块用以译码所述纹理视图块。
视频译码器接着使用参考深度视图分量中的所识别深度视图块译码深度视图块。以此方式，出于重建深度视图块的目的，视频编码器可能不需要用信号表示深度视图块的运动信息，且视频解码器可能不需要接收深度视图块的运动信息。
在使用运动信息用于预测深度视图块的先前实例中，假定纹理视图分量的空间分辨率和深度视图分量的空间分辨率是相同的。然而，可能不是在每个实例中情况都是这样。出于带宽效率目的，深度视图分量的空间分辨率可小于对应纹理视图分量的空间分辨率，以使得如与空间分辨率相同的情况相比，需要用信号表示或接收较少数据。
举例来说，作为一个实例，视频译码器可向下取样深度视图分量以减小空间分辨率。然而，本发明的技术并不需要用于减小深度视图分量的空间分辨率的向下取样。大体来说，本发明中描述的实例可利用导致深度视图分量的空间分辨率不同于纹理视图分量的空间分辨率的任何技术，包含指派深度视图分量的一个像素以对应于纹理视图分量的多个像素。
作为两个实例，深度视图分量的空间分辨率可为纹理视图分量的空间分辨率的四分之一或二分之一。对于四分之一分辨率，视频译码器可在x及y维度中的每一者中向下取样达二分之一以获得总共达四分之一的向下取样。对于二分之一分辨率，视频译码器可在x或y维度中向下取样二分之一以获得总共达二分之一的向下取样。
有可能深度视图分量的空间分辨率为纹理视图分量的空间分辨率的某一其它分数，包含大于二分之一且小于一或小于四分之一的比率。仅出于说明的目的，描述实例中的许多者，其中深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一。然而，所述技术可同样延伸到其它比率，例如二分之一、八分之一、十六分之一等，包含非双值比率(non-dyadic ratio)。
在其中空间分辨率不同的情况下，可能难以确定如何使用纹理视图块的运动信息预测对应深度视图块。举例来说，当深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一时，深度视图分量中的一个视频块对应于纹理视图分量中的四个视频块。
在此情况下，有可能以不同方式预测纹理视图分量中的四个视频块中的一或多者。举例来说，纹理视图分量中的四个视频块中的一些可经帧内预测，且其它者可经帧间预测。作为另一实例，纹理视图分量中的视频块的运动向量可不同。作为又一实例，纹理视图分量中的视频块的分割可使得分区的运动信息可能不可用于对应深度视图块。当纹理视图分量与深度视图分量的空间分辨率不同时，可存在其它此些问题。
本发明中描述的技术确定视频译码器是否应在具有不对称空间分辨率(例如，其中空间分辨率不同)的纹理视图分量与深度视图分量当中利用内部视图运动预测(IVMP)。当视频译码器确定不能利用IVMP时，视频译码器可仍从对应纹理视图分量中的一或多个对应纹理视图块的分区预测深度视图分量中的深度视图块的分区。
而且，当视频译码器确实利用IVMP时，本发明中描述的技术在深度视图分量与纹理视图分量的空间分辨率不同时从对应纹理视图块确定深度视图块的运动信息。举例来说，所述技术确定基于对应纹理视图块的运动信息所预测的深度视图块的运动向量、参考索引及分割模式中的至少一者。
本发明将描述用于在具有不对称空间分辨率的纹理视图和深度视图当中实施IVMP的若干不同技术。在一些技术中，当深度MB的分区对应于经帧内译码或分割为四个分区的纹理视图MB时可停用IVMP。然而，本发明也引入用于在其中深度视图分区对应于经帧内译码纹理视图MB或深度视图分区对应于经分割为四个分区的纹理视图MB的译码情形中实施IVMP的技术。因此，在本发明的一些技术中，当深度MB的分区对应于经帧内译码或分割为四个分区的纹理视图MB时可启用IVMP。
图1是根据本发明中所描述的一或多个实例的实例多视图视频译码(MVC)编码或解码次序的符号图。举例来说，图1中所说明的解码次序布置称为时间优先译码(time-firstcoding)。在图1中，S0到S7各自是指多视图视频的不同视图。T0到T8各自表示一个输出时间实例。存取单元可包含用于一个输出时间实例的所有视图的经译码图片。举例来说，第一存取单元可包含针对时间实例T0的所有视图S0到S7，第二存取单元可包含针对时间实例T1的所有视图S0到S7，等等。
出于简洁目的，本发明可使用以下定义：
视图分量：单个存取单元中的视图的经译码表示。当视图包含经译码纹理及深度表示两者时，视图分量由纹理视图分量及深度视图分量构成。
纹理视图分量：单个存取单元中的视图的纹理的经译码表示。
深度视图分量：单个存取单元中的视图的深度的经译码表示。
在图1中，所述视图中的每一者包含若干图片集合。举例来说，视图S0包含图片集合0、8、16、24、32、40、48、56及64，视图S1包含图片集合1、9、17、25、33、41、49、57及65，等等。每一集合包含两个图片：一个图片被称作纹理视图分量，且另一图片被称作深度视图分量。视图的图片集合内的纹理视图分量及深度视图分量可认为是对应于彼此。举例来说，视图的图片集合内的纹理视图分量认为是对应于视图的所述图片集合内的深度视图分量，且反之亦然(即，深度视图分量对应于所述集合中的其纹理视图分量，且反之亦然)。如本发明中所使用，对应于深度视图分量的纹理视图分量可被视为纹理视图分量及深度视图分量为单个存取单元的同一视图的部分。
纹理视图分量包含所显示的实际图像内容。举例来说，纹理视图分量可包含明度(Y)及色度(Cb及Cr)分量。深度视图分量可指示其对应纹理视图分量中的像素的相对深度。作为一个实例，深度视图分量为仅包含明度值的灰阶图像。换句话说，深度视图分量可能并不传达任何图像内容，而是提供纹理视图分量中的像素的相对深度的量度。
举例来说，深度视图分量中的纯白色像素指示其在对应纹理视图分量中的对应的一或多个像素较接近于观看者的视角，且深度视图分量中的纯黑色像素指示其在对应纹理视图分量中的对应一或多个像素距观看者的视角较远。黑色与白色之间的各种灰度梯度指示不同深度等级。举例来说，深度视图分量中的深灰色像素指示其在纹理视图分量中的对应像素比深度视图分量中的浅灰色像素更远。因为仅需要灰阶来识别像素的深度，所以深度视图分量不需要包含色度分量，这是因为深度视图分量的颜色值可能并不用于任何目的。
仅使用明度值(例如，强度值)来识别深度的深度视图分量是出于说明的目的而提供，且不应被视为限制性的。在其它实例中，可利用任何技术来指示纹理视图分量中的像素的相对深度。
根据MVC，纹理视图分量是从相同视图中的纹理视图分量或从在一或多个不同视图中但在相同存取单元中的纹理视图分量经帧间预测。类似地，深度视图分量是从相同视图中的深度视图分量或从一或多个不同视图中的深度视图分量经帧间预测。纹理视图分量与深度视图分量可同样地经帧内预测(例如，从相同纹理或深度视图分量内的另一块预测纹理或深度视图分量内的块)。
纹理视图分量可在视频数据块(其被称作“视频块”且在H.264上下文中通常称为“宏块”)中译码。类似地，深度视图分量也作为“视频块”(在H.264标准中通常称为“宏块”)而译码。然而，不同视频块(纹理和深度)通常分开地经译码。其它视频译码标准可将视频块称为树块或译码单元(CU)。
对于帧间译码，运动向量用以定义预测性块，所述预测性块接着用以预测经译码视频块的值。在此情况下，所谓的“残余值”或“差值”连同识别对应预测性块的运动向量一起包含在经编码位流中。解码器接收运动向量及残余值，且使用所述运动向量来从先前解码的视频数据识别预测性块。为重建经编码视频块，解码器组合所述残余值与由运动向量识别的对应预测性块。
本发明中描述的技术是针对使用用于预测纹理视图分量中的块(即，纹理视图块)的信息预测对应深度视图分量中的对应块(即，对应深度视图分量中的对应深度视图块)。用于预测当前纹理视图块的信息称为运动信息。运动信息的实例包含分割模式(例如，进一步分割当前纹理视图块的方式)、运动向量信息(例如所述用以预测当前纹理视图分量的纹理视图块的运动向量)，及参考索引信息(例如，到指示用以帧间预测当前纹理视图块的一或多个其它纹理视图分量的一或多个参考图片列表的一或多个索引)。
换句话说，从参考索引信息，有可能确定用以帧间预测当前纹理视图块的参考纹理视图分量。从运动向量，有可能确定用以帧间预测当前纹理视图块的参考纹理视图分量内的块的位置。
分割模式可指示分割当前纹理视图块的方式。举例来说，H.264/AVC标准定义宏块(MB)为16x16像素。16x16MB可以四个不同方式分割成较小部分：一个16x16MB分区(即，无进一步划分，例如P_Skip、B_Skip、B_Direct_16xl6、P_L0_16xl6、B_L0_16xl6、B_Ll_16xl6或B_Bi_16xl6)、两个16x8MB分区、两个8x16MB分区或四个8x8MB分区。可从不同参考纹理视图块中的分区预测一个MB中的每一MB分区。换句话说，一个MB中的不同MB分区可具有不同参考索引值。
举例来说，一分区可从参考纹理视图分量的一个其它分区预测，其中所述参考纹理视图分量是在两个参考图片列表(称为RefPicList0及RefPicList1)中的一者中识别。在一些其它实例中，一分区可从两个不同参考纹理视图分量的两个其它分区预测，其中所述参考纹理视图分量中的一者是在RefPicList0中识别且另一参考纹理视图分量是在RefPicList1中识别。当一分区从一个其它分区预测时，所述分区称为经单向预测，且当一分区从两个分区预测时，所述分区称为经双向预测。
当MB不分割成四个8x8MB分区时，所述MB可对于每一方向中的每一MB分区具有一个运动向量，其中术语方向用以指示所述分区是相对于RefPicList0、RefPicList1还是RefPicList0及RefPicList1两者中的图片经帧间预测。举例来说，如果一个MB经译码为两个16x8MB分区，则两个16x8分区中的每一者在单向预测的情况下是从参考纹理视图块中的相应16x8分区预测，且对于每一16x8分区(例如，在一个方向上预测)指派一个运动向量。每一者在双向预测的情况下是从两个参考纹理视图块中的相应16x8分区预测，且对于用于每一参考图片列表的每一16x8分区指派两个运动向量(例如，在两个方向上预测)。在一些实例中，一个参考纹理视图块可包含用以帧间预测所述16x8分区中的每一者的16x8分区两者；然而，本发明的方面不限于此。相同情况将适用于两个8x16分区。
在一些实例中，当MB分割成四个8x8MB分区时，每一8x8MB分区进一步分割成子块。这些子块中的每一者可从不同参考纹理视图分量中的不同子块经单向预测或双向预测。可存在四个不同方式来将8x8MB分区进一步分割成子块。所述四个方式包含一个8x8子块(即，无进一步划分)、两个8x4子块、两个4x8子块，及四个4x4子块。
如上文所描述，本发明中描述的技术涉及使用纹理视图块的运动信息用于预测(例如，译码)对应深度视图块。明确地说，本发明中描述的技术涉及其中纹理视图分量与其对应深度视图分量的空间分辨率不同的情境。
举例来说，因为深度视图分量可用灰阶表示，因此深度视图分量可看似其为对应纹理视图分量的黑色及白色版本。在此情况下，深度视图分量与对应纹理视图分量可具有类似的对象轮廓。因为纹理视图分量与其对应深度视图分量具有类似的对象轮廓，所以其可具有类似的对象边界及移动，因而在其运动字段(即，运动信息)中可能存在冗余。
对于其中深度视图分量与其对应空间视图分量的空间分辨率相同的情境，已提议其中来自纹理视图分量的运动信息再用于对应深度视图分量的技术。例如来自纹理视图分量的运动预测等运动信息到对应深度视图分量的再用可实现为新模式。在这些实例中，对于仅在深度视图分量中的经帧间译码MB(即，经帧间预测MB)启用内部视图运动预测(IVMP)模式。在IVMP模式中，包含纹理视图分量中的对应MB的由mb_type、sub_mb_type表示的分割模式、参考索引及运动向量的运动信息由相同视图的深度视图分量再用。可在深度视图分量的每一MB中用信号表示一旗标以指示其是否使用IVMP模式。
mb_type指示分割宏块的方式(即，16x16MB是分割成一个16x16MB分区、两个16x8MB分区、两个8x16MB分区还是四个8x8MB分区)。sub_mb_type指示进一步分割8x8分区的方式(即，8x8分区是分割成一个8x8子块、两个8x4子块、两个4x8子块还是四个4x4子块)。
当启用时，IVMP模式允许深度视图分量以类似于所谓的“合并”模式的方式完全采用对应纹理视图分量的运动信息。在此情况下，深度视图分量可不包含相对于其运动信息的任何额外差量值，而改为采用纹理视图分量的运动信息作为其运动信息。通过定义完全采用纹理视图的运动信息作为深度视图的运动信息的模式而无相对于此运动信息的差量值的任何信令，可实现改善的压缩。
尽管IVMP模式对于其中深度视图分量与纹理视图分量的空间分辨率相同的情况可良好地起作用，但可能存在当深度视图分量与纹理视图分量的空间分辨率不同时存在的某些问题。举例来说，在图1中，视图S0的图片集合0包含纹理视图分量及对应深度视图分量。在本发明中描述的实例中，纹理视图分量与对应深度视图分量的空间分辨率可不同。举例来说，深度视图分量的空间分辨率为对应纹理视图分量的空间分辨率的二分之一或四分之一，但空间分辨率的其它比率是可能的。
当深度视图分量的空间分辨率小于纹理视图分量的空间分辨率时，深度视图分量中的一MB对应于对应纹理视图分量中的多个MB。举例来说，如果深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一，则深度视图分量中的16x16MB对应于纹理视图分量中的四个16x16MB。因为深度视图分量中的一个MB对应于对应纹理视图分量中的多个MB，所以可能不清楚来自纹理视图MB的运动信息是否可用于预测深度视图MB的运动信息。而且，如果此运动信息可用于预测深度视图MB的运动信息，则可能不清楚应使用纹理视图分量的哪一MB的哪一运动信息。
举例来说，假设纹理视图分量中的MB中的一或多者是经帧内译码(即，经帧内预测)，且其它者是经帧间译码(即，经帧间预测)。在此实例中，可能不清楚对应于纹理视图分量的这些MB的深度视图分量的MB应经帧内译码还是经帧间译码。
作为另一实例，假设纹理视图分量中的MB中的一者经分割而具有对于每一分区具有不同参考索引值的一个以上MB分区。参考索引值识别称为RefPicList0及RefPicList1的一个或两个参考图片列表中的参考纹理视图分量。举例来说，假设纹理视图分量中的MB中的一者分割成四个8x8分区、两个16x8分区，或两个8x16分区。在此情况下，这些分区中的每一者对应于小于8x8的深度视图分量中的MB的子块。
举例来说，如果深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一，则纹理视图分量中的MB的8x8分区中的每一者对应于与纹理视图分量的MB对应的深度视图分量中的MB的4x4子块。类似地，纹理视图分量中的MB的16x8分区或8x16分区中的每一者分别对应于与纹理视图分量的MB对应的深度视图分量中的MB的8x4子块或4x8子块。
在此实例中，深度视图分量中的4x4子块、8x4子块及4x8子块中的每一者在大小上小于8x8。H.264/AVC标准可能不允许相对于不同参考者预测在相同分区内的小于8x8的块。举例来说，假设纹理视图块分割成四个8x8MB分区，且从不同参考纹理视图分量预测所述四个8x8分区的第一8x8分区及第二8x8分区。在此实例中，纹理视图块中的第一8x8分区对应于深度视图块的8x8分区中的第一4x4子块，且纹理视图块中的第二8x8分区对应于深度视图块的相同8x8分区中的第二4x4子块。
因此，在此实例中，将需要从不同参考深度视图分量预测深度视图块中的第一4x4子块及深度视图块中的第二4x4子块，因为纹理视图块中的第一8x8分区与第二8x8分区是从不同参考纹理视图分量预测的。然而，H.264/AVC标准可能不允许此预测。举例来说，在H.264/AVC中，可能不允许从不同参考分量预测属于相同分区的两个子块(即，可能需要所述子块中的每一者的参考索引值相同以符合H.264/AVC)。
在其中纹理视图块分割成一个以上分区且所述分区中的两者或两者以上是相对于不同参考纹理视图分量预测的上述方案中，此可导致需要违反H.264/AVC标准而加以预测的深度视图块。此为当纹理视图分量与深度视图分量的空间分辨率不同时存在的问题的另一实例。
作为空间分辨率不同时可能存在的问题的又一实例，有可能纹理视图块分割成一个以上MB分区，且所述MB分区中的每一者的参考索引值相同。举例来说，16x16纹理视图块可分割成四个8x8分区，且从相同参考纹理视图分量预测纹理视图块中的所述8x8分区中的每一者。
在此实例中，将遵照H.264/AVC标准从相同参考深度视图分量预测深度视图块的所述8x8分区中的对应子块。然而，如果纹理视图块中的8x8分区中的一者进一步分割成子块，则可能存在映射到深度视图块的所述8x8分区中的一个4x4子块的多个运动向量。
举例来说，假设纹理视图块中的四个8x8分区中的第一分区进一步分割成识别为纹理视图块的第一到第四子块的四个4x4子块。在此实例中，纹理视图块中的四个8x8分区中的第一分区对应于对应深度视图块中的一个4x4子块。而且，在此实例中，纹理视图块中的第一8x8分区的第一到第四子块是利用不同运动向量预测，但所述运动向量指向相同参考纹理视图分量。因此，在此实例中，不清楚纹理视图块的第一到第四子块的运动向量当中的哪一运动向量应用作用于对应深度视图块中的4x4子块的运动向量。
如将更详细描述的，本发明的技术解决在纹理视图分量与深度视图分量的空间分辨率不同时存在的这些或其它问题。举例来说，本发明中描述的技术支持具有不对称分辨率(例如，当深度视图分量的空间分辨率小于纹理视图分量的空间分辨率时)的内部视图运动预测(IVMP)。
举例来说，甚至当空间分辨率不同时，本发明中描述的技术仍从对应纹理视图块的运动信息确定深度视图块的运动信息。在一些实例中，本发明的技术针对深度视图块所确定的运动信息可包含分割模式信息、参考索引信息，及运动向量信息。
明确地说，本发明中描述的技术可允许例如视频编码器或视频解码器等视频译码器执行分割模式预测、参考索引预测及运动向量预测以用于基于对应于深度视图分量中的宏块的纹理视图分量中的一或多个宏块的分割模式信息、参考索引信息及运动向量信息译码(例如，编码或解码)深度视图分量中的宏块。出于说明的目的，通过其中深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一或二分之一的实例描述所述技术。然而，本发明的方面不限于纹理视图分量与深度视图分量之间的这些特定空间分辨率比率。
在描述视频译码器执行深度视图块的运动信息预测的实例方式之前，图2到4B提供一些额外上下文。举例来说，图2进一步说明多视图视频译码中的实例性预测模式。图3、4A及4B进一步说明当纹理视图分量与深度视图分量的空间分辨率不同时可能出现的潜在问题。
图2是说明实例MVC预测模式的概念图。在图2的实例中，说明八个视图(具有视图ID“S0”到“S7”)，且对于每一视图说明十二个时间位置(“T0”到“T11”)。即，图2中的每一行对应于一视图，而每一列指示一时间位置。
尽管MVC具有可通过H.264/AVC解码器解码的所谓的基础视图且立体视图对也可由MVC支持，但MVC的优点是其可支持使用两个以上视图作为3D视频输入且解码由所述多个视图表示的此3D视频的实例。具有MVC解码器的客户端的再现器(renderer)可预期具有多个视图的3D视频内容。
图2中的图片指示为处于图2中的每一行与每一列的交叉点处。H.264/AVC标准可使用术语帧来表示视频的一部分。本发明可互换地使用术语图片与帧。
图2中的图片是使用包含字母的阴影块说明，所述字母指明对应图片是经帧内译码(即，I图片)还是在一个方向上(即，P图片)还是在多个方向上(即，B图片)经帧间译码。一般来说，预测由箭头指示，其中箭头指向的图片使用箭头出发的图片用于预测参考。举例来说，时间位置T0处的视图S2的P图片是从时间位置T0处的视图S0的I图片预测的。
如同单视图视频编码，多视图视频译码视频序列的图片可相对于不同时间位置处的图片预测性地编码。举例来说，时间位置T1处的视图S0的b图片具有从时间位置T0处的视图S0的I图片指向其的箭头，从而指示所述b图片是从所述I图片预测。然而，另外，在多视图视频编码的情况下，图片可经视图间预测。也就是说，视图分量可使用其它视图中的视图分量用于参考。举例来说，在MVC中，如同另一视图中的视图分量为帧间预测参考而实现视图间预测。潜在视图间参考物在序列参数集(SPS)MVC扩展中用信号表示且可通过参考图片列表建构过程加以修改，所述参考图片列表建构过程实现帧间预测或视图间预测参考物的灵活排序。
图2提供视图间预测的各种实例。在图2的实例中，视图S1的图片说明为是从视图S1的不同时间位置处的图片预测，且是从相同时间位置处的视图S0及S2的图片经视图间预测。举例来说，时间位置Tl处的视图S1的b图片是从时间位置T0及T2处的视图S1的B图片中的每一者以及时间位置T1处的视图S0及S2的b图片预测。
在图2的实例中，大写的“B”及小写的“b”用于指示图片之间的不同阶层关系，而非不同译码方法。大体来说，大写的“B”图片在预测层次上比小写的“b”帧相对高。图2还说明使用不同阴影等级的预测阶层的变化，其中较大阴影量(即，相对较暗)的帧在预测阶层上高于具有较少阴影(即，相对较浅)的那些帧。举例来说，图2中的所有I图片说明为具有完全阴影，而P图片具有稍浅的阴影，且B图片(及小写的b图片)具有相对于彼此的各种阴影等级，但始终比P图片及I图片的阴影浅。
大体来说，预测阶层与视图次序索引有关，其关系在于在预测阶层上相对较高的图片应在解码阶层相对较低的图片之前解码，使得阶层相对较高的那些帧在解码阶层相对较低的图片期间可用作参考图片。视图次序索引为指示存取单元中的视图分量的解码次序的索引。视图次序索引暗含于SPS MVC扩展中，如在H.264/AVC的附件H(MVC修改)中所指定。在SPS中，对于每一索引i，用信号表示对应view_id。视图分量的解码将遵循视图次序索引的升序。如果呈现所有视图，那么视图次序索引为从0到num_views_minus_1的连续次序。
以此方式，用作参考图片的图片在解码参考所述参考图片编码的图片之前进行解码。视图次序索引为指示存取单元中的视图分量的解码次序的索引。对于每一视图次序索引i，用信号表示对应view_id。视图分量的解码遵循视图次序索引的升序。如果呈现所有视图，则视图次序索引集合可包括从零到视图的全部数目少1的连续有序集合。
对于处于阶层的相等等级处的某些图片，相对于彼此的解码次序可能无关紧要。举例来说，时间位置T0处的视图S0的I图片用作时间位置T0处的视图S2的P图片的参考图片，所述P图片又用作时间位置T0处的视图S4的P图片的参考图片。因此，时间位置T0处的视图S0的I图片应在时间位置T0处的视图S2的P图片之前解码，所述P图片应在时间位置T0处的视图S4的P图片之前解码。然而，在视图S1与S3之间，解码次序无关紧要，因为视图S1与S3并不依赖于彼此用于预测，而是仅从在预测阶层中较高的视图预测。此外，视图S1可在视图S4之前解码，只要视图S1在视图S0及S2之后解码即可。
以此方式，阶层式排序可用以描述视图S0到S7。令标号SA>SB意味着视图SA应在视图SB之前解码。在图2的实例中，使用此标号S0>S2>S4>S6>S7。而且，相对于图2的实例，S0>S1、S2>S1、S2>S3、S4>S3、S4>S5，且S6>S5。用于视图的不违反这些要求的任何解码次序是可能的。因此，许多不同解码次序是可能的，只是具有某些限制。
在一些实例中，图2可看作说明纹理视图分量。举例来说，图2中所说明的I、P、B及b图片可被视为视图中的每一者的纹理视图分量。根据本发明中描述的技术，对于图2中所说明的纹理视图分量中的每一者，存在具有不同空间分辨率的对应深度视图分量。在一些实例中，可以类似于图2中针对对应纹理视图分量所说明的方式的方式预测深度视图分量。
然而，在一些实例中，视频编码器编码位流信号或视频解码器接收及解码指示预测深度视图分量内的一或多个宏块的方式的信息可能并无必要。举例来说，有可能深度视图分量中的宏块采用来自纹理视图分量中的对应宏块中的一者的运动信息。以此方式，可能不需要差量值或任何额外此信息用于译码深度视图分量中的宏块。
深度视图分量中的宏块、宏块的分区或分区的子块是否可采用参考索引信息及运动向量信息可基于内部视图运动预测(IVMP)旗标。举例来说，如果视频编码器用信号表示IVMP旗标对于深度视图分量中的宏块(例如，深度视图块)为真，则视频解码器采用参考索引信息及运动向量信息，且基于纹理视图分量中的对应宏块中的一者(例如，对应纹理视图块)确定所利用的深度视图块的分割模式。
在一些实例中，甚至当IVMP旗标对于深度视图块为假时，视频解码器也有可能确定用于深度视图块的分割模式。在此些实例中，视频编码器可能需要在经译码位流中用信号表示且视频解码器可能需要从经译码位流接收关于将预测深度视图块的方式的信息。否则，当IVMP旗标对于深度视图块为真时，视频编码器可能不需要在经译码位流中用信号表示且视频解码器可能不需要从所述经译码位流接收关于预测深度视图块的方式的信息。确切地说，视频解码器可再用对应纹理视图块中的一者的运动信息来确定预测深度视图块的方式。
图3是形成视频序列的图片序列的概念说明，其中深度视图分量的第4图片中的所识别宏块及纹理视图的第4图片中的对应宏块的运动向量再用于深度视图分量中。在图3中，深度视图分量与纹理视图分量的空间分辨率可相同，如所说明。这是为了进一步说明IVMP模式。
在一些实例中，可对于仅具有深度视图分量的经帧间译码(即，经帧间预测)MB启用内部视图运动预测(IVMP)模式。在IVMP模式中，包含纹理视图分量中的对应MB的mb_type、sub_mb_type、参考索引及运动向量的运动信息由相同视图的深度视图分量再用。可在每一MB中用信号表示一旗标以指示其是否使用IVMP模式。如图3中所示，所述旗标对于深度视图的第4图片中所识别的MB可为真，且纹理视图的第4图片(识别为第4图片)中的对应MB的运动向量再用于深度视图分量中突出显示的MB。注意，在一些实例中，IVMP模式仅适用于非锚定图片。
再次，相对于基于另一视图的运动预测一个视图的运动向量的常规技术，与IVMP相关联的技术可实现进一步压缩。举例来说，一些常规可缩放技术允许基于基础视图的运动信息对增强视图进行运动预测，且在一些情况下，所述基础视图可为纹理视图，且所述增强视图可为深度视图。然而，在此等情况下，除指示使用基础视图预测增强视图的预测信息(或旗标)之外，还始终译码残余数据(例如，差量)。相比之下，本发明的技术可利用IVMP模式，其中不译码或不允许差量信息。实际上，对于IVMP模式，纹理视图的运动信息被采用为深度视图的运动信息。
当纹理视图块与深度视图块的空间分辨率相同时，使用纹理视图块的运动信息用于预测深度视图块可良好地起作用。然而，如上文所描述，当空间分辨率不同时可存在某些问题。这在图4A及4B中更详细地说明。
图4A及4B是纹理视图块及深度视图块的概念图，其中纹理视图分量与深度视图分量的空间分辨率不同。为易于描述，在图4A及4B中，深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一。因此，在图4A及4B中，深度视图分量中的一个MB对应于纹理视图分量中的四个MB。
而且，在图4A及4B中，深度视图分量对应于纹理视图分量。举例来说，纹理视图分量及深度视图分量为单个存取单元的相同视图的部分。举例来说，图1中的图片集合33包含单个存取单元的相同视图(即，视图S1)的纹理视图分量及深度视图分量(即，在时间实例T4处)。图片集合33是随机选择以辅助理解。
图4A说明纹理视图宏块2A到2D及深度视图宏块4。纹理视图宏块2A到2D为纹理视图块的一个实例，且深度视图宏块4为深度视图块的一个实例。纹理视图宏块2A到2D各自为纹理视图分量中的宏块的实例。举例来说，纹理视图块2A到2D中的每一个别者为16像素(长度上)乘16像素(宽度上)(即，16x16)。深度视图宏块4为深度视图分量中的宏块的实例。举例来说，深度视图宏块4为16x16像素块。在图4A中，纹理视图宏块2A到2D与深度视图宏块4相对应，因为包含深度视图块4的深度视图分量的空间分辨率为包含纹理视图宏块2A到2D的纹理视图分量的空间分辨率的四分之一。
在此实例中，可能需要使用来自纹理视图宏块2A到2D中的一者的运动信息来预测深度视图宏块4的一个8x8块的运动信息。然而，如果纹理视图宏块2A到2D中的一或多者是经帧内预测，且其它者是经帧间预测，则深度视图宏块4的预测模式可为未知的(即，可能不知道应对深度视图块4进行帧内预测还是帧间预测)。这是因为所有四个纹理视图宏块2A到2D对应于深度视图宏块4。如更详细描述的，本发明中描述的实例提供视频编码器及视频解码器在确定对应深度视图宏块的运动信息时处置如下此些情况的方式：纹理视图宏块中的对应宏块中的一些是经帧内预测，且其它者是经帧间预测。
图4B说明纹理视图宏块6及深度视图宏块10，两者皆为16x16像素块。深度视图宏块10分割成深度视图分区12A到12D。深度视图分区12A到12D中的每一者为8x8像素块。深度视图分区12A到12D为深度视图块的另一实例。
由于深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一，所以8x8深度视图分区12A到12D中的每一者对应于完整的16x16纹理视图宏块。举例来说，8x8深度视图分区12A对应于整个16x16纹理视图宏块6。深度视图分区12B到12D对应于与纹理视图宏块6相邻的整个16x16纹理视图宏块。
如所说明，纹理视图宏块6分割成四个8x8纹理视图分区8A到8D。有可能将纹理视图宏块6分割成两个8x16分区或两个16x8分区。纹理视图分区8A到8D为纹理视图块的另一实例。
在图4B中，因为纹理视图宏块6对应于深度视图分区12A，所以纹理视图分区8A到8D对应于深度视图子块14A到14D。深度视图子块14A到14D为深度视图块的另一实例。举例来说，深度视图分区12A可进一步分割成四个4x4深度视图子块14A到14D。这些4x4深度视图子块14A到14D中的每一者对应于纹理视图分区8A到8D中的相应者。举例来说，8x8纹理视图分区8A对应于4x4深度视图子块14A，8x8纹理视图分区8B对应于4x4深度视图子块14B，等。
在一些实例中，纹理分区8A到8D中的每一者可利用不同参考纹理视图分量经帧间预测。举例来说，如上文所描述，用作参考纹理视图分量的一或多个纹理视图分量是在称为RefPicList0及RefPicList1的参考图片列表中识别。参考索引为对用以识别参考纹理视图分量的这些列表中的一者的索引。如果纹理视图分区8A到8D中的一者是相对于一个参考纹理视图分量(例如，在一个方向上)经帧间预测，则对于纹理视图分区8A到8D中的所述一者存在对RefPicList0或RefPicList1的一个参考索引。如果纹理视图分区8A到8D中的一者是相对于两个参考纹理视图分量(例如，在两个方向上)经帧间预测，则对于纹理视图分区8A到8D中的所述一者存在两个参考索引，一个用于RefPicList0且一个用于RefPicList1。
如果纹理视图分区8A到8D是利用不同参考纹理视图分量经帧间预测，则有可能纹理视图分区8A到8D的参考索引不同。这将需要从不同参考深度视图分量对深度视图子块14A到14D中的一或多者进行帧间预测。
然而，例如具有MVC扩展的H.264/AVC等一些标准可能不允许此类结果。举例来说，H.264标准可能要求对于在子块内的在大小上小于8x8的块，必须从相同参考物对此些块进行帧间预测。举例来说，深度视图子块14A到14D为4x4，且因此在大小上小于8x8。因此，H.264标准可能要求必须从相同参考深度视图分量对所有深度视图子块14A到14D进行帧间预测。然而，如果相对于不同参考纹理视图分量对纹理视图分区8A到8D中的一或多者进行帧间预测，则这将导致相对于不同参考深度视图分量预测深度视图子块14A到14D，这在H.264标准中可能不被允许。如更详细描述的，本发明中描述的实例提供用以解决此类情境的技术。
在一些替代实例中，有可能相对于相同参考纹理视图分量对纹理视图分区8A到8D中的每一者进行帧间预测(例如，基于所述分区是经单向预测还是双向预测，对RefPicList0及/或RefPicList1的参考索引相同)。在此情况下，将从相同参考深度视图分量预测深度视图子块14A到14D中的每一者，这将符合H.264标准的要求。
然而，甚至在此情况下，纹理视图分区8A到8D中的一或多者的运动向量仍可能不同。举例来说，用于纹理视图分区8A的运动向量与用于纹理视图分区8B的运动向量可能不同，但两个运动向量是从相同参考纹理视图分量引出。在此情况下，可能不清楚使用哪一运动向量用于对深度视图分区12A进行帧间预测。本发明中描述的实例提供用以解决此类情境的技术。
明确地说，本发明中描述的实例是在视频编码器及视频解码器的上下文中描述。与本发明一致的视频编码器可大体上符合联合多视图视频译码(JMVC)编码器方案。在此情况下，视图经逐一编码。在每一视图内部，首先编码纹理序列，且接着编码深度序列。
当启用IVMP模式时，在纹理视图分量编码期间，将每一纹理视图分量的运动字段写入到运动文件中，其名称可在配置文件中指定。在编码相同视图的对应深度分量时，可读取所述运动文件以供参考。
所述视频解码器可类似于JMVC解码器，其修改是还解码及输出每一视图的深度序列。其它视频译码编码器可指3D-ATM及3D-HTM，其用于基于AVC/基于HEVC的多视图/3D视频译码标准。当启用IVMP模式时，每一纹理视图分量的运动经存储且采用为每一对应深度视图的运动。对于其中停用IVMP模式的任何块，深度视图可包含其自身的运动信息，或可包含一些其它语法元素以识别在哪里获得、预测或采用其相应运动信息。
图5、6及7的以下论述描述其中可使用本发明的技术的一些示范性情形。举例来说，图5说明视频编码器及视频解码器的实例。图6及7分别更详细地说明视频编码器及视频解码器的实例。视频编码器及视频解码器的所说明实例可经配置以实施本发明中描述的实例技术。
举例来说，当纹理视图分量与深度视图分量的空间分辨率不同时，在一些实例中，视频编码器可用信号表示IVMP旗标对于深度视图分量中的特定宏块为真(例如，IVMP旗标的为1的位值可指示IVMP旗标为真)；然而，视频编码器用信号表示IVMP旗标并非在每一实例中都是必要的。当IVMP旗标为真时，视频编码器可经配置以不用信号表示深度视图分量中的宏块的运动信息。视频解码器可经配置以确定宏块的运动信息而不接收运动信息。举例来说，视频解码器确定深度视图分量的宏块的分割模式信息、参考索引信息及运动向量信息中的至少一者而不从视频编码器接收所述运动信息。
在一些实例中，甚至当视频编码器用信号表示IVMP旗标为假(例如，为零的位值)时，视频解码器也可经配置以确定深度视图分量中的宏块的分割模式信息。在这些实例中，视频编码器可用信号表示指示视频解码器应确定深度视图分量中宏块的运动信息的方式的额外信息。举例来说，在一些实例中，当IVMP旗标为假时，视频解码器能够确定宏块的分割模式信息，但可能需要额外信息来确定参考索引及运动向量信息。视频编码器在IVMP为假时作为语法元素用信号表示的此额外信息可为参考索引及运动向量信息或指示在哪里获得、预测或采用参考索引及运动向量信息的信息的明确信令。
图5是说明可利用本发明中描述的技术的实例视频编码和解码***16的框图。如图5中所示，***16包含源装置18，其产生稍后将由目的地装置20解码的经编码视频数据。源装置18及目的地装置20包括广泛范围的装置中的任一者，包含例如所谓的“智能”电话、所谓的“智能”平板计算机等无线手持机，或经装备以用于无线通信的其它此类无线装置。源装置18及目的地装置20的额外实例包含(但不限于)数字电视、数字直播***中的装置、无线广播***中的装置、个人数字助理(PDA)、膝上型计算机、桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式无线电电话、卫星无线电电话、视频电话会议装置，及视频流式传输装置，或类似者。
目的地装置20可经由链路22接收待解码的经编码视频数据。链路22可包括能够将经编码视频数据从源装置18移动到目的地装置20的任何类型的媒体或装置。在一个实例中，链路22可包括使得源装置18能够实时地将经编码视频数据直接发射到目的地装置20的通信媒体。经编码的视频数据可以根据通信标准(例如无线通信协议)得到调制，且被发射到目的地装置20。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线路。通信媒体可能形成分组网络(例如局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置18到目的地装置20的通信的任何其它设备。
或者，可将经编码数据从输出接口28输出到存储装置39。类似地，可通过输入接口从存储装置39存取经编码数据。存储装置39可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码视频数据的适当数字存储媒体。在另一实例中，存储装置39可对应于文件服务器或可保持源装置18产生的经编码视频的另一中间存储装置。目的地装置20可经由流式传输或下载从存储装置39存取所存储的视频数据。文件服务器可以是能够存储经编码视频数据并且将所述经编码视频数据发射到目的地装置20的任何类型的服务器。实例文件服务器包含万维网服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置20可通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。此可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置39的传输可为流式传输、下载传输或两者的组合。
本发明的技术不一定限于无线应用或环境。所述技术可应用于视频译码以支持多种多媒体应用，例如空中电视广播、有线电视发射、***发射、流式视频传输(例如，经由因特网)、编码视频数据以存储于数据存储媒体上、解码存储于数据存储媒体上的视频数据，或其它应用。在一些实例中，***16可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频回放、视频广播及/或视频电话等应用。
在图5的实例中，源装置18包含视频源24、视频编码器26和输出接口28。在一些状况下，输出接口28可包含调制器/解调器(调制解调器)及/或发射器。在源装置18中，视频源24可包含例如视频俘获装置(例如摄像机)、包含先前俘获的视频的视频存档、用于从视频内容提供者接收视频的视频馈入接口及/或用于产生计算机图形数据作为源视频的计算机图形***，或此类源的组合等源。作为一个实例，如果视频源24是摄像机，那么源装置18及目的地装置20可形成所谓的相机电话或视频电话。然而，本发明中所描述的技术可大体上适用于视频译码，且可应用于无线及/或有线应用。
可由视频编码器26对所俘获、预先俘获或计算机产生的视频进行编码。经编码视频数据可经由源装置18的输出接口28直接发射到目的地装置20。经编码视频数据还可(或替代地)存储到存储装置39上以供稍后由目的地装置20或其它装置存取以用于解码及/或回放。
目的地装置20包含输入接口34、视频解码器36和显示装置38。在一些状况下，输入接口34可包含接收器和/或调制解调器。目的地装置20的输入接口34经由链路22接收经编码视频数据。经由链路22传送或在存储装置39上提供的经编码视频数据可包含由视频编码器26产生的多种语法元素以供由例如视频解码器36等视频解码器用于解码视频数据。此类语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服务器中的经编码视频数据包含在一起。
显示装置38可与目的地装置20集成或在目的地装置20外部。在一些实例中，目的地装置20可包含集成显示装置，且还经配置以与外部显示装置介接。在其它实例中，目的地装置20可为显示装置。总的来说，显示装置28将经解码视频数据显示给用户，并且可包含多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器26及视频解码器36可根据视频压缩标准操作，所述视频压缩标准例如包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(还称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。MVC的新近公开可用的联合草案描述于“用于通用视听服务的高级视频译码(Advanced video coding for genericaudiovisual services)”(ITU-T推荐H.264(ITU-T Recommendation H.264)，2010年3月)中。MVC的更近的公开可用的联合草案描述于“用于通用视听服务的高级视频译码”(ITU-T推荐H.264，2011年6月)中。MVC的当前联合草案已从2012年1月起获得审批。另外，存在一种新的视频译码标准，即高效率视频译码(HEVC)标准，其目前正由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。HEVC的新近工作草案(WD)(在下文中称为HEVC WD8)从2012年7月20日起可从http://phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip获得。出于描述的目的，在HEVC或H.264标准及此些标准的扩展的上下文中描述视频编码器26及视频解码器36。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。例如称为On2VP6/VP7/VP8的那些译码技术的专属译码技术也可实施本文所述的技术中的一或多者。
尽管图5中未展示，但在一些方面中，视频编码器26及视频解码器36可各自与音频编码器及解码器集成，且可包含适当多路复用器-多路分用器单元或其它硬件及软件以处置对共同数据流或单独数据流中的音频或视频两者的编码。在一些实例中，如果可适用，多路复用器-多路分用器单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)的其它协议。
视频编码器26及视频解码器36各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器26及视频解码器36中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编解码器)的部分。
视频序列通常包括一系列视频帧。图片群组(GOP)一般来说包括一系列一或多个视频帧。GOP可包含GOP的标头、GOP的一或多个帧的标头或其它地方中的语法数据，其描述GOP中包含的帧的数目。每一帧可包含描述相应帧的编码模式的帧语法数据。视频编码器26通常对各个视频帧内的译码单位进行操作以便编码视频数据。视频块可对应于宏块、宏块的分区，且可能对应于分区的子块。视频块可具有固定或变化的大小，且可根据指定译码标准而大小不同。每一视频帧可包含多个切片。每一切片可包含多个宏块，宏块可布置成分区(还称为子块)。
作为一实例，ITU-T H.264标准支持各种块大小的帧内预测(例如用于明度分量的16乘16、8乘8或4乘4及用于色度分量的8x8)，以及各种块大小的帧间预测，例如用于明度分量的16x16、16x8、8x16、8x8、8x4、4x8及4x4及用于色度分量的对应缩放大小。在本发明中，“NxN”及“N乘N”可互换使用来指在垂直及水平尺寸方面的块的像素尺寸，例如，16x16像素或16乘16像素。总的来说，16x16块将在垂直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样，NxN块总体上在垂直方向上具有N个像素，并且在水平方向上具有N个像素，其中N表示非负整数值。一块中的像素可布置成若干行和若干列。此外，块未必需要在水平方向与垂直方向上具有相同数目的像素。举例来说，块可包括NxM像素，其中M未必等于N。
小于16乘16的块大小可被称为16乘16宏块的分区。视频块可包括像素域中的像素数据块或变换域中的变换系数块(例如在将例如离散余弦变换(DCT)、整数变换、小波变换或在概念上类似的变换等变换应用到表示经译码视频块与预测性视频块之间的像素差的残余视频块数据之后)。在一些情况下，视频块可包括变换域中的经量化变换系数块。
较小视频块可提供更佳分辨率，且可用于视频帧的包含高等级细节的位置。大体来说，宏块及各种分区(包含分区的进一步分区，有时称为子块)可认为是视频块。此外，可将切片视为多个视频块，例如宏块及/或子块。每一切片可为视频帧的可独立解码的单元。或者，帧本身可为可解码单元，或帧的其它部分可被定义为可解码单元。术语“可解码单元”可指视频帧的任何可独立解码的单元，例如完整帧、帧的切片、图片群组(GOP)(还称为序列)，或根据适用译码技术定义的另一可独立解码的单元。
当宏块经帧内模式编码(例如，经帧内预测)时，所述宏块可包含描述宏块的帧内预测模式的数据。作为另一实例，当宏块经帧间模式编码(例如，经帧间预测)时，所述宏块可包含定义宏块的运动向量的信息。定义宏块的运动向量的数据可描述例如运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)。此外，当经帧间预测时，宏块可包含参考索引信息，例如运动向量指向的参考帧，及/或所述运动向量的参考图片列表(例如，RefPicList0或RefPicList1)。
JCT-VC正在努力开发HEVC标准。所述HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的进化的模型。HM根据(例如)ITU-T H.264/AVC假设视频译码装置相对于现有装置的若干额外能力。举例来说，虽然H.264提供9种帧内预测编码模式，但HM可提供多达三十三种方向/角度帧内预测编码模式加DC及平面模式。
HM的工作模型描述视频帧或图片可划分成包含明度及色度样本两者的一连串树块或最大译码单元(LCU)。树块具有与H.264标准的宏块类似的目的。切片包含呈译码次序的多个连续树块。视频帧或图片可分割成一或多个切片。每一树块可以根据四叉树而***成译码单元(CU)。举例来说，作为四叉树的根节点的树块可***成四个子节点，且每一子节点又可为父代节点且可***成另外四个子节点。最终的未***的子节点(作为四叉树的叶节点)包括译码节点，即经译码视频块。与经译码位流相关联的语法数据可定义树块可***的最大次数，且还可定义译码节点的最小大小。在一些实例中，树块可称为LCU。
CU包含译码节点及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小可以从8x8像素到具有最大64x64像素或更大的树块的大小变动。每一CU可以含有一或多个PU及一或多个TU。举例来说，与CU相关联的语法数据可描述将CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有所不同。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树分割成一或多个TU。TU可为正方形或非正方形形状。
HEVC标准允许根据TU变换，TU可以针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而确定，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残余样本可以使用被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称作变换单元(TU)。可以变换与TU相关联的像素差值以产生变换系数，可以将所述变换系数量化。
一般来说，PU包含与预测过程有关的数据。举例来说，当PU经帧内模式编码时，PU可包含描述PU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义PU的运动向量的数据。举例来说，定义PU的运动向量的数据可描述运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考图片及/或运动向量的参考图片列表(例如，列表0或列表1)。
一般来说，TU用于变换及量化过程。具有一或多个PU的给定CU还可包含一或多个变换单元(TU)。在预测之后，视频编码器26可计算对应于PU的残余值。残余值包括像素差值，所述像素差值可变换成变换系数、经量化且使用TU进行扫描以产生串行化变换系数以用于熵译码。本发明通常使用术语“视频块”来指CU的译码节点。在一些特定情况下，本发明还可使用术语“视频块”来指包含译码节点以及PU及TU的树块，即，LCU或CU。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)总体上包括一系列视频图片中的一或多者。GOP可包含GOP的标头、图片中的一或多者的标头或其它地方中的语法数据，其描述GOP中包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器26通常对个别视频切片内的视频块进行操作以便编码视频数据。视频块可以对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而大小不同。
作为实例，HM支持各种PU大小的预测。假设特定CU的大小为2Nx2N，那么HM支持2Nx2N或NxN的PU大小的帧内预测，及2Nx2N、2NxN、Nx2N或NxN的对称PU大小的帧间预测。HM还支持用于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的帧间预测的不对称划分。在不对称分割中，不分割CU的一个方向，而将另一方向分割成25％及75％。CU的对应于25％分区的部分由“n”指示，接着是用“上”、“下”、“左”或“右”指示。因此，例如，“2NxnU”是指经水平分割的2Nx2N CU，其中顶部为2Nx0.5NPU，而底部为2Nx1.5N PU。
在H.264标准或HEVC标准中，在帧内预测性或帧间预测性译码之后，视频编码器26可在HEVC中计算CU的TU的残余数据或在H.264中计算宏块的残余数据。PU可包括空间域(还被称作像素域)中的像素数据，且在将变换应用到残余视频数据之后，TU可包括变换域中的系数，所述变换例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换。残余数据可对应于未经编码图片的像素与对应于PU的预测值(在HEVC中)或宏块的预测值(在H.264中)之间的像素差。
在用于产生变换系数的任何变换之后，视频编码器26可以执行变换系数的量化。量化通常是指变换系数经量化以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说，n位值可在量化期间被舍去到m位值，其中n大于m。
在一些实例中，视频编码器26可利用预定义扫描次序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器26可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器26可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对所述一维向量进行熵编码。视频编码器26还可对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器36在解码视频数据时使用。
为了执行CABAC，视频编码器26可向待发射的符号指派上下文模型内的上下文。举例来说，所述上下文可以涉及符号的相邻值是否为非零。为了执行CAVLC，视频编码器26可选择用于待发射的符号的可变长度码。VLC中的码字可经建构而使得相对较短的码对应于更有可能的符号，而较长的码对应于不太可能的符号。举例来说，与对待发射的每一符号使用等长度码字的情形相比较，以此方式，使用VLC可实现位节省。概率确定可基于指派给符号的上下文。
在本发明中描述的实例中，视频编码器26可以上文所描述的方式对纹理视图分量的宏块及深度视图分量的宏块进行帧内或帧间预测。视频解码器36可执行由视频编码器26执行的功能的反转或互逆以解码经编码宏块。举例来说，当纹理视图分量中宏块是经帧间译码(例如，经帧间预测)时，视频编码器26用信号表示定义所述宏块用于运动信息的语法元素，例如分割模式信息、参考索引信息，及运动向量信息。视频解码器36接收宏块的运动信息语法元素，且基于所接收的运动信息解码所述宏块以重建原始纹理视图分量。视频编码器26及视频解码器36对于深度视图分量的宏块执行类似的功能。
然而，对于一些情境，视频编码器26可能不需要用信号表示定义深度视图分量的宏块的运动信息的语法元素。确切地说，对于深度视图分量的一些宏块，视频编码器26可用信号表示IVMP旗标，如上文所描述；然而，并非在每一实例中都需要用信号表示IVMP旗标。当不用信号表示IVMP旗标时，视频解码器36基于先前经解码块的状态确定IVMP旗标的状态，而无需接收IVMP旗标。
当IVMP旗标对于深度视图分量中的宏块为真时，视频解码器36使用来自纹理视图分量的对应宏块中的一者的运动信息解码深度视图分量中的宏块。再次，在本发明中描述的实例中，纹理视图分量与深度视图分量的空间分辨率可能不同，使得纹理视图分量中的多个宏块对应于深度视图分量中的一个宏块。
如本发明中所使用，术语“对应”或“对应的”可与术语“相关联”或“位于同一地点的”可互换地使用。举例来说，如上文所描述，深度视图分量指示其对应纹理视图分量中的像素的相对深度。以此方式，深度视图分量及其对应纹理视图分量认为是与彼此相关联。因此，纹理视图分量中的多个宏块(即，纹理视图宏块)可认为与深度视图宏块相关联。而且，纹理视图宏块及其对应深度视图宏块中的一者可位于相应分量中的相同位置。举例来说，位于纹理视图分量的左上拐角中的纹理视图宏块对应于位于深度视图分量的左上拐角中的深度视图宏块。以此方式，纹理视图宏块及其对应深度视图宏块认为是位于同一地点的。
根据本发明中描述的技术，当视频解码器36确定启用IVMP时(例如，通过接收IVMP旗标或在不接收IVMP旗标的状态的情况下确定IVMP旗标的状态)，视频解码器36确定如何使用来自对应于深度视图宏块的纹理视图宏块中的一者的运动信息。而且，即使视频解码器36确定对于深度视图宏块停用IVMP，视频解码器36仍可能能够确定所述深度视图宏块的一些运动信息。
仅出于说明的目的，首先通过其中深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一的实例描述所述技术。对于这些情况，存在各自依次描述的各种可能技术。接下来，通过其中深度视图分量的空间分辨率为纹理视图分量的空间分辨率的二分之一的实例描述所述技术。类似地，对于这些情况，存在各自依次描述的各种可能技术。
在其中深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一的实例中，深度视图分量的宽度为纹理视图分量的宽度的二分之一，且深度视图分量的高度为纹理视图分量的高度的二分之一。视频解码器36针对深度视图宏块所确定的运动信息的实例包含分割模式信息、参考索引信息，及运动向量信息。
作为一个实例，如果纹理视图分量中的对应宏块中的任一者是经帧内预测，则可停用IVMP。举例来说，返回参考图4A，纹理视图宏块2A到2D对应于深度视图宏块4。在此实例中，如果纹理视图宏块2A到2D中的任一者是经帧内预测，则视频编码器26可用信号表示IVMP旗标为假(例如，为零)以指示对于深度视图宏块4停用IVMP。或者，视频解码器36可能先前已解码纹理视图宏块2A到2D，且可确定对于深度视图宏块4停用IVMP而不需要从视频编码器26接收IVMP旗标。在任一情况下，视频解码器36可能不能够使用纹理视图宏块2A到2B中的任一者的运动信息用于解码深度视图宏块4。确切地说，视频编码器26可向视频解码器36用信号表示向视频解码器36指示解码深度视图宏块4所需的信息的额外信息。
作为另一实例，如果纹理视图分量中的对应宏块中的任一者具有等于“四个8x8MB分区”的宏块分割模式，则可停用IVMP。举例来说，返回参考图4B，纹理视图宏块6分割成四个8x8纹理视图分区8A到8D。在此情况下，视频编码器26可用信号表示IVMP旗标为假以指示对于深度视图宏块10停用IVMP。或者，因为视频解码器36可能在解码深度视图宏块10之前已经解码纹理视图宏块6，所以视频解码器36可确定对于深度视图宏块10停用IVMP而不需要接收IVMP旗标。
而且，在图4A中，如果纹理视图宏块2A到2D中的任一者分割成四个8x8MB分区，则视频编码器26可用信号表示IVMP旗标为假以指示对于深度视图宏块4停用IVMP。再次，有可能使视频解码器36确定对于深度视图宏块4停用IVMP而不明确地从视频编码器26接收IVMP旗标。在此实例中，对于深度视图宏块4及深度视图宏块10两者，视频编码器26可用信号表示视频解码器36接收以确定解码经编码深度视图宏块4及深度视图宏块10的方式的额外信息。
如上文所描述，在一些实例中，当停用IVMP时，视频编码器26没有必要明确地用信号表示IVMP对于深度视图宏块为假。举例来说，当视频解码器36正解码纹理视图宏块2A到2D时，在一些情况下，视频解码器36确定纹理视图宏块2A到2D中的至少一者是经帧内预测。在此情况下，视频解码器36确定对于深度视图宏块4停用IVMP而不需要从视频编码器26接收IVMP旗标。类似地，当解码纹理视图宏块6时，视频解码器36确定所述纹理视图宏块分割成四个8x8纹理视图分区8A到8D。在此情况下，视频解码器36确定对于深度视图宏块10停用IVMP(例如，IVMP旗标为假)而不需要从视频编码器26接收IVMP旗标。以此方式，视频编码器26不需要在每一实例中都用信号表示IVMP旗标，由此进一步提高带宽效率。
当纹理视图宏块的宏块分区为“四个8x8MB分区”时或当纹理视图分量中的对应宏块中的至少一者是经帧内预测时，即使停用IVMP，视频解码器36仍有可能确定对应深度视图宏块的分割模式。举例来说，当纹理视图宏块的宏块分区为“四个8x8MB分区”时，视频解码器36经配置以将对应深度视图宏块的宏块分区设定为“四个8x8MB分区”。类似地，如果纹理视图分量中的对应宏块中的任一者是经帧内预测，则视频解码器36经配置以将对应深度视图宏块的宏块分区设定为“四个8x8MB分区”。举例来说，返回参看图4B，视频解码器36将深度视图宏块10的宏块分区设定为“四个8x8MB分区”(例如，深度视图分区12A到12D)。
此外，因为视频解码器36将深度视图宏块10的宏块分区设定为“四个8x8MB分区”，所以在编码期间，视频编码器26也可将深度视图宏块10的宏块分区设定为“四个8x8MB分区”。以此方式，视频编码器26可经配置以将深度视图宏块10的宏块分区设定为“四个8x8MB分区”，且对于此实例，可经配置以用信号表示视频解码器36用以确定用于解码深度视图宏块10的运动信息的额外信息。
当深度视图分量为其对应纹理视图分量的分辨率的四分之一时，深度视图分量中的一个8x8宏块分区对应于纹理视图分量中的一个16x16宏块、纹理视图分量中的宏块的两个16x8宏块分区，或纹理视图分量中的宏块的两个8x16宏块分区。因此，针对深度视图分量中的8x8宏块分区描述以下实例。
再次，如上文所描述，如果对应16x16深度视图宏块的16x16纹理视图宏块中的任一者分割成四个8x8宏块分区或译码为帧内预测模式，则停用IMVP。如果所有对应16x16纹理视图宏块分割为一个16x16宏块分区、两个16x8宏块分区或两个8x16宏块分区，则在一些情况下启用IVMP，但可在一些其它情况下停用IVMP，如下文所描述。
此外，如果与用于纹理视图分量中的对应宏块的参考图片具有相同图片次序计数(POC)的图片不包含在用于深度视图分量的参考图片列表中，则可停用IVMP。举例来说，视频编码器26及视频解码器36可各自建构用于纹理视图分量及深度视图分量的参考图片列表(例如，RefPicList0及/或RefPicList1)。如果对应于参考纹理视图分量的参考深度视图分量不在用于深度视图分量的所建构参考图片列表中，则可停用IVMP。在此实例中，参考纹理视图分量用以对对应纹理视图分量的对应块进行帧间预测。
举例来说，当8x8深度视图宏块分区对应于一个16x16纹理视图宏块分区例如mb_type等于P_Skip、B_Skip、B_Direct_16xl6、P_L0_16xl6、B_L0_16xl6、B_Ll_16xl6或B_Bi_16x16)时，可启用IVMP。在此情况下，视频解码器36可将用于8x8深度视图宏块分区的参考索引设定为一个16x6纹理视图宏块分区的参考索引。而且，在此情况下，视频解码器36可将用于8x8深度视图宏块分区的分区设定为“一个8x8子块”。
举例来说，视频编码器26可能已利用一个参考纹理视图分量(即，单向预测)或两个参考纹理视图分量(即，双向预测)帧间预测一个16x6纹理视图宏块分区。视频解码器36可经配置以构造识别参考纹理视图分量的参考图片列表(即，RefPicList0及RefPicList1)，所述参考纹理视图分量用以帧间预测所述一个16x16纹理视图宏块分区。参考纹理视图分量可用指示纹理视图分量的显示或输出次序的其相应图片次序计数(POC)值来加以识别。在此实例中，如果是单向预测，则视频编码器26可能已用信号表示对RefPicList0或RefPicList1中的一者的参考索引，RefPicList0或RefPicList1中的所述一者识别视频编码器26用以帧间预测所述一个16x16纹理视图宏块的参考纹理视图分量(例如，通过其POC值)。如果是双向预测，则视频编码器26可能已用信号表示对RefPicList0及RefPicList1中的每一者的参考索引，其识别视频编码器26用以帧间预测所述一个16x16纹理视图宏块的参考纹理视图分量(例如，通过其POC值)。
类似于纹理视图分量，对于8x8深度视图宏块分区，视频解码器36可经配置以建构识别用以帧间预测8x8深度视图宏块分区的参考纹理视图分量的参考图片列表。为避免混淆，识别参考纹理视图分量的参考图片列表称为纹理视图RefPicList0及纹理视图RefPicList1，且识别参考深度视图分量的参考图片列表称为深度视图RefPicList0及深度视图RefPicList1。
在此实例中，其中8x8深度视图宏块分区对应于一个16x16纹理视图宏块分区，纹理视图RefPicList0及纹理视图RefPicList1中识别的纹理视图分量对应于深度视图RefPicList0及深度视图RefPicList1中识别的深度视图分量。举例来说，纹理视图RefPicList0中识别的第一参考纹理视图分量对应于深度视图RefPicList0中识别的第一参考深度视图分量，以此类推。
深度视图分量还可通过其相应POC值加以识别。在一些实例中，纹理视图分量的POC值可为与对应于纹理视图分量的深度视图分量的POC值相同的POC值。举例来说，如果纹理视图分量的POC值是5，那么其对应深度视图分量的POC值也将为5。然而，本发明的方面不限于此。
在一些情况下，纹理视图RefPicList0及纹理视图RefPicList1与深度视图RefPicList0及深度视图RefPicList1中的参考图片的次序可能不同。在此情况下，用于深度视图分量的参考图片可具有与纹理视图分量的参考图片的POC值相同的POC值，但深度视图RefPicList0及深度视图RefPicList1中的参考图片索引可能分别不同于纹理视图RefPicList0及纹理视图RefPicList1中的纹理视图分量的参考图片索引。
在此实例中，视频解码器36确定纹理视图RefPicList0及/或纹理视图RefPicList1中的参考纹理视图分量的POC值。如果纹理视图RefPicList0及纹理视图RefPicList1与深度视图RefPicList0及深度视图RefPicList1中的参考图片的排序不同，则视频解码器36确定深度视图RefPicList0及/或深度视图RefPicList1中的识别与参考纹理视图分量具有相同POC值的参考深度视图分量的参考索引。视频解码器36接着利用深度视图RefPicList0及RefPicList1中所确定的参考索引用于识别用以帧间预测8x8深度视图宏块分区的参考深度视图分量。
在以下描述中，假定用于深度视图分量的参考图片列表中的每一参考图片的POC等于用于纹理视图分量的参考图片列表中的每一参考图片的POC(例如，纹理视图RefPicList0及/或RefPicList1中的POC值的排序与深度视图RefPicList0及/或RefPicList1中的POC值的排序相同)。应理解，在以下实例中，有可能纹理视图RefPicList0及/或RefPicList1中的POC值的排序不同于深度视图RefPicList0及/或RefPicList1中的POC值的排序。在此些情况下，视频解码器36以上文所描述的方式确定对深度视图RefPicList0及/或RefPicList1的参考索引。而且，如上文所指出，如果纹理视图RefPicList0及/或RefPicList1中存在不包含在深度视图RefPicList0及/或RefPicList1中的POC值(无关于排序)，则可对于所述深度视图宏块停用IVMP。
在一些实例中，如果视频编码器26从纹理视图RefPicList0中所识别的“第n”参考纹理视图分量帧间预测一个16x6纹理视图宏块分区，接着解码8x8深度视图宏块分区，则视频解码器36可利用在深度视图RefPicList0中所识别的“第n”参考深度视图分量(假设排序相同)。如果视频编码器26从纹理视图RefPicList0及纹理视图RefPicList1中的每一者中所识别的两个参考纹理视图分量帧间预测一个16x16纹理视图宏块分区，相同情况将适用。
然而，如果图片的排序不相同，则视频解码器36基于纹理视图图片列表的参考索引确定深度视图图片列表的参考索引。举例来说，如果图片的排序在深度视图参考图片列表与纹理视图参考图片列表中不相同，则如果视频编码器26从纹理视图RefPicList0中所识别的“第n”参考纹理视图分量帧间预测一个16x16纹理视图宏块分区，则视频解码器36确定纹理视图RefPicList0中的“第n”参考纹理视图分量的POC值。视频解码器36接着确定深度视图RefPicList0中的识别POC值与“第n”参考纹理视图分量的POC值相同的深度视图参考分量的参考索引。在此实例中，为解码8x8深度视图宏块分区，视频解码器36利用深度视图RefPicList0中所确定的参考索引。对于纹理视图RefPicList1及深度视图RefPicList1，相同情况将适用。
举例来说，视频解码器36可确定在纹理视图参考图片列表(例如，纹理视图RefPicList0及/或纹理视图RefPicList1)中列出POC值的次序不同于在深度视图参考图片列表(例如，深度视图RefPicList0及/或RefPicList1)中列出POC值的次序。在此情况下，为了确定8x8深度视图宏块分区的参考索引信息，视频解码器36基于16x16纹理视图宏块的参考索引确定纹理视图参考图片列表中识别的参考纹理视图分量的POC值。视频解码器36确定所述深度视图参考图片列表的参考索引，其中所述深度视图参考图片列表的所述参考索引识别等于所述参考纹理视图分量的所述POC值的所述深度视图参考图片列表中的POC值。
以此方式，视频解码器36可使用用于所述一个16x16纹理视图宏块分区的参考索引信息用于确定用于8x8深度视图宏块分区的参考索引信息。举例来说，当纹理视图分量和深度视图分量中的POC值的排序相同时，视频解码器36可将8x8深度视图宏块分区的参考索引信息设定为等于一个16x16纹理视图宏块分区的参考索引信息。在此情况下，所述一个16x16纹理视图宏块分区的参考索引信息涉及纹理视图RefPicList0和纹理视图RefPicList1中的一者或两者。视频解码器36可使用所述一个16x16纹理视图宏块分区的一或多个参考索引作为到深度视图RefPicList0和深度视图RefPicList1中的一者或两者中的参考索引以对8x8深度视图宏块分区进行解码。在此实例中，视频编码器26可使用用于在视频编码器26侧建构的纹理视图RefPicList0、纹理视图RefPicList1、深度视图RefPicList0及深度视图RefPicList1的相同参考索引来编码所述一个16x16纹理视图宏块分区及所述8x8深度视图宏块分区。
在其中POC值的排序在纹理视图RefPicList0及/或RefPicList1与深度视图RefPicList0及/或RefPicList1中不相同的实例中，视频解码器36可以上文所描述的方式确定对深度视图RefPicList0及/或RefPicList1的参考索引。视频解码器36可使用对于深度视图RefPicList0及深度视图RefPicList1中的一者或两者所确定的参考索引来解码所述8x8深度视图宏块分区。
而且，视频编码器26及视频解码器36可在8x8深度视图宏块分区对应于一个16x16纹理视图宏块分区时确定所述8x8深度视图宏块分区的子块分区。举例来说，视频编码器26及视频解码器36可将8x8深度视图宏块分区的子块分区设定为“一个8x8子块”，其意味着不应进一步分割所述8x8深度视图宏块分区。
上方实例描述其中8x8深度视图宏块分区对应于一个16x16纹理视图宏块分区的情境。以下描述由视频编码器26及视频解码器36实施的技术，其中8x8深度视图宏块分区对应于两个16x8纹理视图宏块分区或两个8x16纹理视图宏块分区。
在其中纹理视图宏块分割成两个16x8纹理宏块分区或两个8x16纹理视图宏块分区的以下实例中，通过其中两个16x8纹理宏块分区或两个8x16纹理视图宏块分区中的每一者在一个方向上经帧间预测(例如，相对于RefPicList0中所识别的图片或RefPicList1中所识别的图片进行帧间预测的P图片或P切片)的实例描述所述技术。在其中所述两个16x8纹理宏块分区或两个8x16纹理视图宏块分区在两个方向上经帧间预测(例如，相对于在RefPicList0中所识别的图片及在RefPicList1中所识别的图片进行帧间预测的B图片或B切片)的实例中，视频编码器26及视频解码器36可实施与下文相对于其中两个16x8纹理宏块分区或两个8x16纹理视图宏块分区相对于RefPicList0或RefPicList1中的图片进行帧间预测(即，在一个方向上进行帧间预测)的实例描述的那些技术实质上类似的技术。
在这些实例的一些实例中，视频编码器26和视频解码器36经配置以将用于8x8深度视图宏块分区的分割模式确定为“一个8x8子块”(例如，8x8深度视图宏块分区无进一步分割)。然而，本发明的方面不限于此，且在一些情况下，视频编码器26及视频解码器36确定用于8x8深度视图宏块的分割模式不同于“一个8x8子块”。以此方式，当启用IVMP时，视频解码器36经配置以确定8x8深度视图宏块分区的分割模式，而不需要接收指示8x8深度视图宏块分区的分割模式的信息。而且，以此方式，当启用IVMP时，视频编码器26不需要用信号表示指示8x8深度视图宏块分区的分割模式的信息。
此外，在以下实例中，用于两个纹理视图宏块分区的参考索引不同且其两者皆不等于-1。举例来说，识别两个16x8纹理视图宏块分区中的每一者或两个8x16纹理视图宏块分区中的每一者的参考纹理视图分量的参考索引不同。换句话说，如果纹理视图宏块分割成两个16x8或8x16纹理视图宏块分区，则当所述两个16x8或两个8x16纹理视图宏块分区中的每一者的参考索引不同时，纹理视图宏块分区中的每一者相对于不同参考纹理视图分量进行帧间预测。在以下实例之后更详细地描述其中用于两个16x8或两个8x16纹理视图宏块分区的参考索引相同的情境。
作为一个实例，当8x8深度视图宏块分区对应于两个16x8纹理视图宏块分区或两个8x16纹理视图宏块分区时，可仅从两个纹理视图宏块分区中的一者(即，两个16x8纹理视图宏块分区中的一者或两个8x16中的一者)预测参考索引及运动向量。举例来说，在此情况下，存在至少两个可能的参考索引及运动向量信息：一个来自16x8或8x16纹理视图宏块分区中的第一者，且一个来自16x8或8x16纹理视图宏块分区中的第二者。视频解码器36经配置以选择用于两个16x8或8x16纹理视图宏块分区中的至少一者的参考索引及运动向量信息作为用于所述8x8深度视图宏块分区的参考索引及运动向量信息。
在一些实例中视频解码器视频解码器36基于8x8深度视图宏块分区在16x16深度视图宏块内的位置及两个16x8或8x16纹理视图宏块分区在16x16纹理视图宏块内的位置选择所述16x8或8x16纹理视图宏块分区中的一者。举例来说，视频解码器36选择在纹理视图宏块内涵盖与8x8深度视图宏块分区在深度视图宏块内涵盖的区域相同的区域的纹理视图宏块分区。视频解码器36使用16x8或8x16纹理视图宏块分区中的所选一者的参考索引及运动向量信息来确定对应于包含所述两个16x8或8x16纹理视图宏块分区的16x16纹理视图宏块的8x8深度视图宏块分区的参考索引及运动向量信息。进一步在图6中说明此技术。
图6是用于确定深度视图分区的参考索引及运动向量信息的纹理视图块及深度视图块的概念图。图6说明分割成两个8x16纹理视图宏块分区(即，纹理视图分区40A及纹理视图分区40B)的纹理视图宏块39。应理解，相对于图6描述的技术同样适用于其中纹理视图宏块39分割成两个16x8纹理视图宏块分区的实例。图6还说明分割成四个8x8深度视图宏块分区(即，深度视图分区42A到42D)的深度视图宏块41。
纹理视图分区40A及40B中的每一者可具有其自身的独立运动信息。举例来说，用于纹理视图分区40A的参考索引不同于用于纹理视图分区40B的参考索引。而且，纹理视图分区40A的运动向量不同于用于纹理视图分区40B的运动向量。
在图6的实例中，如果对于深度视图宏块41启用IVMP，则视频解码器36能够确定用于深度视图分区42A到42D中的每一者的参考索引及运动向量信息。如上所述，假设深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一。在此实例中，8x8深度视图分区42A到42D中的每一者对应于一个16x16纹理视图宏块。
举例来说，假设8x8深度视图宏块分区42A对应于16x16纹理视图宏块39。在此实例中，视频解码器36确定8x8深度视图宏块分区42A涵盖16x16深度视图宏块41的左上拐角。视频解码器36还确定8x16纹理视图宏块分区40A涵盖16x16纹理视图宏块39的左上拐角。因此，在此实例中，为了确定8x8深度视图宏块分区42A的参考索引和运动向量信息，视频解码器36选择8x16纹理视图宏块分区40A，因为8x16纹理视图宏块分区40A在纹理视图宏块39内涵盖的区域与8x8深度视图宏块分区42A在深度视图宏块41内涵盖的区域相同。
换句话说，视频解码器36确定两个纹理视图块分区中的哪一者(例如，8x16纹理视图宏块分区40A或8x16纹理视图宏块分区40B)至少相对于深度视图块(例如，深度视图宏块41)的至少一个分区(例如，8x8深度视图宏块分区42A)相对于所述深度视图块所位于的位置处的纹理视图块(例如，纹理视图宏块39)涵盖相同区域。在本发明中描述的技术中，至少相对于深度视图块的至少一个分区相对于所述深度视图块所位于的位置处的纹理视图块涵盖相同区域的纹理视图块分区可认为是较接近于纹理视图块的中心的纹理视图块分区。
举例来说，8x16纹理视图宏块40A在8x8深度视图分区42A相对于16x16深度视图宏块41所位于的位置处相对于纹理视图宏块39涵盖至少相同区域。在此情况下，视频解码器36选择8x16纹理视图宏块分区40A作为其运动信息用以确定用于8x8深度视图宏块分区42A的运动信息的分区。
在此实例中，视频解码器36可确定对用于8x8深度视图宏块分区42A的深度视图RefPicList0及/或深度视图RefPicList1的参考索引与对用于8x16纹理视图宏块分区40A的纹理视图RefPicList0及/或纹理视图RefPicList1的参考索引相同。视频解码器36可如下文所描述对8x16纹理视图宏块分区40A的运动向量执行缩放以确定8x8深度视图宏块分区42A的运动向量。以此方式，视频解码器36可能够确定用于8x8深度视图宏块分区42A的参考索引及运动向量信息而不需要在由视频编码器26用信号表示的经译码位流中接收用于8x8深度视图宏块分区42A的参考索引及运动向量信息。
作为另一实例，假设8x8深度视图宏块分区42B对应于16x16纹理视图宏块39。在此实例中，视频解码器36确定8x8深度视图宏块分区42B涵盖16x16深度视图宏块41的右上拐角。视频解码器36还确定8x16纹理视图宏块分区40B涵盖16x16纹理视图宏块39的右上拐角。举例来说，8x16纹理视图宏块分区42B在8x8深度视图宏块分区42B相对于16x16深度视图宏块41所位于的位置处相对于纹理视图宏块39涵盖相同区域。
因此，在此实例中，为确定用于8x8深度视图宏块分区42B的参考索引及运动向量信息，视频解码器36选择8x16纹理视图宏块分区40B，因为8x16纹理视图宏块分区40B在纹理视图宏块39内涵盖与8x8深度视图宏块分区42B在深度视图宏块41内涵盖的区域相同的区域。在此实例中，视频解码器36类似地确定用于8x8深度视图宏块分区42B的参考索引及运动向量信息，如在上文的实例中相对于8x8深度视图宏块分区42A所描述。
作为另一实例，假设8x8深度视图宏块分区42C对应于16x16纹理视图宏块39。在此实例中，视频解码器36确定8x8深度视图宏块分区42C涵盖16x16深度视图宏块41的左下拐角。视频解码器36还确定8x16纹理视图宏块分区40A涵盖16x16纹理视图宏块39的左下拐角。因此，在此实例中，为确定用于8x8深度视图宏块分区42C的参考索引及运动向量信息，视频解码器36选择8x16纹理视图宏块分区40A，因为8x16纹理视图宏块分区40A在纹理视图宏块39内涵盖与8x8深度视图宏块分区42C在深度视图宏块41内涵盖的区域相同的区域。在此实例中，视频解码器36类似地确定用于8x8深度视图宏块分区42C的参考索引及运动向量信息，如在上文的实例中相对于8x8深度视图宏块分区42A所描述。
作为另一实例，假设8x8深度视图宏块分区42D对应于16x16纹理视图宏块39。在此实例中，视频解码器36确定8x8深度视图宏块分区42D涵盖16x16深度视图宏块41的右下拐角。视频解码器36还确定8x16纹理视图宏块分区40B涵盖16x16纹理视图宏块39的右下拐角。因此，在此实例中，为确定用于8x8深度视图宏块分区42D的参考索引及运动向量信息，视频解码器36选择8x16纹理视图宏块分区40B，因为8x16纹理视图宏块分区40B在纹理视图宏块39内涵盖与8x8深度视图宏块分区42D在深度视图宏块41内涵盖的区域相同的区域。在此实例中，视频解码器36类似地确定用于8x8深度视图宏块分区42D的参考索引及运动向量信息，如在上文的实例中相对于8x8深度视图宏块分区42A所描述。
在上文的实例中，视频解码器36选择在纹理视图宏块中涵盖与深度视图宏块分区在深度视图宏块中涵盖的区域相同的区域的纹理视图宏块分区。然而，本发明的方面不限于此。在一些实例中，视频解码器36选择16x8或8x16纹理视图宏块分区中较接近于纹理视图分量的中心的一者作为从其确定8x8深度视图宏块分区的纹理视图宏块分区。或者，选择16x8或8x16纹理视图宏块分区中具有较小参考索引的一者作为从其确定8x8深度视图宏块的运动信息的纹理视图宏块分区。或者，将IVMP对于此深度宏块设定为假(即，停用)。
在视频解码器36确定深度视图宏块分区(当其对应纹理视图宏块分割为两个16x8或8x16纹理视图宏块分区时)的运动信息的以上实例中，假设用于所述两个16x8或8x16纹理视图宏块分区的参考索引不同且不等于-1。在此实例中，如上文所描述，视频解码器36选择所述两个6x8或8x16纹理视图宏块分区中的一者且使用所述运动信息来确定对应于分割成所述两个16x8或8x16纹理视图宏块分区的纹理视图宏块的8x8深度视图宏块分区的运动信息。
作为一实例，假设视频解码器36选择纹理视图宏块内的两个8x16纹理视图宏块分区中的第一8x16纹理视图宏块分区。在此实例中，视频解码器36使用用以识别第一8x16纹理视图宏块的参考纹理视图分量的参考索引作为用以识别用以解码8x8深度视图宏块分区的参考深度视图分量的参考索引。类似地，在此实例中，视频编码器26使用用以识别第一8x16纹理视图宏块的参考纹理视图分量的参考索引作为用以识别用以编码8x8深度视图宏块分区的参考深度视图分量的参考索引。
在这些实例中，视频解码器36及视频编码器26还使用第一8x16纹理视图宏块分区的运动向量信息用于分别解码或编码8x8深度视图宏块分区。举例来说，除识别用以帧间预测两个8x16或两个16x8纹理视图宏块分区的参考纹理视图分量之外，视频编码器26还识别用于所述两个8x16或两个16x8纹理视图宏块分区中的每一者的运动向量。在此实例中，视频解码器36确定用于第一8x16纹理视图宏块分区的运动向量，且基于所述所确定的用于第一8x16纹理视图宏块分区的运动向量确定用于8x8深度视图宏块分区的运动向量。
举例来说，视频解码器36可能需要对用于第一8x16纹理视图宏块分区的所述所确定的运动向量的运动向量执行额外缩放，因为纹理视图分量与深度视图分量中存在空间差。以下更详细地描述此缩放。
在一些替代实例中，并非使用用于与8x8深度视图宏块分区涵盖相同区域的8x16或16x8纹理视图宏块分区的参考索引及运动向量，视频解码器36使用用于具有较小参考索引的纹理视图宏块分区的参考索引及运动向量。举例来说，如果用于第一8x16纹理视图宏块分区的参考索引小于用于第二8x16纹理视图宏块分区的参考索引，则视频解码器36使用用于第一8x16纹理视图宏块分区的参考索引及运动向量用于对8x8深度视图宏块分区进行帧间预测。如果用于第二8x16纹理视图宏块分区的参考索引小于用于第一8x16纹理视图宏块分区的参考索引，则将出现相反情形。相同技术将适用于其中纹理视图宏块分割成两个16x8纹理视图宏块分区的情况。
前述实例描述用于在两个8x16及16x8纹理视图宏块分区的参考索引不同时确定对8x8深度视图宏块分区进行帧间预测的一些实例实施。然而，可能存在用于两个8x16及16x8纹理视图宏块分区的参考索引不同时的其它实施方案。举例来说，并非使用参考索引信息中的任一者或使用运动向量信息中的任一者，视频编码器26可用信号表示IVMP旗标为假(即，停用IVMP)。如上文所描述，当停用IVMP时，视频解码器36可不使用运动信息，且可改为接收定义将由视频解码器36用于帧间预测(例如，解码)8x8深度视图宏块分区的运动信息的语法元素。
作为另一实例，视频编码器26及视频解码器36可确定用于两个8x16或两个16x8纹理视图宏块分区的运动向量的映射因数。所述映射因数可基于用于帧间预测的参考纹理视图分量的图片次序计数(POC)值。POC值为指示纹理视图分量的显示或输出次序的数值。举例来说，具有较低POC值的纹理视图分量先于具有较高POC值的纹理视图分量显示或输出。
举例来说，假设两个8x16或两个16x8纹理视图宏块分区中的一者利用称为RefA的参考纹理视图分量进行帧间预测，且所述两个8x16或两个16x8纹理视图宏块分区中的另一者利用称为RefB的参考纹理视图分量进行帧间预测。RefPicList0或RefPicList1中用于RefA的参考索引可为ref_idxA，且RefPicList0或RefPicList1中的RefB的参考索引可为ref_idxB。在此实例中，视频编码器26可用信号表示ref_idxA及ref_idxB的值，且指示ref_idxA及ref_idxB是否参考RefPicList0或RefPicList1。视频解码器36可接着通过基于ref_idxA及ref_idxB索引值编索引到RefPicList0或RefPicList1中而确定RefA及RefB的POC值。
视频编码器26及视频解码器36可实施以下方程式以确定映射因数：
映射因数＝(POC(RefB)-POC(CurrP))/(POC(RefA)-(POC(CurrP))。
在上方方程式中，CurrP是指当前纹理视图分量，POC(CurrP)是指当前纹理视图分量的POC值，POC(RefB)是指RefB的POC值，且POC(RefA)是指RefA的POC值。
在此实例实施方案中，ref_idxA的值大于ref_idxB的值。换句话说，RefA可为用于两个8x16或两个16x8纹理视图宏块分区中具有较大参考索引值的一者的参考纹理视图分量，且RefB可为用于所述两个8x16或两个16x8纹理视图宏块分区中具有较小参考索引值的另一者的参考纹理视图分量。
通过映射因数，视频编码器26及视频解码器36可将具有较大参考索引的一个运动向量映射到具有较小参考索引的运动向量。举例来说，视频编码器26及视频解码器36可将映射因数与用于两个8x16或两个16x8纹理视图宏块分区中具有较大参考索引值的一者的运动向量的x及y分量相乘。视频编码器26及视频解码器36可接着使用所得映射运动向量值用于确定用于8x8深度视图宏块分区的运动向量。举例来说，在一些实例中，视频编码器26及视频解码器36可能需要进一步缩放经映射运动向量值，因为纹理视图分量与深度视图分量的空间分辨率不同，如下文更详细描述的。
以此方式，在此实例实施方案中，视频编码器26及视频解码器36可确定用于8x8深度视图宏块分区的运动向量。视频编码器26及视频解码器36可通过将映射因数与较大参考索引值相乘而确定用于8x8深度视图宏块分区的参考索引。以此方式，在此实例实施方案中，视频编码器26及视频解码器36可确定用于8x8深度视图宏块分区的参考索引。在此实例实施方案中，视频编码器26及视频解码器36可基于纹理视图宏块分区是否分别为16x8或8x16纹理视图宏块分区而确定用于8x8深度视图宏块分区的子块分区为“两个8x4子块”或“两个4x8子块”。
在一些情况下，如果用于两个8x16或两个16x8纹理视图宏块分区中的一者的参考纹理视图分量为视图间纹理视图分量(例如，不在与当前纹理视图分量相同的视图中的纹理视图分量)，则视频编码器26及视频解码器36可不实施上文所描述的映射技术。确切地说，视频编码器26及视频解码器36可实施在视频解码器36使用用于8x16或16x8纹理视图宏块分区(其在纹理视图宏块中涵盖与8x8深度视图宏块分区在深度视图宏块中涵盖的区域相同的区域)的运动信息作为用于8x8深度视图宏块分区的运动信息的情况下描述的技术。
在以上实例中的一些中，纹理视图宏块分割成两个8x16或两个16x8纹理视图宏块分区，且所述两个8x16或两个16x8纹理视图宏块分区中的每一者是利用不同参考纹理视图分量经帧间预测(即，用于每一分区的参考索引不同)。在一些实例中，有可能某一参考图片列表的两个参考索引都是-1(例如，对于参考图片列表X(X等于0或1)，用于两个8x16或两个16x8纹理视图宏块分区中的一者的参考索引及用于所述两个8x16或两个16x8纹理视图宏块分区中的另一者的参考索引是-1)。当两个参考索引都是-1时，视频编码器26及视频解码器36可确定不从RefPicListX而是从一些其它参考纹理视图分量(例如，RefPicList(1-X))预测8x8深度视图宏块分区。换句话说，视频编码器26及视频解码器36可确定从索引值不等于-1的参考图片列表预测8x8深度视图宏块。
在此情况下，视频编码器26及视频解码器36可导出用于两个8x16或两个16x8纹理视图宏块分区中的一者的参考图片列表(1-X)中的运动向量信息及参考图片索引以确定用于所述8x8深度视图宏块分区的运动向量信息。举例来说，假设16x16纹理视图宏块分割成第一16x8纹理视图宏块分区及第二16x8纹理视图宏块分区。
如果纹理视图参考图片列表X(X为0或1)中的两个参考索引都是-1(意味着不从对应于参考图片列表X的方向预测第一及第二16x8纹理视图宏块分区)，则视频编码器26及视频解码器36可将深度视图参考图片列表X中的对应8x8深度视图宏块分区的参考索引设定为等于-1。举例来说，如果用于第一及第二16x8纹理视图宏块分区两者的纹理视图RefPicList0的参考索引为-1，则视频编码器26及视频解码器36可将用于深度视图RefPicList0的参考索引设定为等于-1。对于用于深度视图RefPicList1的参考索引，视频编码器26及视频解码器36可确定第一及第二16x8纹理视图宏块中的哪一者与8x8深度视图宏块分区(假设用于第一及第二16x8纹理视图宏块分区的纹理视图RefPicList1的参考索引不同)涵盖相同区域。视频编码器26及视频解码器36可将用于深度视图RefPicList1的参考索引设定为等于与8x8深度视图宏块分区涵盖相同区域的16x8纹理视图宏块分区的纹理视图RefPicList1的参考索引。
在此实例中，视频编码器26及视频解码器36可将8x8深度视图宏块分区的分割模式设定为“一个8x8子块”。而且，在此实例中，视频编码器26及视频解码器36可基于用于在纹理视图宏块中涵盖与8x8深度视图宏块分区在16x16深度视图宏块中涵盖的区域相同的区域的16x8纹理视图宏块分区的运动向量信息确定用于8x8深度视图宏块分区的运动向量信息。
尽管先前实例描述其中16x16纹理视图宏块分割成两个16x8纹理视图宏块分区的条件，但视频编码器26及视频解码器36可实施与其中16x16纹理视图宏块分割成两个8x16纹理视图宏块分区的实例中类似的技术。而且，尽管先前实例描述其中用于RefPicList0的参考索引为-1的条件，但视频编码器26及视频解码器36可实施与其中用于RefPicList1的参考索引为-1的条件类似的技术。
在一些实例中，如果一个参考索引为-1且相同参考图片列表中的另一参考索引不为-1，则视频编码器26及视频解码器36可将对应8x8深度视图宏块分区的参考索引设定为等于不等于-1的纹理视图宏块分区的参考索引。举例来说，继续先前实例，假设用于第一16x8纹理视图宏块分区的纹理视图RefPicList0的参考索引为“A”，其中A不等于-1，且用于第一16x8纹理视图宏块分区的纹理视图RefPicList1为-1。而且，假设用于第二16x8纹理视图宏块分区的纹理视图RefPicList0的参考索引为“B”，其中B不等于-1，且用于第二16x8纹理视图宏块分区的纹理视图RefPicList1为“C”，其中C不等于-1。
在此实例中，视频编码器26及视频解码器36可确定用于8x8深度视图宏块分区的深度视图RefPicList1的参考索引为“C”，因为用于第一16x8纹理视图宏块分区的纹理视图RefPicList1的参考索引为-1，且用于第二16x8纹理视图宏块分区的纹理视图RefPicList1的参考索引为C。换句话说，对于深度视图RefPicList1，视频编码器26及视频解码器36可将用于深度视图宏块分区的参考索引设定为不等于-1的纹理视图宏块分区的参考索引。
作为另一实例，假设用于第一16x8纹理视图宏块分区的纹理视图RefPicList0的参考索引为“D”，其中D不等于-1，且用于第一16x8纹理视图宏块分区的纹理视图RefPicList1为-1。而且，假设用于第二16x8纹理视图宏块分区的纹理视图RefPicList0的参考索引为-1，且用于第二16x8纹理视图宏块分区的纹理视图RefPicList1为“E”，其中E不等于-1。
在此实例中，视频编码器26及视频解码器36可确定用于8x8深度视图宏块分区的深度视图RefPicList0的参考索引为D，因为D为用于不等于-1的16x8纹理视图宏块分区的RefPicList0的参考索引。而且，视频编码器26及视频解码器36可确定用于8x8深度视图宏块分区的深度视图RefPicList1的参考索引为E，因为E为用于不等于-1的16x8纹理视图宏块分区的RefPicList1的参考索引。
在其中用于参考图片列表中的每一者的参考索引中的一者为-1且其它者不为-1的以上实例中，视频编码器26及视频解码器36可基于其参考索引用作用于8x8深度视图宏块分区的参考索引的纹理视图宏块的运动向量信息确定8x8深度视图宏块分区的运动向量信息。举例来说，视频编码器26及视频解码器36可利用其参考索引不等于-1的16x8纹理视图宏块分区的运动向量信息(例如，其对RefPicList1的参考索引为C的第二16x8纹理视图宏块分区、其对RefPicList0的参考索引为D的第一16x8纹理视图宏块分区，及其对RefPicList1成参考索引为E的第二16x8纹理视图宏块分区)。
在其中视频编码器26及视频解码器36确定对深度视图RefPicList1的参考索引为C的实例中，视频编码器26及视频解码器36可能仍需要确定对深度视图RefPicList0的参考索引。在此情况下，如果在用于第一16x8纹理视图宏块分区的纹理视图RefPicList0中的参考索引不等于在用于第二16x8纹理视图宏块分区的纹理视图RefPicList1中的参考索引(例如，在以上实例中A不等于B)，则视频编码器26及视频解码器36可确定8x8深度视图宏块分区与第一16x8纹理视图宏块分区还是第二16x8纹理视图宏块分区涵盖相同区域。如果第一16x8纹理视图宏块与8x8深度视图宏块分区涵盖相同区域，则视频编码器26及视频解码器36可确定用于深度视图RefPicList0的参考索引为A。如果第二16x8纹理视图宏块与8x8深度视图宏块分区涵盖相同区域，则视频编码器26及视频解码器36可确定用于深度视图RefPicList0的参考索引为B。
在此实例中，视频编码器26及视频解码器36可利用与8x8深度视图宏块分区涵盖相同区域的16x8纹理视图宏块的运动向量信息来确定用于RefPicList0中所识别的参考图片的8x8深度视图宏块分区的运动向量信息。并且，在此实例中，视频编码器26及视频解码器36可将8x8深度视图宏块分区的分割模式设定为“一个8x8子块”。
在前述实例中的一些中，纹理视图宏块分割成两个8x16或两个16x8纹理视图宏块分区，其中用于两个8x16或两个16x8纹理视图宏块分区的参考索引不同且不等于-1、两者皆为-1，或一者为-1且另一者不为-1。这些前述实例描述使用例如参考索引、运动向量及分割模式信息等运动信息用于确定对应8x8深度视图宏块分区的运动信息的实例实施方案。
以下实例描述其中用于两个8x16或两个16x8纹理视图宏块分区的参考索引相同且所述参考索引中的至少一者不为-1的实例实施方案。举例来说，在以上实例中，假设用于第一16x8纹理视图宏块分区的参考索引值A不等于用于第二16x8纹理视图宏块分区的参考索引值B。然而，在一些情况下，A与B可相等。
应理解，即使在其中用于两个8x16或两个16x8纹理视图宏块分区的参考索引相同的实例中，视频编码器26及视频解码器36也可实施类似于上文所描述的那些技术的技术。用于两个8x16或两个16x8纹理视图宏块分区的参考索引相同且所述参考索引中的至少一者不为-1的以下技术是作为一个实例而提供，且不应被视为限制性的。
在此情况下，视频编码器26及视频解码器36可确定用于8x8深度视图宏块分区的参考索引与用于两个8x16或两个16x8纹理视图宏块分区中的任一者的参考索引相同，因为两个参考索引相同。而且，视频编码器26及视频解码器36可基于对应纹理视图宏块分别分割成两个16x8纹理视图宏块分区还是两个8x16纹理视图宏块分区而确定用于8x8深度视图宏块分区的子块分区为“两个8x4子块”或“两个4x8子块”。
对于运动向量，视频编码器26及视频解码器36可利用用于纹理视图宏块分区的对应运动向量中的每一者的运动向量。举例来说，如果8x8深度视图宏块分区进一步分割成“两个8x4子块”(因为纹理视图宏块分割成两个16x8纹理视图宏块分区)，则视频编码器26及视频解码器36可基于用于顶部16x8纹理视图宏块分区的运动向量确定用于8x8深度视图宏块的顶部8x4子块的运动向量，且可基于用于底部16x8纹理视图宏块分区的运动向量确定用于8x8深度视图宏块分区的底部8x4子块的运动向量。视频编码器26及视频解码器36可类似地确定用于8x8深度视图宏块分区的4x8子块的运动向量，但是基于对应16x16纹理视图宏块的左方及右方8x16纹理视图宏块分区。
在前述实例中的一些中，纹理视图宏块分割成两个8x16或两个16x8纹理视图宏块分区，其中用于两个8x16或两个16x8纹理视图宏块分区的参考图片列表中的至少一者中的参考索引相同且不等于-1。以此方式，视频编码器26及视频解码器36可基于对应纹理视图宏块分别分割成两个16x8纹理视图宏块分区还是两个8x16纹理视图宏块分区而确定用于8x8深度视图宏块分区的子块分区为“两个8x4子块”或“两个4x8子块”。否则，(对于每一参考图片列表，如果用于两个16x8或两个8x16纹理视图分区的参考索引不同且不等于-1，或两者皆为-1，或一者为-1且另一者不为-1)，用于8x8深度视图宏块分区的子块分区设定为“一个8x8子块”(例如，不对8x8深度视图宏块分区进行进一步分割)。
如上文所描述，当启用IVMP时(即，上文所描述的其中视频编码器26及视频解码器36使用来自两个16x8或两个8x16纹理视图宏块分区中的一者的运动信息用于确定8x8深度视图宏块分区的运动信息的实例)，视频编码器26及视频解码器36可确定用于8x8深度视图宏块分区的参考索引。当视频编码器26及视频解码器36确定参考索引时，具有相同参考索引或具有其参考索引的相关纹理视图宏块分区(即，两个16x8或两个8x16纹理视图宏块分区中的一者)的运动向量可指派给对应8x8深度视图宏块分区。
此外，为获得用于8x8深度视图宏块分区的所确定的纹理视图宏块分区的运动向量，视频编码器26及视频解码器36可基于深度视图分量及纹理视图分量的空间分辨率执行缩放。举例来说，在以上实例中，深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一。因此，视频编码器26及视频解码器36可缩放所确定的纹理视图宏块分区的运动向量以补偿空间分辨率的差。在如上文所描述的其中应用映射因数的实例中，视频编码器26及视频解码器36也可执行此缩放。
举例来说，假设视频编码器26及视频解码器36确定用于两个16x8纹理视图宏块分区中的第一者的运动向量将用于确定8x8深度视图宏块分区的运动向量。而且，假设用于此16x8纹理视图宏块分区的运动向量表示为(MVx,MVy)，其中MVx为x分量，且MVy为运动向量的y分量。在此实例中，视频编码器26及视频解码器36可将MVx值除以2且将MVy值除以2以确定用于8x8深度视图宏块分区的运动向量。视频编码器26及视频解码器36可将x及y分量中的每一者除以2，因为深度视图分量的宽度为纹理视图分量的宽度的二分之一，且深度视图分量的高度为纹理视图分量的高度的二分之一。因此，由MV'表示的用于8x8深度视图宏块分区的运动向量等于(MVx/2,MVy/2)。
在上文所描述的实例中，如果对应于深度视图宏块的16x16纹理视图宏块分区中的任一者分割成四个8x8纹理视图宏块分区，则对于深度视图宏块停用IVMP。然而，并非在每一实例中都是如此。在一些情况下，即使16x16纹理视图宏块分割成四个8x8深度视图宏块分区，也可对于深度视图宏块启用IVMP。
在此实例中，视频解码器36可确定用于8x8深度视图宏块分区的运动信息(例如，参考索引信息、分割模式信息及运动向量信息中的至少一者)。举例来说，返回参考图4B，假设纹理视图宏块6对应于深度视图宏块10的深度视图分区12B。在此实例中，即使纹理视图宏块6分割成四个8x8纹理视图分区8A到8D，也可不停用IVMP。
实际上，在此实例中，视频解码器36确定8x8纹理视图分区8A到8D中的哪一者在深度视图分区12B相对于深度视图宏块10所位于的位置处相对于纹理视图宏块6涵盖相同区域。举例来说，纹理视图分区8B在深度视图分区12B相对于深度视图宏块10所位于的位置处相对于纹理视图宏块6涵盖相同区域。在此实例中，视频解码器36可利用纹理视图分区8B的参考索引来确定深度视图分区12B的参考索引。
在前述实例中，深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一。然而，本发明中描述的技术不限于此。在其它实例中，深度视图分量与纹理视图分量的空间分辨率之间的比率可不同于四分之一。出于说明的目的，下文描述当深度视图分量的空间分辨率为纹理视图分量的空间分辨率的二分之一时视频编码器26及视频解码器36的实例实施方案。
在其中深度视图分量的空间分辨率为纹理视图分量的空间分辨率的二分之一的实例中，深度视图分量的宽度可为纹理视图分量的宽度的二分之一且高度可相同，或深度视图分量的高度可为纹理视图分量的高度的二分之一且宽度可相同。而且，当深度视图分量的空间分辨率为纹理视图分量的空间分辨率的二分之一时，一个深度视图宏块可对应于两个纹理视图宏块。
举例来说，在这些情况下，16x16深度视图宏块可对应于两个16x16纹理视图宏块。所述两个对应16x16纹理视图宏块可并排布置，或叠加布置。如果纹理视图宏块并排布置，则两个16x8深度视图宏块分区中的一者对应于两个16x16纹理视图宏块中的一者，且两个16x8深度视图宏块分区中的另一者对应于另一16x16纹理视图宏块。如果纹理视图宏块叠加地布置，则两个8x16深度视图宏块分区中的每一者分别对应于两个16x16纹理视图宏块中的每一者。
而且，如果纹理视图宏块并排布置，则两个8x8深度视图宏块子块中的一者对应于两个16x8纹理视图宏块分区中的一者，且两个8x8深度视图宏块子块中的另一者对应于另一16x8纹理视图宏块分区。如果纹理视图宏块叠加地布置，则两个8x8深度视图宏块子块中的每一者分别对应于两个8x16纹理视图宏块分区中的每一者。
当深度视图分量的空间分辨率为纹理视图分量的空间分辨率的二分之一时，如果纹理视图分量中的两个对应宏块中的任一者是经帧内预测，则视频编码器26及视频解码器36可确定对于所述深度视图宏块停用IVMP。而且，如果纹理视图分量中的两个对应宏块中的任一者具有等于“四个8x8MB分区”的宏块分区模式，则视频编码器26及视频解码器36可确定对于所述深度视图宏块停用IVMP。
在一些实例中，如果深度视图分量的宽度为纹理视图分量的宽度的二分之一，且纹理视图分量中的两个对应宏块中的任一者的宏块分区等于“两个8x16分区”，则视频编码器26及视频解码器36可确定对于深度视图宏块停用IVMP。类似地，如果深度视图分量的高度为纹理视图分量的高度的二分之一，且纹理视图分量中的两个对应宏块中的任一者的宏块分区等于“两个16x8分区”，则视频编码器26及视频解码器36可确定对于所述深度视图宏块停用IVMP。
如果纹理视图分量中的两个对应宏块皆具有等于“一个16x16MB分区”的分割模式，则视频编码器26及视频解码器36可确定(例如，设定)所述深度视图宏块的分区等于“两个8x16分区”(如果深度视图分量具有纹理视图分量的宽度的二分之一)或“两个16x8分区”(如果深度视图分量具有纹理视图分量的高度的二分之一)。否则，视频编码器26及视频解码器36可确定(例如，设定)深度视图宏块的分区为“四个8x8MB分区”。
在其中深度视图分量的空间分辨率为纹理视图分量的空间分辨率的二分之一的实例中，如果两个对应纹理视图宏块皆具有等于“一个16x16MB分区”的分割模式，则视频编码器26及视频解码器36可确定深度视图宏块的分区等于“两个8x16MB分区”(如果深度视图分量具有纹理视图分量的宽度的二分之一)或“两个16x8MB分区”(如果深度视图分量具有纹理视图分量的高度的二分之一)。在这些实例中，视频编码器26及视频解码器36可确定用于深度视图宏块分区中的每一者的参考索引等于其对应的纹理视图宏块的参考索引。在一些其它实例中，视频编码器26及视频解码器36可确定用于8x8深度视图宏块子块中的每一者的参考索引等于其对应的16x8或8x16纹理视图宏块分区的参考索引。
为确定运动向量，在其中深度视图分量的空间分辨率为纹理视图分量的四分之一的实例中，因为深度视图宏块的每一深度视图宏块分区的分割模式是从所述两个对应纹理视图宏块的一个纹理视图宏块确定，因此视频编码器26及视频解码器36可仅缩放一个运动向量。举例来说，类似于深度视图分量的空间分辨率为纹理视图分量的四分之一的实例，视频编码器26及视频解码器36可能需要缩放对应纹理视图宏块的运动向量以补偿空间分辨率的差。
举例来说，如果纹理视图分量的宏块或分区的运动向量为(MVx,MVy)，且如果深度视图分量的宽度为纹理视图分量的宽度的二分之一，则视频编码器26及视频解码器36可确定深度视图分量的宏块分区或子块的运动向量(表示为MV')为MV'＝(MVx/2,MVy)。如果深度视图分量的高度为纹理视图分量的高度的二分之一，则视频编码器26及视频解码器36可确定深度视图分量的宏块分区或子块的运动向量(表示为MV')为MV'＝(MVx,MVy/2)。
因此，根据本发明中描述的技术，视频译码器(例如，视频编码器26或视频解码器36)可编码或解码(例如，译码)纹理视图分量的多个纹理视图块。所述多个纹理视图块可对应于深度视图分量的单个深度视图块。作为说明，图4A中的纹理视图宏块2A到2D对应于单个深度视图宏块4。
此外，深度视图分量及纹理视图分量可属于存取单元内的相同视图。在上文所描述的实例中，深度视图块(例如，单个深度视图宏块4)可指示对应多个纹理视图块(例如，纹理视图宏块2A到2D)内的所有像素的相对深度。如上文所描述，纹理视图分量与深度视图分量的空间分辨率可不同。举例来说，深度视图分量的空间分辨率可为纹理视图分量的四分之一(其为二分之一宽度及二分之一高度)，但其它比率是可能的，例如二分之一。
视频译码器可从所述多个对应纹理视图块的纹理视图块确定所述单个深度视图块的参考索引信息、分区信息及运动向量信息中的至少一者。在一些实例中，视频译码器可仅从所述多个对应纹理视图块确定所述单个深度视图块的参考索引信息、分区信息及运动向量信息中的至少一者。视频译码器可基于所确定的参考索引信息、分区信息及运动向量信息译码所述单个深度视图块。
举例来说，所述单个深度视图块的至少一个分区对应于对应纹理视图块的纹理视图块。根据本发明中描述的技术，为从所述多个对应纹理视图块的纹理视图块确定单个深度视图块的参考索引信息、分区信息及运动向量信息中的至少一者，视频译码器可确定所述单个深度视图块的至少一个分区的参考索引信息、分区信息及运动向量信息中的至少一者。在此实例中所述所述多个对应纹理视图块的纹理视图块对应于深度视图块的至少一个分区。
举例来说，当对于所述单个深度视图块启用内部视图运动预测(IVMP)时，视频译码器可经配置以确定所述单个深度视图块的参考索引信息、分区信息及运动向量信息中的至少一者而不用信号表示或接收关于如何确定所述单个深度视图块的参考索引信息、分区信息及运动向量信息的信息。确切地说，视频译码器可使用所述多个纹理视图块的运动信息来确定所述单个深度视图块的运动信息(例如，参考索引信息、分区信息，及运动向量信息)。
作为一个实例，视频译码器可基于纹理视图宏块2A到2D(图4A)中的一者确定深度视图宏块4(图4A)的单个深度视图块的参考索引信息、分区信息及运动向量信息中的至少一者。举例来说，如上文所描述，为确定单个深度视图块的参考索引信息、分区信息及运动向量信息中的至少一者，视频译码器可针对所述单个深度视图块的分区确定所述单个深度视图块的参考索引信息、分区信息及运动向量信息中的至少一者。举例来说，参考图6，如果16x16深度视图宏块41的8x8深度视图宏块分区42A对应于16x16纹理宏块39，且对于深度视图宏块41启用IVMP，则视频解码器36可利用纹理视图分区40A或纹理视图分区40B的参考索引信息及运动向量信息来确定深度视图宏块分区42A的参考索引信息及运动向量信息。
相同情形将适用于深度视图分区42B到42D中的任一者对应于纹理视图宏块39的情况。以此方式，当视频译码器从对应于深度视图块的分区的纹理视图块确定深度视图块的分区的参考索引信息、分区信息及运动向量信息中的至少一者时，视频译码器可认为是从所述多个对应纹理视图块的纹理视图块确定所述深度视图块的分区的参考索引信息、分区信息及运动向量信息中的至少一者。
可存在其中视频译码器可确定启用或停用IVMP的不同实例方式。举例来说，视频编码器26可在经译码位流中向视频解码器36用信号表示IVMP旗标为真还是假。在其它实例中，视频解码器36可确定是否启用IVMP而不需要接收IVMP旗标。举例来说，视频解码器36可确定在单个深度视图块对应的纹理视图块中的任一者是经帧内预测或分割成四个8x8纹理视图宏块块的情况下停用IVMP。
此外，如上文所描述，当纹理视图块分割成两个16x8或8x16纹理视图块分区时，视频译码器可确定所述两个16x8或8x16纹理视图块分区中的哪一者在深度视图块的分区(例如，8x8深度视图块分区)相对于深度视图块所位于的位置处相对于纹理视图块涵盖相同区域。视频译码器可选择两个16x8或8x16纹理视图块分区中的所确定一者，且可基于所述两个16x8或8x16纹理视图块分区中的所选一者的参考索引确定用于深度视图块的所述分区的参考索引。在其中对应于深度视图块的分区(例如，深度视图块分区)的纹理视图块分割成多个纹理视图块分区(例如四个8x8纹理视图块分区)的实例中，视频译码器可类似地确定参考索引。
在其中对应于深度视图块分区的纹理视图块分割为一个16x16纹理视图块分区的实例中，视频译码器可基于16x16纹理视图块分区的参考索引确定用于深度视图块的所述分区的参考索引。在此情况下，8x8深度视图分区中的每一者设定为一个8x8深度视图子块。
图7是说明可实施技术的视频编码器26的实例的框图，其中纹理视图分量与深度视图分量的空间分辨率不同。视频编码器26可执行视频帧内的块(包含宏块，或宏块的分区或子块(其为分区的子分区))的帧内及帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻接帧内的视频中的时间冗余。帧内模式(I模式)可以参考若干基于空间的压缩模式中的任一者，并且帧间模式(例如单向预测(P模式)或双向预测(B模式))可以参考若干基于时间的压缩模式中的任一者。
术语帧与图片可互换地使用。举例来说，H.264标准利用术语帧，且HEVC标准利用术语图片。帧与图片是指视频数据的相同部分，且因此同义。
如图7中所示，视频编码器26接收待编码视频帧内的当前视频块。在图7的实例中，视频编码器26包含运动补偿单元44、运动估计单元45、参考帧存储器64、求和器50、变换处理单元52、量化单元54，及熵译码单元56。为了视频块重构，视频编码器26还包含逆量化单元58、逆变换单元60及求和器62。还可包含解块滤波器(图7中未展示)以将块边界滤波，以从经重构的视频移除成块性假象。在需要时，解块滤波器通常对求和器62的输出进行滤波。
在编码过程期间，视频编码器26接收待译码的视频帧或切片。所述帧或切片可以划分成多个视频块。运动估计单元45及运动补偿单元44可相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测性译码以提供时间压缩。帧内预测单元46可相对于与待译码块相同的帧或切片中的一或多个相邻块执行对所接收视频块的帧内预测性译码以提供空间压缩。
模式选择单元43可基于错误结果选择译码模式中的一者(帧内或帧间)，且将所得的经帧内译码或经帧间译码块提供到求和器50以便产生残余块数据，且提供到求和器62以便重建经编码块用作参考帧。在一些实例中，模式选择单元43还可选择视图间预测以例如用于完整分辨率图片。
根据本发明，模式选择单元43可为执行上文所描述的实例功能的一个实例单元。举例来说，模式选择单元43可仅从多个对应纹理视图块的运动信息确定单个深度视图块的参考索引信息、分区信息及运动向量信息。然而，本发明的方面不限于此。在其它实例中，不同于模式选择单元43的单元可实施上文相对于图5所描述的实例。在一些其它实例中，模式选择单元43结合视频编码器26的一或多个其它单元可实施上文相对于图5所描述的实例。在又一些其它实例，处理器或视频编码器26的单元(图7中未展示)可单独地或结合视频编码器26的其它单元实施上文相对于图5所描述的实例。
运动估计单元45与运动补偿单元44可高度集成，但出于概念目的分开加以说明。运动估计为产生估计视频块的运动的运动向量的过程。举例来说，运动向量可指示预测性参考帧内的预测性块(或其它经译码单元)相对于当前帧内的正被译码的当前块(或其它经译码单元)的位移。预测性块是被发现在像素差方面与待译码块紧密匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。运动向量还可指示宏块的分区的位移。运动补偿可涉及基于通过运动估计确定的运动向量提取或产生预测性块。再次，在一些实例中，运动估计单元45与运动补偿单元44可在功能上集成。
运动估计单元45通过将视频块与存储器64中的参考帧的视频块比较来计算经帧间译码帧的视频块的运动向量。运动补偿单元44还可内插参考帧(例如I帧或P帧)的子整数像素。作为一实例，ITU H.264标准描述两个列表：列表0，其包括具有比正被编码的当前帧早的显示次序的参考帧，和列表1，其包括具有比正被编码的当前帧晚的显示次序的参考帧。因此，可根据这些列表来组织存储在参考帧存储器64中的数据。列表0及列表1可认为是等效于上文相对于图5所描述的RefPicList0及RefPicList1。
运动估计单元45将来自存储器64的一或多个参考帧的块与当前帧(例如P帧或B帧)的待编码块比较。当参考帧存储器64中的参考帧包含用于子整数像素的值时，由运动估计单元45计算的运动向量可指代参考帧的子整数像素位置。如果子整数像素位置的值都未存储在参考帧存储器64中，则运动估计单元45及/或运动补偿单元44还可经配置以计算存储在参考帧存储器64中的参考帧的子整数像素位置的值。运动估计单元45将计算出来的运动向量发送到熵译码单元56及运动补偿单元44。由运动向量识别的参考帧块可被称为预测性块。
运动补偿单元44可基于由运动向量识别的预测性块计算预测数据。视频编码器26通过从正译码的原始视频块减去来自运动补偿单元44的预测数据而形成残余视频块。所述残余块包含预测性块与正译码的原始块之间的逐个像素的差。求和器50表示可执行此减法运算的一或多个组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可执行其它变换，例如通过H.264标准或HEVC标准定义的变换，其概念上类似于DCT。还可使用小波变换、整数变换、子频带变换或其它类型的变换。在任何情况下，变换处理单元52向残余块应用所述变换，从而产生残余变换系数的块。所述变换可将残余信息从像素值域转换到变换域，例如频域。量化单元54对残余变换系数进行量化以进一步降低位速率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。
在量化之后，熵译码单元56对经量化的变换系数进行熵译码。举例来说，熵译码单元56可执行内容自适应可变长度编码(CAVLC)、上下文自适应二进制算术译码(CABAC)或另一熵译码技术。在熵译码单元56的熵译码之后，可将经编码视频发射到另一装置，或将所述视频存档用于稍后发射或检索。在上下文自适应二进制算术编码的情况下，上下文可基于相邻宏块。
在一些情况下，熵译码单元56或视频编码器26的另一单元可经配置以除了熵译码之外还执行其它译码功能。举例来说，熵译码单元56可经配置以确定用于宏块及分区的CBP值。而且，在一些情况下熵译码单元56可以对一个宏块或其分区中的系数执行延行长度译码。明确地说，熵译码单元56可应用Z形扫描或其它扫描图案来扫描宏块或分区中的变换系数且编码成串的零以用于进一步压缩。熵译码单元56还可用适当语法元素构造标头信息以用于在经编码视频位流中发射。
逆量化单元58和逆变换单元60分别应用逆量化和逆变换以在像素域中重构残余块，例如以供稍后用作参考块。运动补偿单元44可通过将残余块相加到参考帧存储器64的帧中的一者的预测性块中来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于所重建的残余块以计算子整数像素值用于运动估计。求和器62将经重构残余块相加到由运动补偿单元44产生的运动补偿预测块以产生经重构视频块用于存储在参考帧存储器64中。经重构的视频块可供运动估计单元45及运动补偿单元44用作参考块以帧间译码后续视频帧中的块。
图8是说明可实施技术的视频解码器36的实例的框图，其中纹理视图分量与深度视图分量的空间分辨率不同。在图8的实例中，视频解码器36包含熵解码单元70、运动补偿单元72、帧内预测单元74、逆量化单元76、逆变换单元78、参考帧存储器82及求和器80。在一些实例中，视频解码器36可执行大体上与相对于视频编码器26(图7)描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据。
根据本发明，运动补偿单元72可为执行上文所描述的实例功能的一个实例单元。举例来说，运动补偿单元72可仅从多个对应纹理视图块的运动信息确定单个深度视图块的参考索引信息、分区信息及运动向量信息。然而，本发明的方面不限于此。在其它实例中，不同于运动补偿单元72的单元可实施上文相对于图5所描述的实例。在一些其它实例中，运动补偿单元72结合视频解码器36的一或多个其它单元可实施上文相对于图5所描述的实例。在又一些其它实例，处理器或视频解码器36的单元(图8中未展示)可单独地或结合视频解码器36的其它单元实施上文相对于图5所描述的实例。
运动补偿单元72可使用在位流中接收的运动向量来识别参考帧存储器82中的参考帧中的预测块。帧内预测单元74可使用在位流中接收的帧内预测模式以从空间邻近的块形成预测块。逆量化单元76将在位流中提供且由熵解码单元70解码的经量化块系数逆量化，即解量化。逆量化过程可包含常规过程，例如由H.264解码标准或由HEVC解码标准定义的过程。所述逆量化过程还可包含使用由视频编码器26针对每一宏块所计算的量化参数QPY来确定量化的程度，且同样确定应应用的逆量化程度。
逆变换单元58对变换系数应用逆变换，例如逆DCT、逆整数变换或概念地类似的逆变换过程，以便产生像素域中的残余块。运动补偿单元72产生经运动补偿块，有可能基于内插滤波器执行内插。用于将用于以子像素精确度进行运动估计的内插滤波器的识别符可包含在语法元素中。运动补偿单元72可使用由视频编码器26在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素弹内插值。运动补偿单元72可根据所接收的语法信息而确定由视频编码器26使用的内插滤波器且使用所述内插滤波器来产生预测性块。
求和器80将残余块与由运动补偿单元72或帧内预测单元产生的对应预测性块求和以形成经解码块。必要时，还可应用解块滤波器以对经解码块进行滤波以便去除成块性假象。接着将经解码视频块存储在参考帧存储器82中，参考帧存储器82提供用于后续运动补偿的参考块且还产生经解码视频用于呈现在显示装置(例如图5的显示装置38)上。
图9是说明视频解码器根据技术的实例操作的流程图，其中纹理视图分量与深度视图分量的空间分辨率不同。出于说明的目的，参考图5及8。举例来说，图9中所说明的技术可由视频装置的视频译码器实施。视频装置的实例包含目的地装置20(图5)。视频译码器的实例包含视频解码器36(图5及8)。在其中视频译码器为视频解码器36的一些实例中，本发明中描述的实例技术中的一或多者可由预测模块81(图8)执行。此外，尽管从视频解码器的角度描述所述技术，但在一些实例中，例如视频编码器26等视频编码器可执行图9中所描述的技术中的一或多者。举例来说，视频编码器可执行解码操作作为编码过程的部分。
视频解码器可解码纹理视图分量的多个纹理视图块，其中纹理视图块对应于深度视图分量中的单个深度视图块(94)。视频解码器可确定对于所述深度视图块启用还是停用内部视图运动预测(IVMP)(96)。可存在视频解码器可借以确定启用还是停用IVMP的各种方式。作为一个实例，视频解码器可解码指示对于深度视图块启用还是停用IVMP的IVMP旗标。作为另一实例，视频解码器可能能够确定对于深度视图块停用IVMP而不接收IVMP旗标。举例来说，视频解码器可确定多个纹理视图块中的一者是经帧内预测或分割成8x8分区。在这些情况中的任一者中，视频解码器可在一个实施方案中确定针对深度视图块停用IVMP而无需接收IVMP旗标。如下文将更详细地论述，在替代实施方案中，在其中多个纹理视图中的一者经帧内预测或分割为8x8分区的实例中可启用IMVP。在此替代实施方案中，视频解码器可基于选择性空间相邻块预测运动信息。
当启用IVMP时，视频解码器可基于对应纹理视图块确定深度视图块的运动信息(98)。视频解码器可基于所述所确定的运动信息解码所述深度视图块(100)。
当启用IVMP时，可存在视频解码器可借以确定深度视图块的运动信息的不同方式。举例来说，视频解码器可确定用于深度视图块的分区中的每一者的参考索引信息、分割模式信息及运动向量信息中的至少一者。举例来说，如果深度视图块分割成四个8x8分区，则视频解码器可确定用于所述四个8x8分区中的每一者的参考索引信息、分割模式信息及运动向量信息。
作为一个实例，深度视图块的四个8x8分区中的每一者可对应于多个纹理视图块的一个纹理视图块。在此实例中，视频解码器可基于对应纹理视图块的运动信息确定四个8x8分区中的每一者的运动信息。举例来说，如果对应纹理视图块分割为一个16x16纹理视图宏块，则视频解码器可将16x16纹理视图宏块的参考索引设定为用于对应于此16x16纹理视图宏块的8x8深度视图块分区的参考索引。
作为另一实例，如果对应纹理视图块分割成两个纹理视图分区(例如，两个16x8纹理视图宏块分区或两个8x16纹理视图宏块分区)，且用于在相同参考图片列表(例如，纹理视图RefPicListX，其中X为0或1)中的两个纹理视图分区两者的参考索引不同且不等于-1，则视频解码器可选择这两个纹理视图分区中的一者。视频解码器可将所选纹理视图分区的参考索引设定为对应于分割成所述两个纹理视图分区的纹理视图块的8x8深度视图块分区的参考索引。在一些实例中，视频解码器可从所述两个纹理视图分区选择在纹理视图块中涵盖与8x8深度视图块分区在深度视图块中涵盖的区域相同的区域的纹理视图分区。
作为另一实例，如果对应纹理视图块分割成两个纹理视图分区(例如，两个16x8纹理视图宏块分区或两个8x16纹理视图宏块分区)，且用于相同参考图片列表(例如，纹理视图RefPicListX，其中X为0或1)中的一者的参考索引等于-1且另一者不等于-1，则视频解码器可选择其参考索引不等于-1的纹理视图分区。视频解码器可将不等于-1的纹理视图块分区的参考索引设定为对应于分割成所述两个纹理视图块分区的纹理视图块的8x8深度视图块分区的参考索引。
作为又一实例，如果对应纹理视图块分割成两个纹理视图分区(例如，两个16x8纹理视图宏块分区或两个8x16纹理视图宏块分区)，且用于相同参考图片列表X中的两者的参考索引等于-1，则视频解码器可停用从相同参考图片列表X预测8x8深度视图块分区。换句话说，如果纹理视图RefPicList0中用于两个16x8或8x16纹理视图宏块分区两者的参考索引为-1，则视频解码器可不从深度视图RefPicList0中的参考深度视图分量帧间预测8x8深度视图宏块分区。举例来说，视频解码器可将深度视图RefPicList0中的参考索引设定为等于-1。
视频解码器还可确定8x8深度视图块分区的运动向量及分割模式。举例来说，视频解码器可缩放用于对应于8x8深度视图块分区的纹理视图块的运动向量中的一者。视频解码器可基于纹理视图分量及深度视图分量的空间分辨率缩放所述运动向量。举例来说，如果深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一(其为二分之一高度及二分之一宽度)，则视频解码器可将纹理视图块的运动向量x分量除以二且将纹理视图块的运动向量的分量除以二以确定用于8x8深度视图块分区的经缩放运动向量。
对于所述分割模式，当启用IVMP时，视频解码器可大体上将用于8x8深度视图块分区的分割模式设定为一个8x8子块。然而，如果8x8深度视图块分区对应于分割成两个纹理视图块分区的纹理视图块，且用于所述两个纹理视图块分区中的每一者的参考索引相同且不等于-1，则视频解码器可基于分割纹理视图块的方式而将8x8深度视图块的分区设定为等于两个8x4子块或两个4x8子块。大体来说，如果用于深度视图块分区的分割模式不为两个8x4子块或两个4x8子块，则视频解码器可将所述深度视图块的分割模式设定为一个8x8子块。
图10是说明视频编码器根据技术的实例操作的流程图，其中纹理视图分量与深度视图分量的空间分辨率不同。出于说明的目的，参考图5及7。举例来说，图10中所说明的技术可由视频装置的视频译码器实施。视频装置的实例包含源装置18(图5)。视频译码器的实例包含视频编码器26(图5及7)。在其中视频译码器为视频编码器26的一些实例中，本发明中描述的实例技术中的一或多者可由模式选择单元43(图7)执行。
视频编码器可编码纹理视图分量的多个纹理视图块(102)。视频译码器还可确定是否对于对应于所述多个纹理视图块的深度视图块启用内部视图运动预测(IVMP)(104)。举例来说，在一个实施方案中，如果所述多个纹理视图块都不是经帧内预测且如果所述多个纹理视图块都没有分割成8x8分区，则视频编码器可确定对于对应于所述多个纹理视图块的单个深度视图块启用IVMP。如下文将更详细地解释，在另一实施方案中，视频编码器还可甚至当多个纹理视图块中的一者经确定为经帧内预测译码时或在多个纹理视图块中的一者经分割为8x8分区的情况下对于对应于所述多个纹理视图块的单个深度视图块启用IMVP。
当视频编码器确定启用IVMP时，视频编码器可用信号表示IVMP旗标对于所述深度视图块为真(106)。在接收到为真的IVMP旗标之后，视频解码器可接着即刻利用所述多个纹理视图块的运动信息用于解码所述深度视图块。举例来说，视频编码器可能不需要用信号表示用于所述深度视图块的运动信息(108)。确切地说，视频解码器可经配置以仅基于所述纹理视图块确定用于所述深度视图块的运动信息，例如参考索引信息、分割模式信息及运动向量信息。
至此，本发明已主要描述了其中深度视图MB分区并不对应于经帧内译码纹理视图MB和其中深度视图MB分区并不对应于经分割为四个分区(例如四个8x8分区)的纹理视图MB的IVMP的实施方案。然而，本发明还介绍了可在这些情况下支持不对称分辨率IVMP的技术。这些技术可潜在地避免与当四个位于同一地点的纹理视图MB中的一者以帧内模式经译码时停用IVMP相关联的译码效率下降。这些技术还可潜在地避免与当四个位于同一地点的纹理视图MB以四个分区经译码时停用IVMP相关联的译码效率下降。简单地对于这些译码情形启用IVMP可能要求子块的参考索引值为不同的，即使它们在深度视图中的当前MB的同一8x8分区内也是如此，这是H.264/AVC的MB分割和运动补偿设计当前所不允许的。即使当纹理视图分量中的所有MB分区的参考索引相同(对于每一方向)时，如果8x8MB分区中存在一个以上子块分区，那么多个运动向量可映射到当前MB中的4x4子块。
本发明提供上文介绍的可能问题的潜在解决方案，且因此，本发明的技术可实现针对其中对应纹理视图MB经帧内译码或对应纹理视图MB经分割为四个分区的以上所提到的情形当深度视图分量具有比纹理视图分量小的空间分辨率时支持不对称分辨率IMVP。更具体来说，当深度视图MB的分区对应于经帧内译码纹理视图MB时，本发明提出根据位于同一地点的MB中的选择性空间相邻块预测运动信息(例如参考索引和运动向量)。选择性空间相邻块可为与对应于深度视图分区的经帧内译码纹理视图MB在相同纹理分量内的其它纹理视图MB。通过查看选择性空间相邻块而不是例如所有空间相邻块，译码复杂性可潜在地减少。
当深度视图MB的分区对应于已分割为四个分区的纹理视图MB时，本发明描述用于根据纹理视图MB的选择性块预测每一参考图片列表的一个参考索引以及根据纹理视图MB的选择性块预测深度视图MB分区的运动向量的技术。
图11说明纹理视图分量中的四个纹理视图MB的实例，所述MB中的每一者分割为四个分区。纹理视图分量的中心是以圆识别。在图11的实例中，分区110A到D共同地为纹理视图MB 110。分区111A到D共同地为纹理视图MB 111。分区112A到D共同地为纹理视图MB 112，且分区113A到D共同地为纹理视图MB 113。纹理视图宏块110、111、112和113各自为纹理视图分量中的宏块的实例。举例来说，纹理视图块110、111、112和113中的每一个别一者是16像素的长度乘16像素的宽度(即，16x16)。
图11进一步说明深度视图中还经分割为四个分区的一个MB。分区114A到D共同地为深度视图MB 114。深度视图宏块114为深度视图分量中的宏块的实例。举例来说，深度视图宏块114为16x16像素块。在图11中，纹理视图宏块110、111、112和113与深度视图宏块114对应，因为包含深度视图块114的深度视图分量的空间分辨率是包含纹理视图宏块110、111、112和113的纹理视图分量的空间分辨率的四分之一。因为深度视图分量的空间分辨率为纹理视图分量的空间分辨率的四分之一，所以8x8深度视图分区114A到D中的每一者对应于完整的16x16纹理视图MB。举例来说，8x8深度视图分区114A对应于整个16x16纹理视图宏块110。深度视图分区114B对应于整个16x16纹理视图宏块112。深度视图分区114C对应于整个16x16纹理视图宏块111，且深度视图分区114D对应于整个16x16纹理视图宏块113。现将参考图11描述本发明的技术的实例。
对于以下实例，可假定分辨率是四分之一分辨率(即深度具有纹理的半宽度和半高度)。此外，可假定纹理视图分量中的位于同一地点的MB中的任一者经帧内译码或具有等于“四个8x8MB分区”的MB分割模式。对于这些情况，以下可适用。深度视图MB经分割为四个分区且其分割模式设定成“四个8x8MB分区”。当前MB的当前8x8MB分区的子块分区大小始终设定成8x8。或者，当前8x8MB分区的子块分区可设定成与纹理MB的8x8MB分区中的一者相同。
可针对涉及RefPicList0(参考图片列表0)的那些和涉及RefPicList1(参考图片列表1)的那些单独地计算参考索引和运动向量。如果同一视图分量中的纹理和深度图片的参考图片列表不对准(即，对于每一条目具有相同POC值)，那么基于POC值映射参考索引。在不失一般性的情况下，以下描述可应用于RefPicList0和RefPicList1两者的参考索引和运动向量，且假定在纹理的参考图片列表和深度的参考图片列表不对准的情况下映射参考索引。来自纹理的运动向量mv如下经按比例缩放以用作用于深度的预测符：mv＝mv>>1，意味着mv[0]＝mv[0]>>1且mv[1]＝mv[1]>>1。或者，mv[i]＝(mv[i]+1)>>1，或mv[i]＝(mv[i]+sign(mv[i]))>>1，其中i等于0或1。
现将描述用于其中深度视图块的分区对应于经帧内译码纹理视图MB的译码情形的IVMP技术。确切地说，现将描述用于确定深度视图块的分区的参考索引和运动向量的技术。使用帧内译码或帧间译码的决策是宏块层级决策。因此，在当深度视图块对应于经帧内译码纹理视图MB时的实例中，经帧内译码纹理视图MB的分割是不重要的。当深度视图中的当前8x8MB分区对应于在帧内模式中经译码的纹理视图MB时，视频译码器可检查对应于当前深度MB的三个相邻MB的模式和运动向量。举例来说，深度视图分区114A是深度视图中的当前8x8MB分区且纹理视图MB 110经帧内译码，那么视频译码器可检查纹理视图MB 111、112和113的模式和运动向量以确定深度视图分区114A的运动信息。类似地，如果深度视图分区114C是深度视图中的当前8x8MB分区且纹理视图MB 111经帧内译码，那么视频译码器可检查纹理视图MB 110、112和113的模式和运动向量以确定深度视图分区114C的运动信息。
如果所有其它三个MB在帧内模式经译码，那么视频译码器可将当前8x8MB分区参考索引设定为等于0且将当前8x8MB分区的运动向量设定为等于0。如果当前译码帧是P帧，那么可使用uni_prediction，且如果其是B帧，那么可使用bi_prediction。举例来说，如果深度视图分区114C是深度视图中的当前8x8MB分区且纹理视图MB 111经帧内译码，那么视频译码器可检查纹理视图MB 110、112和113的模式和运动向量以确定深度视图分区114C的运动信息。如果纹理视图MB 110、112和113也经帧内译码，那么视频译码器可将深度视图分区114C的参考索引设定为等于0且将深度视图分区114C的运动向量设定为等于0。
如果相邻纹理视图MB中的仅一者在帧间模式中经译码，那么视频译码器可得到最接近于此非帧内MB中的纹理视图分量的中心的8x8MB分区的参考索引。视频译码器可将当前8x8MB分区参考索引设定为等于一。此外，视频译码器可得到最接近于此非帧内MB中的纹理视图分量的中心的4x4块的MV，且将当前8x8MB分区的运动向量设定为等于所述最接近块的按比例缩放运动向量。
举例来说，如果深度视图分区114B是深度视图中的当前8x8MB分区且纹理视图MB 112经帧内译码，那么视频译码器可确定纹理视图MB 110、111和113中的任一者是否也经帧间译码。如果纹理视图MB 110、111和113中的仅一者经帧间译码，那么视频译码器可基于经帧间译码纹理视图MB确定深度视图分区114B的运动信息。出于实例的目的，假定纹理视图MB 111经帧间译码且纹理视图MB 110和113经帧内译码。视频译码器可将深度视图分区114B的参考索引设定为最接近于纹理视图分量的中心的纹理视图MB 111的8x8MB分区的参考索引。在图11的实例中，分区111B是最接近于纹理视图分量的中心的纹理视图MB 111的分区。因此，视频译码器可将深度视图分区114B的参考索引设定为与分区111B的参考索引相同。此外，视频译码器可将深度视图分区114B的MV设定为等于最接近于纹理视图MB 111中的纹理视图分量的中心的4x4块(图11中未明确图示)的MV。视频译码器可将深度视图分区114B的MV设定为4x4块的MV的经按比例缩放版本。可使用4x4，因为在H.264中4x4是可具有相关联运动向量的最小块大小。4x4块不一定需要为4x4分区，而是可为4x8分区、8x4分区、8x8分区的部分或可为4x4分区。也可以使用除4x4外的块大小。
在其中一个以上相邻MB在帧间模式中经译码的实例中，视频译码器可从每一经帧间译码相邻MB得到最接近于纹理视图分量的中心的每一4x4块的运动向量。举例来说，假定深度视图分区114D是当前深度视图分区且对应纹理MB 113经帧内译码。视频译码器可确定纹理视图MB 110、111和112中的任一者是否经帧间译码。出于此实例的目的，假定其全部经帧间译码。对于纹理视图MB 110、111和112中的每一者，视频译码器可识别最接近于纹理视图分量的中心的4x4块的运动向量，且所识别运动向量中的一者可用以确定深度视图分区114D的运动向量。视频译码器可将运动向量(mvMG)选择为具有运动向量的中值量值(对于可用的运动向量mv为(Abs(mv[0])+Abs(mv[1])且对于不可用的运动向量为-1)的运动向量。视频译码器可将中值运动向量mvMG(在按比例缩放之后)及其相关联参考索引(在可能的映射之后)设定为当前8x8MB分区的运动向量和参考索引。在此情况下，与中值运动向量相关联的参考索引用于深度视图分区。在一些实例中，视频译码器可将4x4块的不可用的运动向量的量值设定为512，以使得选择两个可用运动向量当中具有较大量值的运动向量。在一些实例中，并非使用中值运算来从三个候选运动向量导出最终运动向量，而是可使用最大值运算。
在一些实例中，具有与帧内MB相比的对角线位置的块经选择以导出参考索引和运动向量。假定纹理视图分量的4MB的中心具有(x,y)的坐标且帧内MB覆盖(x+dx,y+dy)的像素，其中dx或dy可为2或-2，则对角线块含有(x-dx,y-dy)的像素。在其中深度视图分区114D是当前分区且对应纹理视图MB 113经帧内译码的上文实例中，纹理视图MB 110将为具有相对于纹理视图MB 113的对角线位置的纹理视图MB。在此情况下，与对角线定位块相关联的参考索引用于深度视图分区。
图12是说明视频译码器根据技术的实例操作的流程图，其中纹理视图分量与深度视图分量的空间分辨率不同。图11的技术大体上适用于其中对应于深度视图分区的纹理视图MB经帧内译码的译码情形。图12的技术可由视频译码器实施，例如视频编码器26或视频解码器36。
视频译码器对纹理视图分量的多个纹理视图块进行译码(122)。所述多个纹理视图块对应于深度视图分量的单个深度视图块。视频译码器可确定单个深度视图分量的分区是否对应于经帧内译码纹理视图块(124)。如果单个深度视图分量的分区并不对应于经帧内译码纹理视图块(124，否)，那么可使用其它技术对所述单个深度视图分量的分区进行译码(126)。在此上下文中的其它技术简单地意味着除在图12的其余框中描述的那些之外的技术。此些其它技术可包含本发明中描述的其它技术或可包含本发明中未描述的技术。
响应于单个深度视图块的分区对应于经帧内译码的来自所述多个纹理视图块的纹理视图块(124，是)，视频译码器可基于经帧内译码纹理视图块的空间相邻块的运动信息确定单个深度视图块的分区的运动信息(128)。在此实例中，所述空间相邻块是来自所述多个纹理视图块的第二纹理视图块。视频译码器可基于运动信息对所述单个深度视图进行译码(130)。
在图12的实例中，深度视图分量和纹理视图分量可属于存取单元内的同一视图。所述单个深度视图块指示所述对应多个纹理视图块内的所有像素的相对深度。所述纹理视图分量的空间分辨率与所述深度视图分量的空间分辨率不同。运动信息可包含参考索引信息、分区信息和运动向量信息中的至少一者。所述深度视图分量的空间分辨率为所述纹理视图分量的空间分辨率的四分之一，其为所述纹理视图分量的二分之一宽度及二分之一高度。所述多个纹理视图块包括纹理视图宏块，且其中所述单个深度视图块的分区包括单个深度视图宏块的分区。
现将更详细描述图12的框128的方面。当所述多个纹理视图块包含仅一个经帧间译码块，意味着第二纹理视图块是仅有的经帧间译码块时，则视频译码器可通过确定第二纹理视图块的第一分区的参考索引基于第二纹理视图块的运动信息确定所述单个深度视图块的运动信息。视频译码器可确定第二纹理视图块的第二分区的运动向量。第一分区可对应于第一大小的分区且最接近于第二纹理视图块中的第一大小的分区的纹理视图分量的中心。第二分区可对应于第二大小的分区且最接近于第二纹理视图块中的第二大小的分区的纹理视图分量的中心。在一个实例中，所述第一大小可为8x8且所述第二大小可为4x4。
当所述多个纹理视图块包含一个以上经帧间译码纹理视图块时，则视频译码器可通过确定所述一个以上经帧间译码纹理视图块中的每一者的运动向量而确定所述单个深度视图块的运动信息。视频译码器可通过针对每一经帧间译码空间相邻块确定最接近于纹理视图分量的中心的经帧间译码空间相邻块的分区的运动向量而确定所述一个以上经帧间译码空间相邻块中的每一者的运动向量，其可(例如)包含确定最接近于纹理视图分量的中心的经帧间译码空间相邻块的4x4分区的运动向量。当所述多个纹理视图块包含一个以上经帧间译码纹理视图块时，视频译码器还可将所述单个深度视图块的分区的运动向量设定为来自空间相邻块的运动向量集合的中值运动向量且将所述单个深度视图块的分区的参考索引设定为与所述中值运动向量相关联的参考索引。
当所述多个纹理视图块的所有纹理视图块经帧内译码时，则视频译码器可将单个深度视图块的分区的参考索引设定为零，且将所述单个深度视图块的分区的运动向量设定为零。
如上所提到，经配置以执行图12的技术的视频译码器可为视频编码器或视频解码器。当图12的技术由视频解码器执行时，视频解码器可另外接收指示内部视图运动预测(IVMP)是否经启用的旗标。响应于指示IVMP经启用的旗标，视频解码器可基于运动信息对单个深度视图块进行解码。如果旗标指示IVMP停用，那么视频解码器可使用除IVMP外的模式对所述单个深度视图块进行解码。
当图12的技术由视频编码器执行时，视频编码器可另外产生用于包含在经编码位流中的旗标。所述旗标可指示内部视图运动预测是否经启用。
现将描述用于其中深度视图块的分区对应于经分割为四个分区的纹理视图MB的译码情形的IVMP技术。确切地说，现将描述用于确定深度视图块的分区的参考索引和运动向量的技术。当深度视图中的当前8x8MB分区对应于纹理视图分量中的四个8x8MB分区时，视频译码器可使用两个步骤来产生深度视图中的当前8x8MB分区的运动向量和参考索引。
作为第一步骤，视频译码器可从纹理视图MB确定预测性8x8MB分区。在视频译码器确定将使用纹理视图MB的哪一8x8MB分区之后，视频译码器可使用此分区的参考索引(具有可能的映射)用于深度视图块的当前8x8MB分区。对于当前深度视图块的每一8x8MB分区，视频译码器识别位于同一地点的纹理视图MB的8x8MB分区。在位于同一地点的纹理视图MB的四个8x8MB分区当中，视频译码器选择具有最接近于纹理视图分量中的四个位于同一地点的纹理MB的中心的位置的8x8MB分区。举例来说，返回参看图11，如果深度视图分区114A是当前深度视图分区，那么纹理视图MB 110是对应纹理视图MB。纹理视图MB经分割为四个分区(分区110A、分区110B、分区110C和分区110D)。在所述四个分区中，分区110D最接近于纹理视图分量的中心。因此，在此实例中，分区110D用以确定深度视图分区114A的参考索引。如果纹理视图和深度视图中具有相同参考索引的参考图片的POC值不同，那么可使用映射。视频译码器可使用对应于由纹理视图MB使用的参考图片的同一POC值的索引。
对于纹理视图MB 111，分区111B是最接近于纹理视图分量的中心的分区。对于纹理视图MB 112，分区112C是最接近于纹理视图分量的中心的分区，且对于纹理视图MB 113，分区113A是最接近于纹理视图分量的中心的分区。
或者，对于当前深度视图MB的每一8x8MB分区，首先识别对应纹理视图MB的四个位于同一地点的8x8MB分区。在纹理视图MB的四个8x8MB分区当中，视频译码器可选择8x8MB分区，其具有与当前深度视图MB中的当前8x8MB分区的相对位置相同的在位于同一地点的纹理MB中的相对位置。举例来说，返回参看图11，如果深度视图分区114C是当前深度视图分区，那么纹理视图MB 111是对应纹理视图MB。纹理视图MB 111经分割为四个分区(分区111A、分区111B、分区111C和分区111D)。在所述四个分区中，分区111C处于与深度视图分区114C相同的相对位置(左下)。因此，在此实例中，视频译码器使用分区111C来确定深度视图分区114C的参考索引。
深度视图分区114A对应于纹理视图MB 110，且在此替代实施方案中因为深度视图分区114A是左上分区，所以作为图11中的分区110A的纹理视图MB 110的左上分区用以确定深度视图分区114A的参考索引。类似地，分区112B用以确定深度视图分区114B的参考索引，且分区113D用以确定深度视图分区114D的参考索引。
在第二步骤中，视频译码器可确定深度视图分区的子块分区和运动向量。视频译码器可将深度视图分区的子块大小设定为8x8。视频译码器可以从子块的对应运动向量的集合选择且按比例缩放具有最大量值的运动向量的方式从所述集合导出8x8深度MB分区的运动向量。如果对应纹理视图分区经分割为一个8x8分区，那么所述集合可包含一个运动向量。如果对应纹理视图分区经分割为两个8x4分区或两个4x8分区，那么所述集合可包含两个运动向量。如果对应纹理视图分区经分割为四个4x4分区，那么所述集合可包含四个运动向量。或者，视频译码器可将来自纹理视图的8x8MB分区的子块分区以及运动向量(具有用于运动向量的按比例缩放)设定为深度视图MB分区的子块和运动向量。在另一个替代方案中，量值可经界定为：abs(mv[0])+abs(mv[1])，其中abs(·)返回绝对值，其中mv[0]和mv[1]表示运动向量的水平分量和垂直分量。
图13是说明视频译码器根据技术的实例操作的流程图，其中纹理视图分量与深度视图分量的空间分辨率不同。图12的技术大体上适用于其中深度视图MB的分区对应于经分割为四个分区的纹理视图MB的译码情形。图13的技术可由视频译码器实施，例如视频编码器26或视频解码器36。
视频译码器对纹理视图分量的多个纹理视图块进行译码(134)。所述多个纹理视图块对应于深度视图分量的单个深度视图块。视频译码器可确定单个深度视图分量的分区是否对应于经分割为四个分区的纹理视图块(136)。如果单个深度视图分量的分区并不对应于经分割为四个分区的纹理视图块(136，否)，那么可使用其它技术对单个深度视图分量的分区进行译码(138)。在此上下文中的其它技术简单地意味着除在图13的其余框中描述的那些之外的技术。此些其它技术可包含本发明中描述的其它技术或可包含本发明中未描述的技术。
响应于单个深度视图块的分区对应于经分割为四个分区的所述多个纹理视图块的纹理视图块(136，是)，视频译码器可基于第一纹理视图块的分区的运动信息确定单个深度视图块的分区的运动信息(140)。视频译码器可基于运动信息对所述单个深度视图块进行译码(142)。
在图13的实例中，深度视图分量和纹理视图分量可属于存取单元内的同一视图。所述单个深度视图块指示所述对应多个纹理视图块内的所有像素的相对深度。所述纹理视图分量的空间分辨率与所述深度视图分量的空间分辨率不同。运动信息可包含参考索引信息、分区信息和运动向量信息中的至少一者。所述深度视图分量的空间分辨率为所述纹理视图分量的空间分辨率的四分之一，其为所述纹理视图分量的二分之一宽度及二分之一高度。所述多个纹理视图块包括纹理视图宏块，且其中所述单个深度视图块的分区包括单个深度视图宏块的分区。
现将更详细描述图13的框140的方面。视频译码器可通过识别最接近于纹理视图分量的中心的第一纹理视图块的分区且将单个深度视图块的分区的参考索引设定为等于最接近于纹理视图分量的中心的第一纹理视图块的分区的参考索引，基于第一纹理视图块的分区的运动信息而确定单个深度视图块的分区的运动信息。如上文所解释，在图11的实例中，分区110D、111B、112C和113A分别是最接近于MB 110、MB 111、MB112和MB 113的纹理视图分量的中心的分区。
或者，视频译码器可通过识别具有与单个深度视图块的分区在单个深度视图块中具有的相对位置相同的在第一纹理视图块中的相对位置的第一纹理视图块的分区且将单个深度视图块的分区的参考索引设定为等于具有与单个深度视图块的分区在所述单个深度视图块中具有的相对位置相同的在第一纹理视图块中的相对位置的第一纹理视图块的分区的参考索引，基于第一纹理视图块的分区的运动信息而确定所述单个深度视图块的分区的运动信息。如上文所解释，在图11的实例中，深度视图分区114A对应于MB 110且具有与MB 110的分区110A相同的相对位置。深度视图分区114B对应于MB112且具有与MB 112的分区112B相同的相对位置。深度视图分区114C对应于MB 111且具有与MB 111的分区111C相同的相对位置，且深度视图分区114D对应于MB 113且具有与MB 113的分区113D相同的相对位置。
视频译码器还可基于第一纹理视图块的分区的运动信息确定单个深度视图块的分区的运动信息，包括通过基于第一纹理视图块中一或多个对应块的运动向量导出单个深度视图块的分区的运动向量且基于具有最大量值的运动向量导出单个深度视图块的分区的运动向量。视频译码器可通过按比例缩放具有最大量值的运动向量，基于具有最大量值的运动向量而导出单个深度视图块的分区的运动向量。第一纹理视图块中的所述一或多个对应块可(例如)包含一个8x8块、四个4x4块、两个4x8块或两个8x4块。
如上所提到，经配置以执行图13的技术的视频译码器可为视频编码器或视频解码器。当图13的技术由视频解码器执行时，视频解码器可另外接收指示内部视图运动预测(IVMP)是否经启用的旗标。响应于指示IVMP经启用的旗标，视频解码器可基于运动信息对单个深度视图块进行解码。如果旗标指示IVMP停用，那么视频解码器可使用除IVMP外的模式对所述单个深度视图块进行解码。
当图13的技术由视频编码器执行时，视频编码器可另外产生用于包含在经编码位流中的旗标。所述旗标可指示内部视图运动预测是否经启用。
现将论述以二分之一分辨率执行IMVP的方面。如果深度分量具有纹理分量的二分之一宽度且MB分割模式等于“两个8x16分区”，那么视频译码器可停用IMVP。如果深度分量具有纹理分量的二分之一高度且MB分割模式等于“两个16x8分区”，那么视频解码器可停用IMVP。否则如果两个位于同一地点的MB具有等于“一个16x16MB分区”的分割模式，那么当前MB的MB分区在深度具有二分之一宽度的情况下设定为等于“两个8x16分区”或在深度具有二分之一高度的情况下设定为等于“两个16x8分区”。否则将当前MB设定成“四个8x8分区”。
如果两个位于同一地点的MB具有等于“一个16x16MB分区”的分割模式，那么视频译码器可在深度具有二分之一宽度的情况下将当前MB的MB分区设定为等于“两个8x16分区”或在深度具有二分之一高度的情况下将当前MB的MB分区设定为等于“两个16x8分区”。每一MB分区设定成等于位于同一地点的MB的参考索引。否则，将每一8x8分区的参考索引设定成位于同一地点的16x8或8x16MB分区的参考索引。
由于以上预测过程中的当前MB的每一MB分区也是从位于同一地点的MB的一个MB分区预测，因此仅一个运动向量是相关联的。类似地，所述相关联运动向量经按比例缩放：
当深度是二分之一宽度时，MV'＝(MVx/2,MVy)。
当深度是二分之一高度时，MV'＝(MV,MVy/2)。
相似方法可应用于当深度具有在1/2与1之间的宽度和/或高度比率时的其它情况。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果用软件实施，那么所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元执行。计算机可读媒体可以包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包含促进将计算机程序从一处传送到另一处(例如，根据通信协议)的任何媒体的通信媒体。以此方式，计算机可读媒体通常可以对应于(1)有形计算机可读存储媒体，其是非暂时性的，或(2)通信媒体，例如信号或载波。数据存储媒体可以是可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用的媒体。计算机程序产品可包含计算机可读媒体。
以实例说明且非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储呈指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。而且，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体和数据存储媒体并不包括连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。上文的组合也应包含在计算机可读媒体的范围内。
指令可由一个或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文所描述的功能性可以在经配置用于编码及解码的专用硬件及/或软件模块内提供，或者并入于组合编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可以在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所公开的技术的装置的功能方面，但未必需要通过不同硬件单元实现。确切地说，如上文所描述，各种单元可结合合适的软件和/或固件组合在一个编解码器硬件单元中，或由互操作硬件单元的集合来提供，所述硬件单元包括如上文所描述的一或多个处理器。
已描述各种实例。这些和其它实例在所附权利要求书的范围内。

Claims (76)

1.一种用于对视频数据进行译码的方法，所述方法包括：
对纹理视图分量的多个纹理视图块进行译码，其中所述多个纹理视图块对应于深度视图分量的单个深度视图块；
响应于所述单个深度视图块的分区对应于来自所述多个纹理视图块的第一纹理视图块，基于来自所述多个纹理视图块的第二纹理视图块的运动信息确定所述单个深度视图块的所述分区的运动信息，其中所述第一纹理视图块是经帧内译码纹理视图块，且其中所述第二纹理视图块是所述第一纹理视图块的空间相邻块；以及
基于所述运动信息对所述单个深度视图块进行译码。
2.根据权利要求1所述的方法，其中所述深度视图分量和所述纹理视图分量属于存取单元内的同一视图。
3.根据权利要求1所述的方法，其中所述单个深度视图块指示所述对应多个纹理视图块内的所有像素的相对深度。
4.根据权利要求1所述的方法，其中所述纹理视图分量的空间分辨率和所述深度视图分量的空间分辨率是不同的。
5.根据权利要求1所述的方法，其中所述运动信息包括参考索引信息、分区信息和运动向量信息中的至少一者。
6.根据权利要求1所述的方法，其中所述深度视图分量的所述空间分辨率为所述纹理视图分量的所述空间分辨率的四分之一，为所述纹理视图分量的二分之一宽度及二分之一高度。
7.根据权利要求1所述的方法，其中所述多个纹理视图块包括纹理视图宏块，且其中所述单个深度视图块的所述分区包括单个深度视图宏块的分区。
8.根据权利要求1所述的方法，其中所述多个纹理视图块包括仅一个经帧间译码块，其中所述第二纹理视图块是所述仅一个经帧间译码块，且其中基于所述第二纹理视图块的所述运动信息确定所述单个深度视图块的所述运动信息包括确定所述第二纹理视图块的第一分区的参考索引。
9.根据权利要求8所述的方法，其中基于所述第二纹理视图块的所述运动信息确定所述单个深度视图块的所述运动信息进一步包括确定所述第二纹理视图块的第二分区的运动向量。
10.根据权利要求9所述的方法，其中所述第一分区对应于第一大小的分区，其中所述第一分区最接近于所述第二纹理视图块中所述第一大小的分区的所述纹理视图分量的中心，其中所述第二分区对应于第二大小的分区，且其中所述第二分区最接近于所述第二纹理视图块中所述第二大小的分区的所述纹理视图分量的中心。
11.根据权利要求10所述的方法，其中所述第一大小是8x8且所述第二大小是4x4。
12.根据权利要求1所述的方法，其中所述多个纹理视图块包括一个以上经帧间译码纹理视图块，且其中基于所述经帧内译码纹理视图块的所述空间相邻块的所述运动信息确定所述单个深度视图块的所述运动信息进一步包括确定所述一个以上经帧间译码纹理视图块中的每一者的运动向量。
13.根据权利要求12所述的方法，其中确定所述一个以上经帧间译码空间相邻块中的每一者的所述运动向量包括针对每一经帧间译码空间相邻块确定最接近于所述纹理视图分量的中心的所述经帧间译码空间相邻块的分区的运动向量。
14.根据权利要求13所述的方法，其中确定最接近于所述纹理视图分量的所述中心的所述经帧间译码空间相邻块的所述分区的所述运动向量包括确定最接近于所述纹理视图分量的所述中心的所述经帧间译码空间相邻块的4x4分区的运动向量。
15.根据权利要求1所述的方法，其中所述多个纹理视图块包括一个以上经帧间译码纹理视图块，其中所述方法进一步包括：
将所述单个深度视图块的所述分区的运动向量设定为来自空间相邻块的运动向量集合的中值运动向量；以及
将所述单个深度视图块的所述分区的参考索引设定为与所述中值运动向量相关联的参考索引。
16.根据权利要求1所述的方法，其中所述多个纹理视图块的所有纹理视图块经帧内译码，其中所述方法进一步包括：
将单个深度视图块的所述分区的参考索引设定为零；以及
将所述单个深度视图块的所述分区的运动向量设定为零。
17.根据权利要求1所述的方法，其中所述方法由视频解码器执行，且其中所述方法进一步包括：
接收指示内部视图运动预测IVMP是否经启用的旗标；
响应于所述旗标指示IVMP经启用，基于所述运动信息对所述单个深度视图块进行解码。
18.根据权利要求1所述的方法，其中所述方法由视频编码器执行，且其中所述方法进一步包括产生用于包含在经编码位流中的旗标，其中所述旗标指示内部视图运动预测是否经启用。
19.一种用于对视频数据进行译码的方法，所述方法包括：
对纹理视图分量的多个纹理视图块进行译码，其中所述多个纹理视图块对应于深度视图分量的单个深度视图块；
响应于所述单个深度视图块的分区对应于所述多个纹理视图块的第一纹理视图块，基于所述第一纹理视图块的分区的运动信息确定所述单个深度视图块的所述分区的运动信息，其中所述第一纹理视图块经分割为四个分区；以及
基于所述运动信息对所述单个深度视图块进行译码。
20.根据权利要求19所述的方法，其中所述深度视图分量和所述纹理视图分量属于存取单元内的同一视图。
21.根据权利要求19所述的方法，其中所述单个深度视图块指示所述对应多个纹理视图块内的所有像素的相对深度，且
22.根据权利要求19所述的方法，其中所述纹理视图分量的空间分辨率和所述深度视图分量的空间分辨率是不同的。
23.根据权利要求19所述的方法，其中所述运动信息包括参考索引信息、分区信息和运动向量信息中的至少一者。
24.根据权利要求19所述的方法，其中所述深度视图分量的所述空间分辨率为所述纹理视图分量的所述空间分辨率的四分之一，为所述纹理视图分量的二分之一宽度及二分之一高度。
25.根据权利要求19所述的方法，其中所述多个纹理视图块包括纹理视图宏块，且其中所述单个深度视图块的所述分区包括单个深度视图宏块的分区。
26.根据权利要求19所述的方法，其中基于所述第一纹理视图块的所述分区的所述运动信息确定所述单个深度视图块的所述分区的运动信息包括识别最接近于所述纹理视图分量的所述中心的所述第一纹理视图块的分区且将所述单个深度视图块的所述分区的参考索引设定为等于最接近于所述纹理视图分量的所述中心的所述第一纹理视图块的所述分区的参考索引。
27.根据权利要求19所述的方法，其中基于所述第一纹理视图块的所述分区的所述运动信息确定所述单个深度视图块的所述分区的运动信息包括识别具有与所述单个深度视图块的所述分区在所述单个深度视图块中具有的相对位置相同的在所述第一纹理视图块中的相对位置的所述第一纹理视图块的分区，且将所述单个深度视图块的所述分区的参考索引设定为等于具有与所述单个深度视图块的所述分区在所述单个深度视图块中具有的相对位置相同的在所述第一纹理视图块中的相对位置的所述第一纹理视图块的所述分区的参考索引。
28.根据权利要求19所述的方法，其中基于所述第一纹理视图块的所述分区的所述运动信息确定所述单个深度视图块的所述分区的运动信息包括基于所述第一纹理视图块中的一或多个对应块的运动向量导出所述单个深度视图块的所述分区的运动向量，且基于具有最大量值的运动向量导出所述单个深度视图块的所述分区的所述运动向量。
29.根据权利要求28所述的方法，其中基于具有所述最大量值的所述运动向量导出所述单个深度视图块的所述分区的所述运动向量包括按比例缩放具有所述最大量值的所述运动向量。
30.根据权利要求28所述的方法，其中所述第一纹理视图块中的所述一或多个对应块包括一个8x8块。
31.根据权利要求28所述的方法，其中所述第一纹理视图块中的所述一或多个对应块包括四个4x4块。
32.根据权利要求28所述的方法，其中所述第一纹理视图块中的所述一或多个对应块包括两个4x8块。
33.根据权利要求28所述的方法，其中所述第一纹理视图块中的所述一或多个对应块包括两个8x4块。
34.根据权利要求19所述的方法，其中所述方法由视频解码器执行，且其中所述方法进一步包括：
接收指示内部视图运动预测IVMP是否经启用的旗标；
响应于所述旗标指示IVMP经启用，基于所述运动信息对所述单个深度视图块进行解码。
35.根据权利要求19所述的方法，其中所述方法由视频编码器执行，且其中所述方法进一步包括产生用于包含在经编码位流中的旗标，其中所述旗标指示内部视图运动预测是否经启用。
36.一种用于对视频数据进行译码的装置，所述装置包括：
视频译码器，其经配置以：对纹理视图分量的多个纹理视图块进行译码，其中所述多个纹理视图块对应于深度视图分量的单个深度视图块；响应于所述单个深度视图块的分区对应于来自所述多个纹理视图块的第一纹理视图块，基于来自所述多个纹理视图块的第二纹理视图块的运动信息确定所述单个深度视图块的所述分区的运动信息，其中所述第一纹理视图块是经帧内译码纹理视图块，且其中所述第二纹理视图块是所述第一纹理视图块的空间相邻块；以及基于所述运动信息对所述单个深度视图块进行译码。
37.根据权利要求36所述的装置，其中所述深度视图分量和所述纹理视图分量属于存取单元内的同一视图。
38.根据权利要求36所述的装置，其中所述单个深度视图块指示所述对应多个纹理视图块内的所有像素的相对深度。
39.根据权利要求36所述的装置，其中所述纹理视图分量的空间分辨率和所述深度视图分量的空间分辨率是不同的。
40.根据权利要求36所述的装置，其中所述运动信息包括参考索引信息、分区信息和运动向量信息中的至少一者。
41.根据权利要求36所述的装置，其中所述深度视图分量的所述空间分辨率为所述纹理视图分量的所述空间分辨率的四分之一，为所述纹理视图分量的二分之一宽度及二分之一高度。
42.根据权利要求36所述的装置，其中所述多个纹理视图块包括纹理视图宏块，且其中所述单个深度视图块的所述分区包括单个深度视图宏块的分区。
43.根据权利要求36所述的装置，其中所述多个纹理视图块包括仅一个经帧间译码块，其中所述第二纹理视图块是所述仅一个经帧间译码块，且其中所述视频译码器经配置以通过确定所述第二纹理视图块的第一分区的参考索引基于所述第二纹理视图块的所述运动信息确定所述单个深度视图块的所述运动信息。
44.根据权利要求43所述的装置，其中所述视频译码器经配置以通过确定所述第二纹理视图块的第二分区的运动向量基于所述第二纹理视图块的所述运动信息确定所述单个深度视图块的所述运动信息。
45.根据权利要求44所述的装置，其中所述第一分区对应于第一大小的分区，其中所述第一分区最接近于所述第二纹理视图块中所述第一大小的分区的所述纹理视图分量的中心，其中所述第二分区对应于第二大小的分区，且其中所述第二分区最接近于所述第二纹理视图块中所述第二大小的分区的所述纹理视图分量的中心。
46.根据权利要求45所述的装置，其中所述第一大小是8x8且所述第二大小是4x4。
47.根据权利要求36所述的装置，其中所述多个纹理视图块包括一个以上经帧间译码纹理视图块，且其中所述视频译码器经配置以通过确定所述一个以上经帧间译码纹理视图块中的每一者的运动向量基于所述经帧内译码纹理视图块的所述空间相邻块的所述运动信息确定所述单个深度视图块的所述运动信息。
48.根据权利要求47所述的装置，其中所述视频译码器经配置以通过针对每一经帧间译码空间相邻块确定最接近于所述纹理视图分量的中心的所述经帧间译码空间相邻块的分区的运动向量而确定所述一个以上经帧间译码空间相邻块中的每一者的所述运动向量。
49.根据权利要求48所述的装置，其中所述视频译码器经配置以通过确定最接近于所述纹理视图分量的所述中心的所述经帧间译码空间相邻块的4x4分区的运动向量而确定最接近于所述纹理视图分量的所述中心的所述经帧间译码空间相邻块的所述分区的所述运动向量。
50.根据权利要求36所述的装置，其中所述多个纹理视图块包括一个以上经帧间译码纹理视图块，其中所述视频译码器进一步经配置以：将所述单个深度视图块的所述分区的运动向量设定为来自空间相邻块的运动向量集合的中值运动向量；以及将所述单个深度视图块的所述分区的参考索引设定为与所述中值运动向量相关联的参考索引。
51.根据权利要求36所述的装置，其中所述多个纹理视图块的所有纹理视图块经帧内译码，其中所述视频译码器进一步经配置以：将单个深度视图块的所述分区的参考索引设定为零；以及将所述单个深度视图块的所述分区的运动向量设定为零。
52.根据权利要求36所述的装置，其中所述视频译码器包括视频解码器，且其中所述视频译码器进一步经配置以：接收指示内部视图运动预测IVMP是否经启用的旗标；以及响应于所述旗标指示IVMP经启用，基于所述运动信息对所述单个深度视图块进行解码。
53.根据权利要求36所述的装置，其中所述视频译码器包括视频编码器，且其中所述视频译码器进一步经配置以产生用于包含在经编码位流中的旗标，其中所述旗标指示内部视图运动预测是否经启用。
54.根据权利要求36所述的视频装置，其中所述装置包括以下各者中的至少一者：
集成电路；
微处理器；以及
无线通信装置，其包含所述视频译码器。
55.一种用于对视频数据进行译码的装置，所述装置包括：
视频译码器，其经配置以：对纹理视图分量的多个纹理视图块进行译码，其中所述多个纹理视图块对应于深度视图分量的单个深度视图块；响应于所述单个深度视图块的分区对应于所述多个纹理视图块的第一纹理视图块，基于所述第一纹理视图块的分区的运动信息确定所述单个深度视图块的所述分区的运动信息，其中所述第一纹理视图块经分割为四个分区；以及基于所述运动信息对所述单个深度视图块的所述分区进行译码。
56.根据权利要求55所述的装置，其中所述深度视图分量和所述纹理视图分量属于存取单元内的同一视图。
57.根据权利要求55所述的装置，其中所述单个深度视图块指示所述对应多个纹理视图块内的所有像素的相对深度。
58.根据权利要求55所述的装置，其中所述纹理视图分量的空间分辨率和所述深度视图分量的空间分辨率是不同的。
59.根据权利要求55所述的装置，其中所述运动信息包括参考索引信息、分区信息和运动向量信息中的至少一者。
60.根据权利要求55所述的装置，其中所述深度视图分量的所述空间分辨率为所述纹理视图分量的所述空间分辨率的四分之一，为所述纹理视图分量的二分之一宽度及二分之一高度。
61.根据权利要求55所述的装置，其中所述多个纹理视图块包括纹理视图宏块，且其中所述单个深度视图块的所述分区包括单个深度视图宏块的分区。
62.根据权利要求55所述的装置，其中所述视频译码器经配置以通过识别最接近于所述纹理视图分量的所述中心的所述第一纹理视图块的分区且将所述单个深度视图块的所述分区的参考索引设定为等于最接近于所述纹理视图分量的所述中心的所述第一纹理视图块的所述分区的参考索引基于所述第一纹理视图块的所述分区的所述运动信息确定所述单个深度视图块的所述分区的运动信息。
63.根据权利要求55所述的装置，其中所述视频译码器经配置以通过识别具有与所述单个深度视图块的所述分区在所述单个深度视图块中具有的相对位置相同的在所述第一纹理视图块中的相对位置的所述第一纹理视图块的分区且将所述单个深度视图块的所述分区的参考索引设定为等于具有与所述单个深度视图块的所述分区在所述单个深度视图块中具有的相对位置相同的在所述第一纹理视图块中的相对位置的所述第一纹理视图块的所述分区的参考索引基于所述第一纹理视图块的所述分区的所述运动信息确定所述单个深度视图块的所述分区的运动信息。
64.根据权利要求55所述的装置，其中所述视频译码器经配置以通过基于所述第一纹理视图块中的一或多个对应块的运动向量导出所述单个深度视图块的所述分区的运动向量且基于具有最大量值的运动向量导出所述单个深度视图块的所述分区的所述运动向量基于所述第一纹理视图块的所述分区的所述运动信息确定所述单个深度视图块的所述分区的运动信息。
65.根据权利要求64所述的装置，其中所述视频译码器经配置以通过按比例缩放具有所述最大量值的所述运动向量基于具有所述最大量值的所述运动向量导出所述单个深度视图块的所述分区的所述运动向量。
66.根据权利要求64所述的装置，其中所述第一纹理视图块中的所述一或多个对应块包括一个8x8块。
67.根据权利要求64所述的装置，其中所述第一纹理视图块中的所述一或多个对应块包括四个4x4块。
68.根据权利要求65所述的装置，其中所述第一纹理视图块中的所述一或多个对应块包括两个4x8块。
69.根据权利要求65所述的装置，其中所述第一纹理视图块中的所述一或多个对应块包括两个8x4块。
70.根据权利要求65所述的装置，其中所述视频译码器包括视频解码器，且其中所述视频译码器进一步经配置以：接收指示内部视图运动预测IVMP是否经启用的旗标；以及响应于所述旗标指示IVMP经启用，基于所述运动信息对所述单个深度视图块进行解码。
71.根据权利要求55所述的装置，其中所述视频译码器包括视频编码器，且其中所述视频译码器进一步经配置以产生用于包含在经编码位流中的旗标，其中所述旗标指示内部视图运动预测是否经启用。
72.根据权利要求55所述的视频装置，其中所述装置包括以下各者中的至少一者：
集成电路；
微处理器；以及
无线通信装置，其包含所述视频译码器。
73.一种用于对视频数据进行译码的设备，所述设备包括：
用于对纹理视图分量的多个纹理视图块进行译码的装置，其中所述多个纹理视图块对应于深度视图分量的单个深度视图块；
用于响应于所述单个深度视图块的分区对应于来自所述多个纹理视图块的第一纹理视图块基于来自所述多个纹理视图块的第二纹理视图块的运动信息确定所述单个深度视图块的所述分区的运动信息的装置，其中所述第一纹理视图块是经帧内译码纹理视图块，且其中所述第二纹理视图块是所述第一纹理视图块的空间相邻块；以及
用于基于所述运动信息对所述单个深度视图块进行译码的装置。
74.一种用于对视频数据进行译码的设备，所述设备包括：
用于对纹理视图分量的多个纹理视图块进行译码的装置，其中所述多个纹理视图块对应于深度视图分量的单个深度视图块；
用于响应于所述单个深度视图块的分区对应于所述多个纹理视图块的第一纹理视图块基于所述第一纹理视图块的分区的运动信息确定所述单个深度视图块的所述分区的运动信息的装置，其中所述第一纹理视图块经分割为四个分区；以及
用于基于所述运动信息对所述单个深度视图块进行译码的装置。
75.一种存储指令的计算机可读存储媒体，所述指令在被执行时致使一或多个处理器进行以下操作：
对纹理视图分量的多个纹理视图块进行译码，其中所述多个纹理视图块对应于深度视图分量的单个深度视图块；
响应于所述单个深度视图块的分区对应于来自所述多个纹理视图块的第一纹理视图块，基于来自所述多个纹理视图块的第二纹理视图块的运动信息确定所述单个深度视图块的所述分区的运动信息，其中所述第一纹理视图块是经帧内译码纹理视图块，且其中所述第二纹理视图块是所述第一纹理视图块的空间相邻块；以及
基于所述运动信息对所述单个深度视图块进行译码。
76.一种存储指令的计算机可读存储媒体，所述指令在被执行时致使一或多个处理器进行以下操作：
对纹理视图分量的多个纹理视图块进行译码，其中所述多个纹理视图块对应于深度视图分量的单个深度视图块；
响应于所述单个深度视图块的分区对应于所述多个纹理视图块的第一纹理视图块，基于所述第一纹理视图块的分区的运动信息确定所述单个深度视图块的所述分区的运动信息，其中所述第一纹理视图块经分割为四个分区；以及
基于所述运动信息对所述单个深度视图块进行译码。
CN201280077621.9A 2012-12-14 2012-12-14 具有不对称空间分辨率的纹理和深度视图分量当中的内部视图运动预测 Expired - Fee Related CN104838658B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/001702 WO2014089727A1 (en) 2012-12-14 2012-12-14 Inside view motion prediction among texture and depth view components with asymmetric spatial resolution

Publications (2)

Publication Number Publication Date
CN104838658A true CN104838658A (zh) 2015-08-12
CN104838658B CN104838658B (zh) 2018-07-20

Family

ID=50933654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280077621.9A Expired - Fee Related CN104838658B (zh) 2012-12-14 2012-12-14 具有不对称空间分辨率的纹理和深度视图分量当中的内部视图运动预测

Country Status (6)

Country Link
US (1) US20150326880A1 (zh)
EP (1) EP2932472B1 (zh)
JP (1) JP6215344B2 (zh)
KR (1) KR20150095808A (zh)
CN (1) CN104838658B (zh)
WO (1) WO2014089727A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110430434A (zh) * 2018-05-01 2019-11-08 达音网络科技（上海）有限公司 采用渐进式i切片参考方法实现抗丢包性能的视频编码

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102343817B1 (ko) * 2013-10-18 2021-12-27 엘지전자 주식회사 멀티-뷰 비디오의 디코딩 방법 및 장치
WO2015100731A1 (en) * 2014-01-03 2015-07-09 Mediatek Singapore Pte. Ltd. Methods for determining the prediction partitions
KR20160147448A (ko) * 2015-06-15 2016-12-23 한국전자통신연구원 컬러 영상정보를 이용한 깊이영상 부호화 방법 및 컬러 영상정보를 이용한 깊이정보 복원 방법
WO2017205621A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Jvet coding block structure with asymmetrical partitioning
CN106803962B (zh) * 2017-02-16 2019-10-18 南京理工大学 基于贝叶斯准则的3d视频深度图帧内预测模式选择方法
EP3769527A1 (en) * 2018-03-26 2021-01-27 Huawei Technologies Co., Ltd. A video image encoder, a video image decoder and corresponding methods for motion information coding
KR102627814B1 (ko) 2018-06-29 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 룩업 테이블의 업데이트: fifo, 제약된 fifo
CN114466197A (zh) 2018-06-29 2022-05-10 北京字节跳动网络技术有限公司 用于查找表更新的编码的运动信息的选择
TWI752331B (zh) 2018-06-29 2022-01-11 大陸商北京字節跳動網絡技術有限公司 當向Merge/AMVP添加HMVP候選時的部分/完全修剪
KR20240007298A (ko) 2018-06-29 2024-01-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut에서의 모션 후보들의 검사 순서
EP3794824A1 (en) 2018-06-29 2021-03-24 Beijing Bytedance Network Technology Co. Ltd. Conditions for updating luts
TWI728390B (zh) 2018-06-29 2021-05-21 大陸商北京字節跳動網絡技術有限公司 查找表尺寸
CN114125450B (zh) 2018-06-29 2023-11-17 北京字节跳动网络技术有限公司 一种用于处理视频数据的方法、装置和计算机可读介质
TWI719526B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 查找表的更新
TWI820196B (zh) 2018-08-28 2023-11-01 大陸商北京字節跳動網絡技術有限公司 用擴展四叉樹進行分割時的上下文編解碼
TWI820211B (zh) 2018-09-12 2023-11-01 大陸商北京字節跳動網絡技術有限公司 取決於總數減去k的開始檢查hmvp候選的條件
JP7275286B2 (ja) 2019-01-10 2023-05-17 北京字節跳動網絡技術有限公司 Ｌｕｔ更新の起動
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
CN113615193B (zh) 2019-03-22 2024-06-25 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
CN113812155B (zh) 2019-05-11 2023-10-27 北京字节跳动网络技术有限公司 多种帧间编解码方法之间的交互
CN114342408A (zh) 2019-08-26 2022-04-12 北京字节跳动网络技术有限公司 视频编码中帧内编码模式的扩展
WO2021037258A1 (en) 2019-08-30 2021-03-04 Beijing Bytedance Network Technology Co., Ltd. Sub-partitioning in intra coding
US11838498B2 (en) 2021-06-28 2023-12-05 Tencent America LLC Harmonized design for intra bi-prediction and multiple reference line selection
CN117043820A (zh) * 2021-10-05 2023-11-10 腾讯云欧洲(法国)简易股份公司 沉浸式视频上下文中的深度估计方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101785317A (zh) * 2007-08-15 2010-07-21 汤姆逊许可证公司 使用区域视差向量的多视角编码视频中的运动跳过模式的方法和装置
US20110216833A1 (en) * 2008-10-17 2011-09-08 Nokia Corporation Sharing of motion vector in 3d video coding

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6590573B1 (en) * 1983-05-09 2003-07-08 David Michael Geshwind Interactive computer system for creating three-dimensional image information and for converting two-dimensional image information for three-dimensional display systems
US6625333B1 (en) * 1999-08-06 2003-09-23 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry Through Communications Research Centre Method for temporal interpolation of an image sequence using object-based image analysis
KR20030027062A (ko) * 2001-06-21 2003-04-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 모션 이미지 신호에서 워터마크의 삽입 및 검출
WO2008071037A1 (en) * 2006-12-14 2008-06-19 Thomson Licensing Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
US8023562B2 (en) * 2007-09-07 2011-09-20 Vanguard Software Solutions, Inc. Real-time video coding/decoding
WO2009091383A2 (en) * 2008-01-11 2009-07-23 Thomson Licensing Video and depth coding
US20120236934A1 (en) * 2011-03-18 2012-09-20 Qualcomm Incorporated Signaling of multiview video plus depth content with a block-level 4-component structure
US8767821B2 (en) * 2011-05-09 2014-07-01 Google Inc. System and method for providing adaptive media optimization
EP2719182B1 (en) * 2011-06-07 2018-05-02 Thomson Licensing Method for encoding and/or decoding images on macroblock level using intra-prediction
WO2012171477A1 (en) * 2011-06-15 2012-12-20 Mediatek Inc. Method and apparatus of texture image compression in 3d video coding
US9191646B2 (en) * 2011-08-29 2015-11-17 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
CA2846425A1 (en) * 2011-08-30 2013-03-07 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
CN102387368B (zh) * 2011-10-11 2013-06-19 浙江工业大学 一种多视点视频编码视点间预测快速选择方法
US9485503B2 (en) * 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
US20130202194A1 (en) * 2012-02-05 2013-08-08 Danillo Bracco Graziosi Method for generating high resolution depth images from low resolution depth images using edge information
US9258562B2 (en) * 2012-06-13 2016-02-09 Qualcomm Incorporated Derivation of depth map estimate
US9264691B2 (en) * 2012-09-28 2016-02-16 Mitsubishi Electric Research Laboratories, Inc. Method and system for backward 3D-view synthesis prediction using neighboring blocks
CA2887106A1 (en) * 2012-10-03 2014-04-10 Mediatek Inc. Method and apparatus for inter-component motion prediction in three-dimensional video coding
US9998755B2 (en) * 2012-10-03 2018-06-12 Mediatek Inc. Method and apparatus for motion information inheritance in three-dimensional video coding
US9544612B2 (en) * 2012-10-04 2017-01-10 Intel Corporation Prediction parameter inheritance for 3D video coding
WO2014056150A1 (en) * 2012-10-09 2014-04-17 Nokia Corporation Method and apparatus for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101785317A (zh) * 2007-08-15 2010-07-21 汤姆逊许可证公司 使用区域视差向量的多视角编码视频中的运动跳过模式的方法和装置
US20110216833A1 (en) * 2008-10-17 2011-09-08 Nokia Corporation Sharing of motion vector in 3d video coding
CN102257818A (zh) * 2008-10-17 2011-11-23 诺基亚公司 3d视频编码中运动向量的共享

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAN OH ，YO-SUNG HO,: "H.264-Based Depth Map Sequence Coding Using Motion Information of Corresponding Texture Video", 《ADVANCES IN IMAGE AND VIDEO TECHNOLOGY LECTURE NOTES IN COMPUTER SCIENCE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110430434A (zh) * 2018-05-01 2019-11-08 达音网络科技（上海）有限公司 采用渐进式i切片参考方法实现抗丢包性能的视频编码
CN110430434B (zh) * 2018-05-01 2022-04-26 达音网络科技（上海）有限公司 采用渐进式i切片参考方法实现抗丢包性能的视频编码

Also Published As

Publication number Publication date
US20150326880A1 (en) 2015-11-12
CN104838658B (zh) 2018-07-20
JP2015537491A (ja) 2015-12-24
WO2014089727A1 (en) 2014-06-19
EP2932472B1 (en) 2018-07-18
KR20150095808A (ko) 2015-08-21
EP2932472A4 (en) 2016-07-06
JP6215344B2 (ja) 2017-10-18
EP2932472A1 (en) 2015-10-21

Similar Documents

Publication Publication Date Title
CN103975597B (zh) 纹理及深度视图分量当中的内部视图运动预测
CN104838658A (zh) 具有不对称空间分辨率的纹理和深度视图分量当中的内部视图运动预测
CN104769949B (zh) 用于视差向量导出的图片的选择的方法和装置
CN104685883A (zh) 用于3d视频的经视图间预测运动向量
CN104704833A (zh) 多视图或3维视频译码中的高级视图间残差预测
CN105556969A (zh) 视频译码中使用视差向量的块识别
CN105379288A (zh) 处理对视频译码的照明补偿
CN104303502A (zh) 用于3d-hevc的视差向量建构方法
CN105580364A (zh) Hevc中的基于子预测单元(pu)的时间运动向量预测和3d-hevc中的子pu设计
CN105075259A (zh) 用于视频译码预测的存储器减少
CN104904217A (zh) 用于视频译码扩展的时间运动向量预测
CN105379282A (zh) 用于纹理译码的更精确先进残余预测(arp)
CN105580365A (zh) Hevc中的基于子预测单元(pu)的时间运动向量预测和3d-hevc中的子pu设计
CN105075265A (zh) 3d视频译码中针对跳过和直接模式的视差向量导出
CN105580374B (zh) 一种对多层视频数据进行编解码的方法、视频解码设备及存储媒体
CN104170380A (zh) 视频译码中的视差矢量预测
CN104737537A (zh) 用于可缩放视频译码的加权预测模式
CN104335589A (zh) 用于视频译码的视图间预测的视差向量产生
CN105580372A (zh) 用于3d视频译码的组合式双向预测合并候选者
CN104969551A (zh) 可缩放及多视角视频译码中的高级残差预测
CN105637878A (zh) 在视频译码中用于基于子解码图片缓冲器(sub-dpb)的dpb操作的传信
CN105144715A (zh) 后向视图合成预测
CN105122812A (zh) 用于三维(3d)视频译码的高级合并模式
CN104756499A (zh) 用于视频译码的参考图片状态
CN105009587A (zh) 用于视频译码的并行处理

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180720

Termination date: 20191214

CF01 Termination of patent right due to non-payment of annual fee