CN105009586A - 多视图或3维视频译码中的视图间残余预测 - Google Patents

多视图或3维视频译码中的视图间残余预测 Download PDF

Info

Publication number
CN105009586A
CN105009586A CN201480012130.5A CN201480012130A CN105009586A CN 105009586 A CN105009586 A CN 105009586A CN 201480012130 A CN201480012130 A CN 201480012130A CN 105009586 A CN105009586 A CN 105009586A
Authority
CN
China
Prior art keywords
current
reference picture
block
picture
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480012130.5A
Other languages
English (en)
Other versions
CN105009586B (zh
Inventor
张莉
陈颖
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105009586A publication Critical patent/CN105009586A/zh
Application granted granted Critical
Publication of CN105009586B publication Critical patent/CN105009586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频译码器按比例缩放当前图片的当前预测单元PU的运动向量以便补偿时间距离的差。另外，所述视频译码器确定所述当前PU的预测性块，基于视差参考图片的在由所述当前PU的视差向量指示的位置处的样本确定视差参考块，且基于固定参考图片的在由所述经按比例缩放运动向量指示的位置处的样本确定所述当前PU的时间视差参考块。所述视频译码器随后确定所述当前PU的残余预测符。所述当前PU的所述残余预测符的每一样本指示所述当前PU的所述时间视差参考块的样本与所述视差参考块的对应样本之间的差异。

Description

多视图或3维视频译码中的视图间残余预测
本申请案主张2013年3月8日申请的第61/775,352号美国临时专利申请案、2013年3月19日申请的第61/803,368号美国临时专利申请案以及2013年6月7日申请的第61/832,623号美国临时专利申请案的权益，以上申请案中的每一者的整个内容以引入的方式并入本文中。
技术领域
本发明涉及视频编码和解码。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播***、无线广播***、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及其类似者。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频压缩技术。视频装置通过实施这些视频压缩技术可以更有效地发射、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成块。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的块进行编码。图片的经帧间译码(P或B)切片中的块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测导致用于待译码块的预测性块。残余数据表示待译码原始块与预测块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量及指示经译码块与预测块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余数据而编码。为了实现进一步压缩，可以将残余数据从像素域变换到变换域，从而产生残余系数，接着可以对残余系数进行量化。可扫描最初布置为二维阵列的经量化的系数，以便产生系数的一维向量，且可应用熵译码以实现更多压缩。
可例如从多个视角编码视图来产生多视图译码位流。已经开发利用多视图译码方面的一些三维(3D)视频标准。举例来说，不同视图可传输左眼及右眼视图以支持3D视频。或者，一些3D视频译码过程可应用所谓的多视图加深度译码。在多视图加深度译码中，3D视频位流可不仅含有纹理视图分量而且含有深度视图分量。举例来说，每一视图可包括一个纹理视图分量及一个深度视图分量。
发明内容
一般来说，本发明涉及用于多视图编解码器和基于2维编解码器的3维视频(3DV)编解码器的高级残余预测，例如高效率视频译码(HEVC)。根据本发明的技术，视频译码器按比例缩放当前图片的当前预测单元(PU)的运动向量以便补偿固定参考图片与时间参考图片之间的时间距离。另外，视频译码器确定当前PU的预测性块，基于在由当前PU的视差向量指示的位置处的视差参考图片的样本而确定视差参考块，且基于在由当前PU的经按比例缩放运动向量和视差向量指示的位置处的固定参考图片的样本而确定当前PU的时间视差参考块。所述视频译码器随后确定所述当前PU的残余预测符。所述当前PU的所述残余预测符的每一样本指示所述当前PU的所述时间视差参考块的样本与所述视差参考块的对应样本之间的差异。
在一个实例中，本发明描述一种对视频数据进行解码的方法，所述方法包括：按比例缩放当前图片的当前预测单元(PU)的运动向量以便补偿所述当前图片与时间参考图片之间的图片次序计数(POC)距离和所述当前图片与固定图片之间的POC距离之间的差，其中所述当前图片在当前视图中且在当前存取单元中，视差参考图片在参考视图中且在所述当前存取单元中，所述时间参考图片在所述当前视图中但不在所述当前存取单元中，且所述当前PU的参考索引指示所述当前图片的参考图片列表内所述时间参考图片的位置；确定所述当前PU的预测性块；基于所述视差参考图片的与由所述当前PU的视差向量指示的位置相关联的样本确定视差参考块；基于所述固定参考图片的与由所述当前PU的所述经按比例缩放运动向量和所述视差向量指示的位置相关联的样本确定所述当前PU的时间视差参考块；确定所述当前PU的残余预测符，其中所述当前PU的所述残余预测符的每一样本指示所述当前PU的所述时间视差参考块的样本与所述视差参考块的对应样本之间的差异；以及基于用信号表示的残余块、所述当前PU的所述残余预测符以及所述当前PU的所述预测性块重构译码块。
在另一个实例中，本发明描述一种对视频数据进行编码的方法，所述方法包括：按比例缩放当前图片的当前译码单元(CU)的当前预测单元(PU)的运动向量以便补偿所述当前图片与时间参考图片之间的图片次序计数(POC)距离和所述当前图片与固定图片之间的POC距离之间的差，其中所述当前图片在当前视图中且在当前存取单元中，视差参考图片在参考视图中且在所述当前存取单元中，所述时间参考图片在所述当前视图中但不在所述当前存取单元中，且所述当前PU的参考索引指示所述当前图片的参考图片列表内所述时间参考图片的位置；确定所述当前PU的预测性块；基于所述视差参考图片的与由所述当前PU的视差向量指示的位置相关联的样本确定视差参考块；基于所述固定参考图片的与由所述当前PU的所述经按比例缩放运动向量和所述视差向量指示的位置相关联的样本确定所述当前PU的时间视差参考块；确定所述当前PU的残余预测符，其中所述当前PU的所述残余预测符的每一样本指示所述当前PU的所述时间视差参考块的样本与所述视差参考块的对应样本之间的差异；确定所述当前CU的最终残余块，其中所述最终残余块包括指示所述当前CU的译码块中的样本、所述当前PU的所述预测块中的样本和所述当前PU的所述残余预测符中的样本之间的差异的样本；以及在位流中包含表示所述当前CU的所述最终残余块的数据。
在另一个实例中，本发明描述一种视频译码装置，其包括：存储器，其存储参考图片；以及一或多个处理器，其经配置以：按比例缩放当前图片的当前译码单元(CU)的当前预测单元(PU)的运动向量以便补偿所述当前图片与时间参考图片之间的图片次序计数(POC)距离和所述当前图片与固定图片之间的POC距离之间的差，其中所述当前图片在当前视图中且在当前存取单元中，视差参考图片在参考视图中且在所述当前存取单元中，所述时间参考图片在所述当前视图中但不在所述当前存取单元中，且所述当前PU的参考索引指示所述当前图片的参考图片列表内所述时间参考图片的位置；确定所述当前PU的预测性块；基于所述视差参考图片的与由所述当前PU的视差向量指示的位置相关联的样本确定视差参考块；基于所述固定参考图片的与由所述当前PU的所述经按比例缩放运动向量和所述视差向量指示的位置相关联的样本确定所述当前PU的时间视差参考块；以及确定所述当前PU的残余预测符，其中所述当前PU的所述残余预测符的每一样本指示所述当前PU的所述时间视差参考块的样本与所述视差参考块的对应样本之间的差异。
在另一个实例中，本发明描述一种视频译码装置，其包括：用于按比例缩放当前图片的当前译码单元(CU)的当前预测单元(PU)的运动向量以便补偿所述当前图片与时间参考图片之间的图片次序计数(POC)距离和所述当前图片与固定图片之间的POC距离之间的差的装置，其中所述当前图片在当前视图中且在当前存取单元中，视差参考图片在参考视图中且在所述当前存取单元中，所述时间参考图片在所述当前视图中但不在所述当前存取单元中，且所述当前PU的参考索引指示所述当前图片的参考图片列表内所述时间参考图片的位置；用于确定所述当前PU的预测性块的装置；用于基于所述视差参考图片的与由所述当前PU的视差向量指示的位置相关联的样本确定视差参考块的装置；用于基于所述固定参考图片的与由所述当前PU的所述经按比例缩放运动向量和所述视差向量指示的位置相关联的样本确定所述当前PU的时间视差参考块的装置；以及用于确定所述当前PU的残余预测符的装置，其中所述当前PU的所述残余预测符的每一样本指示所述当前PU的所述时间视差参考块的样本与所述视差参考块的对应样本之间的差异。
在另一个实例中，本发明描述一种具有存储于其上的指令的非暂时性计算机可读存储媒体，所述指令在执行时配置视频译码装置以：按比例缩放当前图片的当前译码单元(CU)的当前预测单元(PU)的运动向量以便补偿所述当前图片与时间参考图片之间的图片次序计数(POC)距离和所述当前图片与固定图片之间的POC距离之间的差，其中所述当前图片在当前视图中且在当前存取单元中，视差参考图片在参考视图中且在所述当前存取单元中，所述时间参考图片在所述当前视图中但不在所述当前存取单元中，且所述当前PU的参考索引指示所述当前图片的参考图片列表内所述时间参考图片的位置；确定所述当前PU的预测性块；基于所述视差参考图片的与由所述当前PU的视差向量指示的位置相关联的样本确定视差参考块；基于所述固定参考图片的与由所述当前PU的所述经按比例缩放运动向量和所述视差向量指示的位置相关联的样本确定所述当前PU的时间视差参考块；以及确定所述当前PU的残余预测符，其中所述当前PU的所述残余预测符的每一样本指示所述当前PU的所述时间视差参考块的样本与所述视差参考块的对应样本之间的差异。
在附图和下文描述中阐述本发明的一或多个实例的细节。其它特征、目标和优点将从所述描述、图式以及权利要求书显而易见。
附图说明
图1是说明可以利用本发明中描述的技术的实例视频编码***的框图。
图2是说明相对于当前PU的实例性在空间上相邻的预测单元(PU)的概念图。
图3是说明实例多视图解码次序的概念图。
图4是说明用于多视图译码的实例预测结构的概念图。
图5是说明用于合并/跳过模式的经视图间预测的运动向量候选者(IPMVC)的实例导出的概念图。
图6是说明多视图视频译码中的高级残余预测(ARP)的实例性预测结构的概念图。
图7是说明ARP中的当前块、参考块和运动补偿块之间的实例关系的概念图。
图8是说明可实施本发明中描述的技术的实例视频编码器的框图。
图9是说明可实施本发明中描述的技术的实例视频解码器的框图。
图10A是说明根据本发明的一或多种技术对当前译码单元(CU)进行编码的视频编码器的实例操作的流程图。
图10B是说明根据本发明的一或多种技术对当前CU进行解码的视频解码器的实例操作的流程图。
图11是说明根据本发明的一或多种技术确定当前PU的残余预测符的视频译码器的实例操作的流程图。
图12是说明根据本发明的一或多种技术的视频编码器的实例操作的流程图。
图13是说明根据本发明的一或多种技术的视频解码器的实例操作的流程图。
具体实施方式
高效率视频译码(HEVC)是新开发的视频译码标准。3D-HEVC是用于3维(3D)视频数据的HEVC的扩展。3D-HEVC提供同一场景的来自不同视点的多个视图。3D-HEVC的标准化努力包含基于HEVC的多视图视频编解码器的标准化。在3D-HEVC中，实现基于从不同视图经重构的视图分量的视图间预测。高级残余预测(ARP)可进一步改善3D-HEVC中的效率。
在ARP中，视频译码器确定当前(CU)的当前预测单元(PU)的预测性块。当前PU的预测性块可基于时间参考图片的与由当前PU的运动向量指示的位置相关联的样本。在一些实例中，如果块的左上角处于一位置，那么所述块可与所述位置相关联。此外，在一些情况下，当块的样本是基于特定图片的样本时，所述样本可基于特定图片的实际或经内插样本。时间参考图片处于与当前图片相同的视图中，但处于与当前图片不同的时间实例中。此外，在ARP中，视频译码器基于视差参考图片的在由当前PU的视差向量指示的位置处的样本而确定视差参考块。视差参考图片处于与当前图片不同的视图(即，参考视图)中，但处于与当前图片相同的时间实例中。视频译码器还基于时间视差参考图片的与由当前PU的运动向量和视差向量指示的位置相关联的样本而确定当前PU的时间视差参考块。时间视差参考图片处于与视差参考图片相同的视图中，且处于与时间参考图片相同的存取单元中。视频译码器随后确定当前PU的残余预测符。当前PU的残余预测符的每一样本指示当前PU的时间视差参考块的样本与视差参考块的对应样本之间的差。
此外，在其中视频译码器是视频编码器的实例中，视频编码器可确定当前CU的最终残余块。最终残余块包括指示当前CU的译码块中的样本、当前PU的预测块中的样本和当前PU的残余预测符中的样本之间的差的样本。视频编码器可在位流中包含表示当前CU的最终残余块的数据。在其中视频译码器是视频解码器的实例中，视频解码器可基于最终残余块、当前PU的残余预测符和当前PU的预测性块而重构当前CU的译码块。
虽然ARP已显著改善视图间残余预测的译码效率，但ARP可具有若干问题。举例来说，一个图片内的不同经帧间译码PU可具有不同时间参考图片。因此，视频译码器可需要存取与参考视图不同的图片以确定PU的时间视差参考块。因为视频译码器仅在高速缓冲存储器中存储有限数目的参考图片，所以当使用较大数目的参考图片时高速缓冲存储器未中率可能较高。换句话说，由于当ARP经启用时使用较大数目的参考图片，因此ARP的使用可增加高速缓冲存储器未中率。当存在较高的高速缓冲存储器未中率时，译码过程减慢和/或存储器带宽要求增加。
根据本发明的一或多种技术，当视频译码器执行运动补偿以产生当前图片/切片的PU的残余预测符时，视频译码器可朝向同一参考图片(即，“固定参考图片”)按比例缩放PU中的每一者的运动向量。固定参考图片可在与当前图片的PU的视差参考块相同的视图(即，“参考视图”)中。因为视频译码器使用同一固定参考图片用于当前图片的PU中的每一者，所以高速缓冲存储器未中率可较低。
举例来说，视频译码器可按比例缩放当前图片的当前PU的运动向量以便补偿当前图片与时间参考图片之间的图片次序计数(POC)距离和当前图片与固定图片之间的POC距离之间的差。在此实例中，当前图片处于当前视图中且处于当前存取单元中，时间参考图片处于当前视图中但不在当前存取单元中，当前PU的参考索引指示参考图片列表内的时间参考图片的位置，且视差参考图片处于参考视图中且处于当前存取单元中。另外，视频译码器可确定当前PU的预测性块，基于在由当前PU的视差向量指示的位置处的视差参考图片的样本而确定视差参考块，且基于在由当前PU的经按比例缩放运动向量和视差向量指示的位置处的固定参考图片的样本而确定当前PU的时间视差参考块。视频译码器可随后确定当前PU的残余预测符。当前PU的残余预测符的每一样本可指示当前PU的时间视差参考块的样本与视差参考块的对应样本之间的差。
此外，根据本发明的一或多个实例技术，视频译码器即使当产生当前PU的运动补偿块(即，上文所提及的预测性块)时也可使用双线性滤波器以减少存储器存取和计算复杂性。相比之下，当确定运动补偿块时HEVC可使用8/4分接头明度/色度内插滤波器用于分数样本内插过程。在其它实例中，当产生当前PU的运动补偿块时将双线性滤波器应用于仅明度分量或仅色度分量。
图1是说明可以利用本发明的技术的实例视频译码***10的框图。如本文所使用，术语“视频译码器”一般是指视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”一般可指视频编码或视频解码。
如图1中所示，视频编解码***10包含源装置12和目的地装置14。源装置12产生经编码视频数据。因此，源装置12可以被称为视频编码装置或视频编码设备。目的地装置14可以对由源装置12所产生的经编码的视频数据进行解码。因此，目的地装置14可以被称为视频解码装置或视频解码设备。源装置12以及目的地装置14可以是视频译码装置或视频译码设备的实例。
源装置12及目的地装置14可包括广泛范围的装置，包含桌上型计算机、移动计算装置、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、电视、摄影机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机(in-car computer)或其类似者。
目的地装置14可以经由信道16从源装置12接收经编码的视频数据。信道16可以包括能够将经编码的视频数据从源装置12移动到目的地装置14的一或多个媒体或装置。在一个实例中，信道16可以包括使得源装置12能够实时地将经编码的视频数据直接发射到目的地装置14的一或多个通信媒体。在此实例中，源装置12可以根据例如无线通信协议等通信标准调制经编码的视频数据，并且可以将经调制的视频数据发射到目的地装置14。一或多个通信媒体可以包含无线通信媒体和/或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。所述一或多个通信媒体可以形成基于包的网络的一部分，基于包的网络例如局域网、广域网或全球网络(例如，因特网)。所述一或多个通信媒体可包含路由器、交换器、基站或促进从源装置12到目的地装置14的通信的其它设备。
在另一实例中，信道16可以包含存储由源装置12产生的经编码的视频数据的存储媒体。在此实例中，目的地装置14可以例如经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码的视频数据的其它合适数字存储媒体。
在另一实例中，信道16可以包含存储由源装置12产生的经编码的视频数据的文件服务器或另一中间存储装置。在此实例中，目的地装置14可以经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的经编码的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、文件传送协议(FTP)服务器、网络附接存储(NAS)装置及本地磁盘驱动器。
目的地装置14可以通过标准数据连接(例如因特网连接)来存取经编码的视频数据。数据连接的实例类型可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，数字订户线(DSL)、电缆调制解调器等)或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码的视频数据从文件服务器的传输可为流式传输、下载传输或两者的组合。
本发明的技术不限于无线应用或设置。所述技术可以应用于视频编解码以支持多种多媒体应用，例如空中电视广播、有线电视发射、***发射、流式视频发射(例如，经由因特网)、编码视频数据以存储于数据存储媒体上、解码存储于数据存储媒体上的视频数据，或其它应用。在一些实例中，视频译码***10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。
图1仅为实例，且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，数据可从本地存储器检索、在网络上流式传输，等。视频编码装置可以对数据进行编码并且将数据存储到存储器，和/或视频解码装置可以从存储器检索数据并且对数据进行解码。在许多实例中，通过并不彼此通信而是简单地编码数据到存储器及/或从存储器检索数据且解码数据的装置执行编码及解码。
在图1的实例中，源装置12包含视频源18、视频编码器20以及输出接口22。在一些情况下，输出接口22可以包含调制器/解调器(调制解调器)和/或发射器。视频源18可以包含视频俘获装置(例如，摄像机)、含有先前俘获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频馈入接口、和/或用于产生视频数据的计算机图形***，或视频数据的此些源的组合。
视频编码器20可以对来自视频源18的视频数据进行编码。在一些实例中，源装置12经由输出接口22将经编码的视频数据直接发射到目的地装置14。在其它实例中，经编码的视频数据还可以存储到存储媒体或文件服务器上以供稍后由目的地装置14存取以用于解码和/或重放。
在图1的实例中，目的地装置14包含输入接口28、视频解码器30以及显示装置32。在一些实例中，输入接口28包含接收器和/或调制解调器。输入接口28可经由信道16接收经编码视频数据。视频解码器30可对经编码视频数据进行解码。显示装置32可显示经解码视频数据。显示装置32可与目的地装置14集成或在目的地装置14外部。显示装置32可以包括多种显示装置，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30各自可实施为例如以下各者的多种合适电路中的任一者：一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。当部分地以软件实施技术时，装置可将软件的指令存储于合适的非暂时性计算机可读存储媒体中且可使用一或多个处理器以硬件执行指令从而执行本发明的技术。可将前述内容中的任一者(包含硬件、软件、硬件与软件的组合等)视为一或多个处理器。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编解码器)的部分。
本发明通常可指视频编码器20将某些信息“用信号表示”到另一装置(例如视频解码器30)。术语“用信号表示”可以大体上是指对用以对经压缩的视频数据进行解码的语法元素和/或其它数据的通信。此通信可以实时地或接近实时地发生。替代性地，可历时时间跨度而发生此通信，例如当在编码时，以经编码位流将语法元素存储到计算机可读存储媒体时，可发生此通信，接着，在存储到此媒体之后可由解码装置在任何时间检索所述语法元素。
在一些实例中，视频编码器20及视频解码器30根据视频压缩标准而操作，例如ISO/IEC MPEG-4视觉及ITU-T H.264(也称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)扩展、多视图视频译码(MVC)扩展及基于MVC的3DV扩展。在一些情况下，符合H.264/AVC的基于MVC的3DV扩展的任何位流始终含有顺应H.264/AVC的MVC扩展的子位流。此外，正在致力于产生H.264/AVC的三维视频(3DV)译码扩展，即基于AVC的3DV。在其它实例中，视频编码器20和视频解码器30可根据ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IEC MPEG-2视觉以及ITU-T H.264、ISO/IEC视觉来操作。
在其它实例中，视频编码器20及视频解码器30可根据由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发的高效率视频译码(HEVC)标准操作。被称作“HEVC工作草案9(HEVC Working Draft 9)”的HEVC的草案描述于布洛斯(Bross)等人的“高效率视频译码(HEVC)文本规范草案9(High Efficiency Video Coding(HEVC)text specification draft 9)”(ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，2012年10月中国上海第11届会议)中。此外，正在致力于产生可缩放视频译码、多视图译码，及HEVC的3DV扩展。HEVC的可缩放视频译码扩展可被称为SHEVC。视频编码器20和视频解码器30可根据对HEVC标准的此些扩展而操作。
当前，VCEG及MPEG的3D视频译码联合合作小组(JCT-3C)正在开发基于HEVC的3DV标准，其标准化努力的部分包含基于HEVC的多视图视频编解码器(MV-HEVC)的标准化及用于基于HEVC的3D视频译码(3D-HEVC)的另一部分。对于3D-HEVC，可包含且支持用于纹理及深度视图两者的新译码工具，包含在译码单元/预测单元层级中的那些工具。从2013年9月17日起，用于3D-HEVC的软件(即，3D-HTM版本6.0)可从以下链接下载：
[3D-HTM]:https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-6.0/。
一般来说，HEVC的运动补偿循环与H.264/AVC中的相同。举例来说，运动补偿环路中的当前帧的重构可等于解量化系数r加时间预测P：
I ^ = r + P .
在以上公式中，P指示用于P帧的单向预测帧间预测或用于B帧的双向预测帧间预测。
然而，HEVC中的运动补偿的单元不同于先前视频译码标准中的单元。举例来说，先前视频译码标准中的宏块的概念在HEVC中并不存在。而是，宏块被基于通用四叉树方案的高度灵活阶层式结构代替。在此方案内，界定三个类型的块，即，译码单元(CU)、预测单元(PU)和变换单元(TU)。CU是区***的基本单元。CU的概念类似于宏块的概念，但CU不限于最大大小且CU允许递归***为四个大小相等的CU以改善内容适应性。PU是帧间/帧内预测的基本单元。在一些实例中，PU可在单个PU中含有多个任意形状的分区以有效地对不规则图像模式进行译码。TU是变换的基本单元。CU的TU可独立于CU的PU而界定。然而，TU的大小限于TU属于的CU。块结构成三个不同概念的此分开可允许每一者根据其作用被优化，这可导致经改善的译码效率。
在HEVC及其它视频译码规范中，视频序列通常包含一系列图片。图片也可被称作“帧”。图片可以包含三个样本阵列，表示为SL、SCb以及SCr。SL是明度样本的二维阵列(即，块)。SCb是Cb色度样本的二维阵列。SCr是Cr色度样本的二维阵列。色度样本在本文中还可以被称为“色度”样本。在其它情况下，图片可为单色的且可仅包含明度样本阵列。
为了产生图片的经编码的表示，视频编码器20可以产生译码树单元(CTU)的集合。CTU中的每一者可包括明度样本的译码树块、色度样本的两个对应的译码树块，以及用以对译码树块的样本进行译码的语法结构。在单色图片或具有三个单独颜色平面的图片中，CTU可包括单个译码树块及用于对所述译码树块的样本进行译码的语法结构。译码树块可以是样本的NxN块。CTU也可以被称为树块或最大译码单元(LCU)。HEVC的CTU可以广泛地类似于例如H.264/AVC等其它标准的宏块。然而，CTU不必限于特定大小且可包含一或多个CU。切片可包含按光栅扫描次序连续排序的整数数目的CTU。
经译码切片可包含切片标头及切片数据。切片的切片标头可为包含提供关于切片的信息的语法元素的语法结构。切片数据可包含切片的经译码CTU。
本发明可使用术语“视频单元”或“视频块”或“块”来指代一或多个样本块及用于译码所述一或多个样本块的样本的语法结构。实例类型的视频单元或块可包含CTU、CU、PU、变换单元(TU)、宏块、宏块分区等。在一些上下文中，PU的论述可与宏块分区的宏块的论述互换。
为了产生经译码的CTU，视频编码器20可以对CTU的译码树块递归地执行四叉树分割，以将译码树块划分为译码块，因此命名为译码树单元。译码块是样本的NxN块。CU可包括具有明度样本阵列、Cb样本阵列和Cr样本阵列的图片的明度样本的译码块以及色度样本的两个对应的译码块，以及用以对译码块的样本进行译码的语法结构。在单色图片或具有三个单独颜色平面的图片中，CU可包括单个译码块和用以对译码块的样本进行译码的语法结构。
视频编码器20可以将CU的译码块分割成一或多个预测块。预测块是应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的PU可包括明度样本的预测块、色度样本的两个对应预测块以及用以预测预测块的语法结构。在单色图片或具有三个单独颜色平面的图片中，PU可包括单个预测块和用以预测预测块的语法结构。视频编码器20可以产生用于CU的每个PU的明度预测块、Cb预测块以及Cr预测块的预测性明度块、Cb块以及Cr块。因此在本发明中，CU可称为分割成一或多个PU。为便于说明，本发明可简单地将PU的预测块的大小称为PU的大小。
视频编码器20可以使用帧内预测或帧间预测来产生用于PU的预测性块。如果视频编码器20使用帧内预测产生PU的预测性块，则视频编码器20可以基于与PU相关联的图片的样本来产生PU的预测性块。在本发明中，短语“基于”可指示“至少部分基于”。
如果视频编码器20使用帧间预测产生PU的预测性块，那么视频编码器20可以基于不同于与PU相关联的图片的一或多个图片的经解码的样本来产生PU的预测性块。当使用帧间预测来产生块(例如，PU)的预测性块时，本发明可将所述块称为“经帧间译码”或“经帧间预测”。帧间预测可为单向预测性(即，单向预测)或双向预测性(即，双向预测)。为了执行单向预测或双向预测，视频编码器20可以产生用于当前图片的第一参考图片列表(RefPicList0)以及第二参考图片列表(RefPicList1)。参考图片列表中的每一者可以包含一或多个参考图片。在构造参考图片列表(即RefPicList0和RefPicList1，如果可用)之后，可使用到参考图片列表的参考索引来识别参考图片列表中包含的任何参考图片。
当使用单向预测时，视频编码器20可以搜索RefPicList0以及RefPicList1中的任一者或两者中的参考图片，以确定参考图片内的参考位置。此外，当使用单向预测时，视频编码器20可以至少部分基于对应于参考位置的样本产生用于PU的预测性块。此外，在使用单向预测时，视频编码器20可产生指示PU的预测块与参考位置之间的空间移位的单一运动向量。运动向量可包含指定PU的预测块与参考位置之间的水平移位的水平分量，且可包含指定PU的预测块与参考位置之间的垂直移位的垂直分量。
在使用双向预测来编码PU时，视频编码器20可确定RefPicList0中的参考图片中的第一参考位置及RefPicList1中的参考图片中的第二参考位置。视频编码器20可至少部分基于对应于第一及第二参考位置的样本产生PU的预测性块。此外，当使用双向预测对PU进行编码时，视频编码器20可以产生指示PU的预测块与第一参考位置之间的空间移位的第一运动向量，以及指示PU的预测块与第二参考位置之间的空间移位的第二运动向量。
如果视频编码器20使用帧间预测产生PU的预测性块，则视频编码器20可以基于不同于与PU相关联的图片的一或多个图片的样本来产生PU的预测性块。举例来说，视频编码器20可对PU执行单向预测帧间预测(即，单向预测)或双向预测帧间预测(即，双向预测)。
在其中视频编码器20对PU执行单向预测的实例中，视频编码器20可基于PU的运动向量确定参考图片中的参考位置。视频编码器20可随后确定PU的预测性块。PU的预测性块中的每一样本可与参考位置相关联。在一些实例中，PU的预测性块中的样本可当所述样本在具有与PU相同大小的样本块内且其左上角是参考位置时与参考位置相关联。预测性块中的每一样本可为参考图片的实际或经内插样本。在其中预测性块的明度样本是基于参考图片的经内插明度样本的实例中，视频编码器20可通过将8分接头内插滤波器应用于参考图片的实际明度样本而产生经内插明度样本。在其中预测性块的色度样本是基于参考图片的经内插色度样本的实例中，视频编码器20可通过将4分接头内插滤波器应用于参考图片的实际色度样本而产生经内插色度样本。一般来说，滤波器的分接头的数目指示数学地表示所述滤波器所需要的系数的数目。具有较高分接头数目的滤波器大体上比具有较低分接头数目的滤波器更复杂。
在其中视频编码器20对PU执行双向预测的实例中，PU具有两个运动向量。视频编码器20可基于PU的运动向量确定两个参考图片中的两个参考位置。视频编码器20可随后以上文所描述的方式确定与所述两个参考位置相关联的参考块。视频编码器20可随后确定PU的预测块。预测块中的每一样本可为参考块中的对应样本的加权平均。样本的加权可基于参考图片与含有PU的图片的时间距离。
视频编码器20可根据各种分割模式将CU分割为一或多个PU。举例来说，如果帧内预测用以产生CU的PU的预测性块，那么可根据PART_2Nx2N模式或PART_NxN模式分割CU。在PART_2Nx2N模式中，CU仅具有一个PU。在PART_NxN模式中，CU具有四个大小相等的具有矩形预测块的PU。如果帧间预测用以产生CU的PU的预测性块，那么可根据PART_2Nx2N模式、PART_NxN模式、PART_2NxN模式、PART_Nx2N模式、PART_2NxnU模式、PART_2NxuD模式、PART_nLx2N模式或PART_nRx2N模式分割CU。在PART_2NxN模式和PART_Nx2N模式中，CU分割成两个大小相等的具有矩形预测块的PU。在PART_2NxnU模式、PART_2NxuD模式、PART_nLx2N模式和PART_nRx2N模式中的每一者中，CU分割成两个不相等大小的具有矩形预测块的PU。
在视频编码器20产生CU的一或多个PU的预测性明度、Cb及Cr块之后，视频编码器20可产生CU的明度残余块。CU的明度残余块中的每个样本指示CU的预测性明度块中的一者中的明度样本与CU的原始明度译码块中对应的样本之间的差异。另外，视频编码器20可以产生CU的Cb残余块。CU的Cb残余块中的每个样本可以指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中对应的样本之间的差异。视频编码器20还可以产生CU的Cr残余块。CU的Cr残余块中的每个样本可以指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中对应的样本之间的差异。
此外，视频编码器20可使用四叉树分割将CU的明度、Cb及Cr残余块分解成一或多个明度、Cb及Cr变换块。变换块是应用同一变换的样本的矩形(例如，正方形或非正方形)块。CU的TU可包括明度样本的变换块、色度样本的两个对应的变换块，以及用以对变换块样本进行变换的语法结构。因此，CU的每一TU可以与明度变换块、Cb变换块以及Cr变换块相关联。与TU相关联的明度变换块可以是CU的明度残余块的子块。Cb变换块可以是CU的Cb残余块的子块。Cr变换块可以是CU的Cr残余块的子块。在单色图片或具有三个单独颜色平面的图片中，TU可包括单个变换块和用以对变换块的样本进行变换的语法结构。
视频编码器20可将一或多个变换应用到TU的明度变换块以产生TU的明度系数块。系数块可以是变换系数的二维阵列。变换系数可以是标量。视频编码器20可以将一或多个变换应用到TU的Cb变换块从而产生TU的Cb系数块。视频编码器20可以将一或多个变换应用到TU的Cr变换块从而产生TU的Cr系数块。
在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化系数块。量化大体上是指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。视频编码器20可以基于与CU相关联的量化参数(QP)值而量化与CU的TU相关联的系数块。视频编码器20可以通过调整与CU相关联的QP值来调整应用于与CU相关联的系数块的量化的程度。在一些实例中，与CU相关联的QP值可与作为整体的当前图片或切片相关联。在视频编码器20量化系数块之后，视频编码器20可以对指示经量化变换系数的语法元素进行熵编码。例如，视频编码器20可以对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。
视频编码器20可输出包含形成视频数据的表示(即，经译码图片和相关联数据)的位序列的位流。所述位流可包括网络抽象层(NAL)单元的序列。NAL单元为含有NAL单元中的数据类型类型的指示及含有所述数据的呈按需要穿插有模拟阻止位的原始字节序列有效负载(RBSP)的形式的字节的语法结构。NAL单元中的每一者包含NAL单元标头且囊封RBSP。NAL单元标头可包含指示NAL单元类型代码的语法元素。由NAL单元的NAL单元标头指定的所述NAL单元类型代码指示NAL单元的类型。RBSP可为含有囊封在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位。
不同类型的NAL单元可囊封不同类型的RBSP。举例来说，不同类型的NAL单元可囊封用于视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、经译码切片、SEI等的不同RBSP。囊封用于视频译码数据的RBSP(与用于参数集及SEI消息的RBSP相比)的NAL单元可被称为视频译码层(VCL)NAL单元。
在HEVC中，SPS可含有应用于经译码视频序列(CVS)的所有切片的信息。在HEVC中，CVS可开始于瞬时解码刷新(IDR)图片，或断链存取(BLA)图片，或为位流中的第一图片的清洁随机存取(CRA)图片，包含并非IDR或BLA图片的所有后续图片。也就是说，在HEVC中，CVS可包括按解码次序由以下各项组成的存取单元序列：作为在位流中的第一存取单元的CRA存取单元，IDR存取单元或BLA存取单元，接着是零或多个非IDR和非BLA存取单元，包含直到但不包含任何后续IDR或BLA存取单元的所有后续存取单元。
VPS是包括应用于零个或零个以上整个CVS的语法元素的语法结构。SPS可包含识别在SPS在作用中时在作用中的VPS的语法元素。因此，VPS的语法元素可比SPS的语法元素更一般化地适用。PPS是包括应用于零个或零个以上经译码图片的语法元素的语法结构。PPS可包含识别在PPS在作用中时在作用中的SPS的语法元素。切片的切片标头可包含指示当切片正经译码时在作用中的PPS的语法元素。
视频解码器30可以接收由视频编码器20产生的位流。另外，视频解码器30可以剖析位流以获得来自位流的语法元素。视频解码器30可至少部分基于从位流获得的语法元素重构视频数据的图片。用以重构视频数据的过程大体上可以与由视频编码器20执行的过程互逆。举例来说，视频解码器30可使用PU的运动向量以确定当前CU的PU的预测性块。另外，视频解码器30可以逆量化与当前CU的TU相关联的系数块。视频解码器30可以对系数块执行逆变换以重构与当前CU的TU相关联的变换块。通过将用于当前CU的PU的预测性块的样本增加到当前CU的TU的变换块的对应的样本上，视频解码器30可以重构当前CU的译码块。通过重构用于图片的每一CU的译码块，视频解码器30可以重构所述图片。
在一些实例中，视频编码器20可使用合并模式或高级运动向量预测(AMVP)模式用信号表示PU的运动信息。换句话说，在HEVC中，存在用于预测运动参数的两个模式，一个是合并/跳过模式且另一个是AMVP。运动预测可包括基于一或多个其它视频单元的运动信息的视频单元(例如，PU)的运动信息的确定。PU的运动信息(即，运动参数)可包含PU的运动向量、PU的参考索引和一或多个预测方向指示符。
当视频编码器20使用合并模式用信号表示当前PU的运动信息时，视频编码器20产生合并候选者列表。换句话说，视频编码器20可执行运动向量预测符列表构造过程。合并候选者列表包含指示在空间上或在时间上相邻于当前PU的PU的运动信息的合并候选者的集合。也就是说，在合并模式中，构造运动参数(例如，参考索引、运动向量等)的候选者列表，其中候选者可来自空间及时间相邻块。
此外，在合并模式中，视频编码器20可从所述合并候选者列表选择合并候选者且可使用由所选择的合并候选者指示的运动信息作为当前PU的运动信息。视频编码器20可用信号表示所选择的合并候选者在合并候选者列表中的位置。举例来说，视频编码器20可通过发射指示所述选定合并候选者在候选者列表内的位置的索引(即，合并候选者索引)来用信号表示所述选定运动向量参数。视频解码器30可从位流获得进入候选者列表的索引(即，合并候选者索引)。另外，视频解码器30可产生同一合并候选者列表且可基于合并候选者索引确定所述选定合并候选者。接着，视频解码器30可以使用选定的合并候选者的运动信息来产生当前PU的预测性块。也就是说，视频解码器30可至少部分基于候选者列表索引确定候选者列表中的选定的候选者，其中选定的候选者指定当前PU的运动信息(例如，运动向量)。以此方式，在解码器侧处，一旦索引被解码，索引所指向的对应块的所有运动参数便可由当前PU继承。
跳过模式类似于合并模式。在跳过模式中，视频编码器20及视频解码器30以视频编码器20及视频解码器30在合并模式中使用合并候选者列表相同的方式产生并使用合并候选者列表。然而，在视频编码器20使用跳过模式用信号表示当前PU的运动信息时，视频编码器20不用信号表示当前PU的任何残余数据。因此，视频解码器30可在不使用残余数据的情况下基于由合并候选者列表中的选定候选者的运动信息指示的参考块而确定PU的预测块。因为跳过模式具有与合并模式相同的运动向量导出过程，所以此文献中所描述的技术可适用于合并模式及跳过模式两者。
AMVP模式类似于合并模式，类似之处在于视频编码器20可产生候选者列表并且可从候选者列表选择候选者。然而，当视频编码器20使用AMVP模式用信号表示当前PU的RefPicListX(其中X是0或1)运动信息时，视频编码器20除用信号表示当前PU的RefPicListX运动向量预测符(MVP)旗标之外，还可用信号表示当前PU的RefPicListX运动向量差(MVD)和当前PU的RefPicListX参考索引。当前PU的RefPicListX MVP旗标可指示AMVP候选者列表中的选定AMVP候选者的位置。当前PU的RefPicListXMVD可指示当前PU的RefPicListX运动向量与选定AMVP候选者的运动向量之间的差。以此方式，视频编码器20可通过用信号表示RefPicListX MVP旗标、RefPicListX参考索引值和RefPicListX MVD来用信号表示当前PU的RefPicListX运动信息。换句话说，在位流中的表示当前PU的运动向量的数据可包含表示参考索引的数据、到候选者列表的索引及MVD。因此，所选择的运动向量可通过发射到候选者列表中的索引来用信号表示。另外，也可用信号表示参考索引值及运动向量差。
此外，在使用AMVP模式用信号表示当前PU的运动信息时，视频解码器30可从所述位流获得当前PU的MVD及MVP旗标。视频解码器30可产生相同的AMVP候选者列表且可基于MVP旗标确定所述选定AMVP候选者。视频解码器30可通过将MVD添加到由所述选定AMVP候选者指示的运动向量来恢复当前PU的运动向量。也就是说，视频解码器30可基于由所述选定AMVP候选者指示的运动向量和MVD确定当前PU的运动向量。视频解码器30接着可使用当前PU的所恢复的一或多个运动向量来产生当前PU的预测性块。
当视频译码器产生当前PU的AMVP候选者列表时，视频译码器可基于覆盖在空间上相邻于当前PU的位置的PU(即，在空间上相邻的PU)的运动信息导出一或多个AMVP候选者以及基于在时间上相邻于当前PU的PU(即，时间相邻的PU)的运动信息导出一或多个AMVP候选者。在AMVP中，可基于经译码参考索引导出用于每一运动假设的运动向量预测符的候选者列表。在本发明中，如果与PU相关联的预测块(或与视频单元相关联的其它类型的样本块)包含一位置，那么所述PU(或其它类型的视频单元)可称为“覆盖”所述位置。候选者列表包含与同一参考索引相关联的相邻块的运动向量以及基于时间参考图片中位于同一地点的块的相邻块的运动参数(即，运动信息)导出的时间运动向量预测符。
图2为说明相对于当前PU 40的实例空间上相邻PU的概念图。在图2的实例中，在空间上相邻的PU可为覆盖指示为A0、A1、B0、B1及B2的位置的PU。
合并候选者列表或AMVP候选者列表中基于在时间上相邻于当前PU的PU(即，在与当前PU不同的时间实例中的PU)的运动信息的候选者可被称为TMVP。TMVP可用以改善HEVC的译码效率，并且不同于其它译码工具，TMVP可需要存取经解码图片缓冲器中、更具体来说参考图片列表中的帧的运动向量。
TMVP的使用可基于逐CVS、逐切片或另一基础而经启用或停用。SPS中的语法元素(例如，sps_temporal_mvp_enable_flag)可指示TMVP的使用是否针对CVS经启用。此外，当TMVP的使用针对CVS经启用时，可针对所述CVS内的特定切片启用或停用TMVP的使用。举例来说，切片标头中的语法元素(例如，slice_temporal_mvp_enable_flag)可指示TMVP的使用是否针对切片经启用。因此，在帧间预测切片中，当TMVP针对整个CVS经启用(例如，SPS中的sps_temporal_mvp_enable_flag设定成1)时，在切片标头中用信号表示slice_temporal_mvp_enable_flag以指示TMVP的使用是否针对当前切片经启用。
为了确定TMVP，视频译码器首先可识别包含与当前PU位于同一地点的PU的参考图片。换句话说，视频译码器可识别所谓的“位于同一地点的图片”。如果当前图片的当前切片是B切片(即，被允许包含双向预测帧间预测PU的切片)，那么视频编码器20可在切片标头中用信号表示指示位于同一地点的图片是来自RefPicList0还是RefPicList1的语法元素(例如，collocated_from_l0_flag)。换句话说，当TMVP的使用针对当前切片经启用且当前切片是B切片(例如，被允许包含双向预测帧间预测PU的切片)时，视频编码器20可在切片标头中用信号表示语法元素(例如，collocated_from_l0_flag)以指示位于同一地点的图片是否在RefPicList0或RefPicList1中。在视频解码器30识别包含位于同一地点的图片的参考图片列表之后，视频解码器30可使用可在切片标头中用信号表示的另一语法元素(例如，collocated_ref_idx)来识别所识别的参考图片列表中的图片(即，位于同一地点的图片)。即，在识别参考图片列表之后，在切片标头中用信号表示的collocated_ref_idx用以识别参考图片列表中的图片。
视频译码器可通过检查位于同一地点的图片来识别位于同一地点的PU。TMVP可指示含有位于同一地点的PU的CU的右下方PU的运动信息或含有此PU的CU的中心PU内的右下方PU的运动信息。因此，使用含有此PU的CU的右下方PU的运动或含有此PU的CU的中心PU内的右下方PU的运动。含有位于同一地点的PU的CU的右下方PU可为覆盖直接在所述PU的预测块的右下方样本的右下方的位置的PU。换句话说，TMVP可指示在参考图片中且覆盖与当前PU的右下方拐角位于同一地点的位置的PU的运动信息，或TMVP可指示在参考图片中且覆盖与当前PU的中心位于同一地点的位置的PU的运动信息。
当由上述过程识别的运动向量(即，TMVP的运动向量)用以产生合并模式或AMVP模式的运动候选者时，视频译码器可基于参考图片的时间位置(由POC值反映)而按比例缩放当前PU的运动向量。换句话说，视频译码器可基于当前图片与参考图片之间的POC距离而按比例缩放当前PU的运动向量。举例来说，当视频译码器基于第一图片与第二图片之间的POC距离而按比例缩放运动向量时，与当第一图片与第二图片的POC值之间的差异较小时相比，视频译码器可当第一图片与第二图片的POC值之间的差异较大时使运动向量的量值增加较大量。
从TMVP导出的时间合并候选者的所有可能的参考图片列表的目标参考索引可始终设定成0。然而，对于AMVP，所有可能的参考图片的目标参考索引设定成等于经解码参考索引。在HEVC中，SPS可包含旗标(例如，sps_temporal_mvp_enable_flag)，且当sps_temporal_mvp_enable_flag等于1时，切片标头可包含旗标(例如，pic_temporal_mvp_enable_flag)。当对于特定图片来说pic_temporal_mvp_enable_flag和temporal_id两者等于0时，来自按解码次序在所述特定图片之前的图片的运动向量都不会用作所述特定图片或按解码次序在所述特定图片之后的图片的解码中的TMVP。
在多视图译码中，可存在来自不同视角的同一场景的多个视图。术语“存取单元”用于指对应于相同时间实例的图片集合。因此，视频数据可概念化为随时间过去而出现的一系列存取单元。“视图分量”可为单个存取单元中的视图的经译码表示。在本发明中，“视图”可指与相同视图识别符相关联的视图分量序列。
多视图译码支持视图间预测。视图间预测类似于用于HEVC中的帧间预测且可使用相同的语法元素。然而，当视频译码器对当前视频单元(例如PU)执行视图间预测时，视频编码器20可使用与当前视频单元在同一存取单元中但在不同视图中的图片作为参考图片。相对比地，常规的帧间预测仅使用不同存取单元中的图片作为参考图片。因此，在MVC中，允许在相同存取单元(即，同一时间实例中)中的图片当中进行视图间预测。
在多视图译码中，位流可具有多个层。所述层可对应于不同视图。如果视频解码器(例如，视频解码器30)可解码视图中的图片而无需参考任何其它视图中的图片，那么视图可被称为“基础视图”。如果视图的解码取决于一或多个其它视图中的图片的解码，那么视图可被称为非基础视图。
举例来说，NAL单元可包含标头(即，NAL单元标头)和有效负载(例如，RBSP)。NAL单元标头可包含nuh_reserved_zero_6bits语法元素。具有指定不同值的nuh_reserved_zero_6bit语法元素的NAL单元属于位流的不同“层”。因此，在多视图译码、3DV或SVC中，NAL单元的nuh_reserved_zero_6bits语法元素指定NAL单元的层识别符(即，层ID)。在一些实例中，如果NAL单元涉及多视图译码、3DV译码或SVC中的基础层，那么NAL单元的nuh_reserved_zero_6bits语法元素等于0。可在不参考位流的任何其它层中的数据的情况下解码位流的基础层中的数据。如果NAL单元并不涉及多视图译码、3DV或SVC中的基础层，那么nuh_reserved_zero_6bits语法元素可具有非零值。如上文所指出，在多视图译码和3DV译码中，位流的不同层可对应于不同视图。在SVC中，除基础层外的层可被称为“增强层”且可提供增强从位流解码的视频数据的视觉质量的信息。
此外，可在不参考相同层内的其它图片的情况下解码层内的一些图片。因此，可从位流移除囊封一层的某些图片的数据的NAL单元而不影响所述层中的其它图片的可解码性。移除囊封此些图片的数据的NAL单元可能会降低位流的帧速率。可在无需参考层内的其它图片的情况下解码的层内的图片的子集可在本文中被称作“子层”或“时间子层”。
NAL单元还可包含temporal_id语法元素。NAL单元的temporal_id语法元素指定NAL单元的时间识别符。NAL单元的时间识别符识别NAL单元相关联的子层。因此，位流的每一子层可与不同时间识别符相关联。如果第一NAL单元的时间识别符小于第二NAL单元的时间识别符，那么可在不参考由第二NAL单元囊封的数据的情况下解码由第一NAL单元囊封的数据。
当对非基础视图中的一者中的图片进行译码时，如果图片与和视频译码器当前正译码的图片不同的视图相关联但处于与视频译码器当前正译码的图片相同的时间实例(即，存取单元)中，那么视频译码器(例如视频编码器20或视频解码器30)可将图片添加到参考图片列表中。类似于其它帧间预测参考图片，视频译码器可在参考图片列表的任何定位处***视图间预测参考图片。
图3是说明实例多视图解码次序的概念图。多视图解码顺序可为位流次序。在图3的实例中，每一正方形对应于视图分量。正方形的列对应于存取单元。每一存取单元可经定义为含有时间实例的所有视图的经译码图片。正方形的行对应于视图。在图3的实例中，将存取单元标记为T0...T11及将视图标记为S0...S7。因为在下一存取单元的任何视图分量之前解码存取单元的每一视图分量，所以图3的解码次序可被称作时间优先译码。存取单元的解码次序可能并不等同于输出或显示次序。
多视图译码可支持视图间预测。视图间预测类似于H.264/AVC、HEVC或其它视频译码规范中所使用的帧间预测，且可使用相同的语法元素。然而，在视频译码器对当前视频单元(例如宏块或PU)执行视图间预测时，视频译码器可使用在与当前视频单元相同的存取单元中但在不同视图中的图片作为参考图片。相对比地，常规的帧间预测仅使用不同存取单元中的图片作为参考图片。
图4是说明用于多视图译码的实例预测结构的概念图。图4的多视图预测结构包含时间及视图间预测。在图4的实例中，每一正方形对应于视图分量。在图4的实例中，将存取单元标记为T0...T11及将视图标记为S0...S7。标记为“I”的正方形为经帧内预测视图分量。标记为“P”的正方形为经单向预测帧间预测视图分量。标记为“B”及“b”的正方形为经双向预测帧间预测视图分量。标记为“b”的正方形可将标记为“B”的正方形用作参考图片。从第一正方形指向第二正方形的箭头指示第一正方形可在帧间预测时用作第二正方形的参考图片。如由图4中的垂直箭头所指示，可将相同存取单元的不同视图中的视图分量用作参考图片。将存取单元的一个视图分量用作同一存取单元的另一视图分量的参考图片可被称作视图间预测。
在H.264/AVC的MVC扩展中，视差运动补偿支持视图间预测，所述视差运动补偿使用H.264/AVC运动补偿的语法，但允许将不同视图中的图片用作参考图片。对两个视图的译码还可受到H.264/AVC的MVC扩展支持。H.264/AVC的MVC扩展的优点中的一者是，MVC编码器可将两个以上视图视为3D视频输入且MVC解码器可解码此多视图表示。因此，具有MVC解码器的任何再现器可预期具有两个以上视图的3D视频内容。
在多视图视频译码的上下文中，存在两个种类的运动向量。一个种类的运动向量是指向时间参考图片的正常运动向量。对应于正常时间运动向量的类型的帧间预测可被称为运动补偿预测(MCP)。当视图间预测参考图片用于运动补偿时，对应运动向量被称为“视差运动向量”。换句话说，视差运动向量指向不同视图中的图片(即，视差参考图片或视图间参考图片)。对应于视差运动向量的类型的帧间预测可被称为“视差补偿预测”或“DCP”。
如上所提到，HEVC的多视图扩展(即，MV-HEVC)和HEVC的3DV扩展(即，3D-HEVC)正在开发中。MV-HEVC和3D-HEVC可使用视图间运动预测及视图间残余预测而改善译码效率。在视图间运动预测中，视频译码器可基于在不同于当前PU的视图中的PU的运动信息而确定(即，预测)当前PU的运动信息。在视图间残余预测中，视频译码器可基于与当前CU不同的视图中的残余数据确定当前CU的残余块。
为了实现视图间运动预测和视图间残余预测，视频译码器可确定块(例如，PU、CU等)的视差向量。一般来说，视差向量用作两个视图之间的位移的估计器。视频译码器可使用块的视差向量来定位用于视图间运动或残余预测的另一视图中的参考块，或视频译码器可将视差向量转换为用于视图间运动预测的视差运动向量。
在一些实例中，视频译码器可使用基于相邻块的视差向量(NBDV)的方法，以推导块的视差向量。举例来说，为了导出当前PU的视差向量，在用于3D-HEVC的测试模型(即，3D-HTM)中可使用称为NBDV的过程。NBDV过程使用来自空间和时间相邻块的视差运动向量以导出当前块的视差向量。因为相邻块(例如，在空间上或在时间上相邻于当前块的块)很可能在视频译码中共享几乎相同的运动和视差信息，所以当前块可使用相邻块中的运动向量信息作为当前块的视差向量的预测符。
当视频译码器执行NBDV过程时，视频译码器可以固定检查次序检查空间上相邻和时间上相邻块的运动向量。当视频译码器检查空间上相邻或时间上相邻块的运动向量时，视频译码器可确定空间上相邻或时间上相邻块的运动向量是否是视差运动向量。图片的块的视差运动向量是指向图片的视差参考图片内的位置的运动向量。给定图片的视差参考图片可为在与给定图片相同的存取单元中但在与给定图片不同的视图中的图片。当视频译码器识别出视差运动向量时，视频译码器可终止检查过程。视频译码器可将返回的视差运动向量转换为视差向量且可使用所述视差向量用于视图间运动预测和视图间残余预测。举例来说，视频译码器可将当前块的视差向量的水平分量设定为等于视差运动向量的水平分量，且可将视差向量的垂直分量设定为0。
在3D-HEVC的一些设计(例如，3D-HTM 6.0)中，当视频译码器执行NBDV过程以确定当前块(例如，PU)的视差向量时，视频译码器按顺序检查时间相邻块中的视差运动向量、空间相邻块中的视差运动向量和随后的隐式视差向量(IDV)。因此，视频译码器可首先检查时间相邻块，接着是空间相邻块。一旦视频译码器找到当前块的视差向量，视频译码器便可终止NBDV过程。当视频译码器不能够通过执行NBDV过程而确定当前块的视差向量时(即，当在NBDV过程期间不存在视差运动向量或未找到IDV时)，可将当前块的视差向量标记为不可用。换句话说，可视为NBDV过程返回不可用视差向量。
如果视频译码器不能够通过执行NBDV过程导出当前块的视差向量(即，如果未找到视差向量)，那么视频译码器可使用0视差向量作为当前块的视差向量。零视差向量是水平分量和垂直分量均等于0的视差向量。因此，甚至当NBDV过程返回不可用结果时，视频译码器的需要视差向量的其它译码过程也可使用零视差向量用于当前块。在一些实例中，如果视频译码器不能够通过执行NBDV过程导出当前块的视差向量，那么视频译码器可停用当前块的视图间残余预测。然而，不管视频译码器是否能够通过执行NBDV过程导出当前块的视差向量，视频译码器都可使用视图间运动预测用于当前PU。也就是说，如果在检查所有预定义相邻块之后未发现视差向量，那么零视差向量可用于视图间运动预测，而可停用针对对应CU的视图间残余预测。
此外，如上所提到，视频译码器可检查时间上相邻PU，作为确定当前块(例如，当前PU)的视差向量的过程的部分。当视频译码器检查时间相邻块(例如，时间相邻PU)时，视频译码器可首先构造候选图片列表。在一些实例中，候选图片列表可包含当前视图(即，与当前块相关联的视图)中的多达两个参考图片。候选图片列表中的第一参考图片可为所谓的位于同一地点的图片。位于同一地点的图片可用于HEVC中的时间运动向量预测而无需低延迟检查(即，与两个参考图片列表中的参考图片中的每一者相关联的POC值是否小于或等于当前图片的POC值)。含有当前块的切片的切片标头中的一或多个语法元素可指示位于同一地点的图片。
视频译码器可如下导出候选图片列表中的第二参考图片。首先，视频译码器可搜索参考图片列表中与当前块相关联的随机存取点(RAP)图片。随机存取指代从不是位流中的第一经译码图片的经译码图片开始的位流的解码。以规则间隔将RAP图片***到位流中可实现随机存取。RAP图片的实例类型包含IDR图片、CRA图片和BLA图片。因此，IDR图片、CRA图片和BLA图片统称为RAP图片。如果视频译码器找到RAP图片，那么视频译码器可将RAP放置于候选图片列表中作为候选图片列表中的第二图片。否则，如果视频译码器未找到参考图片列表中的随机存取点，那么视频译码器可搜索当前块的参考图片列表中具有最低时间识别符的图片且将此图片放置于候选图片列表中作为候选图片列表中的第二图片。如果当前块的参考图片列表中存在具有相同最低时间识别符的多个图片，那么视频译码器可将所述具有最低时间识别符的图片中与当前图片具有最小POC距离的任何一者放置于候选图片列表中。在本发明中，两个图片之间的POC距离可指示所述两个图片的POC值之间的差。在概念上，两个图片之间的POC距离可为所述两个图片之间的输出时间差的量的指示。
在产生候选图片列表之后，视频译码器可确定候选图片列表中的候选图片内的候选区。视频译码器可使用候选区来确定时间相邻块。如上文所指出，视频译码器可基于时间相邻块的视差运动向量或IDV而导出当前块的视差向量。在一些实例中，对于候选图片列表中的每一候选图片，视频译码器可确定三个候选区。所述三个候选区可如下界定：
●CPU：当前PU或当前CU的位于同一地点的区。
●CLCU：覆盖当前PU的所述位于同一地点的区的最大译码单元(LCU)。
●BR：CPU的右下4x4块。
视频译码器可检查候选图片的候选区中的每一者。在一个实例中，如果候选图片在第一非基础视图中，那么视频译码器可按CPU、CLCU和BR的次序检查候选区。在此实例中，如果候选图片在第二非基础视图中，那么视频译码器可按BR、CPU、CLCU的次序检查候选区。在此实例中，第一非基础视图中的图片的解码可取决于基础视图中的图片的解码，而不是其它视图中的图片。此外，在此实例中，第二非基础视图中的图片的解码也可仅取决于基础视图中的图片的解码。在其它实例中，第二非基础视图中的图片的解码可进一步取决于第一非基础视图，而不是其它视图中的图片(如果存在)。当候选区覆盖一个以上16x16块时，视频译码器可根据光栅扫描次序检查候选区中的所有16x16块。当视频译码器检查候选区(候选区内的16x16块)时，视频译码器可确定覆盖候选区的PU是否指定视差运动向量。如果覆盖候选区的PU指定视差运动向量，那么视频译码器可基于PU的视差运动向量确定当前视频单元的视差向量。
如上所提到，视频译码器可检查空间相邻块(例如，PU)，作为确定当前块的视差向量的过程的部分。在NBDV过程的一些版本中，视频译码器使用五个空间相邻块用于视差向量导出。举例来说，视频译码器可检查如下空间相邻块：左下空间相邻块、左侧空间相邻块、右上空间相邻块、上方空间相邻块，及左上空间相邻块。在NBDV过程的一些版本中，所述五个空间相邻块用于视差向量导出块可分别覆盖位置A0、A1、B0、B1和B2，如图2中指示。在一些实例中，因为这五个空间相邻块与在HEVC中的合并模式中使用的空间相邻块相同，所以不需要额外存储器存取。视频译码器可以A1、B1、B0、A0及B2的顺序检查五个空间相邻块。如果空间相邻块中的一者具有视差运动向量，那么视频译码器可终止检查过程，且视频译码器可将视差运动向量用作当前PU的最终视差向量。
当视频译码器检查空间上相邻PU时，视频译码器可首先检查相邻PU是否具有视差运动向量。如果空间相邻PU均不具有视差运动向量，那么视频译码器可确定空间相邻PU中的任一者是否具有IDV。IDV可为使用视图间预测译码的空间上或时间上相邻PU的视差向量。当块采用视图间运动向量预测时可产生IDV，即，用于AMVP或合并模式的候选者是借助于视差向量从另一视图中的参考块导出。视频译码器可使用IDV作为视图间视差运动向量候选者。此类视差向量被称为IDV。IDV可存储到块以用于视差向量导出的目的。此外，当视频译码器识别出视差运动向量或IDV时，视频译码器可返回识别的视差运动向量或IDV。
当视频译码器确定空间相邻PU中的任一者是否具有IDV时，视频译码器可按A0、A1、B0、B1和B2的次序检查空间相邻PU。因此，视频译码器可针对视差运动向量按A1、B1、B0、A0和B2的次序检查空间相邻PU且针对IDV按A0、A1、B0、B1和B2的次序检查空间相邻PU。如果空间相邻PU中的一者具有IDV且所述IDV是作为合并/跳过模式而经译码，那么视频译码器可终止检查过程且可使用所述IDV作为当前PU的最终视差向量。
在3D-HEVC中，视频译码器可以略微不同于用于基础HEVC规范中产生合并候选者列表及AMVP候选者列表的方式的方式产生合并候选者列表及AMVP候选者列表。举例来说，视图间运动预测可应用于AMVP和合并/跳过模式两者。视图间运动预测的基本想法是添加可从视差向量或从通过参考视图中的视差向量定位的对应块的运动信息导出的一或多个候选者。
举例来说，视频译码器可基于当前PU的视差向量而确定视图间预测运动向量候选者(IPMVC)。如果IPMVC可用，那么视频译码器可将IPMVC添加到当前PU的合并候选者列表或当前PU的AMVP候选者列表。IPMVC(如果可用)可指定时间运动向量(即，指示处于与当前PU相同的视图中但处于不同时间实例中的参考图片中的位置的运动向量)。
在3D-HEVC中，视频译码器可如下产生当前PU的合并候选者列表。如上文所指示，视频译码器可导出用于***到合并候选者列表中的IPMVC。为了导出用于***合并候选者列表中的IPMVC，视频译码器可至少部分地基于当前PU的视差向量而定位当前PU的参考块。当前PU的参考在参考视图(即，与当前PU不同的视图)中且在与当前视频单元相同的存取单元中。换句话说，通过视差向量定位同一存取单元的参考视图中的当前PU的参考块。
此外，为了导出用于***合并候选者列表中的IPMVC，视频译码器可确定参考是否经帧内译码。如果参考未经帧内译码，那么参考PU可为单向预测性或双向预测性。如果参考PU是单向预测性的，那么参考PU的参考索引指示参考PU的参考图片。参考PU的参考图片在参考PU的特定参考图片列表(即，RefPicListX，其中X等于0或1)中。此外，如果参考PU是单向预测性的，那么视频译码器可确定参考PU的参考图片的POC值是否匹配当前PU的RefPicListX中的参考图片的POC值。如果参考PU的参考图片的POC值匹配当前PU的RefPicListX中的参考图片的POC值，那么视频译码器可产生IPMVC以使得IPMVC的预测方向指示符等于参考PU的预测方向指示符，IPMVC的运动向量等于参考PU的运动向量，且IPMVC的参考索引指示参考图片的当前PU的RefPicListX中POC值匹配于参考PU的参考图片的POC值的位置。
如果参考PU是双向预测性的，那么参考PU具有两个参考索引和两个运动向量。因此，参考PU具有参考PU的RefPicList0中的第一参考图片和参考PU的RefPicList1中的第二参考图片。如果参考PU的第一参考图片的POC值匹配于当前PU的RefPicList0中的参考图片的POC值且如果参考PU的第二参考图片的POC值匹配于当前PU的RefPicList1中的参考图片的POC值，那么视频译码器可产生用于***合并候选者列表中的IPMVC以使得用于IPMVC的预测方向指示符匹配于用于参考块的预测方向指示符且IPMVC的运动向量匹配于参考块的运动向量。此外，如果此条件是真，那么IPMVC的第一参考索引指示参考图片的当前PU的RefPicList0中POC值匹配于参考PU的第一参考图片的POC值的位置。另外，如果此条件是真，那么IPMVC的第二参考索引指示参考图片的当前PU的RefPicList1中POC值匹配于参考PU的第二参考图片的POC值的位置。因此，如果参考块未经帧内译码且未经视图间预测且其参考图片RefPicListX[ref_idx_lx]具有等于当前PU的同一参考图片列表中的一个条目RefPicListX[RefIdxLX]的POC值，那么其运动信息(例如，预测方向、参考图片和运动向量)在基于POC(即，RefIdxLx)转换参考索引之后将导出为IPMVC以用于包含在合并候选者列表中。
图5是说明用于合并/跳过模式的IPMVC的实例导出的概念图。在图5的实例中，当前PU 50在时间实例T1处在视图V1中发生。当前PU 50的参考PU 52在与当前PU50(即，视图V0)不同的视图中且在与当前PU 50(即，时间实例T1)相同的时间实例中。在图5的实例中，参考PU 52是双向预测性的。因此，参考PU 52具有第一运动向量54和第二运动向量56。运动向量54指示参考图片58中的位置。参考图片58在视图V0中且在时间实例T0中。运动向量56指示参考图片60中的位置。参考图片60在视图V0中且在时间实例T3中发生。
视频译码器可基于参考PU 52的运动信息产生IPMVC以用于包含在当前PU 50的合并候选者列表中。IPMVC可具有第一运动向量62及第二运动向量64。运动向量62匹配运动向量54，且运动向量64匹配运动向量56。视频译码器产生IPMVC以使得IPMVC的第一参考索引指示参考图片(即，参考图片66)的当前PU 50的RefPicList0中在与参考图片58相同的时间实例(即，时间实例T0)中发生的位置。在图5的实例中，参考图片66在当前PU 50的RefPicList0中的第一位置(即，Ref0)中发生。此外，视频译码器产生IPMVC以使得IPMVC的第二参考索引指示参考图片(即，参考图片68)的当前PU 50的RefPicList1中在与参考图片60相同的时间实例中发生的位置。因此，在图5的实例中，IPMVC的RefPicList0参考索引可等于0。在图5的实例中，参考图片69在当前PU 50的RefPicList1中的第一位置(即，Ref0)中发生，且参考图片68在当前PU50的RefPicList1中的第二位置(即，Ref1)中发生。因此，IPMVC的RefPicList1参考索引可等于1。
除产生IPMVC且在合并候选者列表中包含IPMVC之外，视频译码器还可将当前PU的视差向量转换为视图间视差向量候选者(IDMVC)且可在当前PU的合并候选者列表中在与IPMVC不同的位置中包含IDMVC。换句话说，视频译码器可在当前PU的合并候选者列表中包含指定当前PU的视差向量的合并候选者。因此，IDMVC可指示与当前PU不同的视图中的参考图片中的位置。视频译码器可在与IPMVC不同的位置中将IDMVC添加到合并候选者列表。术语“视图间候选者”可用以指代IPMVC或IDMVC。
如果视频译码器能够确定当前PU的IPMVC，那么IPMVC被视为可用。因此，如果当前PU的参考PU经帧内预测或由参考PU的参考索引指示的参考图片的POC值并不匹配当前PU的对应参考图片列表中的任何参考图片的POC值，那么当前PU的IPMVC可以认为是不可用的。如果IPMVC可用，那么视频译码器可将IPMVC***在当前PU的合并候选者列表中的所有空间和时间合并候选者之前。视频译码器可将IDMVC***到当前PU的合并候选者列表中处于从位置A0导出的空间合并候选者之前。此外，经视图间预测的运动向量或视图间视差运动向量可始终***在AMVP候选者列表中的所有空间和时间候选者之前。
在一些情况下，视频译码器可基于每一CU的所导出的视差向量执行CU层级视图间残余预测(IVRP)。当视频译码器执行当前图片的当前CU的IVRP时，视频译码器可使用当前CU的PU的运动向量确定当前CU的运动补偿块。换句话说，当前CU的运动补偿块可包括当前CU的PU的预测性块。当前CU的运动补偿块可标示为Pe。当前CU的残余块中的每一样本(re)可指示当前CU的原始译码块中的样本与Pe中的对应样本之间的差异。另外，视频译码器可使用当前CU的视差向量确定参考图片中的视差参考CU。参考图片处于与当前图片不同的视图中。视差参考CU的残余块可标示为rb。视差参考CU的残余块的每一样本(rb)可指示视差参考CU的译码块的原始样本与视差参考CU的PU的预测性块中的对应预测性样本之间的差异。
视频编码器20可在位流中包含指示最终残余块的数据。最终残余块中的每一样本可指示rb中的样本与re中的对应样本之间的差异。因此，在使用视图间残余预测时，可通过以下等式表达运动补偿：
I ^ e = r e + P e + r b
其中当前块的重构等于解量化系数re加预测Pe和量化正规化残余系数rb。视频译码器可将rb视为残余预测符。因此，类似于运动补偿，rb可从当前残余减去且仅所得差信号经变换译码。
在一些实例中，视频编码器20用信号表示每一CU的IVRP旗标以指示是否应用残余预测。在一些此些实例中，当IVRP旗标等于1时，定位视差向量的参考视图中的对应块的残余块用于预测当前块(即，当前CU)的残余。然而，由于采用安(An)等人的“3D-CE4.h剖析视图间残余预测的相依性的移除的结果”(ITU-T SG 16 WP 3和ISO/IEC JTC1/SC 29/WG 11的3D视频译码扩展开发联合合作小组第3次会议：瑞士日内瓦，2013年1月17-23日，文献JCT3V-C0138(下文为JCT3V-C0138))，不再需要IVRP旗标，因为当分区大小等于2Nx2N时残余预测可始终且仅针对跳过/合并模式中的IPMVC而执行。换句话说，以下适用：如果当前CU的分区大小等于2Nx2N且当前PU使用跳过/合并模式且经解码合并索引等于0且经解码合并索引对应于IPMVC，那么应用视图间残余预测而无需应用加权(即，将残余预测符的加权因数处理为1)。否则，不应用视图间残余预测(即，将残余预测符的加权因数处理为0)。
整个内容以引用的方式并入本文的在2012年7月10日申请的第61/670,075号美国临时申请案和2012年9月27日申请的第61/706,692号美国临时申请案提出用于可缩放视频译码的一般化残余预测(GRP)。虽然这些临时专利申请集中于可缩放视频译码，但这些临时专利申请中描述的GRP技术可适用于多视图视频译码(例如，MV-HEVC和3D-HEVC)。
GRP的一般想法在单向预测的上下文中可公式化为：
Ic＝rc+Pc+w*rr，
在以上公式中，Ic表示当前层(或视图)中的当前帧的重构，Pc表示从同一层(或视图)的时间预测，rc指示用信号表示的残余，rr指示从参考层的残余预测，且w是加权因数。在一些实例中，加权因数可能需要在位流译码或基于先前经译码信息而导出。可在单循环解码及多循环解码两者的情况下应用GRP的此框架。多循环解码涉及使用经重构且上取样的较低分辨率信号对块的预测的不受限制的版本。为了对增强层中的一个块进行解码，需要存取先前层中的多个块。
举例来说，当视频解码器30使用多循环解码时，GRP可进一步公式化为：
Ic＝rc+Pc+w*(Ir-Pr)，
在以上公式中，Pr指示参考层中的当前图片的时间预测，Pc表示从同一层(或视图)的时间预测，rc指示用信号表示的残余，w是加权因数，且Ir表示参考层中的当前图片的完全重构。
以上公式包含可在位流中用信号表示或基于先前经译码信息导出的加权因数。在一些实例中，视频编码器20可在位流中基于逐CU而用信号表示在GRP中使用的加权索引。每一加权索引可对应于大于或等于0的一个加权因数。当当前CU的加权因数等于0时，所述当前CU的残余块是使用常规HEVC变换译码而译码的。否则，当当前CU的加权因数大于0时，当前残余信号(即，当前CU的残余块)可使用参考残余信号乘以加权因数而预测，且仅使用变换译码发射差。在一些实例中，参考残余信号是经内插的。
L.张等人的“3D-CE5.h相关：用于多视图译码的高级残余预测”(ITU-T SG 16 WP 3和ISO/IEC JTC1/SC 29/WG 11的3D视频译码扩展开发联合合作小组，第2次会议，中国上海，2012年10月13-19日，文献JCT3V-B0051(下文为“JCT3V-B0051”))提出了进一步改善视图间残余预测的译码效率的高级残余预测(ARP)方法。与上述残余预测方案对比，ARP可在PU层级而不是CU层级执行。为了区分上述残余预测方案与ARP，上述残余预测方案可被称为“基于CU的视图间残余预测”。
图6是说明多视图视频译码中的ARP的实例预测结构的概念图。图6包含四个图片：当前图片70、时间参考图片72、视差参考图片74和时间视差参考图片76。当前图片70在视图V1中且在时间实例Tj中。时间参考图片72在视图V1中且在时间实例Ti中。视差参考图片74在视图V0中且在时间实例Tj中。时间视差参考图片76在视图V0中且在时间实例Ti中。
当前图片70包含标示为“Dc”的当前PU。换句话说，Dc表示当前视图(视图1)中的当前块。Dc具有指示时间参考图片72中的位置的时间运动向量VD。视频编码器20可基于图片72中与由时间运动向量VD指示的位置相关联的样本而确定时间参考块Dr。因此，Dr表示Dc从同一视图(视图1)在时间Ti的时间预测块且VD表示从Dc到Dr的运动。
此外，视频编码器20可基于视差参考图片74中与由Dc的视差向量指示的位置相关联的样本而确定视差参考块Bc。因此，Bc表示参考块(即，参考视图(视图0)中在时间Tj的Dc的表示)。通过将所导出的视差向量添加到Dc的左上位置可以所导出的视差向量计算Bc的左上位置。由于Dc和Bc可为同一对象在两个不同视图中的投影，因此Dc和Bc应共享同一运动信息。因此，Bc在视图0中在时间Ti的时间预测块Br可通过应用VD的运动信息而从Bc定位。
视频编码器20可确定时间视差图片76中的时间视差参考块Br(Bc的预测性块)。如上文所指出，时间视差图片76处于与Br相同的视图(即，视图V0)中且处于与Dr相同的时间实例(即，时间实例Ti)中。视频编码器20可基于由Dc的运动向量VD指示的位置处的样本而确定Br。因此，通过将运动向量VD添加到Bc的左上位置可以再使用的运动向量VD计算Br的左上位置。Bc的左上位置可等于Dc的左上位置与视差向量的总和。因此，Br的左上位置可等于Dc的左上位置的坐标、视差向量和运动向量VD的总和。以此方式，如图6中由箭头78示出，视频编码器20可再使用运动向量VD用于确定Br。
此外，在ARP中，第一残余块中的每一样本可指示Dc中的样本与Dr的对应样本之间的差异。第一残余块可被称为Dc的原始残余块。第二残余块中的每一样本可指示Bc中的样本与Br中的对应样本之间的差异。第二残余块可被称为“残余预测符”。因为视频编码器20使用运动向量VD确定Br，所以残余预测符可不同于Bc的实际残余数据。
在视频编码器20确定残余预测符之后，视频编码器20可将残余预测符乘以加权因数。换句话说，将具有VD的运动信息的Bc的残余乘以加权因数且用作用于当前残余的残余预测符。加权因数可等于0、0.5或1。因此，在ARP中可使用三个加权因数(即，0、0.5和1)。在视频编码器20将残余预测符乘以加权因数之后，残余预测符可被称为经加权残余预测符。视频编码器20可选择产生当前CU(即，含有当前PU的CU)的最小速率失真代价的加权因数作为最终加权因数。视频编码器20可在位流中在CU层级包含指示加权索引的数据。加权索引可指示用于当前CU的最终加权因数(即，用以产生经加权残余预测符的加权因数)。在一些实例中，0、1和2的加权索引分别对应于0、1和0.5的加权因数。用于当前CU的0的加权因数的选择等效于针对当前CU的PU中的任一者不使用ARP。
视频编码器20可随后确定当前PU的最终残余块。当前PU的最终残余块中的每一样本可指示原始残余块中的样本与经加权残余预测符中的对应样本之间的差异。当前CU(即，含有当前PU的CU)的残余块可包含当前PU的最终残余块连同当前CU的其它PU的残余块(如果存在)。如在本发明中在别处所描述，视频编码器20可在一或多个变换块当中分割当前CU的残余块。变换块中的每一者可与当前CU的TU相关联。对于每一变换块，视频编码器20可将一或多个变换应用于变换块来产生变换系数块。视频编码器20可在位流中包含表示变换系数块的经量化变换系数的数据。
因此，在ARP中，为了确保两个视图的残余之间的高相关，视频编码器20可将当前PU的运动应用于参考视图图片中的对应块来产生将用于视图间残余预测的基础视图中的残余。以此方式，针对当前PU和参考视图中的对应参考块对准运动。此外，将自适应加权因数应用于残余信号以使得预测误差进一步减少。
如果当前PU是双向预测的，那么当前PU具有RefPicList0运动向量、RefPicList1运动向量、RefPicList0参考索引和RefPicList1参考索引。本发明可将由当前PU的RefPicList0参考索引指示的参考图片称为当前PU的RefPicList0目标参考图片。当前PU的RefPicList1运动向量可指示当前PU的RefPicList1目标参考图片中的参考位置。本发明可将由当前PU的RefPicList1参考索引指示的参考图片称为当前PU的RefPicList1目标参考图片。当前PU的RefPicList1运动向量可指示当前PU的RefPicList1目标参考图片中的参考位置。
因此，当视频编码器20对双向预测PU执行ARP时，视频编码器20可基于当前PU的RefPicList0运动向量确定当前PU的RefPicList0目标参考图片中的参考位置。本发明可将此参考位置称为当前PU的RefPicList0参考位置。视频编码器20可随后确定包含当前PU的RefPicList0目标参考图片的与当前PU的RefPicList0参考位置相关联的实际或经内插样本的参考块。本发明可将此参考块称为当前PU的RefPicList0参考块。
另外，视频编码器20可基于当前PU的RefPicList1运动向量确定当前PU的RefPicList1目标参考图片中的参考位置。本发明可将此参考位置称为当前PU的RefPicList1参考位置。视频编码器20可随后确定包含当前PU的RefPicList1目标参考图片的与当前PU的RefPicList0参考位置相关联的实际或内插样本的参考块。本发明可将此参考块称为当前PU的RefPicList1参考块。
视频编码器20可基于当前PU的RefPicList0参考块和当前PU的RefPicList1参考块确定当前PU的时间预测性块。举例来说，当前PU的时间预测性块中的每一样本可指示当前PU的RefPicList0参考块和当前PU的RefPicList1参考块中的对应样本的加权平均。
此外，当视频编码器20对双向预测PU执行ARP时，视频编码器20可基于当前PU的RefPicList0运动向量和视差参考块的视差参考帧内的位置确定时间视差参考图片中的时间视差参考位置。本发明可将此时间视差参考位置和此时间视差参考图片分别称为RefPicList0时间视差参考位置和RefPicList0时间视差参考图片。RefPicList0时间视差参考图片可具有与当前PU的RefPicList0目标参考图片相同的POC值。视频编码器20可随后确定包含RefPicList0时间视差参考图片的与RefPicList0时间视差参考位置相关联的实际或内插样本的样本块。本发明可将此样本块称为RefPicList0时间视差参考块。
另外，视频编码器20可基于当前PU的RefPicList1运动向量和视差参考块的视差参考帧内的位置确定时间视差参考图片中的时间视差参考位置。本发明可将此时间视差参考位置和此时间视差参考图片分别称为RefPicList1时间视差参考位置和RefPicList1时间视差参考图片。RefPicList1时间视差参考图片可具有与当前PU的RefPicList1目标参考图片相同的POC值。因为当前PU的RefPicList0目标参考图片和当前PU的RefPicList1目标参考图片可不同，所以RefPicList1时间视差参考图片可不同于RefPicList0时间视差参考图片。视频编码器20可随后确定包含RefPicList1时间视差参考图片的与RefPicList1时间视差参考位置相关联的实际或内插样本的样本块。本发明可将此样本块称为RefPicList1时间视差参考块。
接着，视频编码器20可基于RefPicList0时间视差参考块和RefPicList1时间视差参考块确定视差预测性块。在一些实例中，视差预测性块中的每一样本是RefPicList0时间视差参考块和RefPicList1时间视差参考块中的对应样本的加权平均。视频编码器20可随后确定残余预测符。残余预测符可为样本块。残余预测符中的每一样本可指示视差参考块中的样本与视差预测性块中的对应样本之间的差异。视频编码器20可随后通过将加权因数应用于残余预测符而产生经加权残余预测符。视频编码器20可随后确定当前PU的最终残余块。当前PU的最终残余块中的每一样本可指示当前PU的原始预测块中的样本与当前PU的时间预测性块中的对应样本之间的差异和经加权残余预测符。视频编码器20可在位流中用信号表示当前PU的最终残余块。
视频解码器30可当对双向预测PU执行ARP时执行相似过程。举例来说，视频解码器30可以上述样本方式确定当前PU的时间预测性块和经加权残余预测符。视频解码器30可基于在位流中用信号表示的元素来确定当前PU的最终残余块。视频解码器30可随后通过将当前PU的最终残余块、当前PU的时间预测性块和经加权残余预测符相加来重构当前PU的预测块。
张等人的“3D-CE4：用于多视图译码的高级残余预测”(ITU-T SG 16 WP 3和ISO/IEC JTC1/SC 29/WG 11的3D视频译码扩展开发联合合作小组第3次会议：瑞士日内瓦，2013年1月17-23日，文献JCT3V-C0049(下文为“JCT3V-C0049”))也提出了ARP的基本想法。在JTC3V-C0049中，可在以下步骤中描述ARP的主程序。首先，获得如当前3D-HEVC中指定的视差向量，其指向目标参考视图。随后，在同一存取单元内的参考视图的图片中，通过视差向量定位对应块。其次，再使用当前块的运动信息以导出参考块的运动信息。基于当前块的同一运动向量和参考块的参考视图中的导出的参考图片而应用用于对应块的运动补偿以导出残余块。将参考视图(Vn)中具有与当前视图(Vm)的参考图片相同的POC值的参考图片选择为对应块的参考图片。第三，将加权因数应用于残余块以得到经加权残余块且将经加权残余块的值添加到预测样本。
JCT3V-C0049提出对JCT3V-B0051中描述的ARP的两个方面的修改。首先，当产生残余预测符，即产生Br和Bc时，在HEVC中用于分数样本内插过程的8/4分接头明度/色度内插滤波器被双线性滤波器代替。一般来说，双线性滤波器(即，双线性内插)是用于规则2维栅格上的两个变量(例如，x和y)的内插函数的线性内插的扩展。因此，双线性滤波器可为2分接头滤波器。其次，在JCT3V-C0049中，所提出的ARP仅应用于具有等于PART_2Nx2N的分割模式的那些CU。
在上述ARP方案中，图7中展示当前块、对应块和运动补偿块之间的关系。换句话说，图7是说明ARP中在当前块、参考块和运动补偿块之间的实例关系的概念图。在图7的实例中，视频译码器当前在对当前图片81中的当前PU 80进行译码。当前图片81在视图V1中且在时间实例T1中。
此外，在图7的实例中，视频译码器可确定包括参考图片83的与由当前PU 80的视差向量指示的位置相关联的实际或内插样本的参考块82(即，对应块)。举例来说，参考块82的左上角可为由当前PU 80的视差向量指示的位置。时间视差参考块95可具有与当前PU 80的预测块相同的大小。
在图7的实例中，当前PU 80具有第一运动向量84和第二运动向量86。运动向量84指示时间参考图片88中的位置。时间参考图片88在视图V1(即，与当前图片81相同的视图)和时间实例T0中。运动向量86指示时间参考图片90中的位置。时间参考图片90在视图V1和时间实例T3中。
根据上述ARP方案，视频译码器可确定处于与参考图片83相同的视图中且处于与时间参考图片88相同的时间实例中的参考图片(即，参考图片92)。另外，视频译码器可将运动向量84添加到参考块82的左上角的坐标以导出时间视差参考位置。视频译码器可确定时间视差参考块93(即，运动补偿块)。时间视差参考块93中的样本可为参考图片92的与从运动向量84导出的时间视差参考位置相关联的实际或内插样本。时间视差参考块93可具有与当前PU 80的预测块相同的大小。
类似地，视频译码器可确定处于与参考图片84相同的视图中且处于与时间参考图片90相同的时间实例中的参考图片(即，参考图片94)。另外，视频译码器可将运动向量86添加到参考块82的左上角的坐标以导出时间视差参考位置。视频译码器可随后确定时间视差参考块95(即，运动补偿块)。时间视差参考块95中的样本可为参考图片94的与从运动向量86导出的时间视差参考位置相关联的实际或内插样本。时间视差参考块95可具有与当前PU 80的预测块相同的大小。
此外，在图7的实例中，视频译码器可基于时间视差参考块93和时间视差参考块95确定视差预测性块。视频译码器可随后确定残余预测符。残余预测符中的每一样本可指示参考块82中的样本与视差预测性块中的对应样本之间的差异。
虽然ARP已显著改善视图间残余预测的译码效率，但ARP可具有若干问题。举例来说，一个图片内的不同经帧间译码PU可具有不同参考图片。因此，视频译码器可能需要从参考视图存取不同图片以确定PU的时间视差参考块(例如，图6中的Br)。因为视频译码器仅在高速缓冲存储器中存储有限数目的参考图片，所以当使用较大数目的参考图片时高速缓冲存储器未中率可能较高。换句话说，由于当ARP经启用时使用较大数目的参考图片，因此ARP的使用可增加高速缓冲存储器未中率。当存在较高的高速缓冲存储器未中率时，译码过程减慢和/或存储器带宽要求增加。
在ARP中的另一实例问题中，对于每一参考图片列表，当视频译码器执行用于PU的ARP时，视频译码器可能需要存取三个块(即，图6中的Br、Bc和Dr)。然而，当视频译码器并不执行用于PU的ARP时，视频译码器可仅需要存取一个块(即，Dr)。换句话说，对于采用ARP的一个PU，其要求以可能的内插存取三个块(即，Br、Bc和Dr)，而对于不使用ARP的PU，仅需要一个块(即，Dr)用于一个参考图片列表。因此，ARP的使用可增加存储器带宽要求和计算复杂性。即，当ARP经启用时存储器带宽和计算复杂性可增加。
此外，现有视图间残余预测技术可存在若干问题。举例来说，在一些基于CU的视图间残余预测技术中，当视图间残余预测经启用用于一个PU时，固定加权因数(即，用于经视图间预测的运动向量候选者的加权因数)不适应于当前视图与参考视图之间的变化的质量差异。
本发明的技术可以ARP和基于CU的视图间残余预测解决先前提到的问题或缺点。举例来说，本发明的技术可进一步简化基于AVC和/或基于HEVC的多视图、3DV译码和可缩放视频译码的高级视图间残余预测。
根据本发明的技术中的一者，当视频译码器执行运动补偿以产生当前图片/切片的PU的残余预测符时，视频译码器可朝向同一参考图片(即，“固定参考图片”)按比例缩放PU中的每一者的运动向量。固定参考图片可在与当前图片的PU的视差参考块相同的视图(即，“参考视图”)中。
举例来说，图片的第一PU的运动向量可指示第一参考图片且图片的第二PU的运动向量可指示第二参考图片。在此实例中，当视频译码器执行运动补偿以产生第一PU的残余预测符时，视频译码器可基于第一参考图片与固定参考图片之间的时间距离按比例缩放第一PU的运动向量。此外，在此实例中，当视频译码器执行运动补偿以产生第二PU的残余预测符时，视频译码器可基于第二参考图片与固定参考图片之间的时间距离按比例缩放第二PU的运动向量。
在朝向固定参考图片按比例缩放当前PU的运动向量之后，视频译码器可基于按比例缩放的运动向量识别固定参考图片中的时间视差参考块。视频译码器可随后确定当前PU的残余预测符。如前，残余预测符中的每一样本可指示视差参考块中的样本与时间视差参考块中的对应样本之间的差异。
以此方式，当在参考视图中进行运动补偿以产生残余预测符时朝向固定图片按比例缩放当前PU的运动向量。通过进行此做法而不是由于当前图片中的PU的运动向量参考不同图片的原因而从不同图片的运动补偿，参考视图中的运动补偿可始终从一个固定图片完成且运动向量经按比例缩放以补偿不同POC距离。固定参考图片可针对当前图片的每一ARP经启用PU为相同的。即，对于当前图片的每一相应PU，当执行参考视图中的运动补偿时不存取除所述固定参考图片外的参考图片，以基于与特定参考图片列表相关联的运动向量确定相应PU的时间视差参考块。因为用于确定PU的残余预测符的时间视差参考块全部是基于同一固定参考图片中的样本，所以与时间视差参考块是基于参考视图的不同图片中的样本的情况相比，所述固定参考图片更可能在参考图片高速缓冲存储器中。或者，本发明的技术可使视频译码器能够具有较小的高速缓冲存储器。
因此，根据本发明的一或多种技术，视频编码器20可按比例缩放当前图片的当前CU的当前PU的运动向量以便补偿当前图片与时间参考图片之间的图片次序计数(POC)距离和当前图片与固定图片之间的POC距离之间的差。在此实例中，当前图片在当前视图中且在当前存取单元中，视差参考图片在参考视图中且在当前存取单元中，时间参考图片在当前视图中但不在当前存取单元中，当前PU的参考索引指示当前图片的参考图片列表内的时间参考图片的位置，且视差参考图片在参考视图中且在当前存取单元中。此外，在此实例中，视频编码器20可确定当前PU的预测性块。另外，视频编码器20可基于视差参考图片的与由当前PU的视差向量指示的位置相关联的样本确定视差参考块。视频编码器20还可基于固定参考图片的与由当前PU的经按比例缩放运动向量和视差向量指示的位置相关联的样本确定当前PU的时间视差参考块。另外，视频编码器20可确定当前PU的残余预测符。在此实例中，当前PU的残余预测符的每一样本指示当前PU的时间视差参考块的样本与视差参考块的对应样本之间的差。此外，在此实例中，视频编码器20可确定当前CU的最终残余块。在此实例中，最终残余块包括指示当前CU的译码块中的样本、当前PU的预测块中的样本和当前PU的残余预测符中的样本之间的差的样本。视频编码器20可在位流中包含表示当前CU的最终残余块的数据。
在类似实例中，视频解码器30可按比例缩放当前图片的当前PU的运动向量以便补偿当前图片与时间参考图片之间的图片次序计数(POC)距离和当前图片与固定图片之间的POC距离之间的差。在此实例中，当前图片在当前视图中且在当前存取单元中，视差参考图片在参考视图中且在当前存取单元中，时间参考图片在当前视图中但不在当前存取单元中，且当前PU的参考索引指示当前PU的参考图片列表内的时间参考图片的位置。视频解码器30可确定当前PU的预测性块。另外，视频解码器30可基于视差参考图片的在由当前PU的视差向量指示的位置处的样本确定视差参考块。此外，视频解码器30可基于固定参考图片的在由当前PU的经按比例缩放运动向量和视差向量指示的位置处的样本确定当前PU的时间视差参考块。视频解码器30可确定当前PU的残余预测符，其中当前PU的残余预测符的每一样本指示当前PU的时间视差参考块的样本与视差参考块的对应样本之间的差。视频解码器30可随后基于用信号表示的残余块、当前PU的残余预测符和当前PU的预测性块重构译码块。
在一些实例中，视频译码器可确定在当前视图中的经指派图片。在一些此类实例中，固定参考图片可为具有与当前视图中的经指派图片相同的POC值(即，在同一存取单元中)的参考图片。举例来说，固定参考图片可具有匹配于当前图片的参考图片列表中的参考图片的POC值的POC值。一般来说，本发明可使用术语“经指派图片”或“经指派参考图片”来指代在当前视图中的图片。相比之下，本发明可使用术语“固定图片”或“固定参考图片”来指代在参考视图中的图片。
在一些实例中，视频译码器可使用不同固定参考图片用于RefPicList0和RefPicList1。举例来说，视频译码器可基于第一固定参考图片的样本而确定当前图片的所有PU的RefPicList0时间视差参考块。在此实例中，视频译码器可基于第二固定参考图片的样本确定当前图片的所有PU的RefPicList1时间视差参考块。在此实例中，第一固定参考图片可不同于第二固定参考图片。
因此，在此些实例中，对于当前图片的RefPicList0中的所有图片，其中的当前视图中的仅一个第一经指派图片是固定的，且对于当前图片的RefPicList1中的所有图片，其中的当前视图中的仅一个第二经指派图片是固定的。当在参考视图中进行运动补偿以产生残余时，在参考视图中且具有与第一经指派图片的POC值相同的POC值的图片用于RefPicList0且经设定为固定参考图片。当在参考视图中进行运动补偿以产生残余时，具有与第二经指派图片的POC值相同的POC值的图片用于RefPicList1且经设定为固定参考图片。
举例来说，视频译码器可按比例缩放当前图片的当前PU的第一运动向量以便补偿第一固定参考图片与第一时间参考图片之间的时间距离。在此实例中，当前图片在当前视图中且在当前存取单元中，视差参考图片在参考视图中且在当前存取单元中，时间参考图片在当前视图中但不在当前存取单元中，且当前PU的第一参考索引指示第一参考图片列表内的第一时间参考图片的位置。此外，在此实例中，视频译码器确定当前PU的第一预测性块。另外，视频译码器基于视差参考图片的在由当前PU的视差向量指示的位置处的样本确定视差参考块。另外，视频译码器基于第一固定参考图片的在由经按比例缩放第一运动向量指示的位置处的样本确定当前PU的时间视差参考块。在此实例中，第一固定参考图片的POC值匹配于当前图片的第一参考图片列表中的参考图片的POC值。在此实例中，第二固定参考图片的POC值匹配于当前图片的第二参考图片列表中的参考图片的POC值。此外，在此实例中，视频译码器按比例缩放当前PU的第二运动向量以便补偿第二固定参考图片与第二时间参考图片之间的时间距离。当前PU的第二参考索引指示当前图片的第二参考图片列表中第二时间参考图片的位置。为了确定当前PU的时间视差参考块，视频译码器可基于第一固定参考图片的在由经按比例缩放第一运动向量指示的位置处的样本确定第一预测性时间视差参考块。此外，为了确定当前PU的时间视差参考块，视频译码器可基于第二固定参考图片的在由经按比例缩放第二运动向量指示的位置处的样本确定第二预测性时间视差参考块。另外，为了确定当前PU的时间视差参考块，视频译码器可基于所述第一和第二预测性时间视差参考块确定当前PU的时间视差参考块。
在先前段落中提供的实例的一些情况下，对于当前图片的每一相应PU，当在参考视图中执行运动补偿时不存取除第二固定参考图片外的参考图片，以基于当前PU的经按比例缩放第二运动向量和当前PU的视差向量确定相应PU的时间视差参考块。此外，在先前段落中提供的实例的一些情况下，第一固定参考图片与第二固定参考图片相同。
在其中视频译码器可使用不同固定参考图片用于RefPicList0和RefPicList1的一个实例中，经指派图片可分别为当前视图的RefPicList0和RefPicList1中的第一条目。换句话说，经指派图片可为当前参考图片列表的第一条目。在此实例中，视频译码器可使用视差参考块的RefPicList0和RefPicList1中具有与当前视图中的第一和第二经指派图片相同的POC值的图片作为参考视图中的RefPicList0和RefPicList0固定参考图片。
在其中视频译码器可使用不同固定参考图片用于RefPicList0和RefPicList1的另一实例中，视频译码器可使用在参考视图中且具有匹配于当前PU的RefPicList0中具有与当前图片的最小POC距离的经指派图片的POC值的POC值的参考图片作为用于RefPicList0的固定参考图片。类似地，在此实例中，视频译码器可使用在参考视图中且具有匹配于当前PU的RefPicList1中具有与当前图片的最小POC距离的参考图片的POC值的POC值的参考图片作为用于RefPicList1的固定参考图片。以此方式，视频译码器可确定固定参考图片以使得所述固定参考图片的POC值匹配于当前图片的参考图片列表中的经指派图片的POC值，且所述经指派图片的POC值比当前图片的参考图片列表中的任何其它参考图片的POC值更接近于当前图片的POC值。在其中视频译码器可使用不同固定参考图片用于RefPicList0和RefPicList1的另一实例中，视频译码器可使用视差参考图片的RefPicList0中具有与当前图片的最小POC距离的参考图片作为用于RefPicList0的固定参考图片。类似地，在此实例中，视频译码器可使用视差参考图片的RefPicList1中具有与当前图片的最小POC距离的参考图片作为用于RefPicList1的固定参考图片。换句话说，视频译码器可确定固定参考图片以使得所述固定参考图片的POC值比属于参考视图的任何其它参考图片的POC值更接近于当前图片的POC值。因此，在这两个实例中，经指派图片可为具有与当前图片的参考图片列表中的当前图片的最小POC差的参考图片，或固定参考图片可为参考视图的参考图片当中具有最小POC差的图片。
在其中视频译码器可使用不同固定参考图片用于RefPicList0和RefPicList1的另一实例中，视频译码器可使用当前图片的RefPicList0中的时间参考图片当中具有最小参考图片索引的时间参考图片(即，在与当前图片相同的视图中的参考图片)作为第一经指派图片。此外，视频译码器可将RefPicList0固定参考图片设定为在参考视图中且具有与第一经指派图片相同的POC值的图片。类似地，在此实例中，视频译码器可使用当前图片的RefPicList1中的时间参考图片当中具有最小参考图片索引的时间参考图片(即，在与当前图片相同的视图中的参考图片)作为第二经指派图片。此外，视频译码器可将RefPicList1固定参考图片设定为在参考视图中且具有与第二经指派图片相同的POC值的图片。换句话说，RefPicListX固定参考图片(其中X为0或1)可为具有与经指派参考图片相同的POC值的图片，其中所述经指派参考图片是在当前图片的RefPicListX中具有最小参考图片索引的当前块的时间参考图片。因此，在此实例中，经指派图片可为在参考图片列表中具有最小参考图片索引的时间参考图片(来自与当前块相同的视图)。
在其中视频译码器可使用不同固定参考图片用于RefPicList0和RefPicList1的另一实例中，视频译码器可使用当前图片的RefPicList0中的参考图片当中具有最低时间识别符的参考图片作为RefPicList0经指派参考图片。类似地，在此实例中，视频译码器可使用当前图片的RefPicList1中的参考图片当中具有最低时间识别符的参考图片作为RefPicList1经指派参考图片。RefPicList0固定参考图片可为视差参考图片的RefPicList0中具有与RefPicList0经指派参考图片相同的POC值的图片。类似地，RefPicList1固定参考图片可为视差参考图片的RefPicList1中具有与RefPicList1经指派参考图片相同的POC值的图片。因此，在此实例中，RefPicListX固定参考图片(其中X为0或1)可为在参考视图中、在视差参考图片的RefPicListX中且具有匹配于经指派图片的POC值的POC值的图片，其中所述经指派图片的时间识别符低于当前图片的RefPicListX中的任何其它参考图片的时间识别符。
在其中视频译码器可使用不同固定参考图片用于RefPicList0和RefPicList1的另一实例中，视频译码器可使用视差参考图片的RefPicList0中的参考图片当中具有最低时间识别符的参考图片作为RefPicList0固定参考图片。类似地，在此实例中，视频译码器可使用视差图片的RefPicList1中的参考图片当中具有最低时间识别符的参考图片作为RefPicList1固定参考图片。因此，在此实例中，视频译码器可确定RefPicListX固定参考图片(其中X是0或1)以使得固定参考图片的时间识别符低于参考视图的任何其它参考图片的时间识别符。因此，在这些实例和先前段落的实例中，经指派图片可为当前图片的当前参考图片列表中具有最低temporalID的参考图片，或固定参考图片可在具有最低temporalID的参考视图的参考图片当中。
在其中视频译码器可使用不同固定参考图片用于RefPicList0和RefPicList1的另一实例中，视频译码器可识别当前图片的RefPicListX中的参考图片当中具有最低量化参数的参考图片作为RefPicListX经指派图片(其中X是0或1)。换句话说，RefPicListX经指派图片的量化参数是当前图片的RefPicListX中的参考图片当中的最低量化参数。在此实例中，RefPicListX固定参考图片是视差参考块的RefPicListX中具有匹配于RefPicListX经指派参考图片的POC值的参考图片。因此，在此实例中，视频译码器可确定固定参考图片以使得所述固定参考图片具有与当前块的固定参考图片中的参考图片当中具有最低量化参数的参考图片相同的POC值。在其中视频译码器可使用不同固定参考图片用于RefPicList0和RefPicList1的另一实例中，视频译码器可使用视差参考图片的RefPicList0中的参考图片当中具有最低量化参数的参考图片作为RefPicList0固定参考图片。类似地，在此实例中，视频译码器可使用视差图片的RefPicList1中的参考图片当中具有最低量化参数的参考图片作为RefPicList1固定参考图片。因此，在此实例中，视频译码器可确定固定参考图片以使得固定参考图片的量化参数低于参考视图的任何其它参考图片的量化参数。因此，在这两个实例中，经指派图片可为当前图片的当前参考图片列表中具有最低量化参数的参考图片，或固定参考图片可为参考视图的参考图片当中具有最低量化参数的图片。
在另一个实例中，视频译码器可使用视频译码器在执行NBDV过程中使用以导出当前PU的视差向量的候选图片作为RefPicList0和/或RefPicList1固定参考图片。在另一个实例中，视频译码器可使用视频译码器在执行参考视图的图片的NBDV过程中使用的第一或第二候选图片作为RefPicList0和/或RefPicList1固定参考图片。换句话说，视频译码器可执行NBDV导出过程以确定当前PU的视差向量，其中固定参考图片具有等于在NBDV导出过程中使用的第一或第二候选图片的POC值的POC值。因此，在这两个实例中，经指派图片可与在当前图片或参考视图的图片的NBDV过程中利用的第一或第二候选图片相同。
在另一个实例中，可在切片标头、PPS、SPS、VPS或另一语法结构中用信号表示RefPicListX经指派参考图片(其中X是0或1)。在此实例中，RefPicListX参考图片可在当前视图中。此外，在此实例中，RefPicListX固定参考图片可在参考视图中且可具有与RefPicListX经指派参考图片相同的POC值。在其中RefPicListX经指派参考图片在切片标头中用信号表示的一个实例中，RefPicListX经指派图片是通过当前图片的参考图片列表中的图片的参考索引用信号表示。因此，在此实例中，切片标头中的参考索引可指示RefPicList0经指派参考图片的当前图片的RefPicList0中的位置，且切片标头中的另一参考索引可指示RefPicList1经指派参考图片的当前图片的RefPicList1中的位置。在一个实例中，RefPicListX固定参考图片是通过参考视图的图片的参考图片列表中的图片的参考索引用信号表示。因此，在此实例中，切片标头中的参考索引可指示RefPicList0固定参考图片的视差参考图片的RefPicList0中的位置，且切片标头中的另一参考索引可指示RefPicList1固定参考图片的视差参考图片的RefPicList1中的位置。
此外，在一个实例中，当具有与经指派图片(即，当前视图中的参考图片)相同的POC值的图片不包含在参考视图的参考图片列表中时，视频译码器可使用参考视图的参考图片列表中的第一条目作为固定参考图片。以此方式，当参考视频单元的参考图片列表并不包含具有匹配于经指派图片的POC值的POC值的参考图片时，视频译码器可使用参考视频单元的参考图片列表中的第一条目作为固定参考图片。
在另一个实例中，在当前视图的经指派图片的同一存取单元内的图片不存在于视差参考图片(即，视图间参考图片)的参考图片列表中时，视频译码器可遵循如上所提到的某些选择标准(例如，最小参考索引、到当前图片的最小POC距离，或其它准则)将固定图片设定为参考图片列表的参考图片(例如，时间参考图片)。因此，在具有与经指派参考图片相同的POC值的参考图片不存在于视差参考图片的参考图片列表中时，视频译码器可将固定参考图片设定为视差参考图片的参考图片列表中的另一图片。
此外，当ARP经启用用于当前PU且视频译码器执行当前视图中的运动补偿以确定当前PU的残余块时，视频译码器可将当前PU的运动向量按比例缩放到在当前视图中且具有与固定参考图片相同的POC值的参考图片。视频译码器可随后使用当前PU的经按比例缩放运动向量以确定当前PU的预测性块。换句话说，当进行当前视图中的运动补偿以得到残余时，当ARP经启用用于当前块/PU时将运动向量按比例缩放到经指派图片。因此，视频译码器可基于当前视图中具有与固定参考图片相同的POC值的参考图片的在由经按比例缩放运动向量指示的位置处的样本确定当前PU的时间预测性块。举例来说，为了确定当前PU的预测性块，视频译码器可基于经指派参考图片的与由经按比例缩放运动向量指示的位置相关联的样本而确定预测性块，其中经指派参考图片的POC值匹配于固定参考图片的POC值且经指派参考图片在与当前图片相同的视图中。
此外，在一个替代实例中，当指示将使用ARP时(例如，当加权因数不等于0时)，针对以AMVP模式译码的PU不用信号表示参考图片索引，且将参考图片索引设定成用于非零加权因数的经指派图片的索引。举例来说，当ARP经启用用于PU时视频编码器20在PU中并不包含指示所述PU的参考索引的语法元素。实际上，在此实例中，视频解码器30可自动确定(即，推断)PU的参考索引指示与加权因数相关联的固定参考图片。
根据本发明的一些实例技术，视频译码器可将PU的运动向量舍入到整数精度。此外，视频译码器可使用经舍入的运动向量来产生残余预测符和/或产生当前PU的残余。此外，在一个替代实例中，当产生参考视图中的残余预测符时视频译码器还可将视差向量舍入到整数精度。在一个替代实例中，当视频译码器正在产生参考视图中的残余预测符时视频译码器仅调用舍入运动向量和/或视差向量的过程。因此，在上文实例中，在按比例缩放运动向量之后，视频译码器可将当前PU的运动向量舍入到整数精度；且为了确定时间视差参考块，视频译码器可基于经舍入的经按比例缩放运动向量和视差参考块的位置确定当前PU的残余预测符。更确切地说，视频译码器可基于经舍入的经按比例缩放运动向量和视差参考块的位置确定时间视差参考块。此外，在一个实例中，所述舍入过程可经界定为：mv＝(mv>>2)<<2，意味着mv[0]＝(mv[0]>>2)<<2且mv[1]＝(mv[1]>>2)<<2。在另一个实例中，所述舍入过程可经界定为：mv[i]＝((mv[i]+2)>>2)<<2，或mv[i]＝((mv[i]+sign(mv[i])*2)>>2)<<2，其中i等于0或1。在此实例中，mv表示运动向量，>>表示右移位运算，<<表示左移位运算，mv[0]表示运动向量的水平分量，且mv[1]表示运动向量的垂直分量。
当确定运动补偿块时HEVC可使用8/4分接头明度/色度内插滤波器用于分数样本内插过程。在本发明的一些实例中，视频译码器可改为即使当产生当前PU的运动补偿块时也使用双线性滤波器。换句话说，即使当产生当前PU的运动补偿块，即产生Dr时，在HEVC中用于分数样本内插过程的8/4分接头明度/色度内插滤波器也可被双线性滤波器代替。因此，当确定当前PU的预测性块时，视频译码器可将双线性滤波器应用于时间参考图片的明度和/或色度分量。在一个替代实例中，视频译码器可将双线性滤波器仅应用于明度分量或仅应用于色度分量。在另一个实例中，视频译码器可将双线性滤波器应用于明度和色度分量两者。此外，在一些实例中，当确定当前PU的预测性块时，视频译码器可将双线性滤波器应用于经指派参考图片的明度和色度分量。
此外，在一些实例中，当CU经帧间译码时，可仅对明度分量或仅对色度分量启用ARP。举例来说，视频解码器30可执行ARP以重构当前CU的明度译码块，但不重构当前CU的色度译码块，或反之亦然。
在一些实例中，视频译码器分配额外存储器以存储经帧间译码PU的加权因数索引。此外，当视频译码器构造PU的合并候选者列表时，合并候选者列表中的每一候选者除运动向量和参考索引之外还包含加权因数索引。因此，如果经解码合并候选者索引指示针对当前PU将选择特定候选者，那么视频译码器可将当前PU和/或当前CU的加权因数索引设定为当前PU的加权因数索引。在替代实例中，仅当当前PU经分割为2Nx2N时，使用采取加权因数索引的此合并过程。换句话说，在此实例中，仅当当前CU具有仅单个PU时视频译码器使用由合并候选者指定的加权因数。在另一个实例中，视频译码器仅当使用空间合并候选者时(即，当选定合并候选者索引参考从空间相邻块导出的候选者时)执行此合并过程。
根据本发明的额外技术，视频译码器可执行过程以进一步改善3D-HEVC中的基于CU的视图间残余预测方案的译码效率而无需参考视图处的运动补偿。根据此技术，并非当一个PU的模式是合并/跳过时启用视图间残余预测(加权因数始终等于1)，合并候选者索引等于0且指示通过视图间运动预测从参考视图的参考块导出的运动向量候选者(即，合并候选者)且(PU属于的)CU经分割为2Nx2N(即，根据PART_2Nx2N模式分割)。在其它情形中可不允许视图间残余预测。换句话说，当PU的合并候选者索引等于0且PU的选定合并候选者(即，由PU的合并候选者索引指示的合并候选者)是从参考视图的参考块导出时，可针对PU启用视图间残余预测。当在如上所提到的相同情形中启用视图间残余预测时，进一步发射加权因数索引以启用不等于1或0的加权因数。
在一个替代实例中，视频编码器20可当合并候选者索引等于0且选定合并候选者是从参考视图的参考块导出时用信号表示一个位以指示等于0.5或1的加权因数。换句话说，在此替代实例中，视频编码器20可在如上所提到的视图间残余预测经启用的情形中用信号表示一个位以指示等于0.5或1的加权因数。
在另一个替代实例中，可仅当PU是以合并模式译码、PU的合并候选者索引(即，merge_idx)等于0且当前CU(即，PU属于的CU)的分割模式等于2Nx2N时针对所述PU启用视图间残余预测。否则，在此实例中，始终停用视图间残余预测。举例来说，当PU不是以合并模式译码时、当PU是以合并模式译码但PU的合并候选者索引不等于0或当前CU的分割模式不等于2Nx2N时，针对所述PU始终停用视图间残余预测。在此实例中，当针对PU启用视图间残余预测时，视频编码器20可用信号表示PU的加权因数索引。因此，视频编码器20仅取决于PU的运动信令模式(即，合并模式、跳过模式、AMVP模式等)、分区大小和merge_idx而可以或不可用信号表示PU的加权因数索引。
在其中仅当PU是使用合并模式译码、PU的merge_idx等于0且当前CU的分割模式等于2Nx2N时针对所述PU启用基于CU的视图间残余预测一些实例中，加权因数索引可为0、1或2。0、1和2的加权因数索引值可分别对应于0、1和0.5的加权因数。然而，加权因数索引到加权因数的其它映射可为可能的。
或者，在其中仅当PU是使用合并模式译码、PU的merge_idx等于0且当前CU的分割模式等于2Nx2N时针对所述PU启用基于CU的视图间残余预测一些实例中，加权因数索引可为1位旗标。所述1位旗标的语义可取决于在合并候选者列表构造之后导出的情形。举例来说，如果由PU的merge_idx指示的合并候选者(即，在合并候选者列表的第一位置的合并候选者)是从参考视图导出，那么等于0或1的所述1位旗标指示加权因数分别等于0.5或1。在替代实例中，如果由PU的merge_idx指示的合并候选者是从参考视图导出，那么等于0或1的所述1位旗标指示加权因数分别等于1或0.5。在此替代实例中，始终启用视图间残余预测，其具有可能不同的加权因数和加权因数索引到权重因数的不同映射。否则，如果由PU的merge_idx指示的合并候选者不是从参考视图导出，那么等于0或1的所述1位旗标指示加权因数分别等于0或1。在替代实例中，如果由PU的merge_idx指示的合并候选者不是从参考视图导出，那么等于0或1的所述1位旗标指示加权因数分别等于1或0。在另一个替代实例中，如果由PU的merge_idx指示的合并候选者不是从参考视图导出，那么所述1位旗标将始终等于0，指示停用视图间残余预测。
对于HEVC的可缩放译码(即，SHVC)，以下可适用。当GRP应用于SHVC时，仅当一个PU的参考图片(由当前切片的参考索引和参考图片列表指示)与位于同一地点的块的参考图片(由参考层图片中的PU的参考索引及其参考图片列表指示)相同时针对所述PU用信号表示加权因数索引。
图8是说明可实施本发明的技术的实例视频编码器20的框图。图8是出于解释的目的而提供，且不应被视为将技术限制为本发明中所大致例示及描述的。出于解释的目的，本发明在HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可以适用于其它译码标准或方法。
在图8的实例中，视频编码器20包含预测处理单元100、残余产生单元102、变换处理单元104、量化单元106、逆量化单元108、逆变换处理单元110、重构单元112、滤波器单元114、经解码图片缓冲器116以及熵编码单元118。预测处理单元100包含帧间预测处理单元120以及帧内预测处理单元126。帧间预测处理单元120包含运动估计单元122以及运动补偿单元124。在其它实例中，视频编码器20可以包含更多、更少或不同的功能组件。
视频编码器20可接收视频数据。视频编码器20可对视频数据的图片的切片中的每一CTU进行编码。CTU中的每一者可以与图片的大小相等的明度译码树块(CTB)以及对应的CTB相关联。作为对CTU进行编码的一部分，预测处理单元100可以执行四叉树分割以将CTU的CTB划分为逐渐更小的块。所述更小的块可以是CU的译码块。例如，预测处理单元100可将与CTU相关联的CTB分割成四个大小相等的子块，将子块中的一或多者分割成四个大小相等的子子块等。
视频编码器20可以对CTU的CU进行编码以产生CU的经编码的表示(即，经译码的CU)。作为对CU进行编码的一部分，预测处理单元100可以在CU的一或多个PU当中分割与CU相关联的译码块。因此，每个PU可以与明度预测块以及对应的色度预测块相关联。视频编码器20以及视频解码器30可以支持具有各种大小的PU。如上文所指示，CU的大小可指CU的明度译码块的大小并且PU的大小可指PU的明度预测块的大小。假定特定CU的大小是2Nx2N，则视频编码器20以及视频解码器30可以支持用于帧内预测的2Nx2N或NxN的PU大小，以及用于帧间预测的2Nx2N、2NxN、Nx2N、NxN或类似大小的对称PU大小。视频编码器20以及视频解码器30还可以支持用于帧间预测的2NxnU、2NxnD、nLx2N以及nRx2N的PU大小的非对称分割。
帧间预测处理单元120可通过对CU的每一PU执行帧间预测产生PU的预测性数据。PU的预测性数据可以包含PU的预测性块以及PU的运动信息。取决于PU是在I切片中、P切片中或B切片中，帧间预测处理单元120可以对CU的PU执行不同操作。在I切片中，所有PU都是经帧内预测。因此，如果PU是在I切片中，则帧间预测处理单元120并不对PU执行帧间预测。
如果PU是在P切片中，则运动估计单元122可以对用于PU的参考区域搜索参考图片列表(例如，“RefPicList0”)中的参考图片。用于PU的参考区可为参考图片内含有最接近地对应于PU的预测块的样本的区。运动估计单元122可以产生指示含有用于PU的参考区域的参考图片的RefPicList0中的位置的参考索引。另外，运动估计单元122可产生指示PU的预测块与和参考区相关联的参考位置之间的空间位移的运动向量。举例来说，运动向量可以是提供从当前图片中的坐标到参考图片中的坐标的偏移的二维向量。运动估计单元122可将参考索引及运动向量输出为PU的运动信息。运动补偿单元124可以基于由PU的运动向量指示的参考位置处的实际样本或经内插样本产生PU的预测性块。
如果PU是在B切片中，则运动估计单元122可以对PU执行单向预测或双向预测。为了对PU执行单向预测，运动估计单元122可以搜索RefPicList0的参考图片，或用于PU的参考区域的第二参考图片列表(RefPicList1)。运动估计单元122可以将指示含有参考区的参考图片的RefPicList0或RefPicList1中的位置的参考索引、指示PU的预测块与相关联于参考区的参考位置之间的空间移位的运动向量以及指示参考图片是在RefPicList0中或在RefPicList1中的一或多个预测方向指示符输出为PU的运动信息。运动补偿单元124可以至少部分基于由PU的运动向量指示的参考位置处的实际样本或经内插样本来产生PU的预测性块。
为了对PU执行双向预测帧间预测，运动估计单元122可以在RefPicList0中的参考图片内搜索用于PU的参考区域，并且还可以在RefPicList1中的参考图片内搜索用于PU的另一参考区域。运动估计单元122可产生指示含有参考区的参考图片的RefPicList0及RefPicList1中的位置的参考索引。另外，运动估计单元122可产生指示与参考区相关联的参考位置与PU的预测块之间的空间移位的运动向量。PU的运动信息可包含PU的参考索引及运动向量。运动补偿单元124可至少部分基于在由PU的运动向量指示的参考位置处的实际或内插样本产生PU的预测性块。
如本发明中在别处所描述，视频编码器20可支持ARP。在图8的实例中，帧间预测处理单元120可至少部分地基于固定参考图片与时间参考图片之间的时间差异按比例缩放当前图片的当前PU的运动向量。另外，帧间预测处理单元120可确定当前PU的预测性块，基于在由当前PU的视差向量指示的位置处的视差参考图片的样本而确定视差参考块，且基于在由当前PU的经按比例缩放运动向量和视差向量指示的位置处的固定参考图片的样本而确定当前PU的时间视差参考块。帧间预测处理单元120可随后确定当前PU的残余预测符。当前PU的残余预测符的每一样本指示当前PU的时间视差参考块的样本与视差参考块的对应样本之间的差。
帧内预测处理单元126可通过对PU执行帧内预测而产生PU的预测性数据。PU的预测性数据可以包含PU的预测性块以及各种语法元素。帧内预测处理单元126可以对I切片、P切片以及B切片中的PU执行帧内预测。
为了对PU执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式产生PU的预测性块的多个集合。当使用特定帧内预测模式执行帧内预测时，帧内预测处理单元126可使用来自相邻块的样本的特定集合产生PU的预测性块。假定对于PU、CU及CTU采用从左到右、从上到下的编码次序，相邻块可在PU的预测块的上方、右上方、左上方或左方。帧内预测处理单元126可以使用各种数目的帧内预测模式，例如，33个定向帧内预测模式。在一些实例中，帧内预测模式的数目可以取决于PU的预测块的大小。
预测处理单元100可从PU的由帧间预测处理单元120产生的预测性数据或PU的由帧内预测处理单元126产生的预测性数据当中选择CU的PU的预测性数据。在一些实例中，预测处理单元100基于预测性数据的集合的速率/失真量度选择用于CU的PU的预测性数据。选定的预测性数据的预测性块在本文中可以被称为选定的预测性块。
残余产生单元102可基于CU的明度、Cb及Cr译码块以及CU的PU的选定预测性明度、Cb及Cr块产生CU的明度、Cb及Cr残余块。举例来说，残余产生单元102可产生CU的残余块以使得残余块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应选定的预测性块中的对应样本之间的差的值。
变换处理单元104可以执行四叉树分割以将CU的残余块分割成与CU的TU相关联的变换块。因此，TU可以与明度变换块以及两个对应色度变换块相关联。CU的TU的明度变换块以及色度变换块的大小和位置可以或可不基于CU的PU的预测块的大小和位置。
变换处理单元104可以通过将一或多个变换应用到TU的变换块而产生用于CU的每一TU的变换系数块。变换处理单元104可以将各种变换应用到与TU相关联的变换块。例如，变换处理单元104可以将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于变换块。在一些实例中，变换处理单元104并不将变换应用于变换块。在此类实例中，变换块可以处理为变换系数块。
量化单元106可以量化系数块中的变换系数。量化过程可以减小与变换系数中的一些或全部相关联的位深度。举例来说，可在量化期间将n位变换系数降值舍位到m位变换系数，其中n大于m。量化可能使得信息丢失，因此经量化的变换系数可以具有比原始变换系数更低的精度。
逆量化单元108以及逆变换处理单元110可以分别将逆量化以及逆变换应用于系数块，以从系数块重构残余块。重构单元112可以将经重构的残余块添加到来自由预测处理单元100产生的一或多个预测性块的对应样本，以产生与TU相关联的经重构变换块。通过以此方式重构CU的每一TU的变换块，视频编码器20可重构CU的译码块。
滤波器单元114可以执行一或多个解块操作以减少与CU相关联的译码块中的成块假象。经解码图片缓冲器116可以在滤波器单元114对经重构的译码块执行一或多个解块操作之后存储经重构的译码块。即，给定帧或图片中的经解码视频块随后存储在参考图片存储器(例如，经解码图片缓冲器116)中，所述参考图片存储器可存储用于后续运动补偿的参考图片。帧间预测处理单元120可使用含有经重构译码块的参考图片来对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可以使用经解码图片缓冲器116中的经重构的译码块以对处于与CU相同的图片中的其它PU执行帧内预测。
熵编码单元118可以从视频编码器20的其它功能组件接收数据。例如，熵编码单元118可以从量化单元106接收系数块，并且可以从预测处理单元100接收语法元素。熵编码单元118可以对数据执行一或多个熵编码操作以产生经熵编码的数据。例如，熵编码单元118可以对数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可输出包含由熵编码单元118产生的经熵编码数据的位流。
图9是说明经配置以实施本发明的技术的实例视频解码器30的框图。图9是出于解释的目的而提供，且并不将技术限制为本发明中所大致例示及描述的。出于解释的目的，本发明在HEVC译码的上下文中描述视频解码器30。然而，本发明的技术可以适用于其它译码标准或方法。
在图9的实例中，视频解码器30包含熵解码单元150、预测处理单元152、逆量化单元154、逆变换处理单元156、重构单元158、滤波器单元160以及经解码图片缓冲器162。预测处理单元152包含运动补偿单元164以及帧内预测处理单元166。在其它实例中，视频解码器30可以包含更多、更少或不同的功能组件。
经译码图片缓冲器(CPB)151可接收且存储位流的经编码视频数据(例如，NAL单元)。熵解码单元150可从CPB 151接收NAL单元，并剖析NAL单元以从位流获得语法元素。熵解码单元150可对NAL单元中的经熵编码的语法元素进行熵解码。预测处理单元152、逆量化单元154、逆变换处理单元156、重构单元158以及滤波器单元160可以基于从位流提取的语法元素来产生经解码的视频数据。
位流的NAL单元可以包含经译码的切片NAL单元。作为对位流进行编码的一部分，熵解码单元150可以从经译码的切片NAL单元提取语法元素并且对所述语法元素进行熵解码。经译码切片中的每一者可包括切片标头及切片数据。切片标头可含有关于切片的语法元素。
除对来自位流的语法元素进行解码之外，视频解码器30可对CU执行解码操作。通过对CU执行解码操作，视频解码器30可重构CU的译码块。
作为对CU执行解码操作的部分，逆量化单元154可逆量化(即，解量化)与CU的TU相关联的系数块。逆量化单元154可使用与TU的CU相关联的QP值来确定量化的程度，及同样逆量化单元154将应用的逆量化的程度。也就是说，可以通过调整当量化变换系数时所使用的QP的值来控制压缩比，即用以表示原始序列以及经压缩的序列的位的数目的比率。压缩比还可以取决于所采用的熵译码的方法。
在逆量化单元154逆量化系数块之后，逆变换处理单元156可以将一或多个逆变换应用于系数块以便产生与TU相关联的残余块。举例来说，逆变换处理单元156可以将逆DCT、逆整数变换、逆卡忽南-拉维(Karhunen-Loeve)变换(KLT)、逆旋转变换、逆定向变换或另一逆变换应用于系数块。
如果使用帧内预测对PU进行编码，则帧内预测处理单元166可以执行帧内预测以产生用于PU的预测性块。帧内预测处理单元166可以使用帧内预测模式，以基于空间上相邻的PU的预测块产生用于PU的预测性明度块、Cb块以及Cr块。帧内预测处理单元166可以基于从位流解码的一或多个语法元素来确定用于PU的帧内预测模式。
预测处理单元152可以基于从位流提取的语法元素构造第一参考图片列表(RefPicList0)以及第二参考图片列表(RefPicList1)。此外，如果PU是使用帧间预测编码，那么熵解码单元150可获得PU的运动信息。运动补偿单元164可以基于PU的运动信息确定用于PU的一或多个参考区。运动补偿单元164可以基于在用于PU的一或多个参考块处的样本产生用于PU的预测性明度块、Cb块以及Cr块。
如本发明中在别处所描述，视频解码器30可支持ARP。在图9的实例中，预测处理单元152可至少部分地基于固定参考图片与时间参考图片之间的时间差异按比例缩放当前图片的当前PU的运动向量。另外，预测处理单元152可确定当前PU的预测性块，基于在由当前PU的视差向量指示的位置处的视差参考图片的样本而确定视差参考块，且基于在由当前PU的经按比例缩放运动向量和视差向量指示的位置处的固定参考图片的样本而确定当前PU的时间视差参考块。预测处理单元152可随后确定当前PU的残余预测符。当前PU的残余预测符的每一样本指示当前PU的时间视差参考块的样本与视差参考块的对应样本之间的差。
重构单元158可使用来自与CU的TU相关联的明度、Cb和Cr变换块以及所述CU的PU的预测性明度、Cb和Cr块的残余值(即，在适用时的帧内预测数据或帧间预测数据)来重构所述CU的明度、Cb和Cr译码块。例如，重构单元158可以将明度变换块、Cb变换块以及Cr变换块的样本添加到预测性明度块、Cb块以及Cr块的对应样本以重构CU的明度译码块、Cb译码块以及Cr译码块。
滤波器单元160可执行解块操作以减少与CU的明度、Cb及Cr译码块相关联的成块假象。视频解码器30可以在经解码图片缓冲器162中存储CU的明度译码块、Cb译码块以及Cr译码块。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测及在例如图1的显示装置32等显示装置上的呈现。即，给定帧或图片中的经解码视频块随后存储在参考图片存储器(例如，经解码图片缓冲器162)中，所述参考图片存储器可存储用于后续运动补偿的参考图片。举例来说，视频解码器30可基于经解码图片缓冲器162中的明度、Cb及Cr块对其它CU的PU执行帧内预测或帧间预测操作。以此方式，视频解码器30可以从位流提取重要明度系数块的变换系数层级，逆量化变换系数层级，对变换系数层级应用变换以产生变换块，至少部分基于变换块产生译码块并且输出译码块用于显示。
图10A是说明根据本发明的一或多种技术对当前CU进行编码的视频编码器20的实例操作的流程图。视频编码器20可当使用ARP对当前CU进行编码时执行图10A的实例操作。在图10A的实例中，视频编码器20可产生当前CU的每一PU的预测性块(200)。视频编码器20可基于一或多个参考块确定PU的预测性块。举例来说，PU的预测性块中的每一样本可等于参考块中的对应样本或等于两个参考块中的对应样本的加权平均。所述一或多个参考块中的每一者可包含时间参考图片的实际或经内插样本。
此外，视频编码器20可确定当前CU的每一PU的残余预测符(202)。在一些实例中，视频编码器20可执行图11的实例操作以确定PU的残余预测符。在视频编码器20确定当前CU的每一PU的残余预测符之后，视频编码器20可产生当前CU的最终残余块(204)。在一些实例中，当前CU的最终残余块中的每一样本可指示当前CU的译码块中的样本与当前CU的PU的预测性块中的对应样本之间的差异以及当前CU的残余预测符。
视频编码器20可在位流中包含表示当前CU的最终残余块的数据(206)。如本发明中在别处所描述，为了在位流中包含表示当前CU的最终残余块的数据，视频编码器20可将最终残余块分割为一或多个变换块，将变换和量化应用于变换块中的每一者，对表示经量化系数的特定语法元素进行熵编码，且在位流中包含所得的经编码语法元素。
图10B是说明根据本发明的一或多种技术对当前CU进行解码的视频解码器30的实例操作的流程图。视频解码器30可当使用ARP对当前CU进行解码时执行图10B的实例操作。在图10B的实例中，视频解码器30可基于位流中的数据确定当前CU的最终残余块(250)。举例来说，视频解码器30可从位流获得指示与当前CU的TU相关联的经量化系数的语法元素。此外，在此实例中，视频解码器30可将逆量化和逆变换应用于经量化系数以确定当前CU的最终残余块。
此外，视频解码器30可产生当前CU的每一PU的预测性块(252)。视频解码器30可基于一或多个参考块确定PU的预测性块。举例来说，PU的预测性块中的每一样本可等于参考块中的对应样本或等于两个参考块中的对应样本的加权平均。所述一或多个参考块中的每一者可包含时间参考图片的实际或经内插样本。
另外，视频解码器30可确定当前CU的每一PU的残余预测符(254)。视频解码器30可执行图11的实例操作以确定当前CU的PU的残余预测符。视频解码器30可随后重构当前CU的译码块(256)。在一些实例中，当前CU的经重构译码块中的每一样本等于当前CU的最终残余块中的对应样本、当前CU的PU的预测性块和残余预测符的总和。
图11是说明根据本发明的一或多种技术确定当前PU的残余预测符的视频译码器的实例操作的流程图。在图11的实例中，视频译码器(例如，视频编码器20或视频解码器30)确定固定参考图片(300)。视频译码器可根据在本发明中别处提供的用于确定固定参考图片的实例技术中的任一者确定固定参考图片。
此外，在图11的实例中，视频译码器基于POC距离按比例缩放当前PU的运动向量(例如，RefPicList0运动向量或RefPicList1运动向量)以便补偿当前图片与时间参考图片之间的图片次序计数(POC)距离和当前图片与固定图片之间的POC距离之间的差(302)。举例来说，视频译码器可基于POC距离按比例缩放当前PU的RefPicList0运动向量。POC距离可为当前图片的POC值与当前PU的RefPicList0目标参考图片的POC值之间的差。在此实例中，视频译码器可基于当前PU的RefPicList1目标参考图片与固定参考图片之间的POC距离按比例缩放当前PU的RefPicList1运动向量。或者，POC距离可为当前图片的POC值与固定参考图片的POC值之间的差。
另外，视频译码器可确定当前PU的视差向量(304)。视频译码器可随后确定视差参考块(306)。视差参考块中的样本可为视差参考图片中与由当前PU的视差向量指示的位置相关联的实际或经内插样本。此外，视频译码器可基于经按比例缩放运动向量和视差参考图片中由当前PU的视差向量指示的位置确定固定参考图片中的时间视差参考位置(308)。视频译码器可随后确定时间视差参考块(310)。时间视差参考块中的样本可为时间视差参考图片的与时间残余视差参考位置相关联的实际或经内插样本。
接着，视频译码器可基于时间视差参考块和视差参考块确定残余预测符(312)。在一些实例中，残余预测符中的每一样本指示视差参考块中的样本与时间视差参考块中的对应样本之间的差异。在确定残余预测符之后，视频译码器可将加权因数应用于残余预测符(314)。
图12是说明根据本发明的一或多种技术的视频编码器20的实例操作的流程图。在图12的实例中，视频编码器20按比例缩放当前图片的当前CU的当前PU的运动向量以便补偿当前图片与时间参考图片之间的图片次序计数(POC)距离和当前图片与固定图片之间的POC距离之间的差(350)。在图12的实例中，当前图片在当前视图中且在当前存取单元中，视差参考图片在参考视图中且在当前存取单元中，时间参考图片在当前视图中但不在当前存取单元中，当前PU的参考索引指示当前图片的参考图片列表内的时间参考图片的位置。
此外，在图12的实例中，视频编码器20确定当前PU的预测性块(352)。另外，视频编码器20可基于视差参考图片的与由当前PU的视差向量指示的位置相关联的样本确定视差参考块(354)。视频编码器20还可基于固定参考图片的与由当前PU的经按比例缩放运动向量和视差向量指示的位置相关联的样本确定当前PU的时间视差参考块(356)。另外，视频编码器20可确定当前PU的残余预测符(358)。在此实例中，当前PU的残余预测符的每一样本指示当前PU的时间视差参考块的样本与视差参考块的对应样本之间的差。此外，在此实例中，视频编码器20可确定当前CU的最终残余块(360)。在此实例中，最终残余块包括指示当前CU的译码块中的样本、当前PU的预测块中的样本和当前PU的残余预测符中的样本之间的差的样本。最终残余块还可包括指示当前CU的译码块中的样本、当前CU的一或多个其它PU的预测块中的样本以及当前CU的所述一或多个其它PU的残余预测符中的样本之间的差的样本。视频编码器20可在位流中包含表示当前CU的最终残余块的数据(362)。
图13是说明根据本发明的一或多种技术的视频解码器30的实例操作的流程图。在图13的实例中，视频解码器30可按比例缩放当前图片的当前PU的运动向量以便补偿当前图片与时间参考图片之间的图片次序计数(POC)距离和当前图片与固定图片之间的POC距离之间的差(400)。在图13的实例中，当前图片在当前视图中且在当前存取单元中，视差参考图片在参考视图中且在当前存取单元中，时间参考图片在当前视图中但不在当前存取单元中，且当前PU的参考索引指示当前图片的参考图片列表内的时间参考图片的位置。
此外，在图13的实例中，视频解码器30确定当前PU的预测性块(402)。另外，视频解码器30基于视差参考图片的在由当前PU的视差向量指示的位置处的样本确定视差参考块(404)。视频解码器30还基于固定参考图片的在由当前PU的经按比例缩放运动向量和视差向量指示的位置处的样本确定当前PU的时间视差参考块(406)。另外，视频解码器30确定当前PU的残余预测符(408)。当前PU的残余预测符的每一样本可指示当前PU的时间视差参考块的样本与视差参考块的对应样本之间的差。在图13的实例中，视频解码器30基于用信号表示的残余块、当前PU的残余预测符以及当前PU的预测性块重构译码块(410)。
在第一实例中，本发明描述一种对视频数据进行解码的方法，所述方法包括：响应于确定残余预测针对当前视频单元经启用而执行残余预测过程，其中所述当前视频单元属于在当前存取单元的当前视图中的当前图片，所述残余预测过程包括：从位流解码加权因数索引；至少部分地基于固定参考图片与由当前视频单元的参考索引指示的参考图片之间的时间差异按比例缩放当前视频单元的运动向量；至少部分地基于当前视频单元的视差向量确定当前存取单元的参考视图中的参考视频单元；至少部分地基于经按比例缩放运动向量、参考视频单元的样本块的位置和固定参考图片的样本确定固定参考图片的参考块；至少部分地基于参考视频单元的样本块和固定参考图片的参考块确定残余预测符块；以及至少部分地基于当前视频单元的用信号表示的残余块、加权因数索引和残余预测符块确定当前视频单元的残余块；以及至少部分地基于当前视频单元的残余块和当前视频单元的预测性块重构当前视频单元的样本块。
此外，在第一实例中，固定参考图片在参考视图中且具有匹配于当前图片的当前切片的参考图片列表中的参考图片的POC值的POC值。在此实例中，所述方法可进一步包括当参考视频单元的参考图片列表并不包含具有匹配于固定参考图片的POC值的POC值的参考图片时替换参考视频单元的参考图片列表中的第一条目。
在第一实例中，固定参考图片是第一固定参考图片，当前视频单元的参考索引是当前视频单元的第一参考索引，当前视频单元的运动向量是当前视频单元的第一运动向量，第一固定参考图片的POC值匹配于当前图片的当前切片的第一参考图片列表中的参考图片的POC值，第二固定参考图片的POC值匹配于当前切片的第二参考图片列表中的参考图片的POC值，所述方法进一步包括：至少部分地基于第二固定参考图片与由当前视频单元的第二参考索引指示的参考图片之间的时间差异按比例缩放当前视频单元的第二运动向量；以及至少部分地基于经按比例缩放运动向量、参考视频单元的样本块的位置和第二固定参考图片的样本确定第二固定参考图片的参考块；且其中确定残余预测符块包括：至少部分地基于第一固定参考图片的参考块和第二固定参考图片的参考块确定组合参考块；以及至少部分地基于参考视频单元的样本块与组合参考块之间的差确定残余预测符块。
在第一实例中，固定参考图片可对应于当前图片的当前切片的参考图片列表中的第一条目。此外，在第一实例中，固定参考图片的POC值可比当前图片的当前切片的参考图片列表中的任何其它参考图片的POC值更接近于当前图片的POC值。另外，在第一实例中，固定参考图片的POC值可比属于参考视图且在当前图片的当前切片的参考图片列表中的任何其它参考图片的POC值更接近于当前图片的POC值。此外，在第一实例中，固定参考图片的时间识别符可低于当前图片的当前切片的参考图片列表中的任何其它参考图片的时间识别符。此外，在第一实例中，固定参考图片的时间识别符低于属于参考视图且在当前图片的当前切片的参考图片列表中的任何其它参考图片的时间识别符。此外，在第一实例中，固定参考图片的量化参数可低于当前图片的当前切片的参考图片列表中的任何其它参考图片的量化参数。此外，在第一实例中，固定参考图片的量化参数可低于属于参考视图且在当前图片的参考图片列表中的任何其它参考图片的量化参数。此外，在第一实例中，所述方法可进一步包括执行NBDV导出过程以确定当前视频单元的视差向量，且固定参考图片是在NBDV导出过程中使用的第一或第二候选图片。此外，在第一实例中，固定参考图片可在切片标头、图片参数集或视频参数集中用信号表示。此外，在第一实例中，所述方法可进一步包括至少部分地基于当前视频单元的经按比例缩放运动向量确定当前视频单元的预测性块。此外，在第一实例中，所述方法可进一步包括在按比例缩放所述运动向量之后将当前视频单元的运动向量舍入到整数精度；且确定固定参考图片的参考块可包括基于经舍入的经按比例缩放运动向量和参考视频单元的样本块的位置确定固定参考图片的参考块。此外，在第一实例中，其中当前视频单元的运动向量可具有子像素精度，确定固定参考图片的参考块可包括应用双线性内插滤波器以产生固定参考图片的参考块，且所述方法可进一步包括将双线性内插滤波器应用于由当前视频单元的参考索引指示的参考图片的样本以产生当前视频单元的预测性块。此外，在第一实例中，残余预测过程可针对当前视频单元的明度块经启用，但不针对当前视频单元的色度块经启用。此外，在第一实例中，残余预测过程可针对当前视频单元的色度块经启用，但不针对当前视频单元的明度块经启用。此外，在第一实例中，所述方法可进一步包括：产生当前视频单元的合并候选者列表，所述合并候选者列表包含一或多个合并候选者，其中所述一或多个合并候选者中的每一者包含运动向量、参考索引和加权因数索引；以及从合并候选者列表确定选定合并候选者，其中所述选定合并候选者的运动向量是当前视频单元的运动向量且所述选定合并候选者的参考索引是当前视频单元的参考索引，确定残余预测符块可包括：至少部分基于参考视频单元的样本块与参考块之间的差确定残余预测符块；以及修改所述残余预测符块以使得对于残余预测符块中的每一相应样本，所述相应样本近似等于相应样本的原始值乘以与所述选定合并候选者的加权因数索引相关联的加权因数。此外，在第一实例中，当前视频单元可为当前CU的当前PU，所述方法可进一步包括：当当前PU是使用合并模式经译码、当前PU的合并候选者索引等于0且当前CU是根据2Nx2N分割模式分割时：从位流解码所述当前PU的加权因数索引；以及修改残余预测符块以使得对于残余预测符块中的每一相应样本，所述相应样本近似等于相应样本的原始值乘以与加权因数索引相关联的加权因数；以及当所述当前PU不是使用合并模式经译码、当前PU的合并候选者索引不等于0或当前CU不是根据2Nx2N分割模式分割时：基于所述当前PU的用信号表示的残余块而不是残余预测符块确定所述当前PU的残余块。此外，在第一实例中，固定参考图片可为由当前视频单元的参考索引指示的参考图片的切片的参考图片列表中的参考图片，固定参考图片具有与当前图片的当前切片的参考图片列表中的经指派图片相同的POC值，且所述经指派图片是具有当前图片的当前切片的参考图片列表中的最小参考图片索引的时间参考图片。此外，在第一实例中，当在与当前视图的经指派图片相同的存取单元内的图片不存在于由当前视频单元的参考索引指示的参考图片的参考图片列表中时，固定参考图片可为当前图片的当前切片的参考图片列表中的时间参考图片。此外，第一实例的方法可应用于可缩放视频译码，其中将视图处理为层且将视差向量处理为零运动向量。此外，包括一或多个处理器的视频解码装置可经配置以执行第一实例的方法中的任一者。此外，计算机可读存储媒体可具有存储于其上的指令，所述指令当执行时配置视频解码装置以执行第一实例的方法中的任一者。
在第二实例中，视频编码器执行对视频数据进行编码的方法，所述方法包括：响应于确定残余预测针对当前视频单元经启用而执行残余预测过程，其中所述当前视频单元属于在当前存取单元的当前视图中的当前图片，所述残余预测过程包括：至少部分地基于固定参考图片与由当前视频单元的参考索引指示的参考图片之间的时间差异按比例缩放当前视频单元的运动向量；至少部分地基于当前视频单元的视差向量确定当前存取单元的参考视图中的参考视频单元；至少部分地基于经按比例缩放运动向量、参考视频单元的样本块的位置和固定参考图片的样本确定固定参考图片的参考块；至少部分地基于参考视频单元的样本块和固定参考图片的参考块确定残余预测符块；至少部分地基于当前视频单元的样本块和当前视图参考块确定当前视频单元的初始残余块，其中当前视图参考块是基于在由当前视频单元的参考索引指示的参考图片中在由当前视频单元的运动向量指示的位置处的样本；至少部分地基于当前视频单元的初始残余块和残余预测符块确定当前视频单元的最终残余块；以及在位流中用信号表示当前视频单元的最终残余块。此外，在第二实例中，固定参考图片可在参考视图中且可具有匹配于当前图片的当前切片的参考图片列表中的参考图片的POC值的POC值。此外，在第二实例中，所述方法可进一步包括当参考视频单元的参考图片列表并不包含具有匹配于固定参考图片的POC值的POC值的参考图片时替换参考视频单元的参考图片列表中的第一条目。此外，在第二实例中，固定参考图片可为第一固定参考图片，当前视频单元的参考索引可为当前视频单元的第一参考索引，当前视频单元的运动向量是当前视频单元的第一运动向量，第一固定参考图片的POC值可匹配于当前图片的当前切片的第一参考图片列表中的参考图片的POC值，第二固定参考图片的POC值可匹配于当前切片的第二参考图片列表中的参考图片的POC值，所述方法可进一步包括：至少部分地基于第二固定参考图片与由当前视频单元的第二参考索引指示的参考图片之间的时间差异按比例缩放当前视频单元的第二运动向量；以及至少部分地基于经按比例缩放运动向量、参考视频单元的样本块的位置和第二固定参考图片的样本确定第二固定参考图片的参考块；且其中确定残余预测符块包括：至少部分地基于第一固定参考图片的参考块和第二固定参考图片的参考块确定组合参考块；以及至少部分地基于参考视频单元的样本块与组合参考块之间的差确定残余预测符块。此外，在第二实例中，固定参考图片可对应于当前图片的当前切片的参考图片列表中的第一条目。此外，在第二实例中，固定参考图片的POC值可比当前图片的当前切片的参考图片列表中的任何其它参考图片的POC值更接近于当前图片的POC值。此外，在第二实例中，固定参考图片的POC值可比属于参考视图且在当前图片的当前切片的参考图片列表中的任何其它参考图片的POC值更接近于当前图片的POC值。此外，在第二实例中，固定参考图片的时间识别符可低于当前图片的当前切片的参考图片列表中的任何其它参考图片的时间识别符。此外，在第二实例中，固定参考图片的时间识别符可低于属于参考视图且在当前图片的当前切片的参考图片列表中的任何其它参考图片的时间识别符。此外，在第二实例中，固定参考图片的量化参数可低于当前图片的当前切片的参考图片列表中的任何其它参考图片的量化参数。此外，在第二实例中，固定参考图片的量化参数可低于属于参考视图且在当前图片的参考图片列表中的任何其它参考图片的量化参数。此外，在第二实例中，所述方法进一步可包括执行NBDV导出过程以确定当前视频单元的视差向量，且其中固定参考图片是在NBDV导出过程中使用的第一或第二候选图片。此外，在第二实例中，固定参考图片可在切片标头、图片参数集或视频参数集中用信号表示。此外，在第二实例中，所述方法可进一步包括至少部分地基于当前视频单元的经按比例缩放运动向量确定当前视频单元的预测性块。此外，在第二实例中，所述方法可进一步包括在按比例缩放所述运动向量之后将当前视频单元的运动向量舍入到整数精度；且确定固定参考图片的参考块包括基于经舍入的经按比例缩放运动向量和参考视频单元的样本块的位置确定固定参考图片的参考块。此外，在第二实例中，当前视频单元的运动向量可具有子像素精度，其中确定固定参考图片的参考块可包括应用双线性内插滤波器以产生固定参考图片的参考块，且其中所述方法可进一步包括将双线性内插滤波器应用于由当前视频单元的参考索引指示的参考图片的样本以产生当前视频单元的预测性块。此外，在第二实例中，残余预测过程可针对当前视频单元的明度块经启用，但不针对当前视频单元的色度块经启用。此外，在第二实例中，残余预测过程可针对当前视频单元的色度块经启用，但不针对当前视频单元的明度块经启用。此外，在第二实例中，所述方法可进一步包括：产生当前视频单元的合并候选者列表，所述合并候选者列表包含一或多个合并候选者，其中所述一或多个合并候选者中的每一者包含运动向量、参考索引和加权因数索引；以及从合并候选者列表选择合并候选者，其中所述选定合并候选者的运动向量是当前视频单元的运动向量且所述选定合并候选者的参考索引是当前视频单元的参考索引，其中确定残余预测符块包括：至少部分基于参考视频单元的样本块与参考块之间的差确定残余预测符块；以及修改残余预测符块以使得对于残余预测符块中的每一相应样本，所述相应样本近似等于所述相应样本的原始值乘以与所述选定合并候选者的加权因数索引相关联的加权因数。此外，在第二实例中，当前视频单元可为当前CU的当前PU，所述方法可进一步包括：当当前PU是使用合并模式经译码、当前PU的合并候选者索引等于0且当前CU是根据2Nx2N分割模式分割时：在位流中包含所述当前PU的加权因数索引；以及修改残余预测符块以使得对于残余预测符块中的每一相应样本，所述相应样本近似等于相应样本的原始值乘以与加权因数索引相关联的加权因数；以及当所述当前PU不是使用合并模式经译码、当前PU的合并候选者索引不等于0或当前CU不是根据2Nx2N分割模式分割时：基于所述当前PU的用信号表示的残余块而不是残余预测符块确定所述当前PU的残余块。此外，在第二实例中，固定参考图片可为由当前视频单元的参考索引指示的参考图片的切片的参考图片列表中的参考图片，固定参考图片可具有与当前图片的当前切片的参考图片列表中的经指派图片相同的POC值，且所述经指派图片可为具有当前图片的当前切片的参考图片列表中的最小参考图片索引的时间参考图片。此外，在第二实例中，当在与当前视图的经指派图片相同的存取单元内的图片不存在于由当前视频单元的参考索引指示的参考图片的参考图片列表中时，固定参考图片可为当前图片的当前切片的参考图片列表中的时间参考图片。视频编码装置可包括用于执行第二实例的方法中的任一者的装置。此外，计算机可读存储媒体可具有存储于其上的指令，所述指令当执行时配置视频编码装置以执行第二实例的方法中的任一者。
在第三实例中，视频解码器可执行对视频数据进行解码的方法，所述方法包括：从SVC位流解码用于位流的当前层中的当前PU的加权因数索引；确定参考PU，其中参考PU在与当前PU相同的时间实例中且在位流的参考层中；基于当前PU的运动向量、参考PU的样本块的位置和参考层图片的样本确定参考层图片的参考块，其中参考层图片在参考层中且在与当前PU或参考PU不同的时间实例中；至少部分地基于参考PU的样本块和参考层图片的参考块确定残余预测符块；以及基于所述当前PU的用信号表示的残余块、所述当前PU的预测性块、与加权因数索引相关联的加权因数和残余预测符块产生所述当前PU的经重构样本块。视频解码装置可包括经配置以执行第三实例的方法的一或多个处理器。此外，视频解码装置可包括用于执行第三实例的方法的装置。计算机可读媒体可具有存储于其上的指令，所述指令当执行时配置视频解码装置以执行第三实例的方法。
在第四实例中，视频编码器可执行对视频数据进行编码的方法，所述方法包括：在SVC位流中用信号表示用于位流的当前层中的当前PU的加权因数索引；确定参考PU，其中所述参考PU在与当前PU相同的时间实例中且在位流的参考层中；基于当前PU的运动向量、参考PU的位置和参考层图片的样本确定参考层图片的参考块，其中参考层图片在参考层中且在与当前PU或参考PU不同的时间实例中；至少部分地基于参考PU的样本块和参考层图片的参考块确定残余预测符块；至少部分地基于所述当前PU的样本块和当前视图参考块确定所述当前PU的初始残余块，其中所述当前视图参考块是基于在由当前PU的参考索引指示的参考图片中在由当前PU的运动向量指示的位置处的样本；基于所述当前PU的初始残余块、所述当前PU的预测性块、与加权因数索引相关联的加权因数和残余预测符块确定所述当前PU的最终残余块；以及在位流中用信号表示所述当前PU的最终残余块。视频解码装置可包括经配置以执行第四实例的方法的一或多个处理器。视频编码装置可包括用于执行第四实例的方法的装置。在第五实例中，计算机可读媒体可具有存储于其上的指令，所述指令当执行时配置视频解码装置以执行第四实例的方法。
在第六实例中，视频解码器可执行对视频数据进行解码的方法，所述方法包括：至少部分地基于属于当前存取单元的当前视图中的当前图片的当前视频单元的视差向量确定当前存取单元的参考视图中的参考视频单元；将当前视频单元的运动向量从子像素精度舍入到整数像素精度；至少部分地基于经舍入的运动向量、参考视频单元的样本块的位置和参考存取单元的参考视图中的参考图片的样本确定参考块；至少部分地基于参考视频单元的样本块与参考块之间的差确定残余预测符块；至少部分地基于当前视频单元的用信号表示的残余块和残余预测符块确定当前视频单元的残余块；以及至少部分地基于当前视频单元的残余块和当前视频单元的预测性块重构当前视频单元的样本块。此外，在第六实例中，所述方法可进一步包括将当前视频单元的视差向量从子像素精度舍入到整数像素精度。此外，在第六实例中，参考图片可为第一参考图片且所述方法可进一步包括至少部分地基于经舍入的运动向量、当前视频单元的样本块的位置和第二参考图片的样本确定当前视频单元的预测性块，其中当前视频单元的参考索引指示第二参考图片。此外，在第六实例中，参考图片可为第一参考图片，在舍入当前视频单元的运动向量之前，所述运动向量可为子像素运动向量，且所述方法可进一步包括至少部分地基于所述子像素运动向量、当前视频单元的样本块的位置和第二参考图片的样本确定当前视频单元的预测性块，其中当前视频单元的参考索引指示第二参考图片。此外，在第六实例中，经舍入的运动向量的水平分量可等于(mv[0]>>2)<<2且经舍入的运动向量的垂直分量可等于(mv[1]>>2)<<2，其中mv[0]表示在舍入之前运动向量的水平分量且mv[1]表示在舍入之前运动向量的垂直分量。此外，在第六实例中，经舍入的运动向量的水平分量可等于((mv[0]+2)>>2)<<2且经舍入的运动向量的垂直分量等于((mv[1]+2)>>2)<<2，其中mv[0]表示在舍入之前运动向量的水平分量且mv[1]表示在舍入之前运动向量的垂直分量。此外，在第六实例中，经舍入的运动向量的水平分量可等于((mv[0]+sign(mv[0])*2)>>2)<<2且经舍入的运动向量的垂直分量可等于((mv[1]+sign(mv[1])*2)>>2)<<2，其中mv[0]表示在舍入之前运动向量的水平分量，mv[1]表示在舍入之前运动向量的垂直分量，且sign()是一函数，其在所述函数的参数大于或等于0的情况下返回1且否则返回0。视频解码装置可包括经配置以执行第六实例的方法中的任一者的一或多个处理器。视频解码装置可包括用于执行第六实例的方法中的任一者的装置。计算机可读存储媒体可具有存储于其上的指令，所述指令当执行时配置视频解码装置以执行第六实例的方法中的任一者。
在第七实例中，视频编码器可执行对视频数据进行编码的方法，所述方法包括：至少部分地基于属于当前存取单元的当前视图中的当前图片的当前视频单元的视差向量确定当前存取单元的参考视图中的参考视频单元；将当前视频单元的运动向量从子像素精度舍入到整数像素精度；至少部分地基于经舍入的运动向量、参考视频单元的样本块的位置和参考存取单元的参考视图中的第一参考图片的样本确定第一参考块；至少部分地基于参考视频单元的样本块与第一参考块之间的差确定残余预测符块；至少部分地基于当前视频单元的运动向量和第二参考图片内的样本确定第二参考块，其中当前视频单元的参考索引指示所述第二参考图片；至少部分地基于当前视频单元的样本块和第二参考块确定当前视频单元的初始残余块；至少部分地基于当前视频单元的初始残余块与残余预测符块之间的差确定当前视频单元的最终残余块；以及在位流中用信号表示当前视频单元的最终残余块。此外，在第七实例中，所述方法可进一步包括将当前视频单元的视差向量从子像素精度舍入到整数像素精度。此外，在第七实例中，确定第二参考块可包括至少部分地基于经舍入的运动向量和第二参考图片内的样本确定第二参考块。此外，在第七实例中，在舍入当前视频单元的运动向量之前，运动向量可为子像素运动向量，且确定第二参考块可包括至少部分地基于所述子像素运动向量和第二参考图片内的样本确定第二参考块。此外，在第七实例中，经舍入的运动向量的水平分量可等于(mv[0]>>2)<<2且经舍入的运动向量的垂直分量可等于(mv[1]>>2)<<2，其中mv[0]表示在舍入之前运动向量的水平分量且mv[1]表示在舍入之前运动向量的垂直分量。此外，在第七实例中，经舍入的运动向量的水平分量可等于((mv[0]+2)>>2)<<2且经舍入的运动向量的垂直分量可等于((mv[1]+2)>>2)<<2，其中mv[0]表示在舍入之前运动向量的水平分量且mv[1]表示在舍入之前运动向量的垂直分量。此外，在第七实例中，经舍入的运动向量的水平分量可等于((mv[0]+sign(mv[0])*2)>>2)<<2且经舍入的运动向量的垂直分量可等于((mv[1]+sign(mv[1])*2)>>2)<<2，其中mv[0]表示在舍入之前的运动向量的水平分量，mv[1]表示在舍入之前的运动向量的垂直分量，且sign()是一函数，其在所述函数的参数大于或等于0的情况下返回1且否则返回0。包括一或多个处理器的视频编码装置可经配置以执行第七实例的方法中的任一者。视频编码装置可包括用于执行第七实例的方法中的任一者的装置。此外，计算机可读存储媒体可具有存储于其上的指令，所述指令当执行时配置视频编码装置以执行第七实例的方法中的任一者。
在第八实例中，视频解码器可执行对视频数据进行解码的方法，所述方法包括：至少部分地基于属于当前存取单元的当前视图中的当前图片的当前视频单元的视差向量确定当前存取单元的参考视图中的参考视频单元，其中当前视频单元的运动向量具有子像素精度；将双线性内插滤波器应用于参考图片的样本以便产生对应于参考图片内的区的参考块，其中参考图片在参考存取单元的参考视图中且所述运动向量指示参考视频单元的样本块与参考图片内的所述区之间的空间位移；至少部分地基于参考视频单元的样本块和参考块确定残余预测符块；至少部分地基于当前视频单元的用信号表示的残余块和残余预测符块确定当前视频单元的最终残余块；以及至少部分地基于当前视频单元的最终残余块和当前视频单元的预测性块重构当前视频单元的样本块。包括一或多个处理器的视频解码装置可经配置以执行第八实例的方法。视频解码装置可包括用于执行第八实例的方法的装置。计算机可读存储媒体可具有存储于其上的指令，所述指令当执行时配置视频解码装置以执行第八实例的方法。
在第九实例中，视频编码器可执行对视频数据进行编码的方法，所述方法包括：至少部分地基于属于当前存取单元的当前视图中的当前图片的当前视频单元的视差向量确定当前存取单元的参考视图中的参考视频单元，其中当前视频单元的运动向量具有子像素精度；将双线性内插滤波器应用于参考图片的样本以便产生第一参考块，其中所述第一参考块对应于参考图片内的区，所述参考图片在参考存取单元的参考视图中，且所述运动向量指示参考视频单元的样本块与参考图片内的所述区之间的空间位移；至少部分地基于参考视频单元的样本块与第一参考块之间的差确定残余预测符块；至少部分地基于当前视频单元的运动向量和第二参考图片内的样本确定第二参考块，其中当前视频单元的参考索引指示第二参考图片；至少部分地基于当前视频单元的样本块与第二参考块之间的差确定当前视频单元的初始残余块；至少部分地基于当前视频单元的初始残余块与残余预测符块之间的差确定当前视频单元的最终残余块；以及在位流中用信号表示当前视频单元的最终残余块。视频编码装置可包括经配置以执行第九实例的方法的一或多个处理器。视频编码装置可包括用于执行第九实例的方法的装置。计算机可读存储媒体可具有存储于其上的指令，所述指令当执行时配置视频编码装置以执行第九实例的方法。
在第十实例中，视频解码器可执行对视频数据进行解码的方法，所述方法包括：针对属于当前存取单元的当前视图中的当前图片的当前视频单元的明度块但不针对所述当前视频单元的色度块执行残余预测过程，其中当前视频单元属于在当前存取单元的当前视图中的当前图片，所述残余预测过程包括：至少部分地基于当前视频单元的视差向量确定当前存取单元的参考视图中的参考视频单元；至少部分地基于当前视频单元的运动向量、参考视频单元的明度样本块的位置和参考图片的明度样本确定明度参考块；至少部分地基于参考视频单元的明度样本块和参考图片的明度参考块确定明度残余预测符块；以及至少部分地基于当前视频单元的用信号表示的明度残余块和明度残余预测符块确定当前视频单元的明度残余块；以及至少部分地基于当前视频单元的明度残余块和当前视频单元的明度预测性块重构当前视频单元的明度样本块。视频解码装置可包括经配置以执行第十实例的方法的一或多个处理器。视频解码装置可包括用于执行第十实例的方法的装置。计算机可读存储媒体可具有存储于其上的指令，所述指令当执行时配置视频解码装置以执行第十实例的方法。
在第十一实例中，视频编码器可执行对视频数据进行编码的方法，所述方法包括：针对当前视频单元的明度块但不针对当前视频单元的色度块执行残余预测过程，其中当前视频单元属于在当前存取单元的当前视图中的当前图片，所述残余预测过程包括：至少部分地基于当前视频单元的视差向量确定当前存取单元的参考视图中的参考视频单元；至少部分地基于当前视频单元的运动向量、参考视频单元的明度样本块的位置和参考图片的明度样本确定第一明度参考块；至少部分地基于参考视频单元的明度样本块和第一明度参考块确定明度残余预测符块；至少部分地基于当前视频单元的运动向量和第二参考图片内的明度样本确定第二明度参考块，其中当前视频单元的参考索引指示第二参考图片；至少部分地基于当前视频单元的明度样本块与第二明度参考块之间的差确定当前视频单元的初始明度残余块；至少部分地基于当前视频单元的初始明度残余块与明度残余预测符块之间的差确定当前视频单元的最终明度残余块；以及在位流中用信号表示当前视频单元的最终明度残余块。视频编码装置可包括经配置以执行第十一实例的方法的一或多个处理器。视频编码装置可包括用于执行第十一实例的方法的装置。计算机可读存储媒体可具有存储于其上的指令，所述指令当执行时配置视频编码装置以执行第十一实例的方法。
在第十二实例中，视频解码器可执行对视频数据进行解码的方法，所述方法包括：针对当前视频单元的色度块但不针对当前视频单元的明度块执行残余预测过程，其中当前视频单元属于在当前存取单元的当前视图中的当前图片，所述残余预测过程包括：至少部分地基于当前视频单元的视差向量确定当前存取单元的参考视图中的参考视频单元；至少部分地基于当前视频单元的运动向量、参考视频单元的明度样本块的位置和参考图片的色度样本确定色度参考块；至少部分地基于参考视频单元的色度样本块与色度参考块之间的差确定色度残余预测符块；以及至少部分地基于当前视频单元的用信号表示的色度残余块和色度残余预测符块确定当前视频单元的色度残余块；以及至少部分地基于当前视频单元的色度残余块和当前视频单元的色度预测性块重构当前视频单元的色度样本块。视频解码装置可包括经配置以执行第十二实例的方法的一或多个处理器。视频解码装置可包括用于执行第十二实例的方法的装置。计算机可读存储媒体可具有存储于其上的指令，所述指令当执行时配置视频解码装置以执行第十二实例的方法。
在第十三实例中，视频编码器可执行对视频数据进行编码的方法，所述方法包括：针对当前视频单元的色度块但不针对当前视频单元的明度块执行残余预测过程，其中当前视频单元属于在当前存取单元的当前视图中的当前图片，所述残余预测过程包括：至少部分地基于当前视频单元的视差向量确定当前存取单元的参考视图中的参考视频单元；至少部分地基于当前视频单元的运动向量、参考视频单元的明度样本块的位置和参考图片的色度样本确定第一色度参考块；至少部分地基于参考视频单元的色度样本块与第一色度参考块之间的差确定色度残余预测符块；至少部分地基于当前视频单元的运动向量和第二参考图片内的色度样本确定第二色度参考块，其中当前视频单元的参考索引指示第二参考图片；至少部分地基于当前视频单元的色度样本块与第二色度参考块之间的差确定当前视频单元的初始色度残余块；至少部分地基于当前视频单元的初始色度残余块与色度残余预测符块之间的差确定当前视频单元的最终色度残余块；以及在位流中用信号表示当前视频单元的最终色度残余块。视频编码装置可包括经配置以执行第十三实例的方法的一或多个处理器。视频编码装置可包括用于执行第十三实例的方法的装置。计算机可读存储媒体可具有存储于其上的指令，所述指令当执行时配置视频编码装置以执行第十三实例的方法。
在第十四实例中，视频解码器可执行对视频数据进行解码的方法，所述方法包括：至少部分地基于属于当前存取单元的当前视图中的当前图片的当前视频单元的视差向量确定当前存取单元的参考视图中的参考视频单元；产生当前视频单元的合并候选者列表，所述合并候选者列表包含一或多个合并候选者，其中所述一或多个合并候选者中的每一者包含运动向量、参考索引和加权因数索引；从合并候选者列表确定选定合并候选者，其中所述选定合并候选者的运动向量是当前视频单元的运动向量且所述选定合并候选者的参考索引是当前视频单元的参考索引；至少部分地基于当前视频单元的运动向量、参考视频单元的样本块的位置和参考图片的样本确定参考块；至少部分地基于参考视频单元的样本块与参考块之间的差确定残余预测符块；修改残余预测符块以使得对于残余预测符块中的每一相应样本，所述相应样本近似等于所述相应样本的原始值乘以与所述选定合并候选者的加权因数索引相关联的加权因数；至少部分地基于当前视频单元的用信号表示的残余块和残余预测符块确定当前视频单元的残余块；以及至少部分地基于当前视频单元的残余块和当前视频单元的预测性块重构当前视频单元的样本块。此外，在第十四实例中，参考图片可为固定参考图片且所述方法可进一步包括至少部分地基于固定参考图片与由当前视频单元的参考索引指示的参考图片之间的时间差异按比例缩放当前视频单元的运动向量。此外，在第十四实例中，所述方法可进一步包括将当前视频单元的运动向量从子像素精度舍入到整数像素精度。视频解码装置可包括经配置以执行第十四实例的方法中的任一者的一或多个处理器。视频解码装置可包括用于执行第十四实例的方法中的任一者的装置。
在第十五实例中，视频编码器可执行对视频数据进行编码的方法，所述方法包括：至少部分地基于属于当前存取单元的当前视图中的当前图片的当前视频单元的视差向量确定当前存取单元的参考视图中的参考视频单元；产生当前视频单元的合并候选者列表，所述合并候选者列表包含一或多个合并候选者，其中所述一或多个合并候选者中的每一者包含运动向量、参考索引和加权因数索引；从合并候选者列表确定选定合并候选者，其中所述选定合并候选者的运动向量是当前视频单元的运动向量且所述选定合并候选者的参考索引是当前视频单元的参考索引；至少部分地基于当前视频单元的运动向量、参考视频单元的样本块的位置和第一参考图片的样本确定第一参考块；至少部分地基于参考视频单元的样本块与第一参考块之间的差确定残余预测符块；修改残余预测符块以使得对于残余预测符块中的每一相应样本，所述相应样本近似等于所述相应样本的原始值乘以与所述选定合并候选者的加权因数索引相关联的加权因数；至少部分地基于当前视频单元的运动向量和第二参考图片内的样本确定第二参考块，其中当前视频单元的参考索引指示所述第二参考图片；至少部分地基于当前视频单元的样本块与第二参考块之间的差确定当前视频单元的初始残余块；至少部分地基于当前视频单元的初始残余块与残余预测符块之间的差确定当前视频单元的最终残余块；以及在位流中用信号表示当前视频单元的最终残余块。此外，在第十五实例中，第一参考图片可为固定参考图片且所述方法可进一步包括至少部分地基于固定参考图片与第二参考图片之间的时间差异按比例缩放当前视频单元的运动向量。此外，在第十五实例中，所述方法可进一步包括将当前视频单元的运动向量从子像素精度舍入到整数像素精度。视频编码装置可包括经配置以执行第十五实例的方法中的任一者的一或多个处理器。视频编码装置可包括用于执行第十五实例的方法中的任一者的装置。此外，计算机可读存储媒体可具有存储于其上的指令，所述指令当执行时配置视频编码装置以执行第十五实例的方法中的任一者。
在第十六实例中，视频解码器可执行对视频数据进行解码的方法，所述方法包括：至少部分地基于属于当前存取单元的当前视图中的当前图片的当前CU的当前PU的视差向量确定当前存取单元的参考视图中的参考PU；至少部分地基于当前PU的运动向量、参考PU的样本块的位置和参考图片的样本确定参考块；至少部分地基于参考PU的样本块与参考块之间的差确定残余预测符块；当当前PU是使用合并模式经译码、当前PU的合并候选者索引等于0且当前CU是根据2Nx2N分割模式分割时：从位流解码所述当前PU的加权因数索引；以及修改残余预测符块以使得对于残余预测符块中的每一相应样本，所述相应样本近似等于所述相应样本的原始值乘以与加权因数索引相关联的加权因数；至少部分地基于所述当前PU的用信号表示的残余块和残余预测符块确定所述当前PU的最终残余块；以及当当前PU不是使用合并模式经译码、当前PU的合并候选者索引不等于0或当前CU不是根据2Nx2N分割模式分割时，基于所述当前PU的用信号表示的残余块而不是残余预测符块确定所述当前PU的最终残余块；以及至少部分地基于所述当前PU的最终残余块和所述当前PU的预测性块重构当前CU的样本块。此外，在第十六实例中，可允许加权因数索引等于0、1或2，其中等于0的加权因数索引与加权因数0相关联，等于1的加权因数索引与加权因数1相关联，且等于2的加权因数索引与加权因数0.5相关联。此外，在第十六实例中，加权因数索引可为1位旗标。此外，在第十六实例中，当当前PU的合并候选者索引等于0、在合并候选者列表的位置0处的合并候选者是从除当前视图外的视图导出且加权因数索引等于0时，与加权因数索引相关联的加权因数可等于第一值；当当前PU的合并候选者索引等于0、在合并候选者列表的位置0处的合并候选者是从除当前视图外的视图导出且加权因数索引等于1时，与加权因数索引相关联的加权因数可等于第二值。此外，在第十六实例中，第一值可等于0.5且第二值可等于1。此外，在第十六实例中，第一值可等于1且第二值可等于0.5。此外，在第十六实例中，当当前PU的合并候选者索引不等于0或在合并候选者列表的位置0处的合并候选者不是从除当前视图外的视图导出且加权因数索引等于0时，与加权因数索引相关联的加权因数可等于第一值；当当前PU的合并候选者索引不等于0或在合并候选者列表的位置0处的合并候选者不是从除当前视图外的视图导出且加权因数索引等于1时，与加权因数索引相关联的加权因数可等于第二值。此外，在第十六实例中，其中第一值可等于0且第二值可等于1。此外，在第十六实例中，第一值可等于1且第二值可等于0。此外，在第十六实例中，当当前PU的合并候选者索引不等于0或在合并候选者列表的位置0处的合并候选者不是从除当前视图外的视图导出时，加权因数索引可始终等于0。视频解码装置可包括经配置以执行第十六实例的方法中的任一者的一或多个处理器。视频解码装置包括用于执行第十六实例的方法中的任一者的装置。计算机可读存储媒体可具有存储于其上的指令，所述指令当执行时配置视频解码装置以执行第十六实例的方法中的任一者。
在第十七实例中，视频编码器可执行对视频数据进行编码的方法，所述方法包括：至少部分地基于属于当前存取单元的当前视图中的当前图片的当前CU的当前PU的视差向量确定当前存取单元的参考视图中的参考PU；至少部分地基于当前PU的运动向量、参考PU的样本块的位置和参考图片的样本确定第一参考块；至少部分地基于参考PU的样本块与第一参考块之间的差确定残余预测符块；至少部分地基于当前PU的运动向量和第二参考图片内的样本确定第二参考块，其中当前PU的参考索引指示第二参考图片；至少部分地基于所述当前PU的样本块和第二参考块确定所述当前PU的初始残余块；当当前PU是使用合并模式经译码、当前PU的合并候选者索引等于0且当前CU是根据2Nx2N分割模式分割时：修改残余预测符块以使得对于残余预测符块中的每一相应样本，所述相应样本近似等于所述相应样本的原始值乘以与加权因数索引相关联的加权因数；至少部分地基于所述当前PU的初始残余块与经修改残余预测符块之间的差确定所述当前PU的最终残余块；以及在位流中用信号表示加权因数索引和最终残余块；当当前PU不是使用合并模式经译码、当前PU的索引不等于0或当前CU不是根据2Nx2N分割模式分割时：基于所述当前PU的初始残余块而不是残余预测符块确定所述当前PU的最终残余块；以及在位流中用信号表示最终残余块。此外，在第十七实例中，可允许加权因数索引等于0、1或2，其中等于0的加权因数索引与加权因数0相关联，等于1的加权因数索引与加权因数1相关联，且等于2的加权因数索引与加权因数0.5相关联。此外，在第十七实例中，加权因数索引可为1位旗标。此外，在第十七实例中，当当前PU的合并候选者索引等于0、在合并候选者列表的位置0处的合并候选者是从除当前视图外的视图导出且加权因数索引等于0时，与加权因数索引相关联的加权因数可等于第一值；当当前PU的合并候选者索引等于0、在合并候选者列表的位置0处的合并候选者是从除当前视图外的视图导出且加权因数索引等于1时，与加权因数索引相关联的加权因数可等于第二值。此外，在第十七实例中，第一值可等于0.5且第二值可等于1。此外，在第十七实例中，第一值可等于1且第二值可等于0.5。此外，在第十七实例中，当当前PU的合并候选者索引不等于0或在合并候选者列表的位置0处的合并候选者不是从除当前视图外的视图导出且加权因数索引等于0时，与加权因数索引相关联的加权因数可等于第一值；当当前PU的合并候选者索引不等于0或在合并候选者列表的位置0处的合并候选者不是从除当前视图外的视图导出且加权因数索引等于1时，与加权因数索引相关联的加权因数可等于第二值。此外，在第十七实例中，第一值可等于0且第二值可等于1。此外，在第十七实例中，第一值可等于1且第二值可等于0。此外，在第十七实例中，当当前PU的合并候选者索引不等于0或在合并候选者列表的位置0处的合并候选者不是从除当前视图外的视图导出时，加权因数索引可始终等于0。视频编码装置可包括经配置以执行第十七实例的方法中的任一者的一或多个处理器。视频编码装置可包括用于执行第十七实例的方法中的任一者的装置。此外，计算机可读存储媒体可具有存储于其上的指令，所述指令当执行时配置视频编码装置以执行第十七实例的方法中的任一者。
上文实例中的任一者的任何细节可与符合本发明的其它实例组合。在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果用软件实施，则所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包括任何促进将计算机程序从一处传送到另一处的媒体(例如，根据一种通信协议)的通信媒体。以此方式，计算机可读媒体大体上可以对应于(1)有形计算机可读存储媒体，其是非暂时的，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或任何其它可用来存储呈指令或数据结构的形式的所要程序代码并且可由计算机存取的媒体。此外，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源发射指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对于非暂时性有形存储媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行所述指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文所描述的功能性可以提供于经配置以用于编码及解码的专用硬件及/或软件模块内，或者并入于组合编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或IC集合(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调，其经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。确切地说，如上文所描述，各种单元可结合合适的软件和/或固件组合在一个编解码器硬件单元中，或由互操作硬件单元的集合来提供，所述硬件单元包括如上文所描述的一或多个处理器。
已描述各种实例。这些和其它实例在所附权利要求书的范围内。

Claims (44)

1.一种对视频数据进行解码的方法，所述方法包括：
按比例缩放当前图片的当前预测单元PU的运动向量以便补偿所述当前图片与时间参考图片之间的图片次序计数POC距离和所述当前图片与固定图片之间的POC距离之间的差，
其中所述当前图片在当前视图中且在当前存取单元中，视差参考图片在参考视图中且在所述当前存取单元中，所述时间参考图片在所述当前视图中但不在所述当前存取单元中，且所述当前PU的参考索引指示所述当前图片的参考图片列表内所述时间参考图片的位置；
确定所述当前PU的预测性块；
基于所述视差参考图片的与由所述当前PU的视差向量指示的位置相关联的样本确定视差参考块；
基于所述固定参考图片的与由所述当前PU的所述经按比例缩放运动向量和所述视差向量指示的位置相关联的样本确定所述当前PU的时间视差参考块；
确定所述当前PU的残余预测符，其中所述当前PU的所述残余预测符的每一样本指示所述当前PU的所述时间视差参考块的样本与所述视差参考块的对应样本之间的差异；以及
基于用信号表示的残余块、所述当前PU的所述残余预测符以及所述当前PU的所述预测性块重构译码块。
2.根据权利要求1所述的方法，其中对于所述当前图片的每一相应PU，当执行所述参考视图中的运动补偿时不存取除所述固定参考图片外的参考图片，以基于与所述当前图片的所述参考图片列表相关联的运动向量和所述相应PU的所述视差向量确定所述相应PU的时间视差参考块。
3.根据权利要求1所述的方法，其中：
所述固定参考图片是第一固定参考图片，所述当前图片的所述参考图片列表是所述当前图片的第一参考图片列表，所述时间参考图片是第一时间参考图片，所述时间视差参考块是第一时间视差参考块，且所述当前PU的所述运动向量是所述当前PU的第一运动向量，
所述第一固定参考图片的图片次序计数POC值匹配于所述当前图片的所述第一参考图片列表中的参考图片的POC值，
第二固定参考图片的POC值匹配于所述当前图片的第二参考图片列表中的参考图片的POC值，且
所述方法进一步包括按比例缩放所述当前PU的第二运动向量以便补偿所述第二固定参考图片与第二时间参考图片之间的时间距离，其中所述当前PU的第二参考索引指示所述第二时间参考图片在所述当前图片的所述第二参考图片列表中的位置；且
其中确定所述当前PU的所述时间视差参考块包括：
基于所述第一固定参考图片的在由所述经按比例缩放第一运动向量指示的位置处的样本确定第一预测性时间视差参考块；
基于所述第二固定参考图片的在由所述经按比例缩放第二运动向量指示的位置处的样本确定第二预测性时间视差参考块；以及
基于所述第一和第二预测性时间视差参考块确定所述当前PU的所述时间视差参考块。
4.根据权利要求3所述的方法，其中对于所述当前图片的每一相应PU，当执行所述参考视图中的运动补偿时不存取除所述第二固定参考图片外的参考图片，以基于所述当前PU的所述经按比例缩放第二运动向量和所述当前PU的所述视差向量确定所述相应PU的时间视差参考块。
5.根据权利要求1所述的方法，其中确定所述当前PU的所述预测性块包括基于经指派参考图片的与由所述经按比例缩放运动向量指示的位置相关联的样本确定所述预测性块，其中所述经指派参考图片的图片次序计数POC值匹配于所述固定参考图片的POC值且所述经指派参考图片在与所述当前图片相同的视图中。
6.根据权利要求1所述的方法，其中所述固定参考图片具有匹配于所述当前图片的所述参考图片列表中的参考图片的图片次序计数POC值的POC值。
7.根据权利要求1所述的方法，其进一步包括：
确定在所述当前视图中的经指派图片；
当所述视差参考图片的参考图片列表包含具有与所述经指派图片相同的POC值的特定参考视图图片时，将所述固定参考图片设定为所述特定参考视图图片，
其中以下准则中的一者表征所述经指派参考图片：
所述经指派图片具有所述当前图片的所述参考图片列表中的最小参考图片索引；
所述经指派图片的所述POC值比所述当前图片的所述参考图片列表中的任何其它参考图片的POC值更接近于所述当前图片的POC值；
所述经指派图片的时间识别符低于所述当前图片的所述参考图片列表中的任何其它参考图片的时间识别符；
所述经指派图片的量化参数是所述当前PU的所述参考图片列表中的参考图片当中的最低量化参数；以及
所述经指派参考图片是在切片标头、图片参数集或视频参数集中用信号表示。
8.根据权利要求7所述的方法，其进一步包括当所述视差参考图片的所述参考图片列表并不包含具有与所述经指派图片相同的POC值的任何参考图片时，将所述固定参考图片设定为所述视差参考图片的所述参考图片列表中的另一图片。
9.根据权利要求1所述的方法，其中所述固定参考图片满足以下准则中的一者：
所述固定参考图片具有所述视差参考图片的参考图片列表中的最小参考图片索引；
所述固定参考图片的POC值比属于所述参考视图的任何其它参考图片的POC值更接近于所述当前图片的POC值；
所述固定参考图片的时间识别符低于所述参考视图的任何其它参考图片的时间识别符；以及
所述固定参考图片的量化参数低于所述参考视图的任何其它参考图片的量化参数。
10.根据权利要求1所述的方法，其中所述方法进一步包括执行基于相邻块的视差向量NBDV导出过程以确定所述当前PU的所述视差向量，且
其中所述固定参考图片具有等于在所述NBDV导出过程中使用的第一或第二候选图片的POC值的POC值。
11.根据权利要求1所述的方法，
其中所述方法进一步包括在按比例缩放所述运动向量之后，将所述当前PU的所述经按比例缩放运动向量舍入到整数精度；且
其中确定所述时间视差参考块包括基于所述经舍入的经按比例缩放运动向量和所述视差参考块的位置确定所述当前PU的所述残余预测符。
12.根据权利要求1所述的方法，其中确定所述当前PU的所述预测性块包括将双线性滤波器应用于所述时间参考图片的明度和色度分量。
13.根据权利要求1所述的方法，其中确定所述当前PU的所述预测性块包括将双线性滤波器应用于所述经指派参考图片的明度和色度分量。
14.一种对视频数据进行编码的方法，所述方法包括：
按比例缩放当前图片的当前译码单元CU的当前预测单元PU的运动向量以便补偿所述当前图片与时间参考图片之间的图片次序计数POC距离和所述当前图片与固定图片之间的POC距离之间的差，
其中所述当前图片在当前视图中且在当前存取单元中，视差参考图片在参考视图中且在所述当前存取单元中，所述时间参考图片在所述当前视图中但不在所述当前存取单元中，且所述当前PU的参考索引指示所述当前图片的参考图片列表内所述时间参考图片的位置；
确定所述当前PU的预测性块；
基于所述视差参考图片的与由所述当前PU的视差向量指示的位置相关联的样本确定视差参考块；
基于所述固定参考图片的与由所述当前PU的所述经按比例缩放运动向量和所述视差向量指示的位置相关联的样本确定所述当前PU的时间视差参考块；
确定所述当前PU的残余预测符，其中所述当前PU的所述残余预测符的每一样本指示所述当前PU的所述时间视差参考块的样本与所述视差参考块的对应样本之间的差异；
确定所述当前CU的最终残余块，其中所述最终残余块包括指示所述当前CU的译码块中的样本、所述当前PU的所述预测块中的样本和所述当前PU的所述残余预测符中的样本之间的差异的样本；以及
在位流中包含表示所述当前CU的所述最终残余块的数据。
15.根据权利要求14所述的方法，其中对于所述当前图片的每一相应PU，当执行所述参考视图中的运动补偿时不存取除所述固定参考图片外的参考图片，以基于与所述当前图片的所述参考图片列表相关联的运动向量和所述相应PU的所述视差向量确定所述相应PU的时间视差参考块。
16.根据权利要求14所述的方法，其中：
所述固定参考图片是第一固定参考图片，所述当前图片的所述参考图片列表是所述当前图片的第一参考图片列表，所述时间参考图片是第一时间参考图片，所述时间视差参考块是第一时间视差参考块，且所述当前PU的所述运动向量是所述当前PU的第一运动向量，
所述第一固定参考图片的图片次序计数POC值匹配于所述当前图片的所述第一参考图片列表中的参考图片的POC值，
第二固定参考图片的POC值匹配于所述当前图片的第二参考图片列表中的参考图片的POC值，且
所述方法进一步包括按比例缩放所述当前PU的第二运动向量以便补偿所述第二固定参考图片与第二时间参考图片之间的时间距离，其中所述当前PU的第二参考索引指示所述第二时间参考图片在所述当前图片的所述第二参考图片列表中的位置；以及
其中确定所述当前PU的所述时间视差参考块包括：
基于所述第一固定参考图片的在由所述经按比例缩放第一运动向量指示的位置处的样本确定第一预测性时间视差参考块；
基于所述第二固定参考图片的在由所述经按比例缩放第二运动向量指示的位置处的样本确定第二预测性时间视差参考块；以及
基于所述第一和第二预测性时间视差参考块确定所述当前PU的所述时间视差参考块。
17.根据权利要求16所述的方法，其中对于所述当前图片的每一相应PU，当执行所述参考视图中的运动补偿时不存取除所述第二固定参考图片外的参考图片，以基于所述当前PU的所述经按比例缩放第二运动向量和所述当前PU的所述视差向量确定所述相应PU的时间视差参考块。
18.根据权利要求14所述的方法，其中确定所述当前PU的所述预测性块包括基于经指派参考图片的与由所述经按比例缩放运动向量指示的位置相关联的样本确定所述预测性块，其中所述经指派参考图片的图片次序计数POC值匹配于所述固定参考图片的POC值且所述经指派参考图片在与所述当前图片相同的视图中。
19.根据权利要求14所述的方法，其中所述固定参考图片具有匹配于所述当前图片的所述参考图片列表中的参考图片的图片次序计数POC值的POC值。
20.根据权利要求14所述的方法，其进一步包括：
确定在所述当前视图中的经指派图片；
当所述视差参考图片的参考图片列表包含具有与所述经指派图片相同的POC值的特定参考视图图片时，将所述固定参考图片设定为所述特定参考视图图片，
其中以下准则中的一者表征所述经指派参考图片：
所述经指派图片具有所述当前图片的所述参考图片列表中的最小参考图片索引；
所述经指派图片的所述POC值比所述当前图片的所述参考图片列表中的任何其它参考图片的POC值更接近于所述当前图片的POC值；
所述经指派图片的时间识别符低于所述当前图片的所述参考图片列表中的任何其它参考图片的时间识别符；
所述经指派图片的量化参数是所述当前PU的所述参考图片列表中的参考图片当中的最低量化参数；以及
所述经指派参考图片是在切片标头、图片参数集或视频参数集中用信号表示。
21.根据权利要求20所述的方法，其进一步包括当所述视差参考图片的所述参考图片列表并不包含具有与所述经指派图片相同的POC值的任何参考图片时，将所述固定参考图片设定为所述视差参考图片的所述参考图片列表中的另一图片。
22.根据权利要求14所述的方法，其中所述固定参考图片满足以下准则中的一者：
所述固定参考图片具有所述视差参考图片的参考图片列表中的最小参考图片索引；
所述固定参考图片的POC值比属于所述参考视图的任何其它参考图片的POC值更接近于所述当前图片的POC值；
所述固定参考图片的时间识别符低于所述参考视图的任何其它参考图片的时间识别符；以及
所述固定参考图片的量化参数低于所述参考视图的任何其它参考图片的量化参数。
23.根据权利要求14所述的方法，其中所述方法进一步包括执行基于相邻块的视差向量NBDV导出过程以确定所述当前PU的所述视差向量，且
其中所述固定参考图片具有等于在所述NBDV导出过程中使用的第一或第二候选图片的POC值的POC值。
24.根据权利要求14所述的方法，
其中所述方法进一步包括在按比例缩放所述运动向量之后，将所述当前PU的所述经按比例缩放运动向量舍入到整数精度；且
其中确定所述时间视差参考块包括基于所述经舍入的经按比例缩放运动向量和所述视差参考块的位置确定所述当前PU的所述残余预测符。
25.根据权利要求14所述的方法，其中确定所述当前PU的所述预测性块包括将双线性滤波器应用于所述时间参考图片的明度和色度分量。
26.根据权利要求14所述的方法，其中确定所述当前PU的所述预测性块包括将双线性滤波器应用于所述经指派参考图片的明度和色度分量。
27.一种视频译码装置，其包括：
存储器，其存储参考图片；以及
一或多个处理器，其经配置以：
按比例缩放当前图片的当前译码单元CU的当前预测单元PU的运动向量以便补偿所述当前图片与时间参考图片之间的图片次序计数POC距离和所述当前图片与固定图片之间的POC距离之间的差，
其中所述当前图片在当前视图中且在当前存取单元中，视差参考图片在参考视图中且在所述当前存取单元中，所述时间参考图片在所述当前视图中但不在所述当前存取单元中，且所述当前PU的参考索引指示所述当前图片的参考图片列表内所述时间参考图片的位置；
确定所述当前PU的预测性块；
基于所述视差参考图片的与由所述当前PU的视差向量指示的位置相关联的样本确定视差参考块；
基于所述固定参考图片的与由所述当前PU的所述经按比例缩放运动向量和所述视差向量指示的位置相关联的样本确定所述当前PU的时间视差参考块；以及
确定所述当前PU的残余预测符，其中所述当前PU的所述残余预测符的每一样本指示所述当前PU的所述时间视差参考块的样本与所述视差参考块的对应样本之间的差异。
28.根据权利要求27所述的视频译码装置，其中对于所述当前图片的每一相应PU，当执行所述参考视图中的运动补偿时不存取除所述固定参考图片外的参考图片，以基于与所述当前图片的所述参考图片列表相关联的运动向量和所述相应PU的所述视差向量确定所述相应PU的时间视差参考块。
29.根据权利要求27所述的视频译码装置，其中：
所述固定参考图片是第一固定参考图片，所述当前图片的所述参考图片列表是所述当前图片的第一参考图片列表，所述时间参考图片是第一时间参考图片，所述时间视差参考块是第一时间视差参考块，且所述当前PU的所述运动向量是所述当前PU的第一运动向量，
所述第一固定参考图片的图片次序计数POC值匹配于所述当前图片的所述第一参考图片列表中的参考图片的POC值，
第二固定参考图片的POC值匹配于所述当前图片的第二参考图片列表中的参考图片的POC值，且
所述一或多个处理器进一步经配置以按比例缩放所述当前PU的第二运动向量以便补偿所述第二固定参考图片与时间参考图片之间的时间距离，其中所述当前PU的第二参考索引指示第二时间参考图片在所述当前图片的所述第二参考图片列表中的位置；且
其中为了确定所述当前PU的所述时间视差参考块，所述一或多个处理器：
基于所述第一固定参考图片的在由所述经按比例缩放第一运动向量指示的位置处的样本确定第一预测性时间视差参考块；
基于所述第二固定参考图片的在由所述经按比例缩放第二运动向量指示的位置处的样本确定第二预测性时间视差参考块；以及
基于所述第一和第二预测性时间视差参考块确定所述当前PU的所述时间视差参考块。
30.根据权利要求29所述的视频译码装置，其中对于所述当前图片的每一相应PU，当执行所述参考视图中的运动补偿时不存取除所述第二固定参考图片外的参考图片，以基于所述当前PU的所述经按比例缩放第二运动向量和所述当前PU的所述视差向量确定所述相应PU的时间视差参考块。
31.根据权利要求27所述的视频译码装置，其中为了确定所述当前PU的所述预测性块，所述一或多个处理器基于经指派参考图片的与由所述经按比例缩放运动向量指示的位置相关联的样本确定所述预测性块，其中所述经指派参考图片的图片次序计数POC值匹配于所述固定参考图片的POC值且所述经指派参考图片在与所述当前图片相同的视图中。
32.根据权利要求27所述的视频译码装置，其中所述固定参考图片具有匹配于所述当前图片的参考图片列表中的所述参考图片的图片次序计数POC值的POC值。
33.根据权利要求27所述的视频译码装置，其中所述一或多个处理器经配置以：
确定在所述当前视图中的经指派图片；
当所述视差参考图片的参考图片列表包含具有与所述经指派图片相同的POC值的特定参考视图图片时，将所述固定参考图片设定为所述特定参考视图图片，
其中以下准则中的一者表征所述经指派参考图片：
所述经指派图片具有所述当前图片的所述参考图片列表中的最小参考图片索引；
所述经指派图片的所述POC值比所述当前图片的所述参考图片列表中的任何其它参考图片的POC值更接近于所述当前图片的POC值；
所述经指派图片的时间识别符低于所述当前图片的所述参考图片列表中的任何其它参考图片的时间识别符；
所述经指派图片的量化参数是所述当前PU的所述参考图片列表中的参考图片当中的最低量化参数；以及
所述经指派参考图片是在切片标头、图片参数集或视频参数集中用信号表示。
34.根据权利要求33所述的视频译码装置，其中所述一或多个处理器经配置以使得当所述视差参考图片的所述参考图片列表并不包含具有与所述经指派图片相同的POC值的任何参考图片时，所述一或多个处理器将所述固定参考图片设定为所述视差参考图片的所述参考图片列表中的另一图片。
35.根据权利要求27所述的视频译码装置，其中所述固定参考图片满足以下准则中的一者：
所述固定参考图片具有所述视差参考图片的参考图片列表中的最小参考图片索引；
所述固定参考图片的POC值比属于所述参考视图的任何其它参考图片的POC值更接近于所述当前图片的POC值；
所述固定参考图片的时间识别符低于所述参考视图的任何其它参考图片的时间识别符；以及
所述固定参考图片的量化参数低于所述参考视图的任何其它参考图片的量化参数。
36.根据权利要求27所述的视频译码装置，其中所述一或多个处理器进一步经配置以执行基于相邻块的视差向量NBDV导出过程以确定所述当前PU的所述视差向量，且
其中所述固定参考图片具有等于在所述NBDV导出过程中使用的第一或第二候选图片的POC值的POC值。
37.根据权利要求27所述的视频译码装置，
其中所述一或多个处理器进一步经配置以在按比例缩放所述运动向量之后，将所述当前PU的所述运动向量舍入到整数精度；且
其中为了确定所述时间视差参考块，所述一或多个处理器基于所述经舍入的经按比例缩放运动向量和所述视差参考块的位置确定所述当前PU的所述残余预测符。
38.根据权利要求27所述的视频译码装置，其中所述一或多个处理器经配置以将双线性滤波器应用于所述时间参考图片的明度和色度分量。
39.根据权利要求27所述的视频译码装置，其中所述一或多个处理器经配置以将双线性滤波器应用于所述经指派参考图片的明度和色度分量。
40.根据权利要求27所述的视频译码装置，其中所述一或多个处理器进一步经配置以基于用信号表示的残余块、所述当前PU的所述残余预测符和所述当前PU的所述预测性块重构译码块。
41.根据权利要求27所述的视频译码装置，其中所述一或多个处理器进一步经配置以：
确定所述当前CU的最终残余块，其中所述最终残余块包括指示所述当前CU的译码块中的样本、所述当前PU的所述预测块中的样本和所述当前PU的所述残余预测符中的样本之间的差异的样本；以及
在位流中包含表示所述当前CU的所述最终残余块的数据。
42.根据权利要求27所述的视频译码装置，其中所述一或多个处理器经配置以：
将所述当前PU的所述运动向量按比例缩放到所述固定参考图片；以及
使用所述当前PU的所述经按比例缩放运动向量来确定所述预测性块。
43.一种视频译码装置，其包括：
用于按比例缩放当前图片的当前译码单元CU的当前预测单元PU的运动向量以便补偿所述当前图片与时间参考图片之间的图片次序计数POC距离和所述当前图片与固定图片之间的POC距离之间的差的装置，
其中所述当前图片在当前视图中且在当前存取单元中，视差参考图片在参考视图中且在所述当前存取单元中，所述时间参考图片在所述当前视图中但不在所述
当前存取单元中，且所述当前PU的参考索引指示所述当前图片的参考图片列表内所述时间参考图片的位置；
用于确定所述当前PU的预测性块的装置；
用于基于所述视差参考图片的与由所述当前PU的视差向量指示的位置相关联的样本确定视差参考块的装置；
用于基于所述固定参考图片的与由所述当前PU的所述经按比例缩放运动向量和所述视差向量指示的位置相关联的样本确定所述当前PU的时间视差参考块的装置；以及
用于确定所述当前PU的残余预测符的装置，其中所述当前PU的所述残余预测符的每一样本指示所述当前PU的所述时间视差参考块的样本与所述视差参考块的对应样本之间的差异。
44.一种具有存储于其上的指令的非暂时性计算机可读存储媒体，所述指令在执行时配置视频译码装置以：
按比例缩放当前图片的当前译码单元CU的当前预测单元PU的运动向量以便补偿所述当前图片与时间参考图片之间的图片次序计数POC距离和所述当前图片与固定图片之间的POC距离之间的差，
其中所述当前图片在当前视图中且在当前存取单元中，视差参考图片在参考视图中且在所述当前存取单元中，所述时间参考图片在所述当前视图中但不在所述当前存取单元中，且所述当前PU的参考索引指示所述当前图片的参考图片列表内所述时间参考图片的位置；
确定所述当前PU的预测性块；
基于所述视差参考图片的与由所述当前PU的视差向量指示的位置相关联的样本确定视差参考块；
基于所述固定参考图片的与由所述当前PU的所述经按比例缩放运动向量和所述视差向量指示的位置相关联的样本确定所述当前PU的时间视差参考块；以及
确定所述当前PU的残余预测符，其中所述当前PU的所述残余预测符的每一样本指示所述当前PU的所述时间视差参考块的样本与所述视差参考块的对应样本之间的差异。
CN201480012130.5A 2013-03-08 2014-02-19 多视图或3维视频译码中的视图间残余预测 Active CN105009586B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201361775352P 2013-03-08 2013-03-08
US61/775,352 2013-03-08
US201361803368P 2013-03-19 2013-03-19
US61/803,368 2013-03-19
US201361832623P 2013-06-07 2013-06-07
US61/832,623 2013-06-07
US14/149,260 US9800857B2 (en) 2013-03-08 2014-01-07 Inter-view residual prediction in multi-view or 3-dimensional video coding
US14/149,260 2014-01-07
PCT/US2014/017132 WO2014137596A1 (en) 2013-03-08 2014-02-19 Inter-view residual prediction in multi-view or 3-dimensional video coding

Publications (2)

Publication Number Publication Date
CN105009586A true CN105009586A (zh) 2015-10-28
CN105009586B CN105009586B (zh) 2018-05-25

Family

ID=51487366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480012130.5A Active CN105009586B (zh) 2013-03-08 2014-02-19 多视图或3维视频译码中的视图间残余预测

Country Status (6)

Country Link
US (1) US9800857B2 (zh)
EP (1) EP2965511A1 (zh)
JP (1) JP6339116B2 (zh)
KR (1) KR101821030B1 (zh)
CN (1) CN105009586B (zh)
WO (1) WO2014137596A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109644277A (zh) * 2016-08-11 2019-04-16 高通股份有限公司 用于回路内样本处理的视频译码工具
CN110100440A (zh) * 2016-12-22 2019-08-06 株式会社Kt 视频信号处理方法和装置
CN110121883A (zh) * 2016-12-05 2019-08-13 Lg电子株式会社 在图像编码***中对图像进行解码的方法和装置
CN111801946A (zh) * 2018-01-24 2020-10-20 Vid拓展公司 用于具有降低的译码复杂性的视频译码的广义双预测
CN112166608A (zh) * 2018-04-06 2021-01-01 Vid拓展公司 采用简化梯度推导的双向光流方法

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103283237B (zh) * 2010-12-22 2017-03-22 Lg电子株式会社 帧内预测方法和使用该方法的设备
CN105122803B (zh) * 2013-04-02 2019-01-08 Vid拓展公司 针对可伸缩视频编码的增强型时间运动向量预测
WO2014163454A1 (ko) * 2013-04-05 2014-10-09 삼성전자주식회사 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
WO2014163466A1 (ko) * 2013-04-05 2014-10-09 삼성전자 주식회사 정수 픽셀의 위치와 관련하여 비디오의 부호화 및 복호화를 수행하는 방법과 그 장치
EP2932712A4 (en) * 2013-06-11 2016-11-30 Hfi Innovation Inc METHOD FOR THE INTERMEDIATE REST PRESENTATION WITH REDUCED COMPLEXITY IN A THREE-DIMENSIONAL VIDEO CODING
JP6261215B2 (ja) * 2013-07-12 2018-01-17 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP6336058B2 (ja) 2013-10-14 2018-06-06 マイクロソフト テクノロジー ライセンシング，エルエルシー ビデオ及び画像符号化及び復号のためのベースカラーインデックスマップモードの機能
KR102264679B1 (ko) * 2013-10-14 2021-06-14 삼성전자주식회사 휘도 보상 여부에 따른 뷰 합성 예측 적용 방법 및 장치
EP3058736B1 (en) 2013-10-14 2019-02-27 Microsoft Technology Licensing, LLC Encoder-side options for intra block copy prediction mode for video and image coding
RU2654129C2 (ru) 2013-10-14 2018-05-16 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Функциональные возможности режима внутреннего предсказания с блочным копированием для кодирования и декодирования видео и изображений
CA2921759C (en) * 2013-10-17 2018-05-15 Mediatek Inc. Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
US10110925B2 (en) * 2014-01-03 2018-10-23 Hfi Innovation Inc. Method of reference picture selection and signaling in 3D and multi-view video coding
RU2669005C2 (ru) 2014-01-03 2018-10-05 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Предсказание вектора блока в кодировании/декодировании видео и изображений
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
EP3085085A4 (en) * 2014-01-29 2017-11-08 MediaTek Inc. Method and apparatus for adaptive motion vector precision
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
KR102413529B1 (ko) 2014-06-19 2022-06-24 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통합된 인트라 블록 카피 및 인터 예측 모드
WO2016049839A1 (en) 2014-09-30 2016-04-07 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
KR20170066411A (ko) * 2014-10-08 2017-06-14 엘지전자 주식회사 3d 비디오 코딩을 위한 움직임 정보 압축 방법 및 장치
US20160105678A1 (en) * 2014-10-13 2016-04-14 Microsoft Technology Licensing, Llc Video Parameter Techniques
EP3254465A1 (en) * 2015-02-05 2017-12-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-view video codec supporting residual prediction
CN115002457A (zh) * 2015-06-05 2022-09-02 杜比实验室特许公司 图像编码和解码方法和图像解码设备
CN106664405B (zh) 2015-06-09 2020-06-09 微软技术许可有限责任公司 用调色板模式对经逸出编码的像素的稳健编码/解码
US20180359468A1 (en) * 2015-10-01 2018-12-13 Lg Electronics Inc. Image processing method on basis of inter prediction mode and apparatus therefor
US9883137B2 (en) * 2015-11-03 2018-01-30 Qualcomm Incorporated Updating regions for display based on video decoding mode
US20170150186A1 (en) * 2015-11-25 2017-05-25 Qualcomm Incorporated Flexible transform tree structure in video coding
US10621731B1 (en) * 2016-05-31 2020-04-14 NGCodec Inc. Apparatus and method for efficient motion estimation for different block sizes
WO2018012851A1 (ko) * 2016-07-12 2018-01-18 한국전자통신연구원 영상 부호화/복호화 방법 및 이를 위한 기록 매체
JP6938612B2 (ja) * 2016-07-12 2021-09-22 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 画像復号方法、画像符号化方法、及び非一時的なコンピュータ可読の記録媒体
US20190215521A1 (en) * 2016-09-22 2019-07-11 Mediatek Inc. Method and apparatus for video coding using decoder side intra prediction derivation
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
EP3410717A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing Methods and apparatus for candidate list pruning
US10785494B2 (en) * 2017-10-11 2020-09-22 Qualcomm Incorporated Low-complexity design for FRUC
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
WO2019203517A1 (ko) * 2018-04-15 2019-10-24 엘지전자 주식회사 영상 코딩 시스템에서 움직임 정보 도출 방법 및 장치
US10798394B2 (en) * 2018-06-27 2020-10-06 Avago Technologies International Sales Pte. Limited Low complexity affine merge mode for versatile video coding
BR112020026743A2 (pt) * 2018-07-06 2021-03-30 Mitsubishi Electric Corporation Método, decodificador, e, sistema
US10491912B1 (en) 2018-07-09 2019-11-26 Tencent America LLC Method and apparatus for video coding
MX2021002201A (es) 2018-08-29 2021-05-14 Beijing Dajia Internet Information Tech Co Ltd Metodos y aparato de codificacion de video mediante la prediccion de vector de movimiento temporal basada en subbloques.
KR20210088686A (ko) * 2018-11-16 2021-07-14 샤프 가부시키가이샤 비디오 코딩에서 모션 벡터 예측을 도출하기 위한 시스템들 및 방법들
US11438583B2 (en) * 2018-11-27 2022-09-06 Tencent America LLC Reference sample filter selection in intra prediction
KR20200078391A (ko) * 2018-12-21 2020-07-01 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
CN113728645A (zh) * 2019-02-20 2021-11-30 北京达佳互联信息技术有限公司 用于基于尾数-指数表示的帧间预测的运动矢量舍入、裁剪和存储的方法和装置
WO2020184977A1 (ko) * 2019-03-11 2020-09-17 한국전자통신연구원 화면 내 블록 복사 기반 부호화/복호화 방법, 장치 및 비트스트림 저장매체
JP2022546155A (ja) * 2019-07-09 2022-11-04 アリババ・グループ・ホールディング・リミテッド 解像度適応型ビデオコーディング
US11375243B2 (en) * 2019-07-17 2022-06-28 Tencent America LLC Method and apparatus for video coding
MX2022012430A (es) * 2020-04-14 2022-11-30 Op Solutions Llc Metodos y sistemas de codificación de video que usan regiones de referencia.
US20240015303A1 (en) * 2022-07-06 2024-01-11 Tencent America LLC Local warp motion prediction modes

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200505243A (en) * 2003-07-30 2005-02-01 Mediatek Inc Method for using memory to store motion vectors of decoded macroblocks
CN1574970A (zh) * 2003-05-16 2005-02-02 三星电子株式会社 使用图像残余预测编码/解码图像的方法和设备
CN101627635A (zh) * 2007-02-21 2010-01-13 高通股份有限公司 三维视频编码
GB2488816A (en) * 2011-03-09 2012-09-12 Canon Kk Mapping motion vectors from a plurality of reference frames to a single reference frame
CN102752588A (zh) * 2011-04-22 2012-10-24 北京大学深圳研究生院 使用空间缩放预测的视频编解码方法
CN102835113A (zh) * 2010-04-09 2012-12-19 Lg电子株式会社 处理视频信号的方法和设备
CN102946536A (zh) * 2012-10-09 2013-02-27 华为技术有限公司 候选矢量列表构建的方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040146109A1 (en) 2002-04-19 2004-07-29 Satoshi Kondo Method for calculation motion vector
JP4220284B2 (ja) * 2003-03-28 2009-02-04 株式会社東芝 フレーム補間方法、装置及びこれを用いた画像表示システム
JP4574444B2 (ja) 2005-05-27 2010-11-04 キヤノン株式会社 画像復号装置及び方法、画像符号化装置及び方法、コンピュータプログラム及び記憶媒体
KR101023263B1 (ko) * 2006-10-30 2011-03-21 니폰덴신뎅와 가부시키가이샤 예측 참조 정보 생성방법, 동영상 부호화 및 복호방법, 그들의 장치 및 그들의 프로그램을 기록한 기억매체
JP5747559B2 (ja) 2011-03-01 2015-07-15 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、及び動画像復号プログラム
US9247249B2 (en) 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
EP2721825A4 (en) 2011-06-15 2014-12-24 Mediatek Inc METHOD AND DEVICE FOR MOTION AND DISPARITY VECTOR PREDICTION AND COMPENSATION IN 3D VIDEO CODING
US9819963B2 (en) * 2011-07-12 2017-11-14 Electronics And Telecommunications Research Institute Inter prediction method and apparatus for same
US20130188715A1 (en) 2012-01-09 2013-07-25 Qualcomm Incorporated Device and methods for merge list reordering in video coding
WO2013113134A1 (en) 2012-02-02 2013-08-08 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
US20130272409A1 (en) 2012-04-12 2013-10-17 Qualcomm Incorporated Bandwidth reduction in video coding through applying the same reference index
US9843801B2 (en) 2012-07-10 2017-12-12 Qualcomm Incorporated Generalized residual prediction for scalable video coding and 3D video coding

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1574970A (zh) * 2003-05-16 2005-02-02 三星电子株式会社 使用图像残余预测编码/解码图像的方法和设备
TW200505243A (en) * 2003-07-30 2005-02-01 Mediatek Inc Method for using memory to store motion vectors of decoded macroblocks
CN101627635A (zh) * 2007-02-21 2010-01-13 高通股份有限公司 三维视频编码
CN102835113A (zh) * 2010-04-09 2012-12-19 Lg电子株式会社 处理视频信号的方法和设备
GB2488816A (en) * 2011-03-09 2012-09-12 Canon Kk Mapping motion vectors from a plurality of reference frames to a single reference frame
CN102752588A (zh) * 2011-04-22 2012-10-24 北京大学深圳研究生院 使用空间缩放预测的视频编解码方法
CN102946536A (zh) * 2012-10-09 2013-02-27 华为技术有限公司 候选矢量列表构建的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LI ZHANG ET AL: "3D-CE4: Advanced residual prediction for multiview coding", 《JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IECJTC 1/SC 29/WG 11 3RD MEETING: GENEVA, CH, 17–23 JAN. 2013》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109644277A (zh) * 2016-08-11 2019-04-16 高通股份有限公司 用于回路内样本处理的视频译码工具
CN110121883A (zh) * 2016-12-05 2019-08-13 Lg电子株式会社 在图像编码***中对图像进行解码的方法和装置
CN110100440A (zh) * 2016-12-22 2019-08-06 株式会社Kt 视频信号处理方法和装置
CN111801946A (zh) * 2018-01-24 2020-10-20 Vid拓展公司 用于具有降低的译码复杂性的视频译码的广义双预测
CN112166608A (zh) * 2018-04-06 2021-01-01 Vid拓展公司 采用简化梯度推导的双向光流方法

Also Published As

Publication number Publication date
JP6339116B2 (ja) 2018-06-06
WO2014137596A1 (en) 2014-09-12
JP2016513907A (ja) 2016-05-16
KR101821030B1 (ko) 2018-01-22
KR20150126010A (ko) 2015-11-10
CN105009586B (zh) 2018-05-25
US9800857B2 (en) 2017-10-24
EP2965511A1 (en) 2016-01-13
US20140253681A1 (en) 2014-09-11

Similar Documents

Publication Publication Date Title
CN110024403B (zh) 一种编解码视频数据的方法、装置和计算机可读存储媒体
CN105009586B (zh) 多视图或3维视频译码中的视图间残余预测
CN104904218B (zh) 视差矢量推导
CN105379282B (zh) 用于纹理译码的先进残余预测(arp)的方法和设备
CN105052145A (zh) 剖析三维视频译码中的语法元素
CN105393538A (zh) 用于3d-hevc的简化高级运动预测
CN105230022A (zh) 使用基于相邻者的视差向量导出的用于3d视频译码的并行经导出视差向量
CN105075267A (zh) 在视频译码中停用用于参考图片列表的视图间预测
CN105794209B (zh) 用于译码深度块的方法和装置
CN104769949A (zh) 用于视差向量导出的图片的选择
CN105580372A (zh) 用于3d视频译码的组合式双向预测合并候选者
CN104365105A (zh) 视频译码中的外部图片
CN105874799A (zh) 用于3d视频译码的基于块的高级残差预测
CN104350749A (zh) 深度图估计的推导
JP6370891B2 (ja) 深さブロックの視差に基づく高度な深さインターコーディング
CN104685883A (zh) 用于3d视频的经视图间预测运动向量
CN105637870A (zh) 使用不对称运动分割的视频译码技术
CN104969551A (zh) 可缩放及多视角视频译码中的高级残差预测
CN104335586A (zh) 运动向量舍入
CN104170380A (zh) 视频译码中的视差矢量预测
CN105359530A (zh) 面向深度的视图间运动向量预测
CN106664422A (zh) 用于视频译码中的高级残余预测的滤波器
CN104365103A (zh) 视频译码中的视差向量选择
CN105556969A (zh) 视频译码中使用视差向量的块识别
CN104322070A (zh) 用于高效率视频译码的高级别语法扩展

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant