CN104956678A - 用于三维视频的高级合并/跳过模式及高级运动向量预测(amvp)模式 - Google Patents
用于三维视频的高级合并/跳过模式及高级运动向量预测(amvp)模式 Download PDFInfo
- Publication number
- CN104956678A CN104956678A CN201380063516.4A CN201380063516A CN104956678A CN 104956678 A CN104956678 A CN 104956678A CN 201380063516 A CN201380063516 A CN 201380063516A CN 104956678 A CN104956678 A CN 104956678A
- Authority
- CN
- China
- Prior art keywords
- ipmvc
- block
- view
- video
- current block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明描述以下技术:其中,基于经移位的视差向量来导出经视图间预测的运动向量候选者IPMVC及视图间视差运动向量候选者IDMVC,其中针对所述IPMVC及IDMVC将所述视差向量移位所达的量不同。所述技术还将所述IPMVC包含在候选者列表中的优先顺序排定为优于所述IDMVC,及在所述候选者列表中存在重复IPMVC或IDMVC的情况下,修剪所述IPMVC及所述IDMVC。
Description
本申请案主张以下各者的权益:
2012年12月7日申请的第61/734,929号美国临时申请案,及
2012年12月30日申请的第61/747,350号美国临时申请案,所述申请案中的每一者的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频译码。
背景技术
数字视频能力可并入到广泛范围的装置中,包含数字电视、数字直播***、无线广播***、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流装置及其类似者。数字视频装置实施视频压缩技术,例如,由MPEG-2、MPEG-4、ITU-TH.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、目前正在开发的高效率视频译码(HEVC)标准及此类标准的扩展中所描述的视频压缩技术。视频装置可以通过实施此类视频压缩技术来更有效率地发射、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码,可以将视频切片(即,视频帧或视频帧的一部分)分割成视频块,视频块也可被称作树块、译码单元(CU)及/或译码节点。图片的经帧内编码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧,且参考图片可被称作参考帧。
空间或时间预测导致译码块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式及残余数据而编码。为了进一步压缩,可以将残余数据从像素域变换到变换域,从而产生残余变换系数,接着可以对残余变换系数进行量化。可扫描最初布置为二维阵列的经量化的变换系数,以便产生变换系数的一维向量,且可应用熵译码以实现更多压缩。
发明内容
一般来说,本发明描述用于改进多视图及3D视频译码中的运动预测的译码效率的技术。举例来说,所述技术可利用经视图间预测的运动向量候选者及视图间视差运动向量候选者作为用于合并/跳过模式及高级运动向量预测(AMVP)模式的候选者列表中的候选者。所述技术可针对正进行帧间预测的当前块将视差向量移位达第一偏移以识别参考视图中用于导出视图间预测运动向量候选者的参考块,及将所述视差向量移位达第二不同偏移以将所述经移位的视差向量转换成所述视图间视差运动向量候选者。
在一些实例中,如果所述经视图间预测的运动向量候选者可用,那么所述技术可仅将所述经视图间预测的运动向量候选者包含在所述候选者列表中,且如果所述经视图间预测的运动向量候选者不可用,那么所述技术仅将所述视图间视差运动向量候选者包含在所述候选者列表中。在一些实例中,如果另一视图间预测运动向量候选者(例如,在不将所述视差向量移位的情况下导出的视图间预测运动向量候选者)的运动信息已经包含在所述候选者列表中,那么所述技术可能并不将所述视图间预测运动向量候选者包含在所述候选者列表中,即使所述视图间预测运动向量候选者可用也如此。
在一个实例中,本发明描述一种译码视频数据的方法,所述方法包含:确定当前块是在合并模式、跳过模式还是高级运动向量预测(AMVP)模式中进行帧间预测;在所述当前块是在AMVP模式中进行帧间预测的情况下,基于至少一个参考图片索引确定是导出视图间视差运动向量候选者(IDMVC)还是经视图间预测的运动向量候选者(IPMVC);及在所述当前块是在合并模式或跳过模式中进行帧间预测的情况下,确定所述IPMVC的可用性。在此实例中,所述IPMVC包括通过针对所述当前块经移位达第一偏移值的视差向量参考的参考视图中的参考块的运动信息,且所述IDMVC包括针对所述当前块经移位达第二不同偏移值的所述视差向量。所述方法还包含确定是将所述IPMVC还是所述IDMVC包含在候选者列表中,及基于所述候选者列表对不同于所述参考视图的当前视图中的当前图片中的所述当前块进行帧间预测译码。
在一个实例中,本发明描述一种用于译码视频数据的装置,所述装置包括视频译码器,所述视频译码器经配置以:确定当前块是在合并模式、跳过模式还是高级运动向量预测(AMVP)模式中进行帧间预测;在所述当前块是在AMVP模式中进行帧间预测的情况下,基于至少一个参考图片索引确定是导出视图间视差运动向量候选者(IDMVC)还是经视图间预测的运动向量候选者(IPMVC);及在所述当前块是在合并模式或跳过模式中进行帧间预测的情况下,确定所述IPMVC的可用性。在此实例中,所述IPMVC包括通过针对所述当前块经移位达第一偏移值的视差向量参考的参考视图中的参考块的运动信息,且所述IDMVC包括针对所述当前块经移位达第二不同偏移值的所述视差向量。所述视频译码器亦经配置以确定是将所述IPMVC还是所述IDMVC包含在候选者列表中,及基于所述候选者列表对不同于所述参考视图的当前视图中的当前图片中的所述当前块进行帧间预测译码。
在一个实例中,本发明描述一种计算机可读存储媒体,其具有存储在其上的指令,所述指令在经执行时致使用于译码视频数据的装置的一或多个处理器进行以下操作:确定当前块是在合并模式、跳过模式还是高级运动向量预测(AMVP)模式中进行帧间预测;在所述当前块是在AMVP模式中进行帧间预测的情况下,基于至少一个参考图片索引确定是导出视图间视差运动向量候选者(IDMVC)还是经视图间预测的运动向量候选者(IPMVC);及在所述当前块是在合并模式或跳过模式中进行帧间预测的情况下,确定所述IPMVC的可用性。在此实例中,所述IPMVC包括通过针对所述当前块经移位达第一偏移值的视差向量参考的参考视图中的参考块的运动信息,且所述IDMVC包括针对所述当前块经移位达第二不同偏移值的所述视差向量。所述指令亦致使所述一或多个处理器确定是将所述IPMVC还是所述IDMVC包含在候选者列表中,及基于所述候选者列表对不同于所述参考视图的当前视图中的当前图片中的所述当前块进行帧间预测译码。
在一个实例中,本发明描述一种用于译码视频数据的装置,其包括:用于确定当前块是在合并模式、跳过模式还是高级运动向量预测(AMVP)模式中进行帧间预测的装置;在所述当前块是在AMVP模式中进行帧间预测的情况下,用于基于至少一个参考图片索引确定是导出视图间视差运动向量候选者(IDMVC)还是经视图间预测的运动向量候选者(IPMVC)的装置;及在所述当前块是在合并模式或跳过模式中进行帧间预测的情况下,用于确定所述IPMVC的可用性的装置。在此实例中,所述IPMVC包括通过针对所述当前块经移位达第一偏移值的视差向量参考的参考视图中的参考块的运动信息,且所述IDMVC包括针对所述当前块经移位达第二不同偏移值的所述视差向量。所述装置还包含用于确定是将所述IPMVC还是所述IDMVC包含在候选者列表中的装置,及用于基于所述候选者列表对不同于所述参考视图的当前视图中的当前图片中的所述当前块进行帧间预测译码的装置。
在随附图式及以下描述中阐述一或多个实例的细节。其它特征、目标及优点将从所述描述及所述图式以及从权利要求书而显而易见。
附图说明
图1为说明可利用本发明的帧间预测技术的实例视频编码及解码***的框图。
图2为说明用于多视图视频的实例解码次序的概念图。
图3为说明用于多视图视频的实例预测结构的概念图。
图4展示可用于合并模式及AMVP模式两者中的一组实例候选块。
图5展示在候选图片中检查的用于确定当前块的视差向量的块的实例。
图6为说明经视图间预测的运动向量候选者的实例导出过程的概念图。
图7为说明可实施本发明的帧间预测技术的视频编码器的实例的框图。
图8为说明可实施本发明的帧间预测技术的视频解码器的实例的框图。
图9为展示根据本发明的技术的实例编码过程的流程图。
图10为展示根据本发明的技术的实例解码过程的流程图。
具体实施方式
本发明描述涉及多视图视频译码中的运动参数的发信的技术,包含在新近新兴的三维高效率视频译码标准(通常被称作3D HEVC)中。视频压缩技术可包含基于已经译码的视频数据块预测当前视频数据块。在本发明中,与已经译码的视频块或尚待译码的视频块形成对比,术语“当前块”一般是指当前正进行译码(例如,经编码或经解码)的视频数据块。在帧内预测模式中,基于与当前块相同的图片中的一或多个先前经译码块预测当前块,而在帧间预测模式中,基于不同图片中的已经译码块预测当前块。所述不同图片可为来自与当前块相同的视图的不同时间实例的图片(例如,不同于包含当前图片的存取单元的另一存取单元中的图片),或可为来自相同时间实例但来自不同视图的图片(例如,与包含当前图片的存取单元相同的存取单元中的图片)。
当视频解码器欲执行给定视频块的帧间预测时,在经编码视频位流中用信号发出运动参数。所述运动参数定义(例如)运动向量、参考图片索引及预测方向,以使得视频解码器可确定将使用哪个图片中的哪个块来作为当前块的预测性块。视频译码器可使用各种模式来在经编码位流中用信号发出运动参数。为了减少实施帧间预测性译码所需的位数,那些模式中的一些模式可利用运动参数的预测而不是明确地用信号发出运动参数。在高效率视频译码(HEVC)标准中,存在用于进行运动参数的预测的各种模式,所述模式中的一者被称作合并模式。在合并模式中,视频译码器使用来自相邻块(包含空间相邻块及时间相邻块,且在3D-HEVC的情况下,还包含视图间相邻块)的候选运动参数构造运动参数(例如,参考图片及运动向量)的候选者列表。所选择的运动参数是通过发射从候选者列表选择的候选者的索引而从视频编码器用信号发出到视频解码器。在视频解码器处,一旦解码了索引,便继承了所选定候选者的对应块的所有运动参数。视频编码器及视频解码器经配置以基于已经译码块构造相同列表。因此,基于索引,视频解码器可识别由视频编码器选择的候选者的运动参数。
另一种用于预测运动参数的模式是跳过模式。跳过模式一般按与上文针对合并模式描述的方式相同的方式操作,但在跳过模式中,不将残余数据加到经预测块,而在合并模式中,将残余数据加到经预测块。列表的构造及上文参考合并模式描述的用以识别列表中的候选者的索引的发射一般也是在跳过模式中执行。一些视频编码解码器可将跳过模式视为与合并模式分离的模式,而包含HEVC及其扩展的其它视频译码标准可将跳过模式视为合并模式的特殊情况。
另一种用于预测运动参数的模式是高级运动向量预测(AMVP)模式。在AMVP模式中,基于经译码参考索引导出针对每一运动假设的运动向量预测符的候选者列表。此列表包含与相同参考索引相关联的相邻块的运动向量以及基于时间参考图片中处于相同位置的块的相邻块的运动参数导出的时间运动向量预测符。所选择的运动向量是通过发射到候选者列表中的索引来用信号发出。另外,也用信号发出参考索引值及运动向量差。在本发明中,术语“运动向量预测符”一般用以指供预测一或多个运动向量的任何运动向量。在一些情况下,运动向量预测符及经预测运动向量可为相同的,但在其它情况下,运动向量预测符及经预测运动向量可为不同的。在AMVP模式中,例如,经预测运动向量对应于运动向量预测符加上运动向量差值。本发明还提及术语“方向运动预测符”,其一般是指与特定方向(即,特定参考图片列表)相关联的运动向量预测符。在双向预测的情况下,运动向量预测符可包含两个方向运动预测符。
视差向量一般用以识别对应于当前视图的当前块的视图间参考图片中的块的位置。为了导出当前块的视差向量(DV),在3D-HEVC测试模型(3D-HTM)的一些当前版本中使用被称为基于相邻块的视差向量(NBDV)导出的技术。NBDV利用来自当前块的空间及时间相邻块的视差运动向量。在NBDV中,按固定次序检查空间或时间相邻块的视差运动向量。一旦识别视差运动向量(即,指向视图间参考图片的运动向量),便终止检查过程且将所识别视差运动向量转换成当前块的DV。DV可用于视图间运动预测及/或视图间残余预测。如果在检查所有预定义相邻块之后未发现视差运动向量,那么零DV可用于视图间运动预测,而可停用针对对应预测单元(PU)的视图间残余预测。
在一些实例中,可从相邻块的视差向量导出当前块的视差向量。举例来说,相邻块(例如,空间或时间相邻块)可能并未用视差运动向量进行帧间预测。然而,在编码或解码相邻块期间,可能已导出所述相邻块的视差向量。可将相邻块的此所导出的视差向量用作当前块的视差向量。举例来说,如果经评估的相邻块中无一者是用视差运动向量进行帧间预测,但存在相邻块的所导出的视差向量,那么视频编码器及视频解码器可将相邻块的所导出的视差向量设置为当前块的视差向量。
基于DV,可将被称作经视图间预测的运动向量的新的运动向量候选者(如果可用的话)添加到用于AMVP及跳过/合并模式的候选者列表。经视图间预测的运动向量(如果可用的话)为时间运动向量。一般来说,本发明描述用于改进多视图及3D视频译码中的运动预测的译码效率的技术。
图1为说明可利用本发明的技术的实例视频编码及解码***10的框图。如图1中所展示,***10包含源装置12,所述源装置提供经编码视频数据以供目的地装置14在稍后时间解码。明确地说,源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者,包含桌上型计算机、笔记型(即,膝上型)计算机、平板计算机、机顶盒、电话手持机(例如,所谓的“智能”电话)、所谓的“智能”平板计算机、电视机、摄像机、显示装置、数字媒体播放器、视频游戏控制台、视频流装置或其类似者。在一些情况下,源装置12及目的地装置14可能经装备以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中,计算机可读媒体16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如,无线通信协议)来调制,且被发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体,例如射频(RF)频谱或一或多个物理传输线。通信媒体可能形成分组网络(例如,局域网。广域网或全球网络,例如因特网)的一部分。通信媒体可包含路由器、交换器、基站或可以用于促进从源装置12到目的地装置14的通信的任何其它装备。
在一些实例中,可将经编码数据从输出接口22输出到存储装置。类似地,可通过输入接口28从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者,例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪存存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中,存储装置可以对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据并且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如,用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。此情形可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、电缆调制解调器等)或两者的组合。经编码视频数据从存储装置的传输可能是流式传输、下载传输或其组合。
本发明的技术未必限于无线应用或设置。所述技术可以应用于支持多种多媒体应用中的任一者的视频译码,例如空中协议电视广播、有线电视发射、***发射、因特网流式视频传输(例如,动态自适应HTTP流式传输(DASH))、经编码到数据存储媒体上的数字视频,存储在数据存储媒体上的数字视频的解码,或其它应用。在一些实例中,***10可经配置以支持单向或双向视频发射,以支持例如视频流式传输、视频回放、视频广播及/或视频电话等应用。
在图1的实例中,源装置12包含视频源18、深度估计单元19、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30、基于深度图像的呈现(DIBR)单元31及显示装置32。在其它实例中,源装置及目的地装置可包含其它组件或布置。举例来说,源装置12可以从外部视频源18(例如,外部摄像机)接收视频数据。同样地,目的地装置14可以与外部显示装置介接,而不是包含集成显示装置。本发明中描述的技术中的许多技术可由视频编码器20及视频解码器30两者来执行。因此,为了便于解释,视频编码器20及视频解码器30有时可联合地被称作视频译码器20/30。相对于视频译码器20/30描述的技术可由视频编码器20或视频解码器30来执行。
图1的所说明***10仅为一个实例。本发明的技术可由任何数字视频编码及/或解码装置执行。尽管本发明的技术一般通过视频编码装置来执行,但是所述技术还可通过视频编码器/解码器(通常被称作“编码解码器”)来执行。此外,本发明的技术还可通过视频预处理器来执行。源装置12及目的地装置14仅为此类译码装置的实例,其中源装置12产生用于发射到目的地装置14的经译码视频数据。在一些实例中,装置12、14可以实质上对称的方式操作,使得装置12、14中的每一者包含视频编码及解码组件。因此,***10可支持视频装置12、14之间的单向或双向视频发射以(例如)用于视频流式传输、视频回放、视频广播或视频电话。
源装置12的视频源18可包含视频俘获装置,例如视频摄像机、含有先前所俘获视频的视频存档及/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案,视频源18可产生基于计算机图形的数据作为源视频,或实况视频、存档视频与计算机产生的视频的组合。在一些情况下,如果视频源18为视频摄像机,那么源装置12及目的地装置14可形成所谓的摄像机电话或视频电话。然而,如上文所提及,本发明中所描述的技术一般可适用于视频译码,且可应用于无线及/或有线应用。在每一种情况下,可由视频编码器20编码所俘获、经预先俘获或计算机产生的视频。经编码视频信息可接着通过输出接口22输出到计算机可读媒体16上。
视频源18可将视频数据的多个视图提供到视频编码器20。举例来说,视频源18可对应于摄像机阵列,所述摄像机各自具有相对于所拍摄的特定场景的独特水平位置。替代地,视频源18可例如使用计算机图形产生来自迥然不同的水平摄像机视角的视频数据。深度估计单元19可经配置以确定对应于纹理图像中的像素的深度像素的值。举例来说,深度估计单元19可表示声音导航与测距(SONAR)单元、光检测与测距(LIDAR)单元或能够在记录场景的视频数据时实质上同时直接确定深度值的其它单元。
另外或替代地,深度估计单元19可经配置以通过比较在实质上相同时间从不同水平摄像机视角俘获的两个或两个以上图像来间接计算深度值。通过计算图像中的实质上类似像素值之间的水平视差,深度估计单元19可粗略估计场景中的各种对象的深度。在一些实例中,深度估计单元19可在功能上与视频源18集成。举例来说,当视频源18产生计算机图形图像时,深度估计单元19可例如使用用以呈现纹理图像的像素及对象的z坐标提供用于图形对象的实际深度图。
计算机可读媒体16可包含瞬时媒体,例如无线广播或有线网络传输,或存储媒体(即,非暂时性存储媒体),例如硬盘、闪存驱动器、压缩光盘、数字影音光盘、蓝光光盘或其它计算机可读媒体。在一些实例中,网络服务器(未图示)可以从源装置12接收经编码视频数据,并且例如经由网络传输将经编码视频数据提供到目的地装置14。类似地,媒体生产设施(例如,光盘冲压设施)的计算装置可以从源装置12接收经编码视频数据并且生成含有经编码视频数据的光盘。因此,在各种实例中,计算机可读媒体16可以理解为包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的也供视频解码器30使用的语法信息,所述语法信息包含描述块及其它经译码单元(例如,图片群组(GOP))的特性及/或处理的语法元素。显示装置32将经解码视频数据显示给用户,且可包括多种显示装置中的任一者,例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。在一些实例中,显示装置32可包括能够同时或实质上同时显示两个或两个以上视图(例如)以向观察者产生3D视觉效果的装置。
目的地装置14的DIBR单元31可使用从视频解码器30接收的经解码视图的纹理及深度信息呈现合成视图。举例来说,DIBR单元31可依据对应深度图中的像素的值确定纹理图像的像素数据的水平视差。DIBR单元31接着可通过使纹理图像中的像素向左或向右偏移所确定的水平视差而产生合成图像。以此方式,显示装置32可以任何组合显示可对应于经解码视图及/或合成视图的一或多个视图。根据本发明的技术,视频解码器30可将深度范围及摄像机参数的原始及更新精度值提供到DIBR单元31,所述DIBR单元31可使用深度范围及摄像机参数来恰当地合成视图。
尽管图1中未展示,但在一些方面中,视频编码器20及视频解码器30可各自与音频编码器及解码器集成,且可包含适当多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件,以处置对共同数据流或单独数据流中的音频及视频两者的编码。如果适用的话,多路复用器-多路分用器单元可符合ITU H.223多路复用器协议,或例如用户数据报协议(UDP)等其它协议。
视频编码器20及视频解码器30可以根据例如高效率视频译码(HEVC)标准等视频译码标准操作,并且可以符合HEVC测试模型(HM)。即将到来的HEVC标准的新近草案描述于布洛斯(Bross)等人的文献HCTVC-J1003“高效率视频译码(HEVC)文本规范草案8(High Efficiency Video Coding(HEVC)Text Specification Draft 8)”(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC),第10次会议:瑞典斯德哥尔摩,2012年7月11日到2012年7月12日)中,所述文献从2013年12月4日起可从http://phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip下载。被称作“HEVC工作草案10”或“WD10”的HEVC标准的另一新近草案描述于布洛斯(Bross)等人的文献JCTVC-L1003v34“高效率视频译码(HEVC)文本规范草案10(High efficiency video coding(HEVC)text specification draft 10)(用于FDIS及最后呼叫)”(ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC),第12次会议:瑞士日内瓦,2013年1月14至23日)中,所述文献从2013年12月4日起可从http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip下载。HEVC标准的又一草案在本文中被称作“WD10修订本”,其描述于布洛斯(Bross)等人的“编者对HEVC版本1的提议修正(Editors'proposed corrections to HEVC version 1)”(ITU-T SG16 WP3及ISO/IECJTC1/SC29/WG11的视频译码联合合作小组(JCT-VC),第13次会议:韩国仁川,2013年4月)中,所述文献从2013年12月4日起可从http://phenix.int-evry.fr/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC-M0432-v3.zip得到。
出于说明的目的,本发明的技术主要关于HEVC的3DV扩展加以描述。然而,应理解,这些技术同样可应用于译码用以产生三维效果的视频数据的其它标准。
VCEG及MPEG的3D视频译码联合合作小组(JCT-3C)正在开发基于HEVC的3DV标准,其标准化努力的部分包含基于HEVC的多视图视频编码解码器(MV-HEVC)的标准化及用于基于HEVC的3D视频译码(3D-HEVC)的另一部分。对于MV-HEVC,一般希望仅存在相对于HEVC的高级语法(HLS)改变,以使得HEVC中的CU/PU层级中没有模块需要重新设计且可完全再用于MV-HEVC。对于3D-HEVC,可包含且支持用于纹理及深度视图两者的新译码工具,包含在单元/预测单元层级下译码中的那些工具。从2013年12月4日起,可从以下链接下载用于3D-HEVC的最新软件3D-HTM:https://hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/trunk/或https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-5.0/。
替代地,视频编码器20及视频解码器30可根据例如替代地被称作MPEG-4第10部分高级视频译码(AVC)的ITU-T H.264标准等其它专属或工业标准或此类标准的扩展(例如,ITU-T H.264/AVC的MVC扩展)操作。明确地说,本发明的技术涉及基于高级编码解码器的多视图及/或3D视频译码。一般来说,本发明的技术可应用于多种不同视频译码标准中的任一者。举例来说,这些技术可应用于ITU-T H.264/AVC(高级视频译码)的多视图视频译码(MVC)扩展,应用于即将到来的HEVC标准的3D视频(3DV)扩展(例如,3D-HEVC)或其它译码标准。
ITU-T H.264/MPEG-4(AVC)标准是作为被称为联合视频小组(JVT)的集体联盟的产品而由ITU-T视频译码专家组(VCEG)连同ISO/IEC动画专家组(MPEG)制定。在一些方面中,本发明中描述的技术可应用于一般符合H.264标准的装置。H.264标准描述于ITU-T研究组的日期为2005年3月的“ITU-T推荐H.264,用于通用视听服务的高级视频译码(ITU-T Recommendation H.264,Advanced Video Coding for generic audiovisualservices)”中,其在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。联合视频小组(JVT)持续致力于扩展H.264/MPEG-4AVC。
视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者,例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时,装置可将用于所述软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可以包含在一或多个编码器或解码器中,所述编码器或解码器中的任一者可以集成为相应装置中的组合编码器/解码器(编码解码器)的一部分。包含视频编码器20及/或视频解码器30的装置可包括集成电路、微处理器及/或无线通信装置,例如蜂窝式电话。
最初,将论述HEVC的实例译码技术。JCT-VC开发了HEVC标准。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM假设视频译码装置根据(例如)ITU-T H.264/AVC相对于现有装置的若干额外能力。举例来说,虽然H.264提供9种帧内预测编码模式,但HM可提供多达三十三种角度帧内预测编码模式加DC及平面模式。
一般来说,HM的工作模型描述视频帧或图片可以划分成包含明度及色度样本两者的一序列树块或最大译码单元(LCU)。位流内的语法数据可以定义LCU的大小,LCU是就像素数目来说的最大译码单元。切片包含按译码次序的数个连续树块。视频帧或图片可以分割成一或多个切片。每一树块可根据四叉树***成译码单元(CU)。一般来说,四叉树数据结构包含每一CU一个节点,其中根节点对应于所述树块。如果CU***成四个子CU,那么对应于CU的节点包含四个叶节点,所述叶节点中的每一者对应于所述子CU中的一者。
四叉树数据结构的每一节点可以提供对应CU的语法数据。举例来说,四叉树中的节点可包含***旗标,从而指示对应于所述节点的CU是否***成数个子CU。CU的语法元素可以递归地来定义,且可以取决于CU是否***成子CU。如果CU未经进一步***,那么将其称作叶CU。在本发明中,叶CU的四个子CU也将被称作叶CU,即使不存在原始叶CU的明确***时也如此。举例来说,如果16×16大小的CU未经进一步***,那么尽管16×16CU从未经***,四个8×8子CU也将被称作叶CU。
除了CU不具有大小区别以外,CU具有与H.264标准的宏块类似的目的。举例来说,树块可以***成四个子节点(还被称作子CU),并且每一子节点又可以是父节点并且可以***成另外四个子节点。最终的未经***子节点(被称作四叉树的叶节点)包括译码节点,还被称作叶CU。与经译码位流相关联的语法数据可以定义树块可以***的最大次数(被称作最大CU深度),并且还可定义译码节点的最小大小。因此,位流还可定义最小译码单元(SCU)。本发明使用术语“块”来指HEVC的上下文中的CU、PU或TU中的任一者,或者其它标准的上下文中的类似数据结构(例如,其在H.264/AVC中的宏块及子块)。
CU包含译码节点及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小且形状必须是正方形。CU的大小可以在从8×8像素直到具有最大64×64像素或更大的树块的大小的范围内。每一CU可以含有一或多个PU及一或多个TU。举例来说,与CU相关联的语法数据可描述CU到一或多个PU的分割。分割模式可以在CU被跳过或经合并模式编码、经帧内预测模式编码还是经帧间预测模式编码之间有区别。PU可分割成非正方形形状。举例来说,与CU相关联的语法数据还可描述CU根据四叉树到一或多个TU的分割。TU可以是正方形或非正方形(例如,矩形)形状。
HEVC标准允许根据TU进行的变换,TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割的LCU定义的给定CU内的PU的大小来设置,但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中,可以使用被称为“残余四叉树”(RQT)的四叉树结构将对应于CU的残余样本细分成较小单元。RQT的叶节点可被称作变换单元(TU)。可以变换与TU相关联的像素差值以产生变换系数,可以将所述变换系数量化。
叶CU可包含一或多个预测单元(PU)。一般来说,PU表示对应于对应CU的全部或一部分的空间区域,并且可包含用于检索PU的参考样本的数据。此外,PU包含与预测有关的数据。举例来说,当PU经帧内模式编码时,用于PU的数据可以包含在残余四叉树(RQT)中,残余四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例,当PU经帧间模式编码时,PU可包含定义PU的一或多个运动向量的数据。定义PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如,四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片及/或运动向量的参考图片列表(例如,列表0、列表1或列表C)。
具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。变换单元可以使用RQT(还被称作TU四叉树结构)来指定,如上文所论述。举例来说,***旗标可以指示叶CU是否***成四个变换单元。接着,每一变换单元可以进一步***成其它子TU。当TU未经进一步***时,其可被称作叶TU。一般来说,对于帧内译码,属于叶CU的所有叶TU共享相同的帧内预测模式。也就是说,一般应用相同帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码,视频编码器可以使用帧内预测模式将每一叶TU的残余值计算为CU的对应于TU的部分与原始块之间的差。TU未必限于PU的大小。因此,TU可大于或小于PU。对于帧内译码,PU可以与相同CU的对应叶TU并置。在一些实例中,叶TU的最大大小可以对应于对应叶CU的大小。
此外,叶CU的TU还可与相应四叉树数据结构(被称作残余四叉树(RQT))相关联。也就是说,叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点一般对应于叶CU,而CU四叉树的根节点一般对应于树块(或LCU)。未经***的RQT的TU被称作叶TU。一般来说,除非以其它方式提及,否则本发明分别使用术语CU及TU来指叶CU及叶TU。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列的视频图片中的一或多者。GOP可包含GOP的标头、图片中的一或多者的标头或其它处的语法数据,其描述GOP中所包含的图片的数目。图片的每一切片可包含切片语法数据,其描述用于相应切片的编码模式。视频编码器20通常对个别视频切片内的视频块进行操作以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小,且可根据指定译码标准而大小不同。
作为实例,HM支持各种PU大小的预测。假设特定CU的大小为2N×2N,那么HM支持2N×2N或N×N的PU大小的帧内预测,及2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于2N×nU、2N×nD、nL×2N及nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中,不分割CU的一个方向,而另一方向分割成25%及75%。CU的对应于25%分割区的部分通过“n”后接续“上”、“下”、“左”或“右”指示来指示。因此,例如,“2N×nU”是指经水平地分割的2N×2N CU,其中顶部为2N×0.5N PU,而底部为2N×1.5N PU。
在本发明中,“N×N”及“N乘N”可以互换使用以指在垂直尺寸及水平尺寸方面的视频块的像素尺寸,例如,16×16像素或16乘16像素。一般来说,16×16块将在垂直方向上具有16个像素(y=16),且在水平方向上具有16个像素(x=16)。同样地,N×N块一般在垂直方向上具有N个像素,并且在水平方向上具有N个像素,其中N表示非负整数值。块中的像素可布置成行及列。此外,块未必需要在水平方向与垂直方向上具有相同数目个像素。举例来说,块可包括N×M像素,其中M未必等于N。
在使用CU的PU进行帧内预测性或帧间预测性译码之后,视频编码器20可以计算CU的TU的残余数据。PU可包括描述在空间域(还被称作像素域)中产生预测性像素数据的方法或模式的语法数据,并且TU可包括在对残余视频数据应用变换(例如,离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)之后在变换域中的系数。残余数据可以对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可以形成包含用于CU的残余数据的TU,并且接着变换TU以产生用于CU的变换系数。
在进行用于产生变换系数的任何变换之后,视频编码器20可执行变换系数的量化。量化一般是指将变换系数量化以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些系数或全部相关联的位深度。举例来说,可在量化期间将n位值向下舍入到m位值,其中n大于m。
在量化之后,视频编码器可以扫描变换系数,从而从包含经量化的变换系数的二维矩阵产生一维向量。扫描可以经过设计以将较高能量(并且因此较低频率)的系数放置在阵列正面,并且将较低能量(并且因此较高频率)的系数放置在阵列的背面。在一些实例中,视频编码器20可利用预定义扫描次序来扫描经量化的变换系数以产生可经熵编码的串行化向量。在其它实例中,视频编码器20可以执行自适应扫描。在扫描经量化的变换系数以形成一维向量之后,视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法来熵编码所述一维向量。视频编码器20还可熵编码与经编码视频数据相关联的语法元素以供视频解码器30在解码视频数据时使用。
为了执行CABAC,视频编码器20可将上下文模型内的上下文指配给待发射的符号。上下文可涉及(例如)符号的相邻值是否为非零。为了执行CAVLC,视频编码器20可选择用于待发射的符号的可变长度码。VLC中的码字可经构造而使得相对较短的码对应于更有可能的符号,而较长的码对应于不太可能的符号。举例来说,与对待发射的每一符号使用等长度码字的情形相比较,以此方式,使用VLC可实现位节省。概率确定可基于指配给符号的上下文。
在此章节中,将论述多视图及多视图加深度译码技术。最初,将论述MVC技术。如上文所提及,MVC为ITU-T H.264/AVC的扩展。在MVC中,按时间优先次序译码多个视图的数据,且因此,解码次序布置被称作时间优先译码。明确地说,可译码在共同时间实例的多个视图中的每一者的视图分量(即,图片),接着可译码用于不同时间实例的另一组视图分量,等等。存取单元可包含用于一个输出时间实例的所有视图的经译码图片。应理解,存取单元的解码次序未必等同于输出(或显示)次序。
图2展示典型MVC解码次序(即,位流次序)。解码次序布置被称作时间优先译码。应注意,存取单元的解码次序可能并不等同于输出或显示次序。在图2中,S0到S7各自是指多视图视频的不同视图。T0到T8各自表示一个输出时间实例。存取单元可包含针对一个输出时间实例的所有视图的经译码图片。举例来说,第一存取单元可包含针对时间实例T0的所有视图S0到S7,第二存取单元可包含针对时间实例T1的所有视图S0到S7,等等。
出于简洁目的,本发明可使用以下定义:
视图分量:单个存取单元中的视图的经译码表示。当视图包含经译码纹理及深度表示两者时,视图分量由纹理视图分量及深度视图分量组成。
纹理视图分量:单个存取单元中的视图的纹理的经译码表示。
深度视图分量:单个存取单元中的视图的深度的经译码表示。
在图2中,所述视图中的每一者包含数组图片。举例来说,视图S0包含图片组0、8、16、24、32、40、48、56及64,视图S1包含图片组1、9、17、25、33、41、49、57及65,等等。每一组包含两个图片:一个图片被称作纹理视图分量,且另一图片被称作深度视图分量。视图的一组图片内的纹理视图分量及深度视图分量可被视为对应于彼此。举例来说,视图的一组图片内的纹理视图分量被视为对应于视图的图片的所述组内的深度视图分量,且反过来也一样(即,深度视图分量对应于其在所述组中的纹理视图分量,且反过来也一样)。如本发明中所使用,对应于深度视图分量的纹理视图分量可被视为纹理视图分量及深度视图分量为单个存取单元的同一视图的部分。
纹理视图分量包含所显示的实际图像内容。举例来说,所述纹理视图分量可包含明度(Y)及色度(Cb及Cr)分量。深度视图分量可指示其对应纹理视图分量中的像素的相对深度。作为一个实例,深度视图分量为仅包含明度值的灰阶图像。换句话说,深度视图分量可能并不传达任何图像内容,而是提供纹理视图分量中的像素的相对深度的量度。
举例来说,深度视图分量中的纯白色像素指示其在对应纹理视图分量中的对应的一或多个像素较接近于观看者的视角,且深度视图分量中的纯黑色像素指示其在对应纹理视图分量中的对应一或多个像素距观看者的视角较远。黑色与白色之间的各种灰度梯度指示不同深度等级。举例来说,深度视图分量中的深灰色像素指示其在纹理视图分量中的对应像素比深度视图分量中的浅灰色像素更远。因为仅需要灰阶来识别像素的深度,所以深度视图分量不需要包含色度分量,这是因为深度视图分量的颜色值可能并不用于任何目的。
仅使用明度值(例如,强度值)来识别深度的深度视图分量是出于说明的目的而提供,且不应被视为限制性的。在其它实例中,可利用任何技术来指示纹理视图分量中的像素的相对深度。
图3展示用于多视图视频译码的典型MVC预测结构(包含每一视图内的图片间预测及视图间预测两者)。图3中的预测方向是通过箭头来指示,其中箭头指向的对象使用箭头出发的对象作为预测参考。在MVC中,通过视差运动补偿支持视图间预测,所述视差运动补偿使用H.264/AVC运动补偿的语法但允许将不同视图中的图片用作参考图片。
在图3的实例中,说明六个视图(具有视图ID“S0”到“S5”),且对于每一视图说明十二个时间位置(“T0”到“T11”)。也就是说,图3中的每一行对应于视图,而每一列指示时间位置。
尽管MVC具有可由H.264/AVC解码器解码的所谓的基础视图,且MVC还可支持立体视图对,但MVC的优点在于其可支持使用两个以上视图作为3D视频输入且解码通过多个视图表示的此3D视频的实例。具有MVC解码器的客户端的呈现器(renderer)可预期具有多个视图的3D视频内容。
在每一行及每一列的交叉点处指示图3中的图片。H.264/AVC标准可使用术语帧来表示视频的一部分。本发明可互换地使用术语图片与帧。
使用包含字母的块来说明图3中的图片,字母指明对应图片是经帧内译码(即,I图片),还是在一个方向上经帧间译码(即,作为P图片),还是在多个方向上经帧间译码(即,作为B图片)。一般来说,预测通过箭头来指示,其中箭头指向的图片使用箭头出发的图片用于预测参考。举例来说,时间位置T0处的视图S2的P图片是从时间位置T0处的视图S0的I图片预测的。
如同单个视图视频编码,可相对于不同时间位置处的图片预测性地编码多视图视频译码视频序列的图片。举例来说,时间位置T1处的视图S0的b图片具有从时间位置T0处的视图S0的I图片指向其的箭头,从而指示所述b图片是从所述I图片预测的。然而,另外,在多视图视频编码的上下文中,可对图片进行视图间预测。也就是说,视图分量可使用其它视图中的视图分量用于参考。举例来说,在MVC中,如同另一视图中的视图分量为帧间预测参考那样实现视图间预测。在序列参数集(SPS)MVC扩展中用信号发出可能的视图间参考且可通过参考图片列表构造过程修改所述参考,此情形使得能够灵活地将帧间预测或视图间预测参考排序。视图间预测也为包含3D-HEVC(多视图加深度)的HEVC的所提议多视图扩展的特征。
图3提供视图间预测的各种实例。在图3的实例中,将视图S1的图片说明为是从视图S1的不同时间位置处的图片预测,且是从相同时间位置处的视图S0及S2的图片经视图间预测而来。举例来说,时间位置T1处的视图S1的b图片是从时间位置T0及T2处的视图S1的B图片中的每一者以及时间位置T1处的视图S0及S2的b图片预测。
在一些实例中,图3可被视为说明纹理视图分量。举例来说,图2中所说明的I、P、B及b图片可被视为视图中的每一者的纹理视图分量。根据本发明中所描述的技术,对于图3中所说明的纹理视图分量中的每一者,存在对应深度视图分量。在一些实例中,可以类似于图3中针对对应纹理视图分量所说明的方式的方式预测深度视图分量。
两个视图的译码也可由MVC支持。MVC的优点中的一个优点是:MVC编码器可将两个以上视图视为3D视频输入且MVC解码器可解码此类多视图表示。因此,具有MVC解码器的任何呈现器可预期具有两个以上视图的3D视频内容。
在MVC中,允许在相同存取单元(即,具有相同时间实例)中的图片当中进行视图间预测。在译码非基础视图中的一者中的图片时,如果图片在不同视图中,但在相同时间实例内,那么可将图片添加到参考图片列表中。可将视图间参考图片放置在参考图片列表的任何位置中,正如任何帧间预测参考图片一样。如图3中所展示,视图分量可出于参考目的使用其它视图中的视图分量。在MVC中,实现视图间预测,如同另一视图中的视图分量为帧间预测参考一样。
下文描述与可供多视图译码及/或具有深度的多视图译码(MV-HEVC)(3D-HEVC)使用的帧间预测有关的一些相关HEVC技术。用于论述的第一技术为用于帧间预测的参考图片列表构造。
使用帧间预测译码PU涉及计算当前块(例如,PU)与参考帧中的块之间的运动向量。通过被称为运动估计(或运动搜索)的过程计算运动向量。举例来说,运动向量可指示当前帧中的预测单元相对于参考帧的参考样本的位移。参考样本可为发现密切地匹配CU的包含PU的部分的块(其依据像素差进行译码),像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异量度来确定。参考样本可出现在参考帧或参考切片内的任何地方。在一些实例中,参考样本可出现在分数像素位置处。在发现最佳地匹配当前部分的参考帧的一部分后,编码器便将当前块的当前运动向量确定为从当前块到参考帧中的匹配部分(例如,从当前块的中心到匹配部分的中心)的位置的差。
在一些实例中,编码器可在经编码视频位流中用信号发出每一块的运动向量。用信号发出的运动向量供解码器用以执行运动补偿以便解码视频数据。然而,直接用信号发出原始运动向量可导致效率不高的译码,这是因为通常需要大量位来传达信息。
在一些情况下,不是直接用信号发出原始运动向量,而是,编码器可预测每一分割区(即,每一PU)的运动向量。在执行此运动向量预测中,编码器可选择从与当前块相同的帧中的空间上相邻块确定的一组运动向量候选者或从参考帧(即,除当前帧以外的帧)中处于相同位置的块确定的时间运动向量候选者。视频编码器20可执行运动向量预测,且在需要时用信号发出到参考图片的索引以预测运动向量而不是用信号发出原始运动向量,从而减少发信中的位速率。来自空间上相邻块的运动向量候选者可被称作空间MVP候选者,而来自另一参考帧中的处于相同位置的块的运动向量候选者可被称作时间MVP候选者。
在HEVC标准中提议两种不同模式或类型的运动向量预测。一种模式被称作“合并”模式。另一种模式被称作自适应运动向量预测(AMVP)。
在合并模式中,视频编码器20通过预测语法的位流发信指导视频解码器30复制来自帧的当前块的所选定运动向量候选者的运动向量、参考索引(识别给定参考图片列表中的运动向量所指向的参考帧)及运动预测方向(其识别参考图片列表(列表0或列表1),即,依据参考帧在时间上是在当前帧之前还是之后)。此操作是通过在位流中用信号发出识别所选定运动向量候选者(即,特定空间MVP候选者或时间MVP候选者)的到运动向量候选者列表中的索引来实现。
因此,对于合并模式,预测语法可包含识别模式(在此情况下为“合并”模式)的旗标及识别所选定运动向量候选者的索引。在一些情况下,运动向量候选者将在参考当前块的因果性块中。也就是说,运动向量候选者将已经由视频解码器30解码。因此,视频解码器30已经接收及/或确定因果性块的运动向量、参考索引及运动预测方向。因此,视频解码器30可简单地从存储器检索与因果性块相关联的运动向量、参考索引及运动预测方向且复制这些值作为当前块的运动信息。为了在合并模式中重新构造块,视频解码器30使用当前块的所导出的运动信息获得预测性块,且将残余数据加到预测性块以重新构造经译码块。对于跳过模式,产生相同合并候选者列表但不用信号发出残余。为简单起见,因为跳过模式具有与合并模式相同的运动向量导出过程,所以此文献中所描述的所有技术适用于合并模式及跳过模式两者。
在AMVP中,视频编码器20通过位流发信指导视频解码器30仅复制来自候选块的运动向量,且使用复制的向量作为当前块的运动向量的预测符,且用信号发出运动向量差(MVD)。参考帧及与当前块的运动向量相关联的预测方向单独地用信号发出。MVD为当前块的当前运动向量与从候选块导出的运动向量预测符之间的差。在此情况下,视频编码器20使用运动估计确定待译码的块的实际运动向量,且接着确定实际运动向量与运动向量预测符之间的差作为MVD值。以此方式,视频解码器30并不如合并模式中那样使用运动向量候选者的确切副本作为当前运动向量,而是可使用值可“接近”从运动估计确定的当前运动向量的运动向量候选者且加上MVD以再生当前运动向量。为了在AMVP模式中重新构造块,解码器加上对应残余数据以重新构造经译码块。
在大多数情况下,MVD需要比整个当前运动向量少的位来发信。因此,AMVP允许当前运动向量的更精确发信,同时维持优于发送整个运动向量的译码效率。与此对比,合并模式并不允许MVD的规范,并且因此,合并模式牺牲运动向量发信的准确度以得到增加的发信效率(即,较少位)。用于AMVP的预测语法可包含用于所述模式的旗标(在此情况下为AMVP旗标)、用于候选块的索引、当前运动向量与来自候选块的预测性运动向量之间的MVD、参考索引以及运动预测方向。
图4展示可用于合并模式及AMVP模式两者中的一组实例候选块120。在此实例中,候选块是在左下(A0)121、左(A1)122、左上(B2)125、上方(B1)124及右上(B0)123空间位置中,及在时间(T)126位置中。在此实例中,左候选块122邻近当前块127的左边缘。左块122的下边缘与当前块127的下边缘对准。上方块124邻近当前块127的上边缘。上方块124的右边缘与当前块127的右边缘对准。
块A0、A1、B0、B1及B2通常被称作空间上相邻块或空间上相邻PU。视频译码器20/30可通过首先确定当前PU(例如,图4中的当前块127)的左上方明度样本相对于当前图片的左上方样本的位置来确定空间上相邻块的位置。此明度位置将被称作位置(xP,yP)。视频译码器20/30可另外确定明度PU的宽度(简称为nPSW)及明度PU的高度(简称为nPSH)。基于当前PU的左上方明度样本的位置以及当前PU的高度及宽度,可如下确定空间上相邻块的明度样本的位置:
块A0包含位置(xP-1,yP+nPSH)处的明度样本;
块A1包含位置(xP-1,yP+nPSH-1)处的明度样本;
块B0包含位置(xP+nPSW,yP-1)处的明度样本;
块B1包含位置(xP+nPSW-1,yP-1)处的明度样本;
块B2包含位置(xP-1,yP-1)处的明度样本。
空间相邻块可与当前PU大小相同或可大小不同。
供用于合并模式的候选者列表可使用上文所论述的空间相邻块来导出。运动向量及两个参考列表的参考索引可如通过以下有序步骤指定那样来导出,所述步骤是用于空间合并候选者的导出过程的实例。作为导出过程的部分,视频编码器20及视频解码器30按以下次序检查空间相邻PU的运动信息:A1、B1、B0、A0或B2。视频编码器20及视频解码器30可执行受约束的修剪以便减少或消除重复候选者以免添加到候选者列表。视频译码器20/30可如下导出待包含在合并模式候选者列表中的空间候选者:
-视频译码器20/30在A1可用的情况下将A1***到候选者列表中。
-如果B1及A1具有相同的运动向量及相同的参考索引,那么视频译码器20/30并不将B1***到候选者列表中。如果B1及A1并不具有相同的运动向量及相同的参考索引,那么视频译码器20/30在B1可用的情况下将B1***到候选者列表中。
-如果B0及B1具有相同的运动向量及相同的参考索引,那么视频译码器20/30并不将B0***到候选者列表中。如果B0及B1并不具有相同的运动向量及相同的参考索引,那么视频译码器20/30在B0可用的情况下将B0***到候选者列表中。
-如果A0及A1具有相同的运动向量及相同的参考索引,那么视频译码器20/30并不将A0***到候选者列表中。如果A0及A1并不具有相同的运动向量及相同的参考索引,那么视频译码器20/30在A0可用的情况下将A0***到候选者列表中。
-当不满足以下两个条件时,视频译码器20/30将B2***到候选者列表中:
-B2及B1或B2及A1具有相同的运动向量及相同的参考索引。
-从A1、B1、B0、A0导出的所有四个空间合并候选者包含在候选者列表中。
视频译码器20/30可如下导出待包含在合并模式候选者列表中的时间候选者:
-为了得到时间合并候选者,视频译码器20/30首先识别处于相同位置的图片。如果当前图片是B切片,那么在切片标头中用信号发出语法元素“collocated_from_l0_flag”以指示处于相同位置的图片是来自RefPicList0还是RefPicList1。
-在视频译码器20/30识别参考图片列表之后,视频译码器20/30使用在切片标头中用信号发出的语法元素collocated_ref_idx来识别列表中的图片。
-视频译码器20/30接着通过检查处于相同位置的图片而识别处于相同位置的PU。视频译码器20/30使用含有此PU的CU的右下方PU的运动或含有此PU的CU的中心PU内的右下方PU的运动作为时间候选者。
-当通过上述过程识别的运动向量用以产生用于合并模式的运动候选者时,视频译码器20/30可能需要基于时间位置按比例缩放运动向量(通过图片次序计数(即,POC)来反映)。
-在HEVC中,PPS包含旗标enable_temporal_mvp_flag。当具有等于0的temporal_id的特定图片参考具有等于0的enable_temporal_mvp_flag的PPS时,视频译码器20/30可将DPB中的所有参考图片标记为“不用于时间运动向量预测”,且来自按解码次序在所述特定图片之前的图片的运动向量将不会在解码所述特定图片或按解码次序在所述特定图片之后的图片中用作时间运动向量预测符。
如果当前切片是B切片且从上文所论述的空间及时间候选者导出过程导出的候选者的总数目小于候选者的最大数目且大于1,那么视频译码器20/30可调用用于产生双向预测性候选者的过程。视频译码器20/30可如下导出待包含在合并模式候选者列表中的双向预测性候选者:
-基于以下表1,为了产生具有索引combIdx的组合双向预测性候选者,具有等于l0CandIdx(如果可用的话)的条目的候选者列表的RefList0运动信息(MotList0)及具有等于l1CandIdx(如果可用的话)的条目且不等同于MotList0的候选者列表的RefList1运动信息(MotList1)可供视频译码器20/30作为组合双向预测性候选者的RefList0及RefList1运动信息再使用。
表1-HEVC中的l0CandIdx及l1CandIdx的规范
combIdx | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 |
l0CandIdx | 0 | 1 | 0 | 2 | 1 | 2 | 0 | 3 | 1 | 3 | 2 | 3 |
l1CandIdx | 1 | 0 | 2 | 0 | 2 | 1 | 3 | 0 | 3 | 1 | 3 | 2 |
在从上文针对确定空间、时间及双向预测性候选者所描述的上述三个过程导出的候选者的总数目产生小于候选者的最大数目的情况下,视频译码器20/30可导出待包含在合并模式候选者列表中的零运动向量候选者。在此情况下,视频译码器20/30可将每一参考图片的零运动向量***到候选者列表中。在HEVC WD 10中,合并(MRG)列表中的候选者的总数目为至多5个且在切片标头中用信号发出five_minus_max_num_merge_cand以指定从5减去MRG候选者的最大数目。
为了进一步改进用于译码3D视频的译码效率,已将两种新技术引入到3D-HEVC中,即,“视图间运动预测”及“视图间残余预测”。为了实现这两种译码工具,视频译码器20/30经配置以导出当前块的视差向量。
视频译码器20/30可经配置以使用被称作基于相邻块的视差向量(NBDV)的技术导出视差向量,所述技术利用来自空间及时间相邻块的视差运动向量或来自相邻块的所导出的视差向量来确定当前块的视差向量。在NBDV中,视频译码器20/30按固定检查次序检查空间或时间相邻块的运动向量,且一旦识别视差运动向量(即,运动向量指向视图间参考图片),视频译码器20/30便终止所述检查过程。视频译码器20/30传回所识别的视差运动向量且将所识别的视差运动向量转换成当前块的视差向量,当前块的视差向量可用于视图间运动预测及视图间残余预测。如果在检查所有预定义的相邻块之后未发现视差运动向量,那么视频译码器20/30可使用零视差向量用于视图间运动预测,同时可针对对应预测单元(PU)停用视图间残余预测。
用于NBDV的供视频译码器20/30使用的块包含空间相邻块及时间相邻块。作为导出视差向量的部分,视频译码器20/30分析至多五个空间相邻块。所述五个空间相邻块包含当前PU的左下方块、左块、右上方块、上方块及左上方块,通过A0、A1、B0、B1或B2来指示。在这点上,作为NBDV的部分加以分析的空间相邻块可对应于上文关于图4中的合并模式所论述的相同空间相邻块,但用于NBDV的空间相邻块及用于AMVP及合并模式的候选者列表构造未必必须相同。
视频译码器20/30还确定时间相邻块。视频译码器20/30可将来自当前视图的所有参考图片视为候选图片,或在一些实施方案中,可进一步约束候选图片的数目,例如,约束到四个候选图片。视频译码器20/30首先检查处于相同位置的参考图片且(例如)按参考索引(refIdx)的升序检查其余候选图片。当RefPicList0[refIdx]及RefPicList1[refIdx]两者可用时,RefPicListX[refIdx]在另一图片之前,其中X等于collocated_from_l0_flag。
对于每一候选图片,视频译码器20/30确定用于导出时间相邻块的三个候选区。当区涵盖一个以上16×16块时,视频译码器20/30可按(例如)光栅扫描次序检查此区中的所有16×16块。如下定义三个候选区:(1)CPU-当前PU或当前CU的处于相同位置的区,(2)CLCU-涵盖当前PU的处于相同位置的区的最大译码单元(LCU),及(3)BR-CPU的右下方4×4块。
应理解,上文针对检查参考图片的时间相邻块所描述的技术为一个实例。可能存在进行检查的参考图片的其它实例。
图5展示在候选图片中检查的用于确定当前块的视差向量的块的实例。举例来说,视频译码器20/30可考虑来自当前视图的至多两个候选图片。来自当前视图的第一候选图片可为作为构造候选者列表(例如,时间候选者)的部分而识别的处于相同位置的图片。第二候选图片可为随机存取图片,或具有最小POC差及最小temporalId的参考图片。在一些实例中,视频译码器20/30可首先检查随机存取图片,且在未发现视差运动向量的情况下,检查处于相同位置的图片。
对于这些候选图片中的每一者,视频译码器20/30可检查两个块。第一块可为中心块(CR),其可为当前PU的处于相同位置的区的中心4×4块,如通过图5中的位置A说明。第二块可为右下方块(BR),其可为当前PU的处于相同位置的区的右下方4×4块,如通过图5中的位置B说明。
视频译码器20/30可经配置以按特定次序(即,检查次序)检查块。视频译码器20/30可首先检查空间相邻块,后接续检查时间相邻块。五个空间相邻块的检查次序可(例如)经定义为A1、B1、B0、A0及B2,或任何其它此类次序。对于每一候选图片,视频译码器20/30可按检查次序检查候选图片中的三个候选区。三个区的检查次序可(例如)经定义为用于第一非基础视图的CPU、CLCU及BR、用于第二非基础视图的BR、CPU及CLU,或任何其它此类次序。在另一实例中,对于每一候选图片(例如,其中存在至多两个候选图片),按次序检查所述两个块:用于第一非基础视图的CR及BR,或用于第二非基础视图的BR、CR。
如上文所描述,视频译码器20/30可通过检查相邻块的视差运动向量确定当前块的视差向量,且在发现相邻块的视差运动向量的情况下,转换所述视差运动向量作为当前块的视差向量。另外,在一些实例中,可使用相邻块的所导出的视差向量来确定当前块的视差向量。举例来说,可能并未利用视差运动向量对相邻块进行帧间预测,但可在预测相邻块期间导出相邻块的视差向量。此所导出的视差向量可被称作隐式视差向量(IDV)且例如,当进行检查的相邻块中无一者是利用视差运动向量进行帧间预测时,可使用所导出的视差向量来确定当前块的视差向量。
举例来说,当PU使用视图间运动向量预测时,产生隐式视差向量(IDV),即,借助于视差向量从另一视图中的对应块导出用于AMVP或合并模式的候选者。此类视差向量被称为IDV。出于视差向量导出的目的,将IDV存储到PU。
如更详细地描述,视频译码器20/30可经配置以执行视图间候选者导出。基于视差向量(DV),视频译码器20/30可确定新的运动向量候选者(被称作视图间候选者),且将新的运动向量候选者添加到候选者列表以供在AMVP及跳过/合并模式中使用。
举例来说,视图间候选者导出的一个实例是经视图间预测的运动向量候选者(IPMVC),及视图间视差运动向量候选者(IDMVC)的另一实例。IPMVC包含通过当前块的视差向量参考的参考视图中的参考块的运动信息(例如,运动向量及用于参考图片列表的一或多个参考索引),其中当前块的视差向量是基于上述实例技术来确定。IDMVC为经转换为视差运动向量的视差向量。
在一些实例中,视频译码器20/30可将视差向量移位(例如,通过加上偏移值或从视差向量减去偏移值)。视频译码器20/30可基于经移位的视差向量使用与在不将视差向量移位的情况下的技术类似的技术导出额外IPMVC及IDMVC。举例来说,视频译码器20/30可在一个方向上水平地将视差向量移位(例如,通过加上固定偏移值或从视差向量的x分量减去固定偏移值)。
视频译码器20/30可识别通过经移位达偏移值的视差向量识别的参考视图中的参考块。通过经移位达偏移值的视差向量识别的参考块的运动信息可为额外IPMVC的一个实例(即,外加在不将视差向量移位的情况下导出的IPMVC)。作为另一实例,视频译码器20/30可将视差向量移位,且可转换经移位的视差向量作为额外IDMVC(即,外加在不将视差向量移位的情况下导出的IDMVC)。
在一些实例中,视频译码器20/30可将视差向量移位所达的以用于导出IPMVC的量可不同于视频译码器20/30可将视差向量移位所达的以用于导出IDMVC的量。换句话说,视频译码器20/30可针对当前块将视差向量移位达第一偏移值以用于导出额外IPMVC,且针对当前块将视差向量移位达第二不同的偏移值以用于导出额外IDMVC。
第一偏移值或第二偏移值可被视为包含经水平移位的值及经垂直移位的值的向量。举例来说,为了将视差向量移位达第一偏移值以用于导出IPMVC,视频译码器20/30可针对当前块对视差向量加上或减去包含经水平移位的值及经垂直移位的值的第一向量。类似地,为了将视差向量移位达第二偏移值以用于导出IDMVC,视频译码器20/30可针对当前块对视差向量加上或减去包含经水平移位的值及经垂直移位的值的第二向量。在本发明中所描述的技术中,用以将视差向量移位达第一偏移值的第一向量及用以将视差向量移位达第二偏移值的第二向量可为不同向量。在一些实例中,用于第一或第二偏移值的经垂直移位的值可等于0以实现视差向量的仅水平移位以用于导出IPMVC及IDMVC。
图6展示经视图间预测的运动向量候选者(IPMVC)的导出过程的实例。通过视差向量(例如,使用上文所描述的技术确定的),视频译码器20/30可将不同视图(例如,视图0或V0,其还为参考视图)中的对应块142定位到当前经译码视图(视图1或V1)中的当前PU 140。如果对应块142(其还被称作参考块)并非经帧内译码且并非进行视图间预测,且其参考图片具有在当前PU 140的参考图片列表中的POC值(例如,参考0,列表0;参考0,列表1;参考1,列表1,如图6中所展示),那么将对应块142的运动信息(例如,运动向量及参考图片索引中的至少一者)用作经视图间预测的运动向量。
可能存在关于对应块142(例如,参考块)的运动信息是否可被视为IPMVC的某些要求。换句话说,可能存在确定IPMVC是否可用的某些要求。一个要求可为:对应块142的运动向量为时间运动向量。时间运动向量为参考相同视图中的图片的运动向量。举例来说,在图6中,对应块142(例如,参考块142)在视图0中,且为了使对应块142具有时间运动向量,将需要对应块142的运动向量参考与对应块142相同的视图(例如,视图0)中的图片。如图6中所说明,对应块142的运动向量为时间运动向量,这是由于其参考与对应块142相同的参考视图(例如,视图0)中的图片。
另一要求可为:参考块(例如,对应块142)的时间运动向量参考参考视图中具有等于当前块(例如,当前PU 140)的参考图片列表(例如,RefPicList0或RefPicList1)中的图片的图片次序计数(POC)值的POC值的图片。作为辅助理解的一个说明性实例,对应块142的参考图片列表可识别用以对对应块142进行帧间预测的两个图片位于RefPicList0中的第一参考索引及RefPicList1中的第二参考索引处。用以对对应块142进行帧间预测的两个图片的POC值可为POC X及POC Y。对于将被视为可用的IPMVC,至少一个参考图片列表(即,RefPicList0或RefPicList1)应包含具有等于POCX及POC Y的POC值的图片。换句话说,对于将被视为可用的IPMVC,参考块(例如,对应块142)的时间运动向量需要参考参考视图(例如,视图0)中具有等于当前块(例如,当前PU 140)的参考图片列表中的图片的POC值的POC值的图片。
对于当前PU 140,具有POC值X及Y的图片可能并不位于RefPicList0中的第一参考索引及RefPicList1中的第二参考索引处,而实际上可分别位于RefPicList0中的第三参考索引及RefPicList1中的第四参考索引处。在此实例中,当添加对应块142的运动信息作为经视图间预测的运动向量候选者时,视频译码器20/30可添加RefPicList0中的第三参考索引及RefPicList1中的第四参考索引作为参考索引。
另外,视频译码器20/30可将视差向量转换为视图间视差运动向量,当所述视图间视差运动向量可用时,可在不同于IPMVC的位置中将所述视图间视差运动向量添加到合并候选者列表,或在与IPMVC相同的位置中将所述视图间视差运动向量添加到AMVP候选者列表中。在此上下文中,IPMVC及视图间视差运动向量候选者(IDMVC)两者可被称作‘视图间候选者’。
在AMVP模式中,如果参考图片索引参考时间参考图片(例如,目标参考索引对应于时间运动向量),那么视频译码器20/30可导出IPMVC且可能并不导出IDMVC。举例来说,视频译码器20/30可通过检查通过视差向量定位的当前PU(即,块140)的对应块(即,块142)中的运动向量来查找IPMVC。如果IPMVC不可用(即,无运动向量),那么视频译码器20/30可将零运动向量候选者添加到候选者列表。在AMVP模式中,如果参考图片索引参考视图间参考图片(例如,目标参考索引对应于视差运动向量),那么视频译码器20/30可能并不导出IPMVC,而实际上可将视差向量转换为视图间视差运动向量且将经转换的视差向量添加到候选者列表(即,将视图间视差运动向量添加到候选者列表作为IDMVC)。
换句话说,如果在AMVP模式中对当前块进行帧间预测,那么视频译码器20/30可基于至少一个参考图片索引是参考时间参考图片还是视图间参考图片,确定是导出IPMVC还是IDMVC。举例来说,在AMVP模式中,视频编码器20用信号发出供视频解码器30用以识别待用于进行帧间预测的参考图片的参考图片索引。以此方式,视频译码器20/30可确定参考图片索引是参考时间参考图片还是视图间参考图片。时间参考图片为相同视图中的参考图片,且视图间参考图片为另一不同视图中的参考图片。在某一实例中,如果视频译码器20/30确定参考图片索引参考时间参考图片,那么视频译码器20/30可导出IPMVC,且如果视频译码器20/30确定参考图片索引参考视图间参考图片,那么视频译码器20/30可导出IDMVC。
在合并/跳过模式中,视频译码器20/30可能总是在合并候选者列表的所有空间及时间合并候选者之前***IPMVC(如果可用的话)。视频译码器20/30可(例如)在从A0导出的空间合并候选者之前***IPMVC,如上文在图4中所展示。在3D-HTM软件的某一实施方案中,总是在AMVP候选者列表中的所有空间及时间候选者之前***经视图间预测的运动向量或视图间视差运动向量。
如上文所介绍,在3D-HEVC中,视频译码器20/30可构造合并候选者列表。视频译码器20/30首先使用(例如)上文所描述的NBDV技术导出视差向量。如果未发现此类视差向量,那么视频译码器20/30可利用零视差向量。通过视差向量,视频译码器20/30如下构造合并候选者列表。视频译码器20/30如上文所描述那样导出IPMVC,且如果IPMVC可用的话,将IPMVC***到合并列表中。
视频译码器20/30可经配置以实施用于空间合并候选者的导出过程及IDMVC***。视频译码器20/30可(例如)按以下次序检查空间相邻PU的运动信息:A1、B1、B0、A0或B2。视频译码器20/30可通过以下操作步骤执行受约束的修剪:
-如果A1可用且不同于IPMVC,那么将A1***到候选者列表。
-如果B1及A1/IPMVC具有相同的运动向量及相同的参考索引,那么并不将B1***到候选者列表中。否则,如果B1可用的话,将B1***到候选者列表。
-如果B0及B1具有相同的运动向量及相同的参考索引,那么并不将B0***到候选者列表中。否则,如果B0可用的话,将B0***到候选者列表。
-通过上文所描述的操作步骤导出IDMVC。如果IDMVC可用且不同于从A1及B1导出的候选者,那么将IDMVC***到候选者列表。
-如果A0及A1具有相同的运动向量及相同的参考索引,那么并不将A0***到候选者列表中。否则,如果A0可用的话,将A0***到候选者列表。
-当不满足以下两个条件时,将B2***到候选者列表:
-B2及B1或B2及A1具有相同的运动向量及相同的参考索引。
-从A1、B1、B0、A0及IPMVC导出的所有四个空间合并候选者包含在候选者列表中。
视频译码器20/30还可经配置以实施用于时间合并候选者的导出过程。此导出过程可(例如)为与在HEVC中定义的操作步骤(其在上文简要地加以论述)相同的操作步骤。
视频译码器20/30还可经配置以实施用于组合双向预测性合并候选者的导出过程。举例来说,如果从上述两个步骤导出的候选者的总数目小于候选者的最大数目,那么除了l0CandIdx及l1CandIdx的规范以外,视频译码器20/30可执行与在HEVC中定义的过程相同的过程。在下表中定义combIdx、l0CandIdx及l1CandIdx间的关系:
表2-3D-HEVC中的l0CandIdx及l1CandIdx的规范
combIdx | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 |
l0CandIdx | 0 | 1 | 0 | 2 | 1 | 2 | 0 | 3 | 1 | 3 | 2 | 3 | 0 | 4 | 1 | 4 | 2 | 4 | 3 | 4 |
l1CandIdx | 1 | 0 | 2 | 0 | 2 | 1 | 3 | 0 | 3 | 1 | 3 | 2 | 4 | 0 | 4 | 1 | 4 | 2 | 4 | 3 |
视频译码器20/30还可经配置以实施用于零运动向量合并候选者的导出过程。视频译码器20/30可(例如)实施与在HEVC中定义的操作步骤相同的操作步骤。
在最新的软件中,合并(MRG)列表中的候选者的总数目为至多6且在切片标头中用信号发出语法元素“five_minus_max_num_merge_cand”以指定从6减去MRG候选者的最大数目。应注意,five_minus_max_num_merge_cand在0到5(包含0及5)的范围中。如上文所提及,在WD10中,MRG列表中的候选者的总数目为至多5。
除上文所描述的方法之外,根据从视差向量进行的合并候选者导出的其它提议,在JCT3V-B0048中在张等人的题为“3D-CE5.h:从视差向量进行的合并候选者导出(3D-CE5.h:Merge candidates derivation from disparity vector)”的文献(2012年10月15日)中也提议了以下技术,所述文献从2013年12月4日起可从http://phenix.it-sudparis.eu/jct2/doc_end_user/current_document.php?id=237得到。作为当前方法,使用参考视图中通过视差向量识别的对应块(即,参考块)来导出IPMVC。定位含有对应块的PU的其左及右PU且在可适用的情况下导出两个经移位的视差向量。左经移位的视差向量(LDV):针对水平分量将视差向量减去左PU的宽度。右经移位的视差向量(RDV):在水平分量上将视差向量加上含有对应块的PU的宽度。将LDV/RDV用于导出IPMVC的使用情况与当前3D-HEVC中的视差向量相同。如果所导出的IPMVC可用,那么将其添加到合并候选者列表,否则,将经移位的视差向量转换为视差运动向量从而添加到合并候选者列表中。
基于HEVC的多视图/3DV译码中的运动有关技术的当前设计归因于所导出的视差向量可能并不是足够准确的事实而具有若干可能的问题。作为一个实例,不准确的视差向量可导致不准确的经视图间预测的运动向量候选者及视图间视差运动向量候选者。作为另一实例,对于硬件实施方案来说,利用参考视图中的对应块的左及右PU来导出IPMVC可能并不友好,这是由于对左/右PU的存取需要从对应块移位达对应块的宽度,所述宽度为可变的。作为另一实例,为了修剪重复的候选者,需要检查所有参考索引及运动向量,所述情形引入太多复杂性。
本发明介绍可改进视差向量准确度以及进行视图间预测的运动向量及视图间视差运动向量的准确度的各种技术。根据本发明的一种技术,视频译码器20/30可从参考视图从针对一个切片/图片/序列内的所有PU具有固定偏移值的经移位的视差向量导出更多IPMVC。在一个实例中,视频译码器20/30可水平地将视差向量移位达-4*M(M为正整数,例如1、2、4、8)及/或4*M(对应于M个像素)。通过经移位的视差向量,视频译码器20/30可使用位于含有对应块的PU的左侧及/或右侧处的PU来产生IPMVC,类似于从对应块进行的IPMVC产生过程。
根据本发明的另一技术,视频译码器20/30可利用经移位的视差向量转换更多IDMVC。在一个实例中,经移位值(即,偏移值)为-4*N(N为正整数,例如1、2、4、8)及/或4*N(对应于N个像素)(水平地)。在一个实例中,此外,用于导出IPMVC及IDMVC的经移位值(即,偏移值)可为不同的,即,N不同于M。
根据本发明的另一技术,对于基于视差向量的每一突变(即,视差向量的每一移位),视频译码器20/30可产生仅一个额外候选者,且候选者是来自基于第一经移位的视差向量的IPMVC或基于第二经移位的视差向量的IDMVC。如果IPMVC可用,那么视频译码器20/30可使用IPMVC作为额外候选者。如果将IPMVC添加到合并候选者列表,那么视频译码器20/30可能并不转换IDMVC。在一个实例中,如果IDMVC可用,那么视频译码器20/30可能并不导出IPMVC。在另一实例中,如果所述两者可用,那么可导出所述两者作为额外候选者。
换句话说,如果在合并模式或跳过模式中对当前块进行帧间预测,那么视频译码器20/30可确定IPMVC的可用性,其中IPMVC为通过针对当前块经移位达偏移值的视差向量参考的参考视图中的参考块的运动信息(例如,运动向量及一或多个参考索引)。举例来说,如果参考块的运动向量为参考参考视图中具有等于当前块的参考图片列表中的图片的图片次序计数(POC)值的POC值的图片的时间运动向量,那么视频译码器20/30可确定IPMVC为可用的。
在此类实例中,视频译码器20/30可导出可能包含在候选者列表中(经受下文所描述的修剪)的IPMVC,且可避免导出IDMVC(即,避免导出IDMVC)。举例来说,在此实例中,如果在合并或跳过模式中对当前块进行帧间预测,那么视频译码器20/30可将IPMVC的优先顺序排定为优于IDMVC,其中如果IPMVC可用,那么视频译码器20/30可导出IPMVC,且可能并不导出IDMVC(即,避免导出IDMVC)。
根据本发明的另一技术,对于基于视差向量的每一突变,用于导出IPMVC的第一经移位的视差向量及用于转换IPMVC的第二经移位的视差向量可具有不同的偏移值,其中偏移值指示视频译码器20/30将视差向量移位所达的量。举例来说,用于第一经移位的视差向量的偏移值为16且用于第二经移位的视差向量的偏移为4。在一些实例中,两个经移位的视差向量应在水平方向上及在相同方向上,这意味着偏移的正负号值相同。在一个实例中,仅存在两个突变,一个是向左且一个是向右。替代地,仅存在向左的一个突变。替代地,仅存在向右的一个突变。根据本发明的另一技术,可将候选者中的每一者***到候选者列表的任何位置中。
作为一个实例,如果视频译码器20/30导出IPMVC,那么IPMVC的运动信息可包含通过针对当前块经移位达第一偏移值的视差向量参考的参考视图中的参考块的运动向量(例如,时间运动向量)。并且,IPMVC的运动向量可参考相同视图中POC值等于在当前块的参考图片列表中识别的图片的POC值的图片(例如,时间参考图片)。如果视频译码器20/30导出IDMVC,那么IDMVC可为针对当前块经移位达第二不同偏移值的视差向量。在一些实例中,视频译码器20/30可将第一偏移值加到视差向量或从视差向量减去第一偏移值以确定经移位达第一偏移值的视差向量。在某一实例中,视频译码器20/30可将第二偏移值加到视差向量或从视差向量减去第二偏移值以确定经移位达第二偏移值的视差向量。
根据本发明的另一技术,可针对新近添加的运动向量候选者(甚至包含从第一视差向量导出的运动向量候选者)中的每一者应用基于类型的修剪。仅当参考图片类型(视图间参考图片或时间参考图片)相同时,视频译码器20/30才可对两个候选者应用修剪过程。在此情况下,当对应于RefPicList0或RefPicList1的参考图片的类型不同于待进行比较的候选者的类型时,不需要比较参考索引及运动向量(即,如果通过第一候选者参考的参考图片的类型不同于通过第二候选者参考的参考图片的类型,那么视频译码器20/30可能并不执行参考索引及运动向量的比较)。仅当两个视图间候选者均为IDMVC或IPMVC时,视频译码器20/30才可应用用于两个视图间候选者的修剪过程。
举例来说,除基于经移位的视差向量导出IPMVC及IDMVC之外,视频译码器20/30可在并不将视差向量移位的情况下基于当前块的视差向量导出IPMVC及IDMVC。作为一个实例,假设第一IPMVC为通过针对当前块经移位达偏移值的视差向量参考的第一参考块的运动向量。在一些实例中,视频译码器20/30可将第二IPMVC包含在候选者列表中,其中第二IPMVC为在并不将视差向量移位的情况下通过视差向量参考的参考视图中的第二参考块的运动向量。
视频译码器20/30可比较第一IPMVC的运动信息与第二IPMVC的运动信息,例如运动向量、参考图片索引及参考图片列表。在一些实例中,视频译码器20/30可能仅将第一IPMVC的运动信息与第二IPMVC的运动信息相比较,而不与候选者列表中的其它候选者相比较。如果视频译码器20/30确定第一IPMVC的运动信息与第二IPMVC的运动信息相同(例如,运动向量相同或运动向量及参考图片索引两者相同),那么视频译码器20/30可确定第一IPMVC将不包含在候选者列表中。如果视频译码器20/30确定第一IPMVC的运动信息与第二IPMVC的运动信息不同(例如,运动向量不同,运动向量相同,但参考图片索引不同,运动向量不同,但参考图片索引不同,或运动向量及参考图片索引两者不同),那么视频译码器20/30可确定第一IPMVC将包含在候选者列表中。
在一些实例中,上述实例的第二IPMVC可能总是包含在候选者列表中。在此类实例中,修剪技术(例如,比较第一IPMVC与第二IPMVC且在一些实例中,仅与第二IPMVC相比较)可确定是否将第一IPMVC包含在候选者列表中。
根据本发明的另一技术,上述技术可能仅当在NBDV之后视差向量可用时适用。如果在NBDV之后未发现视差向量,那么视频译码器20/30可能并不应用将视差向量移位以用于导出额外IPMVC及IDMVC之上述技术(将不应用上述技术)。在一个实例中,通过上述方法导出的IPMVC始终适用。然而,仅当在NBDV的情况下视差向量可用时,才将新近导出的IDMVC***到合并候选者列表。
此外,在合并及跳过模式中,如果IPMVC可用,那么视频译码器20/30可从针对当前块经移位达第一偏移值的视差向量导出IPMVC,且如果确定IPMVC不可用,那么视频译码器20/30从针对当前块经移位达第二不同偏移值的视差向量导出IDMVC。并且,在AMVP模式中,视频译码器20/30可基于参考图片索引导出IPMVC或IDMVC。因此,在一些实例中,仅IPMVC或IDMVC中的一者包含在候选者列表中。
上文介绍的各种技术可通过视频译码器20/30来实施。现在将论述上文介绍的技术的各种实例实施方案。可根据HEVC方法导出视差向量。然而,可针对跳过/合并模式或AMVP模式基于视差向量导出更多候选者。
根据本发明的一个方面,视频译码器20/30可经配置以执行针对IPMVC及IDMVC的视差向量的突变。基于视差向量,使用视差向量的两种突变导出IPMVC及IDMVC。用于导出IPMVC的左及/或右经移位的视差向量(LDV及/或RDV)的突变是通过在水平分量上将视差向量加上-16及/或16来实现。用于导出IDMVC的左及/或右经移位的视差向量(LDV及/或RDV)的突变是通过在水平分量上将视差向量加上-4及/或4来实现。
视频译码器20/30可从突变的视差向量导出IPMVC。通过经移位的视差向量,可按与当前方法中的IPMVC相同的方式导出两个额外IPMVC。通过LDV及RDV得到的两个新近导出的IPMVC分别是通过左IPMVC及右IPMVC来指示。为了简单起见,将从LDV及RDV导出的IPMVC(时间运动候选者)分别命名为LTMV及RTMV。
视频译码器20/30可从突变的视差向量导出IDMVC。通过经移位的视差向量,可按与当前方法中的IDMVC相同的方式导出两个额外IDMVC。通过LDV及RDV得到的两个新近导出的IDMVC分别是通过左IDMVC及右IDMVC来指示。为了简单起见,将从LDV及RDV导出的IDMVC(视差运动向量候选者)分别命名为LDMV及RDMV。基于突变的视差向量(LDV或RDV),导出一个且仅一个候选者(LTMV(RTMV)或LDMV(RDMV))。当从LDV导出候选者时,将此类候选者指示为LMV,或当从RDV导出候选者时,将此类候选者指示为RMV。可如下导出LMV:如果LTMV可用:将LMV设置为LTMV;否则,将LMV设置为LDMV。可如下导出RMV:如果RTMV可用:将RMV设置为RTMV;否则,将RMV设置为RDMV。
在通过将视差向量移位产生IPMVC及IDMVC之后,视频译码器20/30可应用以下检查及修剪过程。将新近导出的左IPMVC按次序与通过无突变的视差向量导出的IPMVC、来自A1或B1的空间合并候选者(如果可用的话)相比较。如果其等于这三个候选者中的任一者,那么将其从合并候选者列表中去除。否则,将其添加到合并候选者列表,在所有空间合并候选者之后,因此在时间合并候选者之前。
如果并不将左IPMVC添加到合并候选者列表,那么将新近导出的左IDMVC按次序与来自A1或B1的空间合并候选者(如果可用的话)相比较。如果其等于这两个候选者中的任一者,那么将其从合并候选者列表中去除。否则,将其添加到合并候选者列表,在与左IPMVC(如果可用的话)相同的位置,即,在所有空间合并候选者之后,因此在时间合并候选者之前。
将新近导出的右IPMVC按次序与通过无突变的视差向量导出的IPMVC、来自A1或B1的空间合并候选者、左IPMVC(如果可用的话)相比较。如果其等于这四个候选者中的任一者,那么将其从合并候选者列表中去除。否则,将其添加到合并候选者列表,在所有空间合并候选者及左IPMVC或左IDMVC之后。
如果并不将右IPMVC添加到合并候选者列表,那么将新近导出的右IDMVC按次序与来自A1或B1的空间合并候选者(如果可用的话)相比较。如果其等于这两个候选者中的任一者,那么将其从合并候选者列表中去除。否则,将其添加到合并候选者列表,在与右IPMVC(如果可用的话)相同的位置,即,在所有空间合并候选者及左IPMVC或左IDMVC之后。
在一个替代方案中,仅当两个候选者具有相同类型时,即,其为视差运动向量或其为时间运动向量时,比较所述两个候选者。举例来说,如果从A1导出的候选者具有时间参考图片,那么不需要其与左/右IDMVC之间的比较。
视频译码器20/30可经配置以实施上文所描述的各种方面的替代方案。举例来说,视频译码器20/30可经配置以确定用于新近导出的候选者的***位置。与上文所描述的实例形成对比,其中新近导出的候选者***于所有空间合并候选者及从LDV导出的候选者(IPMVC或IDMVC)之后、在从RDV导出的候选者之前,可应用以下位置及次序:
○在空间合并候选者的子集之后。
○替代地,在所有空间、时间候选者及通过视差向量导出的候选者之后,因此在组合候选者之前。
○替代地,将通过等于-4*M的经移位值导出的IPMVC(如果可用的话)***于通过等于-4*N的经移位值导出的IDMVC之前。将通过等于4*M的经移位值导出的IPMVC(如果可用的话)***于通过等于4*N的经移位值导出的IDMVC之前。
○替代地,将通过经移位值导出的所有IPMVC***到列表,后接续从视差向量导出的IPMVC,因此在所有空间合并候选者之前。
○替代地,将通过经移位值导出的所有IDMVC***到列表,后接续从视差向量导出的IDMVC,因此在从A0及B2导出的空间合并候选者之前。
○在一个替代方案中,可在任何位置及按任何次序将新近添加的IPMVC及/或IDMVC***到候选者列表。
○此外,从RDV导出的候选者在从LDV导出的候选者之前。
○替代地,可能并不会连续地***从LDV及RDV导出的候选者。实际上,可能将从LDV导出的候选者***成刚好在最后的空间合并候选者之后且刚好在时间合并候选者之前,同时可将从RDV导出的候选者***成刚好在时间合并候选者之后,且反过来也一样。
视频译码器20/30可经配置以执行除上文所描述的修剪过程以外的修剪过程。举例来说,视频译码器20/30可经配置以应用以下修剪过程。
○仅将一或多个选择性空间候选者(例如,A1)与新近导出的候选者相比较。
a.举例来说,将新近导出的候选者(LMV及/或RMV)仅与来自A1的空间合并候选者相比较。
b.举例来说,将新近导出的候选者(LMV及/或RMV)仅与来自B1的空间合并候选者相比较。
○替代地,并不将新近导出的候选者与任何空间或时间候选者相比较。
○另外,需要将新近添加的运动向量候选者(不包含从视差向量导出的那些运动向量候选者)彼此相比较以避免重复。
○替代地,需要将新近添加的运动向量候选者(包含从视差向量导出的那些运动向量候选者)彼此相比较以避免重复。
○替代地,将新近添加的运动向量候选者仅与从视差向量导出的那些运动向量候选者相比较以避免重复,且并不将其彼此相比较。
○在一个替代方案中,需要将新近添加的IDMVC及/或IPMVC与全部可用合并候选者或可用合并候选者的子集相比较。
○替代地,另外,如果从RDV或LDV导出的候选者(LMV及/或RMV)为视差运动向量,那么根本不将其与IDMVC相比较。
○在一个替代方案中,当通过经移位的视差向量(-4*M/4*M)定位的参考块及通过视差向量定位的参考块属于相同PU时,可跳过新近添加的IPMVC及从视差向量导出的IPMVC间的修剪过程,且将新近添加的IPMVC从合并候选者列表中去除。
a.在一个替代方案中,此外,并不将从经移位的视差向量(-4*N/4*N)导出的IDMVC添加到合并候选者列表。
b.在另一替代方案中,此外,并不将从经移位的视差向量(-4*N/4*N)导出的IDMVC添加到合并候选者列表。
作为修剪过程的部分,视频译码器20/30可如上文所介绍执行一或多个比较。在一个实例中,比较以下(至多五个)运动向量候选者对(如果其中的两者可用的话):
当LTMV可用时,(LMV,从视差向量导出的IPMVC);
(LMV,来自B1的空间合并候选者);
当RTMV可用时,(RMV,从视差向量导出的IPMVC);
(RMV,来自B1的空间合并候选者);
当LTMV及LTMV两者可用时,(RMV,LMV)。
如果在给定候选者对中给出条件,例如,“当LTMV可用时”,那么其意味着:如果条件不成立,那么并不比较所述对应对。
应注意,对于每一候选者对(C0,C1),如果其不同,那么将C0***到合并候选者列表中,否则,并不会进一步将C0***到合并候选者列表中。另外,如果C1并不在合并候选者列表中,那么避免了比较。假设C0及C1的参考索引及运动向量分别为RefIdxLXC0、mvLXC0及RefIdxLXC1、mvLXC1,其中X等于0及1。如果以下条件中的一或多者成立,那么将C0及C1视为不同:
对于为0及1的预测列表指示X,
-RefIdxLXC0不等于RefIdxLXC1;
-当RefIdxLXC0不等于-1时,mvLXC0[0]不等于mvLXC1[0];
-当RefIdxLXC0不等于-1时,mvLXC0[1]不等于mvLXC1[1];
应注意,如果对于给定预测列表指示X来说,运动向量不可用,那么可将对应参考索引视为等于-1。
在第二实例中,比较以下(至多2个)运动向量候选者对(如果所述两者可用的话):
当LTMV可用时,(LMV,从视差向量导出的IPMVC)
当RTMV可用时,(RMV,从视差向量导出的IPMVC)。
在第三实例中,比较以下运动向量候选者对(如果其中的两者可用的话):
当LTMV可用时,(LMV,从视差向量导出的IPMVC);
(LMV,来自B1的空间合并候选者);
当RTMV可用时,(RMV,从视差向量导出的IPMVC)
(RMV,来自B1的空间合并候选者)。
在第四实例中,比较以下运动向量候选者对(如果其中的两者可用的话):
当LTMV可用时,(LMV,从视差向量导出的IPMVC);
(LMV,来自A1的空间合并候选者);
当RTMV可用时,(RMV,从视差向量导出的IPMVC)
(RMV,来自A1的空间合并候选者)。
在第五实例中,比较以下(至多五个)运动向量候选者对(如果其中的两者可用的话):
当LTMV可用时,(LMV,从视差向量导出的IPMVC);
(LMV,来自A1的空间合并候选者);
当RTMV可用时,(RMV,从视差向量导出的IPMVC);
(RMV,来自A1的空间合并候选者);
当LTMV及LTMV两者可用时,(RMV,LMV)。
图7为说明可实施本发明中所描述的技术(包含上文所描述的视图间预测技术)的实例视频编码器20的框图。视频编码器20可以执行视频切片内的视频块的帧内译码及帧间译码。当通过视频编码器20来执行时,帧内译码可被称作帧内预测编码,且帧间译码可被称作帧间预测编码。帧内译码依赖于空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或去除视频序列的邻近帧或图片内的视频中的时间冗余。帧间译码还可指视图间译码,其中将另一视图中的图片用作用于编码当前视图中的当前图片中的当前块的参考图片。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。帧间模式(例如,单向预测(P模式)或双向预测(B模式))可指若干基于时间的压缩模式或视图间压缩模式中的任一者。
在图7的实例中,视频编码器20包含分割单元35、预测处理单元41、滤波器单元63、参考图片存储器64、求和器50、变换单元52、量化单元54,及熵编码单元56。预测处理单元41包含运动及视差估计单元42、运动及视差补偿单元44,及帧内预测处理单元46。为了视频块重新构造,视频编码器20还包含反量化单元58、反变换处理单元60,及求和器62。滤波器单元63既定表示一或多个环路滤波器,例如解块滤波器、自适应环路滤波器(ALF)及样本自适应偏移(SAO)滤波器。尽管在图7中将滤波器单元63展示为环内滤波器,但在其它配置中,可将滤波器单元63实施为环路后滤波器。
如图7中所展示,视频编码器20接收视频数据,且分割单元35将数据分割成视频块。此分割还可包含分割成切片、图像块或其它较大单元,以及例如根据LCU及CU的四叉树结构的视频块分割。视频编码器20一般说明编码待编码的视频切片内的视频块的组件。所述切片可以划分成多个视频块(且可能划分成被称作图像块的数组视频块)。预测处理单元41可基于误差结果(例如,译码速率及失真等级)针对当前视频块选择多种可能译码模式中的一者,例如,多种帧内译码模式中的一者或多种帧间译码模式中的一者。预测处理单元41可将所得的经帧内译码或经帧间译码块提供到求和器50以产生残余块数据,且提供到求和器62以重新构造经编码块以用于用作参考图片。
预测处理单元41内的帧内预测处理单元46可相对于与待译码的当前块在相同帧或切片中的一或多个相邻块执行当前视频块的帧内预测性译码,以提供空间压缩。预测处理单元41内的运动及视差估计单元42以及运动及视差补偿单元44执行相对于一或多个参考图片及/或参考视图中的一或多个预测性块的当前视频块的帧间预测性译码及/或视图间译码以提供时间或视图压缩。
运动及视差估计单元42可经配置以根据视频序列的预定模式确定视频切片的帧间预测模式及/或视图间预测模式。预定模式可将序列中的视频切片指明为P切片或B切片。运动及视差估计单元42以及运动及视差补偿单元44可高度集成,但出于概念目的分别加以说明。由运动及视差估计单元42执行的运动及视差估计为产生估计视频块的运动的运动向量的过程。举例来说,运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的位移。由运动及视差估计单元42执行的视差估计为产生视差运动向量的过程,所述视差运动向量可用以从不同视图中的块预测当前经译码块。
预测性块是被发现在像素差方面与待译码的视频块的PU密切匹配的块,像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。在一些实例中,视频编码器20可计算存储在参考图片存储器64中的参考图片的子整数像素位置的值。举例来说,视频编码器20可以内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此,运动及视差估计单元42可执行相对于全像素位置及分数像素位置的运动搜索,且输出具有分数像素精度的运动向量。
运动及视差估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算经帧间译码或经视图间预测的切片中的视频块的PU的运动向量(用于运动补偿预测)及/或视差运动向量(用于视差补偿预测)。参考图片可以选自第一参考图片列表(RefPicList0)或第二参考图片列表(RefPicList1),所述参考图片列表中的每一者识别存储在参考图片存储器64中的一或多个参考图片。运动及视差估计单元42将所计算的运动向量及/或视差向量发送到熵编码单元56及运动补偿单元44。
由运动及视差补偿单元44执行的运动补偿及/或视差补偿可涉及基于通过运动估计及/或视差估计确定的运动向量提取或产生预测性块,有可能执行到子像素精度的内插。在接收到当前视频块的PU的运动向量及/或视差后,运动及视差补偿单元44便可在参考图片列表中的一者中定位所述运动向量及/或视差向量指向的预测性块。视频编码器20通过从正被译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块。像素差值形成所述块的残余数据,且可包含明度及色度差分量两者。求和器50表示执行此减法运算的一或多个组件。运动及视差补偿单元44还可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。
作为由运动及视差估计单元42以及运动及视差补偿单元44执行的帧间预测(如上文所描述)的替代方案,帧内预测处理单元46可对当前块进行帧内预测。明确地说,帧内预测处理单元46可以确定用以编码当前块的帧内预测模式。在一些实例中,帧内预测处理单元46可(例如)在单独编码遍次期间使用各种帧内预测模式编码当前块,且帧内预测处理单元46可从经测试模式中选择适当帧内预测模式来使用。举例来说,帧内预测处理单元46可以使用速率失真分析计算用于各种经测试帧内预测模式的速率失真值,并且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量,以及用于产生经编码块的位速率(也就是说,位数目)。帧内预测处理单元46可以从用于各种经编码块的失真及速率计算比率,以确定哪种帧内预测模式对于所述块来说展现最佳速率失真值。
在任何情况下,在选择了用于块的帧内预测模式之后,帧内预测处理单元46可以将指示用于所述块的选定帧内预测模式的信息提供到熵译码单元56。熵译码单元56可根据本发明的技术编码指示所述选定帧内预测模式的信息。视频编码器20可在所发射的位流中包含配置数据,所述配置数据可包含多个帧内预测模式索引表及多个修改的帧内预测模式索引表(还被称作码字映射表)、编码用于各种块的上下文的定义,及用于所述上下文中的每一者的最可能的帧内预测模式、帧内预测模式索引表及修改的帧内预测模式索引表的指示。
在预测处理单元41经由帧间预测或帧内预测产生当前视频块的预测性块之后,视频编码器20通过从当前视频块减去预测性块形成残余视频块。残余块中的残余视频数据可包含在一或多个TU中且应用于变换单元52。变换单元52使用例如离散余弦变换(DCT)或概念上类似的变换等变换将残余视频数据变换成残余变换系数。变换单元52可将残余视频数据从像素域转换到变换域,例如频域。
变换单元52可以将所得变换系数发送到量化单元54。量化单元54将变换系数量化以进一步减小位速率。量化过程可减少与系数中的一些系数或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中,量化单元54可以接着执行对包含经量化的变换系数的矩阵的扫描。替代地,熵编码单元56可执行所述扫描。
在量化之后,熵编码单元56对经量化的变换系数进行熵编码。举例来说,熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码方法或技术。在由熵编码单元56进行熵编码之后,可将经编码位流发射到视频解码器30,或将经编码位流存档以供稍后发射或由视频解码器30检索。熵编码单元56还可对正被译码的当前视频切片的运动向量及其它语法元素进行熵编码。
反量化单元58及反变换处理单元60分别应用反量化及反变换以在像素域中重新构造残余块,以供稍后用作参考图片的参考块。运动及视差补偿单元44可通过将残余块加到参考图片列表中的一者内的参考图片中的一者的预测性块来计算参考块。运动及视差补偿单元44还可将一或多个内插滤波器应用于经重新构造的残余块以计算用于运动估计的子整数像素值。求和器62将经重新构造的残余块加到由运动及视差补偿单元44产生的经运动补偿的预测块以产生参考块以用于存储在参考图片存储器64中。参考块可由运动及视差估计单元42以及运动及视差补偿单元44用作参考块以对后续视频帧或图片中的块进行帧间预测。
图8为说明可实施本发明中所描述的技术(包含上文所描述的视图间预测技术)的实例视频解码器30的框图。在图8的实例中,视频解码器30包含熵解码单元80、预测处理单元81、反量化单元86、反变换处理单元88、求和器90、滤波器单元91,及参考图片存储器92。预测处理单元81包含运动及视差补偿单元82及帧内预测处理单元84。在一些实例中,视频解码器30可执行一般与关于来自图7的视频编码器20描述的编码遍次互逆的解码遍次。
在解码过程期间,视频解码器30从视频编码器20接收表示经解码视频切片的视频块的经编码视频位流及相关联的语法元素。视频解码器30的熵解码单元80对位流进行熵解码以产生经量化的系数、运动向量及其它语法元素。熵解码单元80将运动向量及其它语法元素转发到预测处理单元81。视频解码器30可以接收视频切片层级及/或视频块层级的语法元素。
当视频切片经译码为经帧内译码(I)切片时,预测处理单元81的帧内预测处理单元84可基于用信号发出的帧内预测模式及来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即,B、P或GPB)切片时,预测处理单元81的运动及视差补偿单元82基于从熵解码单元80接收的运动向量及其它语法元素产生用于当前视频切片的视频块的预测性块。预测性块可以从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可以基于存储在参考图片存储器92中的参考图片使用默认构造技术构造参考帧列表(列表0及列表1)。
运动及视差补偿单元82通过剖析运动向量及其它语法元素确定当前视频切片的视频块的预测信息,且使用所述预测信息来产生正被解码的当前视频块的预测性块。举例来说,运动及视差补偿单元82使用所接收语法元素中的一些语法元素来确定用以译码以下各者的预测模式(例如,帧内或帧间预测):视频切片的视频块、帧间预测或视图间预测切片类型(例如,B切片或P切片)、用于切片的参考图片列表中的一或多者的构造信息、切片的每一经帧间编码视频块的运动向量及/或视差向量、切片的每一经帧间译码视频块的帧间预测状态,及用以解码当前视频切片中的视频块的其它信息。
在一些实例中,运动及视差补偿单元82可使用运动向量预测过程确定指示运动向量的用信号发出的语法元素。运动向量预测过程可包含AMVP模式及合并模式。运动及视差补偿单元82还可执行基于内插滤波器的内插。运动及视差补偿单元82可在编码视频块期间使用如由视频编码器20使用的内插滤波器来计算用于参考块的子整数像素的内插值。在此情况下,运动及视差补偿单元82可从所接收语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器产生预测性块。
反量化单元86将提供于位流中且由熵解码单元80解码的经量化的变换系数反量化(即,解量化)。反量化过程可包含使用由视频编码器20针对视频切片中的每一视频块计算的量化参数以确定应应用的量化程度及同样确定应应用的反量化程度。反变换处理单元88将反变换(例如,反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数,以便产生像素域中的残余块。
在运动及视差补偿单元82基于运动向量及其它语法元素产生当前视频块的预测性块之后,视频解码器30通过将来自反变换处理单元88的残余块与由运动及视差补偿单元82产生的对应预测性块加总形成经解码视频块。求和器90表示执行此加总运算的一或多个组件。在需要时,还可使用环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或者以其它方式改善视频质量。滤波器单元91既定表示一或多个环路滤波器,例如解块滤波器、自适应环路滤波器(ALF)及样本自适应偏移(SAO)滤波器。尽管在图8中将滤波器单元91展示为环路内滤波器,但在其它配置中,可将滤波器单元91实施为环路后滤波器。接着将给定帧或图片中的经解码视频块存储在参考图片存储器92中,参考图片存储器92存储用于后续运动补偿的参考图片。参考图片存储器92还存储经解码视频以供稍后在显示装置(例如,图1的显示装置32)上呈现。
图9为展示根据本发明的技术的实例编码过程的流程图。将关于视频编码器20描述图9的技术但所述技术可由其它类型的视频编码器执行。视频编码器20确定当前块是在合并模式、跳过模式还是AMVP模式中进行帧间预测(180)。
如果当前块是在AMVP模式中进行帧间预测,那么视频编码器20可基于参考图片索引确定是导出IDMVC还是IPMVC(182)。举例来说,如果参考图片索引参考时间参考图片,那么视频编码器20可确定IPMVC,且如果参考图片索引参考视图间参考图片,那么视频编码器20可确定IDMVC。
如果当前块是在合并模式或跳过模式中进行帧间预测,那么视频编码器20可确定IPMVC的可用性(184)。如果通过当前块的经移位达偏移值的视差向量参考的参考块的运动信息包含为时间运动向量(所述时间运动向量参考参考视图中具有等于在当前块的参考图片列表中识别的图片的POC值的POC值的图片)的运动向量,那么视频编码器20可确定IPMVC为可用的。如上文所描述,IPMVC可为通过针对当前块经移位达第一偏移值的视差向量参考的参考视图中的参考块的运动信息,且IDMVC可为针对当前块经移位达第二不同偏移值的视差向量。
在一些实例中,如果IPMVC为可用的,那么视频编码器20可导出IPMVC,且避免进行在合并或跳过模式中的IDMVC的导出。如果IPMVC不可用且当前块是在合并模式或跳过模式中进行帧间预测,那么视频编码器20可导出IDMVC。
视频编码器20可确定是将IPMVC还是IDMVC包含在候选者列表中(186)。在一些实例中,视频编码器20可包含IPMVC及IDMVC中的仅一者,而不是两者(即,IPMVC及IDMVC中仅一者包含在候选者列表中)。举例来说,在合并模式中,如果视频编码器20因为IPMVC可用而导出IPMVC,那么视频编码器20可避免进行IDMVC的导出。在AMVP模式中,视频编码器20可基于参考图片索引是参考时间参考图片还是视图间参考图片将IPMVC或IDMVC中的一者包含在候选者列表中。
并且,在某一实例中,视频编码器20可在不将视差向量移位的情况下基于视差向量导出另一IPMVC。在这些实例中,视频编码器20可比较两个IPMVC(即,一个IPMVC是基于经移位的视差向量且一个IPMVC是基于不进行移位的视差向量)的运动信息。在一些实例中,视频编码器20可将在将视差向量移位的情况下导出的IPMVC的运动信息仅与在不将视差向量移位的情况下导出的IPMVC的运动信息相比较。如果两个IPMVC的运动信息相同,那么视频编码器20可能并不将基于经移位的视差向量的IPMVC包含在候选者列表中,且如果两个IPMVC的运动信息不同,那么视频编码器20可将基于经移位的视差向量的IPMVC包含在候选者列表中。视频编码器20可能总是包含基于不进行移位的情况下的视差向量的IPMVC。
视频编码器20可基于候选者列表对当前块进行帧间预测编码(188)。视频编码器20还可用信号发出指示当前块是在合并模式、跳过模式还是AMVP模式中进行帧间预测及到候选者列表中的索引的语法元素(例如,用信号发出语法元素),视频解码器30使用所述语法元素确定当前块的运动向量以用于对当前块进行帧间预测编码(190)。
图10为展示根据本发明的技术的实例解码过程的流程图。将关于视频解码器30描述图10的技术但所述技术可由其它类型的视频解码器执行。视频解码器30接收到候选者列表中的索引(200)。视频解码器30可接收指示当前块是在合并模式、跳过模式还是AMVP模式中进行帧间预测的语法元素(例如,解码语法元素或正解码语法元素),以确定当前块是在合并模式、跳过模式还是AMVP模式中进行帧间预测(202)。
如果视频解码器30确定当前块是在AMVP模式中进行帧间预测,那么视频解码器30可基于参考图片索引确定是导出IDMVC还是IPMVC(204)。举例来说,如果参考图片索引参考时间参考图片,那么视频解码器30可确定IPMVC,且如果参考图片索引参考视图间参考图片,那么视频解码器30可确定IDMVC。
如果当前块是在合并模式或跳过模式中进行帧间预测,那么视频解码器30可确定IPMVC的可用性(206)。如果通过当前块的经移位达偏移值的视差向量参考的参考块的运动信息包含为时间运动向量(所述时间运动向量参考参考视图中具有等于在当前块的参考图片列表中识别的图片的POC值的POC值的图片)的运动向量,那么视频解码器30可确定IPMVC为可用的。此外,如上文所描述,IPMVC可为通过针对当前块经移位达第一偏移值的视差向量参考的参考视图中的参考块的运动向量,且IDMVC可为针对当前块经移位达第二不同偏移值的视差向量。
在一些实例中,如果IPMVC为可用的,那么视频解码器30可导出IPMVC,且避免进行在合并或跳过模式中的IDMVC的导出。如果IPMVC不可用且当前块是在合并模式或跳过模式中进行帧间预测,那么视频解码器30可导出IDMVC。
视频解码器30可确定是将IPMVC还是IDMVC包含在候选者列表中(208)。在一些实例中,视频解码器30可包含IPMVC及IDMVC中的仅一者,而不是两者(即,IPMVC及IDMVC中仅一者包含在候选者列表中)。举例来说,在合并模式中,如果视频解码器30因为IPMVC可用而导出IPMVC,那么视频解码器30可避免进行IDMVC的导出。在AMVP模式中,视频解码器30可基于参考图片索引是参考时间参考图片还是视图间参考图片将IPMVC或IDMVC中的一者包含在候选者列表中。视频解码器30可基于候选者列表对当前块进行帧间预测解码(210)。
并且,在一些实例中,视频解码器30可在不将视差向量移位的情况下基于视差向量导出另一IPMVC。在这些实例中,视频解码器30可比较两个IPMVC(即,一个IPMVC是基于经移位的视差向量且一个IPMVC是基于不进行移位的视差向量)的运动信息。在一些实例中,视频解码器30可将在将视差向量移位的情况下导出的IPMVC的运动信息仅与在不将视差向量移位的情况下导出的IPMVC的运动信息相比较。如果两个IPMVC的运动信息相同,那么视频解码器30可能并不将基于经移位的视差向量的IPMVC包含在候选者列表中,且如果两个IPMVC的运动信息不同,那么视频解码器30可将基于经移位的视差向量的IPMVC包含在候选者列表中。视频解码器30可能总是包含基于不进行移位的情况下的视差向量的IPMVC。
此外,尽管上述实例技术是关于多视图视频译码加以描述,但本发明中所描述的技术不限于此。举例来说,本发明中所描述的技术可扩展到可缩放视频译码(SVC),包含对用于可缩放视频译码的HEVC标准的扩展(SHEVC)。
在可缩放视频译码(SVC)中,可能存在多个层。在最底部层级的层可刚好充当基础层(BL),且在最顶部层级的层刚好充当增强型层(EL)。所有在中间的层可充当EL与BL两者。举例来说,在中间的层可为用于其下方的层的EL,且同时作为用于其上方的层的BL。出于描述的简单性起见,在说明当前技术时,本发明假设存在两层:BL及EL。应注意,本发明中所描述的技术也适用于具有多个层的情况。
SCV中的视差向量的概念可参考参考参考层中的参考块的向量,其中参考层为不同于包含正进行帧间预测的块的层的另一层。此类层间向量的一个实例可能为零向量(例如,具有分量(0,0)的向量)。对于SCV,可按上文针对视差向量关于3D视频所描述的方式类似的方式来利用层间向量。
如上文所描述,对于3D视频,视频译码器20/30可在不将视差向量移位的情况下导出IPMVC及IDMVC,且通过将视差向量移位导出额外IPMVC及IDMVC,且在一些实例中,相对于额外IDMVC针对额外IPMVC移位达不同量(即,不同偏移值),一般被称作视图间候选者。对于SVC,视频译码器20/30可类似地导出层间候选者。作为一个实例,视频译码器20/30可基于从层间向量所参考的参考层中的参考块继承的运动信息及/或基于从经移位达偏移值的层间向量参考的参考层中的参考块继承的运动信息导出层间候选者。作为另一实例,视频译码器20/30可通过将层间向量转换成层间候选者及/或将经移位达偏移值的层间向量转换成层间候选者来导出层间候选者。
因此,在一些实例中,可将本发明中所描述的用于导出IPMVC及IDMVC的技术及关于何时导出IPMVC及IDMVC的技术(例如,在合并模式、跳过模式还是AMVP模式中)扩展到SVC。对于SVC,视频译码器20/30可按与导出IPMVC的方式类似的方式(例如,基于当前块的层间向量或经移位的层间向量参考的参考层中的参考块的运动信息)导出第一层间候选者,且可按与导出IDMVC的方式类似的方式(例如,将当前块的层间向量或经移位的层间向量转换成层间候选者)导出第二层间候选者。对于SVC,视频译码器20/30可实施类似于上文针对3D视频针对第一层间候选者及第二层间候选者所描述的技术的技术。
在一或多个实例中,所描述的功能可以用硬件、软件、固件或其任何组合来实施。如果用软件来实施,那么所述功能可以作为一或多个指令或代码存储在计算机可读媒体上或在计算机可读媒体上予以传输,并且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体,其对应于有形媒体,例如数据存储媒体,或包含促进将计算机程序从一处传送到另一处的任何媒体(例如,根据通信协议)的通信媒体。以此方式,计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体,或(2)通信媒体,例如信号或载波。数据存储媒体可以是可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可以包含计算机可读媒体。
以实例说明且非限制,此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、闪存存储器或可用来存储呈指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。而且,将任何连接恰当地称为计算机可读媒体。举例来说,如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令,那么同轴电缆、光缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含在媒体的定义中。然而,应理解,计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时性媒体,而是实际上针对于非暂时性有形存储媒体。如本文所使用,磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软性磁盘及蓝光光盘,其中磁盘通常以磁性方式复制数据,而光盘使用激光以光学方式复制数据。上述各项的组合也应包含在计算机可读媒体的范围内。
指令可以由一或多个处理器执行,所述一或多个处理器例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、或其它等效的集成或离散逻辑电路。因此,如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,本文所描述的功能性可以提供于经配置以用于编码及解码的专用硬件及/或软件模块内,或者并入于组合编码解码器中。并且,可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可以在广泛多种装置或设备中实施,包含无线手持机、集成电路(IC)或一组IC(例如,芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示技术的装置的功能方面,但未必需要通过不同硬件单元实现。实际上,如上文所描述,各种单元可以结合合适的软件及/或固件组合在编码解码器硬件单元中,或者通过互操作硬件单元的集合来提供,所述硬件单元包含如上文所描述的一或多个处理器。
已描述各种实例。这些及其它实例在所附权利要求书的范围内。
Claims (30)
1.一种译码视频数据的方法,所述方法包括:
确定当前块是在合并模式、跳过模式还是高级运动向量预测AMVP模式中进行帧间预测;
在所述当前块是在AMVP模式中进行帧间预测的情况下,基于至少一个参考图片索引确定是导出视图间视差运动向量候选者IDMVC还是经视图间预测的运动向量候选者IPMVC;
在所述当前块是在合并模式或跳过模式中进行帧间预测的情况下,确定所述IPMVC的可用性,其中所述IPMVC包括通过针对所述当前块经移位达第一偏移值的视差向量参考的参考视图中的参考块的运动信息,且其中所述IDMVC包括针对所述当前块经移位达第二不同偏移值的所述视差向量;
确定是将所述IPMVC还是所述IDMVC包含在候选者列表中;以及
基于所述候选者列表对不同于所述参考视图的当前视图中的当前图片中的所述当前块进行帧间预测译码。
2.根据权利要求1所述的方法,其中确定所述IPMVC的可用性包括在通过经移位达所述第一偏移值的所述视差向量参考的所述参考视图中的所述参考块的运动向量为参考所述参考视图中具有等于所述当前块的参考图片列表中的图片的图片次序计数POC值的POC值的图片的时间运动向量的情况下,确定所述IPMVC为可用的,所述方法进一步包括:
导出所述IPMVC;以及
避免进行所述IDMVC的所述导出。
3.根据权利要求1所述的方法,其进一步包括:
在所述IPMVC不可用且所述当前块是在合并模式或跳过模式中进行帧间预测的情况下,导出所述IDMVC。
4.根据权利要求1所述的方法,其中所述IPMVC包括第一IPMVC,且所述参考块包括第一参考块,所述方法进一步包括:
确定第二IPMVC,其中所述第二IPMVC包括在并不将所述视差向量移位的情况下通过所述视差向量参考的所述参考视图中的第二参考块的运动信息;以及
比较所述第一IPMVC的运动信息与所述第二IPMVC的运动信息,
其中确定是将所述IPMVC还是所述IDMVC包含在所述候选者列表中包括在所述第二IPMVC的所述运动信息与所述第一IPMVC的所述运动信息相同的情况下,确定不将所述第一IPMVC包含在所述候选者列表中,及在所述第二IPMVC的所述运动信息不同于所述第一IPMVC的所述运动信息的情况下,确定将所述第一IPMVC包含在所述候选者列表中。
5.根据权利要求4所述的方法,其中比较包括将所述第一IPMVC的所述运动信息仅与所述第二IPMVC的所述运动信息相比较。
6.根据权利要求1所述的方法,其中基于至少一个参考图片索引确定是导出所述IPMVC还是所述IDMVC包括基于所述至少一个参考图片索引是参考时间参考图片还是视图间参考图片,确定是导出所述IPMVC还是所述IDMVC。
7.根据权利要求1所述的方法,其进一步包括:
基于相邻块的视差运动向量及相邻块的所导出的视差向量中的一者确定所述当前块的所述视差向量;
将所述第一偏移值加到所述视差向量或从所述视差向量中减去所述第一偏移值,以确定经移位达所述第一偏移值的所述视差向量;以及
将所述第二偏移值加到所述视差向量或从所述视差向量中减去所述第二偏移值,以确定经移位达所述第二偏移值的所述视差向量。
8.根据权利要求1所述的方法,其中所述IPMVC或所述IDMVC中仅一者包含在所述候选者列表中。
9.根据权利要求1所述的方法,其中所述第二偏移值包括用于水平地将所述视差向量移位的固定偏移值。
10.根据权利要求1所述的方法,其中所述参考块的所述运动信息包括运动向量及用于参考图片列表的一或多个参考索引中的至少一者。
11.根据权利要求1所述的方法,其进一步包括:
接收到所述候选者列表中的索引,
其中确定所述当前块是在合并模式、跳过模式还是AMVP模式中进行帧间预测包括解码指示所述当前块是在合并模式、跳过模式还是AMVP模式中进行帧间预测的语法元素,且其中帧间预测译码包括基于所述候选者列表对所述当前块进行帧间预测解码。
12.根据权利要求1所述的方法,其进一步包括:
用信号发出指示所述当前块是在合并模式、跳过模式还是AMVP模式中进行帧间预测的语法元素,及用信号发出到所述候选者列表中的索引,
其中帧间预测译码包括基于所述候选者列表对所述当前块进行帧间预测编码。
13.一种用于译码视频数据的装置,所述装置包括经配置以进行以下操作的视频译码器:
确定当前块是在合并模式、跳过模式还是高级运动向量预测AMVP模式中进行帧间预测;
在所述当前块是在AMVP模式中进行帧间预测的情况下,基于至少一个参考图片索引确定是导出视图间视差运动向量候选者IDMVC还是经视图间预测的运动向量候选者IPMVC;
在所述当前块是在合并模式或跳过模式中进行帧间预测的情况下,确定所述IPMVC的可用性,其中所述IPMVC包括通过针对所述当前块经移位达第一偏移值的视差向量参考的参考视图中的参考块的运动信息,且其中所述IDMVC包括针对所述当前块经移位达第二不同偏移值的所述视差向量;
确定是将所述IPMVC还是所述IDMVC包含在候选者列表中;以及
基于所述候选者列表对不同于所述参考视图的当前视图中的当前图片中的所述当前块进行帧间预测译码。
14.根据权利要求13所述的装置,其中为了确定所述IPMVC的可用性,所述视频译码器经配置以在通过经移位达所述第一偏移值的所述视差向量参考的所述参考视图中的所述参考块的运动向量为参考所述参考视图中具有等于所述当前块的参考图片列表中的图片的图片次序计数POC值的POC值的图片的时间运动向量的情况下,确定所述IPMVC为可用的,且
其中所述视频译码器经配置以进行以下操作:
导出所述IPMVC;以及
避免进行所述IDMVC的所述导出。
15.根据权利要求13所述的装置,其中,在所述视频译码器确定所述IPMVC不可用且所述当前块是在合并模式中进行帧间预测的情况下,所述视频译码器经配置以导出所述IDMVC。
16.根据权利要求13所述的装置,其中所述IPMVC包括第一IPMVC,且所述参考块包括第一参考块,且其中所述视频译码器经配置以进行以下操作:
确定第二IPMVC,其中所述第二IPMVC包括在并不将所述视差向量移位的情况下通过所述视差向量参考的所述参考视图中的第二参考块的运动信息;以及
比较所述第一IPMVC的运动信息与所述第二IPMVC的运动信息,
其中,为了确定是将所述IPMVC还是所述IDMVC包含在所述候选者列表中,所述视频译码器经配置以在所述第二IPMVC的所述运动信息与所述第一IPMVC的所述运动信息相同的情况下,确定不将所述第一IPMVC包含在所述候选者列表中,及在所述第二IPMVC的所述运动信息不同于所述第一IPMVC的所述运动信息的情况下,确定将所述第一IPMVC包含在所述候选者列表中。
17.根据权利要求16所述的装置,其中,为了进行比较,所述视频译码器经配置以将所述第一IPMVC的所述运动信息仅与所述第二IPMVC的所述运动信息相比较。
18.根据权利要求13所述的装置,其中,为了基于至少一个参考图片索引确定是导出所述IPMVC还是所述IDMVC,所述视频译码器经配置以基于所述至少一个参考图片索引是参考时间参考图片还是视图间参考图片,确定是导出所述IPMVC还是所述IDMVC。
19.根据权利要求13所述的装置,其中所述视频译码器经配置以进行以下操作:
基于相邻块的视差运动向量及相邻块的所导出的视差向量中的一者确定所述当前块的所述视差向量;
在将所述第一偏移值加到所述视差向量或从所述视差向量中减去所述第一偏移值,以确定经移位达所述第一偏移值的所述视差向量;以及
将所述第二偏移值加到所述视差向量或从所述视差向量中减去所述第二偏移值,以确定经移位达所述第二偏移值的所述视差向量。
20.根据权利要求13所述的装置,其中所述IPMVC或所述IDMVC中仅一者包含在所述候选者列表中。
21.根据权利要求13所述的装置,其中所述第二偏移值包括用于水平地将所述视差向量移位的固定偏移值。
22.根据权利要求13所述的装置,其中所述参考块的所述运动信息包括运动向量及用于参考图片列表的一或多个参考索引中的至少一者。
23.根据权利要求13所述的装置,其中所述视频译码器包括视频解码器,其中所述视频解码器经配置以接收到所述候选者列表中的索引,其中,为了确定所述当前块是在合并模式、跳过模式还是AMVP模式中进行帧间预测,所述视频译码器经配置以解码指示所述当前块是在合并模式、跳过模式还是AMVP模式中进行帧间预测的语法元素,且其中,为了进行帧间预测译码,所述视频解码器经配置以基于所述候选者列表对所述当前块进行帧间预测解码。
24.根据权利要求13所述的装置,其中所述视频译码器包括视频编码器,其中所述视频编码器经配置以用信号发出指示所述当前块是在合并模式、跳过模式还是AMVP模式中进行帧间预测的语法元素,及用信号发出到所述候选者列表中的索引,且其中,为了进行帧间预测译码,所述视频编码器经配置以基于所述候选者列表对所述当前块进行帧间预测编码。
25.根据权利要求13所述的装置,其中所述装置包括以下各者中的一者:
集成电路IC;
微处理器;以及
无线通信装置。
26.一种计算机可读存储媒体,其具有存储在其上的指令,所述指令在经执行时致使用于译码视频数据的装置的一或多个处理器进行以下操作:
确定当前块是在合并模式、跳过模式还是高级运动向量预测AMVP模式中进行帧间预测;
在所述当前块是在AMVP模式中进行帧间预测的情况下,基于至少一个参考图片索引确定是导出视图间视差运动向量候选者IDMVC还是经视图间预测的运动向量候选者IPMVC;
在所述当前块是在合并模式或跳过模式中进行帧间预测的情况下,确定所述IPMVC的可用性,其中所述IPMVC包括通过针对所述当前块经移位达第一偏移值的视差向量参考的参考视图中的参考块的运动信息,且其中所述IDMVC包括针对所述当前块经移位达第二不同偏移值的所述视差向量;
确定是将所述IPMVC还是所述IDMVC包含在候选者列表中;以及
基于所述候选者列表对不同于所述参考视图的当前视图中的当前图片中的所述当前块进行帧间预测译码。
27.根据权利要求26所述的计算机可读存储媒体,其中所述IPMVC包括第一IPMVC,且所述参考块包括第一参考块,所述计算机可读存储媒体进一步包括致使所述一或多个处理器进行以下操作的指令:
确定第二IPMVC,其中所述第二IPMVC包括在并不将所述视差向量移位的情况下通过所述视差向量参考的所述参考视图中的第二参考块的运动信息;以及
将所述第一IPMVC的运动信息仅与所述第二IPMVC的所述运动信息相比较,
其中致使所述一或多个处理器确定是将所述IPMVC还是所述IDMVC包含在所述候选者列表中的所述指令包括致使所述一或多个处理器进行以下操作的指令:在所述第二IPMVC的所述运动信息与所述第一IPMVC的所述运动信息相同的情况下,确定不将所述第一IPMVC包含在所述候选者列表中,及在所述第二IPMVC的所述运动信息不同于所述第一IPMVC的所述运动信息的情况下,确定将所述第一IPMVC包含在所述候选者列表中。
28.根据权利要求26所述的计算机可读存储媒体,其中所述IPMVC或所述IDMVC中仅一者包含在所述候选者列表中。
29.一种用于译码视频数据的装置,其包括:
用于确定当前块是在合并模式、跳过模式还是高级运动向量预测AMVP模式中进行帧间预测的装置;
在所述当前块是在AMVP模式中进行帧间预测的情况下,用于基于至少一个参考图片索引确定是导出视图间视差运动向量候选者IDMVC还是经视图间预测的运动向量候选者IPMVC的装置;
在所述当前块是在合并模式或跳过模式中进行帧间预测的情况下,用于确定所述IPMVC的可用性的装置,其中所述IPMVC包括通过针对所述当前块经移位达第一偏移值的视差向量参考的参考视图中的参考块的运动信息,且其中所述IDMVC包括针对所述当前块经移位达第二不同偏移值的所述视差向量;
用于确定是将所述IPMVC还是所述IDMVC包含在候选者列表中的装置;以及
用于基于所述候选者列表对不同于所述参考视图的当前视图中的当前图片中的所述当前块进行帧间预测译码的装置。
30.根据权利要求29所述的装置,其中所述IPMVC包括第一IPMVC,且所述参考块包括第一参考块,所述装置进一步包括:
用于确定第二IPMVC的装置,其中所述第二IPMVC包括在并不将所述视差向量移位的情况下通过所述视差向量参考的所述参考视图中的第二参考块的运动信息;以及
用于将所述第一IPMVC的运动信息仅与所述第二IPMVC的运动信息相比较的装置,
其中用于确定是将所述IPMVC还是所述IDMVC包含在所述候选者列表中的所述装置包括用于在所述第二IPMVC的所述运动信息与所述第一IPMVC的所述运动信息相同的情况下,确定不将所述第一IPMVC包含在所述候选者列表中的装置,及用于在所述第二IPMVC的所述运动信息不同于所述第一IPMVC的所述运动信息的情况下,确定将所述第一IPMVC包含在所述候选者列表中的装置。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261734929P | 2012-12-07 | 2012-12-07 | |
US61/734,929 | 2012-12-07 | ||
US201261747350P | 2012-12-30 | 2012-12-30 | |
US61/747,350 | 2012-12-30 | ||
US14/098,151 US9357214B2 (en) | 2012-12-07 | 2013-12-05 | Advanced merge/skip mode and advanced motion vector prediction (AMVP) mode for 3D video |
US14/098,151 | 2013-12-05 | ||
PCT/US2013/073649 WO2014089475A1 (en) | 2012-12-07 | 2013-12-06 | Advanced merge/skip mode and advanced motion vector prediction (amvp) mode for 3d video |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104956678A true CN104956678A (zh) | 2015-09-30 |
CN104956678B CN104956678B (zh) | 2018-06-26 |
Family
ID=50880952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380063516.4A Active CN104956678B (zh) | 2012-12-07 | 2013-12-06 | 用于三维视频的高级合并/跳过模式及高级运动向量预测(amvp)模式 |
Country Status (12)
Country | Link |
---|---|
US (1) | US9357214B2 (zh) |
EP (1) | EP2929688B1 (zh) |
JP (1) | JP6271575B2 (zh) |
KR (1) | KR102033206B1 (zh) |
CN (1) | CN104956678B (zh) |
DK (1) | DK2929688T3 (zh) |
ES (1) | ES2734574T3 (zh) |
HU (1) | HUE045410T2 (zh) |
PL (1) | PL2929688T3 (zh) |
PT (1) | PT2929688T (zh) |
SI (1) | SI2929688T1 (zh) |
WO (1) | WO2014089475A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109983773A (zh) * | 2016-11-29 | 2019-07-05 | 联发科技股份有限公司 | 用于合并模式推导的视频编解码方法和装置 |
CN113454990A (zh) * | 2018-12-28 | 2021-09-28 | 英迪股份有限公司 | 帧间预测编解码方法及装置 |
Families Citing this family (70)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101269116B1 (ko) * | 2010-12-14 | 2013-05-29 | 엠앤케이홀딩스 주식회사 | 인터 예측 부호화된 동영상 복호화 방법 |
US9609353B2 (en) * | 2010-12-14 | 2017-03-28 | M&K Holdings Inc. | Apparatus for encoding a moving picture |
US9473789B2 (en) * | 2010-12-14 | 2016-10-18 | M&K Holdings Inc. | Apparatus for decoding a moving picture |
EP3139611A1 (en) * | 2011-03-14 | 2017-03-08 | HFI Innovation Inc. | Method and apparatus for deriving temporal motion vector prediction |
EP3937497B1 (en) | 2011-03-21 | 2023-02-22 | LG Electronics, Inc. | Motion vector predictor selection |
EP3879833A1 (en) * | 2011-05-31 | 2021-09-15 | JVCKENWOOD Corporation | Moving image encoding device, moving image encoding method and moving image encoding program, as well as moving image decoding device, moving image decoding method and moving image decoding program |
JP2013207755A (ja) * | 2012-03-29 | 2013-10-07 | Sony Corp | 画像処理装置および方法 |
US9998760B2 (en) * | 2012-11-16 | 2018-06-12 | Hfi Innovation Inc. | Method and apparatus of constrained disparity vector derivation in 3D video coding |
GB2509563A (en) * | 2013-01-04 | 2014-07-09 | Canon Kk | Encoding or decoding a scalable video sequence using inferred SAO parameters |
US9609347B2 (en) | 2013-04-04 | 2017-03-28 | Qualcomm Incorporated | Advanced merge mode for three-dimensional (3D) video coding |
WO2014163466A1 (ko) * | 2013-04-05 | 2014-10-09 | 삼성전자 주식회사 | 정수 픽셀의 위치와 관련하여 비디오의 부호화 및 복호화를 수행하는 방법과 그 장치 |
WO2014166109A1 (en) * | 2013-04-12 | 2014-10-16 | Mediatek Singapore Pte. Ltd. | Methods for disparity vector derivation |
KR102250092B1 (ko) * | 2013-10-14 | 2021-05-10 | 삼성전자주식회사 | 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치 |
RU2654129C2 (ru) | 2013-10-14 | 2018-05-16 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Функциональные возможности режима внутреннего предсказания с блочным копированием для кодирования и декодирования видео и изображений |
CN104717512B (zh) * | 2013-12-16 | 2019-07-23 | 浙江大学 | 一种前向双假设编码图像块的编解码方法和装置 |
RU2669005C2 (ru) * | 2014-01-03 | 2018-10-05 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Предсказание вектора блока в кодировании/декодировании видео и изображений |
US11284103B2 (en) | 2014-01-17 | 2022-03-22 | Microsoft Technology Licensing, Llc | Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning |
EP3155812B1 (en) | 2014-06-16 | 2023-04-05 | QUALCOMM Incorporated | Simplified shifting merge candidate and merge list derivation in 3d-hevc |
KR102413529B1 (ko) | 2014-06-19 | 2022-06-24 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 통합된 인트라 블록 카피 및 인터 예측 모드 |
WO2016049839A1 (en) | 2014-09-30 | 2016-04-07 | Microsoft Technology Licensing, Llc | Rules for intra-picture prediction modes when wavefront parallel processing is enabled |
CN112188205B (zh) | 2014-10-31 | 2024-04-05 | 三星电子株式会社 | 使用高精度跳过编码的视频编码设备和视频解码设备及其方法 |
CN107113442B (zh) | 2014-10-31 | 2020-08-07 | 三星电子株式会社 | 用于对运动矢量进行编码/解码的方法和装置 |
EP3247114A4 (en) * | 2015-01-21 | 2018-01-17 | Samsung Electronics Co., Ltd. | Method and apparatus for decoding inter-layer video, and method and apparatus for encoding inter-layer video |
US10638129B2 (en) * | 2015-04-27 | 2020-04-28 | Lg Electronics Inc. | Method for processing video signal and device for same |
JP6626319B2 (ja) * | 2015-11-18 | 2019-12-25 | キヤノン株式会社 | 符号化装置、撮像装置、符号化方法、及びプログラム |
US10819978B2 (en) * | 2016-01-11 | 2020-10-27 | Samsung Electronics Co., Ltd. | Image encoding method and apparatus, and image decoding method and apparatus |
US10560718B2 (en) | 2016-05-13 | 2020-02-11 | Qualcomm Incorporated | Merge candidates for motion vector prediction for video coding |
EP3499897B1 (en) * | 2016-08-10 | 2021-05-19 | Panasonic Intellectual Property Corporation of America | Camerawork generating method and video processing device |
US10812791B2 (en) * | 2016-09-16 | 2020-10-20 | Qualcomm Incorporated | Offset vector identification of temporal motion vector predictor |
EP3301929A1 (en) * | 2016-09-30 | 2018-04-04 | Thomson Licensing | Method and apparatus for encoding and decoding a large field of view video |
KR20180041831A (ko) * | 2016-10-17 | 2018-04-25 | 디지털인사이트 주식회사 | 블록 분할에 따른 skip 후보 리스트를 사용하는 비디오 코딩 방법 및 장치 |
CN110178371A (zh) * | 2017-01-16 | 2019-08-27 | 世宗大学校产学协力团 | 影像编码/解码方法及装置 |
US10523934B2 (en) * | 2017-05-31 | 2019-12-31 | Mediatek Inc. | Split based motion vector operation reduction |
CN109005412B (zh) * | 2017-06-06 | 2022-06-07 | 北京三星通信技术研究有限公司 | 运动矢量获取的方法及设备 |
CN111108750B (zh) * | 2017-09-19 | 2024-07-12 | 三星电子株式会社 | 用于对运动信息进行编码和解码的方法以及用于对运动信息进行编码和解码的设备 |
CN118381900A (zh) * | 2018-03-21 | 2024-07-23 | Lx 半导体科技有限公司 | 图像编码/解码设备以及发送图像数据的设备 |
US10397603B1 (en) * | 2018-05-08 | 2019-08-27 | Tencent America LLC | Method and apparatus for video coding |
JP2018164265A (ja) * | 2018-05-14 | 2018-10-18 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 3d−hevcにおける簡略化シフティングマージ候補およびマージリスト導出 |
CN110662052B (zh) | 2018-06-29 | 2022-07-08 | 北京字节跳动网络技术有限公司 | 更新查找表(lut)的条件 |
JP7137008B2 (ja) | 2018-06-29 | 2022-09-13 | 北京字節跳動網絡技術有限公司 | 1つまたは複数のルックアップテーブルを使用して、以前コーディングされた動き情報を順に記憶させてそれらを後続のブロックのコーディングに使用する概念 |
TWI722467B (zh) * | 2018-06-29 | 2021-03-21 | 大陸商北京字節跳動網絡技術有限公司 | 視頻處理方法、視頻系統中的裝置及電腦程式產品 |
EP3791585A1 (en) | 2018-06-29 | 2021-03-17 | Beijing Bytedance Network Technology Co. Ltd. | Partial/full pruning when adding a hmvp candidate to merge/amvp |
EP3791588A1 (en) | 2018-06-29 | 2021-03-17 | Beijing Bytedance Network Technology Co. Ltd. | Checking order of motion candidates in lut |
CN110662043B (zh) | 2018-06-29 | 2021-12-21 | 北京字节跳动网络技术有限公司 | 一种用于处理视频数据的方法、装置和计算机可读介质 |
WO2020003270A1 (en) | 2018-06-29 | 2020-01-02 | Beijing Bytedance Network Technology Co., Ltd. | Number of motion candidates in a look up table to be checked according to mode |
AU2019293670B2 (en) | 2018-06-29 | 2023-06-08 | Beijing Bytedance Network Technology Co., Ltd. | Update of look up table: FIFO, constrained FIFO |
CN114900694A (zh) | 2018-06-29 | 2022-08-12 | 抖音视界(北京)有限公司 | 哪个查找表需要更新或不更新 |
CN110662036B (zh) | 2018-06-29 | 2022-09-02 | 北京字节跳动网络技术有限公司 | 运动信息共享的限制 |
CN110677667B (zh) | 2018-07-02 | 2022-06-07 | 北京字节跳动网络技术有限公司 | 查找表的使用 |
WO2020016743A2 (en) * | 2018-07-15 | 2020-01-23 | Beijing Bytedance Network Technology Co., Ltd. | Extension of look-up table based motion vector prediction with temporal information |
WO2020053800A1 (en) | 2018-09-12 | 2020-03-19 | Beijing Bytedance Network Technology Co., Ltd. | How many hmvp candidates to be checked |
CA3115867C (en) | 2018-10-10 | 2023-10-10 | Huawei Technologies Co., Ltd. | Inter prediction method and apparatus |
US20200169757A1 (en) * | 2018-11-23 | 2020-05-28 | Mediatek Inc. | Signaling For Multi-Reference Line Prediction And Multi-Hypothesis Prediction |
CN117880495A (zh) * | 2018-12-03 | 2024-04-12 | 北京字节跳动网络技术有限公司 | 候选的最大数量的指示方法 |
US10778977B2 (en) * | 2018-12-05 | 2020-09-15 | Qualcomm Incorporated | Triangle motion information for video coding |
JP7222086B2 (ja) * | 2018-12-13 | 2023-02-14 | テンセント・アメリカ・エルエルシー | スキップ及びマージモードのためのマルチ仮説のシグナリング及び動きベクトル差分によるマージの距離オフセットテーブルのシグナリングのための方法及び装置 |
EP3903496A1 (en) * | 2018-12-29 | 2021-11-03 | VID SCALE, Inc. | History-based motion vector prediction |
CN113905239A (zh) * | 2018-12-29 | 2022-01-07 | 深圳市大疆创新科技有限公司 | 视频处理方法和设备 |
CN113273207A (zh) * | 2019-01-10 | 2021-08-17 | 北京字节跳动网络技术有限公司 | 基于几何分区的具有运动矢量差(MVD)的Merge |
JP7275286B2 (ja) | 2019-01-10 | 2023-05-17 | 北京字節跳動網絡技術有限公司 | Lut更新の起動 |
CN113383554B (zh) | 2019-01-13 | 2022-12-16 | 北京字节跳动网络技术有限公司 | LUT和共享Merge列表之间的交互 |
CN113330739A (zh) | 2019-01-16 | 2021-08-31 | 北京字节跳动网络技术有限公司 | Lut中的运动候选的***顺序 |
CN111264061B (zh) * | 2019-03-12 | 2023-07-25 | 深圳市大疆创新科技有限公司 | 视频编码的方法与装置,以及视频解码的方法与装置 |
CN113615193B (zh) | 2019-03-22 | 2024-06-25 | 北京字节跳动网络技术有限公司 | Merge列表构建和其他工具之间的交互 |
EP3963890A4 (en) | 2019-06-04 | 2022-11-02 | Beijing Bytedance Network Technology Co., Ltd. | BUILDING A LIST OF MOVEMENT CANDIDATES USING NEIGHBOR BLOCK INFORMATION |
KR20220016839A (ko) | 2019-06-04 | 2022-02-10 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 기하학적 분할 모드 코딩을 갖는 모션 후보 리스트 |
EP3967040A4 (en) | 2019-06-06 | 2022-11-30 | Beijing Bytedance Network Technology Co., Ltd. | CONSTRUCTION OF MOTION CANDIDATE LISTS FOR VIDEO ENCODING |
EP3984215A4 (en) | 2019-07-14 | 2022-08-24 | Beijing Bytedance Network Technology Co., Ltd. | TRANSFORM BLOCK SIZE RESTRICTION IN VIDEO CODING |
WO2021057996A1 (en) | 2019-09-28 | 2021-04-01 | Beijing Bytedance Network Technology Co., Ltd. | Geometric partitioning mode in video coding |
US11418810B2 (en) * | 2020-09-21 | 2022-08-16 | Tencent America LLC | Methods of inter picture motion prediction for multi-view video compression |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1428742A (zh) * | 2001-11-27 | 2003-07-09 | 三星电子株式会社 | 用于编码和解码关键字数据的装置和方法 |
CN101507267A (zh) * | 2005-09-07 | 2009-08-12 | 维德约股份有限公司 | 用于使用可缩放视频编码进行可缩放和低延迟视频会议的***和方法 |
CN102055982A (zh) * | 2011-01-13 | 2011-05-11 | 浙江大学 | 三维视频编解码方法及装置 |
US20120114040A1 (en) * | 2010-11-04 | 2012-05-10 | Shmueli Yaron | System and method for enhancing compression using skip macro block on a compressed video |
US20120257678A1 (en) * | 2011-04-11 | 2012-10-11 | Minhua Zhou | Parallel Motion Estimation in Video Coding |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102017627B (zh) * | 2008-04-25 | 2013-05-01 | 汤姆森许可贸易公司 | 使用基于深度信息的视差估计的多视点视频编码 |
-
2013
- 2013-12-05 US US14/098,151 patent/US9357214B2/en active Active
- 2013-12-06 DK DK13811104.2T patent/DK2929688T3/da active
- 2013-12-06 KR KR1020157017669A patent/KR102033206B1/ko active IP Right Grant
- 2013-12-06 PL PL13811104T patent/PL2929688T3/pl unknown
- 2013-12-06 CN CN201380063516.4A patent/CN104956678B/zh active Active
- 2013-12-06 PT PT13811104T patent/PT2929688T/pt unknown
- 2013-12-06 SI SI201331419T patent/SI2929688T1/sl unknown
- 2013-12-06 HU HUE13811104A patent/HUE045410T2/hu unknown
- 2013-12-06 WO PCT/US2013/073649 patent/WO2014089475A1/en active Application Filing
- 2013-12-06 ES ES13811104T patent/ES2734574T3/es active Active
- 2013-12-06 JP JP2015545884A patent/JP6271575B2/ja active Active
- 2013-12-06 EP EP13811104.2A patent/EP2929688B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1428742A (zh) * | 2001-11-27 | 2003-07-09 | 三星电子株式会社 | 用于编码和解码关键字数据的装置和方法 |
CN101507267A (zh) * | 2005-09-07 | 2009-08-12 | 维德约股份有限公司 | 用于使用可缩放视频编码进行可缩放和低延迟视频会议的***和方法 |
US20120114040A1 (en) * | 2010-11-04 | 2012-05-10 | Shmueli Yaron | System and method for enhancing compression using skip macro block on a compressed video |
CN102055982A (zh) * | 2011-01-13 | 2011-05-11 | 浙江大学 | 三维视频编解码方法及装置 |
US20120257678A1 (en) * | 2011-04-11 | 2012-10-11 | Minhua Zhou | Parallel Motion Estimation in Video Coding |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109983773A (zh) * | 2016-11-29 | 2019-07-05 | 联发科技股份有限公司 | 用于合并模式推导的视频编解码方法和装置 |
CN113454990A (zh) * | 2018-12-28 | 2021-09-28 | 英迪股份有限公司 | 帧间预测编解码方法及装置 |
US11792393B2 (en) | 2018-12-28 | 2023-10-17 | Intellectual Discovery Co., Ltd. | Inter prediction encoding and decoding method using combination of prediction blocks, and computer-readable storage medium bitstream to be decoded thereby |
CN113454990B (zh) * | 2018-12-28 | 2024-07-02 | 英迪股份有限公司 | 帧间预测编解码方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US20140161186A1 (en) | 2014-06-12 |
JP6271575B2 (ja) | 2018-01-31 |
CN104956678B (zh) | 2018-06-26 |
KR20150092249A (ko) | 2015-08-12 |
EP2929688B1 (en) | 2019-04-10 |
SI2929688T1 (sl) | 2019-07-31 |
DK2929688T3 (da) | 2019-07-22 |
ES2734574T3 (es) | 2019-12-10 |
KR102033206B1 (ko) | 2019-10-16 |
US9357214B2 (en) | 2016-05-31 |
JP2015536630A (ja) | 2015-12-21 |
WO2014089475A1 (en) | 2014-06-12 |
EP2929688A1 (en) | 2015-10-14 |
PT2929688T (pt) | 2019-07-17 |
HUE045410T2 (hu) | 2019-12-30 |
PL2929688T3 (pl) | 2019-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104956678B (zh) | 用于三维视频的高级合并/跳过模式及高级运动向量预测(amvp)模式 | |
CN104584558B (zh) | 用于3d视频的视图间预测的运动向量 | |
CN107211156B (zh) | 一种译码视频数据的方法、装置及计算机可读存储媒体 | |
CN105556969B (zh) | 视频译码中使用视差向量的块识别 | |
CN106797477B (zh) | 用于解码及编码视频数据的方法和设备 | |
CN104769949B (zh) | 用于视差向量导出的图片的选择的方法和装置 | |
CN104685883B (zh) | 用于3d视频的经视图间预测运动向量 | |
CN105379282B (zh) | 用于纹理译码的先进残余预测(arp)的方法和设备 | |
CN103503460B (zh) | 译码视频数据的方法和设备 | |
CN105325001A (zh) | 面向深度的视图间运动向量预测 | |
CN104662909A (zh) | 用于3d视频的视图间运动预测 | |
CN104521237A (zh) | 用于可缩放视频译码及3d视频译码的多假设运动补偿 | |
CN104170380A (zh) | 视频译码中的视差矢量预测 | |
CN104704833A (zh) | 多视图或3维视频译码中的高级视图间残差预测 | |
CN105122812A (zh) | 用于三维(3d)视频译码的高级合并模式 | |
CN104885458A (zh) | 用于视图间或层间参考图片的位流约束和运动向量限制 | |
CN104322070A (zh) | 用于高效率视频译码的高级别语法扩展 | |
CN105191319A (zh) | 对3d视频译码中的视差向量导出和运动向量预测的简化 | |
CN105580364A (zh) | Hevc中的基于子预测单元(pu)的时间运动向量预测和3d-hevc中的子pu设计 | |
CN105580365A (zh) | Hevc中的基于子预测单元(pu)的时间运动向量预测和3d-hevc中的子pu设计 | |
CN104838657A (zh) | 可缩放及多视角视频译码中的高级残差预测 | |
CN105580372A (zh) | 用于3d视频译码的组合式双向预测合并候选者 | |
CN104303502A (zh) | 用于3d-hevc的视差向量建构方法 | |
CN105637870A (zh) | 使用不对称运动分割的视频译码技术 | |
CN105009586A (zh) | 多视图或3维视频译码中的视图间残余预测 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |