CN104412597A - 用于3d视频编码的统一视差矢量推导的方法及装置 - Google Patents

用于3d视频编码的统一视差矢量推导的方法及装置 Download PDF

Info

Publication number
CN104412597A
CN104412597A CN201380035969.6A CN201380035969A CN104412597A CN 104412597 A CN104412597 A CN 104412597A CN 201380035969 A CN201380035969 A CN 201380035969A CN 104412597 A CN104412597 A CN 104412597A
Authority
CN
China
Prior art keywords
block
vector
depth
difference vector
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380035969.6A
Other languages
English (en)
Other versions
CN104412597B (zh
Inventor
林建良
陈渏纹
黄毓文
雷少民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN104412597A publication Critical patent/CN104412597A/zh
Application granted granted Critical
Publication of CN104412597B publication Critical patent/CN104412597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提出一种用于三维视频编码或多视图视频编码的方法及装置。根据本发明的实施例从深度信息中推导统一视差矢量以用于帧间模式和跳过/直接模式。使用统一推导方法以从对应于该当前区块的相应深度区块的深度采样的子集合中推导统一视差矢量。当需要将从深度数据中推导的视差矢量用于编码或解码时,将该统一推导方法运用于帧间模式、跳过模式或直接模式中。也可运用该统一视差矢量以推导用于定位对应区块的视差矢量,且因此可确定用于跳过模式或直接模式的视图间运动矢量候选项。

Description

用于3D视频编码的统一视差矢量推导的方法及装置
相关申请的交叉引用
本申请的权利要求范围要求如下申请的优先权:2012年7月5日递交的申请号为61/668,424,标题为「Disparity vector derivation for inter-view predictor in ATM」的美国临时案,2012年10月3日递交的申请号为61/744,888,标题为「Disparity vector derivation for videocoding」的美国临时案。在此合并参考上述申请案的全部内容。
技术领域
本发明有关于视频编码,更特别地,本发明有关于一种用于3D视频编码的基于深度数据(depth data)的视差矢量推导。
背景技术
近年来三维(three-dimensional,3D)电视已成为技术趋势,其目标在于为观众带来更真实的观看体验。多视图视频为捕捉和渲染3D视频的技术。通常通过使用多个摄像头同时捕捉场景(scene)而建立多视图视频,其中,适当地放置多个摄像头以使每个摄像头从一个视点捕捉场景。具有相应于视图的大量视频序列的多视图视频意味着巨大量的数据。相应地,多视图视频将需要用于存储的大量存储空间及/或用于传输的高带宽。因此,本领域已发展出多视图视频编码技术以减少所需存储空间和传输带宽。在三维和多视图编码***中,对纹理数据(texture data)和深度数据进行编码。一种直接的方法是对每个单一视图(single-view)的视频序列独立地应用传统视频编码技术而忽略不同视图之间的关联(correlation)。这种直接的技术将导致极差的编码性能。为了改进多视图视频编码效率,多视图视频编码利用视图间冗余(inter-view redundancy)。两个视图间的视差是由两个分别的摄像头的位置和角度而导致的。视差模型(例如仿射模型(affine model)用于指示两个视图帧中的对象的位移。此外,一个视图中的帧的运动矢量可从另一视图中的多个帧的运动矢量中推导出。
对于3D视频,除相应于多个视图的传统纹理数据以为,通常还捕获或推导深度数据。可捕捉深度数据以用于相应于一个视图或多个视图的视频。也可从不同视图的图像中推导深度信息。可以比纹理数据更低的空间分辨率(resolution)来表示深度数据。深度信息对于视图合成(synthesis)和视图间预测是有用的。为共享多个参考视图的先前已编码纹理信息,已加入视差补偿预测(disparity-compensated prediction,DCP)的概念以作为运动补偿预测(motion-compensated prediction,MCP)的替换选择。MCP指的是使用不同存取单元中的相同视图的先前已编码图像的帧间图像预测,而DCP指的是使用相同存取单元中的其他视图的已编码图像的帧内图像预测。用于DCP的矢量称为视差矢量(disparity vector,DV),对比于MCP中使用的运动矢量(MV)。
3DV-ATM版本2(基于3D视频编码的AVC测试模型)中的基于深度运动矢量预测方法包括两个主要工具。第一工具为用于帧间模式的方向分离(direction-separated)运动矢量预测,而第二工具为用于跳过模式(Skip mode)和直接模式(Direct mode)的基于深度的运动矢量补偿。可基于运动矢量预测而预测当前区块的运动矢量,且使用相应于相邻区块的候选(candidate)运动矢量以用于运动矢量预测。图1A为基于相邻区块的运动矢量预测(motionvector predictor,MVP)推导的示例,其中区块Cb对应于当前区块,且区块A、B及C对应于三个空间相邻区块。如果目标参考图像为时间预测图像,提供空间相邻区块(即区块A、B及C)的运动矢量且基于各个区块的纹理数据推导该运动矢量。如果用于相邻区块的时间运动矢量不可用,使用零矢量作为MV候选项。然后基于相邻区块A、B及C的运动矢量的中间值推导时间运动矢量预测。
另一方面,如果目标参考图像为视图间预测图像,使用相邻区块的视图间运动矢量以推导视图间运动矢量预测项。在图1B的模块110中,基于各个区块的纹理数据推导空间相邻区块的视图间运动矢量。模块160中也提供相应于当前区块Cb的深度图(depth map)。在模块120中,检查用于区块A、B及C的视图间运动矢量的可用性。如果视图间运动矢量不可用,如模块130中所示,使用当前区块的视差矢量以替换不可用的视图间运动矢量。如模块170中所示,从相应深度区块的最大深度值中推导视差矢量。使用区块A、B及C的视图间运动矢量的中间值作为视图间运动矢量预测项。对于传统的MVP过程,如模块140中所示,基于视图间MVP或时间MVP的运动矢量的中间值推导最终MVP。且如模块150中所示,执行基于运动矢量预测项的运动矢量编码。
图2A和图2B为根据3DV-ATM版本2的跳过和直接模式中基于深度的运动补偿(Depth-based Motion Competition,DMC)过程的流程图。该过程的输入包括相应于区块A、B及C的运动数据210,及相应于Cb和区块A、B及C的深度图220。Cb和区块A、B及C的区块配置如图1A中所示。在跳过模式中,根据预测方向,将纹理数据区块{A,B,C}的运动矢量{mvi}分离为多个时间和视图间组(步骤212)。然后分别对时间MV执行DMC(步骤214)及对视图间MV执行DMC(步骤222)。
对于既定组(时间或视图间)内部的每个运动矢量mvi,推导运动补偿深度区块(cb,mvi),其中,将运动矢量mvi运用至d(cb)的位置以从指向运动矢量mvi的参考深度图获取深度区块。然后根据公式(2)估计d(cb)之间d(cb,mvi)的相似性:
SAD(mvi)=SAD(d(cb,mvi),d(cb)).                                 (2)
选择既定组内达到最小绝对差值总和(sum of absolute differences,SAD)的mvi作为在特定方向(mvpdir)中该组的优选预测项,即
mvp dir = arg min mvp dir ( SAD ( mv i ) ) . - - - ( 3 )
时间方向(即mvptmp)中的预测项不同于视图间方向(即mvpinter)中的预测项。对于跳过模式根据公式(4)确定实现最小SAD的预测项(步骤232):
mvp opt = arg min mvp dir ( SAD ( mvp tmp ) , SAD ( mvp inter ) ) . - - - ( 4 )
最后,如果优选指向另一视图(视图间预测),对优选MVP运用下列检查。在优选MVP对应于“零MV”的情形中,以“视差MV”预测项替代优选MVP(步骤234),且“视差MV”预测项的推导为如公式(1)中所示。然后如步骤236中所示将最终MVP用于跳过模式。
D ‾ ( cb ) = ( 1 / N ) Σ i D ( cb ( i ) ) - - - ( 1 )
其中,i为当前区块Cb内部像素的索引,N为Cb内像素的总数目。
图2B为B条带(slice)的直接模式的MVP推导流程图,其类似于跳过模式的MVP推导过程。然而,分别对两个参考列表(即列表0和列表1)指向DMC。因此,对于每个方向预测(时间或视图间),DMC将产生分别用于列表0和列表1的两个预测项(mvp0dir和mvp1dir)(步骤244和254)。根据公式(5)计算相应于mvp0dir和mvp1dir的双向补偿区块(步骤246和256):
d ( cb , mvp dir ) = d ( cb , mvp 0 dir ) + d ( cb , mvp 1 dir ) 2 . - - - ( 5 )
对每个方向分别根据公式(2)计算双向补偿区块与Cb之间的SAD值。然后根据公式(4)从可用的mvpinter和mvptmp中选择用于直接模式的MVP(步骤262)。如果优选MVP mvpopt指向另一视图(即MVP对应于视图间预测),对优选MVP运用下列检查。如果优选MVP mvpopt对应于“零MV”,以“视差MV”预测项替代每个参考列表中的“零MV”(步骤264),且“视差MV”预测项的推导为如公式(1)中所示。然后如步骤266中所示将最终MVP用于直接模式。
如上所述,根据3DV-ATM版本2用于跳过和直接模式,从深度信息中推导视差矢量是相当复杂的。此外,根据深度信息的视差矢量推导在帧间模式和跳过/直接模式之间彼此不同。因此需要提出一种方法以简化推导过程而不会对性能产生显著影响。
发明内容
本发明提供一种用于三维视频编码或多视图视频编码的方法及装置。根据本发明的实施例从深度信息中推导统一视差矢量以用于帧间模式和跳过/直接模式。根据统一视差矢量对当前区块的输入数据进行编码或解码。该统一推导方法从相应区块中的深度采样的子集合中产生统一视差矢量,且当需要将从深度数据中推导的视差矢量用于编码或解码时,将该统一推导方法运用于帧间模式、跳过模式或直接模式中。该子集合包括比该相应深度区块更少的深度采样。在一些实施例中,基于当前区块的相邻区块集合推导一或多个视图间MV或DV预测项,其中,如果该相邻区块集合中的一个区块不具有MV或DV时,从由该统一视差矢量定位的对应区块中产生相应于该相邻区块集合中的该区块的一个视图间MV或DV预测项。如果选择帧间模式用于当前区块,使用该一或多个视图间MV或DV预测项对当前区块的MV/DV或编码MV/DV进行编码或解码。在一个实施例中,如果选择跳过模式或直接模式用于当前区块,使用从一或多个DV预测项推导的DV所定位的对应区块中产生的视图间MV候选项对输入数据进行编码或解码。基于当前区块的相邻区块集合确定一或多个DV预测项,其中,如果该相邻区块集合中的一个区块不具有DV时,从该统一视差矢量中产生相应于相邻区块集合中的该区块的一个DV预测项。可将该统一视差矢量用于定位视图间图像中的对应区块以用于DCP、方向分离预定矢量预测、视图间运动预测或视图间冗余预测。本发明的另一方面提出来自深度信息的视差矢量推导的统一推导方法。可从相应于当前区块的深度值的子集合中产生统一视差矢量,其中,该子集合包括比相应的深度区块更少的深度采样。在一些实施例中,该子集合包括一或多个边界采样,例如,相应深度区块的底部行中的中间采样或两个边角采样、四个边角采样。在一个实施例中,该子集合更包括相应于深度区块的中心采样。统一视差矢量可对应于该相应深度区块的该子集合的多个深度值的最大值、平均值、中间值、最多值、或上述的线性组合,其中该子集合包括两个或更多个深度采样。在一个实施例中,从相应深度区块的四个边角采样中产生统一视差矢量。此外,可从相应深度区块的最大深度值采样中产生统一视差矢量。相邻区块集合可包括区块A、B及C,分别对应于当前区块的左侧的第一位置、当前区块的上端左侧的第二位置及当前区块的右上边角的对角线的第三位置。根据跳过/直接模式中的查找顺序从该当前区块的该相邻区块集合中确定该视图间运动矢量或视差矢量候选项。
可使用标志以指示是否统一推导方法由该帧间模式、该跳过模式或该直接模式所共享。
附图说明
图1A为使用相邻区块以推导用于当前区块的运动矢量预测项的示意图;
图1B为用于帧间模式的方向分离运动矢量预测的示例示意图,其中,以视差矢量替换不可用视图间运动矢量,且基于当前视图的所有深度采样确定该视差矢量;
图2A为用于跳过模式中的DMC的推导过程的示例流程图;
图2B为用于直接模式中的DMC的推导过程的示例流程图;
图3为基于相应深度区块的四个边角深度值的视差矢量推导的示例示意图;
图4为用于3DV-ATM版本5中跳过/直接模式的基于优先级的MVP候选项推导的示意图;
图5A-5C为用于来自深度信息的视差矢量推导的深度采样示意图;
图6为根据本发明的一个实施例的用于帧间模式和跳过/直接模式的包括统一视差矢量的三维编码***的流程图。
具体实施方式
如上所述,方向分离运动矢量预测包括时间和视图间运动矢量预测。如果目标参考图像为时间预测图像,在运动矢量预测的推导中运用当前区块周围的相邻区块(例如A、B及C)的时间运动矢量。如果时间运动矢量不可用,使用零矢量。然后推导运动矢量预测项作为相邻区块A、B及C的运动矢量的中间值。
如果目标参考图像为视图间预测图像,运用相邻区块的视图间运动矢量以用于视图间预测。如果视图间运动矢量不可用,根据3DV-ATM版本2从相应深度区块内部的深度采样的最大深度值中推导视差矢量。为了简化视差矢量推导过程,如图3所示,根据本发明的一个实施例基于相应深度区块的四个边角采样(corner sample)处的深度值推导视差矢量。然后,如果相邻区块A、B及C的视图间运动矢量不可用,推导运动矢量预测项作为视图间运动矢量或视差矢量的中间值。根据本发明,可使用与运动矢量预测项相同的推导过程来推导视差矢量预测项。
在跳过/直接模式中,基于预设推导顺序推导MVP候选项。如图4所示,根据3DV-ATM版本5使用相应于相邻区块A、B及C(仅当C不可用时使用D)的视图间候选项和三个空间候选项以用于推导视图间MV候选项或MVP候选项。另一方面,根据推导的MVP候选项的运动信息执行运动预测。除运动矢量以外,运动信息包括预测方向(无方向预测(uni-direction prediction)或双向预测(bi-direction prediction))、参考图像类型(时间预测、虚拟预测(virtual prediction)或视图间预测)及参考图像索引。
图4为视图间MV或MVP候选项推导的示意图。使用相关视图(dependent view)中的当前区块410的中心点(central point)和其视差矢量以找到基础视图中的对应点。当识别对应点之后,使用基础视图中覆盖(cover)区块420的MV作为当前区块的视图间MV或MVP候选项。可从中心点的相邻区块或深度值中推导视差矢量。如果多个相邻区块的其中一个具有DV(例如图4中相邻区块A的DVA),使用相邻区块的DV作为视差以定位对应点。否则,使用基于深度的视差矢量以定位对应点,其中,使用中心点的深度值和摄像机参数来推导基于深度的视差矢量。图4中的相邻区块包括区块A、B及C,分别对应于当前区块的左侧的第一位置、当前区块的上端左侧的第二位置及当前区块的右上边角的对角线的第三位置。区块D对应于当前区块的左上边角的对角线的第四位置,且当区块C不具有视差矢量时,区块D用于替换区块C。
在3DV-ATM版本2中,用于帧间模式的基于深度的视差矢量推导为基于当前区块的最大深度值。对于大区块,当前区块的最大值的推导涉及大量的计算。本发明的实施例确定当前区块的4个角落采样的深度值中的最大深度值,这将减少所需的计算量。另一方面,在3DV-ATM版本5中,用于跳过/直接模式的基于深度的视差矢量推导为基于当前区块的中心位置的深度值。如之前所述,在3DV-ATM版本2中用于跳过/直接模式的基于深度的视差矢量推导是相当复杂的。因此,帧间模式与跳过/直接模式之间的基于深度的视差矢量推导是不同的。
为了简化基于深度的视差矢量推导,本发明的实施例使用统一推导(unified derivation)方法以产生同时用于帧间模式和跳过/直接模式的统一视差矢量。当需要从深度数据中推导的视差矢量时,将该统一推导方法运用于帧间模式及跳过/直接模式。例如,用于帧间模式和跳过/直接模式的视差矢量推导可基于如图3中所示的当前区块的四个角落样本。又例如,用于帧间模式和跳过/直接模式的视差矢量推导可基于如图5A中所示的当前区块的底部行的中间深度值。又例如,用于帧间模式和跳过/直接模式的视差矢量推导可基于如图5B中所示的当前区块的底部行的两端的深度值。帧间模式和跳过/直接模式也可使用比相应深度区块具有更少深度采样的深度的任意子集合。在一些示例中,相应于当前区块的一或多个冗余深度值用于视差矢量推导。又例如,可使用中心深度值以推导视差矢量。中心深度值对应于当前区块的中心点(在图5C中以510表示)的左上采样、右上采样、左下采样或右下采样。又例如,可使用用于中心位置和四个角落位置的深度值。
除最大值以外,推导的视差矢量可对应于相应深度区块或相应深度区块的子集合的深度值的平均值、中间值(the median value)、最多值(the most frequent occurrence)或上述的线性组合,其中该子集合包括两个或更多个深度采样。例如,推导的视差矢量对应于相应深度区块的四个边角采样的的最大值,且该推导的视差矢量由该帧间模式、跳过模式/直接模式所共享。根据本发明,也可将统一视差矢量的使用运用于用于跳过/直接模式的视图间DV或视差矢量预测(disparity vector prediction,DVP)。
在自适应运动矢量预测(adaptive motion vector prediction,AMVP)/帧间模式、合并模式(Merge mode)或跳过模式中的视图间候选项、视图间运动预测、视图间视差预测或视图间冗余预测中,可使用推导的视差矢量推导视图间运动矢量或视差矢量预测项以定位参考冗余区块。当使用推导的视差矢量作为AMVP/帧间模式中的视图间运动矢量预测项时,推导的视差矢量指向视图间参考图像。在AMVP/帧间模式中,可使用推导的视差矢量以定位用于视图间运动矢量或视差矢量预测的参考区块。在跳过模式或直接模式中,可使用推导的视差矢量以推导用于编码模块的视图间运动矢量或视差候选项,其中,在跳过模式中既不传输冗余信号也不传输运动信息,且在直接模式中不传输运动信息。在帧间模式中,推导的视差矢量可用作方向分离运动矢量预测项。在用于跳过/直接模式的基于优先权MVP候选项推导中,可使用推导的视差矢量以定位相关视图中的对应点。
将用于帧间模式和跳过/直接模式的统一视差矢量推导方法与3DV-ATM版本5.1中的***进行对比。根据本发明的实施例用于帧间模式和跳过/直接模式的待存取的深度采样的数量为4(即相应于当前区块的4个边角采样的深度值)。而另一方面,在3DV-ATM版本5.1中,用于帧间模式的深度采样的数目为4(即当前区块的4个边角采样的深度值)和用于跳过/直接模式的深度采样的数量为1(即相应于当前区块的中心深度值)。性能对比如表格1中所示,其中使用基于3DV-ATM版本5.1的***作为参考。值“dBR”对应于以百分比表示的比特率差异,其中正值表示改进的PSNR。比较基于不同的测试视频集合(S01-S08)。如表格1中所示,对于纹理编码、纹理和深度编码以及合成视频,根据本发明的方法以较低的平均比特率实现相同的PSNR。
表格1
执行另一比较,其中,对于帧间模式和跳过/直接模式,统一视差推导方法是基于一个深度采样(即当前区块的中心深度值)。而另一方面,如之前固有***是基于3DV-ATM版本5.1。结果如表格2中所示。如表格2中所示,对于纹理编码、纹理和深度编码以及合成视频,根据本发明的方法以较低的平均比特率实现相同的PSNR。
表格2
可使用标志以指示是否统一推导方法由该帧间模式、该跳过模式或该直接模式所共享用于推导视差矢量。该标志可包括在比特率的序列层级、图像层级、条带层级、最大编码单元(largest coding unit,LCU)或编码单元。
图6为根据本发明的一个实施例的用于帧间模式和跳过/直接模式的包括统一推导方法三维编码或解码***的流程图。如步骤610中所示,***接收相应于当前区块的运动矢量或视差矢量的输入数据。对于编码,输入数据对应于待预测编码的当前区块的运动矢量或视差矢量。对于解码,第一数据对应于运动矢量或视差矢量的冗余数据(即预测差值)。可从存储装置(例如计算机存储器、缓存(RAM或DRAM)等媒介)中撷取输入数据。也可从处理器(例如控制器、中央处理单元、数字信号处理器或产生第一数据的电子电路)中接收输入数据。在步骤620中,使用统一推导方法以从对应于当前区块的相应深度区块的深度数据中推导统一视差矢量,其中,该统一推导方法从该相应深度区块中的深度采样的子集合中产生该统一视差矢量,且当需要将从深度数据中推导的一个视差矢量用于编码或解码时,将该统一推导方法运用于帧间模式、跳过模式或直接模式中,其中,该子集合包括比该相应深度区块更少的深度采样。如步骤630中所示,如果选择帧间模式或跳过模式或直接模式的空间候选项(spatial candidate)用于当前区块,使用该视差矢量预测项或运动矢量预测项编码或解码该输入数据。
上述的叙述以足够的细节叙述使本领域技术人员能藉由上述的描述实施本发明所揭露的***以及方法。对本领域技术人员而言,对上述实施例的各种修改为显而易见的,以及本发明所定义的原理亦可应用于其它实施例中。因此,前述的实施例并非用于限定本发明范围,但符合本发明所揭露的原理以及新颖特征的最大范围。在上述的详细描述中,所描述的各种特定细节用于彻底理解本发明。然而,本领域技术人员皆可理解并实施上述特定细节。
前述本发明的示范实施例可透过各种硬件、软件编码或者两者的结合实现。举例来说,本发明一个实施例可为嵌入于视频压缩晶片中的电路或者嵌入于视频压缩软件的程式编码以执行本发明所述的程序。本发明一实施例亦可为数字信号处理器所执行的程式编码以执行本发明所述的程序。本发明亦可包括由计算机处理器、数字信号处理器、微处理器或者现场可编辑逻辑门阵列(field programmable gate array,FPGA)所执行的复数功能。上述的处理器系透过定义本发明的特定方法的计算机可读取软件编码或者固件编码执行特定任务。软件编码或者固件编码可为不同的程式语言以及不同的格式或者类型。亦可对不同的目标平台编译软件编码。无论如何,根据本发明的软件编码的不同编码格式、类型以及语言以及用于执行任务的其它配置编码将不脱离本发明的精神以及范围。
在不脱离本发明的精神以及范围内,本发明可以其它特定格式呈现。所描述的实施例在所有方面仅用于说明的目的而并非用于限制本发明。本发明的保护范围当视后附的权利要求所界定者为准。本领域技术人员皆在不脱离本发明的精神以及范围内做些许更动与润饰。

Claims (11)

1.一种用于三维视频编码或解码***的方法,该方法包括:
接收相应于当前区块的运动矢量或视差矢量的输入数据;
使用统一推导方法以从对应于该当前区块的相应深度区块的深度数据中推导统一视差矢量,其中,该统一推导方法从该相应深度区块中的多个深度采样的子集合中产生该统一视差矢量,且当需要将从深度数据中推导的视差矢量用于编码或解码时,将该统一推导方法运用于帧间模式、跳过模式或直接模式中,其中,该子集合包括比该相应深度区块更少的深度采样;以及
在该帧间模式、跳过模式或直接模式中使用该统一视差矢量编码或解码该输入数据。
2.如权利要求1所述的方法,其特征在于,更包括:
使用该统一视差矢量基于该当前区块的相邻区块集合确定一或多个视差矢量预测项或一或多个运动矢量预测项,其中,如果该相邻区块集合中的第一区块不具有任何视差矢量,从该统一视差矢量中产生相应于该相邻区块集合中的该第一区块的一个视差矢量预测项,且其中,如果该相邻区块集合中的第二区块不具有任何运动矢量,从由该统一视差矢量定位的对应区块中产生相应于该相邻区块集合中的该第二区块的一个运动矢量预测项;以及
使用利用该统一视差矢量确定的该多个视差矢量预测项或多个运动矢量预测项进行编码或解码。
3.如权利要求2所述的方法,其特征在于,根据查找顺序从该当前区块的该相邻区块集合中确定该一或多个运动矢量预测项或该一或多个视差矢量预测项。
4.如权利要求1所述的方法,其特征在于,该统一视差矢量用于定位视图间图像中的对应区块以用于视差补偿预测、方向分离运动矢量预测、视图间运动预测或视图间冗余预测。
5.如权利要求1所述的方法,其特征在于,该子集合包括该相应深度区块的一或多个边界采样。
6.如权利要求5所述的方法,其特征在于,该子集合更包括该相应深度区块的中心采样。
7.如权利要求5所述的方法,其特征在于,该子集合更包括该相应深度区块的四个边角采样。
8.如权利要求1所述的方法,其特征在于,该统一视差矢量对应于该相应深度区块的该子集合的多个深度值的最大值、平均值、中间值、最多值、或上述的线性组合,其中该子集合包括两个或更多个深度采样。
9.如权利要求1所述的方法,其特征在于,使用标志以指示是否该统一推导方法由该帧间模式、该跳过模式或该直接模式所共享。
10.如权利要求1所述的方法,其特征在于,更包括:
基于该当前区块的相邻区块集合确定一或多个视差矢量预测项,其中,如果该相邻区块集合中的一个区块不具有任何视差矢量,从该统一视差矢量中产生相应于该相邻区块集合中的该一个区块的一个视差矢量预测项;
确定运动矢量候选项,其中该运动矢量候选项从对应区块中产生,且该对应区块由从该一或多个视差矢量预测项中推导的一个视差矢量所定位;以及
使用该运动矢量候选项编码或解码该输入数据。
11.一种用于三维视频编码或解码***的装置,该装置包括:
接收相应于当前区块的运动矢量或视差矢量的输入数据的单元;
使用统一推导方法以从对应于当前的相应深度区块的深度数据中推导统一视差矢量的单元,其中,该统一推导方法从该相应深度区块中的多个深度采样的子集合中产生该统一视差矢量,且当需要将从深度数据中推导的一个视差矢量用于编码或解码时,将该统一推导方法运用于帧间模式、跳过模式或直接模式中,其中,该子集合包括比该相应深度区块更少的深度采样;以及
在该帧间模式、跳过模式或直接模式中使用该统一视差矢量编码或解码该输入数据的单元。
CN201380035969.6A 2012-07-05 2013-07-05 用于3d视频编码的统一视差矢量推导的方法及装置 Active CN104412597B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261668424P 2012-07-05 2012-07-05
US61/668,424 2012-07-05
US201261744888P 2012-10-03 2012-10-03
US61/744,888 2012-10-03
PCT/CN2013/078881 WO2014005548A1 (en) 2012-07-05 2013-07-05 Method and apparatus of unified disparity vector derivation for 3d video coding

Publications (2)

Publication Number Publication Date
CN104412597A true CN104412597A (zh) 2015-03-11
CN104412597B CN104412597B (zh) 2017-09-08

Family

ID=49881360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380035969.6A Active CN104412597B (zh) 2012-07-05 2013-07-05 用于3d视频编码的统一视差矢量推导的方法及装置

Country Status (5)

Country Link
US (1) US9843820B2 (zh)
EP (1) EP2842334B1 (zh)
JP (1) JP5970609B2 (zh)
CN (1) CN104412597B (zh)
WO (1) WO2014005548A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10880543B2 (en) 2015-08-29 2020-12-29 Huawei Technologies Co., Ltd. Image prediction method and device

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2727366B1 (en) * 2011-10-11 2018-10-03 MediaTek Inc. Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc
US9736497B2 (en) * 2012-07-10 2017-08-15 Sharp Kabushiki Kaisha Prediction vector generation device, image encoding device, image decoding device, prediction vector generation method, and program
CN104704819B (zh) * 2012-10-03 2016-12-21 联发科技股份有限公司 3d视频编码的视差矢量推导和视图间运动矢量预测的方法及装置
KR20140051790A (ko) * 2012-10-22 2014-05-02 (주)휴맥스 3차원 영상의 뷰간(inter-view) 움직임 벡터 예측에서의 변이 벡터 유도 방법
CN104919799A (zh) * 2013-01-07 2015-09-16 联发科技股份有限公司 用于三维视频编解码的从深度到视差矢量转换的方法和装置
MX349793B (es) 2013-01-08 2017-08-11 Lg Electronics Inc Metodo y aparato para procesar la señal de video.
FR3002716A1 (fr) * 2013-02-26 2014-08-29 France Telecom Derivation de vecteur de mouvement de disparite, codage et decodage video 3d utilisant une telle derivation
CN105122808B (zh) * 2013-04-10 2018-08-03 联发科技股份有限公司 三维或多视图视频编码或解码的方法及装置
US9716899B2 (en) * 2013-06-27 2017-07-25 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
JP2016526853A (ja) * 2013-07-12 2016-09-05 サムスン エレクトロニクス カンパニー リミテッド 深さ基盤ディスパリティベクトルを利用するインターレイヤビデオ復号化方法及びその装置、並びに深さ基盤ディスパリティベクトルを利用するインターレイヤビデオ符号化方法及びその装置
KR101631281B1 (ko) * 2013-07-12 2016-06-16 삼성전자주식회사 뷰 합성 예측을 이용한 인터 레이어 비디오 복호화 방법 및 그 장치 뷰 합성 예측을 이용한 인터 레이어 비디오 부호화 방법 및 장치
KR102254599B1 (ko) * 2013-10-18 2021-05-21 엘지전자 주식회사 멀티-뷰 비디오 코딩에 있어서, 뷰 합성 예측 방법 및 이를 이용한 머지 후보 리스트 구성 방법
KR102260146B1 (ko) 2014-03-31 2021-06-03 인텔렉추얼디스커버리 주식회사 시점 간 움직임 병합 후보 유도 방법 및 장치
US9743110B2 (en) 2014-10-09 2017-08-22 Hfi Innovation Inc. Method of 3D or multi-view video coding including view synthesis prediction
CN104333760B (zh) 2014-10-10 2018-11-06 华为技术有限公司 三维图像编码方法和三维图像解码方法及相关装置
CN112188206B (zh) 2014-10-31 2023-10-20 三星电子株式会社 使用高精度跳过编码的视频编码设备和视频解码设备及其方法
US10728542B2 (en) * 2018-04-09 2020-07-28 Tencent America LLC Methods and apparatuses for sub-block motion vector prediction
CN112237003B (zh) 2018-12-26 2024-05-31 苹果公司 用于对图像信号编码/解码的方法及其装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101617537A (zh) * 2007-01-17 2009-12-30 Lg电子株式会社 用于处理视频信号的方法和装置
US20100118942A1 (en) * 2007-06-28 2010-05-13 Thomson Licensing Methods and apparatus at an encoder and decoder for supporting single loop decoding of multi-view coded video
CN102017627A (zh) * 2008-04-25 2011-04-13 汤姆森许可贸易公司 使用基于深度信息的视差估计的多视点视频编码

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8823821B2 (en) * 2004-12-17 2014-09-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using motion vector predictor list
CN101056398A (zh) 2006-03-29 2007-10-17 清华大学 一种多视编码过程中获取视差矢量的方法及编解码方法
JP4605715B2 (ja) * 2006-06-14 2011-01-05 Kddi株式会社 多視点画像圧縮符号化方法、装置及びプログラム
WO2008029345A1 (en) * 2006-09-04 2008-03-13 Koninklijke Philips Electronics N.V. Method for determining a depth map from images, device for determining a depth map
CN101453662B (zh) 2007-12-03 2012-04-04 华为技术有限公司 立体视频通信终端、***及方法
CN101483770B (zh) * 2008-01-08 2011-03-16 华为技术有限公司 一种编解码方法及装置
WO2010053332A2 (ko) * 2008-11-10 2010-05-14 엘지전자 주식회사 시점간 예측을 이용한 비디오 신호 처리 방법 및 장치
JP2012100019A (ja) 2010-11-01 2012-05-24 Sharp Corp 多視点画像符号化装置及び多視点画像復号装置
US8687050B2 (en) * 2010-12-02 2014-04-01 Tektronix, Inc. Stereoscopic extinction ratio test pattern
EP2727366B1 (en) 2011-10-11 2018-10-03 MediaTek Inc. Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc
US9503702B2 (en) * 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
KR20150020175A (ko) * 2012-04-24 2015-02-25 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US9258562B2 (en) * 2012-06-13 2016-02-09 Qualcomm Incorporated Derivation of depth map estimate
AU2013305770A1 (en) * 2012-08-21 2015-02-26 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
US9253486B2 (en) * 2012-09-28 2016-02-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for motion field backward warping using neighboring blocks in videos
US9264691B2 (en) * 2012-09-28 2016-02-16 Mitsubishi Electric Research Laboratories, Inc. Method and system for backward 3D-view synthesis prediction using neighboring blocks
US9237345B2 (en) * 2013-02-26 2016-01-12 Qualcomm Incorporated Neighbor block-based disparity vector derivation in 3D-AVC
US9667996B2 (en) * 2013-09-26 2017-05-30 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101617537A (zh) * 2007-01-17 2009-12-30 Lg电子株式会社 用于处理视频信号的方法和装置
US20100118942A1 (en) * 2007-06-28 2010-05-13 Thomson Licensing Methods and apparatus at an encoder and decoder for supporting single loop decoding of multi-view coded video
CN102017627A (zh) * 2008-04-25 2011-04-13 汤姆森许可贸易公司 使用基于深度信息的视差估计的多视点视频编码

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HEIKO SCHWARZ等: "3D-HEVC-CE3 results on inter-view motion parameter prediction by HHI", 《99.MPEG MEETING;SAN JOSACER; MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10880543B2 (en) 2015-08-29 2020-12-29 Huawei Technologies Co., Ltd. Image prediction method and device
US11368678B2 (en) 2015-08-29 2022-06-21 Huawei Technologies Co., Ltd. Image prediction method and device
US11979559B2 (en) 2015-08-29 2024-05-07 Huawei Technologies Co., Ltd. Image prediction method and device

Also Published As

Publication number Publication date
US9843820B2 (en) 2017-12-12
JP2015525999A (ja) 2015-09-07
EP2842334A1 (en) 2015-03-04
EP2842334A4 (en) 2015-12-23
US20150201216A1 (en) 2015-07-16
CN104412597B (zh) 2017-09-08
WO2014005548A1 (en) 2014-01-09
JP5970609B2 (ja) 2016-08-17
EP2842334B1 (en) 2019-02-20

Similar Documents

Publication Publication Date Title
CN104412597A (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
CN104170389B (zh) 运动向量预测器的产生方法和装置及视点间运动向量预测器候选的产生方法
CN105874799B (zh) 用于3d视频译码的基于块的高级残差预测
CN106471807B (zh) 包括视角合成预测的三维或多视角视频的编码方法
CN105453561B (zh) 三维以及多视图视频编码中导出默认视差向量的方法
KR101753171B1 (ko) 3d 비디오 코딩에서의 간략화된 뷰 합성 예측 방법
CN104718760B (zh) 用于三维和多视图视频编码的方法和装置
US9736498B2 (en) Method and apparatus of disparity vector derivation and inter-view motion vector prediction for 3D video coding
CN105474640B (zh) 三维视频编码的摄像机参数发信的方法和装置
CN103907346A (zh) 用于三维视频编码与高效率视频编码的运动矢量及视差矢量导出方法及其装置
CN104412587A (zh) 三维视频编码中视图间候选获取的方法和设备
CN104521236A (zh) 三维视频编码中的被限制视差矢量获取方法
US20150365649A1 (en) Method and Apparatus of Disparity Vector Derivation in 3D Video Coding
CN104662910A (zh) 3d视频编码中的虚拟深度值的方法和装置
CN105637872A (zh) 图像解码装置、图像编码装置
CN104429074A (zh) 3d视频编码中视差矢量导出的方法和装置
CN104798375A (zh) 在3d视频编码中约束视差向量推导的方法及装置
KR102572012B1 (ko) 시점 간 움직임 병합 후보 유도 방법 및 장치
KR20120084629A (ko) 움직임 정보 및 변이 정보를 부호화/복호화하는 영상 처리 장치 및 방법
CN104919799A (zh) 用于三维视频编解码的从深度到视差矢量转换的方法和装置
US20150264356A1 (en) Method of Simplified Depth Based Block Partitioning
CN103108183B (zh) 一种三维视频中Skip和Direct模式运动矢量的预测方法
CA2921759C (en) Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
CN105144714B (zh) 三维或多视图视频编码或解码的方法及装置
CN105812819B (zh) 执行混成多重假设移动补偿预测的方法以及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant