CN104904206A - 用于三维视频编解码中直接和跳跃模式的空间运动矢量预测推导方法和装置 - Google Patents

用于三维视频编解码中直接和跳跃模式的空间运动矢量预测推导方法和装置 Download PDF

Info

Publication number
CN104904206A
CN104904206A CN201380069717.5A CN201380069717A CN104904206A CN 104904206 A CN104904206 A CN 104904206A CN 201380069717 A CN201380069717 A CN 201380069717A CN 104904206 A CN104904206 A CN 104904206A
Authority
CN
China
Prior art keywords
motion vector
reference picture
block
relevant
vector prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380069717.5A
Other languages
English (en)
Other versions
CN104904206B (zh
Inventor
林建良
陈渏纹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN104904206A publication Critical patent/CN104904206A/zh
Application granted granted Critical
Publication of CN104904206B publication Critical patent/CN104904206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种空间运动矢量预测候选推导方法和装置，用于三维视频编解码中的直接模式和跳跃模式。每个相邻块的运动矢量与指向相应参考图片的相应参考图片索引有关。对于直接模式和跳跃模式来说，仅当相应参考图片索引与所选目标参考图片索引相同时，将每个相邻块的运动矢量选作每个相邻块的空间运动矢量预测候选。在一实施例中，目标参考图片索引被设定为0。在另一实施例中，在直接模式或跳跃模式中，目标参考图片索引对应于与相邻块有关的相应参考图片索引的大多数值。

Description

用于三维视频编解码中直接和跳跃模式的空间运动矢量预测推导方法和装置
相关申请的交叉引用
本发明要求2013年1月7日递交的No.61/749,458，发明名称为“Methodsof Simplified Disparity Vector Derivation and Inter-view Motion VectorPrediction in 3D or Multi-view Video Coding”的美国临时专利申请案的优先权，且将上述美国临时专利申请案作为参考。
技术领域
本发明有关于视频编解码，且尤其有关于三维(three-dimensional，3D)视频编解码中直接模式(Direct mode)和跳跃模式(Skip mode)的空间运动矢量(Motion Vector，MV)预测候选推导(derivation)。
背景技术
近些年3D电视已成为技术潮流，其目标是带给观看者非常好的观看体验。多视图(multi-view)视频技术用来捕捉和渲染(render)3D视频。多视图视频通常通过同时采用多个相机捕捉一场景而建立，其中多个相机被适当放置，使得每个相机可从一个视点(viewpoint)捕捉该场景。具有与视图有关的大量视频序列的多视图视频代表大量数据。相应地，多视图视频需要大存储空间进行存储以及/或者高带宽进行传输。因此，本技术领域中已发展了多视图视频编解码技术，以减少所需的存储空间或者传输带宽。ー种直接的方法是对每个单ー视图视频序列独立地应用传统视频编解码技术，而忽略不同视图之间的任何关联(correlation)。这种直接的技术可能导致较差的编解码性能。为了改进多视图视频编解码效率，多视图视频编解码总是利用视图间的冗余。两个视图间的视差(disparity)由两个相机之间的位置和角度引起。视差模型，如仿射模型(affine model)，被用来指示两个视图帧中物体的位移。此外，一视图中帧的运动矢量可由另一视图中帧的运动矢量推导。
对于3D视频来说，除了与多个视图有关的传统纹理(texture)数据之外，深度数据也常被捕捉或推导。深度数据可为与一个视图或多个视图有关的视频捕捉。深度信息也可由不同视图的图像推导。深度数据可通过比纹理数据低的空间解析度表示。深度信息对视图合成和视图间预测都很有用。
国际电信联盟电信标准化部(International Telecommunication UnionTelecommunication Standardization Sector，ITU-T)内的致力于3D视频编码扩充发展的联合工作组(Joint Collaborative Team on 3D Video Coding ExtensionDevelopment)已在进行一些用于3D视频编解码的标准发展活动。在基于3D视频编解码的高级视频编解码(Advanced Video Coding，AVC)的软件测试模式版本5.0(3DV-ATM-6.0)中，跳跃/直接模式的运动矢量预测(MotionVector Prediction，MVP)候选根据预定义推导顺序，基于相邻块的视差矢量(Disparity Vctor，DV)推导。当块以直接模式编码时，运动信息可从先前已编码信息中推断，而不需要明确发送(signal)该运动信息。当块以跳跃模式编码时，运动信息和残差(residual)信息均不需发送。在此情况下，残差信号被推断为0。
图1显示了根据3DV-ATM-6.0的用于跳跃/直接模式的基于优先权的(priority-based)MVP示范性示意图。与(依赖视图中)当前块110的中心点(112)有关的视差矢量(114)被用于找到参考视图(基础视图)中相应块(120)的相应点(122)。在参考视图中覆盖相应点(122)的块(124)的MV(126)被用作当前块的视图间MVP候选。视差矢量114可由相邻块和中心点112的深度值推导。与当前纹理块(110)有关的深度信息在图1中显示为块130，中心点显示为阴影块。若任意相邻块具有DV(如图1中块A的DVA)，相邻块的DV被用作视差矢量，以在参考图片中定位相应块。否则，转换后视差(converted disparity)，即基于深度的视差(depth-based disparity)被采用，其中视差由中心点的深度值和相机参数转换。与仅采用基于深度的视差的方法相比，采用空间相邻块DV的方法可降低中心点的深度值不可用时的误差传播(error propagation)。术语“视差”和“视差矢量”在本发明中可互换使用。
当相邻块的DV所指向的相应块没有可用运动信息时，视图间候选将被视为不可用，且其继续从相邻块搜索空间候选。或者，视图间候选推导进程可基于从当前块的深度转换的视差。当相邻块的DV或者从当前块的深度转换的DV所指向的相应块为帧内编码(intra-coded)或为当前图片采用无效参考图片时，相应块的运动信息被视为不可用。图2中显示了基于从相邻块A、B和C(D仅在C不可用时才被采用)推导的三个空间候选的中间值的视图间候选推导的示范性流程图。在解码器端，运动补偿采用所推导的MVP候选的运动信息进行。运动信息包括预测方向(单方向预测或双方向预测)、参考图片类型(时间预测、虚拟预测或视图间预测)以及参考图片索引(index)。
图2显示了根据3DV-ATM-6.0的视图间MVP推导的示范性流程图。基于优先权的MVP候选推导进程的输入数据包括与依赖视图中纹理图片的相邻块A、B和C有关的运动数据(210)和依赖视图中当前块的深度数据(250)。任何与相邻块有关的视差信息被当作用于视图间预测的运动信息。在步骤220中，检查与相邻块有关的DV的可用性。若相邻块的MV不可用，如步骤230所示，MV由已推导DV代替，其中已推导DV由当前块有关的深度数据转换而来。用来代替不可用MV的视差数据可对应于当前块的最大视差(步骤260)。如步骤240所示，最终视差可基于MVP候选(即与块A、B和C有关的DV)的中间值确定。当前块的视差矢量推导出后，在参考图片中覆盖相应点(122)的块(124)可被识别(indentify)。与块124有关的运动矢量(126)可被用作视图间MVP候选。
在3DV-ATM-6.0中，当采用相邻块的DV在参考视图中定位相应点时，视图间候选的列表0(list 0)MV和列表1(list 1)MV各自被推断。明确来说，通过首先基于相邻块的列表0DV(若可用)在参考图片中定位相应块，随后采用相应块的MV作为列表0的MVP候选，列表0的MVP得以推导。类似地，通过首先基于相邻块的列表0DV(若可用)在参考图片中定位相应块，随后采用相应块的MV作为列表1的MVP候选，列表1的MVP得以推导。如图3所示，对于依赖视图中当前块(310)来说，当前块的相邻块的列表0DV和列表1DV可不同，并因此可在参考视图中定位不同的相应块(C01以及C02)。图4中显示了与列表0和列表1视图间候选推导有关的示范性流程图。若ListX对应于列表0，则流程图用于列表0，若ListX对应于列表1，则流程图用于列表1。图4中的步骤(410-460)与图2中的(210-260)类似。然而，用于列表0和列表1视图间MVP推导的进程各自进行，其中ListX对应于列表0或列表1。举例来说，在步骤420中，若目标参考位于列表0中，只有与指向列表0中的参考图片的相邻块有关的运动数据(如DV)被视为可用。当前块(470)的中心位置(472)可采用推导出的视差矢量在相应块480中定位相应位置482。与覆盖基础视图中相应点(482)的块(484)有关的运动矢量被用作各个列表的视图间MVP候选。
根据3DV-ATM-6.0，当视图间MVP候选不可用时，从相邻块A、B和C中推导的三个空间MVP候选的中间值被用作跳跃或直接模式的MVP。跳跃/直接模式中的帧间MVP候选和视图间MVP候选推导进程分别如图5A和图5B所示。
若目标参考图片索引指向时间参考图片，相应的MVP推导进程如图5A所示。在本发明中，参考图片索引可简写为参考索引。该进程的输入数据包括与依赖视图中纹理图片的当前块的相邻块A、B和C有关的运动数据(510)和依赖视图中当前块(560)的深度数据。对于每个相邻块来说，该进程首先检查相邻块是否具有任何指向目标参考索引的MV(520A)。若相邻块不具有指向目标参考索引的MV，则如步骤530A所示，相邻块的MV由推导出的MV代替。如步骤570A所示，推导出的MV根据当前块的最大视差，从位于参考视图的相应块获取。时间MV(550A)基于与相邻块有关的MV的中间值(540A)推导。若任何一个相邻块都没有指向目标参考图片的MV，且参考视图中当前块的相应块不具有任何指向目标参考索引的MV，则零MV用来代表相邻块的MV。
若目标参考索引指向视图间参考图片，相应的MVP推导进程如图5B所示。对于每个相邻块来说，如步骤520B所示，该进程首先检查相邻块是否具有指向目标参考索引的DV。若相邻块不具有指向目标参考索引的DV，则从相关深度块中深度值转换的DV(步骤570B)被用来代替相邻块的不可用DV(步骤530B)。视差矢量(550B)由MVP候选的中间值推导(540B)。
根据3DV-ATM-6.0的用于直接模式和跳跃模式的空间MVP推导如图6所示。对于跳跃模式来说，目标参考索引被选作0。对于直接模式来说，如步骤610所示，目标参考索引根据相邻块的最小参考索引被选择。识别目标参考索引后，步骤620A和620B分别进行用于直接模式和跳跃模式的指向所选目标参考索引的块A、B和C的MV的可用性。如步骤630所示，空间MVP随后基于相邻块的MV的中间值确定。
用于直接模式的参考图片可随块(如编码单元或宏块)改变。对于视频编码来说，当块以直接模式编码时，在与MVP有关的率失真优化(rate-distortion optimization)中，运动估计进程可能需要重复访问参考图片。逐块的不同参考图片之间的切换可造成推导空间MVP高延迟、降低缓存效率(cache efficiency)，并增加内存带宽需求。此外，可能需要逐块从不同图片加载参考快。图7显示了块710的MVP推导的示范例，其中MVP推导需要在对应于参考图片索引0和参考图片索引1的两个参考帧(idx 0和idx 1)之间切换。需要简化空间MVP推导进程，以降低缓存效率，并降低内存带宽需求。
发明内容
本发明提供一种空间运动矢量预测候选推导方法和装置，用于三维视频编解码中的直接模式和跳跃模式。该当前块的相邻块和目标参考图片索引被识别。每个相邻块的运动矢量与指向相应参考图片的相应参考图片索引有关。对于直接模式和跳跃模式来说，仅当相应参考图片索引与所选目标参考图片索引相同时，将每个相邻块的运动矢量选作每个相邻块的空间运动矢量预测候选。当该相应参考图片索引与该目标参考图片索引不相同时，将默认矢量选作每个相邻块的该空间运动矢量预测候选。默认矢量可从对应于该当前块的参考视图中相应块的至少部分运动信息，由与该当前块有关的深度块的深度样本转换的视差矢量，或者零运动矢量中推导。最终空间运动矢量预测基于为该相邻块选择的该空间运动矢量预测候选确定。采用该最终空间运动矢量预测，视频编码或解码被应用于该输入数据。在一实施例中，目标参考图片索引被设定为0。在另一实施例中，在直接模式或跳跃模式中，目标参考图片索引对应于与相邻块有关的相应参考图片索引的大多数值。最终空间运动矢量预测可基于为相邻块所选的空间运动矢量预测候选的中间值、最小值、最大值、平均值、大多数值或线性组合推导。在灵一示范例中，最终空间运动矢量预测基于从该空间运动矢量预测候选中根据预定义搜索顺序的第一可用运动矢量预测候选推导。相邻块可包括当前块的左块、上块和右上块，其中当前块的左上块仅当当前块的右上块不可用时才被采用。
在另一实施例中，若目标参考图片索引指向时间参考图片，空间运动矢量预测候选推导进程检查与每个相邻块的运动矢量有关的第一相应参考图片索引是否与目标参考图片索引相同，以及与参考视图中一个或多个相应块的一个或多个运动矢量有关的一个或多个第二相应参考图片索引中是否有任何与目标参考图片索引相同。若该第一相应参考图片索引和该第二相应参考图片索引均与该目标参考图片索引不相同，零运动矢量被用作该相邻块的空间运动矢量预测候选。参考视图中的一个或多个相应块可对应于与该当前块相对应的该参考视图中的一相应块。参考视图中的一个或多个相应块可对应于与该当前块的每个相邻块相对应的该参考视图中的一相应块。参考视图中的一个或多个相应块可对应于与该当前块以及该当前块的每个相邻块相对应的该参考视图中的两个相应块。
附图说明
图1是根据基于AVC标准的传统三维视频编解码的用于跳跃/直接模式的基于优先权的MVP示范性示意图。
图2中是根据基于AVC标准的传统三维视频编解码的视图间MVP推导的示范性流程图。
图3是根据基于AVC标准的传统三维视频编解码的相邻块不同的列表0DV和列表1DV在参考视图中定位不同相应块(C01以及C02)的示意图。
图4是基于相邻块不同的列表0DV和列表1DV的列表0和列表1视图间候选推导的示范性流程图，其中，若ListX对应于列表0，则流程图用于列表0，若ListX对应于列表1，则流程图用于列表1。
图5A是根据基于AVC标准的传统三维视频编解码的跳跃/直接模式中帧间MVP候选示范性推导进程示意图。
图5B是根据基于AVC标准的传统三维视频编解码的跳跃/直接模式中视图间MVP候选示范性推导进程示意图。
图6是基于传统ATM的直接模式和跳跃模式中空间运动矢量预测候选推导的示范性进程示意图。
图7是基于传统ATM的直接和跳跃模式中空间运动矢量预测候选推导所需的参考图片的示范性示意图。
图8是根据本发明一实施例的直接和跳跃模式中空间运动矢量预测推导所需的参考图片的示范性示意图。
图9是根据本发明一实施例的直接模式和跳跃模式中空间运动矢量预测候选推导的示范性进程示意图。
图10是根据本发明一实施例的三维编码或解码***将统一空间运动矢量预测候选推导的示范性流程图。
具体实施方式
如前面所述，根据3DV-ATM-6.0的直接模式和跳跃模式的空间MVP候选推导进程并不相同。对于跳跃模式来说，目标参考索引总是被设定为0。然而，对于直接模式来说，目标参考索引根据与相邻块的运动矢量有关的最小参考索引选择。因此，直接模式和跳跃模式的空间MVP候选可指向不同的参考图片，而这会降低缓存效率，增加内存带宽需求。空间MVP推导基于块(如基于宏块(macrolock，MB)或基于最大编码单元(Largest Coding Unit，LCU))进行。因此，参考图片可能需要按块切换，这使情况变得更糟。
为了克服上述问题，本发明的一实施例将直接模式的目标参考索引限制为0。因此，跳跃模式和直接模式的目标参考索引均为0。在根据本发明的另一实施例中，跳跃模式和直接模式的目标参考索引是统一的。举例来说，跳跃模式和直接模式的目标参考索引均可设定为0。在根据本发明的另一实施例中，直接以及/或者跳跃模式的目标参考索引被设定为直接以及/或者跳跃模式中空间相邻块的目标参考索引的大多数值。在根据本发明的另一实施例中，若目标参考索引指向时间参考图片，空间MVP候选推导进程首先检查每个相邻块是否具有任何指向目标参考索引的MV，或者参考视图中当前块的相应块或相邻块的相应块是否具有任何指向目标参考索引的MV。若相邻块、与当前块和相邻块有关的相应块均没有任何指向目标参考索引的MV，零MV被用作相邻块的MVP候选。在根据本发明的另一实施例中，若目标参考索引指向时间参考图片，空间MVP候选的推导进程首先为每个相邻块检查相邻块是否具有任何指向目标参考索引的MV，或者参考视图中相邻块的相应块是否具有任何指向目标参考索引的MV。若相邻块或参考视图中相邻块的相应块均不具有指向目标参考索引的MV，则零MV被用作相邻块的MVP候选。在根据本发明的另一实施例中，若目标参考索引指向时间参考图片，空间MVP候选的推导进程首先为每个相邻块检查相邻块是否具有任何指向目标参考索引的MV，或者与当前块有关的相应块是否具有任何指向目标参考索引的MV。若相邻块或参考视图中当前块的相应块均不具有指向目标参考索引的MV，则零MV被用作相邻块的MVP候选。
图8显示了根据本发明一实施例的具有统一参考图片索引的空间MVP候选推导的示范例。对于当前图片的所有块(810)来说，空间MVP候选总是指向同一参考图片索引(即图8示范例中的参考图片索引0)。或者，直接模式的参考图片索引被限制为参考图片索引0。因此，直接模式和跳跃模式的空间MVP候选均指向参考图片索引0。图9显示了示范性空间MVP候选推导，其中直接模式和跳跃模式均可采用相同的推导进程，并得到相同的空间MVP候选。对于直接模式和跳跃模式来说，如步骤910所示，推导进程为每个相邻块(A、B或C)检查是否存在任何指向参考图片索引0的MV。确定相邻块的MV后，如步骤920所示，最终的空间MVP基于空间MVP候选的中间值确定。虽然中间值被当做选择最终空间MVP的示范例，其他标准也可被采用。举例来说，最终的空间MVP可基于空间MVP候选的最小值、最大值、平均值、大多数值或线性组合确定。最终的空间MVP也可基于空间MVP候选中根据预定义搜索顺序的第一可用MVP候选推导出。
采用根据本发明一实施例的将统一参考图片索引用于直接模式和跳跃模式的***可达到与传统***相同的性能。然而，采用根据本发明一实施例的将统一参考图片索引用于直接模式和跳跃模式的***提供提高缓存效率和降低带宽需求的好处。采用本发明一实施例的***与传统***的性能比较如表1所示。性能比较基于比特率差异(difference in bit rate，dBR)和峰值信噪比差异(difference in peak signal-to-noise ratio，dPSNR)，其中负dBR值或正dPSNR值代表采用本发明一实施例的***的改进。上述比较在测试数据集合S01到S08上进行。如表1所示，采用本发明一实施例的***可达到与传统***差不多的性能。
表1
图10显示了三维编码或解码***采用根据本发明一实施例的将统一参考图片索引用于直接模式和跳跃模式的示范性流程图。如步骤1010所示，***接收与依赖视图中当前块有关的输入数据。对于编码来说，与当前块有关的输入数据对应于需被编码的原始像素数据、深度数据或与当前块有关的其他信息(如MV、DV、运动矢量差值或视差矢量差值)。对于解码来说，输入数据对应于与依赖视图中当前块有关的已编码数据。输入数据可从存储器中获取，其中存储器如计算机内存、缓存(如RAM或DRAM)或其他媒介。输入数据也可从处理器中获取，其中处理器如控制器、中央处理单元、数字信号处理器或产生输入数据的电子电路。如步骤1020所示，识别当前块的相邻块，其中每个相邻块的MV与指向相应参考图片的相应参考图片索引有关。在步骤1030中，识别目标参考图片索引。在步骤1040中，对直接模式和跳跃模式来说，仅当相应参考图片索引与目标参考图片索引相同时，每个相邻块的MV被选作每个相邻块的空间MVP候选。若相邻块的相应参考图片索引与目标参考图片索引不相同，默认矢量被选作每个相邻块的空间MVP候选。默认矢量可从对应于当前块的参考视图中相应块的运动信息、由与当前块有关的深度块的深度样本转换的视差矢量，或零MV中推导出。如步骤1050所示，最终MVP基于为相邻块选择的空间MVP候选确定。如步骤1060所示，采用最终MVP将视频编码或解码应用于输入数据。
上述流程图意图说明为直接和跳跃模式采用统一空间MVP候选推导的视图间预测的示范例。本领域技术人员可在不脱离本发明的精神的前提下，修改每个步骤，重新安排上述步骤，拆分某步骤，或组合某些步骤，以实现本发明。
上面的描述可允许本领域技术人员根据特定应用及其需要的内容实施本发明。所述实施例的各种修改对于本领域技术人员来说是显而易见的，并且可将上述定义的基本原则应用于其他实施例。因此，本发明不局限于所述的特定实施例，而是符合与揭露的原则及新颖特征相一致的最宽范围。在上述细节描述中，为了提供对本发明的彻底理解，描述了各种特定细节。此外，本领域技术人员可以理解本发明是可实施的。
上述的本发明实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本发明实施例可为集成到视频压缩芯片的电路或集成到视频压缩软件以执行上述过程的程序代码。本发明的实施例也可为在数字信号处理器(Digital Signal Processor,DSP)中执行的执行上述处理的程序代码。本发明也可涉及计算机处理器、DSP、微处理器或现场可程序设计门阵列(FieldProgrammable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式，也可为了不同的目标平台编解软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。
虽然本发明已就较佳实施例及其优势揭露如上，本发明所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作各种的变更和润饰。本发明的保护范围当视之前的权利要求书所界定为准。

Claims (20)

1.一种空间运动矢量预测候选推导方法，用于三维视频编解码中的直接模式和跳跃模式，该方法包括：
接收与依赖视图中当前块有关的输入数据；
识别该当前块的相邻块，其中每个相邻块的运动矢量与指向相应参考图片的相应参考图片索引有关；
识别目标参考图片索引；
对于直接模式以及跳跃模式来说，仅当该相应参考图片索引与该目标参考图片索引相同时，将每个相邻块的该运动矢量选作每个相邻块的空间运动矢量预测候选；
基于为该相邻块选择的该空间运动矢量预测候选确定最终空间运动矢量预测；以及
采用该最终空间运动矢量预测将视频编码或解码应用于该输入数据。
2.如权利要求1所述的方法，其特征在于，当该相应参考图片索引与该目标参考图片索引不相同时，将默认矢量选作每个相邻块的该空间运动矢量预测候选。
3.如权利要求2所述的方法，其特征在于，该默认矢量从对应于该当前块的参考视图中相应块的至少部分运动信息，由与该当前块有关的深度块的深度样本转换的视差矢量，或者零运动矢量中推导。
4.如权利要求1所述的方法，其特征在于，该目标参考图片索引为0。
5.如权利要求1所述的方法，其特征在于，在该直接模式以及/或者该跳跃模式中，该目标参考图片索引对应于与该相邻块有关的该相应参考图片索引的大多数值。
6.如权利要求1所述的方法，其特征在于，为该相邻块所选的该空间运动矢量预测候选的中间值、最小值、最大值、平均值、大多数值或线性组合被用作该最终空间运动矢量预测。
7.如权利要求1所述的方法，其特征在于，该最终空间运动矢量预测基于从该空间运动矢量预测候选中根据预定义搜索顺序的第一可用运动矢量预测候选推导。
8.如权利要求1所述的方法，其特征在于，该相邻块包括该当前块的左块、上块和右上块。
9.一种空间运动矢量预测候选推导方法，用于三维视频编解码中的直接模式和跳跃模式，该方法包括：
接收与依赖视图中当前块有关的输入数据；
识别目标参考图片索引；
识别该当前块的相邻块，其中每个相邻块的运动矢量与第一相应参考图片索引有关；
若该目标参考图片索引指向时间参考图片，检查该第一相应参考图片索引是否与该目标参考图片索引相同，以及与参考视图中一个或多个相应块的一个或多个运动矢量有关的一个或多个第二相应参考图片索引中是否有任何与该目标参考图片索引相同，其中若该第一相应参考图片索引和该第二相应参考图片索引均与该目标参考图片索引不相同，零运动矢量被用作该相邻块的空间运动矢量预测候选；
基于为该相邻块选择的该空间运动矢量预测候选确定最终空间运动矢量预测；以及
采用该最终空间运动矢量预测将视频编码或解码应用于该输入数据。
10.如权利要求9所述的方法，其特征在于，该参考视图中的一个或多个相应块对应于与该当前块的每个相邻块相对应的该参考视图中的一相应块。
11.如权利要求9所述的方法，其特征在于，该参考视图中的一个或多个相应块对应于与该当前块相对应的该参考视图中的一相应块。
12.如权利要求9所述的方法，其特征在于，该参考视图中的一个或多个相应块对应于与该当前块以及该当前块的每个相邻块相对应的该参考视图中的两个相应块。
13.如权利要求9所述的方法，其特征在于，为该相邻块所选的该空间运动矢量预测候选的中间值、最小值、最大值、平均值、大多数值或线性组合被用作该最终空间运动矢量预测。
14.一种空间运动矢量预测候选推导装置，用于三维视频编解码中的直接模式和跳跃模式，该装置包括一个或多个电子电路，其中该一个或多个电子电路用来：
接收与依赖视图中当前块有关的输入数据；
识别该当前块的相邻块，其中每个相邻块的运动矢量与指向相应参考图片的相应参考图片索引有关；
识别目标参考图片索引；
对于直接模式以及跳跃模式来说，仅当该相应参考图片索引与该目标参考图片索引相同时，将每个相邻块的该运动矢量选作每个相邻块的空间运动矢量预测候选；
基于为该相邻块选择的该空间运动矢量预测候选确定最终空间运动矢量预测；以及
采用该最终空间运动矢量预测将视频编码或解码应用于该输入数据。
15.如权利要求14所述的装置，其特征在于，该一个或多个电子电路进一步当该相应参考图片索引与该目标参考图片索引不相同时，将默认矢量选作每个相邻块的该空间运动矢量预测候选。
16.如权利要求14所述的装置，其特征在于，该默认矢量从对应于该当前块的参考视图中相应块的至少部分运动信息，与该当前块有关的深度块的深度样本转换的视差矢量，或者零运动矢量中推导。
17.如权利要求14所述的装置，其特征在于，该目标参考图片索引为0。
18.如权利要求14所述的装置，其特征在于，在该直接模式或者该跳跃模式中，该目标参考图片索引对应于与相邻块有关的相应参考图片索引的大多数值。
19.如权利要求14所述的装置，其特征在于，为该相邻块所选的该空间运动矢量预测候选的中间值、最小值、最大值、平均值、大多数值或线性组合被用作该最终空间运动矢量预测。
20.如权利要求14所述的装置，其特征在于，该最终空间运动矢量预测基于从该空间运动矢量预测候选中根据预定义搜索顺序的第一可用运动矢量预测候选推导。
CN201380069717.5A 2013-01-07 2013-12-20 空间运动矢量预测推导方法和装置 Active CN104904206B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361749458P 2013-01-07 2013-01-07
US61/749,458 2013-01-07
PCT/CN2013/090117 WO2014106435A1 (en) 2013-01-07 2013-12-20 Method and apparatus of spatial motion vector prediction derivation for direct and skip modes in three-dimensional video coding

Publications (2)

Publication Number Publication Date
CN104904206A true CN104904206A (zh) 2015-09-09
CN104904206B CN104904206B (zh) 2018-08-28

Family

ID=51062155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380069717.5A Active CN104904206B (zh) 2013-01-07 2013-12-20 空间运动矢量预测推导方法和装置

Country Status (5)

Country Link
US (1) US9967586B2 (zh)
EP (1) EP2941867A4 (zh)
KR (2) KR20150099797A (zh)
CN (1) CN104904206B (zh)
WO (1) WO2014106435A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3002716A1 (fr) * 2013-02-26 2014-08-29 France Telecom Derivation de vecteur de mouvement de disparite, codage et decodage video 3d utilisant une telle derivation
WO2014166063A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Default vector for disparity vector derivation for 3d video coding
KR102260146B1 (ko) * 2014-03-31 2021-06-03 인텔렉추얼디스커버리 주식회사 시점 간 움직임 병합 후보 유도 방법 및 장치
WO2016056821A1 (ko) * 2014-10-08 2016-04-14 엘지전자 주식회사 3d 비디오 코딩을 위한 움직임 정보 압축 방법 및 장치
WO2016056822A1 (ko) * 2014-10-08 2016-04-14 엘지전자 주식회사 3d 비디오 코딩 방법 및 장치
KR20170065502A (ko) * 2014-10-08 2017-06-13 엘지전자 주식회사 3d 비디오 부호화/복호화 방법 및 장치
GB2539198B (en) * 2015-06-08 2019-09-25 Imagination Tech Ltd Motion estimation using collocated blocks
WO2017084512A1 (en) * 2015-11-20 2017-05-26 Mediatek Inc. Method and apparatus of motion vector prediction or merge candidate derivation for video coding
US11212550B2 (en) * 2018-09-21 2021-12-28 Qualcomm Incorporated History-based motion vector prediction for affine mode

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012005549A2 (en) * 2010-07-09 2012-01-12 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding motion vector
US20120128060A1 (en) * 2010-11-23 2012-05-24 Mediatek Inc. Method and Apparatus of Spatial Motion Vector Prediction
US20120134416A1 (en) * 2010-11-29 2012-05-31 Mediatek Inc. Method and Apparatus for Derivation of MV/MVP Candidate for Inter/Skip/Merge Modes
CN102752595A (zh) * 2012-06-29 2012-10-24 香港应用科技研究院有限公司 用于深度图编码和解码的混合型跳过模式
WO2012171442A1 (en) * 2011-06-15 2012-12-20 Mediatek Inc. Method and apparatus of motion and disparity vector prediction and compensation for 3d video coding

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5590538A (en) * 1995-11-16 1997-01-07 Lockheed Missiles And Space Company, Inc. Stacked multistage Joule-Thomson cryostat
US6686270B1 (en) * 2002-08-05 2004-02-03 Advanced Micro Devices, Inc. Dual damascene trench depth monitoring
US7477401B2 (en) * 2004-11-24 2009-01-13 Tamar Technology, Inc. Trench measurement system employing a chromatic confocal height sensor and a microscope
WO2006084279A2 (en) * 2005-02-04 2006-08-10 University Of Florida Research Foundation, Inc. Single fiber endoscopic full-field optical coherence tomography (oct) imaging probe
US7485892B2 (en) * 2005-12-29 2009-02-03 Carl Zeiss Meditec Inc. Optical broadband emitters and methods of making the same
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
WO2008007917A1 (en) * 2006-07-12 2008-01-17 Lg Electronics, Inc. A method and apparatus for processing a signal
US20100266042A1 (en) * 2007-03-02 2010-10-21 Han Suh Koo Method and an apparatus for decoding/encoding a video signal
WO2009075513A2 (en) * 2007-12-10 2009-06-18 Jae Chern Yoo A thin film bio valve device and its controlling apparatus
TWI566586B (zh) 2009-10-20 2017-01-11 湯姆生特許公司 一序列形象的現時區塊之寫碼方法和重建方法
CN102131094A (zh) 2010-01-18 2011-07-20 联发科技股份有限公司 运动预测方法
US9036692B2 (en) 2010-01-18 2015-05-19 Mediatek Inc. Motion prediction method
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
US9714825B2 (en) * 2011-04-08 2017-07-25 Rudolph Technologies, Inc. Wafer shape thickness and trench measurement
US20130229485A1 (en) * 2011-08-30 2013-09-05 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
KR101636269B1 (ko) * 2012-07-04 2016-07-05 인텔 코포레이션 3차원 비디오 코딩을 위한 뷰 간 필터 파라미터 재사용

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012005549A2 (en) * 2010-07-09 2012-01-12 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding motion vector
US20120128060A1 (en) * 2010-11-23 2012-05-24 Mediatek Inc. Method and Apparatus of Spatial Motion Vector Prediction
US20120134416A1 (en) * 2010-11-29 2012-05-31 Mediatek Inc. Method and Apparatus for Derivation of MV/MVP Candidate for Inter/Skip/Merge Modes
WO2012171442A1 (en) * 2011-06-15 2012-12-20 Mediatek Inc. Method and apparatus of motion and disparity vector prediction and compensation for 3d video coding
CN102752595A (zh) * 2012-06-29 2012-10-24 香港应用科技研究院有限公司 用于深度图编码和解码的混合型跳过模式

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GERHARD TECH: "3D-HEVC Test Model 2", 《JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, 2ND MEETING:SHANGHAI, CN, 13-19OCT, 2012, DOCUMENT:JCT3V-B1005》 *
JICHENG AN,YI-WEN CHEN, JIAN-LIANG LIN: "3D-CE5.h related: Inter-view motion prediction for HEVC-based 3D video coding", 《JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, 1ST MEETING: STOCKHOLM, SE, 16–20 JULY 2012, DOCUMENT: JCT2-A0049,NO.M25920》 *
LI ZHANG: "AHG5: MV-HEVC software for HTM", 《JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, 2ND MEETING: SHANGHAI, CN, 13-19OCT, 2012, DOCUMENT:JCT3V-B0046, NO.M26735》 *

Also Published As

Publication number Publication date
EP2941867A4 (en) 2016-07-06
EP2941867A1 (en) 2015-11-11
US20150358636A1 (en) 2015-12-10
CN104904206B (zh) 2018-08-28
KR20150099797A (ko) 2015-09-01
KR20160147069A (ko) 2016-12-21
WO2014106435A1 (en) 2014-07-10
US9967586B2 (en) 2018-05-08

Similar Documents

Publication Publication Date Title
JP7123863B2 (ja) 画像予測方法および関連装置
CN104904206B (zh) 空间运动矢量预测推导方法和装置
KR101753171B1 (ko) 3ｄ 비디오 코딩에서의 간략화된 뷰 합성 예측 방법
CN104718760B (zh) 用于三维和多视图视频编码的方法和装置
US9736498B2 (en) Method and apparatus of disparity vector derivation and inter-view motion vector prediction for 3D video coding
CN105453561B (zh) 三维以及多视图视频编码中导出默认视差向量的方法
JP7224005B2 (ja) 映像処理方法、装置、不揮発性記憶媒体、コンピュータプログラム
CN103621093A (zh) 在三维视频编码***中的纹理图像压缩方法及装置
CN104412597A (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
CN103891290A (zh) 运动矢量处理
CN104471941A (zh) 3d视频编码中的视图间子分割预测的方法和装置
CN104412587A (zh) 三维视频编码中视图间候选获取的方法和设备
CN104521236A (zh) 三维视频编码中的被限制视差矢量获取方法
CN104919799A (zh) 用于三维视频编解码的从深度到视差矢量转换的方法和装置
JP2016501469A (ja) ３ｄビデオ符号化における制約される視差ベクトル導出の方法と装置
JP2023100767A (ja) ビデオシーケンスのためのピクチャエンコーディング及びデコーディング方法及び装置
CN105122808A (zh) 用于三维及多视图视频编码的视差向量推导的方法及装置
CA2921759C (en) Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
CN105247862A (zh) 三维视频编码中的视点合成预测的方法及装置
CN105144714B (zh) 三维或多视图视频编码或解码的方法及装置
KR20110075568A (ko) 다중시점 영상의 부호화 방법
CN104412238B (zh) 获取图片中块的视图间候选运动矢量的方法和装置
CN105474643A (zh) 3d视频编码中简化的视图合成预测的方法

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant