CN104919799A - 用于三维视频编解码的从深度到视差矢量转换的方法和装置 - Google Patents

用于三维视频编解码的从深度到视差矢量转换的方法和装置 Download PDF

Info

Publication number
CN104919799A
CN104919799A CN201480004148.0A CN201480004148A CN104919799A CN 104919799 A CN104919799 A CN 104919799A CN 201480004148 A CN201480004148 A CN 201480004148A CN 104919799 A CN104919799 A CN 104919799A
Authority
CN
China
Prior art keywords
encoding
instrument
transition region
decoding
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480004148.0A
Other languages
English (en)
Inventor
林建良
陈渏纹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN104919799A publication Critical patent/CN104919799A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供一种将由深度数据转换的单一视差矢量用于转换区域的方法和装置。根据本发明的实施例接收与当前依赖视图中当前图片的转换区域有关的输入数据和深度数据。转换区域被检查以确定其是否被分割成多个运动预测子块。若转换区域被分割成多个运动预测子块，则由与转换区域有关的深度数据确定单一转换后视差矢量，以及根据第一编解码工具采用单一转换后视差矢量处理转换区域中多个运动预测子块的每一个。若转换区域未被分割成多个运动预测子块，根据第一编解码工具或第二编解码工具采用单一转换后视差矢量处理转换区域。

Description

用于三维视频编解码的从深度到视差矢量转换的方法和装置
交叉引用
本发明要求2013年1月7日递交的No.61/749,455，发明名称为“Methodsand Apparatus for Disparity Vector Derivation in Multiview Video Coding”的美国临时专利申请案的优先权，且将上述美国临时专利申请案作为参考。
技术领域
本发明有关于视频编解码，且尤其有关于用于三维(three-dimensional，3D)视频编解码的由深度对视差矢量(Disparity Vector，DV)的推导(derivation)。
背景技术
近些年3D电视已成为技术潮流，其目标是带给观看者非常好的观看体验。多种技术已被开发以进行3D观看。其中，多视图(multi-view)视频尤其是用于3D电视应用的一种关键技术。传统视频为二维(two-dimensional，2D)媒体，只能提供观看者摄像机角度的一场景的单一视图。然而，多视图视频可提供动态场景的任意视点(viewpoint)，并提供给观看者真实的感觉。
多视图视频通常通过同时采用多个相机捕捉一场景而建立，其中多个相机被适当放置，使得每个相机可从一个视点捕捉该场景。相应地，多个相机将捕捉对应于多个视图的多个视频序列。为了提供更多视图，更多相机被采用来产生具有与视图有关的大量视频序列的多视图视频。相应地，多视图视频需要大存储空间进行存储以及/或者高带宽进行传输。因此，本技术领域中已发展了多视图视频编解码技术，以减少所需的存储空间或者传输带宽。
ー种直接的方法是对每个单ー视图视频序列独立地应用传统视频编解码技术，而忽略不同视图之间的任何关联(correlation)。这种编解码***可能效率非常低。为了改进多视图视频编解码效率，一般的多视图视频编解码利用视图间的冗余。因此，大部分3D视频编码(3D Video Coding，3DVC)***考虑与多个视图有关的视频数据和深度图(depth map)的相关性。标准开发组织，国际电信联盟电信标准化部(International Telecommunication UnionTelecommunication Standardization Sector，ITU-T)视频编码专家组(VideoCoding Experts Group，VCEG)的联合视频组(Joint Video Team，JVT)以及国际标准化组织(International Standard Organization，ISO)/国际电工委员会(International Electrotechnical Commission,IEC)运动图象专家组(MovingPicture Experts Group，MPEG)，将H.264/MPEG-4高级视频编码(AdvancedVideo Coding，AVC)扩展为多视图视频编码(multi-view video coding，MVC)，用于立体声和多视图视频。
MVC采用时间以及空间预测，来改进压缩效率。在MVC的发展中，提出了一些宏块级的(macroblock-level)编解码工具，包括亮度补偿(illuminationcompensation)、自适应参考滤波(adaptive reference filtering)、运动跳跃模式(motion skip mode)和视图合成预测(view synthesis prediction)。这些编解码工具被提出以利用多个视图之间的冗余。亮度补偿用来补偿不同视图之间的亮度变化。自适应参考滤波用来降低相机之间聚焦不匹配(focus mismatch)造成的变化。运动跳跃模式允许当前视图中的运动矢量(MotionVector,MV)从其他视图中推测出来。视图合成预测用于由其他视图预测当前视图中的图片。
在基于3D视频编码的高效视频编码(High Efficiency Video Coding，HEVC)参考软件(3D-HTM)中，视图间候选被添加为用于帧间(Inter)、合并(Merge)和跳跃(Skip)模式的MV或DV候选，以重用(re-use)相邻视图的先前已编码运动信息。在3D-HTM中，被称为编码单元(Coding Unit，CU)的压缩的基本单元为2Nx2N方形块。每个CU可被递归地分成4个更小的CU，直到达到预定最小尺寸。每个CU包括一个或多个预测单元(Prediction Unit，PU)。
为了共享相邻视图的先前已编码纹理(texture)信息，一种被称为视差补偿预测(Disparity-Compensated Prediction，DCP)的技术已被包括在3D-HTM中，以作为运动补偿预测(Motion-Compensated Prediction，MCP)的替代编码工具。MCP代表采用同一视图的先前已编码图片的图片间预测，而DCP代表采用同一访问单元(access unit)中其他视图的先前已编码图片的图片间预测。图1显示了3D视频编解码***采用MCP和DCP的示范例。用于DCP的矢量(110)被称为DV，其是MCP采用的MV的模拟。图1显示了与MCP有关的三个MV(120、130和140)。此外，DCP块的DV也可通过视差矢量预测子(Disparity Vector Predictor，DVP)候选预测，其中DVP候选从相邻块或同样采用视图间参考图片的时间并置块(temporal collocatedblock)推导。在3D-HTM中，当为合并/跳跃模式推导视图间合并候选时，若相应块的运动信息不可用或无效，视图间合并候选由DV代替。
在帧间模式中，方向分离运动矢量预测(Direction-Separate Motion VectorPrediction)是3D-AVC中采用的另一种编解码工具。方向分离运动矢量预测由时间和视图间运动矢量预测组成。若目标参考图片是时间预测图片，当前块Cb附近的相邻块(如图2A中的A、B和C)的时间运动矢量，被用于运动矢量预测的推导。若时间运动矢量不可用，则采用视图间运动矢量。视图间运动矢量从由深度转换的DV所指示的相应块中推导。运动矢量预测随后按照相邻块A、B和C的运动矢量的中间值被推导出。块D仅当C不可用时才被采用。
相反，若目标参考图片是视图间预测图片，相邻块的视图间运动矢量被用于视图间预测。若视图间运动矢量不可用，则由相关深度块中四角深度样本的最大深度值推导的视差矢量被采用。运动矢量预测子随后按照相邻块A、B和C的运动矢量的中间值被推导出。
另一方面，如图2B所示，若目标参考图片是视图间预测图片，相邻块的视图间运动矢量被用于推导视图间运动矢量预测子。在步骤210中，空间相邻块的视图间运动矢量基于各个块的纹理数据推导出。在步骤260中，与当前块Cb有关的深度图也被提供。在步骤220中，检查块A、B和C的视图间运动矢量的可用性。如步骤230所示，若视图间运动矢量不可用，当前块的视差矢量被用于代替不可用视图间运动矢量。如步骤270所示，视差矢量由相关深度块(280)的最大深度值推导出。块A、B和C的视图间运动矢量的中间值被用作视图间运动矢量预测子。步骤240示出了传统运动矢量预测(Motion Vector Prediction，MVP)进程，其中最终MVP基于视图间MVP或时间MVP的运动矢量的中间值推导出。如步骤250所示，进行基于运动矢量预测子的运动矢量编解码。
合并/直接(Direct)模式的基于优先权的MVP候选获取(Priority basedMVP candidate derivation)是用于3D-AVC的另一编解码工具。如图3所示，在跳跃/直接模式中，MVP候选基于预定义推导顺序推导：视图间候选以及从相邻块A、B和C(D仅在C不可用时才被采用)中推导的三个空间候选的中间值。在解码器端，运动补偿根据推导出的MVP候选的运动信息进行。运动信息包括预测方向(单方向预测或双方向预测)、参考图片类型(时间预测、虚拟预测或视图间预测)以及参考图片索引(index)。如图3所示，依赖视图中当前块(310)的中心点(312)和其视差矢量被用于找到基础视图或参考视图中的相应点。随后，基础视图中包括相应点的块的MV被用作当前块的视图间候选。在ATM7.0中，视差矢量可由相邻块(A、B以及C/D)和中心点的深度值推导。明确来说，若只有一相邻块具有DV，则该DV被用作视差。否则，DV按照相邻块A、B和C的DV的中间值(320)推导。若DV不可用，则采用由深度(350)转换的DV来代替。推导的DV用于在参考图片(330)中定位相应块(340)。
在3D-AVC中，跳跃/直接模式的视图间MVP推导进程中，当候选相邻块的DV不可用时，DV由相应块的深度信息中推导出。图4中显示了3D-AVC中跳跃/直接模式的从深度到DV的转换(depth-to-DV conversion)，其中DV基于相关深度块(此示范例中为宏块MB)的四角处的深度样本(用显著标示的小方块表示)的最大深度值确定。因此，对每个MB来说，从深度到DV的转换只需要进行一次。
图5中显示了帧间模式中为不可用相邻块推导DV的从深度到DV的转换，其中从深度到DV的转换进行了多次，用于MV的多个分割(partition)。举例来说，若当前MB被分割成16个4x4的子块，从深度到DV的转换将进行16次。对于每个子块来说，DV基于相关深度子块的四角处的深度样本的最大深度值确定。
在3D-HEVC中，视图间残差预测(Inter-View Residual Prediction，IVRP)已被开发为一种新的编解码工具，以共享参考视图的先前已编码残差信息。视图间残差预测基于为当前块(即PU)推导的DV。DV可根据3D-HEVC从当前块的空间或时间相邻块中推导。或者，一种基于MCP的视差推导技术也可被用于推导预估DV，这种技术被称为DV-MCP。在此情况下，通过MCP编码的块也可用于视差推导进程。当相邻块为MCP编码块且其运动是通过视图间运动预测来预测时，用于视图间运动预测的视差矢量代表当前块和视图间参考图片之间的运动对应。该块被称为DV-MCP块。
如上面所讨论的，DV在三维编解码中广泛用于多种应用。一种推导DV的方法是基于深度图。不同的从深度到视差转换被用于三维编解码标准(如3D-HEVC)中。因此，需要简化从深度到视差的转换进程，并维持性能。
发明内容
本发明提供一种用于三维或多视图视频编解码的方法和装置。根据本发明的实施例接收与当前依赖视图中当前图片的转换区域有关的输入数据和深度数据。转换区域被检查以确定其是否被分割成多个运动预测子块。若转换区域被分割成多个运动预测子块，则由与转换区域有关的深度数据确定单一转换后视差矢量，以及根据第一编解码工具采用单一转换后视差矢量处理转换区域中多个运动预测子块的每一个。若转换区域未被分割成多个运动预测子块，根据第一编解码工具或第二编解码工具采用单一转换后视差矢量处理转换区域。在一实施例中，第一编解码工具对应于帧间模式的运动矢量预测，该第二编解码工具对应于跳跃或直接模式的运动矢量预测。在此情况下，转换区域可对应于16x16宏块。在另一实施例中，第一编解码工具对应于帧间或合并模式的运动矢量预测，第二编解码工具对应于跳跃模式的运动矢量预测。在此情况下，转换区域对应于编码单元、最大编码单元、编码树单元，或者运动估计区域，其中运动预测子块对应于预测单元。
本发明的一方面提出单一转换后视差矢量的推导。在一实施例中，单一转换后视差矢量由与转换区域有关的深度块中至少两个样本的最大深度值确定。在另一实施例中，单一转换后视差矢量由该转换区域有关的深度块中四角样本的最大深度值确定。
第一编解码工具可从第一工具集合中选出，第二编解码工具可从第二工具集合中选出。第一工具集合由编解码工具组中的一个或多个第一工具元素组成，第二工具集合由编解码工具组中的一个或多个第二工具元素组成。编解码工具组可包括：帧间模式中的运动矢量预测候选推导、跳跃模式中的运动矢量预测候选推导、直接模式中的运动矢量预测候选推导、方向分离运动矢量预测子、跳跃模式或直接模式中的基于优先权的运动矢量预测候选推导、合并模式中的视图间候选推导、跳跃模式中的视图间候选推导、视图间运动预测、视图间视差预测、基于块的视图合成预测以及视图间残差预测。在一实施例中，第一工具集合和第二工具集合具有至少一共同的编解码工具，且第一工具集合和第二工具集合具有至少一不同的编解码工具。在另一实施例中，第一工具集合和第二工具集合具有相同的编解码工具。
附图说明
图1是3D视频编解码***采用MCP和DCP的示范性示意图。
图2A是3D-AVC中用于运动矢量预测推导的当前块(Cb)附近的相邻块的示意图。
图2B是3D-AVC中用于帧间模式的方向分离运动矢量预测的推导进程示意图。
图3是3D-AVC中用于跳跃/直接模式的基于优先权的运动矢量预测候选推导进程的示意图。
图4是3D-AVC中用于跳跃/直接模式的基于深度块的四角样本的从深度到DV的转换示意图。
图5是3D-AVC中用于帧间模式的宏块中每个子块的从深度到DV的转换示意图。
图6是根据本发明实施例的从深度到DV的转换区域和多个运动预测子块的示范性示意图。
图7A-图7F是基于深度块的一个或多个深度样本的从深度到DV的转换的多个示范性示意图。
图8是根据本发明实施例的三维或多视图视频编解码采用单一转换后DV用于一转换区域的示范性流程图。
具体实施方式
在本发明中，提出一种在多视图和3D视频编解码中由相关深度块推导视差矢量的方法。DV推导方法可用于跳跃和直接模式的基于优先权的MVP候选推导，方向分离运动矢量预测中的视图间运动矢量预测子推导，或者视图合成预测。此外，根据本发明的从深度到DV的方案也可用于需要推导DV来确定其他视图的数据位置以及访问数据或用于预测子的其他情况中。
为了方便起见，从深度到DV的转换区域(depth-to-DV conversion region)被定义为一个方形块。一张图片可被划分为从深度到DV的转换区域。图6显示了从深度到DV的转换区域的示范例。转换区域可为AVC/H.264中的MB，或最大编码单元(Largest Coding Unit，LCU)、编码树单元(Coding Tree Unit，CTU)、CU，或HEVC标准中的运动估计区域(Motion Estimation Region，MER)。如虚线所示，转换区域可进一步划分为多个运动预测子块。举例来说，在AVC/H.264中，一宏块(一转换区域)可基于分割类型被进一步划分为多个运动预测子块。而在HEVC标准中，一CU(一转换区域)可被进一步划分为多个PU，其中PU被当做运动预测子块。相关深度块可具有与相应纹理块相同的解析度。相关深度块也可具有比相应纹理块低的解析度。
为了简化以及/或者统一从深度到DV的转换进程，根据本发明的实施例强迫一个转换区域中的所有运动预测子块采用从相关深度块(对每个预测方向)推导的同一DV。举例来说，若从深度到DV的转换区域为16x16的宏块，MB内的每个子块采用同一DV，其中该DV由与MB有关的深度块中的深度样本推导出。如图7A所示，从深度到DV的转换可基于深度块四个角处的最大深度值。推导出的DV随后用于MB内的所有子块。虽然图7A中的示范例采用四角样本来推导DV，其他从深度到DV的转换也可被采用。举例来说，块中心(710)的左上(图7B)或右下样本(图7C)，底端行中间的左边样本(图7D)，底端行最右边的样本(图7E)，或者底端行两端的样本(图7F)。供转换区域中所有子块共享的单一视差矢量也可由转换区域的相关深度块中样本子集的最大深度值推导。
在本发明的一实施例中，对DV推导的限制可应用于跳跃和直接模式的基于优先权的MVP候选推导，方向分离运动矢量预测以及/或者视图合成预测。根据本实施例，对于跳跃/直接模式和方向分离运动矢量预测来说，从深度到DV的转换区域和用于DV推导的相关深度样本是统一的。此外，根据本发明的另一实施例，对3D视频编解码中所有的编解码工具来说，从深度到DV的转换都是统一的，使得推导DV的***开销(overhead)可进一步降低。
图8是根据本发明实施例的三维或多视图视频编解码采用单一转换后DV用于一转换区域的示范性流程图。如步骤810所示，***接收与当前依赖视图中当前图片的转换区域有关的输入数据。对于编码来说，与转换区域有关的输入数据对应于需被编码的原始像素数据或与转换区域有关的其他信息(如残差数据、MV、DV、运动矢量差值或视差矢量差值)。对于解码来说，输入数据对应于与依赖视图中当前图片的转换区域有关的已编码数据。输入数据可从存储器中获取，其中存储器如计算机内存、缓存(如RAM或DRAM)或其他媒介。输入数据也可从处理器中获取，其中处理器如控制器、中央处理单元、数字信号处理器或产生输入数据的电子电路。如步骤820所示，接收与转换区域有关的深度数据。在步骤830中，进行有关转换区域是否被分割成多个运动预测子块的测试。如步骤840所示，若转换区域被分割成多个运动预测子块，由与转换区域有关的深度数据确定单一转换后DV。如步骤850所示，根据第一编解码工具，采用单一转换后DV对转换区域的多个运动预测子块中的每一个进行处理。
在一些实施例中，若步骤830中的测试结果为否，即转换区域并未被分割成多个运动预测子块，则根据第一编解码工具或第二编解码工具，采用单一转换后DV处理转换区域。在3D-AVC中，第一编解码工具可对应于帧间模式中的运动矢量预测，第二编解码工具可对应于跳跃或直接模式中的运动矢量预测。在此情况下，转换区域一般为16x16的MB。在3D-HEVC中，第一编解码工具可对应于帧间或合并模式中的运动矢量预测，第二编解码工具可对应于跳跃模式中的运动矢量预测。在此情况下，转换区域可为CU、LCU、CTU或MER，且运动预测子块对应于一PU。
上述流程图意图说明三维或多视图视频编解码将单一转换后DV用于当前依赖视图中当前图片的转换区域的示范例。本领域技术人员可在不脱离本发明的精神的前提下，修改每个步骤，重新安排上述步骤，拆分某步骤，或组合某些步骤，以实现本发明。
上面的描述可允许本领域技术人员根据特定应用及其需要的内容实施本发明。所述实施例的各种修改对于本领域技术人员来说是显而易见的，并且可将上述定义的基本原则应用于其他实施例。因此，本发明不局限于所述的特定实施例，而是符合与揭露的原则及新颖特征相一致的最宽范围。在上述细节描述中，为了提供对本发明的彻底理解，描述了各种特定细节。此外，本领域技术人员可以理解本发明是可实施的。
采用本发明实施例的三维视频***与对应于传统3D-AVC的锚点***进行比较。采用本发明实施例的***总是将单一转换后视差矢量用于转换区域。另一方面，根据3D-AVC的跳跃/直接模式的从深度到DV的转换是基于深度块的四角深度样本。根据3D-AVC，当MB采用帧间模式编码时，MB的每个子块进行从深度到DV的转换。如表1所示，本发明的一实施例可达到与3D-AVC锚点***差不多相同的性能，即简化从深度到DV的转换并未带来性能损失。性能以比特率差异(difference in bit rate，dBR，％)和峰值信噪比差异(difference in peak signal-to-noise ratio，dPSNR，dB)来衡量。
表1
根据本发明的实施例不仅减少从深度到DV转换所需的处理，还降低内存访问的次数。根据传统方法，用于帧间模式的从深度到DV的转换要对MB的每个子块进行。因此，当MB划分为更小的子块时，需要更多的内存访问。表2示出了基于本发明的***与基于3D-AVC的锚点***之间内存访问的比较。如表2所示，内存访问的次数总是4(对应于访问MB中4个深度样本)。另一方面，在3D-AVC中，对于4x4子块来说，内存访问的次数是64。对于8x8子块来说，内存访问次数为16。
表2
上述的本发明实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本发明实施例可为集成到视频压缩芯片的电路或集成到视频压缩软件以执行上述过程的程序代码。本发明的实施例也可为在数字信号处理器(Digital Signal Processor,DSP)中执行的执行上述处理的程序代码。本发明也可涉及计算机处理器、DSP、微处理器或现场可程序设计门阵列(FieldProgrammable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式，也可为了不同的目标平台编解软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。
虽然本发明已就较佳实施例及其优势揭露如上，本发明所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作各种的变更和润饰。本发明的保护范围当视之前的权利要求书所界定为准。

Claims (13)

1.一种用于三维或多视图视频编解码的方法，该方法包括：
接收与当前依赖视图中当前图片的转换区域有关的输入数据；
接收与该转换区域有关的深度数据；
当该转换区域被分割成多个运动预测子块时，由与该转换区域有关的该深度数据确定单一转换后视差矢量，以及根据第一编解码工具采用该单一转换后视差矢量处理该转换区域中该多个运动预测子块的每一个。
2.如权利要求1所述的方法，其特征在于，进一步包括：
当该转换区域未被分割成多个运动预测子块时，根据该第一编解码工具或第二编解码工具采用该单一转换后视差矢量处理该转换区域。
3.如权利要求2所述的方法，其特征在于，该第一编解码工具对应于帧间模式的运动矢量预测，该第二编解码工具对应于跳跃或直接模式的运动矢量预测。
4.如权利要求3所述的方法，其特征在于，该转换区域是16x16宏块。
5.如权利要求2所述的方法，其特征在于，该第一编解码工具对应于帧间或合并模式的运动矢量预测，该第二编解码工具对应于跳跃模式的运动矢量预测。
6.如权利要求5所述的方法，其特征在于，该转换区域对应于编码单元、最大编码单元、编码树单元，或者运动估计区域，其中该运动预测子块对应于预测单元。
7.如权利要求2所述的方法，其特征在于，该第一编解码工具从第一工具集合中选出，该第二编解码工具从第二工具集合中选出，其中该第一工具集合由编解码工具组中的一个或多个第一工具元素组成，该第二工具集合由该编解码工具组中的一个或多个第二工具元素组成，其中该编解码工具组包括：帧间模式中的运动矢量预测候选推导、跳跃模式中的运动矢量预测候选推导、直接模式中的运动矢量预测候选推导、方向分离运动矢量预测子、跳跃模式或直接模式中的基于优先权的运动矢量预测候选推导、合并模式中的视图间候选推导、跳跃模式中的视图间候选推导、视图间运动预测、视图间视差预测、基于块的视图合成预测以及视图间残差预测。
8.如权利要求7所述的方法，其特征在于，该第一工具集合和该第二工具集合具有至少一共同的编解码工具，且该第一工具集合和该第二工具集合具有至少一不同的编解码工具。
9.如权利要求7所述的方法，其特征在于，该第一工具集合和该第二工具集合具有相同的编解码工具。
10.如权利要求1所述的方法，其特征在于，该单一转换后视差矢量由与该转换区域有关的深度块中至少两个样本的最大深度值确定。
11.如权利要求10所述的方法，其特征在于，该单一转换后视差矢量由与该转换区域有关的深度块中四角样本的最大深度值确定。
12.一种用于三维或多视图编解码的装置，该装置包括一个或多个电子电路，其中该一个或多个电子电路用来：
接收与当前依赖视图中当前图片的转换区域有关的输入数据；
接收与该转换区域有关的深度数据；
当该转换区域被分割成多个运动预测子块时，由与该转换区域有关的该深度数据确定单一转换后视差矢量，以及根据第一编解码工具采用该单一转换后视差矢量处理该转换区域中该多个运动预测子块的每一个。
13.如权利要求12所述的装置，其特征在于，该一个或多个电子电路进一步用来在该转换区域未被分割成多个运动预测子块时，根据该第一编解码工具或第二编解码工具采用该单一转换后视差矢量处理该转换区域。
CN201480004148.0A 2013-01-07 2014-01-07 用于三维视频编解码的从深度到视差矢量转换的方法和装置 Pending CN104919799A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361749455P 2013-01-07 2013-01-07
US61/749,455 2013-01-07
PCT/CN2014/070237 WO2014106496A1 (en) 2013-01-07 2014-01-07 Method and apparatus of depth to disparity vector conversion for three-dimensional video coding

Publications (1)

Publication Number Publication Date
CN104919799A true CN104919799A (zh) 2015-09-16

Family

ID=51062161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480004148.0A Pending CN104919799A (zh) 2013-01-07 2014-01-07 用于三维视频编解码的从深度到视差矢量转换的方法和装置

Country Status (5)

Country Link
US (1) US10341638B2 (zh)
EP (1) EP2941883A4 (zh)
JP (1) JP2016506195A (zh)
CN (1) CN104919799A (zh)
WO (1) WO2014106496A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6080375B2 (ja) * 2011-11-07 2017-02-15 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9596448B2 (en) * 2013-03-18 2017-03-14 Qualcomm Incorporated Simplifications on disparity vector derivation and motion vector prediction in 3D video coding
EP2932720A4 (en) * 2013-04-10 2016-07-27 Mediatek Inc METHOD AND APPARATUS FOR DIVIDING VECTOR DIVIDER FOR THREE-DIMENSIONAL AND MULTI-VIEW VIDEO CODING
US10070147B2 (en) * 2013-10-18 2018-09-04 Lg Electronics Inc. Method predicting view synthesis in multi-view video coding and method for constituting merge candidate list by using same
CN108293131B (zh) * 2015-11-20 2021-08-31 联发科技股份有限公司 基于优先级运动矢量预测子推导的方法及装置
US10798407B2 (en) * 2018-06-01 2020-10-06 Tencent America LLC Methods and apparatus for inter prediction with a reduced above line buffer in video coding
CN118337987A (zh) * 2020-03-26 2024-07-12 阿里巴巴（中国）有限公司 一种非暂时性计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070291850A1 (en) * 2006-06-14 2007-12-20 Kddi Corporation Alarm information display unit
CN101222639A (zh) * 2007-01-09 2008-07-16 华为技术有限公司 多视点视频技术中的视间预测方法、编码器和解码器
CN101616322A (zh) * 2008-06-24 2009-12-30 深圳华为通信技术有限公司 立体视频编解码方法、装置及***
CN102017627A (zh) * 2008-04-25 2011-04-13 汤姆森许可贸易公司 使用基于深度信息的视差估计的多视点视频编码

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102308584B (zh) * 2009-02-12 2015-01-07 日本电信电话株式会社 多视点图像编码方法、多视点图像译码方法、多视点图像编码装置以及多视点图像译码装置
US9402066B2 (en) * 2011-08-09 2016-07-26 Samsung Electronics Co., Ltd. Method and device for encoding a depth map of multi viewpoint video data, and method and device for decoding the encoded depth map
EP3739886A1 (en) * 2011-11-18 2020-11-18 GE Video Compression, LLC Multi-view coding with efficient residual handling
WO2014000664A1 (en) * 2012-06-28 2014-01-03 Mediatek Inc. Method and apparatus of disparity vector derivation in 3d video coding
WO2014005548A1 (en) * 2012-07-05 2014-01-09 Mediatek Inc. Method and apparatus of unified disparity vector derivation for 3d video coding
KR102137266B1 (ko) * 2012-09-28 2020-07-23 삼성전자주식회사 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
CN104704837A (zh) * 2012-10-03 2015-06-10 联发科技股份有限公司 三维视频编码中的元素间运动预测的方法及装置
US9350970B2 (en) * 2012-12-14 2016-05-24 Qualcomm Incorporated Disparity vector derivation
US9516306B2 (en) * 2013-03-27 2016-12-06 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
CN105340273B (zh) * 2013-04-05 2018-09-11 三星电子株式会社 用于预测用于层间视频解码的视差矢量的方法以及编码方法和设备
JP2015032952A (ja) * 2013-08-01 2015-02-16 ソニー株式会社 表示制御装置、表示制御方法および記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070291850A1 (en) * 2006-06-14 2007-12-20 Kddi Corporation Alarm information display unit
CN101222639A (zh) * 2007-01-09 2008-07-16 华为技术有限公司 多视点视频技术中的视间预测方法、编码器和解码器
CN102017627A (zh) * 2008-04-25 2011-04-13 汤姆森许可贸易公司 使用基于深度信息的视差估计的多视点视频编码
CN101616322A (zh) * 2008-06-24 2009-12-30 深圳华为通信技术有限公司 立体视频编解码方法、装置及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUN BANG: "3D-CE5.a related: Simplification on the disparity vector derivation", 《JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *
JIAN-LIANG LIN: "3D-CE5.a results on unification of the depth to DV conversion", 《JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *

Also Published As

Publication number Publication date
WO2014106496A1 (en) 2014-07-10
JP2016506195A (ja) 2016-02-25
EP2941883A1 (en) 2015-11-11
US20150358598A1 (en) 2015-12-10
US10341638B2 (en) 2019-07-02
EP2941883A4 (en) 2016-07-06

Similar Documents

Publication Publication Date Title
CN104521236B (zh) 三维视频编码或解码方法
CN104412597B (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
CN105453561B (zh) 三维以及多视图视频编码中导出默认视差向量的方法
CN104718760B (zh) 用于三维和多视图视频编码的方法和装置
CN104471941B (zh) 3d视频编码中的视图间子分割预测的方法和装置
CN104301739A (zh) 多视点视频编码方法
CN104919799A (zh) 用于三维视频编解码的从深度到视差矢量转换的方法和装置
CN104412587A (zh) 三维视频编码中视图间候选获取的方法和设备
CN104904206B (zh) 空间运动矢量预测推导方法和装置
CN103621093A (zh) 在三维视频编码***中的纹理图像压缩方法及装置
CN103907346A (zh) 用于三维视频编码与高效率视频编码的运动矢量及视差矢量导出方法及其装置
CN104429074A (zh) 3d视频编码中视差矢量导出的方法和装置
CN103338370B (zh) 一种多视点深度视频快速编码方法
CN104798375A (zh) 在3d视频编码中约束视差向量推导的方法及装置
CN104604232A (zh) 用于编码多视点图像的方法及装置,以及用于解码多视点图像的方法及装置
JP2016513925A (ja) ３ｄビデオ符号化におけるビュー合成予測の方法と装置
CN104918032B (zh) 简化基于深度的块分割的方法
CA2921759C (en) Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
CN105122808A (zh) 用于三维及多视图视频编码的视差向量推导的方法及装置
CN110460842B (zh) 一种集成成像快速编码方法
CN105812819B (zh) 执行混成多重假设移动补偿预测的方法以及装置
CN105247862A (zh) 三维视频编码中的视点合成预测的方法及装置
CN105144714B (zh) 三维或多视图视频编码或解码的方法及装置
CN104904219A (zh) 基于视差向量导出的三维视频编码装置及方法
CN104412238B (zh) 获取图片中块的视图间候选运动矢量的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150916

RJ01 Rejection of invention patent application after publication