CN104301739B - 多视点视频编码方法 - Google Patents

多视点视频编码方法 Download PDF

Info

Publication number
CN104301739B
CN104301739B CN201410324010.0A CN201410324010A CN104301739B CN 104301739 B CN104301739 B CN 104301739B CN 201410324010 A CN201410324010 A CN 201410324010A CN 104301739 B CN104301739 B CN 104301739B
Authority
CN
China
Prior art keywords
block
current
encoding
blocks
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410324010.0A
Other languages
English (en)
Other versions
CN104301739A (zh
Inventor
张娜
陈渏纹
林建良
安基程
张凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HFI Innovation Inc
Original Assignee
HFI Innovation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HFI Innovation Inc filed Critical HFI Innovation Inc
Priority to CN201410324010.0A priority Critical patent/CN104301739B/zh
Publication of CN104301739A publication Critical patent/CN104301739A/zh
Application granted granted Critical
Publication of CN104301739B publication Critical patent/CN104301739B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明揭露一种多视点视频编码方法，其将多种编码模式用于副视点中的编码块，其中多种编码模式包含合并模式、跳过模式、帧间模式和帧内模式，且编码块允许被分割成更小的编码块，上述多视点视频编码方法包含：接收与当前编码块相关的输入数据，其中当前编码块对应于当前副视点中当前图像的当前纹理块或当前深度块；决定与当前编码块或当前编码块的相邻块集合相关的一或多个编码条件；以及若上述一或多个编码条件满足，利用合并模式或跳过模式编码当前编码块而无需评估帧间模式与帧内模式中至少一者的编码性能。以上所述的多视点视频编码方法能大幅削减编码时间而不会带来性能损失的副作用。

Description

多视点视频编码方法
相关申请的交叉引用
本申请要求如下申请的优先权：2013年6月18日递交的、申请号为PCT/CN2013/079584、标题为“Method for Fast Encoder Decision”的PCT国际申请，在此合并参考上述申请案的全部内容。
技术领域
本发明有关于三维(three-dimensional，3D)视频编码，特别是，有关于多视点(multi-view)视频编码方法以及其中包含的合并模式早决定(early Merge modedecision)和分割早停(early split termination)的快速编码器模式决定。
背景技术
近年来，三维(3D)电视成为了一种技术趋势，其能够带给观众无与伦比的视觉体验。目前，已发展出各种技术来使3D观影变为可能。在这些技术中，多视点视频是3D电视中应用的主要技术。传统的视频一般是二维(2D)的媒体，其仅能够为观众提供来自相机(camera)视点的单一场景视图。然而，多视点视频能够提供动态场景的任意视点，并能够带给观众惊人的真实感。
多视点视频通常是利用多台相机同时抓取一个场景而产生的，其中，上述多台相机在拍摄过程中被合理置位，以使每台相机都能从一个视点(viewpoint)抓取上述场景。相应地，多台相机将会抓取对应于多个视点的多个视频序列。为了提供更多的视点，更多的相机被使用以生成具有与视点相关的大量视频序列的多视点视频。从而，此多视点视频需要较大的存储空间来存储及/或较高带宽来传输。因此，该领域中产生了多视点视频编码技术以降低所需存储空间或传输带宽。
最简单方法只需将传统的视频编码技术独立地应用在每一个单一视点(single-view)视频序列上，而忽视不同视点间的相关性。然而，这样的编码***效率很差。为提升多视点视频编码的效率，一般的多视点视频编码会减少视点间(inter-view)冗余。因此，大多数的3D视频编码***都会考虑与多视点及深度图(depth maps)有关的视频数据的相关性。
在基于3D视频编码的高效率视频编码(High Efficiency Video Coding，以下简称HEVC)的参考软件设计中，视点间候选项作为帧间(Inter)、合并(Merge)或跳过(Skip)模式下运动向量(Motion Vector，以下简称MV)或视差向量(Disparity Vector，以下简称DV)的候选项而被添加进来，以重用(re-use)相邻视点的先前已编码运动信息。在基于3D视频编码的HEVC(3D-HTM)中，用于压缩的基本单元被称为编码单元(Coding Unit，以下简称为CU)，其是一个2N×2N的方块。每一CU都可递归地被划分为四个更小的CU，直到达到预先定义的最小尺寸。每一CU都包含一个或多个预测单元(Prediction Unite，以下简称为PU)。
为了共享相邻视点的先前已编码纹理(texture)信息，3D-HTM中包含了一种叫做视差补偿预测(Disparity-Compensated Prediction，以下简称为DCP)的技术，以作为运动补偿预测(Motion-Compensated Prediction，以下简称为MCP)的替代编码工具。MCP是一种利用相同视点的先前已编码图像的帧间预测，而DCP则是一种利用相同撷取单元中其他视点的先前已编码图像的帧间预测。图1是整合了MCP和DCP的3D视频编码***范例的示意图。其中，用于视差补偿预测(DCP)的向量(110)被称为视差向量(DV)，其类似于用于运动补偿预测(MCP)的运动向量(MV)。图1中画出了与MCP相关的三个MV(120、130和140)。此外，DCP块的DV也可以通过视差向量预测子(Disparity Vector Predictor，以下简称DVP)候选项而被预测出来，其中DVP是从同样利用视点间参考图像的相邻块或时间同位块(temporalcollocated block)得出。在3D-HTM中，当获取用于合并/跳过模式的视点间合并候选项(inter-view Merge candidate)时，若对应块的运动信息不可用或者无效，则此视点间合并候选项由DV来替代。
视点间残差预测(Inter-view residual prediction)是3D-HTM中利用的另一编码工具。为了共享相邻视点的先前已编码残差信息，当前预测块(即，预测单元)的残差信号可由视点间图像中对应块的残差信号预测得到，如图2所示。上述对应块可借由各自的DV来定位。对应于特定相机位置的视频图像和深度图可以通过视点识别符(即，图2中的V0、V1和V2)来指示。属于相同相机位置的所有视频图像和深度图都与相同的viewID(即，视点识别符)相关。上述视点识别符被用于指定存取单元中的编码顺序以及在易错环境下侦测错失的视点。一个存取单元包含对应于相同时间点的所有视频图像和深度图。在一个存取单元中，viewID为0的视频图像以及相关的深度图(若存在)首先被编码，接着是viewID为1的视频图像以及深度图，以此类推。上述viewID为0的视点(即，图2中的V0)也被称为基本视点(the base view)或者独立视点(the independent view)。上述基本视点的视频图像可以不依赖于其他视点而利用传统的HEVC视频编码器进行编码。
如图2所示，对于当前块来说，运动向量预测子(Motion Vector Predictor，以下简称为MVP)/视差向量预测子(Disparity Vector Predictor，以下简称为DVP)可由视点间图像中的视点间块推导得出。在下文的描述中，视点间图像中的视点间块被简称为视点间块。而推导出的候选项被称为视点间候选项(inter-view candidate)，其可以是视点间MVP或者DVP。基于其他视点的先前已编码运动信息来编码当前块(例如，当前预测单元-PU)的运动信息的编码方法被称为视点间运动参数预测(inter-view motion parameterprediction)。此外，相邻视点中的对应块被称为视点间块，且上述视点间块是利用从深度信息推导出的DV来定位的，其中上述深度信息与当前图像中的当前块相关。
图2中所示的范例对应于从V0(即，基本视点)到V1，接着是V2的视点编码顺序。其中，将要被编码的当前图像的当前块属于V2。依据3D-HTM，先前已编码视点的参考块的MV都可以被视为视点间候选项。在图2中，帧210、220和230分别对应于时间点t1时视点V0、V1和V2中的视频图像或深度图。块232为当前视点中的当前块，块212和222分别为视点V0和V1中的当前块。对于视点V0中的当前块212来说，DV216被用于定位视点间同位块214。类似地，对于视点V1中的当前块222来说，DV226被用于定位视点间同位块224。依据3D-HTM，与已编码视点的视点间同位块相关的MV或DV都可以被包含于视点间候选项中。
在3D-HTM中，DV可被用作帧间模式的DVP候选项，或被用作合并/跳过模式的合并候选项(Merge candidate)。推导出的DV也可被用作视点间运动预测(inter-view motionprediction)和视点间残差预测的偏移向量。如图3A和图3B所示，当作为偏移向量时，DV是从空间及时间相邻块推导出来。首先决定多个空间及时间相邻块，然后依据预设顺序检查上述空间和时间相邻块的DV有效性(DV availability)。这种基于相邻(空间和时间)块的、用于DV推导的编码方法称为相邻块DV(NBDV)。如图3A所示，空间相邻块集合包含位于当前块310的左下角(lower-left corner)的对角位置的块(即，左下块A0)、紧邻当前块310底部左侧(left-bottom side)的块(即，底部左侧块A1)、位于当前块310的左上角(upper-leftcorner)的对角位置的块(即，左上块B2)、位于当前块310的右上角(upper-right corner)的对角位置的块(即，右上块B0)以及紧邻当前块310右侧顶部(top-right side)的块(即，右侧顶部块B1)。如图3B所示，块320为时间参考图像中当前块310的时间同位块，且时间相邻块集合包含位于时间同位块320中心的块(即，BCTR)以及位于时间同位块320的右下角的对角位置的块(即，右下块BRB)。如图3B所示，块BCTR位于时间同位块320的中心点P的左上角位置。除了中心位置之外，时间参考图像的时间同位块中其他位置(例如，右下角位置的块(lower-right block))也可以被使用。换句话说，时间同位块中的任何块都可以包含至时间相邻块集合中。若一个块被确认具有DV，上述检查程序将结束。图3A所示的用于空间相邻块的范例性搜寻顺序是A1、B1、B0、A0、B2。图3B所示的用于时间相邻块的范例性搜寻顺序是BRB、BCTR。上述空间及时间相邻块与HEVC中帧间模式(先进运动向量预测，AMVP)及合并模式的空间和时间相邻块相同。
若相邻块集合(即，图3A和图3B中所示的空间和时间相邻块)中并未发现DCP编码块(DCP coded block)，则视差信息可由另一编码方法(DV-MCP)获得。在此状况下，当一个空间相邻块是MCP编码块(MCP coded block)且其运动是由视点间运动预测方式来预测，如图4所示，则用于视点间运动预测的DV代表当前及视点间参考图像之间的运动对应性(motion correspondence)。这一类运动向量被称为视点间预测运动向量，而上述块则被称为DV-MCP块。图4所示为DV-MCP块的范例，其中DV-MCP块410的运动信息是从视点间参考图像中的对应块420预测得出。上述对应块420的位置是由视差向量430确定的。DV-MCP块所使用的DV代表当前及视点间参考图像之间的运动对应性。对应块420的运动信息422被用于预测当前视点的当前块410的运动信息412。
当前的3D-HEVC利用了一种通过撷取更准确的DV(在本文中称为精细DV(refinedDV))来增强NBDV的方法。首先，从相同的存取单元中的已编码深度图中获取深度块并将其作为当前块的虚拟深度(virtual depth)。这种用于DV推导的编码方法被称为面向深度的NBDV(Depth-oriented NBDV，以下简称为DoNBDV)。在以通用测试条件编码视点1和视点2的纹理时，视点0的深度图已然可用。因此，视点1和视点2的纹理的编码可得益于视点0的深度图。如图5所示，估测的DV可从虚拟深度来获取。其整体流程如下所示：
1.使用估测的DV来定位已编码纹理视点的对应块，其中上述估测的DV为当前3D-HTM中的NBDV；
2.使用已编码视点的同位深度作为当前块(编码单元)的虚拟深度；
3.由先前步骤得到的虚拟深度的最大值获取用于视点间运动预测的DV(即，精细DV)。
在图5所示的范例中，视点0的已编码深度图被用于推导视点1的欲编码纹理帧的DV。依据估测的DV540以及视点0的已编码深度图中当前块的位置520，获取用于当前块CB510的、已编码视点0的对应深度块530。接着，获取的对应深度块530被作为当前块的虚拟深度块530’以推导DV。而虚拟深度块530’中的最大值被用于获取视点间运动预测的DV。
在3D-HEVC中，用于压缩的基本单元被称为编码树单元(Coding Tree Unit，以下简称为CTU)，也被称为最大编码单元(Largest Coding Unit，以下简称为LCU)，其是一个2N×2N的方块，且每一CTU都可递归地被划分为四个更小的CU，直到达到预先定义的最小尺寸。为了决定最佳的CU尺寸，通常会使用在视频编码领域中众所周知的率失真优化(Rate-Distortion Optimization，以下简称为RDO)。当编码一个CU时，检验对应于不同PU类型的率失真(RD)开销(cost)，上述不同PU类型包含帧间/合并/跳过2N×2N、帧间/合并2N×N、帧间/合并N×2N、帧间/合并N×N、帧间/合并2N×nU、帧间/合并2N×nD、帧间/合并nL×2N、帧间/合并nR×2N、帧内2N×2N以及帧内N×N。对于帧间/合并N×N以及帧内N×N的RD开销来说，其仅在用于8×8的CU时被检验。对于每一帧间PU类型来说，运动估测(MotionEstimation，以下简称为ME)及运动补偿必须被执行以推导用于RD开销评估的运动补偿残差。对于合并模式来说，上述运动信息可由相邻块的运动信息决定。从而，合并模式由于未执行运动估测而更具有计算效率。众所周知，视频编码中的ME需要的计算量很大。图6所示是3D-HTM中纹理CU编码过程的范例，其中，各种编码模式的RD性能在步骤612至步骤632中被检验。如前文所述，帧间/合并N×N以及帧内N×N的RD开销仅在用于8×8的CU时被检验。换句话说，步骤614和步骤630仅在N＝8时执行。在用于既定CU的最佳模式选出之后，最终CU(即，叶CU(leaf CU))将利用所示的压缩CU的过程(步骤640a至步骤640d)之一来进行压缩。上述压缩过程可依据CU分割递归调用，直到完成整个既定CU的压缩。
在编码器端，可以决定用于纹理的CU分割四叉树(Quadtree，以下简称QT)。同样，也可以在编码器端决定用于深度的分割QT。上述QT的结构需要被整合至比特流中，以使解码器可以还原QT的结构。为了减少比特数和编码的运行时间，当前的HTM采用了一种方法，在此方法中，深度QT利用纹理QT作为预测子。对于一个既定的CTU来说，深度的QT与同位的纹理QT相关联，从而既定的深度CU无法比其纹理中的同位CU进行更多的分割。在图7所示的实施例中，块710对应于纹理CTU的QT，而块720则对应深度CTU。如图7所示，纹理CTU中的某些分割并未在深度CTU中实施(如722和724所示)。同样，也可以实施矩形分割的简化。举例来说，当纹理块被分割成2N×N或N×2N时，对应的深度块不允许进行2N×N、N×2N以及N×N的分割。在这种对于深度分割的附加约束下，图7中的深度分割如图8中块820所示，其中，822不允许再进行分割。
如图6所示，当前编码机制的计算量非常大。因此，需要开发一种技术以降低与模式决定和编码树分割相关的编码复杂度。
发明内容
有鉴于此，特提供以下技术方案：
本发明的实施例提供一种多视点视频编码方法，其将多种编码模式用于副视点中的编码块，其中多种编码模式包含合并模式、跳过模式、帧间模式和帧内模式，且编码块允许被分割成更小的编码块，上述多视点视频编码方法包含：接收与当前编码块相关的输入数据，其中当前编码块对应于当前副视点中当前图像的当前纹理块或当前深度块；决定与当前编码块或当前编码块的相邻块集合相关的一或多个编码条件；以及若上述一或多个编码条件满足，利用合并模式或跳过模式编码当前编码块而无需评估帧间模式与帧内模式中至少一者的编码性能。
本发明的实施例另提供一种多视点视频编码方法，其将多种编码模式用于副视点中的编码块，其中多种编码模式包含合并模式、跳过模式、帧间模式和帧内模式，且编码块允许被分割成更小的编码块，上述多视点视频编码方法包含：接收与当前编码块相关的输入数据，其中当前编码块对应于当前副视点中当前图像的当前纹理块或当前深度块；决定与当前编码块或当前编码块的相邻块集合相关的一或多个编码条件；以及若上述一或多个编码条件满足，停止将当前编码块分割成更小编码块而无需评估与分割当前编码块得到的更小编码块相关的编码性能。
以上所述的多视点视频编码方法能够在特定条件下避免进行编码性能评估，从而大幅削减编码时间而不会带来性能损失的副作用。
附图说明
图1是整合了视差补偿预测以替代运动补偿预测的3D编码的范例的示意图。
图2是3D-HTM中利用相邻视点的先前已编码信息或残差信息的3D编码的范例的示意图。
图3A是3D-HTM中用于推导当前块的视差向量的当前块的空间相邻块的示意图。
图3B是3D-HTM中用于推导当前块的视差向量的当前块的时间相邻块的示意图。
图4是从运动补偿预测块推导视差的范例的示意图，其中参考视点中的对应的位置由视差向量来确定。
图5是基于块的虚拟深度推导估测的视差向量的范例的示意图。
图6是基于3D-HTM在编码器端执行模式决定的范例的示意图。
图7是用于纹理编码树单元和深度编码树单元的、利用四叉树的编码块分割的范例的示意图。
图8是用于纹理编码树单元和深度编码树单元的、利用具有约束条件的四叉树的编码块分割的另一范例的示意图。
图9A是由参考视点中当前块的对应块以及上述对应块的四个相邻块组成的相邻块集合的范例的示意图。
图9B-9C是由当前副视点中当前图像的当前编码块的4个空间相邻块和当前副视点中时间参考图像中的当前编码块的一个时间相邻块组成的相邻块集合的范例的示意图。
图10是依据本发明实施例的、整合了CU合并模式早决定及CU分割早停的多视点编码***的范例性流程示意图。
图11是整合了CU合并模式早决定的多视点编码***的范例性流程示意图。
图12是依据本发明实施例的、整合了CU分割早停的多视点编码***的范例性流程示意图。
具体实施方式
在说明书及权利要求书当中使用了某些词汇来指称特定的元件。所属技术领域的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求书并不以名称的差异作为区分元件的方式，而是以元件在功能上的差异作为区分的准则。在通篇说明书及权利要求项中所提及的「包含」为一开放式的用语，故应解释成「包含但不限定于」。此外，「耦接」一词在此包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或透过其它装置或连接手段间接地电气连接至第二装置。
为了降低与利用编码性能评估(例如率失真优化(RDO))的编码模式决定相关的编码器复杂度，依据本发明的实施例利用了编码单元(CU)/预测单元(PU)合并模式早决定或CU分割早停。图6所示为依据三维高效率视频编码的测试模式(3D-HTM)的传统编码器。从而，为了确认最佳编码模式和最佳编码树单元分割，传统编码器的模式决定需要很大的计算量。本发明的一个实施例利用了CU/PU合并模式早决定来大幅减少所需的计算量。
依据本发明的一个实施例，上述有关于当前CU中的所有PU是否都应编码为合并模式或者跳过模式的决定是通过检验当前CU以及当前CU的相邻块的编码条件做出的。在此描述中，关于当前CU的编码条件被称为本地条件(local condition)，而关于当前CU的相邻块的编码条件则被称为参考条件。上述当前CU的相邻块被定义为如下分类中的一种：
分类1：分类1中的块集合包含副视点中当前图像的当前CU的对应块以及参考视点中的对应块的4个邻近块，上述4个邻近块对应于图9A中的左侧块A、右侧块C、顶部块B以及底部块D。
分类2：分类2中的块集合包含副视点中当前图像的当前CU的对应块以及围绕参考视点中的对应块的8个邻近块(如图9A中的块A-H)。
分类3：分类3中的块集合包含副视点中当前图像的当前CU的对应块以及围绕参考视点中的对应块的8个邻近块的子集。
分类4：分类4中的块集合包含当前CU的空间相邻块，上述空间相邻块对应于图9B中的左下块A0、底部左侧块A1、左上块B2、右侧顶部块B1以及右上块B0。
分类5：分类5中的块集合包含当前CU的时间相邻块，上述时间相邻块对应于位于时间参考图像中当前块的时间同位块的右下角的对角的右下块BRB，如图9C所示。若与BRB相关的运动信息不可用时，位于时间同位块中心点P右下角位置的中心块BCTR被选作上述时间相邻块。
分类6：分类6中的块集合包含当前CU的视点间相邻块、空间相邻块以及时间相邻块的任意组合。
若当前CU的最佳编码模式在早期就可以决定为合并模式，则编码器仅需要测试不同PU类型的合并模式的RD性能。从而，需要很大运算量的ME就可以被省略。图10所示为整合了合并模式早决定实施例的范例性编码器的RD测试。若当前CU/PU为跳过模式或者合并模式，则会有各种与合并模式早决定相关的实施例。
在合并模式早决定的实施例1中，本地条件对应于“对于当前CU来说，跳过模式的RD性能比2N×2N合并模式的RD性能更好”。在此实施例中，当上述条件为真时，编码器仅需要测试不同PU类型的合并模式的RD性能。从而如图10所示，无需执行帧间模式的运动估测程序或者帧内模式的RD测试。
在合并模式早决定的实施例2中，参考条件对应于“当前CU的所有相邻块皆选择合并模式或者跳过模式作为最佳编码模式”。在此实施例中，当上述条件为真时，编码器仅需要测试不同PU类型的合并模式的RD性能。从而如图10所示，无需执行帧间模式的运动估测程序或者帧内模式的RD测试。
在合并模式早决定的实施例3中，本地条件对应于“对于当前CU来说，跳过模式的RD性能比2N×2N合并模式的RD性能更好”，且参考条件对应于“当前CU的所有相邻块皆选择合并模式或者跳过模式作为最佳编码模式”。在此实施例中，当上述本地条件与参考条件皆为真时，编码器仅需要测试不同PU类型的合并模式的RD性能。从而如图10所示，无需执行帧间模式的运动估测程序或者帧内模式的RD测试。
依据本发明的另一个实施例，关于是否分割当前CU的早期决定是通过检查与当前CU以及当前CU的相邻块相关的编码条件而做出的。当前CU的相邻块可被分成不同的类别。举例来说，前文所述的合并模式早决定的六个分类也可应用至CU分割早停。
当本地条件和参考条件皆为真时，当前CU不需要被进一步分割。下述段落将描述用以早期决定当前CU是否应被进一步分割的不同方案。
在CU分割早停的实施例1中，其参考条件对应于“当前CU的分割深度等于或者大于相邻块的最大分割深度”。在此实施例中，若上述条件为真，则如图10所示，无需对当前CU进一步分割。在此状况下，从“CU分割早停”1050到“结束”1060，选择“是”分支。
在CU分割早停的实施例2中，本地条件对应于“在检查完所有可能的编码模式后，当前CU的最佳编码模式为跳过模式”，且参考条件对应于“当前CU的分割深度等于或者大于相邻块的最大分割深度”。在此实施例中，若上述的本地条件和参考条件皆为真，则如图10所示，无需对当前CU进一步分割。在此状况下，从“CU分割早停”1050到“结束”1060，选择“是”分支。
下述表1-3为整合本发明实施例的3D或多视点视频编码***的性能与基于HTM-7.0的传统***的性能的对比，以分别用于合并模式早决定、CU分割早停决定、或者上述两者。如表1所示，对于CU合并模式早决定来说，视点1(视频1)和视点2(视频2)中纹理图像的BD-rate之间的差别很小。而另一方面，对于分别如表2和表3所示的CU分割早停以及CU合并模式早决定与CU分割早停的组合来说，视点1(视频1)和视点2(视频2)中纹理图像的BD-rate之间的差别(0.8和0.95)则显示了一些改进。表格中第二组性能为仅纹理视频的比特率测量(“视频/视频比特率”)、纹理视频的总比特率(“视频/总比特率”，包含纹理比特率和深度比特率)、以及已编码和合成视频的总比特率(“已编码&合成/总比特率”)。如表1-3所示，与基于HTM-7.0的传统方法相比，上述第二组性能差不多相同。虽然在RD性能方面，依据本发明的实施例与传统方法差不多相同或者仅有一点点优势，但依据本发明的实施例能够大幅削减编码时间。如表1所示，在仅应用CU合并模式早决定的状况下，编码时间可减少32.1％。如表2所示，在仅应用CU分割早停的状况下，编码时间可减少39.3％。如表3所示，在两者皆应用的状况下，编码时间可减少47.3％。因此，依据本发明的实施例能够大幅削减编码时间而不会产生性能损失的副作用。
表1
表2
表3
图11是整合了CU合并模式早决定的多视点编码***的范例性流程示意图。如步骤1110所示，***接收与当前编码块相关的输入数据，其中上述当前编码块对应于当前副视点中当前图像的当前纹理块或者当前深度块。上述输入数据可从存储器中获取，此处的存储器可例如计算机存储器(computer memory)、缓冲器(RAM或者DRAM)、或其他媒体。上述输入数据也可以从处理器获取，此处的处理器可例如控制器、中央处理单元、数字信号处理器、或其他产生输入数据的电子电路。在步骤1120中，决定与当前编码块以及当前编码块的相邻块集合相关的编码条件。在步骤1130中，若上述编码条件满足，则利用合并模式或跳过模式编码当前编码块而无需评估帧间模式和帧内模式中至少一者的RD性能。
图12是依据本发明实施例的、整合了CU分割早停的多视点编码***的范例性流程示意图。如步骤1210所示，***接收与当前编码块相关的输入数据，其中上述当前编码块对应于当前副视点中当前图像的当前纹理块或者当前深度块。在步骤1220中，决定与当前编码块以及当前编码块的相邻块集合相关的编码条件。在步骤1230中，若上述编码条件满足，则停止将当前编码块分割成更小编码块而无需评估与分割当前编码块得到的上述更小编码块相关的RD性能。
以上所述的流程图是为了说明利用了CU合并模式早决定及/或CU分割早停的多视点预测的范例。在不脱离本发明精神的前提下，本领域的技术人员可以修改、重排、分割、或合并上述步骤以实现本发明。
以上所述描述是为了使本领域技术人员能够以上文所提供的特定应用及其要求来实施本发明。本领域技术人员可明了上述实施例的多种变形，且此处所定义的一般原则也可应用于其他实施例。因此，本发明并非以上述特定实施例及描述为限，而应包含记载了符合与此处所揭露的原则及显著特征相一致的最广的范围。在以上所述的详细描述中，阐述各种具体细节是为了便于对本发明有全面的了解。然而，本领域的技术人员应可理解本发明在不限定这些具体细节中的一部分或者全部的情况下如何实施。
上述根据本发明的实施例可以不同硬件、软件代码、或两者的结合来实施。举例来说，依据本发明的一个实施例，其可以是用来实施上述方法的、整合至视频压缩芯片中的电路，或是整合至视频压缩软件中的程序代码。依据本发明的另一个实施例，其也可以是数字信号处理器(Digital Signal Processor，DSP)上执行的、用来实施上述方法的程序代码。本发明亦可包含由计算机处理器、DSP、微处理器、或现场可编程门阵列(FieldProgrammable Gate Array，FPGA)执行的一系列功能。通过执行定义了本发明实施例特定方法的机器可读软件代码或固件代码，这些处理器可被设置为执行依据本发明的特定任务。上述软件代码或固件代码可通过不同的编程语言及不同格式/样式来开发。上述软件代码亦可符合不同的目标平台。然而，执行与本发明相应的任务的、具有不同代码格式、样式及语言的软件代码，以及其他方式形成的代码都应包含在本发明的范围内。
在不脱离本发明的精神及基本特征的前提下，本发明亦可用其他特定形式来实施。以上所述的实施例仅仅是为了说明本发明，并非本发明的限制。本发明的范围当以所附的权利要求为准，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (9)

1.一种多视点视频编码方法，该方法将多种编码模式用于副视点中的编码块，其中该多种编码模式包含合并模式、跳过模式、帧间模式和帧内模式，且该编码块允许被分割成更小的编码块，该多视点视频编码方法包含：
接收与当前编码块相关的输入数据，其中该当前编码块对应于当前副视点中当前图像的当前纹理块或当前深度块；
决定与该当前编码块或该当前编码块的相邻块集合相关的一或多个编码条件，其中该一或多个编码条件对应于：对于该当前编码块来说，是否该跳过模式的编码性能比2N×2N合并模式的编码性能更好，是否该相邻块集合中的所有块都选择该合并模式或者该跳过模式作为最佳编码模式；以及
若该一或多个编码条件满足，利用该合并模式或该跳过模式编码该当前编码块而无需评估该帧间模式与该帧内模式中至少一者的编码性能。
2.如权利要求1所述的多视点视频编码方法，其特征在于：该相邻块集合包含参考视点中该当前编码块的对应块以及该参考视点中该当前编码块的该对应块的至少一邻近块。
3.如权利要求2所述的多视点视频编码方法，其特征在于：该至少一邻近块对应于该参考视点中该当前编码块的该对应块的左侧、右侧、顶部以及底部的四个邻近块。
4.如权利要求2所述的多视点视频编码方法，其特征在于：该至少一邻近块对应于该参考视点中该当前编码块的该对应块周围的八个邻近块。
5.如权利要求1所述的多视点视频编码方法，其特征在于：该相邻块集合包含该当前副视点中该当前图像的该当前编码块的一或多个空间相邻块、该当前副视点中时间参考图像中的该当前编码块的时间相邻块、或者该一或多个空间相邻块与该时间相邻块。
6.如权利要求5所述的多视点视频编码方法，其特征在于：该一或多个空间相邻块对应于左下块、底部左侧块、左上块、右侧顶部块以及右上块。
7.如权利要求5所述的多视点视频编码方法，其特征在于：该时间相邻块对应于位于该时间参考图像中该当前编码块的时间同位块的右下角的对角位置的右下块，且当与位于该时间同位块的该右下角的对角位置的该右下块相关的运动信息不可用时，选择位于该时间同位块的中心点的右下角位置的中心块作为该时间相邻块。
8.如权利要求1所述的多视点视频编码方法，其特征在于：该编码块对应于编码单元。
9.如权利要求1所述的多视点视频编码方法，进一步包含：
决定与该当前编码块以及该当前编码块的第二相邻块集合相关的一或多个第二编码条件；以及
若该一或多个第二编码条件满足，停止将该当前编码块分割成更小编码块而无需评估与分割该当前编码块得到的该更小编码块相关的该编码性能。
CN201410324010.0A 2013-07-18 2014-07-09 多视点视频编码方法 Expired - Fee Related CN104301739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410324010.0A CN104301739B (zh) 2013-07-18 2014-07-09 多视点视频编码方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2013/079584 2013-07-18
PCT/CN2013/079584 WO2015006951A1 (en) 2013-07-18 2013-07-18 Methods for fast encoder decision
CN201410324010.0A CN104301739B (zh) 2013-07-18 2014-07-09 多视点视频编码方法

Publications (2)

Publication Number Publication Date
CN104301739A CN104301739A (zh) 2015-01-21
CN104301739B true CN104301739B (zh) 2018-04-17

Family

ID=51211590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410324010.0A Expired - Fee Related CN104301739B (zh) 2013-07-18 2014-07-09 多视点视频编码方法

Country Status (4)

Country Link
US (1) US9743066B2 (zh)
EP (1) EP2858368A3 (zh)
CN (1) CN104301739B (zh)
WO (1) WO2015006951A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015000108A1 (en) * 2013-07-01 2015-01-08 Mediatek Singapore Pte. Ltd. An improved texture merging candidate in 3dvc
KR102179383B1 (ko) * 2013-08-09 2020-11-16 삼성전자주식회사 병합 모드 결정 방법 및 장치
KR101662662B1 (ko) * 2014-01-02 2016-10-05 인텔렉추얼디스커버리 주식회사 다시점 영상을 위한 잔차를 부호화/복호화하는 방법 및 그 장치
US9924183B2 (en) * 2014-03-20 2018-03-20 Nanjing Yuyan Information Technology Ltd. Fast HEVC transcoding
US9936201B2 (en) * 2015-01-27 2018-04-03 Qualcomm Incorporated Contexts for large coding tree units
US9883187B2 (en) * 2015-03-06 2018-01-30 Qualcomm Incorporated Fast video encoding method with block partitioning
CN104902271B (zh) * 2015-05-15 2017-12-29 腾讯科技（北京）有限公司 预测模式选择方法及装置
CN105611287A (zh) * 2015-12-29 2016-05-25 上海大学 一种低复杂度的深度视频和多视视频编码方法
US11638027B2 (en) 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
CN106254887B (zh) * 2016-08-31 2019-04-09 天津大学 一种深度视频编码快速方法
US20210281873A1 (en) * 2016-09-06 2021-09-09 Mediatek Inc. Methods and apparatuses of candidate set determination for binary-tree splitting blocks
CN106210741B (zh) * 2016-09-10 2018-12-21 天津大学 一种基于视点间相关性的深度视频编码算法
US20180192071A1 (en) * 2017-01-05 2018-07-05 Mediatek Inc. Decoder-side motion vector restoration for video coding
CN106899850B (zh) * 2017-03-02 2020-08-14 北方工业大学 基于satd的hevc帧内预测的方法和装置
CN107071479B (zh) * 2017-04-28 2020-06-05 南京理工大学 基于视点相关性的3d视频深度图像预测模式选择方法
CN107222742B (zh) * 2017-07-05 2019-07-26 中南大学 基于时空域相关性的视频编码Merge模式快速选择方法及装置
CN107690069B (zh) * 2017-08-28 2021-01-01 中国科学院深圳先进技术研究院 一种数据驱动的级联视频编码方法
CN108632615A (zh) * 2018-04-09 2018-10-09 首都师范大学 一种基于运动矢量分析的hevc提前判断skip模式的方法
WO2020233662A1 (en) 2019-05-21 2020-11-26 Beijing Bytedance Network Technology Co., Ltd. Syntax signaling for optical-flow based inter coding
CN114223200B (zh) 2019-08-14 2023-11-17 北京字节跳动网络技术有限公司 位置相关帧内预测样点滤波
WO2021027928A1 (en) 2019-08-14 2021-02-18 Beijing Bytedance Network Technology Co., Ltd. Weighting factors for prediction sample filtering in intra mode
EP4032290A4 (en) 2019-10-18 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SYNTAX CONSTRAINTS IN REPORTING SUBPICTURE PARAMETER SETS
CN112601082B (zh) * 2020-11-30 2023-12-12 南京邮电大学 一种基于视频的快速动态点云编码方法及***
CN112929705B (zh) * 2021-02-02 2022-04-22 腾讯科技（深圳）有限公司 纹理压缩和解压方法、装置、计算机设备和存储介质
US20230119972A1 (en) * 2021-10-01 2023-04-20 Mediatek Inc. Methods and Apparatuses of High Throughput Video Encoder

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857759A (zh) * 2012-09-24 2013-01-02 中南大学 一种h.264/svc中快速预先跳过模式判定方法
CN102984521A (zh) * 2012-12-12 2013-03-20 四川大学 基于时域相关性的高性能视频编码帧间模式判决方法
CN103108183A (zh) * 2013-02-01 2013-05-15 中国科学技术大学 一种三维视频中Skip和Direct模式运动矢量的预测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006004331A1 (en) * 2004-07-07 2006-01-12 Samsung Electronics Co., Ltd. Video encoding and decoding methods and video encoder and decoder
KR101173560B1 (ko) * 2008-12-15 2012-08-13 한국전자통신연구원 고속 모드 결정 장치 및 방법
DK2924995T3 (en) * 2010-07-09 2018-10-01 Samsung Electronics Co Ltd PROCEDURE FOR VIDEO DECODING, BY USING BLOCK COLLECTION
KR101893559B1 (ko) 2010-12-14 2018-08-31 삼성전자주식회사 다시점 비디오 부호화/복호화 장치 및 방법
CN103118261A (zh) * 2013-03-12 2013-05-22 福州大学 一种h.264帧间模式快速选择方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857759A (zh) * 2012-09-24 2013-01-02 中南大学 一种h.264/svc中快速预先跳过模式判定方法
CN102984521A (zh) * 2012-12-12 2013-03-20 四川大学 基于时域相关性的高性能视频编码帧间模式判决方法
CN103108183A (zh) * 2013-02-01 2013-05-15 中国科学技术大学 一种三维视频中Skip和Direct模式运动矢量的预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
3D-CE3.h related: Removal of depth quadtree prediction and simple early depth CU decision for fast encoding;Jin Young Lee 等;《Joint Collaborative Team on 3D Video Coding Extensions of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JCT3V-D0121 》;20130426;1.Early Depth CU Decision *
An adaptive early skip mode decision scheme for multiview video coding;Bruno Zatt 等;《IEEE 28th Picture Coding Symposium,PCS2010,Nagoya,Japan》;20101210;2.2 adaptive early skip mode decision scheme *
Early SKIP Detection for HEVC;Jungyoup Yang 等;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,JCTVC-G543》;20111130;2 Proposed encoder description，图2-3 *

Also Published As

Publication number Publication date
EP2858368A2 (en) 2015-04-08
US9743066B2 (en) 2017-08-22
US20150022633A1 (en) 2015-01-22
CN104301739A (zh) 2015-01-21
WO2015006951A1 (en) 2015-01-22
EP2858368A3 (en) 2016-08-10

Similar Documents

Publication Publication Date Title
CN104301739B (zh) 多视点视频编码方法
CN104718760B (zh) 用于三维和多视图视频编码的方法和装置
CN105453561B (zh) 三维以及多视图视频编码中导出默认视差向量的方法
CN104412597B (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
CN104521236B (zh) 三维视频编码或解码方法
US20160073132A1 (en) Method of Simplified View Synthesis Prediction in 3D Video Coding
CN105325001A (zh) 面向深度的视图间运动向量预测
JP6042556B2 (ja) ３ｄビデオ符号化における制約される視差ベクトル導出の方法と装置
US20150365649A1 (en) Method and Apparatus of Disparity Vector Derivation in 3D Video Coding
US20150201214A1 (en) Method and apparatus of disparity vector derivation in 3d video coding
CN102801995B (zh) 一种基于模板匹配的多视点视频运动和视差矢量预测方法
CN105474640B (zh) 三维视频编码的摄像机参数发信的方法和装置
JP2016513925A (ja) ３ｄビデオ符号化におけるビュー合成予測の方法と装置
CN104412587A (zh) 三维视频编码中视图间候选获取的方法和设备
US10341638B2 (en) Method and apparatus of depth to disparity vector conversion for three-dimensional video coding
CA2921759C (en) Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
CN105144714B (zh) 三维或多视图视频编码或解码的方法及装置
CN104904219B (zh) 块编码装置及方法
CN105812819B (zh) 执行混成多重假设移动补偿预测的方法以及装置
CN105247862A (zh) 三维视频编码中的视点合成预测的方法及装置
CN105432084A (zh) 用于三维视频编码的参考视图选择的方法
Wei Efficient multi-view video coding scheme based on dynamic video object segmentation
CN105474643A (zh) 3d视频编码中简化的视图合成预测的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160909

Address after: Hsinchu County, Taiwan, China

Applicant after: Atlas Limited by Share Ltd

Address before: One of the third floor, Soras building, 1st Avenue, Singapore

Applicant before: Mediatek (Singapore) Pte. Ltd.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180417

Termination date: 20210709

CF01 Termination of patent right due to non-payment of annual fee