CN104685882A - 用于处理3d场景的一个或更多个视频的方法 - Google Patents

用于处理3d场景的一个或更多个视频的方法 Download PDF

Info

Publication number
CN104685882A
CN104685882A CN201380050841.7A CN201380050841A CN104685882A CN 104685882 A CN104685882 A CN 104685882A CN 201380050841 A CN201380050841 A CN 201380050841A CN 104685882 A CN104685882 A CN 104685882A
Authority
CN
China
Prior art keywords
block
depth
difference vector
current
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380050841.7A
Other languages
English (en)
Other versions
CN104685882B (zh
Inventor
田栋
邹峰
安东尼·韦特罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/631,852 external-priority patent/US9264691B2/en
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN104685882A publication Critical patent/CN104685882A/zh
Application granted granted Critical
Publication of CN104685882B publication Critical patent/CN104685882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

场景视频被处理以合成视图。这些视频由相应的照相机获取，这些照相机被排布成各个照相机的视图与至少一个其他照相机的视图交叠。针对各个当前块，从相邻块获得运动矢量或视差矢量。深度块基于相应的基准深度图像和运动矢量或视差矢量。使用运动场的后向弯曲，基于深度块生成预测块。然后，针对使用预测块的当前块的预测编码。后向映射也可以在空间域中执行。

Description

用于处理3D场景的一个或更多个视频的方法
技术领域
本发明总体涉及对多视图视频编码，更具体地说，涉及用于预测压缩的对3D多视图视频编码。
背景技术
多视图视频编码对于诸如三维电视(3DTV)、自由视点电视(FTV)以及多照相机监视等应用是不可缺少的。多视图视频编码也被称为是动态光场压缩。如这里使用的，编码可以包括例如在编解码器中编码、解码或编码和解码这两者。
深度图像被认为是新兴3D视频编码标准中的数据格式的一部分。使用深度图像作为辅助信息以执行预测编码被称为视图合成预测(VSP)。
在常规视频编码(例如，根据H.264AVC(高级视频编码)和H.265HEVC(高效率视频编码)标准的编码)中，使用来自相邻块的运动信息以导出运动矢量。然后，所导出的运动矢量用作运动矢量预测子(MVP)，以预测针对当前块的运动矢量。然后，编码并发送当前运动矢量与MVP之间的运动矢量差(MVD)。
图1示出了对当前块编码的常规方法。步骤110从相邻块导出被称为MotionDerive的运动矢量或视差矢量。步骤120通过应用旨在使得残留差最小化的运动估计技术，确定针对当前块的被称为MotionCurrent的运动矢量或视差矢量。步骤130计算并对运动矢量差编码：(MotionDiff＝MotionCurrent-MotionDerive)。最后，步骤140对残留块编码。
图2示出了相应的现有技术编码器。元件201示出图片的一部分中的块。在元件201中，当前块由星号“*”表示，并且相邻块由点“.”表示。从如元件201中所示的相邻块，导出202运动矢量或视差矢量。从202所导出的运动矢量或视差矢量充当运动矢量预测子(MVP)203。
通过参照纹理基准图片缓冲204，对当前块执行205运动估计，以产生206针对当前块的运动矢量(MotionCurrent)。
在计算207MVP与MotionCurrent之间的差分之后，获得208运动矢量差分(MVD)，该MVD 208被编码209到比特流210中。
来自运动估计205的另一个输出是基准图片，该输出充当纹理预测子211。然后，通过基于纹理预测子211和当前图片215执行212纹理预测，获得纹理残留213。纹理残留213也被编码214为该比特流的一部分。
图3示出解码器。从如元件301中所示的相邻块，导出302运动矢量或视差矢量。所导出的运动矢量或视差矢量充当运动矢量预测子(MVP)303。
从编码后的比特流310，解码309运动矢量差分(MVD)308并且馈送到加法器307。将运动矢量预测子303和运动矢量差分308相加307，然后获得针对当前块的运动矢量MotionCurrent 306。
从编码后的比特流310，解码314纹理残留图片313。将当前运动矢量306和纹理残留图片输入到运动补偿模块305。与纹理参照缓冲304一起执行运动补偿，并且最后输出315解码后的图片。
发明内容
一种通过使用针对纹理编码的后向弯曲来执行视图合成预测(VSP)的方法和***，其中，在纹理分量之后对深度分量编码。
常规地，基于前向弯曲的视图合成预测通常使用来自基准视图的纹理和深度分量。虽然前向弯曲通常提供高保真性，但是基于前向弯曲的VSP的主要缺点是大幅增加编解码器的复杂性。
相反，如这里公开的基于后向弯曲的视图合成预测(B-VSP)较不复杂。因此，基于后向弯曲的VSP在特定应用上是期望的。另外，基于后向弯曲的VSP帮助基于块的VSP基准生成。
不利地，基于后向弯曲的VSP通常要求深度优先编码。即，在来自相同访问单元的相应纹理分量之前对深度分量编码。访问单元是相同时刻的所有分量(纹理和深度)的集合。深度优先编码阻止需要访问相应的纹理分量的任何深度编码工具的使用。
为了利用基于后向弯曲的VSP的优点，同时避免深度优先编码，本实施方式使用来自相邻块的运动矢量或视差矢量，以从之前编码的深度图像导出深度块，该深度图像诸如在先前的访问单元(或相同访问单元但是来自其他视点)中编码的深度图像。因此，所导出的深度块被认为是针对要编码的当前块的估计深度块，其最终用于基于后向弯曲的VSP。
发明效果
常规地，基于前向弯曲的视图合成预测通常使用来自基准视图的纹理和深度分量。前向弯曲通常以较高的成本提供高保真性。相反，本发明的视图合成预测针对纹理编码而使用后向弯曲，并且不要求在纹理分量之前对深度分量编码。另外，基于后向弯曲的VSP帮助基于块的VSP基准生成，这较不复杂并且具有实施优点。
为了使得能够进行基于后向弯曲的VSP，同时避免深度优先编码，本发明使用来自相邻块的运动矢量或视差矢量，以从先前编码的深度图像导出深度块，该深度图像诸如在先前的访问单元(或相同访问单元但是来自其他视点)中编码的深度图像。
附图说明
图1是使用相邻运动信息对当前块的运动信息编码的现有技术的方法的流程图；
图2是现有技术的编码器的框图；
图3是现有技术的解码器的框图；
图4是根据本发明的实施方式的利用后向VSP预测来使用相邻运动信息或视差信息对当前块编码的方法的流程图；
图5A是根据本发明的实施方式的使用空间预测的编码器的框图；
图5B是根据本发明的实施方式的使用时间预测的编码器的框图；
图6A是根据本发明的实施方式的使用空间预测的解码器的框图；
图6B是根据本发明的实施方式的使用时间预测的解码器的框图；
图7是根据本发明的实施方式的编码方法的流程图；
图8是根据本发明的实施方式的解码方法的流程图；
图9是根据本发明的实施方式的从相邻块的估计深度值的示例；
图10是根据本发明的实施方式的从相邻块估计深度值的另一个示例；以及
图11是示出根据本发明的实施方式的使用B-VSP模式的在深度锚图片中的块的解码处理的流程图。
具体实施方式
本发明的实施方式提供了一种用于基于后向弯曲技术来生成视图合成预测(VSP)基准图片的方法和***。本方法不使用深度优先编码。本方法使用从相邻块到当前的运动信息或视差信息，以导出针对要编码的当前块的深度块。然后，使用所导出的深度块执行后向弯曲。如这里使用的，视图合成从场景的一个或更多个视频生成合成视频，在场景的一个或更多个视频中，由以特定姿态排布的相应照相机获取了3D场景的各个视频，并且其中各个照相机的视图与至少一个其他照相机的视图交叠。
与使用来自相邻块的运动信息的常规视图合成相比，本实施方式特征在于导出深度块并且基于所导出的深度块形成采样块以预测当前块。
本实施方式公开了使用来自相邻块的运动信息或视差信息的不同方式。具体地说，所导出的运动信息或视差信息直接用于导出深度块，DepthDerive，该深度块进一步用于形成针对当前块中的用于采样值的预测子。
图4示出根据本发明的实施方式的用于编码的方法。针对各个当前块401执行步骤。
步骤410，从相邻块获得运动矢量或视差矢量。
步骤420，基于相应的基准深度图像和运动矢量或视差矢量确定深度块。
步骤430，使用后向弯曲，基于深度值生成预测块；以及
步骤440，使用该预测块针对当前块执行预测编码。
图5A示出可比较的编码器框图。从元件501中所示的相邻块，导出502运动矢量或视差矢量MotionDerive(MVP)503。可选择地，MotionDerive或将促进解码器来确定MotionDerive的辅助信息可以被编码并用信号通知550，并且是编码后的比特流510的一部分。
通过使用MotionDerive来参照深度基准图片缓冲551，估计504针对当前块的深度块DepthDerive505。
通过使用DepthDerive参照纹理基准图片缓冲504，执行506后向弯曲以获得纹理预测子507。
然后，纹理预测508基于纹理预测子507和当前图片515获得纹理残留509，该纹理残留509被编码511到比特流中。
图6A示出解码器。从编码后的比特流610，可以用信号通知650导出运动矢量选择或视差矢量选择的辅助信息653。如果辅助信息653正在被使用，则其作为输入被馈送到块601。
从如元件601中所示的相邻块，导出602运动矢量或视差矢量Motion Derive 603。
通过使用MotionDerive参照深度基准图片缓冲651，估计604针对当前块的深度块DepthDerive 605。
通过使用DepthDerive 605参照纹理基准图片缓冲611，执行606后向弯曲612以获得纹理预测子607。
从编码后的比特流，对纹理残留609解码613以获得用于纹理预测608的纹理预测子607和纹理残留609以输出615解码后的纹理图片。
与如现有技术中的运动或视差补偿后的预测相比，由本实施方式使用的技术可以称为补偿了深度的预测。
我们描述了使用可从基准图片获得的不同图片和深度的三个实施方式。
实施方式1：从基准视图可获得锚图片、深度。
在该实施方式中，我们假定来自基准图片的纹理分量和深度分量这两者都在当前纹理和深度之前被编码。例如，针对两种视图情况的编码顺序是T0D0T1D1，其中，T和D表示纹理和深度，并且0和1表示两个视图。注意，来自视图0的纹理和深度在视图1的纹理和深度之前编码。
对于锚图片，所有块以帧内模式编码，或以视图间预测模式编码。在一个示例中，针对当前块存在三个相邻块，这些相邻块为左(A)、上(B)和右上(C)。描述可以容易地扩展到使用附加相邻块。
如果相邻块(A、B和C)被以视图间预测模式编码，则各个块与由DisparityA、DisparityB和DisparityC表示的视差矢量关联。
考虑到当前块与相邻块之间的相似性，可以从相邻块导出针对当前块的视差矢量，由DisparityDerive表示。在一个实现方式中：
DisparityDerive＝Mean(DisparityA、DisparityB、DisparityC)。
在另一个实现方式中，如新兴HEVC标准中定义的，可以将导出用信号通知作为用于合并候选列表和索引。即，我们从相邻块构造候选列表。然后，在比特流中用信号通知索引，以指示针对DisparityDerive的特定候选。
利用DisparityDerive，可以识别并访问来自基准视图的深度图像中的深度块DepthDerive。我们使用DepthDerive来进行针对当前块的后向弯曲。
当使用视图间预测模式对所有相邻块编码时，一般处理是在以上描述使用相邻块。下面，我们描述当不以任何视图间预测模式对相邻块时编码的情况。
如果以帧内模式对相邻块编码，则相应的视差矢量为零。
如果使用VSP预测模式对相邻块编码，则单个矢量不用于整个块。反之，在那种情况下，可以从用于其VSP预测的深度块来确定视差矢量。该视差矢量可以是整个深度块的平均值，或向较靠近当前块的深度像素给予更多权重。
以上，我们首先导出视差矢量DisparityDerive，然后使用单个视差来访问深度块DepthDerive。另选地，我们可以使用多个所导出的视差，由此，多个所导出的深度块。根据加权平均确定多个所导出的深度块，以获得要用于后向弯曲的单个深度块。
图7示出用于使用B-VSP作为候选编码模式的锚图片中的块的编码处理。
步骤701，令A、B和C为相邻块，DisparityX为它们的视差矢量(X可替换为A、B或C)。
步骤702，如果以帧内模式对A、B和C中的任意块编码，则将其视差矢量设置为零。
步骤703，如果以VSP预测模式对A、B和C中的任意块编码，则将其视差矢量设置为用于其VSP预测的深度块的平均值。
步骤704，将DisparityDerive设置为DisparityX的平均值。
步骤705，获得相应的深度图像中的深度块DepthDerive。
步骤706，使用DepthDerive执行基于后向弯曲的VSP。
步骤707，将B-VSP模式与其他编码模式比较，并且如果速率失真成本低，则选择B-VSP模式。
图8是使用推荐的B-VSP模式的锚图片中的块的解码处理。
步骤801，检查针对当前块是否用信号通知了B-VSP模式。如果是，则进行到步骤802。否则，进行到步骤808。
步骤802，令A、B和C为相邻块，令DisparityX为它们的视差矢量(X可替换为A、B或C)。
步骤803，如果以帧内模式对A、B和C中的任意块编码，则将视差矢量设置为零。
步骤804，如果以VSP预测模式对A、B和C中的任意块编码，则将其视差矢量设置为用于其VSP预测的深度块的平均值。
步骤805，将DisparityDerive设置为DisparityX的平均值。
步骤806，获得相应的深度图像中的深度块DepthDerive。
步骤807，使用DepthDerive执行基于后向弯曲的VSP。进行到步骤809。
步骤808，以其他编码模式解码当前块。
步骤809，程序结束。
实施方式2：从基准视图不可获得锚或非锚图片、深度
在该实施方式中，我们假定在所有深度分量之前对访问单元中的所有纹理分量编码。例如，两种视图情况的编码顺序是T0T1D0D1，其中，在深度之前对来自视图0和视图1的两个纹理编码。该实施方式还可以在没有对于深度的编码的纹理依赖性时适用。
在类似处理中，可以从相邻块导出视差DisparityDerive。然而，因为深度数据不可用于参照，所以无法访问每像素深度块。反之，我们使用视差DisparityA、DisparityB和DisparityC插值出深度块。在该实施方式中，使用线性插值。也可以使用其他插值。
图9示出示例性插值，其中，针对相邻块(A、B和C)的单个深度值(X、Y和Z)根据它们的视差值DisparityA、DisparityB和DisparityC来设置。针对当前4×4块的深度值***值如下：
a＝(X+Y)/2；
b＝(X+2*Y)/3；
c＝(2*X+Y)/3；
d＝(X+3*Y)/4；
e＝(3*X+Y)/4；
f＝(X+4*Y)/5；以及
g＝(4*X+Y)/5。
其中，a、b、c、d、e、f和g是当前块中的像素。在以上实现方式中，不使用来自块C的深度值Z。较靠近要***的像素的深度值被给予更多权重。其他插值方法可以填充深度块。
另外，当使用B-VSP模式对块编码时，来自相邻块的深度值可能变化。在那种情况下，针对各个像素的插值处理可能不同。
在一个示例中，如图10所示，在行r和列c，(r，c)的像素的深度值可以如下插值
Depth(r，c)＝(Xc+Yr)/2。
实施方式3：从基准视图可获得非锚，深度
对于非锚图片，较有可能的是，相邻块使用时间预测而不是视图间预测模式。然而，不必区分时间预测和视图间预测。反之，在该实施方式中，运动矢量或视差矢量的关联参照纹理具有可用的相应深度基准图片。否则，如对于实施方式2描述的情况适用。
如在实施方式1中，使用来自相邻块的运动矢量或视差矢量以导出运动矢量或视差矢量，所导出的运动矢量或视差矢量用于识别并访问来自相应基准深度图像的深度块。
如果以帧内模式对相邻块编码，则当比特流中没有用用信号通知要用于导出运动矢量或视差矢量的相邻块的机制时，使用相对于视图间基准的零视差矢量，而不是相对于时间基准的零运动矢量。否则，当存在候选列表时，实现了索引机制。当存在经帧内编码的相邻块时，我们将零视差矢量和零运动矢量这两者加入到候选列表。然后，编码器基于速率失真成本选择最佳的候选。
实施方式4：针对深度图像的基于后向弯曲的VSP
上述实施方式还适用于对来自从属视图的深度图片编码。因为进行后向弯曲需要深度图像，所以在常规的VSP中不可能实现针对深度的基于后向弯曲的VSP预测。我们的实施方式不需要当前块。
不同于上述实施方式，其中利用相邻块的运动矢量或视差矢量来得到进行后向VSP的深度块，我们使用相邻块的采样值来估计深度块。因为当前图片是深度图像，所以相邻块具有每像素深度。使用采样值，而不是那些块的块级别的运动矢量或视差矢量，来确定进行B-VSP的深度块是较精确的。
图11示出了相应的解码。与图8所示的实施方式不同在于不使用来自相邻块的运动矢量或视差矢量。
步骤1101，检测是否针对当前块用信号通知了B-VSP模式。如果是，则进行到步骤1102。否则，则进行到步骤1104。
步骤1102，使用相邻块(其为深度块)以估计当前块的深度DepthDerive。
步骤1103，使用DepthDerive执行基于后向弯曲的VSP。进行到步骤1105。
步骤1104，以其他编码模式解码当前块。
步骤1105，程序的结束。
实施方式5：运动域中的弯曲
在以上的实施方式中，在像素域或空间域中执行弯曲。换言之，通过将来自基准视图弯曲到当前视图的像素值，导出针对当前视图中的像素的纹理的预测子，这分别在图5A和图6A的块506和块611中进行。
然而，3D弯曲关系也存在于时间域中。即，针对当前视图中的物体的时间运动看起来在基准视图中具有类似的运动。
由此，在本实施方式中，我们在空间域和时间域中应用弯曲。因此，我们修改如图5B和图6B中所示的块506和块611中的处理，将运动场(motion field)(运动矢量、和/或基准图片信息)指派给当前图片中的相应像素。而且，块508和块608使用弯曲后的运动场信息来执行时间预测。
要注意的是，类似于纹理弯曲处理，运动场上的弯曲可以以像素级别或块级别执行。在HEVC的环境下，最大弯曲单位是在预测单位(PU)级。
如果不以像素级别执行运动场的弯曲，则来自所导出的深度块的最大深度被转换为视差矢量，并且最终所导出的视差矢量被假定为用于当前块访问运动信息的平移偏移量。
应当注意的是，只要可以从深度图像访问深度块，就可以将通过参照深度基准图片中的深度块而进行的视差矢量导出进一步扩展到其他常规的空间域相邻块或时间域相邻块。
因此，弯曲可以如相关申请中描述的在空间域中、如本申请中描述的在时间域中、或者在空间域和时间域这两者中。
发明效果
常规地，基于前向弯曲的视图合成预测通常使用来自基准视图的纹理和深度分量。前向弯曲一般以较高的成本提供高保真性。相反，本发明的视图合成预测使用后向弯曲来纹理编码，并且不需要在纹理分量之前对深度分量编码。另外，基于后向弯曲的VSP帮助基于块的VSP基准生成，这较不复杂并且具有实施优点。
为了使得能够进行基于后向弯曲的VSP，同时避免深度优先编码，本发明使用来自相邻块的运动矢量或视差矢量，以从先前编码的深度图像导出深度块，该深度图像诸如在先前的访问单元(或相同访问单元但是来自其他视点)中编码的深度图像。

Claims (19)

1.一种用于处理3D场景的一个或更多个视频的方法，其中各个视频由以特定姿态排布的相应照相机获取，该方法包括以下步骤，针对待处理的当前图片中的各个当前块：
从所述当前块的相邻块获得运动矢量或视差矢量；
基于所述当前块的所述运动矢量或视差矢量，从基准图片的相应深度分量确定深度块；
使用后向弯曲，基于对应于基准视图的基准图片和对应于当前视图的所述深度块，合成对应于当前块的运动场；以及
使用所述运动场，对所述当前块预测编码，其中，所述步骤在处理器中预先形成。
2.根据权利要求1所述的方法，其中，所述步骤在编码器中执行。
3.根据权利要求1所述的方法，其中，在来自所述当前图片的所述纹理分量和深度分量之前，对来自基准图片的纹理分量和深度分量进行编码。
4.根据权利要求1所述的方法，其中，在来自所述当前图片的所述深度分量之前，对所有视图的纹理分量进行编码。
5.根据权利要求1所述的方法，其中，从所述相邻块中的运动信息或视差信息的平均值导出所述运动矢量或所述视差矢量。
6.根据权利要求1所述的方法，其中，基于比特流中用信号通知的辅助信息获得所述运动矢量或视差矢量。
7.根据权利要求6所述的方法，其中，所述辅助信息是运动矢量或视差矢量的候选列表的索引。
8.根据权利要求1所述的方法，其中，所述深度块基于多个深度块的加权平均。
9.根据权利要求2所述的方法，其中，所述编码基于速率和失真成本。
10.根据权利要求1所述的方法，其中，所述当前图片是纹理分量。
11.根据权利要求1所述的方法，其中，所述当前图片是深度分量。
12.根据权利要求1所述的方法，其中，来自相邻块的所述运动矢量或视差矢量用于对所述相邻块进行编码。
13.根据权利要求11所述的方法，其中，基于所述相邻块中的像素值计算来自所述相邻块的所述视差矢量。
14.根据权利要求1所述的方法，其中，根据所述相邻块的所述视差矢量直接对所导出的深度块进行插值。
15.根据权利要求1所述的方法，其中，所述处理在3D视频应用中使用。
16.根据权利要求1所述的方法，其中，反复地执行所述获取步骤和确定步骤。
17.根据权利要求1所述的方法，其中，在像素级别执行合成步骤。
18.根据权利要求1所述的方法，其中，在块级别执行合成步骤。
19.根据权利要求1所述的方法，所述方法还包括：
使用后向弯曲，基于对应于所述基准视图的所述基准图片和对应于所述当前视图的所确定的深度块，合成对应于所述当前视图的预测块；以及
针对所述当前块，组合所述预测块和解码出的残留块以产生输出图片的块。
CN201380050841.7A 2012-09-28 2013-09-20 用于处理3d场景的一个或更多个视频的方法 Active CN104685882B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US13/631,852 2012-09-28
US13/631,852 US9264691B2 (en) 2012-09-28 2012-09-28 Method and system for backward 3D-view synthesis prediction using neighboring blocks
US13/742,461 US9253486B2 (en) 2012-09-28 2013-01-16 Method and system for motion field backward warping using neighboring blocks in videos
US13/742,461 2013-01-16
PCT/JP2013/076448 WO2014051133A1 (en) 2012-09-28 2013-09-20 Method for processing one or more videos of a 3d-scene

Publications (2)

Publication Number Publication Date
CN104685882A true CN104685882A (zh) 2015-06-03
CN104685882B CN104685882B (zh) 2018-05-18

Family

ID=49328602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380050841.7A Active CN104685882B (zh) 2012-09-28 2013-09-20 用于处理3d场景的一个或更多个视频的方法

Country Status (8)

Country Link
US (1) US9253486B2 (zh)
EP (1) EP2901695B1 (zh)
JP (1) JP5976197B2 (zh)
KR (1) KR101653118B1 (zh)
CN (1) CN104685882B (zh)
ES (1) ES2606161T3 (zh)
PL (1) PL2901695T3 (zh)
WO (1) WO2014051133A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107770511A (zh) * 2016-08-15 2018-03-06 ***通信集团山东有限公司 一种多视点视频的编解码方法、装置和相关设备

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2868089B1 (en) * 2012-06-28 2017-12-20 HFI Innovation Inc. Method and apparatus of disparity vector derivation in 3d video coding
EP2842334B1 (en) * 2012-07-05 2019-02-20 MediaTek Inc. Method and apparatus of unified disparity vector derivation for 3d video coding
FR3002716A1 (fr) * 2013-02-26 2014-08-29 France Telecom Derivation de vecteur de mouvement de disparite, codage et decodage video 3d utilisant une telle derivation
US9635357B2 (en) * 2013-02-26 2017-04-25 Qualcomm Incorporated Neighboring block disparity vector derivation in 3D video coding
WO2014166068A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Refinement of view synthesis prediction for 3-d video coding
US9716899B2 (en) 2013-06-27 2017-07-25 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
US20160165259A1 (en) * 2013-07-18 2016-06-09 Lg Electronics Inc. Method and apparatus for processing video signal
JPWO2015056712A1 (ja) * 2013-10-17 2017-03-09 日本電信電話株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
TWI517096B (zh) * 2015-01-12 2016-01-11 國立交通大學 用於立體影像合成之逆向深度映射方法
GB2553315A (en) 2016-09-01 2018-03-07 Nokia Technologies Oy Determining inter-view prediction areas
CN107027025B (zh) * 2017-03-28 2019-06-28 清华大学深圳研究生院 一种基于宏像素块自适应预测的光场图像压缩方法
US10244164B1 (en) 2017-09-11 2019-03-26 Qualcomm Incorporated Systems and methods for image stitching
US11348265B1 (en) 2017-09-15 2022-05-31 Snap Inc. Computing a point cloud from stitched images
KR102155711B1 (ko) * 2018-11-22 2020-09-14 한양대학교 산학협력단 포인트 클라우드 데이터에 대한 고속 움직임 추정을 수행하는 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101656882A (zh) * 2001-11-06 2010-02-24 松下电器产业株式会社 运动图像编码方法及运动图像解码方法
CN101917619A (zh) * 2010-08-20 2010-12-15 浙江大学 一种多视点视频编码快速运动估计方法
US20110058021A1 (en) * 2009-09-09 2011-03-10 Nokia Corporation Rendering multiview content in a 3d video system
WO2011129735A2 (en) * 2010-04-14 2011-10-20 Telefonaktiebolaget Lm Ericsson (Publ) Methods and arrangements for 3d scene representation

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7728877B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
US9247249B2 (en) * 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
EP2898688B1 (en) 2012-09-21 2018-05-30 HFI Innovation Inc. Method and apparatus for deriving virtual depth values in 3d video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101656882A (zh) * 2001-11-06 2010-02-24 松下电器产业株式会社 运动图像编码方法及运动图像解码方法
US20110058021A1 (en) * 2009-09-09 2011-03-10 Nokia Corporation Rendering multiview content in a 3d video system
WO2011129735A2 (en) * 2010-04-14 2011-10-20 Telefonaktiebolaget Lm Ericsson (Publ) Methods and arrangements for 3d scene representation
CN101917619A (zh) * 2010-08-20 2010-12-15 浙江大学 一种多视点视频编码快速运动估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KIRAN NANJUNDA IYER ET AL.: "Multiview video coding using depth based 3D warping", 《MULTIMEDIA AND EXPO (ICME)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107770511A (zh) * 2016-08-15 2018-03-06 ***通信集团山东有限公司 一种多视点视频的编解码方法、装置和相关设备

Also Published As

Publication number Publication date
KR101653118B1 (ko) 2016-08-31
JP2015528649A (ja) 2015-09-28
EP2901695B1 (en) 2016-11-02
KR20150063124A (ko) 2015-06-08
US9253486B2 (en) 2016-02-02
PL2901695T3 (pl) 2017-02-28
JP5976197B2 (ja) 2016-08-23
ES2606161T3 (es) 2017-03-23
CN104685882B (zh) 2018-05-18
WO2014051133A1 (en) 2014-04-03
EP2901695A1 (en) 2015-08-05
US20140092210A1 (en) 2014-04-03

Similar Documents

Publication Publication Date Title
CN104685882A (zh) 用于处理3d场景的一个或更多个视频的方法
US11240478B2 (en) Efficient multi-view coding using depth-map estimate for a dependent view
US10382787B2 (en) Hybrid video coding supporting intermediate view synthesis
US9264691B2 (en) Method and system for backward 3D-view synthesis prediction using neighboring blocks
CN103155558B (zh) 多视点信号编解码器
JP5970609B2 (ja) ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置
CN105453561B (zh) 三维以及多视图视频编码中导出默认视差向量的方法
JP4938884B2 (ja) 予測ベクトル生成方法、画像符号化方法、画像復号方法、予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成プログラム、画像符号化プログラムおよび画像復号プログラム
JP6042556B2 (ja) ３ｄビデオ符号化における制約される視差ベクトル導出の方法と装置
CN102801995B (zh) 一种基于模板匹配的多视点视频运动和视差矢量预测方法
KR20150046154A (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체
KR20130117749A (ko) 화상 처리 장치와 화상 처리 방법
EP2936815A1 (en) Method and apparatus of disparity vector derivation in 3d video coding
CN105122809A (zh) 帧内编码的预测值派生的方法和装置
KR20150079905A (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록 매체
JP2016501469A5 (zh)
JP6571646B2 (ja) マルチビュービデオのデコード方法及び装置
KR20130044189A (ko) 다시점 비디오 부호화/복호화 방법 및 그 장치
CN103765895B (zh) 使用跳跃模式的编码/解码方法和装置
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
CN105144714B (zh) 三维或多视图视频编码或解码的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant