CN101346998B - 视频编码方法及解码方法、其装置 - Google Patents

视频编码方法及解码方法、其装置 Download PDF

Info

Publication number
CN101346998B
CN101346998B CN2006800491986A CN200680049198A CN101346998B CN 101346998 B CN101346998 B CN 101346998B CN 2006800491986 A CN2006800491986 A CN 2006800491986A CN 200680049198 A CN200680049198 A CN 200680049198A CN 101346998 B CN101346998 B CN 101346998B
Authority
CN
China
Prior art keywords
parallax
reference picture
information
parameters
parallax information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2006800491986A
Other languages
English (en)
Other versions
CN101346998A (zh
Inventor
北原正树
木全英明
志水信哉
上仓一人
八岛由幸
谷本正幸
藤井俊彰
山本健词
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nagoya University NUC
Nippon Telegraph and Telephone Corp
Original Assignee
Nagoya University NUC
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38228291&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101346998(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nagoya University NUC, Nippon Telegraph and Telephone Corp filed Critical Nagoya University NUC
Publication of CN101346998A publication Critical patent/CN101346998A/zh
Application granted granted Critical
Publication of CN101346998B publication Critical patent/CN101346998B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明设涉及视频编码以及解码方法，当将多个视频作为一个视频进行编码时，根据使用多个视频间的视差进行预测的视差补偿来进行编码。选择并设定在所述视差补偿中利用的针对各参考图像的视差信息的参数数量，对所述设定的参数数量的信息进行编码，并对与所述参数数量对应的视差信息进行编码。在解码时，将对针对各参考图像的视差信息的参数数量进行指定的视差参数数量信息进行解码，并对与包含在编码信息中的所述参数数量相对应的视差信息进行解码。

Description

视频编码方法及解码方法、其装置
技术领域
本发明是涉及多视点活动图像的编码以及解码的技术。 
本申请要求基于2006年1月5日申请的专利申请号为2006-000394的优先权，其内容在此引用。 
背景技术
多视点活动图像是由不同位置上的摄像机(camera)对相同被拍摄体和背景进行摄影后的多个活动图像。下面，将由一个摄像机所摄影的活动图像称为“二维活动图像”，将对相同被拍摄体和背景进行摄影后的二维活动图像的集合称为多视点活动图像。多视点活动图像中所包含的各摄像机的二维活动图像在时间方向存在较强的相关。另一方面，在各摄像机同步的情况下，与相同时间对应的各摄像机的帧对完全相同的状态下的被拍摄体和背景进行摄影，所以，在各摄像机间存在较强的相关。 
首先，描述与二维活动图像的编码方式相关的现有技术。在以作为国际编码标准的H.264、MPEG-4、MPEG-2为首的现有多种二维活动图像编码方式中，利用运动补偿、正交变换、量子化、平均信息量(entropy)编码这样的技术，进行高效率的编码。例如，在H.264中，在I帧中能够利用帧内相关进行编码，在P帧内能够利用与过去的多个帧的帧间相关进行编码，在B帧中能够利用与过去或将来的多个帧的帧间相关进行编码。 
H.264的技术细节记载在下述的非专利文献1中，下面进行简要地说明。在I帧中对帧进行块分割(将该块称为宏模块(macroblock)，块尺寸是16×16(像素))，在各宏模块中进行帧内预测(intra-prediction)。在帧内预测时，将各宏模块分割为更小的块(下面称为子块)，能够在各子块中进行不同的帧内预测方法。 
另一方面，在P帧中，能够在各宏模块中进行帧内预测或帧间预测(inter-prediction)。P帧的帧内预测与I帧的情况相同。另一方面，在帧间预测时进行运动补偿。在运动补偿中，也将宏模块分割为更小的块， 能够在各子块中具有不同的运动矢量、参考图像。 
并且，在B帧中，也能够进行帧内预测和帧间预测，但是，B帧的帧间预测中，除了过去的帧以外，将来的帧也能够适用于运动补偿的参考图像。例如，在I帧→B帧→B帧→P帧这样的帧结构中进行编码的情况下，能够以I→P→B→B的顺序进行编码。并且，在B帧中，能够参考I帧以及P帧进行运动补偿。此外，与P帧的情况相同地，能够按将宏模块分割后的每个子块具有不同的运动矢量。 
在进行帧内、间预测时，得到预测残差(prediction residual)，在各宏模块中对预测残差块进行DCT(离散余弦变换)并进行量子化。并且，对这样得到的DCT系数的量子化值进行可变长度编码。并且，在P帧和B帧中，能够按照每个子块选择参考图像，但是，参考图像由称为参考图像索引的数值表示，并且进行可变长度编码。在H.264中，参考图像索引值越小，则以越短的码进行可变长度编码，所以，使用按每个帧明确地改变参考图像索引的设计。根据这种功能，将使用频率较高的参考图像的参考图像索引值设定较小，从而能够有效地对参考图像索引进行编码。 
关于多视点活动图像的编码，以往存在如下方式：根据将运动补偿应用到相同时刻的不同摄像机的图像中的“视差补偿”，高效率地对多视点活动图像编码。在此，所谓的视差，是指在配置于不同位置上的摄像机的图像平面上对被拍摄体的相同位置进行投影的位置之差。 
在图13中示出在该摄像机间所产生的视差的示意图。在该示意图中，是垂直地向下观察光轴平行的摄像机的图像平面得到的图。这样，在不同摄像机的图像平面上对被拍摄体上的相同位置进行投影的位置一般称为对应点。在视差补偿中，由参考图像推测与编码对象摄像机的图像上的某个目标像素对应的参考目的地的摄像机的图像上的对应点，以与该对应点对应的像素值预测目标像素的像素值。以下，为了方便，将上述的“所推测的视差”也称为“视差”。在这样的方式中对视差信息和预测残差进行编码。 
此外，在很多方法中，将视差表现为图像平面上的矢量(视差矢量)。例如，在非专利文献2的方法中，包含以块为单位进行视差补偿的设计，并以二维矢量块即两个参数(x成分以及y成分)表现块单位的视差。在图14中示出该视差矢量的示意图。即，在该方法中，对由两个参数 构成的视差信息和预测残差进行编码。并且，在该方法中，不利用摄像机参数进行编码，所以，在摄像机参数未知的情况下是有效的。 
另一方面，在非专利文献3中，记载了多视点图像(静止图像)的编码方法，在该方法中，在编码中利用摄像机参数，基于对极几何约束(epipolar geometry constraint)将视差矢量表现为一维信息，由此，有效地对多视点图像进行编码。 
在图15中示出对极几何约束的示意图。根据对极几何约束，在由两台摄像机(摄像机1和摄像机2)形成的两个图像中，与被拍摄题上的位置M相关的一个图像上的点m所对应的另一个图像上的点m被约束在称为对极线的直线上。在非专利文献3的方法中，由一维的对极线上的位置这样的一个参数表现相对参考图像的视差。即，在该方法中，将由一个参数表现的视差信息和预测残差进行编码。 
并且，参考图像的个数在两个以上(分别不同的摄像机的参考图像)时，也能够利用对极几何约束以一个参数表现针对各参考图像的视差。例如，如果相对一个参考图像的对极线上的视差已知，则相对与其他摄像机相关的参考图像的视差也能够复原。 
此外，在存在多个作为来自各分别不同的摄像机的参考图像的情况下，能够利用任意视点图像技术进行视差补偿。在非专利文献4中，利用任意视点图像生成技术进行视差补偿。具体地说，以与该像素对应的不同的摄像机的对应点的像素值进行***，预测编码对象摄像机的图像的像素值。在图16中示出该***的示意图。在该***中，***与像素m对应的参考图像1、2的像素m′、m″的值，从而预测编码对象图像的像素m的值。 
非专利文献1：ITU-T Rec.H.264/ISO/IEC 11496-10，“Advanced VideoCoding”，Final Committee Draft，Document JVT-E022，September 2002 
非专利文献2：Hideaki Kimata and Masaki Kitahara，“Preliminaryresults on multiple view video coding(3DAV)”，document M10976 MPEGRedmond Meeting，July，2004 
非专利文献3：Koichi Hata，Minoru Etoh，and Kunihiro Chihara，“Coding of Multi-Viewpoint Image”IEICE transactions，Vol.J82-D-II，No.11，pp.1921-1929(1999) 
非专利文献4：Masayuki Tanimoto，Toshiaki Fujii，“Response to Call for Evidence on Multi-View Video Coding”，document Mxxxxx MPEGHong Kong Meeting，January，2005 
根据现有的多视点活动图像的编码方法，在摄像机参数已知的情况下，利用对极几何约束，能够与参考图像的数量无关地以一个参数表现相对各参考图像的视差信息，从而能够有效地将视差信息进行编码。 
但是，当将由实际的摄像机取得的多视点活动图像作为编码对象时，由于摄像机参数的测定误差等，将视差约束在对极线上并进行视差补偿时，存在预测效率恶化的情况。此外，由于参考图像是混入了编码失真的图像，所以，当相同地约束在对极线上并进行视差补偿时，存在预测效率恶化的情况。预测效率恶化时，导致预测残差的码量增加，其结果是，整体的编码效率下降。 
发明内容
为了解决上述问题，本发明的目的是在多视点活动图像的编码中，根据参考图像的性质控制视差补偿的自由度，存在参考图像的编码失真或摄像机参数的测定误差的情况下，也能够提高视差补偿的精度，实现比以往高的编码效率。 
本发明与现有技术最不相同的一点是，由于能够根据参考图像的性质来控制视差补偿的自由度，所以，使视差信息的参数数量可变，对表示该参数数量的视差参数数量信息或者索引信息进行编码并且包含在编码信息中。 
作为索引信息，除了视差信息的参数数量以外，还能够包含表示在视差补偿中使用的参考图像的信息，此外还能够包含其他信息。 
具体地说，在本发明的视频编码方法、视频解码方法的第一实施方式中，根据视频信息的性质，进行对指定在视差补偿中使用的视差信息的参数数量的视差参数数量进行编码、解码的处理。 
在此，视差参数数量信息例如是指定针对各参考图像的视差矢量的维数。例如，在参考图像的个数是2个(参考图像A、B)的情况下，考虑以下的结构。 
·pNum＝0：针对参考图像A、B的任何一个的视差矢量都是一维的 
·pNum＝1：针对参考图像A的视差矢量是一维的，针对参考图像B的视差矢量是二维的 
·pNum＝2：针对参考图像A的视差矢量是二维的，针对参考图像B的视差矢量是一维的 
·pNum＝3：针对参考图像A、B的任何一个的视差矢量都是二维的能够将上述索引信息pNum定义为视差参数数量信息。 
首先，在视频编码侧，在视差参数数量设定步骤中设定用于表现视差信息的参数数量。并且，在视差参数数量信息编码步骤中，对与在视差参数数量设定步骤中设定的参数数量相关的信息、即视差参数数量信息进行编码。并且，在视差信息编码步骤中对由在视差参数数量设定步骤中设定的参数数量表现的视差信息进行编码。 
另一方面，在视频解码侧，在视差参数数量信息解码步骤中，首先对视差参数数量信息进行解码。并且，在视差信息解码步骤中，对由解码后的视差参数数量信息指定的参数数量的视差信息进行解码。 
在本发明的视频编码方法、视频解码方法的第二实施方式中，对参考图像索引分配能够在视差补偿中利用的参考图像。例如，在生成视差补偿的预测图像时利用两个参考图像，在存在三个(A、B、C)能够在参考图像存储器中使用的参考图像的情况下，考虑下面的分配例。 
·refldx＝0：参考图像A和B 
·refldx＝1：参考图像B和C 
·refldx＝2：参考图像A和C 
在此，refldx是参考图像索引。除上述以外，也可以设定与编码对象摄像机的解码图像对应的参考图像索引。 
在视频编码侧，除了上述第一实施方式的处理以外，还执行设定在视差补偿中使用的参考图像的参考图像设定步骤、对参考图像索引进行编码的参考图像索引编码步骤。另一方面，在解码侧具有对参考图像索引进行解码的步骤。 
如果组合上述的H.264的参考图像索引的顺序变化的结构，则能够根据活动图像的性质，对可生成高品质的预测图像的参考图像设定较小的值作为参考图像索引，从而提高编码效率。 
在本发明的视频编码方法、视频解码方法的第三实施方式中，将能够利用的视差参数数量信息与参考图像索引对应。例如，视差补偿的预测图像生成时，利用两个参考图像，在存在三个(A、B、C)能够使用于参考图像存储器中的参考图像，视差参数数量信息pNum存在两个值 (pNum＝0，1)的情况下，考虑如下的分配例。 
·refldx＝0：参考图像A和B，pNum＝0 
·refldx＝1：参考图像A和B，pNum＝1 
·refldx＝2：参考图像B和C，pNum＝0 
·refldx＝3：参考图像B和C，pNum＝1 
·refldx＝4：参考图像A和C，pNum＝0 
·refldx＝5：参考图像A和C，pNum＝1 
在这种情况下，在视频编码侧执行对参考图像索引进行编码的参考图像索引编码步骤，视差参数数量信息在该步骤进行编码。另一方面，在视频解码侧执行对参考图像索引进行解码的参考图像索引解码步骤，视差参数数量信息在该步骤进行解码。 
如果组合上述的H.264的参考图像索引的顺序变化的结构，则能够根据活动图像的性质，改变分配给视差参数数量信息的可变长度码的代码长度，能够有效地对视差参数数量信息进行编码。 
在多视点活动图像的编码的视差补偿中，由于摄像机参数的测定误差或参考图像的编码失真，在利用对极几何约束进行的预测中预测效率恶劣的情况下，增加视差信息的参数数量，以进行自由度较高的预测，在利用对极几何约束预测效率较好的情况下，能够以帧或块为单位根据解码图像的特性适当地控制以一个参数表现视差的预测，能够实现比以往高的编码效率。 
附图说明
图1是示出本发明实施例1的视频编码装置的图。 
图2是示出实施例1中的摄像机的参考关系的图。 
图3是示出实施例1中的摄像机配置的图。 
图4是实施例1的编码流程。 
图5是实施例1的视频解码装置的图。 
图6是实施例1的解码流程。 
图7是示出本发明的实施例2中的摄像机的参考关系的图。 
图8是示出实施例2中的视频编码装置的图。 
图9是实施例2的编码流程。 
图10是与图9的步骤S304的处理相关的详细流程。 
图11是示出实施例2的视频解码装置的图。 
图12是实施例2中的视频解码流程。 
图13是在摄像机间产生的视差的示意图。 
图14是视差矢量的示意图。 
图15是对极几何约束的示意图。 
图16是像素值***的示意图。 
符号说明 
100、300视频编码装置 
101、301图像输入部 
102、302参考图像输入部 
103、205、303、405参考图像存储器 
104视差参数数量设定部 
105视差参数数量信息编码部 
106、309视差信息编码部 
107、310预测残差编码部 
200、400视频解码装置 
201视差参数数量信息解码部 
202、402视差信息解码部 
203、404预测残差解码部 
204、304、406视差补偿部 
305、407运动补偿部 
306参考图像设定部 
307参考图像索引编码部 
308运动信息编码部 
311局部(local)解码部 
401参考图像索引解码部 
403运动信息解码部 
具体实施方式
实施例1 
首先，说明第一实施例(下面称为实施例1)。在图1中示出本发明实施例1的视频编码装置的结构图。 
该视频编码装置100具备：图像输入部101，输入作为编码对象图像的摄像机C的原图像；参考图像输入部102，输入作为参考图像的摄像机A和B的解码图像；参考图像存储器103，存储参考图像；视差参数数量设定部104，设定表现在视差补偿中所使用的视差信息的参数数量；视差参数数量信息编码部105，对视差参数数量信息进行编码；视差信息编码部106，对视差信息进行编码；预测残差编码部107，对在视差补偿中产生的残差信号进行编码。 
图2是示出实施例1的摄像机的参考关系的图。 
如图2所示，在本实施例中示出如下情况：当对与三个摄像机相关的多视点视频进行编码时，将摄像机A和B的解码图像作为参考图像，对摄像机C的活动图像进行编码。 
图中的箭头表示视差补偿时的参考关系，对摄像机C的图像进行编码时，在显示时刻，将相同时刻的摄像机A和B的解码图像作为参考图像来进行编码。此时，以与摄像机A以及B的对应点相关的像素值的平均值制作预测图像。 
图3是示出实施例1的摄像机配置的图。在本实施例中，三个摄像机的视点位置在直线上等间隔地排列，光轴与摄像机排列的直线垂直。即，三个摄像机的光轴平行。 
此外，利用相对摄像机排列的直线的平行移动(没有旋转等)得到图像平面的xy坐标系，在各摄像机中，等间隔地分割图像平面的x轴以及y轴，由此，构成像素。即，在各摄像机中分辨率相同，并且，对于摄像机C和摄像机A的P像素部分的视差来说，在摄像机C和摄像机B中成为P像素的视差。 
在图4中示出实施例1的编码的流程。 
该流程图示出对摄像机C的一个图像进行编码时所进行的处理，对各图像重复该处理，从而对活动图像进行编码。 
并且，在本实施例中，作为视差信息的表现方法，适当地切换以下两种情况并进行视差补偿，其中一种情况是，由用一个参数表现相对摄像机A的对极线上位置的视差信息，表现相对摄像机A和B的各参考图像的视差的情况(索引pNum值为0)，另一种情况是，以二维矢量分别表现相对摄像机A和B的各参考图像的视差并且由合计四个参数表现视差信息的情况(索引pNum值为1)。pNum是表示视差参数数量 信息的索引。 
此外，由分割图像所得到的纵横各N个像素(N×N)的以块为单位来进行视差参数数量的切换来说。即，对各N×N块，对一个(pNum＝0)或者四个(pNum＝1)参数作为视差信息并进行编码。 
在这样的前提下，沿图4的流程说明编码处理。 
首先，由图像输入部101输入摄像机C的图像(步骤S101)。并且，此处所输入的摄像机C的图像和显示时刻相同的摄像机A与B的解码图像由参考图像输入部102输入到参考图像存储器103中。 
在该流程中，将表示分割图像所得到的各N×N块的的索引表示为blk，将针对一个图像的总块数表示为maxBlk。 
将N×N块的索引blk初始化为0后(S102)，在索引blk上加上1(S115)，并且对各N×N块重复执行以下的处理(S103～S116)，直到索引blk成为总块数maxBlk(S116)。 
首先，在视差参数数量设定部104中，读入与图像C的索引blk相对应的编码对象块，并由参考图像存储器103读入与摄像机A和B相对应的参考图像。并且，同样地在视差参数数量设定部104中，关于pNum＝0以及pNum＝1，进行视差检索的处理(S104～S106)。 
并且，以如下方式进行视差检索，即，使基于与由视差补偿导致的预测残差的N×N块相关的绝对值的总和SAD、和作为视差信息的代码量的估测值的Rdisp所求出的率失真代价(rate distortion cost)cost最小化。在此，cost由下式计算。 
Cost＝SAD+λRdisp    (1) 
在此，λ是未定的拉格朗日乘数，利用预先设定的值。此外，在求Rdisp时，对视差信息实施可变长度编码，求出代码量。 
关于pNum＝0以及pNum＝1，求出cost的最小值pCost以及实现pCost的视差信息，进一步在编码中采用pCost较小的视差信息(S107～S110)。图4的流程中的minPCost是用于存储pCost的最小值的变量，对块blk进行处理时，设定为比pCost能够取得的最大值大的任意的值(maxPCost)，并进行初始化。 
在pNum＝0的情况下，在步骤S105中进行下面的处理。 
在预先设定的范围内检索视差。在本实施例的摄像机配置中，根据对极几何约束，对于相对摄像机C的坐标(x，y)的视差来说，关于摄像 机A，成为(x+dx，y)(其中，dx＞0)，对于摄像机B，是(x-dx，y)。在此，纵横I像素的图像平面上的坐标系将左上的像素作为(0，0)、将右上的坐标作为(I-1，0)、将左下的坐标作为(0，I-1)。在本实施例中，将dx＝0～P范围作为检索范围。因此，关于dx＝0～P，由下式计算SAD[dx]。 
SAD[dx]＝∑i∑jABS(DECA[x+i+dx，y+j]/2+DECB[x+i+dx，y+j]/2-IMGc[x+i，y+j])    (2) 
在此，∑i表示i从0到N-1的总和，∑j表示j从0到N-1的总和。ABS()是取括号内的绝对值，DECA[x，y]和DECB[x，y]分别表示摄像机A以及B的解码图像的(x，y)像素的亮度值，IMGc[x，y]表示N×N块的左上像素的图像平面内的坐标。 
并且，求出视差为dx时的视差信息的代码量估测值Rdisp[dx]，并由数学式1求出相对视差dx的率失真代价cost[dx]。将所求出的cost[dx]最小化后的视差作为bestDispPNum0，并将此时的值作为pCost。 
并且，作为minPCost←pCost，在存储最佳的pNum的bestPNum中代入0，转到pNum＝1情况的处理(S107～S110)。 
在pNum＝1情况下，在步骤S106中，进行下面的处理。 
在pNum＝1情况下，不考虑对极几何约束，进行二维的视差检索。具体地说，将与摄像机A以及摄像机B分别相关的x轴上的检索范围作为dx，A，dx，B＝-P～P(在各dx，A，dx，B中是“-P～P”的范围)。并且，关于全部的(dx，A，dx，B，dy，A，dy，B)的组合，求得下式的SAD[dx，A，dx，B，dy，A，dy，B]。 
SAD[dx，A，dx，B，dy，A，dy，B]＝∑i∑jABS(DECA[x+i+dx，A，y+j+dy，A]/2+DECB[x+i+dx，B，y+j+dy，B]/2-IMGc[x+i，y+j])    (3) 
并且，求出视差为(dx，A，dx，B，dy，A，dy，B)时的视差信息的代码量估测值Rdisp[dx，A，dx，B，dy，A，dy，B]，并由数学式1求出相对视差dx的率失真代价cost[dx，A，dx，B，dy，A，dy，B]。并且，使将cost[dx，A，dx，B，dy，A，dy，B]最小化后的视差作为bestDispPNum1，并将此时的值作为pCost。 
并且，如果pCost＜minPCost(S107)，则作为minPCost←pCost，在存储最佳的pNum的bestPNum中代入1(S108)。 
接下来，在视差参数数量信息编码部105中，将bestPNum进行可 变长度编码(S111)。此外，在视信息编码部106中，对视差信息进行编码。在bestPNum为0的情况下，对dx进行可变长度编码，在bestPNum为1的情况下，对dx，A，dx，B，dy，A，dy，B进行可变长度编码。最后，在预测残差编码部107中，对预测残差进行编码(S112～S114)。 
接下来，在图5中示出实施例1的视频解码装置。视频解码装置200具备：视差参数数量信息解码部201，对视差参数数量信息进行解码；视差信息解码部202，对与视差参数数量信息对应的视差信息进行解码；预测残差解码部203，对预测残差进行解码；视差补偿部204；参考图像存储器205。 
在图6中示出本实施例的解码流程。它示出对摄像机C的一帧进行解码的流程。下面详细地说明该流程。 
将N×N块的索引blk初始化为0后(S201)，对于各N×N块对一帧部分重复以下的步骤S202～S208的处理(一帧的块数量是maxBlk)，并且对摄像机C的一帧进行解码。并且，摄像机A和B的相同时刻的帧预先被解码，该解码图像存储在参考图像存储器205中。 
首先，利用视差参数数量信息解码部201，对视差参数数量信息bestPNum进行解码(S202)。根据bestPNum的值(S203)，进行下面的处理。 
在bestPNum＝0的情况下，在视差信息解码部202中，将视差信息dx解码。在视差补偿部204中输入视差参数数量信息bestPNum和视差信息dx，并由参考图像存储器205输入与视差信息dx对应的摄像机A和B的N×N块。并且，将编码对象的N×N块的像素的位置表示为(x，y)时，由下式生成预测图像PRED[x+i，y+j(S204)。 
PRED[x+i，y+j]＝DECA[x+i+dx，y+j]/2+DECB[x+i+dx，y+j]/2  (4) 
其中，i＝0，1，...，N-1，j＝0，1，...，N-1。 
在bestPNum＝1的情况下，在视差信息解码部202中，对视差信息(dx，A，dx，B，dy，A，dy，B)进行解码。在视差补偿部204中输入视差参数数量信息bestPNum和视差信息(dx，A，dx，B，dy，A，dy，B)，由参考图像存储器205输入与视差信息dx对应的摄像机A和B的N×N块。并且，将编码对象的N×N块的像素的位置表示为(x，y)时，由下式生成预测图像PRED[x+i，y+j](S205)。 
PRED[x+i，y+j]＝DECA[x+i+dx，A，y+j+dy，A]/2+DECB[x+i+dx，B，y+j+dy，B]/2(5) 
其中，i＝0，1，...，N-1，j＝0，1，...，N-1。 
接下来，在输入编码后的预测残差的预测残差解码部203中，对N×N的预测残差块RES[x+i，y+j]进行解码。并且，将预测残差块输入到视差补偿部204中，如下式那样计算与预测图像之和，并求出解码图像DECC[x+i，y+j](S206)。 
DECc[x+i，y+j]＝RES[x+i，y+j]+PRED[x+i，y+j]    (6) 
在索引blk上加1(S207)，并且重复进行以上处理，直到blk成为1帧的块数maxBlk，由此，能够得到与摄像机C相关的解码图像。 
实施例2 
接下来，说明第二实施例(下面称为实施例2)。 
在本实施例中，如图7的摄像机的参考关系，示出对与五个摄像机相关的多视点视频进行编码时，将摄像机A、B、D、E的解码图像作为参考图像，对摄像机C的活动图像及性能编码的情况。 
在上述实施例1中，仅利用视差补偿对摄像机C的图像进行编码，但在本实施例中，以块为单位切换运动补偿和视差补偿，由此进行编码。并且，图中的箭头表示视差/运动补偿时的参考关系。 
视差补偿时，利用在摄像机A、B、D、E中设定的两台摄像机的多个对(A和B、A和D、B和E这三种对)生成预测图像。对于预测图像的生成方法来说，与实施例1相同地，以与两台摄像机的对应点相关的像素值的平均值制作预测图像。 
并且，在本实施例中，与实施例1相同地，五个摄像机的视点位置在直线上等间隔地排列，光轴与摄像机并列的直线垂直。即，五台摄像机处于图3的关系，各摄像机的光轴平行。 
在图8中示出实施例2的视频编码装置的结构图。 
该图像编码装置300具有：图像输入部301，输入摄像机C的原始图像；参考图像输入部302，输入摄像机A、B、D、E的解码图像；参 考图像存储器303，存储参考图像；进行视差补偿的视差补偿部304；进行运动补偿的运动补偿部305；参考图像设定部306；参考图像索引编码部307；运动信息编码部308；视差信息编码部309；预测残差编码部310；局部解码部311。 
在图9中示出本实施例的编码流程。此外，在图10中示出与该流程中的步骤S304相关的详细流程。 
该流程示出将摄像机C的一个图像编码时进行的处理，对于各图像，重复该处理，从而进行活动图像编码。 
在本实施例中，在N×N块单位中，适当地切换以下的处理并进行编码。 
·利用摄像机C过去的解码图像的运动补偿：refldx＝0、1 
·利用摄像机A和B的参考图像的视差补偿(pNum＝0)：refldx＝2 
·利用摄像机A和B的参考图像的视差补偿(pNum＝1)：refldx＝3 
·利用摄像机A和D的参考图像的视差补偿(pNum＝0)：refldx＝4 
·利用摄像机A和D的参考图像的视差补偿(pNum＝1)：refldx＝5 
·利用摄像机B和E的参考图像的视差补偿(pNum＝0)：refldx＝6 
·利用摄像机B和E的参考图像的视差补偿(pNum＝1)：refldx＝7 
在此，refldx表示参考图像索引。 
此外，关于refldx＝0、1，refldx＝0与摄像机C的前一帧的解码图像相对应，refldx＝1与前两帧的解码图像相对应。 
在本实施例中，在编码侧将与在各块中利用的方法以及参考图像对应的参考图像索引进行编码，在解码侧利用参考图像索引将各块的像素值解码。 
并且，在对图像C的第三帧以后进行编码时，分配上述参考图像的索引。 
在第一帧中，由于不存在摄像机C的解码图像，所以，关于运动补偿，不分配参考图像索引，关于与视差补偿相关的参考图像索引，分配分别比上述各值小2的值(例如，“利用摄像机A和B的参考图像的视差补偿(pNum＝0)”中，refldx＝0)。 
另一方面，在第二帧中，与运动补偿相关的参考图像索引仅是refldx＝0，关于与视差补偿相关的参考图像索引，分配分别比上述各值小1的值(例如，“利用摄像机A和B的参考图像的视差补偿(pNum＝0” 中refldx＝1)。 
在这样的前提下，沿图9的流程说明编码处理。在此，该处理是摄像机C的第三帧以后的编码处理。 
由图像输入部301输入摄像机C的图像(步骤S301)。并且，此处所输入的摄像机C的图像和显示时刻相同的摄像机A、B、D、E的解码图像由参考图像输入部302输入到参考图像存储器303中。此外，与摄像机C相关的前一帧以及前两帧的解码图像由局部解码部311解码，并输入参考图像存储器303中。 
分割图像而得到的各N×N块的的索引表示为blk，将针对一个图像的总块数表示为maxBlk。将N×N块的索引blk初始化为0后(S302)，在索引blk上加上1(S311)，并且对各N×N块重复进行下面的处理(S303～S312)，直到索引blk成为总块数maxBlk(S312)。 
将参考图像索引refldx初始化为0，将作为存储代价值refCost的最小值的变量的minRefCost初始化为比处理块blk时refCost能取的最大值大的任意的值maxRefCost(S303)。 
在索引blk指示的各N×N块中，进行与各参考图像索引refldx对应的预测处理(S304)。此时，计算与各参考图像索引refldx对应的代价值refCost，并将使refCost为最小的参考图像索引bestRefldx用于该N×N块的编码(S305、S306)。 
下面，根据图10的流程说明与步骤S304的各参考图像索引refldx对应的处理。并且，下面进行运动补偿或视差补偿，但是，在那种情况下，运动/视差信息都能够通过将由下式给出的cost最小化而得到。 
cost＝SAD+λRvec    (7) 
在此，Rvec是运动或视差信息的代码量的估测值，SAD是预测残差的绝对值的总和。 
在refldx为2以上的情况下，是与视差补偿对应的refldx(S3041)，由视差补偿部304读入与该refldx对应的两台摄像机的解码图像作为参考图像，从而进行视差补偿。 
此外，在refldx是2以上的情况下，refldx具有对应的视差参数数量信息pNum＝0或1。因此，与实施例1的情况相同地进行pNum＝0或1的情况下的视差补偿处理。 
即，在视差参数数量(pNum)是1的情况下(S3042)，关于与参 考图像索引refldx对应的两个参考图像，以将率失真代价最小化的方式检索对极线上的视差，并且将最小代价值作为refCost(S3043)。 
此外，在视差参数数量不是1的情况下(S3042)，关于与参考图像索引refldx对应的两个参考图像，以将速度失真代价最小化的方式检索图像平面上的视差，并且将最小代价值作为refCost(S3044)。 
在上述S3043、S3044中，将在所计算的cost的最小值(refCost)上加上对参考图像索引refldx进行编码时的代码量估测值后的值作为refCost。 
refldx在为0或1的情况下，是与运动补偿对应的refldx，进入步骤S3045中。这种情况下，由运动补偿部305读入与该refldx的值对应的摄像机C的解码图像作为参考图像，并进行运动补偿。此时的运动信息通过将由数学式7计算的cost最小化而进行。并且，将在该cost最小值上加上对参考图像索引refldx进行编码时的代码量估测值后的值作为refCost(S3045)。 
在算出的refCost比存储当前最小值的minRefCost小的情况下(S305)，将refCost存储在minRefCost中，并存储此时的refldx作为bestRefldx(S306)。 
在refldx上加1并且重复进行以上处理，直到refldx成为索引的总数maxRefNum。 
对各参考图像进行上述的处理，由参考图像设定部306求出将refCost最小化后的参考图像索引bestRefldx，决定编码中所利用的参考图像索引。 
接下来，由参考图像索引编码部307对bestRefldx进行编码(S309)，由运动信息编码部308或视差信息编码部309对运动信息或视差信息进行编码，由预测残差编码部310对预测残差进行编码(S310)。 
在索引blk上加1(S311)，并且重复进行，直到其成为总块数maxBlk(S312)，由此，将摄像机C的一帧部分的图像进行编码。 
接下来，在图11中示出实施例2的视频解码装置。 
视频解码装置400具备：参考图像索引解码部401，对参考图像索引进行解码；对视差信息进行解码的视差信息解码部402；对运动信息进行解码的运动信息解码部403；对预测残差进行解码的预测残差解码部404；存储参考图像的参考图像存储器405；进行视差补偿的视差补 偿部406；进行运动补偿的运动补偿部407。 
在图12中示出本实施例的解码流程。它示出了对摄像机C的一帧进行解码的流程。下面详细地说明流程。 
将N×N块的索引blk初始化为0后(S401)，在索引blk上加1(S409)，并且对各N×N块重复执行以下的处理(S402～S410)，直到索引blk成为总块数maxBlk(S410)。由此，对摄像机C的一帧进行解码。并且，将摄像机A、B、D、E的相同时刻的帧以及摄像机C的前一帧、前两帧的解码图像存储在参考图像存储器405中。 
首先，利用参考图像索引解码部401，将参考图像索引bestRefldx解码(S402)。根据参考图像索引bestRefldx的值(S403、S404)，进行以下处理。 
如果是bestRefldx＝0或1，则是与运动补偿对应的参考图像索引，并且由运动信息解码部403将运动信息解码。并且，由运动补偿部407读入与bestRefldx＝0或1对应的参考图像，生成预测图像(S407)。 
并且，由预测残差解码部404将预测残差解码，并在运动位偿部407中对预测残差加上预测图像(S408)，生成N×N块的解码图像。 
若bestRefldx为2以上，则是与视差补偿对应的参考图像索引，并且读入与该参考图像索引bestRefldx对应的两台摄像机相关的参考图像，利用视差补偿进行解码。 
使视差参数数量信息pNum的值也与该参考图像索引bestRefldx对应，从而进行与pNum对应的处理。视差补偿与实施例1的情况相同(S404～S406)。并且，由预测残差解码部404对预测残差进行解码，在视差补偿部406中对预测残差加上预测图像(S408)，生成N×N块的解码图像。 
在索引blk上加1(S409)，并且重复进行，直到其成为总块数maxBlk(S410)，对摄像机C的一帧部分的图像进行解码。 
以上说明的实施例中的参考图像索引与使用运动补偿或使用视差补偿的信息、参考图像、视差参数数量信息的对应只是一例，在本发明的实施中，该对应的方法是能够任意地决定的设计事项。 
以上的视频编码以及视频解码的处理能够利用计算机和软件程序实现，也能够通过将该程序存储在计算机可读存储介质中来提供，也能够通过网络提供。 
产业上的可利用性 
多视点活动图像的编码的视差补偿中，由于摄像机参数的测定误差或参考图像的编码失真，在利用对极几何约束进行的预测中预测效率恶劣的情况下，增加视差信息的参数数量，以进行自由度较高的预测，在利用对极几何约束预测效率较好的情况下，能够以帧或块为单位根据解码图像的特性适当地控制以一个参数表现视差的预测，能够实现比以往高的编码效率。 

Claims (10)

1.一种视频编码方法，当将多个视频作为一个视频进行编码时，根据使用多个视频间的视差进行预测的视差补偿来进行编码，其特征在于，具有如下步骤：
视差参数数量设定步骤，选择并设定表示对在所述视差补偿中利用的、针对各参考图像的视差信息即视差矢量的各维所分配的参数的数量的参数数量；
视差参数数量信息编码步骤，对由所述视差参数数量设定步骤设定的参数数量的信息进行编码；
视差信息编码步骤，对与所述参数数量对应的视差信息进行编码，
在所述视差参数数量设定步骤中选择的参数数量包括：第一参数数量，其表示由用一个参数表现相对预定的一个摄像机的对极线上位置的视差信息来生成针对参考图像的各视差的模式，该参考图像与对各参考图像进行摄影的摄像机相关；第二参数数量，其表示使用视差信息的模式，该视差信息表示针对与对各参考图像进行摄影的摄像机相关的参考图像的各视差，
在选择所述第一参数数量的情况下，基于所生成的针对与各摄像机相关的参考图像的视差和该多个参考图像的像素值生成预测图像，并且，在所述视差信息编码步骤中，仅对所述预定的视差信息进行编码，
在选择所述第二参数数量的情况下，基于表示所述各视差的视差信息和该多个参考图像的像素值生成预测图像，并且，在所述视差信息编码步骤中，对表示所述各视差的视差信息进行编码。
2.根据权利要求1的视频编码方法，其特征在于，还具有如下步骤：
参考图像设定步骤，选择并设定在所述视差补偿中使用的所述各参考图像；
参考图像索引编码步骤，从在所述视差补偿中使用的参考图像预先对应的多个参考图像索引中，决定与由所述参考图像设定步骤设定的参考图像相对应的参考图像索引，并对该参考图像索引进行编码。
3.一种视频解码方法，当将多个视频作为一个视频进行解码时，根据使用多个视频间的视差进行预测的视差补偿来进行解码，其特征在于，具有如下步骤：
视差参数数量信息解码步骤，将指定表示对包含在编码信息中的、针对各参考图像的视差信息即视差矢量的各维所分配的参数的数量的参数数量的视差参数数量信息进行解码；
视差信息解码步骤，对与包含在编码信息中的所述参数数量相对应的视差信息进行解码；
视差补偿步骤，使用所述解码后的视差信息进行所述视差补偿，
所述指定的参数数量包括：第一参数数量，其表示由用一个参数表现相对预定的一个摄像机的对极线上位置的视差信息来生成针对参考图像的各视差的模式，该参考图像与对各参考图像进行摄影的摄像机相关；第二参数数量，其表示使用视差信息的模式，该视差信息表示针对与对各参考图像进行摄影的摄像机相关的参考图像的各视差，
在指定所述第一参数数量的情况下，在所述视差信息解码步骤中，仅对所述预定的视差信息进行解码，并且，基于所生成的针对与各摄像机相关的参考图像的视差和该多个参考图像的像素值生成预测图像，
在选择所述第二参数数量的情况下，在所述视差信息解码步骤中，对表示所述各视差的视差信息进行解码，并且基于表示所述各视差的视差信息和该多个参考图像的像素值生成预测图像。
4.根据权利要求3的视频解码方法，其特征在于，
还具有参考图像索引解码步骤，对包含在所述编码信息中的参考图像索引进行解码，该参考图像索引是在所述视差补偿中使用的参考图像预先对应的多个参考图像索引中的一个；
在所述视差补偿步骤中，使用由解码后的所述参考图像索引表示的参考图像进行视差补偿。
5.一种视频编码装置，当将多个视频作为一个视频进行编码时，根据使用多个视频间的视差进行预测的视差补偿来进行编码，其特征在于，具有：
视差参数数量设定单元，选择并设定表示对在所述视差补偿中利用的、针对各参考图像的视差信息即视差矢量的各维所分配的参数的数量的参数数量；
视差参数数量信息编码单元，对由所述视差参数数量设定单元设定的参数数量的信息进行编码；
视差信息编码单元，对与所述参数数量对应的视差信息进行编码，
所述视差参数数量设定单元选择的参数数量包括：第一参数数量，其表示由用一个参数表现相对预定的一个摄像机的对极线上位置的视差信息来生成针对参考图像的各视差的模式，该参考图像与对各参考图像进行摄影的摄像机相关；第二参数数量，其表示使用视差信息的模式，该视差信息表示针对与对各参考图像进行摄影的摄像机相关的参考图像的各视差，
在选择所述第一参数数量的情况下，基于所生成的针对与各摄像机相关的参考图像的视差和该多个参考图像的像素值生成预测图像，并且，所述视差信息编码单元仅对所述预定的视差信息进行编码，
在选择所述第二参数数量的情况下，基于表示所述各视差的视差信息和该多个参考图像的像素值生成预测图像，并且，所述视差信息编码单元对表示所述各视差的视差信息进行编码。
6.一种视频解码装置，当将多个视频作为一个视频进行解码时，根据使用多个视频间的视差进行预测的视差补偿来进行解码，其特征在于，具有：
视差参数数量信息解码单元，将指定表示对包含在编码信息中的、针对各参考图像的视差信息即视差矢量的各维所分配的参数的数量的参数数量的视差参数数量信息进行解码；
视差信息解码单元，对与编码信息中包含的所述参数数量对应的视差信息进行解码；
视差补偿单元，使用所述解码后的视差信息进行所述视差补偿，
所述指定的参数数量包括：第一参数数量，其表示由用一个参数表现相对预定的一个摄像机的对极线上位置的视差信息来生成针对参考图像的各视差的模式，该参考图像与对各参考图像进行摄影的摄像机相关；第二参数数量，其表示使用视差信息的模式，该视差信息表示针对与对各参考图像进行摄影的摄像机相关的参考图像的各视差，
在指定所述第一参数数量的情况下，所述视差信息解码单元仅对所述预定的视差信息进行解码，并且，基于所生成的针对与各摄像机相关的参考图像的视差和该多个参考图像的像素值生成预测图像，
在选择所述第二参数数量的情况下，所述视差信息解码单元对表示所述各视差的视差信息进行解码，并且，基于表示所述各视差的视差信息和该多个参考图像的像素值生成预测图像。
7.根据权利要求1的视频编码方法，其特征在于，
选择所述第二参数数量的情况下的所述视差信息是二维矢量的信息。
8.根据权利要求3的视频解码方法，其特征在于，
选择所述第二参数数量的情况下的所述视差信息是二维矢量的信息。
9.根据权利要求5的视频编码装置，其特征在于，
选择所述第二参数数量的情况下的所述视差信息是二维矢量的信息。
10.根据权利要求6的视频解码装置，其特征在于，
选择所述第二参数数量的情况下的所述视差信息是二维矢量的信息。
CN2006800491986A 2006-01-05 2006-12-29 视频编码方法及解码方法、其装置 Active CN101346998B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP000394/2006 2006-01-05
JP2006000394 2006-01-05
PCT/JP2006/326297 WO2007077942A1 (ja) 2006-01-05 2006-12-29 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体

Publications (2)

Publication Number Publication Date
CN101346998A CN101346998A (zh) 2009-01-14
CN101346998B true CN101346998B (zh) 2012-01-11

Family

ID=38228291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800491986A Active CN101346998B (zh) 2006-01-05 2006-12-29 视频编码方法及解码方法、其装置

Country Status (10)

Country Link
US (1) US8548064B2 (zh)
EP (1) EP1971154A4 (zh)
JP (1) JP5234586B2 (zh)
KR (1) KR100968920B1 (zh)
CN (1) CN101346998B (zh)
BR (1) BRPI0620645B8 (zh)
CA (2) CA2845591C (zh)
RU (1) RU2374786C1 (zh)
TW (1) TW200737990A (zh)
WO (1) WO2007077942A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4999853B2 (ja) * 2006-09-20 2012-08-15 日本電信電話株式会社 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
KR101023262B1 (ko) 2006-09-20 2011-03-21 니폰덴신뎅와 가부시키가이샤 화상 부호화 방법 및 복호 방법, 이들의 장치 및 이들의 프로그램과 프로그램을 기록한 기억매체
RU2518390C2 (ru) * 2008-04-15 2014-06-10 Франс Телеком Кодирование и декодирование изображения или последовательности изображений, разбитых на пиксельные разделы линейной формы
EP2491723A4 (en) * 2009-10-20 2014-08-06 Ericsson Telefon Ab L M METHOD AND ARRANGEMENT FOR MULTILOOK VIDEO COMPRESSION
JP4927928B2 (ja) * 2009-11-30 2012-05-09 パナソニック株式会社 多視点動画像復号装置及び多視点動画像復号方法
JP4837772B2 (ja) * 2009-12-15 2011-12-14 パナソニック株式会社 多視点動画像復号装置、多視点動画像復号方法、プログラム及び集積回路
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
US9008175B2 (en) * 2010-10-01 2015-04-14 Qualcomm Incorporated Intra smoothing filter for video coding
US8284307B1 (en) * 2010-11-01 2012-10-09 Marseille Networks, Inc. Method for processing digital video fields
US20120163457A1 (en) * 2010-12-28 2012-06-28 Viktor Wahadaniah Moving picture decoding method, moving picture coding method, moving picture decoding apparatus, moving picture coding apparatus, and moving picture coding and decoding apparatus
JPWO2012131895A1 (ja) * 2011-03-29 2014-07-24 株式会社東芝 画像符号化装置、方法及びプログラム、画像復号化装置、方法及びプログラム
JP2012257198A (ja) * 2011-05-17 2012-12-27 Canon Inc 立体画像符号化装置、その方法、および立体画像符号化装置を有する撮像装置
CN105187834B (zh) * 2011-06-17 2017-06-27 Jvc建伍株式会社 图像解码装置、图像解码方法及接收装置、接收方法
KR101589388B1 (ko) * 2011-06-20 2016-01-27 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램, 또한 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
MY191028A (en) * 2011-06-30 2022-05-29 Sony Corp Image processing device and image processing method
US9674525B2 (en) * 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US9635355B2 (en) 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
JP5706264B2 (ja) 2011-08-01 2015-04-22 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
US9451232B2 (en) 2011-09-29 2016-09-20 Dolby Laboratories Licensing Corporation Representation and coding of multi-view images using tapestry encoding
JP5485969B2 (ja) * 2011-11-07 2014-05-07 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
MX350507B (es) 2012-01-20 2017-09-08 Fraunhofer Ges Forschung Concepto de codificacion permitiendo el procesamiento paralelo, demultiplexor de transporte y tren de bits de video.
JPWO2013136365A1 (ja) * 2012-03-14 2015-07-30 株式会社東芝 多視点画像符号化装置及び方法、並びに、多視点画像復号装置及び方法
WO2013136365A1 (ja) * 2012-03-14 2013-09-19 株式会社 東芝 多視点画像符号化装置及び方法、並びに、多視点画像復号装置及び方法
UA125468C2 (uk) 2012-04-13 2022-03-23 ДЖ.І. ВІДІЕУ КЕМПРЕШН, ЛЛСі Кодування картинки з малою затримкою
JP2013258577A (ja) * 2012-06-13 2013-12-26 Canon Inc 撮像装置、撮像方法及びプログラム、画像符号化装置、画像符号化方法及びプログラム
CN115442625A (zh) * 2012-06-29 2022-12-06 Ge视频压缩有限责任公司 视频数据流、编码器、编码视频内容的方法以及解码器
EP4224858A1 (en) * 2012-09-26 2023-08-09 Sun Patent Trust Image encoding computer program, image decoding computer program and storage medium
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
JP6150277B2 (ja) * 2013-01-07 2017-06-21 国立研究開発法人情報通信研究機構 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
JP5894338B2 (ja) * 2013-04-12 2016-03-30 日本電信電話株式会社 映像符号化装置及び方法、映像復号装置及び方法、及びそれらのプログラム
US10027947B2 (en) * 2013-06-05 2018-07-17 Sony Corporation Image processing apparatus and image processing method
RU2689189C2 (ru) 2013-12-10 2019-05-24 Кэнон Кабусики Кайся Способ и устройство для кодирования или декодирования блока пикселов
WO2015086717A2 (en) 2013-12-10 2015-06-18 Canon Kabushiki Kaisha Improved palette mode in hevc
EP3171598A1 (en) * 2015-11-19 2017-05-24 Thomson Licensing Methods and devices for encoding and decoding a matrix of views obtained from light-field data, corresponding computer program and non-transitory program storage device
EP3610647B1 (en) 2017-04-26 2021-12-08 Huawei Technologies Co., Ltd. Apparatuses and methods for encoding and decoding a panoramic video signal
CN111066322B (zh) 2017-06-14 2022-08-26 华为技术有限公司 通过透视信息进行视频编码的帧内预测
CN110070564B (zh) * 2019-05-08 2021-05-11 广州市百果园信息技术有限公司 一种特征点匹配方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1414245A1 (en) * 2002-04-18 2004-04-28 Kabushiki Kaisha Toshiba Moving picture coding/decoding method and device

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU1665545A1 (ru) 1988-07-21 1991-07-23 Винницкий политехнический институт Телевизионное устройство селекции изображений объектов
RU2030119C1 (ru) 1991-04-19 1995-02-27 Смирнов Александр Иванович Устройство формирования стереотелевизионного изображения подвижного объекта
US5625408A (en) * 1993-06-24 1997-04-29 Canon Kabushiki Kaisha Three-dimensional image recording/reconstructing method and apparatus therefor
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JP4013286B2 (ja) 1997-01-22 2007-11-28 松下電器産業株式会社 画像符号化装置と画像復号化装置
JPH11239351A (ja) 1998-02-23 1999-08-31 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、復号方法、符号化器、復号器、動画像符号化プログラムおよび動画像復号プログラムを記録した記録媒体
JP3519594B2 (ja) 1998-03-03 2004-04-19 Ｋｄｄｉ株式会社 ステレオ動画像用符号化装置
US6519358B1 (en) 1998-10-07 2003-02-11 Sony Corporation Parallax calculating apparatus, distance calculating apparatus, methods of the same, and information providing media
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
JP4608136B2 (ja) 2001-06-22 2011-01-05 オリンパス株式会社 動きベクトル及び視差ベクトル検出装置
JP4213646B2 (ja) 2003-12-26 2009-01-21 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。
JP2006000394A (ja) 2004-06-17 2006-01-05 Tokai Kiki Kogyo Co Ltd 畳側面の縫着方法及び畳用縫着装置
KR100679740B1 (ko) 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
JP4363295B2 (ja) * 2004-10-01 2009-11-11 オムロン株式会社 ステレオ画像による平面推定方法
KR100738867B1 (ko) 2005-04-13 2007-07-12 연세대학교 산학협력단 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1414245A1 (en) * 2002-04-18 2004-04-28 Kabushiki Kaisha Toshiba Moving picture coding/decoding method and device

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JP特开平10－271511A 1998.10.09
JP特开平9－261653A 1997.10.03
Koichi Hata,Minoru,Kunihiro Chibara.Coding of Multi-Viewpoint Images.《IEICE》.1999,第J82-D-II卷(第11期),1921-1929. *

Also Published As

Publication number Publication date
KR20080076974A (ko) 2008-08-20
BRPI0620645B8 (pt) 2022-06-14
US20090028248A1 (en) 2009-01-29
EP1971154A1 (en) 2008-09-17
JPWO2007077942A1 (ja) 2009-06-11
BRPI0620645B1 (pt) 2020-09-15
WO2007077942A1 (ja) 2007-07-12
TW200737990A (en) 2007-10-01
KR100968920B1 (ko) 2010-07-14
RU2374786C1 (ru) 2009-11-27
CA2633637A1 (en) 2007-07-12
JP5234586B2 (ja) 2013-07-10
EP1971154A4 (en) 2010-10-27
CA2845591C (en) 2015-12-08
TWI335185B (zh) 2010-12-21
CA2845591A1 (en) 2007-07-12
US8548064B2 (en) 2013-10-01
BRPI0620645A2 (pt) 2011-11-16
CA2633637C (en) 2014-06-17
CN101346998A (zh) 2009-01-14

Similar Documents

Publication Publication Date Title
CN101346998B (zh) 视频编码方法及解码方法、其装置
CN101361371B (zh) 视频编码方法及解码方法、其装置及其程序以及记录程序的存储介质
CN105052146B (zh) 对3d视频译码中的视差向量导出和运动向量预测的简化
Oh et al. H. 264-based depth map sequence coding using motion information of corresponding texture video
CN105379282B (zh) 用于纹理译码的先进残余预测(arp)的方法和设备
CN101243692B (zh) 对多视角视频进行编码的方法和设备
CN101569202B (zh) 活动图像编码方法和解码方法、其装置
Gu et al. Fast depth modeling mode selection for 3D HEVC depth intra coding
JP6446488B2 (ja) ビデオデータデコーディング方法及びビデオデータデコーディング装置
CN109691106A (zh) 时间运动向量预测符的偏移向量识别
CN105075265A (zh) 3d视频译码中针对跳过和直接模式的视差向量导出
CN104769949A (zh) 用于视差向量导出的图片的选择
CN104221385A (zh) 基于非对称纹理及深度分辨率的视图合成
CN104685883A (zh) 用于3d视频的经视图间预测运动向量
CN104412597A (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
CN101390396A (zh) 编码和解码多视角视频以提供均匀画面质量的方法和装置
CN103098475B (zh) 图像编码方法和装置、图像解码方法和装置
CN106134197A (zh) 视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编码程序以及视频解码程序
CN105637766A (zh) 二元分割模式的推导方法及装置
CN104919799A (zh) 用于三维视频编解码的从深度到视差矢量转换的方法和装置
CN107278373A (zh) 用于使用自适应瓦片大小的视频译码的方法和设备
Wang et al. Low Pixel Rate 3DoF+ Video Compression Via Unpredictable Region Cropping
Conti et al. 3D holoscopic video coding based on HEVC with improved spatial and temporal prediction
KR20150010249A (ko) 제한적인 움직임 정보 유도를 통한 메모리 효율성을 향상시키는 방법 및 장치
Yu et al. Is the transmission of depth data always necessary for 3D video streaming?

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant