CN101361371B - 视频编码方法及解码方法、其装置及其程序以及记录程序的存储介质 - Google Patents

视频编码方法及解码方法、其装置及其程序以及记录程序的存储介质 Download PDF

Info

Publication number
CN101361371B
CN101361371B CN2007800017265A CN200780001726A CN101361371B CN 101361371 B CN101361371 B CN 101361371B CN 2007800017265 A CN2007800017265 A CN 2007800017265A CN 200780001726 A CN200780001726 A CN 200780001726A CN 101361371 B CN101361371 B CN 101361371B
Authority
CN
China
Prior art keywords
parallax
pixel
region segmentation
setting
parallactic displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800017265A
Other languages
English (en)
Other versions
CN101361371A (zh
Inventor
谷本正幸
藤井俊彰
山本健词
北原正树
木全英明
志水信哉
上仓一人
八岛由幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nagoya University NUC
Nippon Telegraph and Telephone Corp
Original Assignee
Nagoya University NUC
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38228325&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101361371(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nagoya University NUC, Nippon Telegraph and Telephone Corp filed Critical Nagoya University NUC
Publication of CN101361371A publication Critical patent/CN101361371A/zh
Application granted granted Critical
Publication of CN101361371B publication Critical patent/CN101361371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及视频编码方法及解码方法、其装置及其程序以及记录程序的存储介质。使用利用多个视频间的视差进行预测的视差补偿，将多个视频作为一个视频进行编码。设定由参考图像推测的、相对编码对象图像的参考视差，设定画面内的区域分割，关于所设定的各区域，设定作为所述参考视差与在所述视差补偿中使用的视差之差的视差位移，对所述区域分割信息进行编码，对表示所述视差位移的信息进行编码。解码时，设定由参考图像推测的、相对解码对象图像的参考视差，对包含在编码信息中的表示区域分割的信息进行解码，关于该信息表示的各区域，对包含在编码信息中的视差位移的信息进行解码。

Description

视频编码方法及解码方法、其装置及其程序以及记录程序的存储介质
技术领域
本发明是涉及多视点活动图像的编码以及解码的技术。
本申请要求基于2006年1月5日申请的专利申请号为2006-000393的优先权，其内容在此引用。
背景技术
多视点活动图像是由不同位置上的摄像机(camera)对相同被拍摄体和背景进行摄影后的多个活动图像。下面，将由一个摄像机所摄影的活动图像称为“二维活动图像”，将对相同被拍摄体和背景进行摄影后的二维活动图像的集合称为多视点活动图像。多视点活动图像中所包含的各摄像机的二维活动图像在时间方向存在较强的相关。另一方面，在各摄像机同步的情况下，与相同时间对应的各摄像机的帧对完全相同的状态下的被拍摄体和背景进行摄影，所以，在各摄像机间存在较强的相关。
首先，描述与二维活动图像的编码方式相关的现有技术。在以作为国际编码标准的H.264、MPEG-4、MPEG-2为首的现有多种二维活动图像编码方式中，利用运动补偿、正交变换、量子化、可变长度编码这样的技术，进行高效率的编码。
例如，在H.264中，在I帧中能够利用帧内相关进行编码，在P帧内能够利用与过去的多个帧的帧间相关进行编码，在B帧中能够利用与过去或将来的多个帧的帧间相关进行编码。
H.264的技术细节记载在下述的非专利文献1中，下面进行简要地说明。在I帧中对帧进行块分割(将该块称为宏模块(macroblock)，块尺寸是16×16(像素))，在各宏模块中进行帧内预测(intra-prediction)。在帧内预测时，将各宏模块分割为更小的块(下面称为子块)，能够在各子块中进行不同的帧内预测方法。
另一方面，在P帧中，能够在各宏模块中进行帧内预测或帧间预测(inter-prediction)。P帧的帧内预测与I帧的情况相同。另一方面，在帧间预测时进行运动补偿。在运动补偿中，也将宏模块分割为更小的块，能够在各子块中具有不同的运动矢量、参考图像。
并且，在B帧中，也能够进行帧内预测和帧间预测，但是，B帧的帧间预测中，除了过去的帧以外，将来的帧也能够适用于运动补偿的参考图像。例如，在I帧→B帧→B帧→P帧这样的帧结构中进行编码的情况下，能够以I→P→B→B的顺序进行编码。并且，在B帧中，能够参考I帧以及P帧进行运动补偿。此外，与P帧的情况相同地，能够按将宏模块分割后的每个子块具有不同的运动矢量。
在进行帧内、间预测时，得到预测残差(prediction residual)，在各宏模块中对预测残差块进行DCT(离散余弦变换)并进行量子化。并且，对这样得到的DCT系数的量子化值进行可变长度编码。
关于多视点活动图像的编码，以往存在如下方式：根据将运动补偿应用到相同时刻的不同摄像机的图像中的“视差补偿”，高效率地对多视点活动图像编码。在此，所谓的视差，是指在配置于不同位置上的摄像机的图像平面上对被拍摄体的相同位置进行投影的位置之差。
在图9中示出在摄像机间所产生的视差的示意图。在该示意图中，是垂直地向下观察光轴平行的摄像机的图像平面得到的图。这样，在不同摄像机的图像平面上对被拍摄体上的相同位置进行投影的位置一般称为对应点。视差能够表现为平面内的位置的偏差，所以，能够表现为二维矢量的信息。
在视差补偿中，由参考图像推测与编码对象摄像机的图像上的某个目标像素对应的参考目的地的摄像机的图像上的对应点，以与该对应点对应的像素值预测目标像素的像素值。以下，为了方便，将上述的“所推测的视差”也称为“视差”。
作为使用视差补偿的编码方法，例如有非专利文献2，在这样的方式中，对与编码对象的图像的像素相对的视差信息和预测残差进行编码。具体地说，在该方法中，包含以块为单位进行视差补偿的设计，以二维矢量表现块单位的视差。该视差矢量的示意图在图10中示出。即，在该方法中，对作为二维矢量的视差信息和预测残差进行编码。并且，在该方法中，由于不利用摄像机参数进行编码，所以，在摄像机参数未知的情况下是有效的。
在存在多个作为来自分别不同摄像机的参考图像的情况下，能够利用任意视点图像技术进行视差补偿。在非专利文献3中，利用任意视点图像生成技术进行视差补偿。具体地说，以与该像素对应的不同摄像机的对应点的像素值进行***(interpolation)，预测编码对象摄像机的图像的像素值。在图11中示出该***的示意图。在该***中，***与像素m对应的参考图像1、2的像素m′、m″的值，由此，预测编码对象图像的像素m的值。
并且，如非专利文献3的情况，若有不同摄像机的两个以上的参考图像，就能够不利用编码对象图像地推测针对与编码对象图像的各像素相关的各参考图像的视差。在图12中示出该视差推测的示意图。
如该图所示，在真实的视差中，参考图像的对应点的像素值应该是大致相同的值。因此，在许多的视差推测法中，关于与各种深度相关的对应点，对参考图像的像素值进行比较，并基于像素值最接近的深度推测视差。该处理能够以编码对象图像的像素为单位来进行。
这样，在存在不同摄像机的两个以上的参考图像并能够在解码侧进行视差推测的情况下，能够不从编码侧明确地对视差信息进行编码并提供到解码侧、而在解码侧利用像素单位的视差信息进行视差补偿。
非专利文献1：ITU-T Rec.H.264/ISO/IEC 11496-10，“Advanced VideoCoding”，Final Committee Draft，Document JVT-E022，September 2002
非专利文献2：Hideaki Kimata and Masaki Kitahara，“Preliminaryresults on multiple view video coding(3DAV)”，document M 10976MPEG Redmond Meeting，July，2004
非专利文献3：Masayuki Tanimoto，Toshiaki Fujii，“Response to Callfor Evidence on Multi-View Video Coding”，document Mxxxxx MPEGHong Kong Meeting，January，2005
根据现有技术，在存在不同摄像机的两个以上的参考图像、且能够在解码侧进行视差推测的情况下，能够不从编码侧明确地将视差信息进行编码而在解码侧利用像素单位的视差信息进行视差补偿。这样，将在编码以及解码侧不使用编码或解码对象的图像而(在解码的情况下不解码)能够推测的、与编码/解码对象的图像相关的视差称为“参考视差”。
但是，对于解码侧所推测的参考视差来说，在预测效率的意义上不是最佳的，所以，存在预测残差的码量变多的情况。因此，在编码侧求出使预测效率最大的视差，关于各像素，将该视差和参考视差之差(下面称为视差位移)进行编码，由此，使预测效率提高，其结果是，能够容易地类推提高预测残差的编码效率的方法。
但是，在这样能够容易类推的技术中存在如下课题：以像素为单位将视差位移进行编码，所以，导致作为视差信息的码量增加，其结果是，不能实现作为整体的较高的编码效率。
发明内容
为了解决上述问题，本发明的目的在于能够将与视察补偿的精度相关的牺牲抑制得较小并且能够使视差信息的数据量减小。
本发明与现有技术最大的不同是，在本发明中，为了解决上述问题，进行决定图像的块分割的处理、和将因此确定的块分割信息以及每个块的视差位移信息进行编码的处理，并将这些信息作为编码信息。
根据本发明的视频编码方法、视频解码方法的第一实施方式，基于根据编码对象图像的性质所设定的区域分割，对于各分割区域将视差位移信息进行编码。
一般地，视差位移在画面内存在空间的相关，所以，通过设定适当的区域分割、并对于各区域将视差位移进行编码，由此，能够抑制视差信息的码量而不使视差补偿的预测效率恶化。
并且，在视频编码侧，在参考视差设定步骤中，由已经编码完成的信息(参考图像)设定与编码对象图像相关的视差(参考视差)，并且，在区域分割设定步骤中，设定编码对象图像的画面内的区域分割。并且，在视差位移设定步骤中，设定与由区域分割设定的各区域对应的视差位移，在区域分割信息编码步骤中，将作为表示区域分割的信息的区域分割信息进行编码，在视差位移信息编码步骤中，将视差位移信息进行编码。
并且，作为在参考视差设定步骤中设定的参考视差，可以是例如基于图12中示出的原理由参考图像推测的视差(参考下面的第三方式)、基于以任意视点图像生成等为目的由其他单元进行编码并发送到解码侧的视差图像或三维模式的视差、或者其他方法提供的视差中的任何一个。
另一方面，在视频解码侧，在参考视差设定步骤中，与编码侧相同地由已经解码完成的信息(参考图像)设定与解码对象图像相关的参考视差，在区域分割信息解码步骤中对区域分割信息进行解码，在视差位移信息解码步骤中，对基于区域分割信息的区域相关的视差位移信息进行解码。
本发明的视频编码方法、视频解码方法的第二实施方式基本上与上述第一实施方式相同，但是，以矩形块为单位进行区域分割。具体地说，例如，考虑以宏模块为单位指定如下面的图10那样的矩形块分割。与这样的块分割相关的信息例如能够利用H.264的平均信息量(entropy)编码等、现有的平均信息量编码技术进行有效地编码。
本发明的视频编码方法、视频解码方法的第三方式基本上与上述第一以及第二方式相同，但是，基于在图12中示出的原理采用不使用编码对象图像而由多个参考图像推测的参考视差。这样，在由参考图像推测参考视差的情况下，能够仅以已经发送到解码侧的信息设定参考视差，所以，能够不产生应编码的附加信息地设定参考视差。
根据本发明，在由参考图像推测视差的视频编码和解码方法中，利用在视差位移信息中存在空间的相关，能够减小与视差位移信息相关的数据量而不降低视差补偿的预测效率，并且能够提高整体的编码效率。
附图说明
图1是示出本发明实施例的视频编码装置的图。
图2是示出实施例的摄像机的参考关系的图。
图3是示出实施例的摄像机配置的图。
图4是本实施例的编码流程图。
图5是与图4的步骤S106的处理相关的详细流程图。
图6是示出宏模块的块分割的例子的图。
图7是示出实施例的视频解码装置的图。
图8是实施例的解码流程图。
图9是在摄像机间所产生的视差的示意图。
图10是视差矢量的示意图。
图11是像素值***的示意图。
图12是视差推测的示意图。
符号说明
100视频编码装置
101图像输入部
102参考图像输入部
103参考图像存储器
104参考视差设定部
105视差位移设定部
106块分割设定部
107块分割信息编码部
108视差位移信息编码部
109预测残差编码部
200视频解码装置
201块分割信息解码部
202视差位移信息解码部
203预测残差解码部
204视差补偿部
205参考图像存储器
具体实施方式
在图1中示出本发明实施例的视频编码装置的结构图。
该视频编码装置100具备：图像输入部101，输入作为编码对象图像的摄像机C的原图像；参考图像输入部102，输入作为参考图像的摄像机A和B的解码图像；存储参考图像的参考图像存储器103；由参考图像求出参考视差的参考视差设定部104；求出视差位移的视差位移设定部105；设定块分割的块分割设定部106；对块分割信息进行编码的块分割信息编码部107；对视差位移信息进行编码的视差位移信息编码部108；对将预测残差进行编码的预测残差编码部109。
图2是示出本实施例的摄像机的参考关系的图。
如图2所示，在本实施例中示出如下情况：当对与三个摄像机相关的多视点视频进行编码时，将摄像机A和B的解码图像作为参考图像，对摄像机C的活动图像进行编码。
图中的箭头表示视差补偿时的参考关系，对摄像机C的图像进行编码时，在显示时刻，将相同时刻的摄像机A和B的解码图像作为参考图像来进行编码。此时，以与摄像机A以及B的对应点(视差位移矢量和参考视差矢量之和所提供的矢量指示的像素)相关的像素值的平均值制作预测图像。
图3是示出本实施例的摄像机配置的图。在本实施例中，例如，如图3所示，三个摄像机的视点位置在直线上等间隔地排列，光轴与摄像机排列的直线垂直。即，三个摄像机的光轴平行。
此外，利用相对摄像机排列的直线的平行移动(没有旋转等)得到图像平面的xy坐标系，在各摄像机中，等间隔地分割图像平面的x轴和y轴，由此，构成像素。即，在各摄像机中分辨率相同，并且，对于摄像机C和摄像机A的P像素部分的视差来说，在摄像机C和摄像机B中成为P像素的视差。
在图4中示出本实施例的编码的流程。并且，图5是详细记载图4的步骤S106的处理的流程图。
在本实施例中，以由纵横16像素构成的宏模块为单位指定宏模块内的块分割，以利用该块分割所制作的块(为了方便，简单地称为“块”)为单位求出视差位移信息并进行编码。
由于参考视差表现为二维矢量，所以，在解码侧(以及编码侧)，由参考图像以像素为单位求出针对各参考图像的二维矢量(参考视差)。
另一方面，关于视差位移，对于各块将一个二维矢量的视差位移进行(相对于摄像机A的视差位移)编码。这是因为，与求出参考视差的情况相同地，假定与各参考图像的各像素相关的视差位移矢量和参考视差矢量之和所提供的矢量(是视差补偿中所利用的视差矢量)指示被拍摄体上的相同位置的这样物理制约条件时，如果针对摄像机A的视差位移矢量是已知的，则唯一地决定与其他摄像机相关的视差位移矢量。
并且，也考虑不假定这样的制约条件而独立地求出针对各参考图像的视差位移并分别进行编码，但是，关于这种情况，能够作为本实施例的变形例容易地应用，所以，省略说明。
作为在宏模块中能够应用的块分割，能够考虑各种情况，例如，考虑如图6所示的情况。并且，如图6中所记载的那样，将与块分割的种类相关的索引(index)作为blkMode，将块分割blkMode的块数量表示为maxBlk[blkMode]。
在这样的前提下，沿图4的流程说明编码处理。
首先，由图像输入部101输入摄像机C的图像(步骤S101)。并且，此处所输入的摄像机C的图像和显示时刻相同的摄像机A与B的解码图像由参考图像输入部102输入到参考图像存储器103中。
接下来，从参考图像存储器103输入摄像机A和B的解码图像(S102)，由所输入的参考图像求出相对编码对象图像的各像素的参考视差(S103)。即，在参考视差设定部104中读入与摄像机A和B相关的两个参考图像，求出与摄像机C的图像的各像素相关的参考视差。
由此，对于摄像机C的图像的各像素，求出两个二维矢量。在此，使针对与摄像机C的图像平面上的坐标(x，y)(x以及y以整数值表示像素的坐标)相关的摄像机A的参考视差矢量为dA[x，y]，使针对摄像机B的参考视差矢量为dB[x，y]。
在此，将宏模块的索引表示为MBBlk，将宏模块数量表示为maxMBBlk。将宏模块的索引MBBlk初始化为0之后(S104)，在宏模块的索引MBBlk上加上1(S110)、并且对各宏模块重复执行以下的处理(S105～S111)。
首先，在将块分割(索引)blkMode初始化为0之后(S105)，块分割blkMode成为最大的索引值maxBlkMode之前(S108)，在块分割blkMode上加1(S107)并求出与宏模块MBBlk以及块分割blkMode相关的率失真代价(rate distortion cost)(S106)。即，在视差位移设定部105中，求出与各块分割blkMode相关的率失真代价MBCost。
对于与某个块分割blkMode相关的率失真代价MBCost来说，是通过计算与各块相关的率失真代价blkCost(块总数由maxBlk[blkMode]表示)并且取其总和而得到的。
求出与某个块相关的率失真代价blkCost，作为利用某个视差位移矢量时的率失真代价cost的最小值。因此，需要在各块中求出将cost最小化的视差位移矢量与该率失真代价。
在此，对于在编码中所利用的视差位移的检索来说，对参考视差的周边进行检索。即，作为视差位移矢量的候选，考虑e0、e1～eN-1，关于视差矢量dA[x，y]+en，对计算率失真代价的处理进行n＝0、1、...、N-1的重复，将该块的最佳视差位移矢量进行编码。
并且，在cost的计算时，首先，求出与使用某个视差位移矢量en时的预测残差的块相关的绝对值的总和SAD[en]。
并且，求出对某个视差位移矢量en进行编码时的视差位移矢量的码量的估计值R[en]，并由下式计算cost。
Cost＝SAD[en]+λR[en](1)
接下来，在块分割设定部106中，关于各宏模块MBBlk，求出率失真代价MBCost成为最小的块分割bestBlkMode(与其对应的视差位移矢量已求出)。
关于以上的步骤S106，具体地说，进行图5示出的处理。
首先，将宏模块的率失真代价MBCost和块blk的索引值初始化为0(S1061)，求出视差位移矢量，使得块blk中的率失真代价blkCost最小(S1062)。
将所求出的块的率失真代价blkCost加在宏模块的率失真代价MBCost上之后(S1063)，在块blk上加1，重复步骤S1062～S1064(S1065)，直到块blk成为块总数maxBlk[blkMode]。
如果块blk成为块总数maxBlk[blkMode]，则判断此时所算出的宏模块的率失真代价MBCost是否比当前时刻的最小的宏模块的率失真代价minMBCost小(S1066)，如果小，则存储率失真代价MBCost作为最小的率失真代价minMBCost，存储此时的块分割blkMode作为最佳的块分割bestBlkMode(S1067)。
进行上述的处理，由此，求出在宏模块MBBlk的视差补偿中所利用的块分割信息bestBlkMode、视差位移信息(视差位移矢量)、视差补偿导致的预测残差，所以，接下来，该块分割信息bestBlkMode由块分割信息编码部107进行编码，与bestBlkMode对应的视差位移信息由视差位移信息编码部108进行编码(S109)。
此外，与该视差位移信息对应的预测残差由预测残差编码部109进行编码。
接下来，在图7中示出本实施例中所使用的视频解码装置。
视频解码装置200具备块分割信息解码部201、视差位移信息解码部202、预测残差解码部203、视差补偿部204、参考图像存储器205。
在图8中示出本实施例的视频解码装置200的解码流程。它示出了将摄像机C进行一帧解码的流程。以下详细地说明流程。并且，预先对摄像机A和B的相同时刻的帧进行解码，该解码图像存储在参考图像存储器205中。
首先，由参考图像存储器205输入摄像机A和B的解码图像(S201)，由参考图像求出针对编码对象图像的各像素的参考视差(S202)。即，在参考视差设定部204中读入与摄像机A和B相关的两个参考图像，求出与摄像机C的图像的各像素相关的参考视差。由此，对于摄像机C的图像的各像素求出两个二维矢量。
接下来，在将宏模块的索引MBBlk初始化为0后(S203)，在宏模块的索引MBBlk上加1(S211)、并且对各宏模块重复一帧部分如下的处理(S204～S212)(一帧的块数是maxMBBlk)。由此，将摄像机C的一帧进行解码。
在各宏模块的解码中，首先，与宏模块MBBlk相关的块分割信息bestBlkMode由块分割信息解码部201进行解码(S204)。接下来，在将块blk的索引值初始化为0后(S205)，对各宏模块blk重复进行以下的处理(S206～S209)(最大块数是maxBlk[blkMode])。
首先，在视差位移信息解码部202中，将与块blk相关的视差位移信息进行解码(S206)，在视差补偿部204中，使用视差位移信息和参考视差制作与块blk相关的预测图像(通过***摄像机A和B的像素值来制作)(S207)。
在此，进行与上述块blk相关的重复处理，从而生成与宏模块MBBlk相关的预测图像。因此，接下来，在预测残差解码部203中，将与宏模块MBBlk相关的预测残差解码。并且，在视差补偿部204中计算预测图像和预测残差之和，从而得到与宏模块MBBlk相关的解码图像(S210)。
对一帧部分的全部宏模块重复以上处理(S211、S212)，对摄像机C的一帧进行解码。
并且，在本实施例中，当对摄像机C进行编码时，通过参考其他摄像机(摄像机A和B)来进行编码，但是，也可以在画面(一个图像)内适当地切换参考其他摄像机进行编码的情况和参考摄像机C的解码图像进行运动补偿的情况来进行编码。
具体地说，例如，可以以在图6的块分割中包含的各块为单位，切换视差补偿和运动补偿。在该情况下，需要在视频编码侧对表示在块中利用了视差/运动补偿的哪一个的信息进行编码，并且需要在视频解码侧将该信息解码。
以上的视频编码以及视频解码的处理能够利用计算机和软件程序实现，能够将该程序存储在计算机可读存储介质中进行提供、并且也能够通过网络提供。
产业上的实用性
在由参考图像推测视差的图像编码以及解码方法中，利用在视差位移信息中存在空间的相关的情况，能够减少视差位移信息的码量而不使视差补偿中的预测效率恶化，并能够提高整体的编码效率。

Claims (18)

1.一种视频编码方法，当将多个视频作为一个视频进行编码时，根据使用多个视频间的视差进行预测的视差补偿来进行编码，其特征在于，具有如下步骤：
参考视差设定步骤，设定由参考图像推测的、相对编码对象图像的参考视差；
区域分割设定步骤，设定画面内的区域分割；
视差位移设定步骤，关于在所述区域分割设定步骤中设定的各区域，设定视差位移，该视差位移是所述参考视差和在所述视差补偿中所使用的视差之差；
区域分割信息编码步骤，对表示在所述区域分割设定步骤中设定的区域分割的区域分割信息进行编码；以及
视差位移信息编码步骤，对表示在所述视差位移设定步骤中设定的视差位移的视差位移信息进行编码，
在所述参考视差设定步骤中，对所述编码对象图像的各像素设定所述参考视差，
该方法还具有预测图像生成步骤，使用所设定的所述参考视差加上对该像素所属的区域设定的所述视差位移而得到的以像素为单位的视差，对所述编码对象图像的各像素生成用于视差补偿的预测图像。
2.根据权利要求1的视频编码方法，其特征在于，
在所述区域分割设定步骤中设定的区域分割从进行针对矩形块的分割的多个区域分割方法中选择。
3.根据权利要求1的视频编码方法，其特征在于，
在所述参考视差设定步骤中设定的参考视差不使用所述编码对象图像而是由多个参考图像推测。
4.根据权利要求3的视频编码方法，其特征在于，
以像素为单位由所述多个参考图像推测所述参考视差。
5.一种视频解码方法，当对多个视频作为一个视频进行解码时，根据使用多个视频间的视差进行预测的视差补偿来进行解码，其特征在于，具有如下步骤：
参考视差设定步骤，设定由参考图像推测的、相对解码对象图像的参考视差；
区域分割信息解码步骤，对包含在编码信息中的表示区域分割的区域分割信息进行解码；以及
视差位移信息解码步骤，关于在所述区域分割信息解码步骤中解码的区域分割信息表示的各区域，对所述编码信息中包含的、作为所述参考视差和在所述视差补偿中使用的视差之差的视差位移信息进行解码，
在所述参考视差设定步骤中，对所述解码对象图像的各像素设定所述参考视差，
该方法还具有预测图像生成步骤，使用所设定的所述参考视差加上对该像素所属的区域设定的所述视差位移而得到的以像素为单位的视差，对所述解码对象图像的各像素生成用于视差补偿的预测图像。
6.根据权利要求5的视频解码方法，其特征在于，
在所述区域分割信息解码步骤中解码的区域分割信息从进行针对矩形块的分割的多个区域分割方法中选择。
7.根据权利要求5的视频解码方法，其特征在于，
在所述视差位移信息解码步骤中解码的视差位移信息，是不使用所述解码对象图像而由多个参考图像推测的参考视差与在所述视差补偿中使用的视差之差的信息。
8.根据权利要求7的视频解码方法，其特征在于，
以像素为单位由所述多个参考图像推测所述参考视差。
9.一种视频编码装置，当将多个视频作为一个视频进行编码时，根据使用多个视频间的视差进行预测的视差补偿来进行编码，其特征在于，具备：
参考视差设定单元，设定由参考图像推测的、相对编码对象图像的参考视差；
区域分割设定单元，设定画面内的区域分割；
视差位移设定单元，关于在所述区域分割设定单元中设定的各区域，设定作为所述参考视差和在所述视差补偿中使用的视差之差的视差位移；
区域分割信息编码单元，对表示在所述区域分割设定单元中设定的区域分割的区域分割信息进行编码；以及
视差位移信息编码单元，对表示在所述视差位移设定单元中设定的视差位移的视差位移信息进行编码，
所述参考视差设定单元对所述编码对象图像的各像素设定所述参考视差，
该装置还具有预测图像生成单元，使用所设定的所述参考视差加上对该像素所属的区域设定的所述视差位移而得到的以像素为单位的视差，对所述编码对象图像的各像素生成用于视差补偿的预测图像。
10.一种视频解码装置，当对多个视频作为一个视频进行解码时，根据使用多个视频间的视差进行预测的视差补偿来进行解码，其特征在于，具备：
参考视差设定单元，设定由参考图像推测的、相对解码对象图像的参考视差；
区域分割信息解码单元，对表示包含在编码信息中的区域分割的区域分割信息进行解码；以及
视差位移信息解码单元，关于在所述区域分割信息解码单元中解码的区域分割信息表示的各区域，对包含在所述编码信息中的、作为所述参考视差与在所述视差补偿中使用的视差之差的视差位移信息进行解码，
所述参考视差设定单元对所述解码对象图像的各像素设定所述参考视差，
该装置还具有预测图像生成单元，使用所设定的所述参考视差加上对该像素所属的区域设定的所述视差位移而得到的以像素为单位的视差，对所述解码对象图像的各像素生成用于视差补偿的预测图像。
11.根据权利要求1的视频编码方法，其特征在于，
在所述参考视差设定步骤中设定的每个像素的参考视差不使用所述编码对象图像而由多个参考图像推测，
在所述预测图像生成步骤中，基于所述多个参考图像的像素值，生成所述预测图像。
12.根据权利要求11的视频编码方法，其特征在于，
在所述预测图像生成步骤中，求出所述多个参考图像的像素值的平均值，生成所述预测图像。
13.根据权利要求5的视频解码方法，其特征在于，
在所述参考视差设定步骤中设定的每个像素的参考视差不使用所述解码对象图像而由多个参考图像推测，
在所述预测图像生成步骤中，基于所述多个参考图像的像素值生成所述预测图像。
14.根据权利要求13的视频解码方法，其特征在于，
在所述预测图像生成步骤中，求出所述多个参考图像的像素值的平均值，生成所述预测图像。
15.根据权利要求9的视频编码装置，其特征在于，
所述参考视差设定单元不使用所述编码对象图像而由多个参考图像推测每个所述像素的参考视差，
所述预测图像生成单元基于所述多个参考图像的像素值生成所述预测图像。
16.根据权利要求15的视频编码装置，其特征在于，
所述预测图像生成单元求出所述多个参考图像的像素值的平均值，生成所述预测图像。
17.根据权利要求10的视频解码装置，其特征在于，
所述参考视差设定单元不使用所述解码对象图像而由多个参考图像推测每个像素的参考视差，
所述预测图像生成单元基于所述多个参考图像的像素值，生成所述预测图像。
18.根据权利要求17的视频解码装置，其特征在于，
所述预测图像生成单元求出所述多个参考图像的像素值的平均值，生成所述预测图像。
CN2007800017265A 2006-01-05 2007-01-04 视频编码方法及解码方法、其装置及其程序以及记录程序的存储介质 Active CN101361371B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP000393/2006 2006-01-05
JP2006000393 2006-01-05
PCT/JP2007/050005 WO2007077989A1 (ja) 2006-01-05 2007-01-04 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体

Publications (2)

Publication Number Publication Date
CN101361371A CN101361371A (zh) 2009-02-04
CN101361371B true CN101361371B (zh) 2010-11-03

Family

ID=38228325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800017265A Active CN101361371B (zh) 2006-01-05 2007-01-04 视频编码方法及解码方法、其装置及其程序以及记录程序的存储介质

Country Status (11)

Country Link
US (1) US8451894B2 (zh)
EP (1) EP1971155B1 (zh)
JP (1) JP5234587B2 (zh)
KR (1) KR100977255B1 (zh)
CN (1) CN101361371B (zh)
BR (1) BRPI0706214B1 (zh)
CA (1) CA2634050C (zh)
ES (1) ES2388080T3 (zh)
RU (1) RU2384971C1 (zh)
TW (1) TW200806040A (zh)
WO (1) WO2007077989A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101023262B1 (ko) 2006-09-20 2011-03-21 니폰덴신뎅와 가부시키가이샤 화상 부호화 방법 및 복호 방법, 이들의 장치 및 이들의 프로그램과 프로그램을 기록한 기억매체
JP4999853B2 (ja) * 2006-09-20 2012-08-15 日本電信電話株式会社 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
US8634462B2 (en) * 2007-03-13 2014-01-21 Matthias Narroschke Quantization for hybrid video coding
US20080225947A1 (en) 2007-03-13 2008-09-18 Matthias Narroschke Quantization for hybrid video coding
CN101170702B (zh) * 2007-11-23 2010-08-11 四川虹微技术有限公司 多视角视频编码方法
KR101628383B1 (ko) 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
KR101529992B1 (ko) * 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
CN105847799B (zh) 2010-04-13 2019-04-05 三星电子株式会社 视频解码设备
ES2887236T3 (es) * 2010-07-20 2021-12-22 Ntt Docomo Inc Método de decodificación predictiva de imágenes
US9648334B2 (en) * 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
CN103765902B (zh) * 2011-08-30 2017-09-29 英特尔公司 多视角视频编码方案
JP5485969B2 (ja) * 2011-11-07 2014-05-07 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
JP6012014B2 (ja) * 2012-03-30 2016-10-25 サン パテント トラスト 画像符号化方法および画像復号方法
TWI632805B (zh) * 2012-06-11 2018-08-11 三星電子股份有限公司 視訊解碼方法、視訊編碼方法、視訊解碼裝置、視訊編碼裝置以及非暫態的電腦可讀取儲存媒體
JP2013258577A (ja) * 2012-06-13 2013-12-26 Canon Inc 撮像装置、撮像方法及びプログラム、画像符号化装置、画像符号化方法及びプログラム
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
WO2014075236A1 (en) 2012-11-14 2014-05-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction with pseudo residues in 3d video coding
CN104782128B (zh) * 2012-11-14 2017-10-24 寰发股份有限公司 用于三维或多维视图视频编码的方法及其装置
CN104885462A (zh) * 2012-12-28 2015-09-02 日本电信电话株式会社 视频编码装置和方法、视频解码装置和方法、以及其程序
CN105359529B (zh) * 2013-07-16 2018-12-07 寰发股份有限公司 用于三维或多视图视频编码的方法及装置
WO2015006922A1 (en) * 2013-07-16 2015-01-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction
CN114793279A (zh) * 2016-02-03 2022-07-26 Oppo广东移动通信有限公司 运动图像解码装置、编码装置、以及预测图像生成装置
CN112702598B (zh) * 2020-12-03 2024-06-04 浙江智慧视频安防创新中心有限公司 基于位移操作进行编解码的方法、装置、电子设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1204757C (zh) * 2003-04-22 2005-06-01 上海大学 一种立体视频流编码/解码器及其立体视频编解码***

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02130094A (ja) * 1988-11-10 1990-05-18 Nippon Telegr & Teleph Corp <Ntt> ステレオ動画像の動きベクトル情報符号化方式
JP3055438B2 (ja) * 1995-09-27 2000-06-26 日本電気株式会社 ３次元画像符号化装置
JPH09261653A (ja) 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JP3693407B2 (ja) * 1996-04-04 2005-09-07 シャープ株式会社 多視点画像符号化装置および復号装置
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
JP3477023B2 (ja) * 1996-04-05 2003-12-10 松下電器産業株式会社 多視点画像伝送方法および多視点画像表示方法
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
JP3519594B2 (ja) * 1998-03-03 2004-04-19 Ｋｄｄｉ株式会社 ステレオ動画像用符号化装置
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
JP2003259377A (ja) * 2002-03-06 2003-09-12 Matsushita Electric Ind Co Ltd 動画像符号化方法、動画像復号化方法および符号列フォーマット
US7903742B2 (en) 2002-07-15 2011-03-08 Thomson Licensing Adaptive weighting of reference pictures in video decoding
JP3790764B2 (ja) 2004-04-02 2006-06-28 一成 江良 投写型表示装置および投写型表示システム
JP4379221B2 (ja) 2004-06-17 2009-12-09 ブラザー工業株式会社 ミシンおよびその制御方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1204757C (zh) * 2003-04-22 2005-06-01 上海大学 一种立体视频流编码/解码器及其立体视频编解码***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开平10-32840A 1998.02.03
JP特开平9-275578A 1997.10.21

Also Published As

Publication number Publication date
WO2007077989A1 (ja) 2007-07-12
KR100977255B1 (ko) 2010-08-23
EP1971155A4 (en) 2010-06-16
KR20080078697A (ko) 2008-08-27
BRPI0706214B1 (pt) 2020-02-11
BRPI0706214A2 (pt) 2011-03-15
US20100220784A1 (en) 2010-09-02
CA2634050C (en) 2013-08-20
RU2384971C1 (ru) 2010-03-20
EP1971155A1 (en) 2008-09-17
ES2388080T3 (es) 2012-10-08
CA2634050A1 (en) 2007-07-12
TWI364992B (zh) 2012-05-21
US8451894B2 (en) 2013-05-28
CN101361371A (zh) 2009-02-04
TW200806040A (en) 2008-01-16
EP1971155B1 (en) 2012-05-16
JPWO2007077989A1 (ja) 2009-06-11
JP5234587B2 (ja) 2013-07-10
RU2008125839A (ru) 2009-12-27

Similar Documents

Publication Publication Date Title
CN101361371B (zh) 视频编码方法及解码方法、其装置及其程序以及记录程序的存储介质
CN101346998B (zh) 视频编码方法及解码方法、其装置
EP1835747B1 (en) Video encoding method and device, video decoding method and device, program thereof, and recording medium containing the program
JP5268645B2 (ja) カメラパラメータを利用して視差ベクトルを予測する方法、その方法を利用して多視点映像を符号化及び復号化する装置、及びそれを行うためのプログラムが記録された記録媒体
KR101662918B1 (ko) 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
JP6446488B2 (ja) ビデオデータデコーディング方法及びビデオデータデコーディング装置
CN101243692B (zh) 对多视角视频进行编码的方法和设备
CA2663084A1 (en) Image encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
CN103907346A (zh) 用于三维视频编码与高效率视频编码的运动矢量及视差矢量导出方法及其装置
US20160316224A1 (en) Video Encoding Method, Video Decoding Method, Video Encoding Apparatus, Video Decoding Apparatus, Video Encoding Program, And Video Decoding Program
CN103098475A (zh) 图像编码方法和装置、图像解码方法和装置以及它们的程序
CN104871534A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
CN103370938A (zh) 多视点图像编码方法、多视点图像译码方法、多视点图像编码装置、多视点图像译码装置及它们的程序
KR20150122706A (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 및 화상 복호 프로그램
CN112055201B (zh) 视频编码方法及其相关装置
Belbel et al. Improved inter-view correlations for low complexity MV-HEVC
WO2023150488A1 (en) Depth differences in place of motion vectors

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant