CN101536529B - 图像编码方法和解码方法、其装置 - Google Patents

Abstract

本发明提供一种图像编码方法，在从多视点图像整体选择一个基准视点，考虑基准视点的摄影机与其它的全部摄影机的图像的对极几何约束时，求取并编码作为可能正确的视差信息的全局视差信息，在根据全局视差信息和摄影机参数，考虑该摄影机的图像与其它的全部摄影机的图像的对极几何约束时，对基准视点以外的摄影机的每一个生成作为可能正确的视差信息的基础视差信息，为了表示该摄影机的图像与在视差补偿中使用的已经编码完成的参照视点图像的视差信息，求取对基础视差信息进行补正的补正视差信息并编码，使用通过以补正视差信息对基础视差信息进行补正而得到的视差信息，对该摄影机的图像进行编码。

Description

图像编码方法和解码方法、其装置

技术领域

本发明涉及多视点图像和多视点活动图像的编码及解码技术。本申请基于2006年9月20日申请的日本专利申请2006-254023号主张优先权，并在这里援引其内容。

背景技术

多视点图像指的是以多个摄影机对相同的被摄体和背景进行摄影的多个图像，多视点活动图像(多视点影像)指的是其活动图像。在以下，将以一个摄影机摄影的活动图像称为“二维活动图像”，将对相同的被摄体和背景进行摄影的二维活动图像组称为多视点活动图像。

二维活动图像关于时间方向具有强相关，通过利用该相关提高编码效率。另一方面，在多视点图像或多视点活动图像中，在各摄影机被同步了的情况下，对应于相同时间的各摄影机的影像是从不同位置对完全相同状态的被摄体和背景进行摄影的影像，因此在摄影机间有强相关。在多视点图像或多视点活动图像的编码中，通过利用该相关能够提高编码效率。

首先，对与二维活动图像的编码技术相关的现有技术进行说明。

在以作为国际编码标准的H.264、MPEG-2、MPEG-4为首的现有的众多的二维活动图像编码方式中，利用运动补偿、正交变换、量化、熵编码等技术进行高效率的编码。被称为运动补偿的技术是利用帧间的时间相关的方法。

关于在H.264中使用的运动补偿技术的详细在下述的非专利文献1中记述，以下对其概要进行说明。

在H.264的运动补偿中，将编码对象帧分割为各种各样大小的块，对于每一个块选择被称为参照帧的已经编码完成的帧，使用被称为运动矢量的表示对应点的矢量信息，对影像进行预测。这时，被允许的块分割是16×16(像素)、16×8、8×16、8×8、8×4、4×8、4×4的七种。这样就能够以细小的单位与被摄体的运动的朝向和大小的不同对应地对 影像进行预测。由此，因为以预测图像和原图像的差分表示的编码对象的残差变小，所以实现了高编码效率。

接着，对现有的多视点图像或多视点活动图像的编码方式进行说明。

多视点图像的编码方法、和多视点活动图像的编码方法的差异在于，在多视点活动图像中除了摄像机间的相关之外，还同时存在时间方向的相关。可是，相同的利用摄影机间的相关的方法在多视点图像的编码方法和多视点活动图像的编码方法中均可以使用。因此，在这里对在多视点活动图像的编码中使用的方法进行说明。

关于多视点活动图像的编码，从以前就存在为了利用摄影机间的相关，通过将运动补偿应用于相同时刻的不同摄影机的图像中的“视差补偿”，从而高效率地对多视点活动图像进行编码的方式。这里，视差指的是在配置于不同位置的摄影机的图像平面上，被摄体上的相同位置被投影的位置的差。

图21表示在该摄影机间产生的视差的概念图。

在该概念图中，从上方垂直地向下观察光轴平行的摄影机的图像平面。这样，在不同的摄影机的图像平面上被摄体上的相同位置被投影的位置通常被称为对应点。

视差补偿基于该对应关系，根据参照帧预测编码对象帧的各像素值，对预测残差、表示对应关系的视差信息进行编码。

在众多的方法中，将视差作为在图像平面上的矢量来表现。例如，在非专利文献2中，包含以块单位进行视差补偿的结构，以二维矢量、即以两个参数(x成分和y成分)表现块单位的视差。也就是说，在该方法中，对以两个参数构成的视差信息和预测残差进行编码。

另一方面，在非专利文献3中，在编码中利用摄影机参数，基于对极几何约束将视差矢量作为一维的信息进行表现，由此有效率地编码预测信息。在图22中表示对极几何约束的概念图。

根据对极几何约束，在两台摄影机(摄影机A和摄影机B)中，与一方的图像上的点对应的另一方的图像上的点，被约束于被称为对极线(Epipolar line)的直线上。在非专利文献3的方法中，为了表示在对极线上的位置，以从摄影参照帧的摄影机到被摄体为止的距离的这一个参数，表现对于全部编码对象帧的视差。

非专利文献1：ITU-T Rec.H.264/ISO/IEC 11496-10，“Editor′sProposed Draft Text Modifications for Joint Video Specification(ITU-TRec.H.264/ISO/IEC 14496-10AVC)，Draft 7”，Final Committee Draft，Document JVT-E022，pp.10-13，and 62-68，September 2002.

非专利文献2：Hideaki Kimata and Masaki Kitahara，“Preliminaryresults on multiple view video coding(3DAV)”，document M10976 MPEGRedmond Meeting，July，2004.

非专利文献3：Shinya SHIMIZU，Masaki KITAHARA，KazutoKAMIKURA and Yoshiyuki YASHIMA，“Multi-view Video Coding basedon 3-D Warping with Depth Map”，In Proceedings of Picture CodingSymposium 2006，SS3-6，April，2006.

发明内容

本发明要解决的课题

根据现有的多视点活动图像的编码方法，在摄影机参数为已知的情况下，利用对极几何约束，不管摄影机的台数，仅对于参照帧对从摄影机到被摄体为止的距离的一维信息进行编码，就能够实现对全部编码对象帧的视差补偿，能够有效率地编码视差信息。

可是，由于难以正确地测定摄影机参数，所以在摄影机参数中包含不少误差。结果，在以最有效率地对相同时刻的全部编码对象帧进行视差补偿的方式，求取对于参照帧的基于对极几何约束的视差信息的情况下，在求取的视差信息中包含全部的摄影机的摄影机参数的误差。

因此，在选择了一个编码对象帧时的视差补偿的预测精度，受到与其它的摄影机相关的误差的影响，与使用对于该编码对象帧和参照帧的组求取的视差信息的情况下的预测精度相比降低。

发明内容

本发明是鉴于上述情况而完成的，其目的在于在多视点活动图像的编码中，即使在参照帧的编码失真或摄影机参数的测定误差存在的情况下，也能够以较少的视差信息实现高精度的视差补偿，由此实现比现有技术高的编码效率。

用于解决课题的方法

在本发明的图像编码方法的第一方式中，具有：在从多视点图像整体选择一个基准视点，考虑基准视点的摄影机与其它的全部摄影机的图像的对极几何约束时，求取并编码作为可能正确的视差信息的全局(global)视差信息的步骤；在根据全局视差信息和摄影机参数，考虑该摄影机的图像与其它的全部摄影机的图像的对极几何约束时，对基准视点以外的摄影机的每一个生成作为可能正确的视差信息的基础视差信息的步骤；为了表示该摄影机的图像与在视差补偿中使用的已经编码完成的参照视点图像的视差信息，求取并编码对基础视差信息进行补正的补正视差信息的步骤；以及使用通过以补正视差信息对基础视差信息进行补正而得到的视差信息，对该摄影机的图像进行编码的步骤。

由此，因为对于编码对象的图像，仅考虑视差补偿时的参照目的地的图像(参照视点图像)求取补正视差信息，所以能够对摄影机的每一个消除全局视差信息中包含的全部摄影机参数的误差的影响和参照帧的编码失真的影响，能够实现高编码效率。

此外，因为全局视差信息表示在整体共同的大致的视差信息，所以只需要较少的基础视差信息的补正量，补正视差信息的码量少。

也就是说，与对编码对象的图像的每一个求取视差信息并进行编码的情况相比，能够节约与共同部分相关的码量，因此作为整体能够削减码量。

在本发明的图像编码方法的第二方式中，具有：在从多视点图像整体选择一个基准视点，考虑基准视点的摄影机与其它的全部摄影机的图像的对极几何约束时，求取并编码作为可能正确的视差信息的全局视差信息的步骤；在根据全局视差信息和摄影机参数，考虑该摄影机的图像与其它的全部摄影机的图像的对极几何约束时，对基准视点以外的摄影机的每一个生成作为可能正确的视差信息的基础视差信息的步骤；为了表示对于该摄影机的图像的、在视差补偿中使用的已经编码完成的参照视点图像的最优视差补偿对应点，求取并编码对通过基础视差信息提供的对应点进行补正的补正视差矢量的步骤；以及一边通过以补正视差矢量补正由基础视差信息得到的对应点而进行视差补偿，一边对该摄影机的图像进行编码的步骤。

由此，因为对于编码对象的图像，仅考虑视差补偿时的参照目的地 的图像(参照视点图像)求取补正视差矢量，所以能够对摄影机的每一个消除全局视差信息中包含的全部摄影机参数的误差的影响和参照帧的编码失真的影响，能够实现高编码效率。

此外，因为全局视差信息表示在整体共同的大致的视差信息，所以只需要较少的通过基础视差信息提供的对应关系的补正量，补正视差矢量的码量少。

也就是说，与对编码对象的图像的每一个求取视差信息并进行编码的情况相比，能够节约共同部分所需的码量，因此作为整体能够削减码量。

在所述第一方式中，为了进一步对根据基础视差信息和补正视差信息得到的视差信息所表示的对应点信息(对应点矢量)进行补正，具有：求取二维的补正矢量，进行编码的步骤。

由此，由于能够对以按照对极几何约束的表现不能补正的微小的对应点的不一致进行补正，所以视差补偿的预测效率提高，能够实现高编码效率，其中，该微小的对应点的不一致是对编码对象图像进行摄影的摄影机的摄影机参数的误差、或摄影机的透镜失真的导致的。

与现有的仅以二维矢量进行补正的方式不同，由于以补正视差信息消除了几何约束导致的误差，所以补正所需要的矢量变得非常小，能够以更少的码量实现高精度的预测。

关于上述各方式，也可以具有设定对于基准视点的摄影机的图像的区域分割的步骤；和对表示该区域分割的信息进行编码的步骤，对每个设定的区域分割设定全局视差信息并进行编码。

由此，由于能够正确地表示通过映照在图像上的被摄体而变化的视差信息，因此全局视差信息的精度提高，由此能够削减用于补正基础视差信息的信息所需要的码量，能够实现高编码效率。

这里，在基准视点的图像的图像整体被区域分割，对每一个区域施加处理并进行编码的情况下，通过使用于对该基准视点的图像进行编码的区域分割、和对设定全局视差信息的单位进行表示的区域分割一致，能够不对表示基准视点的摄影机的图像的区域分割的信息重新进行编码。

此外，由于影像本身与视差信息的性质并不完全相同，所以在具有相同影像的性质的区域与具有相同视差信息的性质的区域不一致的情 况下，有不使用于编码基准视点的图像的区域分割完全一致、仅稍微变更区域分割即可的情况。

在该情况下，通过仅对区域分割的差异进行编码，能够削减码量。

此外，也可以具有设定对于编码对象视点的摄影机的图像的区域分割的步骤；和对表示该区域分割的信息进行编码的步骤，对每个设定了的区域分割设定补正视差信息、补正视差矢量、补正矢量并进行编码。

由此，能够正确地表示通过映照在图像上的被摄体而变化的视差补偿中使用的对应点的信息，因此视差补偿时的影像预测精度提高，能够实现高编码效率。

这里，在编码对象视点的图像的图像整体被区域分割，对每一个区域施加处理并与该区域分割信息一起被编码的情况下，通过使用于对该图像进行编码的区域分割、与对设定视差信息的单位进行表示的区域分割一致，能够不对表示区域分割的信息进行编码，其中，该区域分割对设定视差信息的单位进行表示。

此外，由于影像本身与视差信息的性质并不完全相同，所以在具有相同影像的性质的区域与具有相同视差信息的性质的区域不一致的情况下，有不使用于编码图像的区域分割与对设定视差信息的单位进行表示的区域分割完全一致、仅稍微变更区域分割即可的情况。在该情况下，通过仅对区域分割的差异进行编码，能够削减码量。

此外，关于上述各方式，也可以具有：对视差补偿时参照的摄影机进行设定的步骤；对表示该摄影机的索引(index)进行编码的步骤，在使用以上述索引表示的摄影机的编码完成的图像进行视差补偿时，以成为最优的方式对编码对象的图像的每一个求取的补正视差信息或补正视差矢量或补正矢量进行求取。

由此，不仅是基准视点的摄影机，也能够将与编码对象的图像的摄影机靠近的摄影机的影像作为参照图像，因此由于遮挡(occlusion)等的影响而对应点的不能够取得的部分少，能够正确地预测。也就是说，能够减少编码的视差补偿残差，实现有效率的编码。

此外，本发明的全局视差信息和基础视差信息是不依赖于参照对象的信息，因此不管使用哪个参照对象也能够将补正视差信息或补正矢量的码量抑制得较少。

此外，在对编码对象图像求取视差信息时，在设定有区域分割的情 况下，能够对该区域的每一个选择最优的参照目的地，由此能够进行更正确的预测，实现有效率的编码。

此外，关于上述各方式，也可以具有：在求取全局视差信息之前，基于对极几何约束求取作为对于各摄影机的图像的视差信息的局部(local)视差信息的步骤；和使用对该各摄影机求取的局部视差信息和摄影机参数，生成所述全局视差信息的候补的步骤，在求取全局视差信息的步骤中，将对相同区域得到的全局视差信息候补的平均值设定为该区域的全局视差信息。

由此，在最初就计算应该成为在视差补偿时在各摄影机使用的最优视差信息的局部视差信息，使用其生成全局视差信息。

因此，能够求取在后续的处理中尽量减少应该补正的视差信息的全局视差信息。也就是说，无用的信息不再被编码，能够实现有效率的编码。

再有，在从全局视差信息候补中决定全局视差信息时，也能够代替平均值，而决定为在区域内出现最多的全局视差信息候补，由此能够减少在后续的处理中应该补正的视差信息。

进而，也可以具有根据局部视差信息和基础视差信息的差来设定差分视差信息的步骤，在设定对于编码对象视点的摄影机的图像的区域分割的步骤中，设定该差分视差信息在区域内成为大致相同的最大的区域分割，在求取补正视差信息的步骤中，能够根据区域内的差分视差信息设定补正视差信息。

这样，能够以一次运算来求取全局视差信息和补正视差信息，因此与分别对其进行求取的情况(需要大量的运算)相比，能够实现运算量的削减。

此外，在区域分割的种类被限制的情况等下，对区域分割的每一个求取差分视差信息的分散(dispersion)，通过以该分散的值为基准选择区域分割，能够高速地进行决定区域分割的运算。

此外，关于上述各方式，在设定基础视差信息的步骤，或设置全局视差信息候补的步骤中，能够使用被提供了变换前的视差信息的图像中的连续性，在变换后的图像上连续地设定视差信息。

例如，在对于变换前邻接的像素的视差信息大致相同、对变换后不邻接的像素设定视差信息的情况下，根据两者的变换后的视差信息进行 内插，生成对于在其间存在的像素的视差信息。

由此，被提供基础视差信息和全局视差信息候补的区域变多，能够减少应该补正的信息，所以能够抑制码量，实现高编码效率。

此外，由于不仅是邻接关系，也能够使用表示三维信息的视差信息更正确地判断连续性，所以能够防止生成错误的基础视差信息和全局视差信息候补，从而相反地使应该补正的信息增加。

在上述的本发明的图像(包含影像)编码，以及对应的图像解码中，能够考虑空间的变化或时间的变化，对各种视差信息、对视差信息进行补正的信息、或区域分割信息进行编码。

由于各种视差信息、对视差信息进行补正的信息、或区域分割信息是依赖于映照的影像的信息，所以图像内的相关和时间的相关非常高。

因此，根据上述方式，能够去除对各种视差信息、对视差信息进行补正的信息、或区域分割信息的冗长而进行编码，因此能够减少其码量，实现高编码效率。

此外，具有缩小基准视点的编码完成图像的步骤，在求取全局视差信息时，能够以对于生成的缩小图像求取从基准视点的摄影机起至被摄体的距离的方式实施。

由此，通过缩小图像而删除影像的细微信息，能够去除通过摄影机参数误差等产生的视差信息的误差或细微变化。根据具有这样的性质的全局视差信息，能够得到不受摄影机参数的误差等左右的大致的摄影机间的对应关系。

因此，减少了以对每个摄像机编码的补正视差信息或补正矢量必须进行重复修正的误差信息，能够使作为整体的编码效率提高。此外，通过使用缩小图像，在求取视差信息时成为运算对象的像素减少，能够削减运算量。

再有，在对多视点活动图像进行编码(解码)的情况下，将各时刻的帧集合看作多视点图像，也能够应用本发明的图像编码方法(图像解码方法)。

进而，在多视点活动图像中，不是以本发明的方法对图像整体进行编码，而是对于编码处理对象的每一个选择利用了时间方向的相关的运动补偿等其它的方法等来进行编码，由此也能够提高编码效率。

发明的效果

根据本发明，能够一边防止用于进行视差补偿的信息大幅地增加，一边实现考虑了摄影机参数的推定误差的影响的预测精度高的视差补偿，由此能够实现作为多视点图像整体或多视点活动图像整体的高效率的编码。

附图说明

图1是本发明中定义的视差补偿中使用的各信息的示意图。

图2是实施例中的摄影机结构例的概念图。

图3是表示本发明的实施例1的影像编码装置的图。

图4是表示图3的全局视差补偿信息设定部的细节的图。

图5是表示图3的视差补偿信息设定部的细节的图。

图6是实施例1的影像编码流程图。

图7是与图6的步骤S2的处理相关的细节的流程图。

图8是表示宏块中的块分割的一个例子的图。

图9是与图6的步骤S4的处理相关的细节的流程图。

图10是与图6的步骤S5的处理相关的细节的流程图。

图11是表示本发明的实施例2的影像编码装置的图。

图12是表示图11的局部视差补偿信息设定部的细节的图。

图13是表示图11的全局视差补偿信息设定部的细节的图。

图14是表示图11的视差补偿信息设定部的细节的图。

图15是实施例2的影像编码流程图。

图16是与图15的步骤S402的处理相关的细节的流程图。

图17是与图15的步骤S403的处理相关的细节的流程图。

图18是与图15的步骤S406的处理相关的细节的流程图。

图19是表示本发明的实施例3的影像解码装置的图。

图20是实施例3的影像解码流程图。

图21是摄影机间产生的视差的概念图。

图22是对极几何约束的概念图。

附图标记说明

100，200影像编码装置

101，201图像输入部

102，202图像存储器

103，203基准视点图像输入部

104，204基准视点图像存储器

105，206全局视差补偿信息设定部

106，207基础视差信息设定部

107，208视差补偿信息设定部

108，209图像编码部

109，210解码图像存储器

205局部视差补偿信息设定部

1051基准视点图像块分割设定部

1052块分割信息编码部

1053全局视差信息推定部

1054全局视差信息编码部

1071，2081编码对象图像块分割设定部

1072，2082块分割信息编码部

1073，2085参照视点索引设定部

1074，2086视点索引编码部

1075，2083补正视差信息设定部

1076，2084补正视差信息编码部

1077，2087补正矢量设定部

1078，2088补正矢量编码部

1079，2089视差补偿效率评价部

2051局部视差信息块分割设定部

2052参照视点索引设定部

2053局部视差信息设定部

2054视差补偿效率评价部

2061基准视点图像块分割设定部

2062块分割信息编码部

2063全局视差信息推定部

2064全局视差信息编码部

300影像解码装置

301编码数据输入部

302基准视点图像输入部

303图像存储器

304全局视差补偿信息解码部

305基础视差信息设定部

306视差补偿信息解码部

307视差补偿图像生成部

308图像解码部

具体实施方式

本发明与现有技术的最不同之处，是设定一个基准视点，为了对同时刻的其它的全部编码对象图像进行视差补偿，对该基准视点的编码完成图像求取按照对极几何约束的全局视差信息，将该全局视差信息变换为对于各编码对象图像的按照对极几何约束的基础视差信息，对应于各编码对象图像的性质、和摄影机参数误差，对每个编码对象图像，对用于对该基础视差信息进行补正的视差信息进行编码。

该按照对极几何约束的视差信息能够以从该图像的视点起至被摄体的距离、从对极直线上的基准点起的距离、和对应于这些距离的索引值表示。

再有，在以下叙述视差信息的情况下，指的是这些基于对极几何约束的视差信息。对在本发明中使用的全局视差信息和基础视差信息的概念进行说明。

[全局视差信息]

全局视差信息是对基准视点的图像提供的视差信息。以下，在下述说明中，视差信息被提供每个区域。

当某个区域A具有视差信息d时，按照对极几何约束能够得到对于在同时刻摄影的其它视点(i＝1，2，3，...，N)的图像的对应区域R_A(d，i)。这时，能够以差分绝对值和、差分平方和、差分的分散等、多个基准的权重和等评价各对应区域间的图像的差异度。

当将对于{A，R_A(d，i)|i＝1，2，...，N}的全部的组合的该差异度的合计称为区域A中的视差信息d的评价值时，将提供了最小的评价值的视差信息称为全局视差信息D。

此外，为了减少误差的影响，也有假定实际空间中的物体的连续性并对视差信息d追加补正项而计算评价值的情况。

在为了求取上述对应区域而利用对极几何约束时，由于摄影机参数和计算中产生误差，在考虑特定的视点i＝k时，有使编码时的码量Rate(A，d，k)最小化的视差信息d不是全局视差信息D的情况。

因此，全局视差信息D在该区域以及对于该区域的其它的全部视点的图像的对应区域之间，是类似度变得最高的视差信息。从概念上说，可以说表示从该区域中的摄影机起至被摄体的大致的距离、或精度低的距离。

[基础视差信息]

基础视差信息所指的与全局视差信息所指的相同。但是，仅有以下不同之处，即该成为基准的视点在全局视差信息的情况下是基准视点，在基础视差信息的情况下是基准视点以外的视点。

再有，对应的区域中的全局视差信息和基础视差信息是表示相同三维位置的信息，通常，视差信息以从摄影机起至被摄体的距离来表示，通过视点变化，视差信息的具体的值也变得不同。

图1是本发明中定义的视差补偿中使用的各信息的示意图。

在本发明的图像编码方法中，从编码对象的多视点图像中选择一个基准视点进行编码。然后，在对基准视点以外的视点的图像进行编码时，根据已经编码完成的其它的视点的图像进行影像预测并进行编码。

将该为了进行影像预测而使用的编码完成的其它视点的图像称为参照视点图像。该参照视点图像与基准视点图像相同也可，不同也可。在图1中，为了表示一般的情况，以作为不同视点的图像的方式进行表示。

首先，对基准视点的图像提供在上述说明了的全局视差信息。通过全局视差信息而被提供的被摄体的三维位置，从编码对象视点来看是基础视差信息。然后，对于编码对象图像上的像素，在仅考虑参照视点图像时，求取对应像素间的类似度最高的视差信息(将其称为局部视差信息)，将该视差信息与基础视差信息的差分称为补正视差信息。

由于对于该编码对象图像上的像素的视差信息是按照对极几何约束的信息，如图22所示，无论提供什么样的视差信息，参照视点图像上的对应区域在参照视点图像上被约束在直线上，当存在被提供的摄影 机参数的误差时，在该直线上不存在真的对应点。

因此，将从通过局部视差信息而被提供的对应点起至真的对应点的矢量称为补正矢量。

以该方式对编码对象图像上的某个像素，不仅使用全局视差信息(以及将其变换了的基础视差信息)，也使用提供补正视差信息和补正矢量而求取的参照视点图像上的对应点的图像信息，预测该像素的影像。

再有，虽然在该图1中没有表示，全局视差信息对多视点图像(多视点活动图像的显示时刻相同的图像组)编码一个图像的量，补正视差信息和补正矢量对除了基准视点的各视点分别编码一个图像的量。此外，基础视差信息根据全局视差信息而被求取，不被编码。

下面，按照实施方式对本发明进行详细地说明。

这里，在以下说明的实施方式的例子中，假设对以三台摄影机摄影的多视点活动图像进行编码的情况，关于将摄影机A作为基准视点对摄影机B和摄影机C的图像进行编码的方法进行说明。

图2中表示在本实施方式的例子中使用的摄影机的结构的概念图。再有，图中的四角形的图形表示各摄影机的帧，以图中的号码的顺序输入摄影机B和摄影机C的图像来进行说明。

首先，对第一实施例(以下，实施例1)进行说明。本发明的实施例1的影像编码装置的结构图如图3，图4，图5所示。

如图3所示，实施例1的影像编码装置100具备：图像输入部101，输入成为编码对象的摄影机B和摄影机C的原图像；图像存储器102，对输入的图像进行存储；基准视点图像输入部103，对作为基准视点的摄影机A的解码图像进行输入；基准视点图像存储器104，对输入的基准视点的解码图像进行存储；全局视差补偿信息设定部105，对作为对于基准视点的基于对极几何约束的视差信息的全局视差信息进行设定；基础视差信息设定部106，根据全局视差信息，对作为对于编码对象图像的视点的基于对极几何约束的视差信息的基础视差信息进行设定；视差补偿信息设定部107，设定用于对编码对象图像进行视差补偿的信息；图像编码部108，实际地对输入图像进行预测编码；以及解码图像存储器109，存储对编码了的输入图像进行解码后的图像。

图4是表示全局视差补偿信息设定部105的结构的细节的图。

如该图所示，全局视差补偿信息设定部105具备：基准视点图像块分割设定部1051，设定对于基准视点的图像的块分割；块分割信息编码部1052，对决定了的块分割信息进行编码；全局视差信息推定部1053，根据输入的图像组，对每个块推定全局视差信息；以及全局视差信息编码部1054，对求取的全局视差信息进行编码。

这里，通过全局视差信息推定部1053求取的全局视差信息被通知到基础视差信息设定部106。

此外，块分割信息编码部1052和全局视差信息编码部1054输出的编码数据，构成本影像编码装置100的输出的一部分。

图5是表示视差补偿信息设定部107的结构的细节的图。

如该图所示，视差补偿信息设定部107具备：编码对象图像块分割设定部1071，设定对于编码对象图像的块分割；块分割信息编码部1072，对决定了的块分割信息进行编码；参照视点索引设定部1073，对视点索引进行设定，该视点索引表示在进行视差补偿时作为参照图像使用的图像的视点；视点索引编码部1074，对决定了的视点索引进行编码；补正视差信息设定部1075，对补正视差信息进行设定，该补正视差信息是作为用于基于对极几何约束对基础视差信息进行补正的信息；补正视差信息编码部1076，对决定了的补正视差信息进行编码；补正矢量设定部1077，对补正矢量进行设定，该补正矢量用于与对极几何约束无关地对通过基础视差信息和补正视差信息而提供的对应关系进行补正；补正矢量编码部1078，对决定了的补正矢量进行编码；以及视差补偿效率评价部1079，对以通过各部而设定的用于视差补偿的信息进行视差补偿时的预测效率进行评价。

这里，通过视差补偿效率评价部1079而被判断为视差补偿效率最好时的视差补偿图像，被通知到图像编码部108。

此外，块分割信息编码部1072、和视点索引编码部1074、和补正视差信息编码部1076、和补正矢量编码部1078输出的编码数据，构成本影像编码装置100的输出的一部分。

在图6～图10中表示以该方式构成的影像编码装置100执行的处理流程。按照该处理流程，对实施例1的影像编码装置100执行的处理进行详细地说明。

图6表示在实施例1的影像编码装置100进行的编码处理整体的概 要。此外，在该流程中，说明对以摄影机B和摄影机C在同时刻摄影的各一枚的图像进行编码的处理。

首先，通过图像输入部101，在同时刻摄影的摄影机B和摄影机C的图像被一枚一枚地输入，存储在图像存储器102中[步骤S1]。再有，与在这里输入的图像是在相同时刻摄影的摄影机A的解码图像通过基准视点图像输入部103而被输入，存储在基准视点图像存储器104中。

接着，在全局视差补偿信息设定部105中，根据图像存储器102和基准视点图像存储器104上的图像，求取基准视点图像中的满足对极几何约束的全局视差信息，对其进行编码[步骤S2]。在这里进行的处理的细节在后面使用图7进行说明。

在以后的步骤S4～S7的处理，对图像存储器102上的图像的每一个进行。这里，假设摄影机B的图像在摄影机C的图像之前进行编码，进行说明。

也就是说，从图像存储器102取出摄影机B的图像并设定为编码对象图像[步骤S3]，将在步骤S2的处理中求取的全局视差信息，在基础视差信息设定部106变换为对于编码对象图像的按照对极几何约束的基础视差信息[步骤S4]，基于该基础视差信息考虑编码效率，求取作为其它的视差补偿信息的参照视点索引、补正视差信息、补正矢量等并编码[步骤S5]，一边使用该求取的视差补偿信息，一边在图像编码部108对编码对象图像进行编码[步骤S6]。

编码后的图像被解码，存储在解码图像存储器109中[步骤S7]。然后，如果已编码的图像是摄影机B的图像[步骤S8]，接着从图像存储器102中取出摄影机C的图像，以同样的过程[步骤S4～S7]进行编码，完成全部的处理。在步骤S4、步骤S5进行的处理在后面进行详细地说明。

图7表示在全局视差补偿信息设定部105进行的步骤S2的处理的详细的处理流程。

在本实施例1中，以纵横16像素构成的宏块单位对块分割进行指定，以按照该块分割生成的宏块内的块(为了方便，以下仅称为“块”)单位求取全局视差信息并进行编码。当然，宏块也可以使用更大尺寸的块。

作为在宏块中能够应用的块分割可以考虑各种各样的块分割，例如可以考虑图8所示的块分割。再有，如图8所记述的那样，将与块分割 的种类相关的索引作为blkMode，将块分割blkMode中的块的数量表示为maxBlk[blkMode]。块分割的种类的数量以maxBlkMode表示。

此外，将宏块的索引表示为MBBlk，将宏块数量表示为maxMBBlk。

因此，在这里的处理，是在将宏块的索引MBBlk初始化为0之后[步骤S101]，一边对MBBlk加算1[步骤S116]，一边在MBBlk变为maxMBBlk之前[步骤S117]，反复进行以下的处理[步骤S102～S115]。

之后，对求取的块分割信息BLKMode和全局视差信息GDispInfo分别在块分割信息编码部1052和全局视差信息编码部1054进行编码[步骤S118]。

在对宏块的每一个反复进行的处理中，对块分割候补的每一个评价该分割，将评价最好的设定为该宏块的块分割。

也就是说，在将块分割blkMode初始化为0、将在该宏块的评价值的最优值bValue初始化为绝对不可能取得的最差的评价值wValue之后[步骤S102]，一边对blkMode加算1[步骤S114]，一边在blkMode变为maxBlkMode之前[步骤S115]，反复进行下述处理，即求取对于块分割blkMode的评价值value[步骤S103～S111]，通过比较value和bValue求取提供最优的评价值的块分割[步骤S112]，将该宏块的分割存储到BLKMode[MBBlk]，将全局视差信息存储到GDispInfo[MBBlk]的处理[步骤S113]。

对于块分割blkMode的平均值value，通过对分割后的各块中的视差补偿的率失真成本(rate-distortion cost)进行合计来求取。

即，当以blk表示被分割的块的索引时，将blk初始化为0，将value初始化为根据块分割是blkMode的评价值InitValue[blkMode]之后[步骤S103]，对blk加上1，对value加上每个块的最优率失真成本bestBlk Cost，一边将提供各块的最优率失真成本的全局视差信息存储在tempGDispInfo[blk][步骤S110]，一边在blk变为maxBlk[blkMode]之前[步骤S111]，反复进行求取在各块提供最优率失真成本的全局视差信息的处理[步骤S104～S109]。

再有，InitValue[blkMode]是预定的、依赖于为了编码用于表示块分割是blkMode的信息所需要的码量的值。

在求取对块提供最优率失真成本的全局视差信息的处理中，当将全局视差信息候补的索引gDispInfo的最大值表示为maxGDispInfo时，在 将gDispInfo初始化为0、将在该块的率失真成本的最优值best BlkCost初始化为绝对不可能取得的最差值wBlkCost之后[步骤S10 4]，一边对gDispInfo加算1[步骤S108]，一边在gDispInfo超过maxGDispInfo之前[步骤S109]，反复进行如下处理，即求取对于全局视差信息gDispInfo的率失真成本blkCost[步骤S105]，通过比较blkCost和bestBlkCost，求取提供最优率失真成本的全局视差信息[步骤S106]，将该全局视差信息保存在bestGDispInfo中的处理[步骤S107]。

再有，对于全局视差信息gDispInfo的率失真成本blkCost按照下式求取。

[数1]

blkCost＝D₁+λ₁·Rate(gDispInfo)

$D_1=\underset{\mathrm{cam}}{\mathrm{\Σ}}\underset{\mathrm{pix}}{\mathrm{\Σ}}\left|\begin{array}{c}\mathrm{Value}(\mathrm{base},\mathrm{pix})-\\ \mathrm{Value}(\mathrm{cam},\mathrm{Trans}(\mathrm{base},\mathrm{cam},\mathrm{pix},d_{\mathrm{base}}\left(\mathrm{gDispInfo}\right)))\end{array}\right|$

这里，λ₁是拉格朗日未定乘子，利用预先设定的值。Rate()表示如下函数，其返回对以引数(argument)提供的全局视差信息进行编码所需要的码量或其预测值。

∑_cam表示cam∈{摄影机B，摄影机C}的和，∑_pix表示pix∈{块内的像素}的和。

d_base()表示如下函数，即返回从基准视点起至被摄体的距离，该基准视点通过作为引数被提供的全局视差信息索引表示。

Value()表示如下函数，即返回作为第一引数被提供的视点的图像上的、作为第二引数被提供的像素位置的像素值，Trans(src，dst，pix，d)表示如下函数，即在视点src的图像上的、从位置pix的像素的视点起至被摄体的距离为d的情况下，返回像素pix的视点dst的图像上的对应像素p。该p以下式求取。

[数2]

$\tilde{p}=A_{\mathrm{dst}}{R}_{\mathrm{dst}}^{-1}\{R_{\mathrm{src}}{A}_{\mathrm{src}}^{-1}p\hat{i}\mathrm{xd}+t_{\mathrm{src}}-t_{\mathrm{dst}}\}$

这里，A、R、t是摄影机参数，分别表示内部参数、旋转参数、平移参数。内部参数和旋转参数是3×3矩阵，t是三维的矢量。

上述的附加了“～”的p表示p的齐次坐标。此外，附加了“^”的pix 表示pix的齐次坐标中特别是第三成分为1的坐标。

齐次坐标也称为同次坐标。对于二维坐标的齐次坐标具有三个成分。将第一成分和第二成分的值分别除以该齐次坐标的第三成分的值后的值，作为第一成分和第二成分而具有的坐标，成为相对于齐次坐标的普通的坐标。再有，摄影机参数的表示方法是各种各样的，在本实施例中是通过上面的数式能够计算摄影机间的对应点的摄影机参数。

图9表示在基础视差信息设定部106进行的步骤S4的处理的详细的处理流程。

在这里的处理对从基准视点摄影的图像的像素的每一个进行。

也就是说，在将像素索引bp初始化为0之后[步骤S201]，一边对bp加算1[步骤S213]，一边在bp变为图像内像素数numPix之前[步骤S214]，反复进行以下的处理[步骤S202～S212]。

此外，将基础视差信息整体表示为BDispInfo，使用[]表示指定的位置的基础视差信息。该基础视差信息被初始化为在流程的最初绝对不可能取得的大的值[S201]。

再有，进行处理的像素的顺序是什么顺序都没有问题，但在本实施例1中，以光栅扫描顺序进行处理。

在对每一个像素反复进行的处理中，首先，求取包含像素bp的宏块MBBlk，和按照在设定全局视差信息时求取的块分割的情况下的块索引blk[步骤S202]。

接着，根据全局视差信息GDispInfo[MBBlk][blk]，使用下面的数式求取像素bp在编码对象图像中对应的像素tp、和在那里的基础视差信息候补bDispInfo[步骤S203]。

[数3]

$\widehat{\mathrm{tp}}{d}_{\mathrm{tar}}\left(\mathrm{bDispInfo}\right)=A_{\mathrm{tar}}{R}_{\mathrm{tar}}^{-1}\{R_{\mathrm{base}}{A}_{\mathrm{base}}^{-1}\widehat{\mathrm{bp}}{d}_{\mathrm{base}}\left(\mathrm{GDispInfo}\right[\mathrm{MBBlk}\left]\right[\mathrm{blk}\left]\right)+t_{\mathrm{base}}-t_{\mathrm{tar}}\}$

在这里的tar表示编码对象图像的视点，d_tar()表示如下函数，即返回从作为引数被提供的视差信息索引(即，基础视差信息候补bDispInfo)表示的编码对象图像的视点起至被摄体的距离。

即，根据(i)像素bp(的位置)、(ii)从像素bp的全局视差信息表示的基准视点起至被摄体的距离、(iii)基准视点的摄影机参数、以及(iv)编码对象图像的视点的摄影机参数，求取像素tp(的位置)和像素tp的基 础视差信息候补。

可是，直接得到的是像素tp(的位置)和从像素tp的编码对象图像的视点起至被摄体的距离，使用函数d_tar的反函数，将后者变换为上述的像素tp的基础视差信息候补(bDispInfo)。

将以上述方式求取的bDispInfo，和在该位置的已经求取的基础视差信息BDispInfo[tp]，以从其表示的编码对象图像的视点起至被摄体的距离作为尺度进行比较[步骤S204]，在bDispInfo表示的距离不小的情况下，判定为发生了遮挡(摄影机看不到的部分)，对该像素的处理结束。

在bDispInfo表示的距离小的情况下，以bDispInfo更新BDispInfo[tp]的值[步骤S205]。

接着，使用在实际空间上的物体的连续性，进行BDispInfo的更新。也就是说，生成在bp的左边或上边邻接的像素的集合NEIGHBOR[步骤S206]，在NEIGHBOR变为空集合之前[步骤S207]，一边从NEI GHBOR去除处理结束的像素[步骤S212]，一边反复进行下面的处理[步骤S208～S211]。

在对NEIGHBOR的要素的每一个进行的处理中，首先，在将NEIGHBOR的一个要素作为nbp的时，通过GDispInfo求取nbp的全局视差信息，作为nGDispInfo[步骤S208]。

接着，将nGDispInfo和GDispInfo[MBBlk][blk]的差分绝对值与预先提供的阈值TH进行比较[步骤S209]。

在为阈值以上的情况下，表示在实际空间上物体不连续，因此对该要素的处理结束。

在比阈值小的情况下，使用上述步骤S203的处理中的数式，求取像素nbp在编码对象图像中对应的像素ntp、和在那里的基础视差信息nbDispInfo[步骤S210]。

然后，使用bDsipInfo和nbDispInfo计算在tp和ntp之间存在的像素的基础视差信息。

只要是根据两端的信息内插中间的值的方法，使用任何方法均可，但作为最单纯的方法，有根据两端的基础视差信息对中间进行线性内插的方法。再有，对计算的内插值，在已经存在比其小的基础视差信息的情况下，判定为遮挡发生，因此不进行更新。

在本实施例1中，关于各像素，根据像素位置和全局视差信息，多 次应用求取在编码对象图像的对应像素和基础视差信息的计算，但在步骤S210的处理的计算使用在上述步骤S203的处理的数式进行，因此只要能够存储在步骤S203的处理中的结果，通过使用这时的值对各像素仅进行一次计算即全部完成，能够节约运算量。

图10表示在视差补偿信息设定部107进行的步骤S5的处理的详细的流程。

在本实施例1中，对宏块的每一个决定块分割，对块的每一个求取参照视点索引、补正视差信息、和补正矢量并进行编码。在本实施例中，将对该每一个块求取的参照视点索引、补正视差信息、和补正矢量称为视差补偿信息。再有，在某个块中用于视差补偿的信息中，除了该视差补偿信息之外，也包含基础视差信息。即，在这里，用于补正基础视差信息的信息是视差补偿信息。

因此，在以0初始化宏块索引MBBlk之后[步骤S301]，一边对MBBlk加算1[步骤S316]，一边在MBBlk变为maxMBBlk之前[步骤S317]，反复一边进行考虑视差补偿信息一边决定块分割的处理[步骤S302～S315]，将求取的视差补偿信息在块分割信息编码部1072、视点索引编码部1074、补正视差信息编码部1076、补正矢量编码部1078进行编码[步骤S318]。

在一边考虑了视差补偿信息一边决定块分割的处理中，在将块分割信息blkMode初始化为0之后[步骤S302]，一边对blkMode加算1[步骤S314]，一边在blkMode变为maxBlkMode之前[步骤S315]，反复进行如下处理，即求取考虑了视差补偿信息的宏块的率失真成本MBCost[步骤S303～S311]，与到此为止的最小成本bestMBCost进行比较[步骤S312]，将成为更小的成本的块分割决定为该宏块的块分割eBLKMode[MBBlk][步骤S313]的处理。

再有，bestMBCost在最初被初始化为绝对不可能取得的最大值wMBCost[步骤S302]。

在求取考虑了视差补偿信息的宏块的率失真成本的处理中，在将宏块索引blk初始化为0之后[步骤S303]，一边对blk加算1[步骤S310]，一边在blk变为maxBlk[blkMode]之前[步骤S311]，反复进行如下处理，即对每个块求取提供最小率失真成本的视差补偿信息bestEDispInfo，和这时的率失真成本bestBlkECost的处理[步骤S304～S309]。

再有，对于宏块的率失真成本MBCost在最初被初始化为0之后[步骤S303]，在每一个块的处理结束时，通过加算对于块的最小率失真成本bestBlkECost而进行计算[步骤S310]。

此外，在这里决定了的视差补偿信息被存储在tempEDispInfo[blk]中[步骤S310]，基于最终的宏块的率失真成本，如果是最优的话存储在EDispInfo[MBBlk]中[步骤S313]。

在对提供块的最小率失真成本的视差信息进行求取的处理中，在以0对与参照视点索引、补正视差信息、补正矢量的组对应起来的视差补偿信息索引eDispInfo进行初始化之后[步骤S304]，一边对eDispInfo加算1[步骤S308]，一边在eDispInfo成为参照视点索引、补正视差信息、补正矢量的组合的数maxEDispinfo之前[步骤S309]，反复进行如下处理，即求取在与eDispInfo对应的视差补偿信息下的率失真成本blkECost[步骤S305]，要是blkECost比到此为止最小的率失真成本bestBlkECost小的话[步骤S306]，将eDispInfo存储为bestEDispInfo，反复进行以blkECost更新bestBlkECost的处理[步骤S307]。

再有，bestMBCost以在最初绝对不可能取得的最大值wBlkECost被初始化[步骤S304]。

在步骤S306的处理中的率失真成本的计算中使用以下的数式。

数4

blkECost＝D₂+λ₂·Code(eDispInfo)

Rp＝Trans(tar，ref，Tp，d_tar(BDispInfo[Tp])+md)+cmv

这里，λ₂是拉格朗日未定乘子，利用预先设定的值。此外，tar表示编码对象图像的视点，ref、md、cmv分别表示以视差补偿信息eDispInfo表示的参照视点索引、补正视差信息、补正矢量。

接着，对第二实施例(以下，实施例2)进行说明。本发明的实施例2的影像编码装置的结构图如图11，图12，图13、图14所示。

如图11所示，实施例2的影像编码装置200具备：图像输入部201，输入成为编码对象的摄影机B和摄影机C的原图像；图像存储器202，对输入的图像进行存储；基准视点图像输入部203，对作为基准视点的摄影机A的解码图像进行输入；基准视点图像存储器204，对输入的基 准视点的解码图像进行存储；局部视差补偿信息设定部205，对作为对于编码对象的图像的基于对极几何约束的视差信息的局部视差信息进行设定；全局视差补偿信息设定部206，根据对于各编码对象的图像设定的局部视差信息，对作为对于基准视点的基于对极几何约束的视差信息的全局视差信息进行设定，并进行编码；基础视差信息设定部207，通过对全局视差信息进行变换，对作为对于编码对象图像的视点的基于对极几何约束的视差信息的基础视差信息进行设定；视差补偿信息设定部208，设定用于对编码对象图像进行视差补偿的信息；图像编码部209，实际地对输入图像进行预测编码；以及解码图像存储器210，存储对编码了的输入图像进行解码后的图像。

再有，图像编码部209在为了利用已经编码完成的图像而具有蓄积解码图像的存储器的情况下，解码图像存储器210兼作为该存储器也可。

图12是表示局部视差补偿信息设定部205的结构的细节的图。

如该图所示，局部视差补偿信息设定部205具备：局部视差信息块分割设定部2051，对编码对象图像的块分割进行设定，从而求取局部视差信息；参照视点索引设定部2052，对表示在进行视差补偿时作为参照图像使用的图像的视点的视点索引进行设定；局部视差信息设定部2053，对基于对极几何约束的视差信息进行设定；以及视差补偿效率评价部2054，对以设定了的块分割、参照视点索引、视差信息进行视差补偿的情况下的效率进行评价，对各设定部进行反馈。

这里，通过参照视点索引设定部2052设定了的一次视点索引被通知到视差补偿信息设定部208，通过局部视差信息设定部2053设定的局部视差信息被通知到全局视差补偿信息设定部206和视差补偿信息设定部208。

图13是表示全局视差补偿信息设定部206的结构的细节的图。

如该图所示，全局视差补偿信息设定部206具备：基准视点图像块分割设定部2061，设定对于基准视点的图像的块分割；块分割信息编码部2062，对决定了的块分割信息进行编码；全局视差信息推定部2063，使用从局部视差补偿信息设定部205内的局部视差信息设定部2053通知的局部视差信息，对每个块推定全局视差信息；以及全局视差信息编码部2064，对求取的全局视差信息进行编码。

这里，通过全局视差信息推定部2063求取的全局视差信息被通知 到基础视差信息设定部207。

此外，块分割信息编码部2062和全局视差信息编码部2064输出的编码数据，成为本影像编码装置200的一个输出。

图14是表示视差补偿信息设定部208的结构的细节的图。

如该图所示，视差补偿信息设定部208具备：编码对象图像块分割设定部2081，使用从基础视差信息设定部207通知的基础视差信息、和从局部视差补偿信息设定部205内的局部视差信息设定部2053通知的局部视差信息的差分，设定对于编码对象图像的块分割；块分割信息编码部2082，对决定了的块分割信息进行编码；补正视差信息设定部2083，对补正视差信息进行设定，该补正视差信息是用于根据决定了的块分割信息和上述差分，基于对极几何约束补正基础视差信息的信息；补正视差信息编码部2084，对决定了的补正视差信息进行编码；参照视点索引设定部2085，使用从局部视差补偿信息设定部205内的参照视点索引设定部2052通知的一次视点索引、和块分割信息，对每一个块设定参照视点索引；视点索引编码部2086，对决定了的视点索引进行编码；补正矢量设定部2087，对补正矢量进行设定，该补正矢量用于与对极几何约束无关地、对通过基于对极几何约束的信息而提供的对应关系进行补正；补正矢量编码部2088，对决定了的补正矢量进行编码；以及视差补偿效率评价部2089，对以通过各部设定了的信息进行视差补偿时的预测效率进行评价，对补正矢量设定部2087实施反馈。

这里，通过视差补偿效率评价部2089而被判断为视差补偿效率最好时的视差补偿图像，被通知到图像编码部209。

此外，块分割信息编码部2082、和补正视差信息编码部2084、和视点索引编码部2086、和补正矢量编码部2088输出的编码数据，成为本影像编码装置200的一个输出。

在图15～图18中表示以该方式构成的影像编码装置200执行的处理流程。按照该处理流程，对实施例2的影像编码装置200执行的处理进行详细地说明。

图15表示在实施例2的影像编码装置200进行的编码处理整体的概要。此外，在该流程中，说明对以摄影机B和摄影机C在同时刻摄影的各一枚的图像进行编码的处理。

首先，通过图像输入部201，在同时刻摄影的摄影机B和摄影机C 的图像被一枚一枚地输入，存储在图像存储器202中[步骤S401]。再有，与在这里输入的图像在相同时刻摄影的摄影机A的解码图像通过基准视点图像输入部203而被输入，存储在基准视点图像存储器204中。

接着，在局部视差补偿信息设定部205中，根据图像存储器202和基准视点图像存储器204的图像，对图像存储器上的图像的每一个求取局部视差信息[步骤S402]。在这里进行的处理的详细在后面使用图16进行说明。

然后，在全局视差补偿信息设定部206中，使用局部视差信息，对基准视点图像中的满足对极几何约束的全局视差信息进行求取，并编码[步骤S403]。在这里进行的处理的详细在后面使用图17进行说明。

以后的处理[步骤S405～S408]对图像存储器202上的图像的每一个进行。这里，假设摄影机B的图像在摄影机C的图像之前进行编码来进行说明。

也就是说，从图像存储器202取出摄影机B的图像并设定为编码对象图像[步骤S404]，将在步骤S403的处理中求取的全局视差信息，在基础视差信息设定部207变换为对于编码对象图像的按照对极几何约束的基础视差信息[步骤S405]，根据局部视差补偿信息和基础视差信息，考虑编码效率，在视差补偿信息设定部208求取作为视差补偿信息的参照视点索引、补正视差信息、补正矢量等并编码[步骤S406]，一边使用该求取的视差补偿信息，一边在图像编码部209对编码对象图像进行编码[步骤S407]。编码后的图像被解码，存储在解码图像存储器210中[步骤S408]。

然后，如果编码了的图像是摄影机B的图像[步骤S409]，接着从图像存储器202中取出摄影机C的图像[步骤S410]，以同样的过程[步骤S405～S408]进行编码，完成全部的处理。

这里，由于在步骤S405进行的处理与已经说明过的在步骤S4进行的处理(图6)是相同的处理，所以省略其说明。

再有，在步骤S406进行的处理的详细在后面使用图18进行说明。

图16表示在局部视差补偿信息设定部205进行的步骤S402的处理的详细的处理流程。再有，局部视差补偿信息设定部205将在这里表示的处理对图像存储器202上的每一个图像应用。

在本实施例2中，以纵横16像素构成的宏块单位指定块分割，以 该块分割作成的块单位求取局部视差信息。作为在宏块中能够应用的块分割可以考虑各种各样的块分割，例如可以考虑图8所示的块分割。

与实施例1时相同地，将与块分割的种类相关的索引表示为blkMode，将块分割blkMode中的块的数量表示为maxBlk[blkMode]，将块分割的种类的数量表示为maxBlkMode。

在这里的处理中，首先在将宏块的索引MBBlk初始化为0之后[步骤S501]，一边对MBBlk加算1[步骤S516]，一边在MBBlk变为图像内的宏块数量maxMBBlk之前[步骤S517]，反复进行求取块分割和局部视差信息的处理[步骤S502～S515]。

在求取块分割和局部视差信息的处理中，对各块分割求取最优的局部视差补偿信息，从其中决定评价最好的块分割。

也就是说，在将块分割blkMode初始化为0、将在该宏块的评价值的最优bestMBLCost初始化为绝对不可能取得的最大的评价值wMBLCost之后[步骤S502]，一边对blkMode加算1[步骤S514]，一边在blkMode变为maxBlkMode之前[步骤S515]，反复进行下述处理，即求取对于块分割blkMode的评价值MBLCost[步骤S503～S511]，如果MBLCost变得比bestMBLCost小[步骤S512]，将MBLCost存储为bestMBLCost，将这时的块分割blkMode存储为lBLKMode[MBBlk]，将这时的每一个块的局部视差补偿信息tempLDispInfo存储为LDispInfo[cam][步骤S513]的处理。

在这里，cam表示相对于图像存储器202上的图像的索引。

在求取对于块分割的评价值的处理中，对每一个块求取最优的局部视差补偿信息，将其合计值作为对于块分割的评价值。

也就是说，在将块索引blk初始化为0、将对于块分割的评价值MBLCost初始化为0之后[步骤S503]，一边对blk加算1[步骤S510]，一边在blk变为maxBlk[blkMode]之前[步骤S511]，反复进行如下处理，即求取对于块blk的最优的局部视差补偿信息bestLDispInfo和评价值bestBlkLCost[步骤S504～S509]，将bestBlkLCost加算到MBLCo st，将bestLDispInfo存储到tempLDispInfo[blk][步骤S510]中的处理。

在这里，对于某个块的最优的局部视差补偿信息，是在根据其它的图像预测成为对象的块时，率失真成本变为最小的、表示预测中使用的图像的信息和基于对极几何约束的局部视差信息的组。

因此，率失真成本成为对于各局部视差信息的评价值，求取对于某个块的最优的局部视差补偿信息和评价值的处理，成为求取使率失真成本最小化的参照视点索引和局部视差信息的组的处理。

也就是说，在将与视点索引和局部视差信息的组对应起来的局部视差补偿信息索引lDispInfo初始化为0，将最优率失真成本bestBlkL Cost初始化为绝对不可能取得的最大值wBlkLCost之后[步骤S504]，一边对lDispInfo加算1[步骤S508]，一边在lDispInfo变为视点索引和局部视差信息的组合的数maxLDispInfo之前[步骤S509]，反复进行如下处理，即求取对于lDispInfo的率失真成本blkLCost[步骤S505]，如果blkLCost比bestBlkLCost小的话[步骤S506]，将blkLCost存储为bestBlkLCost，将lDispInfo存储为bestLDispInfo[步骤S507]的处理。

对于lDispInfo的率失真成本blkLCost以以下的数式求取。

[数5]

blkLCost＝D₃+λ₃·Code(1DispInfo)

Rp＝Trans(cam，reference，Tp，dist_cam(lDispInfo))

ref＝refer(lDispInfo)

这里，λ₃是拉格朗日未定乘子，利用预先设定的值。此外，dist_cam()和refer()表示如下函数，即对于作为引数而提供的局部视差补偿信息，分别返回从视点cam到被摄体的距离、参照的视点。

再有，因为在实际编码时只能够参照已经编码完成的图像，所以在本实施例2中，在cam为摄影机B时仅有基准视点成为参照视点的候补，在cam为摄影机C时基准视点和摄影机B的视点成为参照视点的候补。

图17表示在全局视差补偿信息设定部206进行的步骤S403的处理的详细的处理流程。在本实施例2中，与实施例1相同地，以宏块单位指定块分割，以该块分割作成的块单位求取全局视差信息并进行编码。

首先，根据基于对极几何约束的局部视差信息，生成全局视差信息候补tGDispInfo[步骤S601]，其中，该局部视差信息是在局部视差补偿信息设定部205设定的视差补偿信息LDispInfo的一个要素。

该处理将局部视差信息看作全局视差信息、将提供局部视差信息的视点看作基准视点，将基准视点看作编码对象视点，通过应用求取基础 视差信息时的处理(图9)而进行。在进行这样的处理时，相当于基础视差信息的结果成为全局视差信息候补。再有，对图像存储器202上的每一个图像进行该处理，对于各个图像的全局视差信息候补使用图像索引cam表示为tGDispInfo[cam]。

在实施例2中，使用以该方式求取的tGDispInfo，对每一个宏块设定块分割信息，对每一个块设定全局视差信息。

为此，在将宏块的索引MBBlk初始化为0之后[步骤S602]，一边对MBBlk加算1[步骤S613]，一边在MBBlk变为宏块数量maxMBBlk之前[步骤S614]，进行求取在全部的块分割中最优的块分割和全局视差信息的处理[步骤S603～S612]。

之后，对求取的块分割信息BLKMode和全局视差信息GDispInfo分别在块分割信息编码部2062和全局视差信息编码部2064进行编码[步骤S615]。

在从全部的块分割中求取最优的块分割和全局视差信息的处理中，对每一个块分割候补评价其分割，将评价最好的作为最优块分割。

也就是说，将块分割blkMode初始化为0，将对于宏块的最优评价值bestValue初始化为绝对不可能取得的最差的评价值wValue之后[步骤S603]，一边对blkMode加算1[步骤S611]，一边在blkMode变为maxBlkMode之前[步骤S612]，反复进行如下处理，即求取对于块分割blkMode的评价值value[步骤S604～S608]，如果value比bestValue小的话[步骤S609]，将value存储为bestValue，将blkMode存储为BLKMode[MBBlk]，将这时求取的全局视差信息tmpGDispInfo存储到GDispInfo[MBBlk][步骤S610]的处理。

对于块分割blkMode的平均值value，通过对分割的各块中的视差补偿的率失真成本进行合计来求取。

也就是说，在将块索引blk初始化为0，将value初始化为块分割为blkMode时的评价值InitValue[blkMode]之后[步骤S604]，对blk加上1，对value加上对于块blk的率失真成本blkCost，一边将这时的全局视差信息gDispInfo存储到tmpGDispInfo[blk][步骤S607]，一边在blk变为maxBlk[blkMode]之前[步骤S608]，反复进行如下处理，即根据对于块blk的tGDispInfo求取gDispinfo[步骤S605]，求取这时的blkCost[步骤S606]的处理。

再有，InitValue[blkMode]是预先决定的、依赖于用于对信息进行编码所需要的码量的值，该信息用于表示块分割是blkMode。

在根据对于块blk的tGDispInfo求取gDispInfo的处理中，求取块blk内的tGDispInfo的平均值，作为gDispInfo。也有这时不使用平均值，而使用最多出现的值的方法。

此外，也可以在两者中计算率失真成本而选择好的一方的方法，或对于其各自的周围的全部的值计算率失真成本而选择好的一方的方法，关于这些情况，能够作为本实施例的变更例而容易地应用，因此省略说明。

相对于块blk的全局视差信息是gDispInfo时的率失真成本blkCost，能够使用与在实施例1的步骤S105(图7)的处理中使用的数式相同的数式来求取。此外，为了减少运算量，也可以使用下面的数式进行评价

[数6]

图18表示在视差补偿信息设定部208进行的步骤S406的处理的详细的流程。

在本实施例2中，也与实施例1相同地，对宏块的每一个决定块分割，对块的每一个求取包括参照视点索引、补正视差信息、和补正矢量的视差补偿信息并进行编码。

与实施例1的相异点是使用从局部视差补偿信息设定部205内的局部视差信息设定部2053通知的局部视差信息，对块分割、参照视点索引、补正视差信息进行决定，然后求取补正矢量这一点。

也就是说，通过在最初取得局部视差信息和基础视差信息的差分，生成补正视差信息候补tEDispInfo[步骤S701]。

而且，在将宏块索引MBBlk初始化为0之后[步骤S702]，一边对MBBlk加算1[步骤S710]，一边在MBBlk变为图像内包含的宏块数量maxMBBlk之前[步骤S711]，反复进行如下处理，即决定块分割eBLKMode[MBBlk][步骤S703]，求取视差补偿信息EDispInfo[步骤S704～S709]的处理。

之后，对块分割信息eBLKMode、和视差补偿信息EDispInfo进行 编码[步骤S712]。

在步骤S703的处理中，在对于块中包含的全部的像素的tEDispInfo成为相同的值的块分割中，将块分割决定为块数最少的块分割。

在满足上述条件的块分割存在多个的情况下，决定为各自的最大块尺寸大的块分割。在即使这样也不能决定的情况下，决定为满足条件的任意的块分割。

再有，在不存在满足最初的条件的块分割的情况下，决定为块数最多、最小块尺寸最小的块分割。

在求取视差补偿信息的处理中，对按照对宏块决定的块分割eBLKMode[MBBlk]的块的每一个求取最优的视差补偿信息。

也就是说，在将块索引blk初始化为0之后[步骤S704]，一边对blk加算1[步骤S708]，一边在blk变为块数maxBlk[eBLKMode[MBBlk]]之前[步骤S709]，反复进行如下处理，即根据tEDispInfo求取补正视差信息md，根据从局部视差补偿信息设定部205内的参照视点索引设定部2052通知的一次视点索引求取参照视点索引ref[步骤S705]，使用该补正视差信息md和参照视点索引ref求取使块blk的率失真成本最小化的补正矢量cmv之后[步骤S706]，求取对应于{md，ref，cmv}的组的视差补偿信息，存储到EDispInfo[MBBlk][blk]中的处理。

再有，在步骤S706的处理中使用的对于块的率失真成本，能够使用于在实施例1的步骤S306(图10)的处理中求取成本时使用的数式相同的数式来计算。

在步骤S705的处理中，补正视差信息被决定为与在块内的像素对应的tEDispInfo中出现最多的值，参照视点索引被决定为与块内的像素对应的一次视点索引，该块是被决定了的补正视差信息与tEDispInfo具有相同的值的块。再有，在这里决定为出现最多的值，但使用块内的值的平均值也可。

在本实施例2的视差补偿信息设定部208中，使用从局部视差补偿信息设定部205通知的信息，不考虑率失真成本而决定块分割和补正视差信息和参照视点索引，但也可以与实施例1的视差补偿信息设定部107同样地考虑率失真成本来进行决定。

此外，也有与实施例1不同地，考虑率失真成本而仅决定块分割、补正视差信息、参照视点索引的一部分的方法，关于该情况，能够作为 将实施例1和实施例2部分地融合的变更例而容易地应用，所以省略说明。

在实施例1和实施例2中，在全局视差补偿信息设定部105或206内部的基准视点图像块分割设定部1051或2061中，决定块分割的方法，将其结果的块分割信息在块分割信息编码部1052或2062中编码。

可是，通过使在基准视点图像块分割设定部1051或2061进行设定的块分割，与在对基准视点图像进行块编码时的块分割一致，也可以不对块分割信息进行编码。

在该情况下，能够削减用于表示块分割信息的码量的部分的码量。

进而，在实施例1和实施例2中，根据已经编码完成的其它的视点的图像对编码对象图像进行视差补偿并编码，但也可以对编码对象图像的块的每一个，在视差补偿和动态补偿中选择预测效率高的方法进行编码。在该情况下，对于没有应用视差补偿的块的视差补偿信息能够以码量变为最小的方式进行设定，因为作为本实施例的变更例能够容易地应用，所以省略说明。

此外，不需要在编码装置的各部分使用的块分割的种类全部相同。特别是，在与其它的块分割的大小相比，通过使求取全局视差信息时的基准视点图像的块分割的大小变大，能够抑制全局视差信息的码量，表示不被摄影机参数的误差等左右的整体的大致的视差信息。

图19表示本发明的影像解码装置300的实施方式的一个例子(实施例3)。

该影像解码装置300具备：编码数据输入部301，输入编码数据；基准视点图像输入部302，输入作为基准视点的摄影机A的解码图像；图像存储器303，对可能成为包含基准视点的图像的全部的视差补偿的参照对象的图像进行存储；全局视差补偿信息解码部304，根据输入的编码数据，解码对于基准视点的块分割信息、和基于对极几何约束的全局视差信息；基础视差信息设定部305，根据全局视差信息，设定对于解码对象图像的视点的基于对极几何约束的基础视差信息；视差补偿信息解码部306，根据输入的编码数据，解码对于解码对象的图像的块分割信息、表示进行视差补偿时的参照图像的参照视点索引、按照对极几何约束对视差信息进行补正的补正视差信息、以及对进行视差补偿时的对应点进行补正的补正矢量；视差补偿图像生成部307，基于解码了的 数据，生成对于解码对象的图像的视点的视差补偿图像；以及图像解码部308，根据输入的编码数据和生成的视差补偿图像对解码对象的图像进行解码。

在解码图像时，在参照已经解码完成的图像的情况下，图像解码部308有时在其内部具有存储解码图像的存储器。在该情况下，作为图像存储器303也可以使用该存储器。

图20中表示本实施例的解码处理流程。其表示了对摄影机B和摄影机C的相同时刻的帧一帧一帧地进行解码时的流程。以下对该流程进行详细地说明。

再有，与进行解码的帧相同时刻的摄影机A的帧被预先解码，得到各摄影机的摄影机参数。

首先，将编码数据输入到编码数据输入部301[步骤S801]。此外，与在这里输入的编码数据包含的帧是相同时刻的摄影机A的解码图像，通过基准视点图像输入部302而被输入，存储在图像存储器303中。输入的编码数据是实施例1或实施例2等的影像编码装置输出的一帧的量的全部编码数据。

接着，在全局视差补偿信息解码部304中，对输入的编码数据中的对于基准视点图像的块分割信息进行解码，按照该块分割，对每一个块解码全局视差信息，得到对于基准视点图像的每一个像素的全局视差信息decGDispInfo[步骤S802]。

然后，在基础视差信息设定部305，从decGDispInfo得到对于摄影机B的视点的基础视差信息decBDispInfo[步骤S803]。

该处理按照在上面说明过的图9的处理流程来实现。可是，图9中的BDispInfo成为decBDispInfo，GDispInfo成为decGDispInfo，编码对象图像成为解码对象图像。

得到基础视差信息后，在视差补偿信息解码部306中，对输入的编码数据中的对于摄影机B的块分割信息进行解码，按照该块分割，对参照视点索引、补正视差信息、补正矢量进行解码，得到对于摄影机B的每个像素的参照视点索引decRef、和补正视差信息decMd、和补正矢量decCmv[步骤S804]。

然后，一边参照图像存储器303的图像，一边在视差补偿图像生成部307，按照下式生成对于摄影机B的视差补偿图像DCImage[步骤 S805]。

DCImage[PIX]＝Value(decRef[PIX]，RP)

RP＝Trans(camB，decRef[PIX]，PIX，

d_camB(decBDispInfo[PIX]+decMd[PIX]))

+decCmv[PIX]

这里，camB表示摄影机B的视点，PIX表示解码对象图像的像素位置。

使用该视差补偿图像，在图像解码部308，根据输入的编码数据对摄影机B的图像进行解码[步骤S806]。再有，被解码的图像被存储到图像存储器303中。

之后，通过对摄影机C实施与步骤S803～S806相同的处理，摄影机C的图像被解码[步骤S807～S810]。

以上的影像编码和影像解码的处理，能够通过硬件或固件实现，但也能够通过计算机和软件程序来实现，也能够将该程序记录在计算机能够读取的记录介质上进行提供，或通过网络进行提供。

以上，参照附图对本发明的实施方式进行了说明，但上述实施方式不过是本发明的例示，很明显本发明不被上述实施方式所限定。因此，在不脱离本发明的精神和范围的范围中，也能够对上述实施方式进行结构要素的追加、省略、置换、或其它的变更。

产业上的利用可能性

根据本发明，能够实现一边防止用于进行视差补偿的信息大幅地增加，一边考虑了摄影机参数的推定误差的影响的预测精度高的视差补偿，由此能够实现作为多视点图像整体或多视点活动图像整体的高效率的编码。

Claims (27)

1.一种图像编码方法，在对多视点图像进行编码时，决定一个基准视点，使用已经编码完成的所述基准视点的图像，对所述基准视点以外的视点的图像进行编码，该图像编码方法的特征在于，具有：

全局视差信息设定步骤，推定并设定全局视差信息，其中，该全局视差信息基于对极几何约束，提供作为所述基准视点的编码完成图像的参照基准视点图像、与该基准视点以外的全部视点的图像的视差；

全局视差信息编码步骤，对设定了的所述全局视差信息进行编码；

基础视差信息设定步骤，将所述设定了的全局视差信息变换为基础视差信息，其中，该基础视差信息基于所述对极几何约束，提供作为所述基准视点以外的视点的图像的各编码对象视点图像、与其它全部视点的视差；

补正视差信息设定步骤，对以视差信息与所述基础视差信息的差分决定的补正视差信息进行设定，该视差信息提供在编码所述编码对象视点图像时进行的视差补偿中使用的已经编码完成的参照视点图像、与该编码对象视点图像的视差；

补正视差信息编码步骤，对所述补正视差信息进行编码；以及

视点图像编码步骤，使用由所述基础视差信息和所述补正视差信息提供的对应点信息，一边根据所述参照视点图像进行视差补偿，一边对所述编码对象视点图像进行编码。

2.一种图像编码方法，在对多视点图像进行编码时，决定一个基准视点，使用已经编码完成的所述基准视点的图像，对所述基准视点以外的视点的图像进行编码，该图像编码方法的特征在于，具有：

全局视差信息设定步骤，推定并设定全局视差信息，其中，该全局视差信息基于对极几何约束，提供作为所述基准视点的编码完成图像的参照基准视点图像、与该基准视点以外的全部的视点的图像的视差；

全局视差信息编码步骤，对设定了的所述全局视差信息进行编码；

基础视差信息设定步骤，将所述设定了的全局视差信息变换为基础视差信息，其中，该基础视差信息基于所述对极几何约束，提供作为所述基准视点以外的视点的图像的各编码对象视点图像、与其它全部视点的视差；

补正视差矢量设定步骤，对以提供对应点的视差矢量、与通过所述基础视差信息提供的视差矢量的差分来决定的补正视差矢量进行设定，其中，该对应点是在编码所述编码对象视点图像时进行的视差补偿中使用的已经编码完成的参照视点图像、与该编码对象视点图像的对应点；

补正视差矢量编码步骤，对所述补正视差矢量进行编码；以及

视点图像编码步骤，使用所述基础视差信息和所述补正视差矢量，一边根据所述参照视点图像进行视差补偿，一边对所述编码对象视点图像进行编码。

3.根据权利要求1所述的图像编码方法，其特征在于，

具有：补正矢量设定步骤，设定补正矢量，该补正矢量是从所述视差补偿中使用的视差补偿矢量、对于所述编码对象视点图像和所述参照视点图像之间的对应点矢量的变位，其中，所述对应点矢量通过视差信息来表示，该视差信息使用在所述基础视差信息设定步骤中设定的基础视差信息、和在所述补正视差信息设定步骤中设定的补正视差信息来表示；以及

对所述补正矢量进行编码的步骤，

在所述视点图像编码步骤中，使用通过所述补正矢量被补正了的所述视差补偿矢量进行视差补偿。

4.根据权利要求1和权利要求2的任何一项所述的图像编码方法，其特征在于，

具有：基准视点区域分割设定步骤，对所述参照基准视点图像中的区域分割进行设定，

在所述全局视差信息设定步骤中，对在所述基准视点区域分割设定步骤中设定的区域的每一个，推定并设定所述全局视差信息。

5.根据权利要求4所述的图像编码方法，其特征在于，

在所述参照基准视点图像的图像整体被区域分割，并对各区域的每一个进行编码处理的情况下，

在所述基准视点区域分割设定步骤中，按照所述参照基准视点图像的编码数据中包含的区域分割信息，设定同样的区域分割。

6.根据权利要求4所述的图像编码方法，其特征在于，

还具有：基准视点区域分割编码步骤，对表示在所述基准视点区域分割设定步骤中设定的区域分割的区域分割信息进行编码。

7.根据权利要求6所述的图像编码方法，其特征在于，

在所述参照基准视点图像的图像整体被区域分割，并对各区域的每一个进行编码处理的情况下，

在所述基准视点区域分割编码步骤中，仅对表示与所述参照基准视点图像的编码数据中包含的区域分割信息的差异的信息进行编码。

8.根据权利要求1和权利要求2的任何一项所述的图像编码方法，其特征在于，

具有：编码对象视点区域分割设定步骤，对所述编码对象视点图像中的区域分割进行设定，

在所述视点图像编码步骤中，对在所述编码对象视点区域分割设定步骤中设定的区域的每一个，一边变更视差补偿的参照目的地，一边对编码对象视点图像进行编码。

9.根据权利要求8所述的图像编码方法，其特征在于，

在所述视点图像编码步骤中，所述编码对象视点图像的图像整体被区域分割，各区域的每一个与该区域分割信息一起被编码的情况下，

在所述视点图像编码步骤中，使用在所述编码对象视点区域分割设定步骤中设定的区域分割进行编码。

10.根据权利要求8所述的图像编码方法，其特征在于，

还具有：编码对象视点区域分割编码步骤，对表示在所述编码对象视点区域分割设定步骤中设定的区域分割的区域分割信息进行编码。

11.根据权利要求10所述的图像编码方法，其特征在于，

在所述视点图像编码步骤中，所述编码对象视点图像的图像整体被区域分割，各区域的每一个与该区域分割信息一起被编码的情况下，

在所述编码对象视点区域分割编码步骤中，仅对表示与在所述视点图像编码步骤中使用的区域分割的差异的信息进行编码。

12.根据权利要求1和权利要求2的任何一项所述的图像编码方法，其特征在于，

具有：参照视点设定步骤，对成为所述参照视点图像的视点的参照视点进行设定；以及

对表示所述参照视点的视点索引进行编码的步骤，

在所述视点图像编码步骤中，将所述设定了的参照视点的编码完成图像作为所述参照视点图像使用。

13.根据权利要求8所述的图像编码方法，其特征在于，

具有：参照视点设定步骤，对在所述编码对象视点区域分割设定步骤中设定的区域的每一个，设定成为所述参照视点图像的视点的参照视点；以及

对表示所述参照视点的视点索引进行编码的步骤，

在所述视点图像编码步骤中，对在所述编码对象视点区域分割设定步骤中设定的区域的每一个，将所述设定了的参照视点的编码完成图像作为所述参照视点图像使用。

14.根据权利要求1和权利要求2的任何一项所述的图像编码方法，其特征在于，

具有：区域分割设定步骤，对所述编码对象视点图像中的区域分割进行设定；

对在所述区域分割设定步骤中设定的区域的每一个求取局部视差信息的步骤，该局部视差信息基于所述对极几何约束，提供用于对所述编码对象视点图像进行视差补偿的对应点；以及

全局视差信息候补设定步骤，对将所述局部视差信息向所述全局视差信息变换的全局视差信息候补进行设定，

在所述全局视差信息设定步骤中，将各区域内的所述全局视差信息候补的平均值、或在各区域内的全局视差信息候补中出现最多的值作为所述全局视差信息进行设定。

15.一种图像解码方法，在对多视点图像的编码数据进行解码时，存在一个基准视点，使用作为已经解码完成的所述基准视点的图像的参照基准视点图像，对所述基准视点以外的视点的图像进行解码，该图像解码方法的特征在于，具有：

全局视差信息解码步骤，根据编码数据对全局视差信息进行解码，该全局视差信息基于对极几何约束，提供所述参照基准视点图像与所述基准视点以外的全部的视点的图像的视差；

基础视差信息设定步骤，将所述解码了的全局视差信息变换为基础视差信息，其中，该基础视差信息基于所述对极几何约束，提供作为所述基准视点以外的视点的图像的各解码对象视点图像、与其它全部视点的视差；

补正视差信息解码步骤，根据所述编码数据，对以视差信息与所述基础视差信息的差分决定的补正视差信息进行解码，该视差信息提供在解码所述解码对象视点图像时进行的视差补偿中使用的已经解码完成的参照视点图像、与该解码对象视点图像的视差；以及

视点图像解码步骤，使用由所述基础视差信息和所述补正视差信息提供的对应点信息，一边根据所述参照视点图像进行视差补偿，一边根据所述编码数据对所述解码对象视点图像进行解码。

16.一种图像解码方法，在对多视点图像的编码数据进行解码时，存在一个基准视点，使用作为已经解码完成的所述基准视点的图像的参照基准视点图像，对所述基准视点以外的视点的图像进行解码，该图像解码方法的特征在于，具有：

全局视差信息解码步骤，根据编码数据对全局视差信息进行解码，该全局视差信息基于对极几何约束，提供所述参照基准视点图像与所述基准视点以外的全部的视点的图像的视差；

基础视差信息设定步骤，将所述解码了的全局视差信息变换为基础视差信息，其中，该基础视差信息基于所述对极几何约束，提供作为所述基准视点以外的视点的图像的各解码对象视点图像、与其它全部视点的视差；

补正视差矢量解码步骤，根据所述编码数据，对以提供对应点的视差矢量、与通过所述基础视差信息提供的视差矢量的差分来决定的补正视差矢量进行解码，其中，该对应点是在解码所述解码对象视点图像时进行的视差补偿中使用的已经解码完成的参照视点图像、与该解码对象视点图像的对应点；以及

视点图像解码步骤，使用由所述基础视差信息和所述补正视差矢量提供的对应点信息，一边根据所述参照视点图像进行视差补偿，一边根据所述编码数据对所述解码对象视点图像进行解码。

17.根据权利要求15所述的图像解码方法，其特征在于，

具有：补正矢量解码步骤，根据所述编码数据对补正矢量进行解码，该补正矢量是以从所述解码对象视点图像和所述参照视点图像之间的对应点矢量、对于在所述视差补偿中使用的视差补偿矢量的差分而决定的，该对应点矢量使用在所述基础视差信息设定步骤中设定的基础视差信息、和在所述补正视差信息解码步骤中被解码的补正视差信息来表示；

在所述视点图像解码步骤中，使用通过所述补正矢量而被补正的所述视差补偿矢量进行视差补偿。

18.根据权利要求15和权利要求16的任何一项所述的图像解码方法，其特征在于，

具有：基准视点区域分割解码步骤，根据所述编码数据，对表示所述参照基准视点图像中的区域分割的信息进行解码，

在所述全局视差信息解码步骤中，对在所述基准视点区域分割解码步骤中得到的区域分割的区域的每一个，解码所述全局视差信息。

19.根据权利要求18所述的图像解码方法，其特征在于，

在所述参照基准视点图像的图像整体被区域分割，并对各区域的每一个进行编码处理的情况下，

在所述基准视点区域分割解码步骤中，根据在所述参照基准视点图像的编码数据中包含的表示区域分割的信息，设定区域分割。

20.根据权利要求18所述的图像解码方法，其特征在于，

在所述参照基准视点图像的图像整体被区域分割，并对各区域的每一个进行编码处理的情况下，

在所述基准视点区域分割解码步骤中，对表示与所述参照基准视点图像的编码数据中包含的表示区域分割的信息的差异的信息进行解码，通过使用表示该区域分割的信息和表示该差异的信息，设定所述全局视差信息解码时的区域分割。

21.根据权利要求15和权利要求16的任何一项所述的图像解码方法，其特征在于，

具有：解码对象视点区域分割解码步骤，根据所述编码数据，对表示所述解码对象视点图像中的区域分割的信息进行解码，

在所述视点图像解码步骤中，对通过在所述编码对象视点区域分割解码步骤中被解码的信息表示的区域分割的区域的每一个，一边变更在所述视差补偿中使用的视差补偿矢量，一边对解码对象视点图像进行解码。

22.根据权利要求21所述的图像解码方法，其特征在于，

在所述解码对象视点图像的图像整体被区域分割，各区域的每一个与该区域分割信息一起被编码的情况下

在所述解码对象视点区域分割解码步骤中，根据所述解码对象视点图像的编码数据中包含的表示区域分割的信息，设定区域分割。

23.根据权利要求21所述的图像解码方法，其特征在于，

在所述解码对象视点图像的图像整体被区域分割，各区域的每一个与该区域分割信息一起被编码的情况下

在所述解码对象视点区域分割解码步骤中，根据所述编码数据，对与区域分割相关的表示与所述区域分割信息的差异的信息进行解码，通过使用该区域分割信息和表示该差异的信息，设定所述视差补偿矢量变更用的区域分割。

24.根据权利要求15和权利要求16的任何一项所述的图像解码方法，其特征在于，

具有：视点索引解码步骤，根据所述编码数据，对表示所述参照视点图像的视点的视点索引进行解码；以及

将通过所述视点索引表示的视点作为参照视点进行设定的步骤，

在所述视点图像解码步骤中，将所述参照视点的解码完成图像作为所述参照视点图像使用。

25.根据权利要求21所述的图像解码方法，其特征在于，

具有：视点索引解码步骤，对在所述解码对象视点区域分割解码步骤中设定的区域的每一个，根据编码数据，对表示所述参照视点图像的视点的视点索引进行解码；以及

对在所述解码对象视点区域分割解码步骤中设定的区域的每一个，将通过所述视点索引表示的视点作为参照视点进行设定的步骤，

在所述视点图像解码步骤中，对在所述解码对象视点区域分割解码步骤中设定的区域的每一个，将所述设定了的参照视点的解码完成图像作为所述参照视点图像使用。

26.一种图像编码装置，其特征在于，具备：用于执行在权利要求1和权利要求2的任何一项中所述的图像编码方法的各步骤的单元。

27.一种图像解码装置，其特征在于，具备：用于执行在权利要求15和权利要求16的任何一项中所述的图像解码方法的各步骤的单元。

Images