CN103748881A - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明涉及一种图像处理设备和图像处理方法，由此可以使用关于视差图像的信息而提高视差图像的编码效率。以深度图像作为目标，深度校正单元使用基于指示深度方向上的位置的范围的深度范围的深度加权系数和深度偏移而执行深度加权预测处理，该处理用于对作为深度图像的像素值的表示深度方向上的位置的深度值进行归一化。亮度校正单元执行深度加权预测处理，然后使用加权系数和偏移执行加权预测处理以生成深度预测图像。使用深度预测图像对要编码的深度图像进行编码，并且生成深度流。本发明可以应用于例如深度图像编码设备。

Description

图像处理设备和图像处理方法

技术领域

本技术涉及一种图像处理设备和图像处理方法，具体地，涉及可以使用关于视差图像的信息提高视差图像的编码效率的图像处理设备和图像处理方法。

背景技术

近年来，已关注了3D图像，并且已提出了用于多视点3D图像的生成的视差图像的编码方法（例如，非专利文献1）。另外，视差图像是具有视差值的图像，所述视差值表示具有对应于视差图像的视点的彩色图像的每个像素与具有作为参考的视点的彩色图像的相应像素在画面上的位置的水平方向上的距离。

此外，近来，为了与AVC（高级视频编码）方法相比进一步提高编码效率，称为HEVC（高效视频编码）的编码方法的标准化已在进行中，并且在2011年8月，非专利文献2已被发布作为草案。

引用列表

非专利文献

非专利文献1："Call for Proposals on3D Video Coding Technology",ISO/IEC JTC1/SC29/WG11,MPEG2011/N12036,日内瓦,瑞士,2011年3月

非专利文献2:Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,Gary J.Sullivian,"WD3:Working Draft3ofHigh-Efficiency Video Coding"JCTVC-E603_d5(version5),2011年5月20日

发明内容

技术问题

然而，没有提出使用关于视差图像的信息提高视差图像的编码效率的编码方法。

本技术是鉴于以上问题而做出的，并且可以使用关于视差图像的信息提高视差图像的编码效率。

问题的解决方案

根据本技术的第一方面的图像处理设备包括：深度运动预测单元，以深度图像作为目标，基于指示深度方向上的位置的范围的深度范围，使用深度加权系数和深度偏移而执行深度加权预测处理，该深度范围是当对作为深度图像的像素值的表示深度方向上的位置的深度值进行归一化时所使用的；运动预测单元，通过在深度运动预测单元执行了深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及编码单元，通过使用运动预测单元生成的深度预测图像对要编码的目标深度图像进行编码来生成深度流。

根据本技术的第一方面的图像处理方法对应于根据本技术的第一方面的图像处理设备。

在本技术的第一方面中，以深度图像作为目标，基于指示深度方向上的位置的范围的深度范围，使用深度加权系数和深度偏移而执行深度加权预测处理，该深度范围是当对作为深度图像的像素值的表示深度方向上的位置的深度值进行归一化时所使用的；通过在执行了深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及通过使用深度预测图像对要编码的目标深度图像进行编码来生成深度流。

根据本技术的第二方面的图像处理设备包括：接收单元，接收使用深度图像的预测图像所编码的深度流和关于深度图像的信息，预测图像是使用关于深度图像的信息校正的；深度运动预测单元，使用接收单元接收的关于深度图像的信息、基于指示深度方向上的位置的范围的深度范围而计算深度加权系数和深度偏移，以及以深度图像作为目标、使用深度加权系数和深度偏移而执行深度加权预测处理，深度范围是当对作为深度图像的像素值的表示深度方向上的位置的深度值进行归一化时所使用的；运动预测单元，通过在深度运动预测单元执行了深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及解码单元，使用运动预测单元生成的深度预测图像对接收单元接收的深度流进行解码。

根据本技术的第二方面的图像处理方法对应于根据本技术的第二方面的图像处理设备。

在本技术的第二方面中，接收使用深度图像的预测图像所编码的深度流和关于深度图像的信息，预测图像是使用关于深度图像的信息校正的；使用所接收的关于深度图像的信息、基于指示深度方向上的位置的范围的深度范围而计算深度加权系数和深度偏移，以及以深度图像作为目标、使用深度加权系数和深度偏移而执行深度加权预测处理，深度范围是当对作为深度图像的像素值的表示深度方向上的位置的深度值进行归一化时所使用的；通过在执行了深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及使用所生成的深度预测图像对深度流进行解码。

根据本技术的第三方面的图像处理设备包括：深度运动预测单元，以深度图像作为目标，基于指示视差的范围的视差范围，使用深度加权系数和深度偏移而执行深度加权预测处理，视差范围是当对作为深度图像的像素值的视差进行归一化时所使用的；运动预测单元，通过在深度运动预测单元执行了深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及编码单元，通过使用运动预测单元生成的深度预测图像对要编码的目标深度图像进行编码来生成深度流。

根据本技术的第三方面的图像处理方法对应于根据本技术的第三方面的图像处理设备。

在本技术的第三方面中，以深度图像作为目标，使用基于指示视差的范围的视差范围的深度加权系数和深度偏移而执行深度加权预测处理，视差范围是当对作为深度图像的像素值的视差进行归一化时所使用的；通过执行了深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及通过使用所生成的深度预测图像对要编码的目标深度图像进行编码来生成深度流。

根据本技术的第四方面的图像处理设备包括：接收单元，接收使用深度图像的预测图像而编码的深度流和关于深度图像的信息，预测图像是使用关于深度图像的信息校正的；深度运动预测单元，使用接收单元接收的关于深度图像的信息、基于指示视差的范围的视差范围而计算深度加权系数和深度偏移，以及以深度图像作为目标、使用深度加权系数和深度偏移执行深度加权预测处理，视差范围是当对作为深度图像的像素值的视差进行归一化时所使用的；运动预测单元，通过在深度运动预测单元执行了深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及解码单元，使用运动预测单元生成的深度预测图像对接收单元接收的深度流进行解码。

根据本技术的第四方面的图像处理方法对应于根据本技术的第四方面的图像处理设备。

在本技术的第四方面中，接收使用深度图像的预测图像而编码的深度流和关于深度图像的信息，预测图像是使用关于深度图像的信息校正的；使用所接收的关于深度图像的信息、基于指示视差的范围的视差范围而计算深度加权系数和深度偏移，以及以深度图像作为目标、使用深度加权系数和深度偏移执行深度加权预测处理，视差范围是当对作为深度图像的像素值的视差进行归一化时所使用的；通过在执行了深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及使用所生成的深度预测图像对深度流进行解码。

本发明的有利效果

根据本技术的第一和第三方面，可以使用关于视差图像的信息提高视差图像的编码效率。

此外，根据本技术的第二和第四方面，可以对其编码效率通过使用关于视差图像的信息进行编码而提高的视差图像的编码数据进行解码。

附图说明

图1是示出应用本技术的编码设备的实施例的配置示例的框图。

图2是描述用于生成视点的信息的最大视差值和最小视差值的图。

图3是描述用于生成视点的信息的视差精度参数的图。

图4是描述用于生成视点的信息的摄像装置之间的距离的图。

图5是示出图1的多视点图像编码单元的配置示例的框图。

图6是示出编码单元的配置示例的框图。

图7是示出编码位流的配置示例的图。

图8是示出图7的PPS语法的示例的图。

图9是示出切片报头的语法的示例的图。

图10是示出切片报头的语法的示例的图。

图11是描述图1的编码设备的编码处理的流程图。

图12是描述图11的多视点编码处理的细节的流程图。

图13是描述图12的视差图像编码处理的细节的流程图。

图14是描述图12的视差图像编码处理的细节的流程图。

图15是示出应用本技术的解码设备的实施例的配置示例的框图。

图16是示出图15的多视点图像解码单元的配置示例的框图。

图17是示出解码单元的配置示例的框图。

图18是描述图15的解码设备150的解码处理的流程图。

图19是描述图18的多视点解码处理的细节的流程图。

图20是描述图16的视差图像解码处理的细节的流程图。

图21是描述用于校正预测图像的信息的传送方法的图。

图22是示出第二传送方法中的编码位流的配置示例的图。

图23是示出第三传送方法中的编码位流的配置示例的图。

图24是示出切片编码单元的配置示例的框图。

图25是示出编码单元的配置示例的框图。

图26是示出校正单元的配置示例的框图。

图27是用于描述视差值的位置和深度方向的图。

图28是示出要成像的对象的位置关系的示例的图。

图29是描述深度方向上的位置的最大值与最小值之间的关系的图。图30是用于描述要成像的对象的位置关系和亮度的图。

图31是用于描述要成像的对象的位置关系和亮度的图。

图32是用于描述要成像的对象的位置关系和亮度的另一个图。

图33是描述视差图像编码处理的细节的流程图。

图34是描述视差图像编码处理的细节的另一个流程图。

图35是用于描述预测图像生成处理的流程图。

图36是示出切片解码单元的配置示例的框图。

图37是示出解码单元的配置示例的框图。

图38是示出校正单元的配置示例的框图。

图39是描述视差图像解码处理的细节的流程图。

图40是用于描述预测图像生成处理的流程图。

图41是示出计算机的实施例的配置示例的图。

图42是示意性地示出应用本技术的电视设备的配置示例的图。

图43是示意性地示出应用本技术的蜂窝电话的配置示例的图。

图44是示意性地示出应用本技术的记录和再现设备的配置示例的图。

图45是示意性地示出应用本技术的成像设备的配置示例的图。

具体实施方式

[编码设备的实施例的配置示例]

图1是示出应用本技术的编码设备的实施例的配置示例的框图。

图1的编码设备50由多视点彩色图像捕获单元51、多视点彩色图像校正单元52、多视点视差图像校正单元53、用于生成视点的信息生成单元54和多视点图像编码单元55构成。

编码设备50使用关于视差图像的信息对具有预定视点的视差图像进行编码。

具体地，编码设备50的多视点彩色图像捕获单元51对多视点彩色图像进行成像并且将该图像作为多视点彩色图像提供到多视点彩色图像校正单元52。另外，多视点彩色图像捕获单元51生成外部参数、最大视差值和最小视差值（以下将描述细节）。多视点彩色图像捕获单元51将外部参数、最大视差值和最小视差值提供到用于生成视点的信息生成单元54并且将最大视差值和最小视差值提供到多视点视差图像生成单元53。

此外，外部参数是定义多视点彩色图像捕获单元51在水平方向上的位置的参数。另外，最大视差值和最小视差值是可以在多视点视差图像中获取的世界坐标系上的视差值的最大值和最小值。

多视点彩色图像校正单元52对从多视点彩色图像捕获单元51提供的多视点彩色图像执行色彩校正、亮度校正和失真校正。以此方式，多视点彩色图像捕获单元51在校正后的多视点彩色图像中的水平方向（x方向）上的焦距变为在所有视点中是共同的。多视点彩色图像校正单元52将校正后的多视点彩色图像作为多视点校正彩色图像提供到多视点视差图像生成单元53和多视点图像编码单元55。

多视点视差图像生成单元53基于从多视点彩色图像捕获单元51提供的最大视差值和最小视差值，根据从多视点彩色图像校正单元52提供的多视点校正彩色图像生成多视点视差图像。具体地，多视点视差图像生成单元53关于多视点中的每个视点从多视点校正彩色图像获取每个像素的视差值，并且基于最大视差值和最小视差值对视差值进行归一化。此外，多视点视差图像生成单元53关于多视点中的每个视点生成其每个像素的归一化视差值是视差图像的每个像素的像素值的视差图像。

此外，多视点视差图像生成单元53将所生成的多视点视差图像作为多视点视差图像提供到多视点图像编码单元55。另外，多视点视差图像生成单元53生成表示多视点视差图像的像素值的精度的视差精度参数，并且将该参数提供到用于生成视点的信息生成单元54。

用于生成视点的信息生成单元54使用校正彩色图像和具有多视点的视差图像生成用于生成视点的信息，该信息是当生成具有除多视点之外的视点的彩色图像时所使用的。具体地，用于生成视点的信息生成单元54基于从多视点彩色图像捕获单元51提供的外部参数而获取摄像装置之间的距离。摄像装置之间的距离是当针对多视点视差图像的每个视点对彩色图像进行成像时多视点彩色图像捕获单元51在水平方向上的位置与当对具有与彩色图像和视差图像对应的视差的彩色图像进行成像时多视点彩色图像捕获单元51在水平方向上的位置之间的距离。

用于生成视点的信息生成单元54的用于生成视点的信息是来自多视点彩色图像捕获单元51的最大视差值和最小视差值、摄像装置之间的距离以及来自多视点视差图像生成单元53的视差精度参数。用于生成视点的信息生成单元54将所生成的用于生成视点的信息提供到多视点图像编码单元55。

多视点图像编码单元55利用HEVC方法对从多视点彩色图像校正单元52提供的多视点校正彩色图像进行编码。另外，多视点图像编码单元55使用从用于生成视点的信息生成单元54提供的用于生成视点的信息当中的最大视差值、最小视差值和摄像装置之间的距离作为关于视差的信息，依照HEVC方法对从多视点视差图像生成单元53提供的多视点视差图像进行编码。

此外，多视点图像编码单元55对从用于生成视点的信息生成单元54提供的用于生成视点的信息当中的最大视差值、最小视差值和摄像装置之间的距离执行差分编码，并且允许它们包括在当对多视点视差图像进行编码时所使用的关于编码的信息（编码参数）中。另外，多视点图像编码单元55传送关于编码的信息和由来自用于生成视点的信息生成单元54的视差精度参数等构成的位流作为编码位流，该关于编码的信息包括编码后的多视点校正彩色图像和多视点视差图像以及差分编码后的最大视差值、最小视差值和摄像装置之间的距离。

如上所述，由于多视点图像编码单元55通过对最大视差值、最小视差值和摄像装置之间的距离执行差分编码而传送最大视差值、最小视差值和摄像装置之间的距离，因此可以减小用于生成视点的信息的代码量。由于最大视差值、最小视差值和摄像装置之间的距离在图片之间很可能不会大大改变以便提供令人舒适的3D图像，因此执行用于减小代码量的差分编码是有效的。

另外，在编码设备50中，多视点视差图像是从多视点校正彩色图像生成的，但是多视点视差图像可在对多视点彩色图像进行成像时由检测视差值的传感器生成。

[用于生成视点的信息的描述]

图2是描述用于生成视点的信息的最大视差值和最小视差值的图。

此外，在图2中，水平轴是归一化之前的视差值，并且垂直轴是视差图像的像素值。

如图2所示，多视点视差图像生成单元53使用最小视差值Dmin和最大视差值Dmax将每个像素的视差值归一化为例如0至255的值。另外，多视点视差图像生成单元53生成以归一化后的每个像素的视差值（其为0至255中的任意值）作为像素值的视差图像。

换言之，视差图像的每个像素的像素值I由具有每个像素的归一化之前的视差值d、最小视差值Dmin和最大视差值Dmax的以下公式（1）来表示。

[表达式1]

$I=\frac{255*(d-D_{\min })}{D_{\max }-D_{\min }}...\left(1\right)$

因此，在下述解码设备中，需要利用以下公式（2）从视差图像的每个像素的像素值I恢复在使用最小视差值Dmin和最大视差值Dmax进行归一化之前的视差值d。

[表达式2]

$d=\frac{I}{255}(D_{\max }-D_{\min })+D_{\min }...\left(2\right)$

因此，最小视差值Dmin和最大视差值Dmax被传送到解码设备。

图3是描述用于生成视点的信息的视差精度参数的图。

如图3的上部行中所示，当每个归一化之后的视差值1的归一化之前的视差值是0.5时，视差精度参数表示视差值的精度0.5。此外，如图3的下部行中所示，当每个归一化之后的视差值1的归一化之前的视差值是1时，视差精度参数表示视差值的精度1.0。

在图3的示例中，作为第一视点的视点#1的归一化之前的视差值是1.0，并且作为第二视点的视点#2的归一化之前的视差值是0.5。因此，视点#1的归一化之后的视差值在视差值的精度是0.5或1.0的任一情况下均是1.0。相反，视点#2的视差值在视差值的精度是0.5时是0.5，并且视点#2的视差值在视差值的精度是1.0时是0。

图4是描述用于生成视点的信息的摄像装置之间的距离的图。

如图4所示，以视点#2作为视点#1的参考的视差图像的摄像装置之间的距离是视点#1的外部参数表示的位置与视点#2的外部参数表示的位置之间的距离。

[多视点图像编码单元的配置示例]

图5是示出图1的多视点图像编码单元55的配置示例的框图。

图5的多视点图像编码单元55由切片编码单元61、切片报头编码单元62、PPS编码单元63和SPS编码单元64构成。

多视点图像编码单元55的切片编码单元61对于从多视点彩色图像校正单元52提供的多视点校正彩色图像利用HEVC方法以切片为单位执行编码。另外，切片编码单元61使用从图1的用于生成视点的信息生成单元54提供的用于生成视点的信息当中的最大视差值、最小视差值和摄像装置之间的距离作为关于视差的信息，对于来自多视点视差图像生成单元53的多视点视差图像利用依照HEVC的方法以切片为单位执行编码。切片编码单元61将作为编码结果获得的以切片为单位的编码数据等提供到切片报头编码单元62。

切片报头编码单元62保持从用于生成视点的信息生成单元54提供的用于生成视点的信息当中的最大视差值、最小视差值和摄像装置之间的距离作为当前要处理的切片的最大视差值、最小视差值和摄像装置之间的距离。

另外，切片报头编码单元62确定要添加同一PPS的单位（下文中称为“同一PPS单位”）的当前要处理的切片的最大视差值、最小视差值和摄像装置之间的距离是否分别与按编码顺序的先前切片的最大视差值、最小视差值和摄像装置之间的距离匹配。

此外，当确定构成同一PPS单位的所有切片的最大视差值、最小视差值和摄像装置之间的距离与按编码顺序的先前切片的最大视差值、最小视差值和摄像装置之间的距离匹配时，切片报头编码单元62添加除每个切片的最大视差值、最小视差值和摄像装置之间的距离之外的关于编码的信息作为构成同一PPS单位的每个切片的编码数据的切片报头，并且将该信息提供到PPS编码单元63。另外，切片报头编码单元62将表示没有传送最大视差值、最小视差值和摄像装置之间的距离的差分编码的结果的传送标记提供到PPS编码单元63。

另一方面，当确定构成同一PPS单位的至少一个切片的最大视差值、最小视差值和摄像装置之间的距离与按编码顺序的先前切片的最大视差值、最小视差值和摄像装置之间的距离不匹配时，切片报头编码单元62将包括切片的最大视差值、最小视差值和摄像装置之间的距离的关于编码的信息作为切片报头添加到帧内类型切片的编码数据，并且将该信息提供到PPS编码单元63。

此外，切片报头编码单元62关于帧间类型切片对切片的最大视差值、最小视差值和摄像装置之间的距离执行差分编码。具体地，切片报头编码单元62从帧间类型切片的最大视差值、最小视差值和摄像装置之间的距离减去按编码顺序的先前切片的最大视差值、最小视差值和摄像装置之间的距离，并且将相减后的结果设置为差分编码的结果。此外，切片报头编码单元62将包括最大视差值、最小视差值和摄像装置之间的距离的差分编码的结果的关于编码的信息作为切片报头添加到帧间类型切片的编码数据，并且将该信息提供到PPS编码单元63。

另外，在该情况下，切片报头编码单元62将表示传送了最大视差值、最小视差值和摄像装置之间的距离的差分编码的结果的传送标记提供到PPS编码单元63。

PPS编码单元63生成PPS，该PPS包括从切片报头编码单元62提供的传送标记和从图1的用于生成视点的信息生成单元54提供的用于生成视点的信息当中的视差精度参数。PPS编码单元63将PPS添加到以切片为单位的编码数据，并且将该数据提供到SPS编码单元64，其中，在同一PPS单位中从切片报头编码单元62提供的切片报头被添加到该编码数据。

SPS编码单元64生成SPS。另外，SPS编码单元64以序列为单位将SPS添加到编码数据，其中，从PPS编码单元63提供的PPS被添加到该编码数据。SPS编码单元64用作传送单元，并且传送根据该功能性获得的位流作为编码位流。

[切片编码单元的配置示例]

图6是示出图5的切片编码单元61当中的对具有一个可选视点的视差图像进行编码的编码单元的配置示例的框图。即，切片编码单元61当中的对多视点视差图像进行编码的编码单元由根据图6的视点数量的编码单元120构成。

图6的编码单元120由A/D转换单元121、画面重排缓冲器122、算术单元123、正交变换单元124、量化单元125、可逆编码单元126、存储缓冲器127、逆量化单元128、逆正交变换单元129、加法单元130、解块滤波器131、帧存储器132、画面内预测单元133、运动预测和补偿单元134、校正单元135、选择单元136和速率控制单元137构成。

编码单元120的A/D转换单元121对从图1的多视点视差图像生成单元53提供的、具有预定视点的以帧为单位的复用图像执行A/D转换，并且将转换后的复用图像提供到画面重排缓冲器122以进行存储。画面重排缓冲器122将按所存储的显示顺序的以帧为单位的视差图像重排为用于按照GOP（图片组）结构编码的顺序，并且将该视差图像输出到算术单元123、画面内预测单元133以及运动预测和补偿单元134。

算术单元123用作编码单元，并且通过对从选择单元136提供的预测图像和从画面重排缓冲器122输出的要编码的目标视差图像之间的差执行算术运算而对要编码的目标视差图像进行编码。具体地，算术单元123在从画面重排缓冲器122输出的要编码的目标视差图像中减去从选择单元136提供的预测图像。算术单元123将从减法获得的图像作为残差信息输出到正交变换单元124。另外，当没有从选择单元136提供预测图像时，算术单元123将从画面重排缓冲器122读取的视差图像按原样作为残差信息输出到正交变换单元124。

正交变换单元124对从算术单元123提供的残差信息执行诸如离散余弦变换或卡洛（Karhunen-Loeve）变换的正交变换，并且将从变换获得的系数提供到量化单元125。

量化单元125对从正交变换单元124提供的系数进行量化。量化后的系数被输入到可逆编码单元126。

可逆编码单元126对从量化单元125提供的量化后的系数执行可逆编码，比如可变长度编码（例如，CAVLC（上下文自适应可变长度编码）等）或算术编码（例如，CABAC（上下文自适应二进制算术编码）等）。可逆编码单元126将从可逆编码获得的编码数据提供到存储缓冲器127并且将该编码数据存储在存储缓冲器127中。

存储缓冲器127暂时存储从可逆编码单元126提供的编码数据并且以切片为单位将该编码数据提供到切片报头编码单元62。

另外，从量化单元125输出的量化系数被输入到逆量化单元128并且在逆量化之后被提供到逆正交变换单元129。

逆正交变换单元129对从逆量化单元128提供的系数执行诸如逆离散余弦变换或逆卡洛变换的逆正交变换，并且将从该变换获得的残差信息提供到加法单元130。

加法单元130通过将从逆正交变换单元129提供的作为解码目标视差图像的残差信息和从选择单元136提供的预测图像相加而获得局部解码视差图像。另外，当没有从选择单元136提供预测图像时，加法单元130将从逆正交变换单元129提供的残差信息设置为局部解码视差图像。加法单元130将局部解码视差图像提供到解块滤波器131并且作为参考图像提供到画面内预测单元133。

解块滤波器131通过对从加法单元130提供的局部解码视差图像进行滤波而去除块失真。解块滤波器131将从该结果获得的视差图像提供到帧存储器132并且将该视差图像存储在帧存储器132中。存储在帧存储器132中的视差图像作为参考图像被输出到运动预测和补偿单元134。

画面内预测单元133使用从加法单元130提供的参考图像执行作为候选的所有帧内预测模式的画面内预测，并且生成预测图像。

另外，画面内预测单元133对于作为候选的所有帧内预测模式计算代价函数值（以下将描述细节）。此外，画面内预测单元133将其代价函数值最小的帧内预测模式确定为最优帧内预测模式。画面内预测单元133将以最优帧内预测模式生成的预测图像和相应的代价函数值提供到选择单元136。当选择单元136向画面内预测单元133通知了选择单元136对以最优帧内预测模式生成的预测图像的选择时，画面内预测单元133将指示最优帧内预测模式等的画面内预测信息提供到图5的切片报头编码单元62。画面内预测信息作为关于编码的信息包括在切片报头中。

另外，代价函数值也称为RD（速率失真）代价并且基于由例如作为H.264/AVC方法中的参考软件的JM（联合模型）确定的高复杂度模式或低复杂度模式的任一方法来计算。

具体地，当高复杂度模式被用作代价函数值的计算方法时，通过对作为候选的所有预测模式暂时执行可逆编码而针对每种预测模式计算由以下公式（3）表示的代价函数值。

Cost(Mode)=D+λ·R…(3)

D表示原始图像与解码图像之间的差异（失真），R表示甚至包括正交变换的系数的所生成的编码量，并且λ表示作为量化参数QP的函数而给出的拉格朗日乘数。

另一方面，当低复杂度模式被用作代价函数值的计算方法时，对作为候选的所有预测模式执行报头位（诸如指示解码图像的生成和预测模式的信息等）的计算，并且关于每种预测模式计算由以下公式（4）表示的代价函数。

Cost(Mode)=D+QPtoQuant(QP)·Header_Bit…(4)

D表示原始图像与解码图像之间的差异（失真），Header_Bit表示关于预测模式的报头位，并且QPtoQuant表示作为量化参数QP的函数给出的函数。

在低复杂度模式中，可关于所有预测模式生成解码图像，并且计算量小，这是由于不需要执行可逆编码。此外，这里，高复杂度模式被用作代价函数值的计算方法。

运动预测和补偿单元134基于从画面重排缓冲器122提供的视差图像和从帧存储器132提供的参考图像执行作为候选的所有帧间预测模式的运动预测处理，并且生成运动矢量。具体地，运动预测和补偿单元134针对每种帧间预测模式将参考图像与从画面重排缓冲器122提供的视差图像进行匹配。

另外，帧间预测模式是表示帧间预测的目标块的大小、预测方向和参考索引的信息。预测方向包括使用其显示时间早于帧间预测的目标视差图像的正向预测（L0预测）、使用其显示时间晚于帧间预测的目标视差图像的后向预测（L1预测）和使用其显示时间早于帧间预测的目标视差图像的参考图像和其显示时间晚于帧间预测的目标视差图像的参考图像的双向预测（Bi预测）。此外，参考索引表示用于指定参考图像的编号。例如，随着图像的参考索引越靠近帧间预测的目标视差图像，编号越小。

另外，运动预测和补偿单元134用作预测图像生成单元，并且基于所生成的运动矢量通过从帧存储器132读取参考图像而针对每种帧间预测模式执行运动补偿处理。运动预测和补偿单元134将从该处理生成的预测图像提供到校正单元135。

校正单元135以从图1的用于生成视点的信息生成单元54提供的用于生成视点的信息当中的最大视差值、最小视差值和摄像装置之间的距离作为关于视差图像的信息，生成用于对预测图像进行校正的校正系数。校正单元135使用校正系数对从运动预测和补偿单元134提供的每种帧间预测模式的预测图像进行校正。

这里，深度方向上的要编码的目标视差图像的主体的位置Z_c和深度方向上的预测图像的主体的位置Z_p由以下公式（5）来表示。

[表达式3]

$\begin{array}{cc}{Z}_c=\frac{L_{c}f}{d_c}& Z_p=\frac{L_{p}f}{d_p}...\left(5\right)\end{array}$

此外，在公式（5）中，L_c和L_p分别表示编码目标视差图像的摄像装置之间的距离和预测图像的摄像装置之间的距离。f表示对编码目标视差图像和预测图像共同的焦距。另外，d_c和d_p分别表示编码目标视差图像的归一化之前的视差值的绝对值和预测图像的归一化之前的视差值的绝对值。

此外，编码目标视差图像的视差值I_c和预测图像的视差值I_p由使用归一化之前的视差值的绝对值d_c和d_p的以下公式（6）来表示。

[表达式4]

$I_c=\begin{array}{cc}\frac{255*(d_c-{D^c}_{\min })}{{D^c}_{\max }-{D^c}_{\min }}& I_p=\frac{255*(d_p-{D^p}_{\min })}{{D^p}_{\max }-{D^p}_{\min }}...\left(6\right)\end{array}$

此外，在公式（6）中，D^c _min和D^p _min分别表示编码目标视差图像的最小视差值和预测图像的最小视差值。D^c _max和D^p _max分别表示编码目标视差图像的最大视差值和预测图像的最大视差值。

因此，甚至当深度方向上的编码目标视差图像的主体的位置Z_c与深度方向上的预测图像的主体的位置Z_p相同时，如果摄像装置之间的距离L_c和L_p、最小视差值D^c _min和D^p _min以及最大视差值D^c _max和D^p _max中的至少一个彼此不同，则视差值I_c也与视差值I_p不同。

这里，校正单元135生成对预测图像进行校正的校正系数，以使得当位置Z_c与位置Z_p相同时视差值I_c和视差值I_p变为相同。

具体地，当位置Z_c与位置Z_p相同时，根据以上公式（5）建立以下公式（7）。

[表达式5]

$\frac{L_{c}f}{d_c}=\frac{L_{p}f}{d_p}...\left(7\right)$

另外，当对公式（7）进行变换时，建立以下公式（8）。

[表达式6]

$d_c=\frac{L_c}{L_p}{d}_p...\left(8\right)$

另外，当使用以上公式（6）用视差值I_c和I_p替换公式（8）的归一化之前的视差值的绝对值d_c和d_p时，建立以下公式（9）。

[表达式7]

$\frac{I_c({D^c}_{\max }-{D^c}_{\min })}{255}+{D^c}_{\min }=\frac{L_c}{L_p}(\frac{I_p({D^p}_{\max }-{D^p}_{\min })}{255}+{D^p}_{\min })...\left(9\right)$

以此方式，视差值I_c由使用视差值I_p的以下公式（10）来表示。

[表达式8]

$\begin{array}{c}{I}_c=\frac{\frac{L_c}{L_p}({D^p}_{\max }-{D^p}_{\min })}{{D^c}_{\max }-{D^c}_{\min }}{I}_p+255\frac{\frac{L_c}{L_p}{D^p}_{\min }-{D^c}_{\min }}{{D^c}_{\max }-{D^c}_{\min }}\\ =a{I}_p+b...\left(10\right)\end{array}$

因此，校正单元135生成公式（10）的a和b作为校正系数。此外，校正单元135使用校正系数a、b和视差值I_p获取公式（10）中的视差值I_c作为校正之后的预测图像的视差值。

另外，校正单元135使用校正后的预测图像计算关于每种帧间预测模式的代价函数值，并且将其代价函数值最小的帧间预测模式确定为最优帧间预测模式。此外，校正单元135将以最优帧间预测模式生成的预测图像和代价函数值提供到选择单元136。

另外，当选择单元136向校正单元135通知了对以最优帧间预测模式生成的预测图像的选择时，校正单元135将运动信息输出到切片报头编码单元62。运动信息由最优帧间预测模式、预测矢量索引、作为从当前运动矢量减去由预测矢量索引表示的运动矢量的差的运动矢量残差等构成。此外，预测矢量索引表示指定作为用于生成解码视差图像的预测图像的候选的运动矢量当中的一个运动矢量的信息。运动信息作为关于编码的信息包括在切片报头中。

选择单元136基于从画面内预测单元133和校正单元135提供的代价函数值，将最优帧内预测模式和最优帧间预测模式之一确定为最优预测模式。另外，选择单元136将最优预测模式的预测图像提供到算术单元123和加法单元130。另外，选择单元136向画面内预测单元133或校正单元135通知选择了最优预测模式的预测图像。

速率控制单元137基于存储在存储缓冲器127中的编码数据，对量化单元125的量化操作的速率进行控制，以使得不会发生上溢或下溢。

[编码位流的配置示例]

图7是示出编码位流的配置示例的图。

此外，为了便于说明，图7仅描述了多视点视差图像的切片的编码数据，但是多视点彩色图像的切片的编码数据实际上布置在编码位流中。这也适用于下述图22和图23。

在图7的示例中，构成作为第0个PPS的PPS#0的同一PPS单位的一个帧内类型切片和两个帧间类型切片的最大视差值、最小视差值和摄像装置之间的距离与按编码顺序的先前切片的最大视差值、最小视差值和摄像装置之间的距离不匹配。因此，表示已传送了一些东西的传送标记“1”包括在PPS#0中。另外，在图7的示例中，构成PPS#0的同一PPS单位的切片的视差精度是0.5，并且作为视差精度参数的表示视差精度0.5的“1”包括在PPS#0中。

另外，在图7的示例中，构成PPS#0的同一PPS单位的最小视差值、最大视差值和摄像装置之间的距离分别是10、50和100。因此，最小视差值“10”、最大视差值“50”和摄像装置之间的距离“100”包括在切片的切片报头中。

另外，在图7的示例中，构成PPS#0的同一PPS单位的第一帧间切片的最小视差值、最大视差值和摄像装置之间的距离分别是9、48和105。因此，从切片的最小视差值“9”减去按编码顺序的先前帧间类型切片的最小视差值“10”的差“-1”作为最小视差值的差分编码结果包括在切片的切片报头中。以此方式，最大视差值的差“-2”被包括作为最大视差值的差分编码结果，并且摄像装置之间的距离的差“5”被包括作为摄像装置之间的距离的差分编码结果。

另外，在图7的示例中，构成PPS#0的同一PPS单位的第二帧间类型切片的最小视差值、最大视差值、摄像装置之间的距离分别是7、47和110。因此，从切片的最小视差值“7”减去按编码顺序的先前第一帧间类型切片的最小视差值“9”的差“-2”作为最小视差值的差分编码结果包括在切片的切片报头中。以相同方式，最大视差值的差“-1”被包括作为最大视差值的差分编码结果，并且摄像装置之间的距离的差“5”被包括作为摄像装置之间的距离的差分编码结果。

另外，在图7的示例中，构成作为第一PPS的PPS#1的同一PPS单位的一个帧内类型切片和两个帧间类型切片的最大视差值、最小视差值和摄像装置之间的距离分别与按编码顺序的先前切片的最大视差值、最小视差值和摄像装置之间的距离匹配。即，构成PPS#1的同一PPS单位的一个帧内类型切片和两个帧间类型切片的最小视差值、最大视差值和摄像装置之间的距离分别是“7”、“47”和“110”，这与构成PPS#0的同一PPS单位的第二帧间类型切片相同。因此，表示没有传送任何东西的传送标记“0”包括在PPS#1中。此外，在图7的示例中，构成PPS#1的同一PPS单位的切片的视差精度是0.5，并且表示视差精度0.5的“1”作为视差精度参数包括在PPS#1中。

[PPS语法的示例]

图8是示出图7的PPS语法的示例的图。

如图8所示，视差精度参数（disparity_precision）和传送标记（disparity_pic_same_flag）包括在PPS中。当指示视差精度“1”时，视差精度参数是“0”，并且当指示视差精度“0.25”时，视差精度参数是“2”。另外，如上所述，当指示视差精度“0.5”时，视差精度参数是“1”。此外，如上所述，当传送标记表示传送了一些东西时，传送标记是“1”，并且当传送标记表示没有传送任何东西时，传送标记是“0”。

[切片报头的语法的示例]

图9和图10是示出切片报头的语法的示例的图。

如图10所示，当传送标记是1并且切片类型是帧内类型时，最小视差值（minimum_disparity）、最大视差值（maximum_disparity）和摄像装置之间的距离（translation_x）包括在切片报头中。

另一方面，当传送标记是1并且切片类型是帧间类型时，最小视差值的差分编码结果（delta_minimum_disparity）、最大视差值的差分编码结果（delta_maximum_disparity）和摄像装置之间的距离的差分编码结果（delta_translation_x）包括在切片报头中。

[编码设备进行的处理的描述]

图11是描述图1的编码设备50的编码处理的流程图。

在图11的步骤S111中，编码设备50的多视点彩色图像捕获单元51对多视点彩色图像进行成像，并且将该图像作为多视点彩色图像提供到多视点彩色图像校正单元52。

在步骤S112中，多视点彩色图像捕获单元51生成最大视差值、最小视差值和外部参数。多视点彩色图像捕获单元51将最大视差值、最小视差值和外部参数提供到用于生成视点的信息生成单元54，并且将最大视差值和最小视差值提供到多视点视差图像生成单元53。

在步骤S113中，多视点彩色图像校正单元52对从多视点彩色图像捕获单元51提供的多视点彩色图像执行颜色校正、亮度校正、失真校正等。以此方式，校正后的多视点彩色图像中的多视点彩色图像捕获单元51在水平方向（X方向）上的焦距在所有视点中变为相同。多视点彩色图像校正单元52将校正后的多视点彩色图像作为多视点校正彩色图像提供到多视点视差图像生成单元53和多视点图像编码单元55。

在步骤S114中，多视点视差图像生成单元53基于从多视点彩色图像捕获单元51提供的最大视差值和最小视差值，根据从多视点彩色图像校正单元52提供的多视点校正彩色图像生成多视点视差图像。此外，多视点视差图像生成单元53将所生成的多视点视差图像作为多视点视差图像提供到多视点图像编码单元55。

在步骤S115中，多视点视差图像生成单元53生成视差精度参数，并且将该参数提供到用于生成视点的信息生成单元54。

在步骤S116中，用于生成视点的信息生成单元54基于从多视点彩色图像捕获单元51提供的外部参数获取摄像装置之间的距离。

在步骤S117中，用于生成视点的信息生成单元54生成来自多视点彩色图像捕获单元51的最大视差值、最小视差值和摄像装置之间的距离以及来自多视点视差图像生成单元53的视差精度参数作为用于生成视点的信息。用于生成视点的信息生成单元54将所生成的用于生成视点的信息提供到多视点图像编码单元55。

在步骤S118中，多视点图像编码单元55执行多视点编码处理，该多视点编码处理对来自多视点彩色图像校正单元52的多视点校正彩色图像和来自多视点视差图像生成单元53的多视点视差图像进行编码。以下将参照图12描述多视点编码处理的细节。

在步骤S119中，多视点图像编码单元55传送从多视点编码处理获得的编码位流并且结束该处理。

图12是描述图11的步骤S118中的多视点编码处理的流程图。

在图12的步骤S131中，多视点图像编码单元55（图5）的切片编码单元61以切片为单位对来自多视点彩色图像校正单元52的多视点校正彩色图像和来自多视点视差图像生成单元53的多视点视差图像进行编码。具体地，切片编码单元61执行使用HEVC方法以切片为单位对多视点校正彩色图像进行编码的彩色图像编码处理。另外，切片编码单元61执行视差图像编码处理，该视差图像编码处理使用从图1的用于生成视点的信息生成单元54提供的用于生成视点的信息当中的最大视差值、最小视差值和摄像装置之间的距离，依照HEVC方法以切片为单位对多视点视差图像进行编码。以下将参照图13和图14描述视差图像编码处理的细节。切片编码单元61将从编码结果获得的以切片为单位的编码数据提供到切片报头编码单元62。

在步骤S132中，切片报头编码单元62将从用于生成视点的信息生成单元54提供的用于生成视点的信息当中的摄像装置之间的距离、最大视差值和最小视差值设置为要处理的当前目标切片的摄像装置之间的距离、最大视差值和最小视差值并且保持它们。

在步骤S133中，切片报头编码单元62确定构成同一PPS单位的所有切片的摄像装置之间的距离、最大视差值和最小视差值是否分别与按编码顺序的先前切片的摄像装置之间的距离、最大视差值和最小视差值匹配。

当在步骤S133中确定摄像装置之间的距离、最大视差值和最小视差值彼此匹配时，切片报头编码单元62在步骤S134中生成表示没有传送摄像装置之间的距离、最大视差值和最小视差值的差分编码结果的传送标记，并且将该传送标记提供到PPS编码单元63。

在步骤S135中，切片报头编码单元62将除每个切片的摄像装置之间的距离、最大视差值和最小视差值之外的关于编码的信息作为切片报头添加到构成作为要处理的目标的同一PPS单位的每个切片的编码数据。另外，从切片编码单元61提供的画面内预测信息或运动信息包括在关于编码的信息中。此外，切片报头编码单元62将从该结果获得的构成同一PPS单位的每个切片的编码数据提供到PPS编码单元63，并且将处理前进到步骤S140。

另一方面，当在步骤S133中确定摄像装置之间的距离、最大视差值和最小视差值彼此不匹配时，切片报头编码单元62在步骤S136中将表示传送了摄像装置之间的距离、最大视差值、最小视差值的差分编码结果的传送标记传送到PPS编码单元63。另外，针对构成作为步骤S133中要处理的目标的同一PPS单位的每个切片执行下述步骤S137至S139的处理。

在步骤S137中，切片报头编码单元62确定构成作为步骤S133中要处理的目标的同一PPS单位的切片的类型是否是帧内类型。当在步骤S137中确定切片的类型是帧内类型时，切片报头编码单元62在步骤S138中将包括切片的摄像装置之间的距离、最大视差值和最小视差值的关于编码的信息作为切片报头添加到切片的编码数据。此外，从切片编码单元61提供的画面内预测信息或运动信息包括在关于编码的信息中。此外，切片报头编码单元62将从该结果获得的以切片为单位的编码数据提供到PPS编码单元63，并且将处理前进到步骤S140。

另一方面，当在步骤S137中确定切片类型不是帧内类型时，即，切片类型是帧间类型，处理进行到步骤S139。在步骤S139中，切片报头编码单元62对切片的摄像装置之间的距离、最大视差值和最小视差值执行差分编码，并且将包括差分编码结果的关于编码的信息作为切片报头添加到切片的编码数据。此外，从切片编码单元61提供的画面内预测信息或运动信息包括在关于编码的信息中。此外，切片报头编码单元62将从该结果获得的以切片为单位的编码数据提供到PPS编码单元63，并且将处理前进到步骤S140。

在步骤S140中，PPS编码单元63生成PPS，该PPS包括从切片报头编码单元62提供的传送标记和从图1的用于生成视点的信息生成单元54提供的用于生成视点的信息当中的视差精度参数。

在步骤S141中，PPS编码单元63将PPS添加到以切片为单位的编码数据，并且将该编码数据提供到SPS编码单元64，其中在同一PPS单位中从切片报头编码单元62提供的切片报头被添加到该编码数据。

在步骤S142中，SPS编码单元64生成SPS。

在步骤S143中，SPS编码单元64以序列为单位将SPS添加到添加了从PPS编码单元63提供的PPS的编码数据，并且生成编码位流。另外，处理返回到图11的步骤S118并且进行到步骤S119。

图13和图14是描述图5的切片编码单元61的视差图像编码处理的细节的流程图。针对每个视点执行视差图像编码处理。

在图13的步骤S160中，编码单元120的A/D转换单元121对从多视点视差图像生成单元53输入的具有预定视点的以帧为单位的视差图像执行A/D转换，并且将转换后的视差图像输出到画面重排缓冲器122以进行存储。

在步骤S161中，画面重排缓冲器122将按所存储的显示顺序的帧的视差图像重排为用于按照GOP结构编码的顺序。画面重排缓冲器122将重排后的以帧为单位的视差图像提供到算术单元123、画面内预测单元133以及运动预测和补偿单元134。

在步骤S162中，画面内预测单元133使用从加法单元130提供的参考图像执行作为候选的所有帧内预测模式的画面内预测处理。此时，画面内预测单元133对于作为候选的所有帧内预测模式计算代价函数值。另外，画面内预测单元133将其代价函数值最小的帧内预测模式确定为最优帧内预测模式。画面内预测单元133将以最优帧内预测模式生成的预测图像和相应代价函数值提供到选择单元136。

在步骤S163中，运动预测和补偿单元134基于从画面重排缓冲器122提供的视差图像和从帧存储器132提供的参考图像执行运动预测和补偿处理。

具体地，运动预测和补偿单元134基于从画面重排缓冲器122提供的视差图像和从帧存储器132提供的参考图像执行作为候选的所有帧间预测模式的运动预测处理，并且生成运动矢量。另外，运动预测和补偿单元134基于所生成的运动矢量，通过从帧存储器132读取参考图像而针对每种帧间预测模式执行运动补偿处理。运动预测和补偿单元134将从该结果生成的预测图像提供到校正单元135。

在步骤S164中，校正单元135基于从图1的用于生成视点的信息生成单元54提供的用于生成视点的信息当中的最大视差值、最小视差值和摄像装置之间的距离而计算校正系数。

在步骤S165中，校正单元135使用校正系数对从运动预测和补偿单元134提供的每种帧间预测模式的预测图像进行校正。

在步骤S166中，校正单元135使用校正后的预测图像计算关于每种帧间预测模式的代价函数值，并且将其代价函数值最小的帧间预测模式确定为最优帧间预测模式。另外，校正单元135将以最优帧间预测模式生成的预测图像和代价函数值提供到选择单元136。

在步骤S167中，选择单元136基于从画面内预测单元133和校正单元135提供的代价函数值，将最优帧内预测模式与最优帧间预测模式之间其代价函数值最小的模式确定为最优预测模式。另外，选择单元136将最优预测模式的预测图像提供到算术单元123和加法单元130。

在步骤S168中，选择单元136确定最优预测模式是否是最优帧间预测模式。当在步骤S168中确定最优预测模式是最优帧间预测模式时，选择单元136向校正单元135通知以最优帧间预测模式生成的预测图像的选择。

另外，在步骤S169中，校正单元135将运动信息输出到切片报头编码单元62（图5），并且将处理前进到步骤S171。

另一方面，当在步骤S168中确定最优预测模式不是最优帧间预测模式时，即，最优预测模式是最优帧内预测模式，选择单元136向画面内预测单元133通知以最优帧内预测模式生成的预测图像的选择。

另外，在步骤S170中，画面内预测单元133将画面内预测信息输出到切片报头编码单元62，并且将处理前进到步骤S171。

在步骤S171中，算术单元123在从画面重排缓冲器122提供的视差图像中减去从选择单元136提供的预测图像。算术单元123将从该减法获得的图像作为残差信息输出到正交变换单元124。

在步骤S172中，正交变换单元124对来自算术单元123的残差信息执行正交变换，并且将从该结果获得的系数提供到量化单元125。

在步骤S173中，量化单元125对从正交变换单元124提供的系数进行量化。量化后的系数被输入到可逆编码单元126和逆量化单元128。

在步骤S174中，可逆编码单元126对从量化单元125提供的量化后的系数执行可逆编码。

在图14的步骤S175中，可逆编码单元126将从可逆编码处理获得的编码数据提供到存储缓冲器127以进行存储。

在步骤S176中，存储缓冲器127将所存储的编码数据输出到切片报头编码单元62。

在步骤S177中，逆量化单元128对从量化单元125提供的量化后的系数执行逆量化。

在步骤S178中，逆正交变换单元129对从逆量化单元128提供的系数执行逆正交变换，并且将从该结果获得的残差信息提供到加法单元130。

在步骤S179中，加法单元130将从逆正交变换单元129提供的残差信息和从选择单元136提供的预测图像相加，并且获得局部解码视差图像。加法单元130将所获得的视差图像提供到解块滤波器131并且作为参考图像提供到画面内预测单元133。

在步骤S180中，解块滤波器131通过对从加法单元130提供的局部解码视差图像执行滤波而去除块失真。

在步骤S181中，解块滤波器131将滤波后的视差图像提供到帧存储器132以进行存储。存储在帧存储器132中的视差图像作为参考图像被输出到运动预测和补偿单元134。随后，处理结束。

另外，图13和图14的步骤S162至S181的处理例如以编码单位为单位来执行。另外，为了便于说明，在图13和图14的视差图像编码处理中，通常执行画面内预测处理和运动补偿处理，但是在一些情况下实际上根据图片类型等仅执行处理之一。

如上所述，编码设备50使用关于视差图像的信息对预测图像进行校正，并且使用校正后的预测图像对视差图像进行编码。更具体地，编码设备50使用摄像装置之间的距离、最大视差值和最小视差值作为关于视差图像的信息对预测图像进行校正，以使得当深度方向上的主体的位置在预测图像与视差图像之间相同时视差值相同，并且使用校正后的预测图像对视差图像进行编码。因此，减小了根据关于视差图像的信息生成的视差图像与预测图像之间的差，并且提高了编码效率。特别地，当针对每个图片改变关于视差图像的信息时，提高了编码效率。

此外，编码设备50不是传送校正系数本身，而是传送用于计算校正系数的摄像装置之间的距离、最大视差值和最小视差值作为用于对预测图像进行校正的信息。这里，摄像装置之间的距离、最大视差值和最小视差值是用于生成视点的信息的一部分。因此，摄像装置之间的距离、最大视差值和最小视差值可以被共享作为用于对预测图像进行校正的信息和用于生成视点的信息的一部分。结果，可以减小编码位流的信息量。

[解码设备的实施例的配置示例]

图15是示出应用本技术的并且对从图1的编码设备50传送的编码位流进行解码的解码设备的实施例的配置示例的框图。

图15的解码设备150由多视点图像解码单元151、视点合成单元152和多视点图像显示单元153构成。解码设备150对从编码设备50传送的编码位流进行解码，并且使用从该结果获得的多视点彩色图像、多视点视差图像和用于生成视点的信息生成要显示的显示视点的彩色图像。

具体地，解码设备150的多视点图像解码单元151接收从图1的编码设备50传送的编码位流。多视点图像解码单元151从包括在所接收的编码位流中的PPS提取视差精度参数和传送标记。另外，多视点图像解码单元151根据传送标记，从编码位流的切片报头提取摄像装置之间的距离、最大视差值和最小视差值。多视点图像解码单元151生成包括视差精度参数、摄像装置之间的距离、最大视差值和最小视差值的用于生成视点的信息，并且将该信息提供到视点合成单元152。

此外，多视点图像解码单元151利用与图1的多视点图像编码单元55的编码方法对应的方法对包括在编码位流中的以切片为单位的多视点校正彩色图像的编码数据进行解码，并且生成多视点校正彩色图像。另外，多视点图像解码单元151用作解码单元。多视点图像解码单元151利用与多视点图像编码单元55的编码方法对应的方法，使用摄像装置之间的距离、最大视差值和最小视差值对包括在编码位流中的多视点视差图像的编码数据进行解码，并且生成多视点视差图像。多视点图像解码单元151将所生成的多视点校正彩色图像和多视点视差图像提供到视点合成单元152。

视点合成单元152使用来自多视点图像解码单元151的用于生成视点的信息，对来自多视点图像解码单元151的多视点视差图像执行具有与多视点图像显示单元153对应的视点数量的显示视点的翘曲（warp）的处理。具体地，视点合成单元152基于包括在用于生成视点的信息中的摄像装置之间的距离、最大视差值和最小视差值，以与视差精度参数对应的精度对多视点视差图像执行对显示视点进行翘曲的处理。此外，翘曲处理是从具有特定视点的图像到具有不同视点的图像的几何变换的处理。此外，除与多视点彩色图像对应的视点之外的视点包括在显示视点中。

另外，视点合成单元152使用具有从翘曲处理获得的显示视点的视差图像，对从多视点图像解码单元151提供的多视点校正彩色图像执行对显示视点进行翘曲的处理。视点合成单元152将具有从该结果获得的显示视点的彩色图像作为多视点合成彩色图像提供到多视点图像显示单元153。

多视点图像显示单元153显示从视点合成单元152提供的多视点合成彩色图像，以使得对于每个视点可视角度彼此不同。观看者可以通过分别利用右眼和左眼看见具有两个可选视点的每个图像而在不佩戴眼镜的情况下看见来自多个视点的3D图像。

如上所述，由于视点合成单元152基于视差精度参数以与视点精度参数对应的精度对多视点视差图像执行对显示视点进行翘曲的处理，因此视点合成单元152不需要无益地以高精度执行翘曲处理。

另外，由于视点合成单元152基于摄像装置之间的距离对多视点视差图像执行对显示视点进行翘曲的处理，因此当在翘曲处理之后与多视点视差图像的视差值对应的视差不在适当范围内时，可以基于摄像装置之间的距离将视差值校正为与适当范围内的视差对应的值。

[多视点图像解码单元的配置示例]

图16是示出图15的多视点图像解码单元151的配置示例的框图。

图16的多视点图像解码单元151由SPS解码单元171、PPS解码单元172、切片报头解码单元173和切片解码单元174构成。

多视点图像解码单元151的SPS解码单元171用作接收单元，接收从图1的编码设备50传送的编码位流，并且提取编码位流当中的SPS。SPS解码单元171将所提取的SPS和除SPS之外的编码位流提供到PPS解码单元172。

PPS解码单元172在从SPS解码单元171提供的除SPS之外的编码位流中提取PPS。PPS解码单元172将所提取的PPS、SPS以及除SPS和PPS之外的编码位流提供到切片报头解码单元173。

切片报头解码单元173在从PPS解码单元172提供的除SPS和PPS之外的编码位流中提取切片报头。当包括在来自PPS解码单元172的PPS中的传送标记是表示传送了一些东西的“1”时，切片报头解码单元173保持包括在切片报头中的摄像装置之间的距离、最大视差值和最小视差值，或者基于摄像装置之间的距离、最大视差值和最小视差值的差分编码结果而更新所保持的摄像装置之间的距离、最大视差值和最小视差值。切片报头解码单元173根据包括在所保持的摄像装置之间的距离、最大视差值、最小视差值和PPS中的视差精度参数而生成用于生成视点的信息，然后将该信息提供到视点合成单元152。

此外，切片报头解码单元173将作为除SPS、PPS和切片报头的与摄像装置之间的距离、最大视差值和最小视差值有关的信息之外的编码位流的以切片为单位的编码数据、SPS、PPS和切片报头提供到切片解码单元174。另外，切片报头解码单元173将摄像装置之间的距离、最大视差值和最小视差值提供到切片解码单元174。

切片解码单元174基于除与从切片报头解码单元173提供的SPS、PPS和切片报头的摄像装置之间的距离、最大视差值和最小视差值有关的信息之外的信息，使用与关于切片编码单元61（图5）的编码方法对应的方法对以切片为单位的复用彩色图像的编码数据进行解码。此外，切片解码单元174基于摄像装置之间的距离、最大视差值和最小视差值以及除与SPS、PPS和切片报头的摄像装置之间的距离、最大视差值和最小视差值有关的信息之外的信息，使用与关于切片编码单元61的编码方法对应的方法，对以切片为单位的复用视差图像的编码数据进行解码。切片报头解码单元173将从解码获得的多视点校正彩色图像和多视点视差图像提供到图15的视点合成单元152。

[切片解码单元的配置示例]

图17是示出图16的切片解码单元174当中的对具有一个可选视点的视差图像进行解码的解码单元的配置示例的框图。即，切片解码单元174当中的对多视点视差图像进行解码的解码单元由根据图17的视点数量的解码单元250构成。

图17的解码单元250由存储缓冲器251、可逆解码单元252、逆量化单元253、逆正交变换单元254、加法单元255、解块滤波器256、画面重排缓冲器257、D/A转换单元258、帧存储器259、画面内预测单元260、运动矢量生成单元261、运动补偿单元262、校正单元263和开关264构成。

解码单元250的存储缓冲器251从图16的切片报头解码单元173接收以切片为单位的具有预定视点的视差图像的编码数据并且存储该数据。存储缓冲器251将所存储的编码数据提供到可逆解码单元252。

可逆解码单元252通过对来自存储缓冲器251的编码数据执行诸如可变长度解码或算术解码的可逆解码来获得量化系数。可逆解码单元252将该量化系数提供到逆量化单元253。

逆量化单元253、逆正交变换单元254、加法单元255、解块滤波器256、帧存储器259、画面内预测单元260、运动补偿单元262和校正单元263执行与图6的逆量化单元128、逆正交变换单元129、加法单元130、解块滤波器131、帧存储器132、画面内预测单元133、运动预测和补偿单元134和校正单元135相同的处理，从而对具有预定视点的视差图像进行解码。

具体地，逆量化单元253对来自可逆解码单元252的量化系数执行逆量化，并且将从该结果获得的系数提供到逆正交变换单元254。

逆正交变换单元254对来自逆量化单元253的系数执行诸如逆离散余弦变换或逆卡洛变换的逆正交变换，并且将从该变换获得的残差信息提供到加法单元255。

加法单元255用作解码单元，并且通过将从逆正交变换单元254提供的作为解码目标视差图像的残差信息和从开关264提供的预测图像相加而对解码目标视差图像进行解码。加法单元255将从该结果获得的视差图像提供到解块滤波器256并且作为参考图像提供到画面内预测单元260。另外，当没有从开关264提供预测图像时，加法单元255将作为从逆正交变换单元254提供的残差信息的视差图像提供到解块滤波器256并且作为参考图像提供到画面内预测单元260。

解块滤波器256通过对从加法单元255提供的视差图像进行滤波而去除块失真。解块滤波器256将从该结果获得的视差图像提供到帧存储器259以进行存储，并且将该视差图像提供到画面重排缓冲器257。存储在帧存储器259中的视差图像被作为参考图像提供到运动补偿单元262。

画面重排缓冲器257以帧为单位存储从解块滤波器256提供的视差图像。画面重排缓冲器257将按用于存储编码的顺序的以帧为单位的视差图像重排为按原始显示顺序的视差图像，并且将该视差图像提供到D/A转换单元258。

D/A转换单元258对从画面重排缓冲器257提供的以帧为单位的视差图像执行D/A转换，并且将该视差图像作为具有预定视点的视差图像提供到视点合成单元152（图15）。

画面内预测单元260使用从加法单元255提供的参考图像以由从切片报头解码单元173（图16）提供的画面内预测信息表示的最优帧内预测模式执行画面内预测。另外，画面内预测单元260将预测图像提供到开关264。

运动矢量生成单元261将所保持的运动矢量当中的由包括在从切片报头解码单元173提供的运动信息中的预测矢量索引表示的运动矢量和运动矢量残差相加，并且恢复运动矢量。运动矢量生成单元261保持所恢复的运动矢量。另外，运动矢量生成单元261将所恢复的运动矢量、包括在运动信息中的最优帧间预测模式等提供到运动补偿单元262。

运动补偿单元262用作预测图像生成单元，并且基于从运动矢量生成单元261提供的运动矢量和最优帧间预测模式通过从帧存储器259读取参考图像而执行运动补偿处理。运动补偿单元262将从该结果生成的预测图像提供到校正单元263。

校正单元263以与图6的校正单元135相同的方式，基于从图16的切片报头解码单元173提供的最大视差值、最小视差值和摄像装置之间的距离而生成用于对预测图像进行校正的校正系数。另外，校正单元263以与校正单元135相同的方式，使用校正系数对从运动补偿单元262提供的以最优帧间预测模式的预测图像进行校正。校正单元263将校正后的预测图像提供到开关264。

当预测图像是从画面内预测单元260提供的时，开关264将预测图像提供到加法单元255，并且当预测图像是从运动补偿单元262提供的时，开关264将预测图像提供到加法单元255。

[解码设备进行的处理的描述]

图18是描述图15的解码设备150的解码处理的流程图。解码处理例如在从图1的编码设备50传送编码位流时开始。

在图18的步骤S201中，解码设备150的多视点图像解码单元151接收从图1的编码设备50传送的编码位流。

在步骤S202中，多视点图像解码单元151执行对所接收的编码位流进行解码的多视点解码处理。以下将参照图19描述多视点解码处理的细节。

在步骤S203中，视点合成单元152用作彩色图像生成单元，并且使用从多视点图像解码单元151提供的用于生成视点的信息、多视点校正彩色图像和多视点视差图像而生成多视点合成彩色图像。

在步骤S204中，多视点图像显示单元153显示从视点合成单元152提供的多视点合成彩色图像，以使得对于每个视点可视角度彼此不同，并且结束该处理。

图19是描述图18的步骤S202的多视点解码处理的细节的流程图。

在图19的步骤S221中，多视点图像解码单元151的SPS解码单元171（图16）在所接收的编码位流当中提取SPS。SPS解码单元171将所提取的SPS和除SPS之外的编码位流提供到PPS解码单元172。

在步骤S222中，PPS解码单元172在从SPS解码单元171提供的除SPS之外的编码位流中提取PPS。PPS解码单元172将所提取的PPS和SPS以及除SPS和PPS之外的编码位流提供到切片报头解码单元173。

在步骤S223中，切片报头解码单元173将包括在PPS解码单元172提供的PPS中的视差精度参数作为用于生成视点的信息的一部分提供到视点合成单元152。

在步骤S224中，切片报头解码单元173确定包括在来自PPS解码单元172的PPS中的传送标记是否是表示传送了一些东西的“1”。另外，以切片为单位执行步骤S225至S234的处理。

当在步骤S224中确定传送标记是表示传送了一些东西的“1”时，处理进行到步骤S225。在步骤S225中，切片报头解码单元173在从PPS解码单元172提供的除SPS和PPS之外的编码位流中提取包括最大视差值、最小视差值和摄像装置之间的距离或者最大视差值、最小视差值和摄像装置之间的距离的差分编码结果的切片报头。

在步骤S226中，切片报头解码单元173确定切片类型是否是帧内类型。当在步骤S226中确定切片类型是帧内类型时，处理进行到步骤S227。

在步骤S227中，切片报头解码单元173保持在步骤S225中所提取的切片报头中包括的最小视差值，并且将该最小视差值作为用于生成视点的信息的一部分提供到视点合成单元152。

在步骤S228中，切片报头解码单元173保持在步骤S225中所提取的切片报头中包括的最大视差值，并且将该最大视差值作为用于生成视点的信息的一部分提供到视点合成单元152。

在步骤S229中，切片报头解码单元173保持在步骤S225中所提取的切片报头中包括的摄像装置之间的距离，并且将该摄像装置之间的距离作为用于生成视点的信息的一部分提供到视点合成单元152。另外，处理进行到步骤S235。

另一方面，当在步骤S226中确定切片类型不是帧内类型时，即，切片类型是帧间类型，处理进行到步骤S230。

在步骤S230中，切片报头解码单元173将在步骤S225中所提取的切片报头中包括的最小视差值的差分编码结果和所保持的最小视差值相加。切片报头解码单元173将通过加法恢复的最小视差值作为用于生成视点的信息的一部分提供到视点合成单元152。

在步骤S231中，切片报头解码单元173将在步骤S225中所提取的切片报头中包括的最大视差值的差分编码结果和所保持的最大视差值相加。切片报头解码单元173将通过加法恢复的最大视差值作为用于生成视点的信息的一部分提供到视点合成单元152。

在步骤S232中，切片报头解码单元173将在步骤S225中所提取的切片报头中包括的摄像装置之间的距离的差分编码结果和所保持的摄像装置之间的距离相加。切片报头解码单元173将通过加法恢复的摄像装置之间的距离作为用于生成视点的信息的一部分提供到视点合成单元152。然后，处理进行到步骤S235。

另一方面，当在步骤S224中确定传送标记不是表示传送了一些东西的“1”时，即，传送标记是表示没有传送东西的“0”，处理进行到步骤S233。

在步骤S233中，切片报头解码单元173在从PPS解码单元172提供的除SPS和PPS之外的编码位流中提取没有最大视差值、最小视差值、摄像装置之间的距离以及没有最大视差值、最小视差值和摄像装置之间的距离的差分编码结果的切片报头。

在步骤S234中，切片报头解码单元173通过将所保持的最大视差值、最小视差值和摄像装置之间的距离（即，按编码顺序的先前切片的最大视差值、最小视差值和摄像装置之间的距离）设置为要处理的目标切片的最大视差值、最小视差值和摄像装置之间的距离，恢复要处理的目标切片的最大视差值、最小视差值和摄像装置之间的距离。另外，切片报头解码单元173将所恢复的最大视差值、最小视差值和摄像装置之间的距离作为用于生成视点的信息的一部分提供到视点合成单元152，并且将处理前进到步骤S235。

在步骤S235中，切片解码单元174使用与关于切片编码单元61（图5）的编码方法对应的方法对以切片为单位的编码数据进行解码。具体地，切片解码单元174基于来自切片报头解码单元173的除与SPS、PPS、摄像装置之间的距离、最大视差值和最小视差值有关的信息之外的切片报头，使用与关于切片解码单元61的编码方法对应的方法，对以切片为单位的多视点彩色图像的编码数据进行解码。另外，切片解码单元174基于来自切片报头解码单元173的除与SPS、PPS、摄像装置之间的距离、最大视差值和最小视差值有关的信息之外的切片报头以及摄像装置之间的距离、最大视差值和最小视差值，使用与关于切片编码单元61的编码方法对应的方法，执行对以切片为单位的多视点校正图像的编码数据进行解码的视差图像解码处理。以下将参照图20描述视差图像解码处理的细节。切片报头解码单元173将从解码获得的多视点校正彩色图像和多视点视差图像提供到图15的视点合成单元152。

图20是描述图16的切片解码单元174的视差图像解码处理的细节的流程图。针对每个视点执行视差图像解码处理。

在图20的步骤S261中，解码单元250的存储缓冲器251从图16的切片报头解码单元173接收具有预定视点的视差图像的以切片为单位的编码数据，并且存储该编码数据。存储缓冲器251将所存储的编码数据提供到可逆解码单元252。

在步骤S262中，可逆解码单元252对从存储缓冲器251提供的编码数据执行可逆解码，并且将从该结果获得的量化系数提供到逆量化单元253。

在步骤S263中，逆量化单元253对来自可逆解码单元252的量化系数执行逆量化，并且将从该结果获得的系数提供到逆正交变换单元254。

在步骤S264中，逆正交变换单元254对来自逆量化单元253的系数执行逆正交变换，并且将从该结果获得的残差信息提供到加法单元255。

在步骤S265中，运动矢量生成单元261确定是否提供了来自图16的切片报头解码单元173的运动信息。当在步骤S265中确定提供了运动信息时，处理进行到步骤S266。

在步骤S266中，运动矢量生成单元261基于运动信息和所保持的运动矢量而恢复运动矢量，并且保持该运动矢量。运动矢量生成单元261将所恢复的运动矢量，包括在运动信息中的最优帧间预测模式等提供到运动补偿单元262。

在步骤S267中，运动补偿单元262基于从运动矢量生成单元261提供的运动矢量和最优帧间预测模式，通过从帧存储器259读取参考图像而执行运动补偿处理。运动补偿单元262将从运动补偿处理生成的预测图像提供到校正单元263。

在步骤S268中，校正单元263以与图6的校正单元135相同的方式，基于从图16的切片报头解码单元173提供的最大视差值、最小视差值和摄像装置之间的距离而计算校正系数。

在步骤S269中，校正单元263以与校正单元135相同的方式，使用校正系数对从运动补偿单元262提供的最优帧间预测模式的预测图像进行校正。校正单元263通过开关264将校正后的预测图像提供到加法单元255，并且将处理进行到步骤S271。

另一方面，当在步骤S265中确定没有提供运动信息时，即，画面内预测信息从切片报头解码单元173提供到画面内预测单元260，处理进行到步骤S270。

在步骤S270中，画面内预测单元260使用从加法单元255提供的参考图像，执行从切片报头解码单元173提供的画面内预测信息指示的最优帧内预测模式的画面内预测处理。画面内预测单元260通过开关264将从该结果生成的预测图像提供到加法单元255，并且将处理前进到步骤S271。

在步骤S271中，加法单元255将从逆正交变换单元254提供的残差信息和从开关264提供的预测图像相加。加法单元255将从该结果获得的视差图像提供到解块滤波器256并且作为参考图像提供到画面内预测单元260。

在步骤S272中，解块滤波器256对从加法单元255提供的视差图像执行滤波，并且去除块失真。

在步骤S273中，解块滤波器256将滤波后的视差图像提供到帧存储器259，存储该视差图像，并且将该视差图像提供到画面重排缓冲器257。存储在帧存储器259中的视差图像被作为参考图像提供到运动补偿单元262。

在步骤S274中，画面重排缓冲器257以帧为单位存储从解块滤波器256提供的视差图像，将按用于存储编码的顺序的以帧为单位的视差图像重排为按原始显示顺序的视差图像，并且将该视差图像提供到D/A转换单元258。

在步骤S275中，D/A转换单元258对从画面重排缓冲器257提供的以帧为单位的视差图像执行D/A转换，并且将该视差图像作为具有预定视点的视差图像提供到图15的视点合成单元152。

如上所述，解码设备150接收通过使用以与视差图像有关的信息校正的预测图像进行编码而提高了其编码效率的视差图像的编码数据、以及包括与视差图像有关的信息的编码位流。另外，解码设备150使用与视差图像有关的信息对预测图像进行校正，并且使用校正后的预测图像对视差图像的编码数据进行解码。

更具体地，解码设备150接收使用具有摄像装置之间的距离、最大视差值和最小视差值作为与视差图像有关的信息的校正后预测图像而编码的编码数据以及摄像装置之间的距离、最大视差值和最小视差值。另外，解码设备150使用摄像装置之间的距离、最大视差值和最小视差值对预测图像进行校正，并且使用校正后的预测图像对视差图像的编码数据进行解码。以此方式，解码设备150可以对通过使用具有与视差图像有关的信息的校正后预测图像进行编码而提高了其编码效率的视差图像的编码数据进行解码。

此外，编码设备50通过允许最大视差值、最小视差值和摄像装置之间的距离作为用于对预测图像进行校正的信息包括在切片报头中而传送最大视差值、最小视差值和摄像装置之间的距离，但是传送方法不限于此。

[用于对预测图像进行校正的信息的传送方法的描述]

图21是描述用于对预测图像进行校正的信息的传送方法的图。

如上所述，图21的第一传送方法是通过允许最大视差值、最小视差值和摄像装置之间的距离作为用于对预测图像进行校正的信息包括在切片报头中而传送最大视差值、最小视差值和摄像装置之间的距离的方法。在该情况下，可以通过共享用于对预测图像进行校正的信息和用于生成视点的信息而减小编码位流的信息量。然而，由于需要在解码设备150中使用最大视差值、最小视差值和摄像装置之间的距离来计算校正系数，因此解码设备150的处理负荷比下述第二传送方法的处理负荷大。

另一方面，图21的第二传送方法是通过将校正系数作为用于对预测图像进行校正的信息包括在切片报头中而传送校正系数本身的方法。在该情况下，由于最大视差值、最小视差值和摄像装置之间的距离没有用于对预测图像进行校正，因此通过将其作为用于生成视点的信息的一部分包括在编码时不需要参考的例如SEI（补充增强信息）中来传送最大视差值、最小视差值和摄像装置之间的距离。在第二传送方法中，由于传送了校正系数，因此不需要在解码设备150中计算校正系数，并且解码设备150的处理负荷小于第一传送方法的处理负荷。然而，由于新传送了校正系数，编码位流的信息量变得更大。

另外，在以上描述中，使用最大视差值、最小视差值和摄像装置之间的距离对预测图像进行校正，但是可以使用与其它视差有关的信息（例如，表示多视点彩色图像捕获单元51的深度方向上的成像位置的成像位置信息等）对预测图像进行校正。

在该情况下，作为使用与其它视差有关的信息生成的校正系数的最大视差值、最小视差值、摄像装置之间的距离和附加校正系数作为用于对预测图像进行校正的信息包括在要通过图21的第三传送方法传送的切片报头中。以此方式，当使用除最大视差值、最小视差值和摄像装置之间的距离之外的与视差有关的信息对预测图像进行校正时，可以通过减小由于与视差有关的信息导致的预测图像与视差图像之间的差异而提高编码效率。然而，由于新传送了附加校正系数，因此编码位流的信息量变得比第一传送方法的信息量大。此外，由于需要使用最大视差值、最小视差值和摄像装置之间的距离计算校正系数，因此解码设备150的处理负荷比第二传送方法的处理负荷大。

图22是示出当利用第二传送方法传送用于对预测图像进行校正的信息时的编码位流的配置示例的图。

在图22的示例中，构成PPS#0的同一PSS单位的一个帧内类型切片和两个帧间类型切片的校正系数分别与按编码顺序的先前切片的校正系数不匹配。因此，表示传送了一些东西的传送标记“1”包括在PPS#0中。此外，这里，传送标记是表示是否传送了校正系数的标记。

另外，在图22的示例中，构成PPS#0的同一PPS单位的帧内类型切片的校正系数a是1，并且校正系数b是0。因此，等于“1”的校正系数a和等于“0”的校正系数b包括在切片的切片报头中。

此外，在图22的示例中，构成PPS#0的同一PPS单位的第一帧间类型切片的校正系数a是3，并且校正系数b是2。因此，从切片的等于“3”的校正系数a减去按编码顺序的先前帧内类型切片的等于“1”的校正系数a的差“+2”作为校正系数的差分编码结果包括在切片的切片报头中。以相同方式，校正系数b的差“+2”被包括作为校正系数b的差分编码结果。

另外，在图22的示例中，构成PPS#0的同一PPS单位的第二帧间类型切片的校正系数a是0，并且校正系数b是-1。因此，从切片的等于“0”的校正系数a减去按编码顺序的先前第一帧间类型切片的等于“3”的校正系数a的差“-3”作为校正系数的差分编码结果包括在切片的切片报头中。以相同方式，校正系数b的差“-3”被包括作为校正系数b的差分编码结果。

另外，在图22的示例中，构成PPS#1的一个帧内类型切片和两个帧间类型切片的校正系数分别与按编码顺序的先前切片的校正系数匹配。因此，表示没有传送东西的传送标记“0”包括在PPS#1中。

图23是示出当利用第三传送方法传送用于对预测图像进行校正的信息时的编码位流的配置示例的图。

在图23的示例中，构成PPS#0的同一PPS单位的一个帧内类型切片和两个帧间类型切片的最小视差值、最大视差值、摄像装置之间的距离和附加校正系数分别与按编码顺序的先前切片的最小视差值、最大视差值、摄像装置之间的距离和附加校正系不匹配。因此，表示传送了一些东西的传送标记“1”包括在PPS#0中。此外，这里，传送标记是表示是否传送了最小视差值、最大视差值、摄像装置之间的距离和附加校正系数的标记。

此外，在图23的示例中，构成PPS#0的同一PPS单位的切片的最小视差值、最大视差值和摄像装置之间的距离与图7的情况中相同，并且包括在每个切片的切片报头中的与最小视差值、最大视差值和摄像装置之间的距离有关的信息与图7的情况相同，因此将不重复描述。

另外，在图23的示例中，构成PPS#0的同一PPS单位的帧内类型切片的附加校正系数是5。因此，附加校正系数“5”包括在切片的切片报头中。

另外，在图23的示例中，构成PPS#0的同一PPS单位的第一帧间类型切片的附加校正系数是7。因此，从切片的附加校正系数“7”减去按编码顺序的先前帧内类型切片的附加校正系数“5”的差“+2”作为附加校正系数的差分编码结果包括在切片的切片报头中。

此外，在图23的示例中，构成PPS#0的同一PPS单位的第二帧间类型切片的附加校正系数是8。因此，从切片的附加校正系数“8”减去按编码顺序的先前第一帧间类型切片的附加校正系数“7”的差“+1”作为附加校正系数的差分编码结果包括在切片的切片报头中。

此外，在图23的示例中，构成PPS#1的同一PPS单位的一个帧内类型切片和两个帧间类型切片的最小视差值、最大视差值、摄像装置之间的距离和附加校正系数分别与按编码顺序的先前切片的最小视差值、最大视差值、摄像装置之间的距离和附加校正系数匹配。因此，表示没有传送东西的传送标记“0”包括在PPS#1中。

编码设备50可使用图21的第一至第三方法中的任一个来传送用于对预测图像进行校正的信息。另外，编码设备50可通过允许标识被用作传送方法的第一至第三传送方法当中的一种传送方法的标识信息（例如，标记或ID）包括在编码位流中来传送该信息。此外，可以根据使用编码位流的应用考虑到编码位流的数据量与解码的处理负荷之间的平衡来适当地选择图21的第一至第三传送方法。

此外，在本实施例中，用于对预测图像进行校正的信息作为与编码有关的信息包括在切片报头中，但是用于对预测图像进行校正的信息的布置区域不限于切片报头，只要在编码时参考该区域即可。例如，用于对预测图像进行校正的信息可以以新的NAL（网络抽象层）单位（诸如PPS的NAL单位等的现有NAL单位或HEVC标准提出的APS（自适应参数集）的NAL单位）来布置。

例如，当校正系数和附加校正系数在多个图片中是共同的时，可以通过以能够适用于多个图片的NAL单位（例如，PPS的NAL单位等）布置共同值来提高传送效率。换言之，在该情况下，由于可传送多个图片中共同的校正系数和附加校正系数，因此不需要如将值布置在切片报头中的情况下一样针对每个切片传送校正系数和附加校正系数。

因此，例如，当彩色图像是具有闪烁效果或淡入效果的彩色图像时，由于诸如最小视差值、最大视差值和摄像装置之间的距离的参数不太可能改变，因此通过以PPS的NAL单位布置校正系数和附加校正系数来提高传送效率。

当校正系数和附加校正系数对每个图片彼此不同时，可以将校正系数和附加校正系数布置在切片报头中，并且当值在多个图片中是共同的时，可以将校正系数和附加校正系数布置在切片报头的上层（例如，PPS的NAL单位等）。

此外，视差图像可以是由表示具有与视差图像对应的视点的彩色图像的每个像素的主体在深度方向上的位置的深度值构成的图像（深度图像）。在该情况下，最大视差值和最小视差值分别是在多视点视差图像中获得的深度方向上的位置的世界坐标值的最大值和最小值。

此外，本技术可以应用于除HEVC方法之外的编码方法，诸如AVC、MVC（多视点视频编码）等。

<切片编码单元的其他配置>

图24是提取构成多视点图像编码单元55（图1）的切片编码单元61（图5）和切片报头编码单元62的图。在图24中，以不同的附图标记进行描述，以便区分图5所示的切片编码单元61和切片报头编码单元62，但是由于图5所示的切片编码单元61的基本处理与切片报头编码单元62的基本处理相同，因此将不重复其描述。

切片编码单元301执行与上述切片编码单元61的编码处理相同的编码处理。即，切片编码单元301使用HEVC方法以切片为单位对从多视点彩色图像校正单元52（图1）提供的多视点校正彩色图像执行编码。

此外，切片编码单元301使用从图1的用于生成视点的信息生成单元54提供的用于生成视点的信息当中的最大视差值、最小视差值和摄像装置之间的距离作为关于视差的信息，利用依照HEVC方法的方法，以切片为单位对来自多视点视差图像生成单元53的多视点视差图像执行编码。切片编码单元301将从编码获得的以切片为单位的编码数据提供到切片报头编码单元302。

切片报头编码单元302将从用于生成视点的信息生成单元54（图1）提供的用于生成视点的信息当中的最大视差值、最小视差值和摄像装置之间的距离设置为要处理的当前目标切片的最大视差值、最小视差值和摄像装置之间的距离并保持。另外，切片报头编码单元62确定在同一PPS单位中要处理的当前目标切片的最大视差值、最小视差值和摄像装置之间的距离是否分别与按编码顺序的先前切片的最大视差值、最小视差值和摄像装置之间的距离匹配。

此外，当由表示深度方向上的位置（距离）的深度值构成的深度图像用作视差图像时，上述最大视差值和最小视差值分别成为在多视点视差图像中获得的深度方向上的位置的世界坐标值的最大值和最小值。尽管这里是描述最大视差值和最小视差值的部分，但是当由表示深度方向上的位置的深度值构成的深度图像用作视差图像时，这些值可以由深度方向上的位置的世界坐标值的最大值和最小值代替。

图25是示出切片编码单元301的内部配置示例的图。图25所示的切片编码单元301由A/D转换单元321、画面重排缓冲器322、算术单元323、正交变换单元324、量化单元325、可逆编码单元326、存储缓冲器327、逆量化单元328、逆正交变换单元329、加法单元330、解块滤波器331、帧存储器332、画面内预测单元333、运动预测和补偿单元334、校正单元335、选择单元336和速率控制单元337构成。

图25所示的切片编码单元301具有与图6所示的编码单元120相同的配置。即，图25所示的切片编码单元301的A/D转换单元321至速率控制单元337分别具有与图6所示的编码单元120的A/D转换单元121至速率控制单元137的功能相同的功能。因此，将不重复具体描述。

图25所示的切片编码单元301具有与图6所示的编码单元120相同的配置，但是校正单元335的内部配置与图6所示的编码单元120的校正单元135的配置不同。图26中示出了校正单元335的配置。

图26所示的校正单元335由深度校正单元341、亮度校正单元342、代价计算单元343和设置单元344构成。以下将参照流程图描述每个单元执行的处理。

图27是用于描述视差和深度的图。在图27中，安装摄像装置C1的位置由C1来表示，并且安装摄像装置C2的位置由C2来表示。可以由摄像装置C1和C2对具有不同视点的彩色图像进行拍摄。另外，摄像装置C1和C2以距离L隔开安装。M表示作为成像目标的对象，并且被记作对象M。这里，f表示摄像装置C1的焦距。

根据上述关系建立以下表达式。

Z=(L/D)x f

在该表达式中，Z表示视差图像（深度图像）的主体在深度方向上的的位置（对象M与摄像装置C1（摄像装置C2）之间在深度方向上的距离）。D表示拍摄视差矢量（的x分量）并且表示视差值。换言之，D表示在两个摄像装置之间生成的视差。具体地，D(d)表示从距摄像装置C1成像的彩色图像上的水平方向上的对象M的位置的彩色图像的中心的距离u1减去距摄像装置C2成像的彩色图像上的水平方向上的对象M的位置的彩色图像的中心的距离u2的值。在上述表达式中，视差值D和位置Z可以唯一地转换。因此，视差图像和深度图像在以下统称为深度图像。以下进一步继续以上表达式满足的关系以及视差值D与深度方向上的位置Z之间的关系的描述。

图28和图29是用于描述摄像装置成像的图像、深度和深度值的关系的图。摄像装置401对柱体411、面部412和房屋413进行成像。柱体411、面部412和房屋413从靠近摄像装置401的一侧开始按顺序布置。此时，布置在距摄像装置401最近的位置的柱体411在深度方向上的位置被设置为深度方向上的位置的世界坐标值的最小值Z_near，并且布置在距摄像装置401的最远位置的房屋413的位置被设置为深度方向上的位置的世界坐标值的最大值Z_far。

图29是描述用于生成视点的信息的深度方向上的位置的最小值Z_near与最大值Z_far之间的关系的图。在图29中，水平轴是归一化之前的深度方向上的位置的倒数值，并且垂直轴是深度图像的像素值。如图29所示，当使用最大值Z_far的倒数值和最小值Z_near的倒数值时，作为每个像素的像素值的深度值被归一化为例如0至255的值。此外，通过将作为0至255的值的、归一化之后的每个像素的深度值设置为像素值来生成深度图像。

图29所示的曲线图对应于图2所示的曲线图。图29所示的曲线图是示出用于生成视点的信息的深度位置的最小值与最大值之间的关系的曲线图，并且图2所示的曲线图是示出用于生成视点的信息的最大视差值与最小视差值之间的关系的曲线图。

如参照图2所描述的，视差图像的每个像素的像素值I由使用像素的归一化之前的视差值d、最小视差值Dmin和最大视差值Dmax的公式（1）来表示。这里，公式（1）被再次示出为如下的公式（11）。

[表达式9]

$I=\frac{255*(d-D_{\min })}{D_{\max }-D_{\min }}...\left(11\right)$

深度图像的每个像素的像素值y由使用像素的归一化之前的深度值1/Z、最小值Z_near和最大值Z_far的以下公式（13）来表示。此外，这里，位置Z的倒数值用作深度值，但是位置Z也可以原样用作深度值。

[表达式10]

$y=255\&CenterDot;\frac{\frac{1}{Z}-\frac{1}{Z_{\mathrm{far}}}}{\frac{1}{Z_{\mathrm{near}}}-\frac{1}{Z_{\mathrm{far}}}}...\left(13\right)$

如根据公式（13）所理解的，深度图像的像素值y是根据最大值Z_far和最小值Z_near算出的值。如参照图28所描述的，最大值Z_far和最小值Z_near是根据要成像的对象的位置关系而确定的值。因此，当要成像的图像中的对象的位置关系改变时，最大值Z_far和最小值Z_near根据该改变而改变。

这里，将参照图30描述对象的位置关系的改变。图30的左侧示出了摄像装置401在时间T₀成像的图像的位置关系，并且还示出了与图28所示的位置关系相同的位置关系。当时间T₀改变为时间T₁时，位于靠近摄像装置401的柱体411消失，以使得呈现面部412与房屋413之间的位置关系不改变的情况。

在该情况下，当时间T₀改变为时间T₁时，最小值Z_near改变为最小值Z_near’。即，在柱体411在深度方向上的位置Z在时间T₀是最小值Z_near时，柱体411消失，然后在最靠近摄像装置401的位置处的对象改变为面部412，使得最小值Z_near（Z_near’）的位置在时间T₁根据该改变而改变为面部412的位置Z。

时间T₀处的最小值Z_near与最大值Z_far之间的差（范围）被设置为示出了深度方向上的位置的范围的深度范围A，并且在时间T₁处的最小值Z_near’与最大值Z_far之间的差（范围）被设置为深度范围B。在该情况下，深度范围A改变为深度范围B。这里，如上所述，由于深度图像的像素值y是当再次参考公式（13）时根据最大值Z_far和最小值Z_near而算出的值，因此在深度范围A改变为深度范围B时，使用这样的值算出的像素值发生改变。

例如，在图30的左侧示出了时间T₀处的深度图像421。柱体411的像素值大（亮），这是由于柱体411位于深度图像421前方，并且面部412和房屋413的像素值比柱体411的像素值小（暗），这是由于面部412和房屋413位于比柱体411远。以相同方式，在图30的右侧示出了时间T₁处的深度图像522。由于柱体411消失，因此与深度图像421相比，深度范围变小并且面部412的像素值变大（亮）。这是由于甚至当如上所述由于深度范围改变而使得最大值Z_far和最小值Z_near位于同一位置Z时，通过使用最大值Z_far和最小值Z_near的公式（13）获取的像素值y也改变。

然而，由于在时间T₀和时间T₁处面部412的位置没有改变，因此优选地，在时间T₀和时间T₁处面部412的深度图像的像素值不突然改变。即，当深度方向上的位置（距离）的最大值和最小值的范围突然改变时，即使深度方向上的位置相同，深度图像的像素值（亮度值）也相当大地改变，因此可能变为不可预测的。因此，将描述对值进行控制以防止这样的情况的情况。

图31与图30所示的图相同。然而，在图31的右侧所示的时间T₁处的对象的位置关系被处理为使得当假设柱体411’位于摄像装置401前方时，最小值Z_near没有改变。通过该处理，可以在没有改变的情况下处理上述深度范围A和深度范围B。因此，可以降低在深度方向上的距离的最大值和最小值的范围没有突然改变的情况下以及在当深度方向上的位置相同时深度图像的像素值（亮度值）没有显著改变的情况下可能发生不可预测情况的可能性。

另外，如图32所示，假设对象的位置关系改变的情况。在图32所示的对象的位置关系中，在图32的左侧所示的时间T₀处的位置关系与图30和图31所示的情况相同，并且情况是柱体411、面部412和房屋413从靠近摄像装置401的一侧开始按顺序放置。

当从以上状况面部412在时间T₁向摄像装置401侧移动并且柱体411向摄像装置401侧移动时，由于最小值Z_near变为最小值Z_near’，因此与最大值Z_far的差改变，并且深度范围改变，如图32所示。深度方向上的位置的最大值和最小值的范围的这种突然改变被处理为使得柱体411的位置没有如参照图31所述的那样改变，以使得可以防止当深度方向上的位置相同时深度图像的像素值（亮度值）的显著改变。

在图32所示的情况下，由于面部412向摄像装置401的方向移动，因此与时间T₀处的深度方向上的面部412的位置相比，面部412在深度方向上的位置变小（深度图像的像素值（亮度值）变大）。然而，当执行防止当深度方向上的上述位置相同时深度图像的像素值（亮度值）的显著改变的处理时，面部412的深度图像的像素值可能不被设置为适当的像素值（亮度值），其中，深度图像的像素值对应于深度方向上的位置。因此，在执行了参照图31的上述处理之后，执行面部412等的像素值（亮度值）变为适当像素值（亮度值）的处理。以此方式，当深度方向上的位置相同时，执行防止深度图像的像素值的显著改变的处理和设置适当像素值（亮度值）的处理。

将参照图33和图34的流程图描述当执行上述处理时与对深度图像进行编码有关的处理。图33和图34是描述图24至图26所示的切片编码单元301的视差图像编码处理的细节的流程图。针对每个视点执行视差图像编码处理。

图24至图26所示的切片编码单元301具有基本上与图5和图6所示的切片编码单元61的配置相同的配置，但是给出了校正单元335的内部配置不同的描述。因此，除了校正单元335执行的处理之外的处理基本上被执行作为与图5和图6所示的切片编码单元61的处理相同的处理，即，与图13和图14所示的流程图的处理相同的处理。这里，将不重复图13和图14所示的流程图中描述的重复部分的描述。

以与图13的步骤S160至S163和步骤S166至S174的处理相同的方式执行图33的步骤S300至S303和步骤S305至S313的处理。然而，由图26的代价计算单元343执行步骤S305的处理，并且由设置单元344执行步骤S308的处理。此外，以与图14的步骤S175至S181的处理相同的方式执行图34的步骤S314至S320的处理。即，除了在步骤S304中执行的预测图像生成处理与图13所示的流程图的处理不同之外，基本上执行相同的处理。

这里，将参照图35的流程图描述在步骤S304中执行的预测图像生成处理。在步骤S331中，深度校正单元341（图26）确定要处理的目标深度图像的像素值是否是视差值（视差）。

在步骤S331中，确定要处理的目标深度图像的像素值是视差值，并且处理进行到步骤S332。在步骤S332中，计算用于视差值的校正系数。用于视差值的校正系数可以通过以下公式（14）来获取。

[表达式11]

$\begin{array}{c}{V_{\mathrm{ref}}}^{\&prime;}\\ =\frac{L_{\mathrm{cur}}{F}_{\mathrm{cur}}}{L_{\mathrm{ref}}{F}_{\mathrm{ref}}}\&CenterDot;\frac{\mathrm{Dre}{f}_{\max }-\mathrm{Dre}{f}_{\min }}{{\mathrm{Dcur}}_{\max }-{\mathrm{Dcur}}_{\min }}\&CenterDot;V_{\mathrm{ref}}+255\&CenterDot;\frac{L_{\mathrm{cur}}{F}_{\mathrm{cur}}}{L_{\mathrm{ref}}{F}_{\mathrm{ref}}}\&CenterDot;\frac{{\mathrm{Dref}}_{\max }-{\mathrm{Dcur}}_{\min }}{{\mathrm{Dcur}}_{\max }-{\mathrm{Dcur}}_{\min }}\\ =a{v}_{\mathrm{ref}}+b...\left(14\right)\end{array}$

在公式（14）中，Vref’和Vref分别表示校正之后的视差图像的预测图像的视差值和校正之前的视差图像的预测图像的视差值。另外，L_cur和L_ref分别表示要编码的目标视差图像的摄像装置之间的距离和视差图像的预测图像的摄像装置之间的距离。F_cur和F_ref分别表示要编码的目标视差图像的焦距和视差图像的预测图像的焦距。Dcur_min和Dref_min分别表示要编码的目标视差图像的最小视差值和视差图像的预测图像的最小视差值。Dcur_max和Dref_max分别表示要编码的目标视差图像的最大视差值和视差图像的预测图像的最大视差值。

深度校正单元341生成公式（14）的a和b作为视差值的校正系数。校正系数a表示视差的加权系数（视差加权系数），并且校正系数b表示视差的偏移（视差偏移）。深度校正单元341基于上述公式（14）使用视差加权系数和视差偏移而计算校正后的深度图像的预测图像的像素值。

这里，处理是用于基于指示视差的范围的视差范围而对作为视差图像（其是作为目标的深度图像）的像素值的视差进行归一化，使用视差加权系数作为深度加权系数以及使用视差偏移作为深度偏移的加权预测处理。这里，处理被适当地描述为深度加权预测处理。

另一方面，在步骤S331中，当确定要处理的目标深度图像的像素值不是视差值时，处理进行到步骤S333。在步骤S333中，计算深度方向上的位置（距离）的校正系数。深度方向上的位置（距离）的校正系数可以通过以下公式（15）来获取。

[表达式12]

$\begin{array}{c}{V_{\mathrm{ref}}}^{\&prime;}=\\ =\frac{\frac{1}{\mathrm{Zre}{f}_{\mathrm{near}}}-\frac{1}{{\mathrm{Zref}}_{\mathrm{far}}}}{\frac{1}{{\mathrm{Zcur}}_{\mathrm{near}}}-\frac{1}{{\mathrm{Zcur}}_{\mathrm{far}}}}\&CenterDot;V_{\mathrm{ref}}+255\&CenterDot;\frac{\frac{1}{{\mathrm{Zref}}_{\mathrm{far}}}-\frac{1}{{\mathrm{Zcur}}_{\mathrm{far}}}}{\frac{1}{{\mathrm{Zcur}}_{\mathrm{near}}}-\frac{1}{{\mathrm{Zcur}}_{\mathrm{far}}}}\\ =a{v}_{\mathrm{ref}}+b...\left(15\right)\end{array}$

在公式（15）中，Vref’和Vref分别表示校正之后的深度图像的预测图像的像素值和校正之前的深度图像的预测图像的像素值。另外，Zcur_near和Zref_near分别表示位于距要编码的目标深度图像最近的深度方向上的主体的位置（最小值Z_near）和位于距深度图像的预测图像最近的深度方向上的主体的位置（最小值Z_near）。Zcur_far和Zref_far分别表示位于距要编码的目标深度图像最远的深度方向上的主体的位置（最大值Z_far）和位于距深度图像的预测图像最远的深度方向上的主体的位置（最大值Z_far）。

深度校正单元341生成公式（15）中的a和b作为深度方向上的位置的校正系数。校正系数a表示深度值的加权系数（深度加权系数），并且校正系数b表示深度方向上的偏移（深度偏移）。深度校正单元341在根据基于公式（15）的深度加权系数和深度偏移进行校正之后计算深度图像的预测图像的像素值。

这里的处理是基于用于对作为深度图像（作为目标深度图像）的深度图像的像素值的深度值进行归一化的深度范围，使用深度加权系数作为深度加权系数以及使用深度偏移作为深度偏移的加权预测处理。这里，该处理被写为深度加权预测处理。

以此方式，使用根据要处理的目标深度图像的像素值是视差值（D）还是表示深度方向上的位置（距离）（Z）的深度值1/Z而变化的公式来计算校正系数。校正系数用于暂时计算校正后的预测图像。在这里使用术语“暂时”是由于在随后阶段执行亮度值的校正。当以此方式计算校正系数时，处理进行到步骤S334。

当以此方式计算校正系数时，设置单元344生成指示计算视差值的校正系数或计算深度方向上的位置（距离）的校正系数的信息，并且通过切片报头编码单元302将该信息传送到解码侧。

换言之，设置单元344确定基于用于对表示深度方向上的位置（距离）的深度值进行归一化的深度范围执行深度加权预测处理或基于用于对视差值进行归一化的视差范围执行深度加权预测处理，并且基于该确定设置标识执行哪个预测处理的深度标识数据，然后深度标识数据被传送到解码侧。

深度标识数据由设置单元344设置并且由切片报头编码单元302包括在切片报头中以发送。当这样的深度标识数据可以由编码侧和解码侧共享时，可以通过在解码侧参考深度标识数据而确定基于用于对表示深度方向上的位置（距离）的深度值进行归一化的深度范围而执行深度加权预测处理或基于用于对表示视差的视差值进行归一化的视差范围而执行深度加权预测处理。

此外，在根据切片的类型确定是否要计算校正系数之后，根据切片的类型可能不计算校正系数。具体地，当切片的类型是P切片、SP切片或B切片时，计算校正系数（执行深度加权预测处理），并且当切片的类型是其它切片时，可以不计算校正系数。

另外，由于一个图片由多个切片构成，根据切片的类型确定是否计算校正系数的配置可被设置为根据图片的类型（图片类型）确定是否计算校正系数的配置。例如，当图片类型是B图片时，可不计算校正系数。这里，将在假设根据切片的类型来确定是否要计算校正系数的情况下来继续描述。

当在P切片和SP切片的情况下执行深度加权预测处理时，设置单元344将例如depth_weighted_pred_flag设置为1，并且当不执行深度加权预测处理时，设置单元344将depth_weighted_pred_flag设置为0。depth_weighted_pred_flag可通过被切片报头编码单元302包括在切片报头中而容易地传送。

另外，当在B图片的情况下执行深度加权预测处理时，设置单元344将例如depth_weighted_bipred_flag设置为1，并且当不执行深度加权预测处理（跳过深度加权预测处理）时，设置单元344将depth_weighted_bipred_flag设置为0。depth_weighted_bipred_flag可通过被切片报头编码单元302包括在切片报头中而容易地传送。

如上所述，可通过在解码侧参考depth_weighted_pred_flag或depth_weighted_bipred_flag而确定是否需要计算校正系数。换言之，在解码侧根据切片的类型确定是否要计算校正系数，使得可以执行根据切片的类型控制不计算校正系数的处理。

在步骤S334中，由亮度校正单元342计算亮度校正系数。亮度校正系数例如可以通过应用AVC方法中的亮度校正来计算。AVC方法中的亮度校正是通过以与上述深度加权预测处理相同的方式、使用加权系数和偏移执行加权预测处理来校正的。

即，生成通过深度加权预测处理校正的预测图像，并且通过对校正后的预测图像执行用于校正亮度值的加权预测处理来生成用于对深度图像进行编码的预测图像（深度预测图像）。

在亮度校正系数的情况下，设置用于标识计算校正系数的情况和不计算校正系数的情况的数据，然后可将该数据传送到解码侧。例如，在P切片和SP切片中，当计算亮度值的校正系数时，例如，weighted_pred_flag被设置为1，并且当不计算亮度值的校正系数时，weighted_pred_flag被设置为0。weighted_pred_flag可通过由切片报头编码单元302包括在切片报头中来传送。

另外，当在B切片的情况下计算亮度值的校正系数时，例如，weighted_bipred_flag被设置为1，并且当不计算亮度值的校正系数时，weighted_bipred_flag被设置为0。weighted_bipred_flag可通过由切片报头编码单元302包括在切片报头中来传送。

在步骤S332或步骤S333中，在校正了归一化的偏差并且获取了转换为同一坐标系的效果之后，在步骤S334中执行校正亮度的偏差的处理。当在校正了亮度之后执行校正归一化的偏差的处理时，由于最小值Z_near和最大值Z_far之间的关系被破坏，因此不能适当地校正归一化的偏差。因此，预先校正归一化的偏差，然后校正亮度的偏差。

另外，描述了执行校正归一化的偏差的深度加权预测处理和校正亮度值的加权预测处理，但是可以配置仅执行预测处理之一。

以此方式，当计算校正系数时，处理进行到步骤S335。在步骤S335中由亮度校正单元342生成预测图像。已描述了预测图像的生成，因此将不重复其描述。此外，使用所生成的深度预测图像对深度图像进行编码，并且生成编码数据（深度流）以传送到解码侧。

描述接收以此方式生成的图像的解码设备。

[切片解码单元的配置]

图36是提取构成多视点图像解码单元151（图15）的切片报头解码单元173和切片解码单元174（图16）的图。在图36中，将通过给予不同的编码以便区分该切片报头解码单元和切片解码单元与图16的切片报头解码单元173和切片解码单元174来进行描述，但是基本处理与图5所示的切片报头解码单元173和切片解码单元174的基本处理相同，因此将不重复描述。

切片解码单元552基于除与从切片报头解码单元551提供的SPS、PPS和切片报头的摄像装置之间的距离、最大视差值和最小视差值有关的信息之外的信息，使用与切片编码单元301（图24）中的编码方法对应的方法对以切片为单位的复用彩色图像的编码数据进行解码。

另外，切片解码单元552基于除与SPS、PPS和切片报头的摄像装置之间的距离、最大视差值和最小视差值有关的信息之外的信息，摄像装置之间的距离，最大视差值和最小视差值，利用与切片编码单元301（图24）中的编码方法对应的方法，对以切片为单位的复用视差图像（复用深度图像）的编码数据进行解码。切片解码单元552将从解码获得的多视点校正彩色图像和多视点视差图像提供到图15的视点合成单元152。

图37是示出图35的切片解码单元552当中的对具有一个可选视点的深度图像进行解码的解码单元的配置示例的框图。即，切片解码单元532当中的对多视点视差图像进行解码的解码单元由具有多个视点的图37的切片解码单元552构成。

图37的切片解码单元552由存储缓冲器571、可逆解码单元572、逆量化单元573、逆正交变换单元574、加法单元575、解块滤波器576、画面重排缓冲器577、D/A转换单元578、帧存储器579、画面内预测单元580、运动矢量生成单元581、运动补偿单元582、校正单元583和开关584构成。

图37所示的切片解码单元552具有与图17所示的解码单元250相同的配置。即，图37所示的切片解码单元552的存储缓冲器571至开关584分别具有与图17所示的存储缓冲器251至开关534的功能相同的功能。因此，这里将不重复详细描述。

图37所示的切片解码单元552具有与图17所示的解码单元250相同的配置，但是校正单元583的内部配置与图17所示的校正单元263的内部配置不同。图38示出了校正单元583的配置。

图38所示的校正单元583由选择单元601、设置单元602、深度校正单元603和亮度校正单元604构成。将参照流程图描述由这些单元执行的处理。

图39是用于描述与深度图像的解码处理有关的处理的流程图。即，在上述编码侧的处理中，将描述在使用深度图像的深度预测图像和与具有预定视点的深度图像有关的信息所编码的具有预定视点的深度图像的深度流的接收侧执行的处理，该深度预测图像是使用与具有预定视点的深度图像有关的信息校正的。

图39是描述图36至图38所示的切片解码单元552的视差图像解码处理的细节的流程图。针对每个视点执行视差图像解码处理。

图39所示的切片解码单元552具有基本上与图16和图17所示的切片解码单元174相同的配置，但是描述了校正单元583的内部配置不同。因此，除了校正单元583执行的处理之外的处理基本上由通过与图16和图17所示的切片解码单元532的处理相同的处理（即，与图20所示的流程图的处理相同的处理）来执行。这里，将不重复在图20所示的流程图中描述的重复部分的描述。

图39的步骤S351至S357和步骤S359至S364的处理被执行为与图20的步骤S261至S267和步骤S270至S275相同的处理。即，关于在步骤S358中执行的预测图像生成处理，除了该处理与图20所示的流程图的处理不同之外，基本上执行相同的处理。

这里，将参照图40的流程图描述在步骤S358中执行的预测图像生成处理。

在步骤S371中，确定要处理的目标切片是P切片还是SP切片。在步骤S371中，当确定要处理的目标切片是P切片或SP切片时，处理进行到步骤S372。在步骤S372中，确定depth_weighted_pred_flag是否是1。

当在步骤S372中确定depth_weighted_pred_flag是1时，处理进行到步骤S373，并且当在步骤S372中确定depth_weighted_pred_flag不是1时，跳过步骤S373至S375的处理，然后处理进行到步骤S376。

在步骤S373中，确定要处理的目标深度图像的像素值是否是视差值。在步骤S373中，当确定要处理的目标深度图像的像素值是视差值时，处理进行到步骤S374。

在步骤S374中，由深度校正单元603计算视差值的校正系数。深度校正单元603基于最大视差值、最小视差值和摄像装置之间的距离，以与图26的深度校正单元341相同的方式计算校正系数（视差加权系数和视差偏移）。当计算了校正系数时，暂时计算校正后的预测图像。在这里使用术语“暂时”的原因在于，由于在随后处理中以与编码侧相同的方式对亮度值进行校正，因此该预测图像不是用于解码侧的最终预测图像。

另一方面，在步骤S373中，当确定要处理的目标深度图像的像素值不是视差值时，处理进行到步骤S375。在该情况下，由于要处理的目标深度图像的像素值是表示深度方向上的位置（距离）的深度值，因此在步骤S375中，深度校正单元603以与图26的深度校正单元341相同的方式，基于深度方向上的位置（距离）的最大值和最小值而计算校正系数（深度加权系数和深度偏移）。当计算了校正系数时，暂时计算校正后的预测图像。在这里使用术语“暂时”的原因在于，由于在随后处理中以与编码侧相同的方式对亮度值进行校正，因此该预测图像不是用于解码侧的最终预测图像。

当在步骤S374或步骤S375中计算了校正系数或者在步骤S372中确定了depth_weighted_pred_flag不是1时，处理进行到步骤S376。

在步骤S376中，确定weighted_pred_flag是否是1。在步骤S376中，当确定weighted_pred_flag是1时，处理进行到步骤S377。在步骤S377中，由亮度校正单元604计算亮度校正系数。亮度校正单元604以与图26的亮度校正单元342相同的方式，计算基于预定方法而算出的亮度校正系数。使用算出的校正系数计算校正了亮度值的预测图像。

以此方式，当计算了亮度校正系数或者当在步骤S376中确定weighted_pred_flag不是1时，处理进行到步骤S385。在步骤S385中，使用算出的校正系数来生成预测图像。

另一方面，在步骤S371中，当确定要处理的目标切片不是P切片或SP切片时，处理进行到步骤S378并且确定要处理的目标切片是否是B切片。在步骤S378中，当确定要处理的目标切片是B切片时，处理进行到步骤S379，并且当确定要处理的目标切片不是B切片时，处理进行到步骤S385。

在步骤S379中，确定depth_weighted_bipred_flag是否是1。在步骤S379中，当确定depth_weighted_bipred_flag是1时，处理进行到步骤S380，并且当确定depth_weighted_bipred_flag不是1时，跳过步骤S380至S382的处理，并且处理进行到步骤S383。

在步骤S380中，确定要处理的目标深度图像的像素值是否是视差值。在步骤S380中，当确定要处理的目标深度图像的像素值是视差值时，处理进行到步骤S381，并且由深度校正单元603计算视差值的校正系数。深度校正单元603以与图26的深度校正单元341相同的方式，基于最大视差值、最小视差值和摄像装置之间的距离而计算校正系数。算出的校正系数用于计算校正后的预测图像。

另一方面，在步骤S380中，当确定要处理的目标深度图像的像素值不是视差值时，处理进行到步骤S382。在该情况下，由于要处理的目标深度图像的像素值是表示深度方向上的位置（距离）的深度值，因此在步骤S382中，深度校正单元603以与图26的深度校正单元341相同的方式，基于深度方向上的位置（距离）的最大值和最小值而计算校正系数。算出的校正系数用于计算校正后的预测图像。

当在步骤S381或S382中计算了校正系数时或者当在步骤S379中确定depth_weighted_bipred_flag不是1时，处理进行到步骤S383。

在步骤S383中，确定weighted_bipred_idc是否是1。在步骤S383中，当确定weighted_bipred_idc是1时，处理进行到步骤S384。在步骤S384中，由亮度校正单元604计算亮度校正系数。亮度校正单元604以与图26的亮度校正单元342相同的方式，计算基于诸如AVC方法的预定方法而算出的亮度校正系数。算出的校正系数用于计算亮度值被校正的预测图像。

以此方式，当计算了亮度校正系数时，在步骤S383中确定weighted_bipred_idc不是1或者在步骤S378中确定要处理的目标切片不是B切片的情况下，处理进行到步骤S385。在步骤S385中，使用算出的校正系数生成预测图像。

以此方式，当在步骤S358（图39）中执行了预测图像生成处理时，处理进行到步骤S360。以与图20的步骤S271之后的处理相同的方式执行步骤S360之后的处理，并且已对其进行了描述，因此这里将不重复描述。

在当要处理的目标深度图像的像素值是视差值时以及当要处理的目标深度图像的像素值不是视差值时分别计算视差值的校正系数和深度方向上的位置（距离）的校正系数的情况下，可以适当地对从视差值生成预测图像的情况和从表示深度方向上的位置的深度值生成预测图像的情况进行响应，因此，可以适当地计算校正系数。另外，可以通过计算亮度校正系数而适当地执行亮度校正。

这里，已描述了当要处理的目标深度图像的像素值是视差值时以及当要处理的目标深度图像的像素值不是视差值时（当像素值是深度值时）分别计算视差值的校正系数和深度方向上的位置（距离）的校正系数。然而，可仅计算一个。例如，当在编码侧和解码侧视差值的校正系数被设置为使用视差值作为要处理的目标深度图像的像素值来计算时，可仅计算视差值的校正系数。此外，例如，当在编码侧和解码侧深度方向上的位置（距离）的校正系数被设置为使用表示深度方向上的位置（距离）的深度值作为要处理的目标深度图像的像素值来计算时，可仅计算深度方向上的位置（距离）的校正系数。

[关于算术精度1]

如上所述，编码侧例如在步骤S333（图35）中计算深度方向上的位置的校正系数，并且解码侧例如在步骤S375（图40）中计算深度方向上的位置的校正系数。编码侧和解码侧均计算深度方向上的位置的校正系数，但是当所计算的校正系数彼此不同时，生成彼此不同的预测图像，因此在编码侧和解码侧需要计算相同的校正系数。换言之，在编码侧和解码侧，算术精度需要相同。

此外，将以深度方向上的位置（距离）的校正系数为例继续描述，并且这同样适用于视差值的校正系数。

这里，用于计算深度方向上的位置的校正系数的公式（15）将再次被示出为公式（16）。

[表达式13]

$\begin{array}{c}{V_{\mathrm{ref}}}^{\&prime;}=\\ =\frac{\frac{1}{\mathrm{Zre}{f}_{\mathrm{near}}}-\frac{1}{{\mathrm{Zref}}_{\mathrm{far}}}}{\frac{1}{{\mathrm{Zcur}}_{\mathrm{near}}}-\frac{1}{{\mathrm{Zcur}}_{\mathrm{far}}}}\&CenterDot;V_{\mathrm{ref}}+255\&CenterDot;\frac{\frac{1}{{\mathrm{Zref}}_{\mathrm{far}}}-\frac{1}{{\mathrm{Zcur}}_{\mathrm{far}}}}{\frac{1}{{\mathrm{Zcur}}_{\mathrm{near}}}-\frac{1}{{\mathrm{Zcur}}_{\mathrm{far}}}}\\ =a{v}_{\mathrm{ref}}+b...\left(16\right)\end{array}$

公式（16）的校正系数部分a将由以下公式（17）来表示。

[表达式14]

$a=\frac{\frac{1}{{\mathrm{Zref}}_{\mathrm{near}}}-\frac{1}{{\mathrm{Zref}}_{\mathrm{far}}}}{\frac{1}{{\mathrm{Zcur}}_{\mathrm{near}}}-\frac{1}{{\mathrm{Zcur}}_{\mathrm{far}}}}=\frac{A-B}{C-D}...\left(17\right)$

公式（17）中的A、B、C和D是由定点表示的值，因此它们可以通过以下公式（18）来计算。

A=INT({1<<shift}/Zref_near)

B=INT({1<<shift}/Zref_far)

C=INT({1<<shift}/Zcur_near)

D=INT({1<<shift}/Zcur_far)…(18)

在公式（17）中，A表示(1/Zref_near)，但是(1/Zref_near)可以是包括小数点后的值的值。例如，当在包括小数点后的值的情况下执行对小数点后的值舍入的处理时，算术精度在编码侧和解码侧可根据舍入后的小数点之后的值而变化。

例如，当整数部分是大的值时，如果小数点之后的值被舍入，则小数点之后的值在总数中的比率较小，使得算术精度的误差不显著，但是当整数部分是小的值时，例如，当整数部分是0时，小数点之后的值变得重要，因此当小数点之后的值被舍入时，算术精度可能有误差。

这里，如上所述，根据定点表示，当小数点之后的值重要时，可以使得小数点之后的值不被舍入。另外，上述A、B、C和D由定点表示，并且根据这些值算出的校正系数a被视为使得满足以下公式（19）的值。

a={(A-B)<<denom}/(C-D)…(19)

在公式（19）中，由AVC定义的luma_log2_weight_denom可以用作denom。

例如，当1/Z的值是0.12345并且该值在通过执行M位的移位之后舍入到INT而被处理为整数时，公式将如下。

0.12345→x1000INT(123.45)=123

在该情况下，整数值123通过计算作为乘以1000的值的123.45的INT而用作1/Z的值。另外，当在该情况下在编码侧和解码侧共享x1000的信息时，可以使得算术精度匹配。

此外，当包括浮点时，值被转换为定点，并且进一步从定点转换为整数。定点由例如整数Mbit和小数Nbit来表示，并且M和N是根据标准设置的。另外，整数由例如整数部分N数字和小数部分M数字来表示，然后由整数值a和小数值b来表示。例如，在12.25的情况下，满足N=4，M=2，a=1100以及b=0.01。另外，在该情况下，满足(a<<M+b)=110001。

以此方式，可以基于公式（18）和（19）计算校正系数的部分。另外，shift和denom的值在编码侧和解码侧共享，并且可以使得算术精度在编码侧和解码侧匹配。作为共同方法，可以通过将shift和denom的值提供到编码侧和解码侧来实现。另外，可以通过将shift和denom的值设置为在编码侧和解码侧彼此相同（换言之，通过将值设置为固定值）来实现。

这里，以校正系数部分a为例进行了描述，但是校正系数部分b可以以相同方式来计算。此外，上述shift可被设置为等于或大于位置Z的精度。即，乘以shift的值可被设置为大于位置Z的值。换言之，位置Z的精度可被设置为等于或小于shift的精度。

此外，当发送了shift或denom时，可与depth_weighted_pred_flag一起发送。这里，校正系数a和b，即，描述了位置Z的加权系数和偏移由编码侧和解码侧共享，但是算术顺序可被设置为在编码侧和解码侧共享。

设置算术精度的设置单元可包括在深度校正单元341（图26）中。在该情况下，当使用深度加权系数和深度偏移执行深度加权预测处理时，深度校正单元341可设置用于使用作为目标的深度图像的算术运算的算术精度。此外，如上所述，深度校正单元341依照所设置的算术精度对深度图像执行深度加权预测处理，并且可通过使用从该结果获得的深度预测图像对深度图像进行编码来生成深度流。

当算术运算的顺序变化时，由于可能不能计算相同的校正系数，因此可在编码侧和解码侧共享算术运算的顺序。另外，共享的方式与上述情况相同，并且算术运算的顺序可通过被发送或者通过被设置为固定值来共享。

另外，设置表示移位算术运算的移位量的移位参数，并且所设置的移位参数可与所生成的深度流一起发送或接收。移位参数可以以序列为单位是固定的并且以GOP、图片或切片为单位是可变的。

[关于算术精度2]

当上述公式（16）中的校正系数部分a被变换时，校正系数a可以由以下公式（20）来表示。

[表达式15]

$a=\frac{({\mathrm{Zref}}_{\mathrm{far}}-{\mathrm{Zref}}_{\mathrm{near}})({\mathrm{Zcur}}_{\mathrm{near}}*{\mathrm{Zcur}}_{\mathrm{far}})}{({\mathrm{Zcur}}_{\mathrm{far}}-{\mathrm{Zcur}}_{\mathrm{near}})({\mathrm{Zref}}_{\mathrm{near}}*{\mathrm{Zref}}_{\mathrm{far}})}$

在公式（20）中，分子(Zcur_nearx Zcur_far)和分母(Zref_nearx Zref_far)可能由于乘以Zs而溢出。例如，当上限被设置为32位并且denom被设置为5时，由于保留27位，因此当做出这样的设置时，13位×13位变为限制。因此，在该情况下，例如，脱离±4096的范围的值不可用作Z的值，但是假设例如大于4096的值10000用作Z的值。

因此，Z x Z部分被控制为不溢出，并且当利用公式（20）计算校正系数a时通过根据以下公式（21）设置要满足的值Z来计算校正系数a，以便加宽值Z的范围。

Z_near=Z_near<<x

Z_far=Z_far<<y…(21)

为了满足公式（21），Z_near和Z_far的精度通过移位来降低并且被控制为不溢出。

诸如x或y的移位量与上述情况相同，并且可通过被传送而在编码侧和解码侧共享，并且还可作为固定值而在编码侧和解码侧共享。

用于校正系数a和b的信息以及与精度有关的信息（移位量）可包括在切片报头或诸如SPS或PPS的NAL（网络抽象层）单位中。

[第二实施例]

[应用本技术的计算机的描述]

接下来，上述一系列处理可由硬件或软件来执行。当这一系列处理由软件来执行时，构成该软件的程序安装在通用计算机等中。

这里，图41示出了安装了运行上述系列处理的程序的计算机的实施例的配置示例。

程序可以预先存储在作为计算机中包括的记录介质的存储器单元808或ROM（只读存储器）802中。

替选地，程序可以存储（记录）在可移除介质811中。这样的可移除介质811可以被提供作为所谓的封装软件。这里，可移除介质811的示例包括软盘、CD-ROM（致密盘-只读存储器）、MO（磁光）盘、DVD（数字通用盘）、磁盘和半导体存储器。

此外，程序可以通过驱动器810从上述可移除介质811安装在计算机中，或者可以通过经由通信网络或广播网络将程序下载在计算机中而安装在计算机包括的存储器单元808中。即，程序可以以无线方式从下载站点通过用于数字卫星广播的人造卫星而被传送到计算机，或者可以以有线方式通过诸如LAN（局域网）或因特网的网络而被传送到计算机。

计算机包括CPU（中央处理单元）801，并且CPU801通过总线804连接到输入/输出接口805。

当通过用户经由输入/输出接口805对输入单元806等的操作而输入命令时，CPU801执行存储在ROM802中的程序。替选地，CPU801通过将程序加载在RAM（随机存取存储器）803中来执行存储在存储器单元808中的程序。

以此方式，CPU801执行根据上述流程图的处理或由上述框图的配置执行的处理。另外，CPU801从输出单元807输出处理结果，或者从通信单元809发送结果，或者根据需要而通过例如输入/输出接口805将结果存储在存储器单元808中。

另外，输入单元806由键盘、鼠标、麦克风等构成。此外，输出单元807由LCD（液晶显示器）或扬声器构成。

这里，在本说明书中由计算机根据程序执行的处理不一定按根据流程图中描述的顺序的时间顺序来执行。即，由计算机根据程序执行的处理包括并行地或分开执行的处理（例如，通过并行处理或对象执行的处理）。

此外，程序可由一个计算机（处理器）来处理或者可由多个计算机分布式地来处理。另外，程序可通过被传递到远程计算机来执行。

本技术可应用于通过诸如卫星广播、有线TV（电视）、因特网和蜂窝电话的网络介质进行通信时使用的编码设备和解码设备，或者可应用于诸如光盘、磁盘和闪存的存储介质上的处理。

此外，上述编码设备和解码设备可应用于可选电子装置。下文中，将描述示例。

[第三实施例]

[电视设备的配置示例]

图42示意性地示出了应用本技术的电视设备的配置的示例。电视设备900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908和外部接口单元909。此外，电视设备900包括控制单元910、用户接口单元911等。

调谐器902通过从由天线901接收的广播信号中选择期望信道来执行解调，并且所获得的编码位流被输出到解复用器903。

解复用器903从编码位流提取要观看的目标节目的视频或音频的分组，并且所提取的分组的数据被输出到解码器904。此外，解复用器903将诸如EPG（电子节目指南）等的数据的分组提供到控制单元910。另外，当执行加扰时，由复用器等解除加扰。

解码器904执行分组的解码处理，将通过解码处理生成的视频数据输出到视频信号处理单元905，并且将音频数据输出到音频信号处理单元907。

视频信号处理单元905根据噪声消除或用户设置而对视频数据执行视频处理等。视频信号处理单元905通过基于经由节目的视频数据或经由网络提供的应用的处理来生成图像数据等，该节目显示在显示单元906上。另外，视频信号处理单元905生成用于显示用于选择项目等的菜单画面等的视频数据，并且该视频数据叠加在节目的视频数据上。视频信号处理单元905通过基于以此方式生成的视频数据生成驱动信号来驱动显示单元906。

显示单元906基于来自视频信号处理单元905的驱动信号而驱动显示装置（例如，液晶显示元件等），并且显示节目等的视频。

音频信号处理单元907对音频数据执行诸如噪声消除的预定处理，在该处理或放大处理之后执行音频数据的D/A转换处理，并且通过将该数据提供到扬声器908而输出音频。

外部接口单元909是用于连接外部装置或网络的接口，并且执行传送或接收诸如视频数据或音频数据的数据。

用户接口单元911连接到控制单元910。用户接口单元911由操作开关、远程控制信号接收单元等构成，并且将根据用户操作的操作信号提供到控制单元910。

控制单元910由CPU（中央处理单元）、存储器等构成。存储器存储CPU执行的程序、CPU执行处理时所需的各种数据、EPG数据和通过网络获取的数据。存储在存储器中的程序通过以预定定时（例如，在启动电视设备900时等）由CPU读取来执行。CPU通过执行程序而控制每个单元，以使得根据用户操作来操作电视设备900。

另外，电视设备900设置有总线912，总线912用于连接控制单元910与调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907或外部接口单元909。

在以此方式构成的电视设备中，解码器904具有本申请的解码设备（解码方法）的功能。为此，可以对通过使用与视差图像有关的信息进行编码而提高了编码效率的视差图像的编码数据进行解码。

[第四实施例]

[蜂窝电话的配置示例]

图43示意性地示出了应用本技术的蜂窝电话的配置的示例。蜂窝电话920包括通信单元922、音频编解码器923、摄像装置单元926、图像处理单元927、复用分离单元928、记录和再现单元929、显示单元930和控制单元931。这些通过总线933彼此连接。

此外，通信单元922与天线921连接，并且音频编解码器923与扬声器924和麦克风925连接。另外，控制单元931与操作单元932连接。

蜂窝电话920以诸如语音模式或数据通信模式的各种模式执行各种操作，比如传送或接收音频信号、电子邮件或图像数据，对图像进行拍摄，或者记录数据。

在语音模式中，通过由音频编解码器923执行转换为音频数据或数据压缩而将麦克风925生成的音频信号提供到通信单元922。通信单元922对音频数据执行调制处理或频率转换处理，并且生成传送信号。另外，通信单元922将传送信号提供到天线921，然后将该信号传送到图中未示出的基站。此外，通信单元922对天线921接收的接收信号执行放大处理、频率转换处理或解调处理，并且将所获得的音频数据提供到音频编解码器923。音频编解码器923执行音频数据的数据扩展或者转换为模拟音频信号，并且将音频数据输出到扬声器924。

此外，在数据通信模式中，当传送邮件时，控制单元931接收通过操作单元932的操作输入的字符数据，并且在显示单元930上显示所输入的字符。另外，控制单元931基于操作单元932中的用户指令而生成邮件数据，并且将该邮件数据提供到通信单元922。通信单元922对邮件数据执行调制处理或频率转换处理，并且从天线921传送所获得的传送信号。另外，通信单元922对天线921接收的接收信号执行放大处理、频率转换处理或解调处理，并且恢复邮件数据。邮件数据被提供到显示单元930，并且显示邮件的内容。

此外，蜂窝电话920可以通过记录和再现单元929将所接收的邮件数据存储在存储介质中。存储介质是可选的可重写存储介质。例如，存储介质是可移除介质，比如半导体存储器（例如，RAM或内置式闪存）、硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡。

当在数据通信模式中传送图像数据时，从摄像装置单元926生成的图像数据被提供到图像处理单元927。图像处理单元927对图像数据执行编码处理，并且生成编码数据。

复用分离单元928使用预定方法对从图像处理单元927生成的编码数据和从音频编解码器923提供的音频数据进行复用，并且将复用数据提供到通信单元922。通信单元922对复用数据执行调制处理或频率转换处理，并且从天线921传送所获得的传送信号。此外，通信单元922对天线921接收的接收信号执行放大处理、频率转换处理或解调处理，并且恢复复用数据。复用数据被提供到复用分离单元928。复用分离单元928对复用数据进行分离，并且将编码数据提供到图像处理单元927以及将音频数据提供到音频编解码器923。图像处理单元927对编码数据执行解码处理，并且生成图像数据。图像数据被提供到显示单元930，并且显示所接收的图像。音频编解码器923将音频数据转换为模拟音频信号，将该信号提供到扬声器924，并且输出所接收的音频。

在以此方式配置的蜂窝电话设备中，图像处理单元927具有本申请的编码设备和解码设备（编码方法和解码方法）的功能。为此，可以使用与视差图像有关的信息来提高视差图像的编码效率。另外，可以对其编码效率通过使用与视差图像有关的信息进行编码而提高的视差图像的编码数据进行解码。

[第五实施例]

[记录和再现设备的配置示例]

图44示意性地示出了应用本技术的记录和再现设备的配置。记录和再现设备940将所接收的广播节目的音频数据和视频数据记录在记录介质中，并且以根据用户的指令的定时将所记录的数据提供到用户。另外，记录和再现设备940可以从其它设备获取音频数据或视频数据，并且将该数据记录在记录介质中。此外，记录和再现设备940可以通过对记录在记录介质中的音频数据或视频数据进行解码以输出而在监视器设备等中显示图像或者输出音频。

记录和再现设备940包括调谐器941、外部接口单元942、编码器943、HDD（硬盘驱动器）单元944、盘驱动器945、选择器946、解码器947、OSD（在屏显示）单元948、控制单元949和用户接口单元950。

调谐器941从由图中未示出的天线接收的广播信号中选择期望信道。调谐器941将通过对从期望信道接收的信号进行解调而获得的编码位流输出到选择器946。

外部接口单元942由IEEE1394接口、网络接口单元、USB接口和闪存接口至少之一构成。外部接口单元942是与外部装置、网络或存储卡连接的接口，并且接收诸如所记录的视频数据或音频数据的数据。

当从外部接口单元942提供的数据不是使用预定方法编码的时，编码器943对视频数据或音频数据进行编码，并且将编码位流输出到选择器946。

HDD单元944将诸如视频或音频的内容数据、各种节目或其它数据记录在内置式硬盘中，并且在再现时从硬盘读取数据。

盘驱动器945在其中所包括的光盘上记录和再现信号。光盘的示例包括DVD盘（DVD视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）、蓝光盘等。

选择器946在记录视频或音频时从调谐器941或编码器943选择任一编码位流，并且将该流提供到HDD单元944或盘驱动器945中任一个。另外，选择器946将从HDD单元944或盘驱动器945输出的编码位流提供到解码器947。

解码器947对编码位流执行解码处理。解码器947将从解码处理生成的视频数据提供到OSD单元948。此外，解码器947输出从解码处理生成的音频数据。

OSD单元948生成用于显示菜单画面等的视频数据以选择项目等，并且通过叠加在从解码器947输出的视频数据上而输出视频数据。

控制单元949连接到用户接口单元950。用户接口单元950由操作开关、远程控制信号接收单元等构成，并且将与用户操作对应的操作信号提供到控制单元949。

控制单元949由CPU、存储器等构成。存储器存储CPU执行的程序或者当CPU执行处理时所需的各种数据。通过以预定定时（例如，在启动记录和再现设备940时）由CPU读取而执行存储在存储器中的程序。CPU通过执行程序而控制各个单元，以使得根据用户操作而操作记录和再现设备940。

以此方式构成的记录和再现设备在解码器947中具有本申请的解码设备（解码方法）的功能。为此，可以对通过使用与视差图像有关的信息进行编码而提高了其编码效率的视差图像的编码数据进行解码。

[第六实施例]

[成像设备的配置示例]

图45示意性地示出了应用本技术的成像设备的配置。成像设备960对主体进行成像，在显示单元上显示主体的图像，并且将该图像作为图像数据记录在记录介质中。

成像设备960包括光学组件961、成像单元962、摄像装置信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970。另外，用户接口单元971连接到控制单元970。此外，图像数据处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970通过总线972相互连接。

光学组件961由聚焦透镜或光圈机构构成。光学组件961在成像单元962的成像表面上对主体的光学图像进行成像。成像单元962由CCD或CMOS图像传感器构成，并且通过光电转换生成与光学图像对应的电信号以提供到摄像装置信号处理单元963。

摄像装置信号处理单元963对从成像单元962提供的电信号执行摄像装置信号处理，诸如膝点校正、伽马校正或颜色校正。摄像装置信号处理单元963将摄像装置信号处理之后的图像数据提供到图像数据处理单元964。

图像数据处理单元964对从摄像装置信号处理单元963提供的图像数据执行编码处理。图像数据处理单元964将从编码处理生成的编码数据提供到外部接口单元966或介质驱动器968。另外，图像数据处理单元964对从外部接口单元966或介质驱动器968提供的编码数据执行解码处理。图像数据处理单元964将从解码处理生成的图像数据提供到显示单元965。此外，图像数据处理单元964将从摄像装置信号处理单元963提供的图像数据提供到显示单元965，并且通过将数据叠加在图像数据上而将从OSD单元969获取的用于显示的数据提供到显示单元965。

OSD单元969生成用于显示的数据（诸如信号、字符、具有图形的菜单画面或图标），并且将该数据输出到图像数据处理单元964。

外部接口单元966由USB输入/输出端子构成，并且当打印机打印图像时连接到打印机。另外，外部接口单元966在必要时连接到驱动器，并且包括诸如磁盘、光盘等的可移除介质，并且在必要时安装从介质读取的计算机程序。另外，外部接口单元966具有网络接口以连接到诸如LAN或因特网的预定网络。控制单元970遵照来自用户接口单元971的指令，从存储器单元967读取编码数据，并且可以从外部接口单元966将数据提供到通过网络连接的其它设备。另外，控制单元970使用外部接口单元966获取通过网络从其它设备提供的编码数据或图像数据，并且可以将数据提供到图像数据处理单元964。

作为由介质驱动器968驱动的记录介质，例如，可使用可选读取/写入可移除介质，诸如磁盘、磁光盘、光盘或半导体存储器。此外，作为可移除介质的记录介质的类型是可选的，因此类型可以是磁带装置、盘或存储卡。也可使用非接触式IC卡。

另外，介质驱动器968和记录介质被集成为由诸如内置式硬盘驱动器或SSD（固态驱动器）的非便携式记录介质构成。

控制单元970由CPU或存储器构成。存储器存储CPU执行的程序或当CPU执行处理时所需的各种数据。通过由CPU以预定定时（例如，在启动成像设备960时）进行读取而执行存储在存储器中的程序。CPU通过执行程序而控制各个单元，以使得根据用户操作而操作成像设备960。

在以此方式构成的成像设备中，图像数据处理单元964具有本申请的编码设备和解码设备（编码方法和解码方法）的功能。为此，可以使用与视差图像有关的信息提高视差图像的编码效率。此外，可以对通过使用与视差图像有关的信息进行编码而提高了其编码效率的视差图像的编码数据进行解码。

本技术的实施例不限于上述实施例，并且可以在不脱离本技术的范围内进行各种修改。

此外，本技术可以如下配置。

（1）一种图像处理设备，包括：

深度运动预测单元，以深度图像作为目标，基于指示深度方向上的位置的范围的深度范围，使用深度加权系数和深度偏移而执行深度加权预测处理，所述深度范围是当对作为所述深度图像的像素值的表示所述深度方向上的位置的深度值进行归一化时所使用的；

运动预测单元，通过在所述深度运动预测单元执行了所述深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及

编码单元，通过使用所述运动预测单元生成的所述深度预测图像对要编码的目标深度图像进行编码来生成深度流。

（2）根据（1）所述的图像处理设备，还包括：

设置单元，设置深度标识数据，所述深度标识数据标识是基于所述深度范围执行所述深度加权预测处理还是基于指示视差值的范围的视差范围执行所述深度加权预测处理，所述视差范围是当对作为所述深度图像的像素值的视差值进行归一化时所使用的；以及

传送单元，传送所述编码单元生成的所述深度流和所述设置单元设置的所述深度标识数据。

（3）根据（1）或（2）所述的图像处理设备，还包括：控制单元，根据当对所述深度图像进行编码时的图片类型来选择是否通过所述深度运动预测单元来执行所述深度加权预测处理。

（4）根据（3）所述的图像处理设备，其中，所述控制单元控制所述深度运动预测单元以使得当所述深度图像被编码为B图片时跳过所述深度运动预测单元执行的所述深度加权预测处理。

（5）根据（1）至（4）中的任意一项所述的图像处理设备，还包括：控制单元，根据当对所述深度图像进行编码时的图片类型来选择是否通过所述运动预测单元来执行所述加权预测处理。

（6）一种图像处理设备的图像处理方法，包括：

深度运动预测步骤，以深度图像作为目标，基于指示深度方向上的位置的范围的深度范围，使用深度加权系数和深度偏移来执行深度加权预测处理，所述深度范围是当对作为所述深度图像的像素值的表示所述深度方向上的位置的深度值进行归一化时所使用的；

运动预测步骤，通过在由所述深度运动预测步骤的处理执行了所述深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及

编码步骤，通过使用由所述运动预测步骤的处理生成的所述深度预测图像对要编码的目标深度图像进行编码来生成深度流。

（7）一种图像处理设备，包括：

接收单元，接收使用深度图像的预测图像所编码的深度流和关于所述深度图像的信息，所述预测图像是使用关于所述深度图像的信息校正的；

深度运动预测单元，使用所述接收单元接收的关于所述深度图像的信息、基于指示深度方向上的位置的范围的深度范围而计算深度加权系数和深度偏移，以及以所述深度图像作为目标、使用所述深度加权系数和所述深度偏移而执行深度加权预测处理，所述深度范围是当对作为所述深度图像的像素值的表示所述深度方向上的位置的深度值进行归一化时所使用的；

运动预测单元，通过在所述深度运动预测单元执行了所述深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及

解码单元，使用所述运动预测单元生成的所述深度预测图像对所述接收单元接收的所述深度流进行解码。

（8）根据（7）所述的图像处理设备，其中，

所述接收单元接收深度标识数据，所述深度标识数据标识是基于编码时的所述深度范围执行所述深度加权预测处理还是基于指示视差值的范围的视差范围执行所述深度加权预测处理，所述视差范围是当对作为所述深度图像的像素值的所述视差值进行归一化时所使用的，以及

所述深度运动预测单元根据所述接收单元接收的所述深度标识数据来执行所述深度加权预测处理。

（9）根据（7）或（8）所述的图像处理设备，还包括：控制单元，根据当对所述深度流进行解码时的图片类型来选择是否通过所述深度运动预测单元来执行所述深度加权预测处理。

（10）根据（9）所述的图像处理设备，其中，所述控制单元控制所述深度运动预测单元以使得当所述深度流被解码为B图片时跳过所述深度运动预测单元执行的所述深度加权预测处理。

（11）根据（7）至（10）中的任意一项所述的图像处理设备，还包括：控制单元，根据当对所述深度流进行解码时的图片类型来选择是否通过所述运动预测单元来执行所述加权预测处理。

（12）一种图像处理设备的图像处理方法，包括：

接收步骤，接收使用深度图像的预测图像而编码的深度流和关于所述深度图像的信息，所述预测图像是使用关于所述深度图像的信息校正的；

深度运动预测步骤，使用通过所述接收步骤的处理接收的关于所述深度图像的信息、基于指示深度方向上的位置的范围的深度范围而计算深度加权系数和深度偏移，以及以所述深度图像作为目标、使用所述深度加权系数和所述深度偏移而执行深度加权预测处理，所述深度范围是当对作为所述深度图像的像素值的表示所述深度方向上的位置的深度值进行归一化时所使用的；

运动预测步骤，通过在由所述深度运动预测步骤的处理执行了所述深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及

解码步骤，使用通过所述运动预测步骤的处理生成的所述深度预测图像对通过所述接收步骤的处理接收的所述深度流进行解码。

（13）一种图像处理设备，包括：

深度运动预测单元，以深度图像作为目标，基于指示视差的范围的视差范围，使用深度加权系数和深度偏移而执行深度加权预测处理，所述视差范围是当对作为所述深度图像的像素值的视差进行归一化时所使用的；

运动预测单元，通过在所述深度运动预测单元执行了所述深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及

编码单元，通过使用所述运动预测单元生成的所述深度预测图像对要编码的目标深度图像进行编码来生成深度流。

（14）根据（13）所述的图像处理设备，还包括：控制单元，控制所述深度加权预测单元以使得根据所述深度图像的类型来改变所述深度加权预测处理，

其中，所述深度运动预测单元以所述深度图像作为目标，基于指示深度方向上的位置的范围的深度范围而执行所述深度加权预测处理，所述深度范围是当对作为所述深度图像的像素值的指示所述深度方向上的位置的深度值进行归一化时所使用的。

（15）根据（14）所述的图像处理设备，其中，所述控制单元根据所述深度图像的类型是所述深度值用作像素值的类型还是所述视差用作像素值的类型而改变所述深度加权预测处理。

（16）根据（13）至（15）中的任意一项所述的图像处理设备，还包括：控制单元，控制所述运动预测单元以执行所述加权预测处理或跳过所述加权预测处理。

（17）根据（13）至（16）中的任意一项所述的图像处理设备，还包括：

设置单元，设置标识是执行所述加权预测处理还是跳过所述加权预测处理的加权预测标识数据；以及

传送单元，传送所述编码单元生成的所述深度流和所述设置单元设置的所述加权预测标识数据。

（18）一种图像处理设备的图像处理方法，包括：

深度运动预测步骤，以深度图像作为目标，基于指示视差的范围的视差范围，使用深度加权系数和深度偏移而执行深度加权预测处理，所述视差范围是当对作为所述深度图像的像素值的视差进行归一化时所使用的；

运动预测步骤，通过在由所述深度运动预测步骤的处理执行了所述深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及

编码步骤，通过使用由所述运动预测步骤的处理生成的所述深度预测图像对要编码的目标深度图像进行编码来生成深度流。

（19）一种图像处理设备，包括：

接收单元，接收使用深度图像的预测图像而编码的深度流和关于所述深度图像的信息，所述预测图像是使用关于所述深度图像的信息校正的；

深度运动预测单元，使用所述接收单元接收的关于所述深度图像的信息、基于指示视差的范围的视差范围而计算深度加权系数和深度偏移，以及以所述深度图像作为目标、使用所述深度加权系数和所述深度偏移执行深度加权预测处理，所述视差范围是当对作为所述深度图像的像素值的视差进行归一化时所使用的；

运动预测单元，通过在所述深度运动预测单元执行了所述深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及

解码单元，使用所述运动预测单元生成的所述深度预测图像对所述接收单元接收的所述深度流进行解码。

（20）一种图像处理设备的图像处理方法，包括：

接收步骤，接收使用深度图像的预测图像而编码的深度流和关于所述深度图像的信息，所述预测图像是使用关于所述深度图像的信息校正的；

深度运动预测步骤，使用通过所述接收步骤的处理接收的关于所述深度图像的信息、基于指示视差的范围的视差范围而计算深度加权系数和深度偏移，以及以所述深度图像作为目标、使用所述深度加权系数和所述深度偏移而执行深度加权预测处理，所述视差范围是当对作为所述深度图像的像素值的视差进行归一化时所使用的；

运动预测步骤，通过在由所述深度运动预测步骤的处理执行了所述深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及

解码步骤，使用通过所述运动预测步骤的处理生成的所述深度预测图像对通过所述接收步骤的处理接收的所述深度流进行解码。附图标记列表

50编码设备

64SPS编码单元

123算术单元

134运动预测和补偿单元

135校正单元

150解码设备

152视点合成单元

171SPS解码单元

255加法单元

262运动补偿单元

263校正单元

Claims (20)

1.一种图像处理设备，包括：

深度运动预测单元，以深度图像作为目标，基于指示深度方向上的位置的范围的深度范围，使用深度加权系数和深度偏移而执行深度加权预测处理，所述深度范围是当对作为所述深度图像的像素值的表示所述深度方向上的位置的深度值进行归一化时所使用的；

运动预测单元，通过在所述深度运动预测单元执行了所述深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及

编码单元，通过使用所述运动预测单元生成的所述深度预测图像对要编码的目标深度图像进行编码来生成深度流。

2.根据权利要求1所述的图像处理设备，还包括：

设置单元，设置深度标识数据，所述深度标识数据标识是基于所述深度范围执行所述深度加权预测处理还是基于指示视差值的范围的视差范围执行所述深度加权预测处理，所述视差范围是当对作为所述深度图像的像素值的视差值进行归一化时所使用的；以及

传送单元，传送所述编码单元生成的所述深度流和所述设置单元设置的所述深度标识数据。

3.根据权利要求1所述的图像处理设备，还包括：控制单元，根据当对所述深度图像进行编码时的图片类型来选择是否通过所述深度运动预测单元来执行所述深度加权预测处理。

4.根据权利要求3所述的图像处理设备，其中，所述控制单元控制所述深度运动预测单元以使得当所述深度图像被编码为B图片时跳过所述深度运动预测单元执行的所述深度加权预测处理。

5.根据权利要求1所述的图像处理设备，还包括：控制单元，根据当对所述深度图像进行编码时的图片类型来选择是否通过所述运动预测单元来执行所述加权预测处理。

6.一种图像处理设备的图像处理方法，包括：

深度运动预测步骤，以深度图像作为目标，基于指示深度方向上的位置的范围的深度范围，使用深度加权系数和深度偏移来执行深度加权预测处理，所述深度范围是当对作为所述深度图像的像素值的表示所述深度方向上的位置的深度值进行归一化时所使用的；

运动预测步骤，通过在由所述深度运动预测步骤的处理执行了所述深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及

编码步骤，通过使用由所述运动预测步骤的处理生成的所述深度预测图像对要编码的目标深度图像进行编码来生成深度流。

7.一种图像处理设备，包括：

接收单元，接收使用深度图像的预测图像所编码的深度流和关于所述深度图像的信息，所述预测图像是使用关于所述深度图像的信息校正的；

深度运动预测单元，使用所述接收单元接收的关于所述深度图像的信息、基于指示深度方向上的位置的范围的深度范围而计算深度加权系数和深度偏移，以及以所述深度图像作为目标、使用所述深度加权系数和所述深度偏移而执行深度加权预测处理，所述深度范围是当对作为所述深度图像的像素值的表示所述深度方向上的位置的深度值进行归一化时所使用的；

运动预测单元，通过在所述深度运动预测单元执行了所述深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及

解码单元，使用所述运动预测单元生成的所述深度预测图像对所述接收单元接收的所述深度流进行解码。

8.根据权利要求7所述的图像处理设备，其中，

所述接收单元接收深度标识数据，所述深度标识数据标识是基于编码时的所述深度范围执行所述深度加权预测处理还是基于指示视差值的范围的视差范围执行所述深度加权预测处理，所述视差范围是当对作为所述深度图像的像素值的所述视差值进行归一化时所使用的，以及

所述深度运动预测单元根据所述接收单元接收的所述深度标识数据来执行所述深度加权预测处理。

9.根据权利要求7所述的图像处理设备，还包括：控制单元，根据当对所述深度流进行解码时的图片类型来选择是否通过所述深度运动预测单元来执行所述深度加权预测处理。

10.根据权利要求9所述的图像处理设备，其中，所述控制单元控制所述深度运动预测单元以使得当所述深度流被解码为B图片时跳过所述深度运动预测单元执行的所述深度加权预测处理。

11.根据权利要求7所述的图像处理设备，还包括：控制单元，根据当对所述深度流进行解码时的图片类型来选择是否通过所述运动预测单元来执行所述加权预测处理。

12.一种图像处理设备的图像处理方法，包括：

接收步骤，接收使用深度图像的预测图像而编码的深度流和关于所述深度图像的信息，所述预测图像是使用关于所述深度图像的信息校正的；

深度运动预测步骤，使用通过所述接收步骤的处理接收的关于所述深度图像的信息、基于指示深度方向上的位置的范围的深度范围而计算深度加权系数和深度偏移，以及以所述深度图像作为目标、使用所述深度加权系数和所述深度偏移而执行深度加权预测处理，所述深度范围是当对作为所述深度图像的像素值的表示所述深度方向上的位置的深度值进行归一化时所使用的；

运动预测步骤，通过在由所述深度运动预测步骤的处理执行了所述深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及

解码步骤，使用通过所述运动预测步骤的处理生成的所述深度预测图像对通过所述接收步骤的处理接收的所述深度流进行解码。

13.一种图像处理设备，包括：

深度运动预测单元，以深度图像作为目标，基于指示视差的范围的视差范围，使用深度加权系数和深度偏移而执行深度加权预测处理，所述视差范围是当对作为所述深度图像的像素值的视差进行归一化时所使用的；

运动预测单元，通过在所述深度运动预测单元执行了所述深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及

编码单元，通过使用所述运动预测单元生成的所述深度预测图像对要编码的目标深度图像进行编码来生成深度流。

14.根据权利要求13所述的图像处理设备，还包括：控制单元，控制所述深度加权预测单元以使得根据所述深度图像的类型来改变所述深度加权预测处理，

其中，所述深度运动预测单元以所述深度图像作为目标，基于指示深度方向上的位置的范围的深度范围而执行所述深度加权预测处理，所述深度范围是当对作为所述深度图像的像素值的指示所述深度方向上的位置的深度值进行归一化时所使用的。

15.根据权利要求14所述的图像处理设备，其中，所述控制单元根据所述深度图像的类型是所述深度值用作像素值的类型还是所述视差用作像素值的类型而改变所述深度加权预测处理。

16.根据权利要求13所述的图像处理设备，还包括：控制单元，控制所述运动预测单元以执行所述加权预测处理或跳过所述加权预测处理。

17.根据权利要求13所述的图像处理设备，还包括：

设置单元，设置标识是执行所述加权预测处理还是跳过所述加权预测处理的加权预测标识数据；以及

传送单元，传送所述编码单元生成的所述深度流和所述设置单元设置的所述加权预测标识数据。

18.一种图像处理设备的图像处理方法，包括：

深度运动预测步骤，以深度图像作为目标，基于指示视差的范围的视差范围，使用深度加权系数和深度偏移而执行深度加权预测处理，所述视差范围是当对作为所述深度图像的像素值的视差进行归一化时所使用的；

运动预测步骤，通过在由所述深度运动预测步骤的处理执行了所述深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及

编码步骤，通过使用由所述运动预测步骤的处理生成的所述深度预测图像对要编码的目标深度图像进行编码来生成深度流。

19.一种图像处理设备，包括：

接收单元，接收使用深度图像的预测图像而编码的深度流和关于所述深度图像的信息，所述预测图像是使用关于所述深度图像的信息校正的；

深度运动预测单元，使用所述接收单元接收的关于所述深度图像的信息、基于指示视差的范围的视差范围而计算深度加权系数和深度偏移，以及以所述深度图像作为目标、使用所述深度加权系数和所述深度偏移执行深度加权预测处理，所述视差范围是当对作为所述深度图像的像素值的视差进行归一化时所使用的；

运动预测单元，通过在所述深度运动预测单元执行了所述深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及

解码单元，使用所述运动预测单元生成的所述深度预测图像对所述接收单元接收的所述深度流进行解码。

20.一种图像处理设备的图像处理方法，包括：

接收步骤，接收使用深度图像的预测图像而编码的深度流和关于所述深度图像的信息，所述预测图像是使用关于所述深度图像的信息校正的；

深度运动预测步骤，使用通过所述接收步骤的处理接收的关于所述深度图像的信息、基于指示视差的范围的视差范围而计算深度加权系数和深度偏移，以及以所述深度图像作为目标、使用所述深度加权系数和所述深度偏移而执行深度加权预测处理，所述视差范围是当对作为所述深度图像的像素值的视差进行归一化时所使用的；

运动预测步骤，通过在由所述深度运动预测步骤的处理执行了所述深度加权预测处理之后使用加权系数和偏移执行加权预测处理来生成深度预测图像；以及

解码步骤，使用通过所述运动预测步骤的处理生成的所述深度预测图像对通过所述接收步骤的处理接收的所述深度流进行解码。

Images