CN102742281A - 图像处理装置、信息记录介质、图像处理方法和程序 - Google Patents

Abstract

公开便于从MP4文件的管理信息中获得关于在MP4文件中存储的数据的数据处理需要的信息的配置。该配置在MP4文件的管理信息中分层和记录涉及关于存储于MP4文件的数据的播放处理而执行的广泛数据处理而被应用于广泛不同类别的数据处理（包括但不限于三维图像显示处理和编码数据解码处理）的信息。该配置便于从MP4文件的管理信息中可靠地获得存储于MP4文件的数据的播放需要执行的每一种不同类别的数据处理（包括但不限于已编码三维图像数据的显示处理）需要的各种信息，并且便于流畅的数据播放处理。

Description

图像处理装置、信息记录介质、图像处理方法和程序

技术领域

本发明涉及图像处理装置、信息记录介质、图像处理方法和程序，更具体地说，涉及记录和回放用于三维图像（3D图像）的显示的图像的图像处理装置、信息记录介质、图像处理方法和程序。

背景技术

为了产生被称为三维图像（也称为3D图像或立体图像）的有立体感的图像，需要从不同视点拍摄的图像，即，用于左眼的图像和用于右眼的图像。可以使用从不同视点拍摄的这些图像来显示三维图像。

显示三维图像（3D图像）的方法包括各种方法。例如，存在依从用偏振片（polarizing filter）和滤色镜分开要由左眼和右眼观察的图像的被动式眼镜***的显示方法，依从交替开关左和右液晶快门并临时分开左眼和右眼要交替观察的图像的主动式眼镜***的显示方法，等等。在任何一种显示方法中，都使用用于左眼的图像和用于右眼的图像。

在介质上记录数据或在数据传输时，不仅要依据各种编码（压缩）格式编码三维图像（3D图像），而且还要编码相机拍摄的诸如静止图像和视频之类的图像数据。即，减少了要记录或传输的数据量。

存在编码格式的各种标准，诸如规定静止图像编码格式的JPEG和作为主要针对视频的编码格式的MPEG。例如，专利文献1（JP-A-2004-334833）的图10中描述了用于记录三维静止图像的处理的格式的示例。

最近，已经日益广泛使用诸如HD（High Definition，高清晰度）图像之类的高清晰度图像，并且使用具有高压缩率的编码方法。存在MP4文件格式（ISO/IEC 14496-14）（以下称为MP4）作为编码数据的这些贮存文件格式的方法。

MP4是MPEG（Moving Picture Experts Group，运动图像专家组）4格式中的压缩视频数据的贮存文件格式。MP4是在ISO/IEC14496中规定的标准。MP4是这样一种格式：其不仅可以以MPEG-4格式存储视频而且可以以各种格式存储图像和音频数据，诸如MPEG-2和MPEG-1的视频、诸如AAC和MP3的音频以及诸如JPEG和PNG的静止图像。

按这种方式，可以在MP4文件中存储各种格式下的编码数据，并且在MP4中设置用以记录关于存储在MP4文件中的编码数据的格式和类型的管理信息的区域。如果对编码数据进行解码处理，则对MP4文件中的管理信息执行检查处理。

然而，存在这样的问题：当前MP4格式的管理信息规范没有规定用以存储识别存储于MP4文件的图像是三维（3D）图像还是二维（2D）图像的信息的区域。

从记录介质读取MP4文件并回放它的装置或经由通信手段接收MP4文件并回放它的装置不能从MP4文件的管理信息识别所存储的图像是三维（3D）图像还是二维（2D）图像。因此，除非图像被实际获得并分析或回放，否则不可能掌握图像是否为三维图像数据或者二维图像数据。结果，例如，出现这样的情形：三维图像数据错误地显示在不具有显示三维图像的功能的显示装置上。

此外，如上所述，显示三维图像的方法包括各种方法。然而，很多回放装置和显示装置具有可以回放或显示仅仅与一部分方法兼容的图像的配置。因此，仅仅利用根据当前MP4格式的管理信息，甚至不可能检查图像是否为可以在该装置本身上回放或显示的三维图像。

即，存在这样的问题：除非通过获得图像数据或者实际执行回放或显示处理来检查数据配置，否则，仅仅利用当前MP4文件的管理信息，不可能检查图像是否为可以由该装置本身处理的数据。

引用列表

专利文献

专利文献1：JP-A-2004-334833

发明内容

本发明要解决的问题

本发明例如已经考虑到以上问题来作出，并且在与MP4格式兼容的文件的管理信息中记录关于存储于MP4文件的图像数据是否包括三维图像或三维图像的格式的三维图像管理信息。本发明的目的是提供图像处理装置、信息记录介质、图像处理方法和程序，其防止错误回放和显示处理，并通过这样的配置使能（enable）正确回放处理的执行：该配置使得回放装置和显示装置能够在从MP4文件中获得实际数据之前掌握所存储的数据是三维图像还是二维图像，并且还能够检查三维图像的格式等。

此外，本发明的目的是提供图像处理装置、信息记录介质、图像处理方法和程序，其可以通过在MP4文件的管理信息中分层地布置和记录要应用到在存储于MP4文件的数据的回放处理中要执行的各种数据处理（例如，除了以上三维图像显示处理之外，还有诸如加密数据的解码处理之类的不同类别的各种数据处理）的信息，来安全地提供数据处理所需要的信息。

问题的解决方案

本发明的第一个方面是一种图像处理装置，其包括：编码单元，用于执行图像数据的编码处理；以及文件生成单元，用于生成包括编码单元生成的编码数据和该编码数据的管理信息的编码数据贮存文件，其中该文件生成单元生成在其中以数据处理的类别为单位设置在编码数据的回放处理时要应用到数据处理的信息的数据配置信息，并生成在其中在管理信息中分层地布置和记录以类别为单位的多段数据配置信息的文件。

而且，在本发明的图像处理装置的实施例中，以类别为单位的至少一段数据配置信息是使得能够区分该文件生成单元所生成的文件的所存储的图像数据是否包括三维图像数据的三维图像管理信息。

而且，在本发明的图像处理装置的实施例中，以类别为单位的至少一段数据配置信息是使得能够区分包括于该文件生成单元所生成的文件的所存储的图像数据中的三维图像数据的三维图像记录格式的三维图像管理信息。

而且，在本发明的图像处理装置的实施例中，以类别为单位的至少一段数据配置信息是这样的三维图像管理信息，其使得能够在以下格式之中区分包括于该文件生成单元所生成的文件的所存储的图像数据中的三维图像数据依从的三维图像记录格式：

（a）帧顺序（frame sequential）格式；

（b）并排（side by side）格式；以及

（c）上下（top and bottom）格式。

而且，在本发明的图像处理装置的实施例中，以类别为单位的至少一段数据配置信息是文件生成单元所生成的文件的所存储的图像数据的加密格式信息，并且该文件生成单元生成在其中在管理信息中分层地布置和记录包括加密格式信息的第一数据配置信息和包括三维图像管理信息的第二数据配置信息的文件。

而且，在本发明的图像处理装置的实施例中，该文件生成单元具有执行MP4文件的生成的配置，并且生成在其中在MP4文件的AV编解码盒子之下的层级中分层地布置和记录数据配置信息的文件。

而且，在本发明的图像处理装置的实施例中，该文件生成单元生成在其中在MP4文件的AV编解码盒子之下的层级中分层地布置和记录包括数据配置信息的方案信息盒子的文件。

而且，在本发明的图像处理装置的实施例中，该文件生成单元执行以作为要存储于MP4文件的图像数据的分块数据的轨道或样本为单位设置和记录以分块数据为单位的方案信息盒子的处理。

而且，本发明的第二方面是一种图像处理装置，其包括：文件分析单元，用于分析包括图像数据的编码数据和该编码数据的管理信息的编码数据贮存文件；以及数据处理单元，用于在存储于该文件中的图像数据的回放处理时执行不同类别的多种数据处理，其中该文件的管理信息具有分层地布置和记录以数据处理的类别为单位执行处理需要的数据配置信息的配置，该文件分析单元获得该文件的管理信息的分层地布置的数据配置信息，并且该数据处理单元应用文件分析单元所获得的数据配置信息并执行不同类别的多种数据处理。

而且，在本发明的图像处理装置的实施例中，以类别为单位的至少一段数据配置信息是使得能够区分该文件的所存储的图像数据是否包括三维图像数据的三维图像管理信息。

而且，在本发明的图像处理装置的实施例中，以类别为单位的至少一段数据配置信息是使得能够区分包括于该文件的所存储的图像数据中的三维图像数据的三维图像记录格式的三维图像管理信息。

而且，在本发明的图像处理装置的实施例中，以类别为单位的至少一段数据配置信息是这样的三维图像管理信息，其使得能够在以下格式之中区分包括于该文件的所存储的图像数据中的三维图像数据依从的三维图像记录格式：

（a）帧顺序格式；

（b）并排格式；以及

（c）上下格式。

而且，在本发明的图像处理装置的实施例中，以类别为单位的至少一段数据配置信息是文件生成单元所生成的文件的所存储的图像数据的加密格式信息，并且该文件分析单元从该管理信息获得包括加密格式信息的第一数据配置信息和包括三维图像管理信息的第二数据配置信息。

而且，在本发明的图像处理装置的实施例中，文件是MP4文件，并且该文件分析单元从分层地布置和记录在MP4文件的AV编解码盒子之下的层级中的方案信息盒子中，获得以数据处理的类别为单位的数据配置信息。

而且，在本发明的图像处理装置的实施例中，该文件分析单元以作为存储于MP4文件的图像数据的分块数据的轨道或样本为单位获得以分块数据为单位的方案信息盒子。

而且，本发明的第三方面是一种信息记录介质，在其中记录包括图像数据的编码数据和该编码数据的管理信息的MP4文件，并且该管理信息具有分层地布置和记录在其中以数据处理的类别为单位设置在编码数据的回放处理时要应用到数据处理的信息的数据配置信息的配置，并且在读取和回放MP4文件的装置中，顺序地获得分层地布置的数据配置信息，并且通过应用所获得的数据配置信息来使能不同类别的多种数据处理的执行。

而且，本发明的第四方面是一种要在图像处理装置中执行的图像处理方法，包括：编码处理步骤，编码单元执行图像数据的编码处理；以及文件生成步骤，文件生成单元生成包括编码单元生成的编码数据和该编码数据的管理信息的编码数据贮存文件，其中该文件生成步骤包括这样的步骤：生成在其中以数据处理的类别为单位设置在编码数据的回放处理时要应用到数据处理的信息的数据配置信息，并且生成在其中在管理信息中分层地布置和记录以类别为单位的多段数据配置信息的文件。

而且，本发明的第五方面是一种要在图像处理装置中执行的图像处理方法，包括：文件分析步骤，文件分析单元分析包括图像数据的编码数据和该编码数据的管理信息的编码数据贮存文件；以及数据处理步骤，数据处理单元执行在存储于该文件中的图像数据的回放处理时执行不同类别的多种数据处理，其中该文件的管理信息具有分层地布置和记录以数据处理的类别为单位执行处理需要的数据配置信息的配置，该文件分析步骤包括获得该文件的管理信息的分层地布置的数据配置信息的步骤，并且该数据处理步骤包括应用文件分析单元所获得的数据配置信息来执行不同类别的多种数据处理的步骤。

而且，本发明的第六方面是一种使得图像处理装置执行图像处理的程序，包括：编码处理步骤，使得编码单元执行图像数据的编码处理；以及文件生成步骤，使得文件生成单元生成包括编码单元所生成的编码数据和该编码数据的管理信息的编码数据贮存文件，其中该文件生成步骤包括这样的步骤：生成在其中以数据处理的类别为单位设置在编码数据的回放处理时要应用到数据处理的信息的数据配置信息，并且生成在其中在管理信息中分层地布置和记录以类别为单位的多段数据配置信息的文件。

而且，本发明的第七方面是一种使得图像处理装置执行图像处理的程序，包括：文件分析步骤，使得文件分析单元分析包括图像数据的编码数据和该编码数据的管理信息的编码数据贮存文件；以及数据处理步骤，使得数据处理单元执行在存储于该文件中的图像数据的回放处理时执行不同类别的多种数据处理，其中该文件的管理信息具有分层地布置和记录以数据处理的类别为单位执行处理需要的数据配置信息的配置，该文件分析步骤包括获得该文件的管理信息的分层地布置的数据配置信息的步骤，并且该数据处理步骤包括应用文件分析单元所获得的数据配置信息来执行不同类别的多种数据处理的步骤。

例如，本发明的程序可以用以计算机可读格式提供的记录介质和通信介质提供到可以执行各种程序代码的信息处理装置和计算机***。这样的程序以计算机可读格式提供，因此可以在信息处理装置和计算机***上实现根据该程序的处理。

本发明进一步的其他目的、特征和益处将以基于后面将要描述的本发明的实施例和伴随的附图的更详细的描述来公开。本说明书中的***指示多个装置的逻辑集合配置，而不限于具有各自配置的装置处于同一外壳内的那种。

本发明的效果

根据本发明的实施例的配置，其构成为在MP4文件的管理信息中，分层地布置和记录要应用到要在存储于MP4文件的数据的回放处理中执行的各种数据处理（例如，诸如三维图像显示处理和加密数据的解码处理之类的不同类别的各种数据处理）的信息。这种配置使得可以从MP4文件的管理信息，安全地获得在存储于MP4文件的数据的回放中需要执行的不同类别的每一种数据处理（例如，加密的三维图像数据的显示处理）所需要的各种信息，并且流畅数据回放处理成为可能。

附图说明

图1是解释MP4文件格式的基本配置的视图。

图2是解释在MP4文件的简档盒子（uuid（PROF））中记录三维图像识别信息的实施例的视图。

图3是解释要记录在MP4文件的简档盒子（uuid（PROF））中的三维图像识别信息的具体标记设置示例的视图。

图4是解释在MP4文件的AV编解码盒子（avc1）中记录三维图像识别信息的实施例的视图。

图5是解释根据帧顺序（FS）格式的数据解码和回放处理的方法的视图。

图6是解释根据并排（SbS）格式的数据解码和回放处理的方法的视图。

图7是解释根据上下（T&B）格式的数据解码和回放处理的方法的视图。

图8是解释作为要记录在设置在AV编解码盒子中的立体视频信息盒子中的详细三维图像信息的帧配置信息的数据设置示例的视图。

图9是解释作为要记录在设置在AV编解码盒子中的立体视频信息盒子中的详细三维图像信息的帧配置信息的数据设置示例的视图。

图10是解释利用要规定为MP4文件的AV编解码盒子的扩展配置的方案信息盒子（sinf）记录三维图像识别信息的实施例的视图。

图11是解释利用要规定为MP4文件的AV编解码盒子的扩展配置的方案信息盒子（sinf）记录三维图像识别信息的实施例的视图。

图12是图解解释由本发明的图像处理装置执行的图像数据的记录处理序列的流程的视图。

图13是图解解释由本发明的图像处理装置执行的图像数据的回放处理序列的流程的视图。

图14是解释本发明的图像处理装置的配置示例的视图。

具体实施方式

以下将参考附图描述本发明的图像处理装置、信息记录介质、图像处理方法和程序。该描述将以以下顺序给出：

1．MP4文件格式的基本配置，

2．用以在MP4文件的管理信息中记录三维图像管理信息的配置，

2A．（1）在简档盒子（uuid（PROF））中记录三维图像识别信息的实施例（第一实施例），

2B．（2）在AV编解码盒子（avc1）中记录详细三维图像信息的实施例（第二实施例），

2C．（3）利用要规定为AV编解码盒子（avc1）的扩展配置的方案信息盒子（sinf）记录详细三维图像识别信息的实施例（第三实施例），

3．要由信息处理装置执行的图像处理序列，以及

4．本发明的信息处理装置的配置示例。

[1.MP4文件格式的基本配置]

首先，将参考图1描述当前MP4文件格式的基本配置。如上所述，MP4是MPEG（Moving Picture Experts Group，运动图像专家组）4格式的编码数据的贮存文件格式，在ISO/IEC14496中规定。MP4具有这样一种配置：其不仅可以以MPEG-4格式存储视频而且可以以各种格式存储图像和音频数据，诸如MPEG-2和MPEG-1的视频、诸如AAC和MP3的音频以及诸如JPEG和PNG的静止图像。

在ISO/IEC14496中规定的MP4文件格式具有面向对象的数据结构。每个对象称为一个盒子（box）。图1是图解在其中存储了包括图像和音频数据的普通AV（音频视频）数据的MP4文件100的配置示例的视图。如图1所示，该MP4文件100具有以下盒子：

（1）文件类型盒子（ftyp）101，

（2）简档（profile）盒子（uuid（PROF））102，

（3）电影盒子（moov）103，以及

（4）实际数据盒子（mdat）104。

包括这些盒子。

（1）关于文件类型的记录信息包括于文件类型盒子（ftyp）101中。

（2）诸如帧速率之类的文件信息记录在简档盒子（uuid（PROF））102中。

（3）所存储的数据的管理信息（元数据）记录在电影盒子（moov）103中。

（4）诸如已编码（已压缩）图像和音频数据之类的实际数据记录在实际数据盒子（mdat）104中。

要被实际回放的图像数据和音频数据存储于（4）实际数据盒子（mdat）104中。（1）至（3）的信息（即，诸如实际数据的索引信息和属性信息之类的管理信息）存储于文件类型盒子（ftyp）101、（2）简档盒子（uuid（PROF））102和（3）电影盒子（moov）103这些盒子中。属性信息包括要应用到存储于实际数据盒子（mdat）104中的实际数据的解码处理（解压处理）的信息。此外，如果实际数据加密，则还记录应用于其解码处理的信息等。

在电影盒子（moov）103中以作为存储于实际数据盒子（mdat）104中的实际数据的分块数据（partitioned data）的轨道为单位记录管理数据（元数据）。

该轨道包括用于图像数据视频轨道和用于音频数据的音频轨道。也可以设置第一音频轨道用于日语，第二音频轨道用于英语，等等。此外，也可以设置诸如第一视频轨道和第二视频轨道之类的各自用于不同图像的零碎轨道。

图1中所示的电影盒子（moov）103仅仅示出了在其中存储一个轨道（视频轨道）的元数据的一个轨道盒子111，但其示出轨道盒子的典型示例。实际上，根据轨道数量而在电影盒子（moov）103中存储在与图1所示的轨道盒子111的格式相同的格式下的一个或多个盒子。

在轨道盒子111中记录用于以设置为实际数据的分块区域的轨道为单位的数据的元数据。

存储于轨道盒子111中的是样本描述盒子（stsd）112以及进一步在其之下的层级中的AV编解码盒子（avc1）113。

作为进一步的分块轨道的区域是样本，并且一个轨道设置有一个或多个样本。

即，由一个或多个轨道构成实际数据，并且进一步由一个或多个样本构成一个轨道。

图1在该轨道盒子111中图解了一个样本描述盒子（stsd）112。在轨道盒子中总存在一个样本描述盒子（stsd）。

在样本描述盒子（stsd）112之下的层级中的盒子是AV编解码盒子（avc1）113，并且与样本对应的实际数据的详细编解码信息（即，作为实际数据的组成部分的样本的解码回放处理所需要的详细信息（编解码信息））记录在AV编解码盒子（avc1）113中。不仅可以在AV编解码盒子（avc1）113中记录涉及MP4的解码处理的信息，而且例如可以记录涉及加密格式的信息。

从诸如DVD之类的介质读取MP4文件并回放它的装置或者经由通信手段接收MP4文件并回放它的装置，读取具有如图1中所示的配置的MP4文件的管理信息，即，存储于文件类型盒子（ftyp）101、简档盒子（uuid（PROF））和电影盒子（moov）103中的至少任何一个中的管理信息，并且检查存储于实际数据盒子（mdat）104中的实际数据的细节。详细编解码信息由检查管理信息以根据该信息执行解码处理的处理按轨道和样本为单位获得。这样的处理使得可以对MP4数据进行解码和回放处理。

然而，如上所述，当前MP4格式的管理信息中未规定区域来记录用以识别存储于MP4文件的图像是三维（3D）图像还是二维（2D）图像的信息。

因此，从记录介质读取MP4文件并回放它的装置或者经由通信手段接收MP4文件并回放它的装置不能掌握MP4文件的所存储的数据是三维图像数据还是二维图像数据，除非实际获得并分析或回放该图像。结果，例如，出现这样的情形：三维图像数据错误地显示在不具有显示三维图像的功能的显示装置上。此外，如上所述，仅仅利用当前管理信息也不能检查出所存储的数据是否为可以由该装置本身回放或显示的三维图像。

如果按这种方式使用当前MP4格式，则在当存储于MP4文件的图像是三维图像时，存在这样的问题：不能检查出该数据是否可以由该装置本身处理，除非从实际数据盒子（mdat）104实际获得图像数据用于数据配置的检查，或者实际地回放或显示图像数据。

[2．用以在MP4文件的管理信息中记录三维图像管理信息的配置]

以下作为解决以上问题的配置来描述在MP4文件的管理信息中记录三维图像的管理信息的多个实施例。

顺序描述以下所示的三个实施例：

（1）在简档盒子（uuid（PROF））中记录三维图像识别信息的实施例（第一实施例），

（2）在AV编解码盒子（avc1）中记录三维图像识别信息的实施例（第二实施例），和

（3）利用要规定为AV编解码盒子（avc1）的扩展配置的方案信息盒子（sinf）记录三维图像识别信息的实施例（第三实施例）。

这些实施例中的每一个都可以实施为单独配置，但也可以是以组合方式使用多个实施例的配置。

[2A．（1）在简档盒子（uuid（PROF））中记录三维图像识别信息的实施例（第一实施例）]

首先，参考图2描述在简档盒子（uuid（PROF））中记录三维图像识别信息的实施例。

图2是图解包括于在该实施例中建议的简档盒子（uuid（PROF））中的视频管理标记（video_attribute_flag）的高16位（0001h至0010h）的配置的视图。（h）表示十六进制表达式。

如图2中所示的视频管理标记（video_attribute_flag）的高16位的前一半（0001h至0004h）的数据是已经在常规MP4中规定了的字段，并且例如规定为以下数据区域：

0001h：IDR（Instantaneous Decoder Refresh，即时解码器刷新）帧间隔信息，以及

0002h：关于恢复点SEI消息的存在或缺失的信息。

它们是要应用于MP4的解码的信息。

0004h或之后是保留区域。

在该实施例中，关于存储于MP4文件的实际数据盒子（mdat）（参考图1）中的图像数据是否包括三维图像的信息存储于该视频管理标记（video_attribute_flag）的高16位（0001h至0010h）的后一半中。

具体说，如图2所示地存储以下三维图像识别信息：

0008h：立体视频标记201，以及

0010h：混合立体视频标记202。

这些标记中的每一个都设置为三维图像识别信息。

将参考图3描述所述标记的值的具体内容。

如图3所示，作为存储于MP4文件的图像数据的格式，存在三种模式。

（a）存储于MP4文件的所有图像数据是三维图像（立体图像）。

（b）存储于MP4文件的所有图像数据是二维图像。

（c）存储于MP4文件的图像数据是三维图像（立体图像）和二维图像的混合数据。

所述模式是以上三种。

如果存储于MP4文件的所有图像数据中包括三维图像，则对于立体视频标记201，设置位值=1，而如果不是，则位值=0。

因此，仅仅在图3中所示的（a）的情况下位值=1：

（a）存储于MP4文件的所有图像数据是三维图像（立体图像）。

此外，在（b）和（c）的情况下位值=0：

（b）存储于MP4文件的所有图像数据是二维图像。

（c）存储于MP4文件的图像数据是三维图像（立体图像）和二维图像的混合数据。

另一方面，如果存储于MP4文件的图像数据是三维图像和二维图像的混合数据，则对于混合视频标记202设置位值=1，否则设置位值=0。

因此，仅仅在图3中所示的（c）的情况下位值=1：

（c）存储于MP4文件的图像数据是三维图像（立体图像）和二维图像的混合数据。

此外，在（a）和（b）的情况下位值=0：

（a）存储于MP4文件的所有图像数据是三维图像（立体图像）。

（b）存储于MP4文件的所有图像数据是二维图像。

这些标记设置使能（enable）以下数据识别：

（情况1）

立体视频标记=1，混合立体视频标记=0，

在这种情况下，判断为

（a）存储于MP4文件的所有图像数据是三维图像（立体图像）。

（情况2）

立体视频标记=0，混合立体视频标记=0，

在这种情况下，判断为

（b）存储于MP4文件的所有图像数据是二维图像。

（情况3）

立体视频标记=0，混合立体视频标记=1，

在这种情况下，判断为

（c）存储于MP4文件的图像数据是三维图像（立体图像）和二维图像的混合数据。

按这种方式，这个实施例的配置使得可以仅仅通过检查作为提供到MP4文件的简档盒子（uuid（PROF））的视频管理标记（video_attribute_flag）的立体视频标记201和混合立体视频标记202的标记设置，获得存储于MP4文件的图像数据的三维图像信息。具体说，可以关于以下类型之间的类型检查存储于MP4文件的图像数据：

（类型a）仅仅包括三维图像，

（类型b）仅仅包括二维图像，以及

（类型c）作为三维图像和二维图像的混合数据。

可以区分这些类型。

在图3中所示的位值的设置示例是一个示例，可以进行位值的相反设置，并且设置位值以使得可以区分以上每一种类型的各种设置都是可能的。

从记录介质读取MP4文件并回放它的装置或经由通信手段接收MP4文件并回放它的装置，可以通过先于从MP4文件的实际数据盒子（mdat）中实际获得图像，检查设置在简档盒子（uuid（PROF））中的立体视频标记201和混合立体视频标记202的标记设置，获得MP4文件的所存储的数据的三维图像信息。因此，例如，可以防止三维图像数据错误地显示在不具有显示三维图像的功能的显示装置上的情形。

[2B．（2）在AV编解码盒子（avc1）中记录详细三维图像信息的实施例（第二实施例）]

接下来，将参考图4描述在AV编解码盒子（avc1）中记录详细三维图像信息的实施例。

像之前参考图1所述，AV编解码盒子（avc1）是设置在样本描述盒子（stsd）之下的层级中的盒子，而该样本描述盒子（stsd）进一步处于在电影盒子（moov）之下的层级中的轨道盒子111之下的层级中。

如之前所述，AV编解码盒子（avc1）是在其中记录作为通过分块存储于实际数据盒子（mdat）中的实际数据而获得的分块数据的样本的编解码信息等的盒子。

在这种情况下，包括于轨道的所有样本的编解码信息设置在AV编解码盒子（avc1）中。可以在样本描述盒子（stsd）之下的层级中设置一个或多个AV编解码盒子（avc1）。然而，如果多个AV编解码盒子（avc1）的内容相同，则不需要设置多个AV编解码盒子（avc1）。即，不需要样本的数量匹配AV编解码盒子的数量，并且即使存在多个样本，也可以设置一个AV编解码盒子等。

在第二实施例中，详细三维图像信息记录在AV编解码盒子（avc1）。图4图解了根据实施例的AV编解码盒子（avc1）的数据配置示例。

图4中所示的数据区域301的信息是已经在常规MP4文件格式中规定了的编解码信息贮存区域。以下信息盒子设置在数据区域301中。

AVCConfigurationBox

MPEG4BitRateBox

MPEG4ExtentionDescriptorBox

MP4编码数据的解码处理所需要的信息（即，编解码信息）记录在这些盒子中。这些编解码信息段在二维图像和三维图像之间共享。

在实施例中，除了这些现有的编解码信息盒子之外，还如图4所示地添加了立体视频信息盒子（立体视频描述盒子）302。在立体视频信息盒子302中记录的是关于存储于MP4文件的实际数据盒子（mdat）（参考图1）中的图像数据是否包括三维图像的信息以及在包括三维图像的情况下涉及三维图像数据的详细信息。例如，详细信息包括三维图像的显示方法信息。

如上所述，显示三维图像（3D图像）的方法包括各种方法。例如，存在与用偏振片和滤色镜分开要由左眼和右眼观察的图像的被动式眼镜***兼容的方法、与交替开关左和右液晶快门并临时分开左眼和右眼要交替观察的图像的主动式眼镜***兼容的方法等。例如，要存储于MP4文件的记录数据的记录格式根据显示方法变化。

立体视频信息盒子302还包括关于存储于MP4文件的实际数据盒子（mdat）（参考图1）中的图像数据是依从哪种格式的记录数据的信息。

例如，三维图像数据的记录格式包括帧顺序格式、并排格式以及上下格式。

帧顺序格式是像L，R，L，R，...一样交替记录用于左眼的图像（L图像）和用于右眼的图像（R图像）的帧的格式。

并排格式是通过将一帧图像分开为左和右部分来记录LR图像的格式。

上下格式是通过将一帧图像分开为上和下部分来记录LR图像的格式。

要用于三维图像的回放和显示处理的详细三维图像信息（诸如这些图像记录格式）记录在立体视频信息盒子302中。

经由记录介质或通信手段获得MP4文件并回放它的装置可以通过先于从MP4文件的实际数据盒子（mdat）实际获得图像之前，获得在AV编解码盒子（avc1）中设置的立体视频信息盒子302的三维图像信息，来获得要应用于三维图像的回放和显示处理的详细信息，诸如MP4文件的所存储的数据的三维图像数据是依从什么记录格式和显示方法的数据。

因此，例如，可以防止三维图像数据错误地显示在不具有显示三维图像的功能的显示装置上的情形。此外，也变成可以检查所存储的数据是否是可以在装置本身上回放或显示的三维图像，相应地变成可以在它们被检查为装置本身可以处理的数据之后，取回MP4文件的所存储的数据以开始解码和回放处理，并且变成可以消除冗余处理的执行。

对于用于AV编解码盒子（avc1）的详细三维图像信息的记录格式，各种设置都是可能的，但以下将给出其示例的描述。

在规定先进视频编码的ISO/IEC14496（MPEG4-AVC）中，用以构成每一个回放图像帧的帧配置信息（Frame Packing Arrangement SEI）已经规定为正常编解码信息。

以下将描述的详细三维图像信息的记录格式的示例是使用实质上类似于现有帧配置信息（Frame PackingArrangement SEI）的格式的示例。

以下将给出作为要记录在立体视频信息盒子302中的详细三维图像信息的示例的帧配置信息（Frame Packing Arrangement SEI）的具体数据设置示例的描述。

在以下示例中，将给出与三维图像的以下记录格式（即，三维图像的不同记录格式）兼容的帧配置信息的设置示例的描述：

（a）帧顺序格式[FS]，

（b）并排格式[SbS]，以及

（c）上下格式[T&B]。

先于详细三维图像信息的设置示例的描述之前，首先将参考图5至图7给出三维图像的数据解码和回放处理的以下方法的描述。

（a）帧顺序格式[FS]，

（b）并排格式[SbS]，以及

（c）上下格式[T&B]。

图5是解释根据（a）帧顺序（FS）格式的数据解码和回放处理的方法的视图。

图5图解了作为MP4解码结果获得的已解码图像帧321和显示图像帧322。

在帧顺序格式中，用于左眼的图像（L图像）和用于右眼的图像（R图像）像LRLRLR…一样交替地记录。因此，从MP4解码结果获得的图像用作显示图像帧322的L和R图像。

图6是解释根据（b）并排（SbS）格式的数据解码和回放处理的方法的视图。

图6图解了以下图像的图像数据：

MP4解码结果图像331，

拆分的L图像（帧0）332，

拆分的R图像（帧1）333，

显示用L图像（帧0）334，以及

显示用R图像（帧1）335。

在并排（SbS）格式中，如在MP4解码结果图像331中所示，用于左眼的图像（L图像）和用于右眼的图像（R图像）存储于分开为一个图像帧的左和右部分的区域中。

首先，拆分该图像以生成拆分的L图像（帧0）332和拆分的R图像（帧1）333。而且，执行解压处理（上转换）以生成显示用L图像（帧0）334和显示用R图像（帧1）335。

按这种方式，帧0和帧1设置为一对图像帧。

图7是解释根据（c）上下（T&B）格式的数据解码和回放处理的方法的视图。

图7图解以下的图像数据：

MP4解码结果图像341，

拆分的L图像（帧0）342，

拆分的R图像（帧1）343，

显示用L图像（帧0）344，以及

显示用R图像（帧1）345。

在上下（T&B）格式中，如在MP4解码结果图像341中所示，用于左眼的图像（L图像）和用于右眼的图像（R图像）存储于分开成一个图像帧的上和下部分的区域中。

首先，拆分图像以生成拆分的L图像（帧0）342和拆分的R图像（帧1）343。而且，执行解压处理（上转换）以生成显示用L图像（帧0）344和显示用R图像（帧1）345。

同样在上下格式中，帧0和帧1设置为一对图像帧。

按这种方式，在执行三维图像的回放和显示的装置中需要根据三维图像的格式进行处理。在实施例的配置中，用以识别存储于MP4文件的图像是依从哪种格式的三维图像的详细信息记录在立体视频信息盒子302中，作为帧配置信息（Frame Packing Arrangement SEI）。

将参考图8和图9给出作为要记录在设置在AV编解码盒子中的立体视频信息盒子302中的详细三维图像信息的帧配置信息的数据设置示例的描述。

图8和图9是图解存储于MP4文件的三维图像与以下三种类型的格式兼容的情况的数据设置示例的视图：

（a）帧顺序格式[FS]，

（b）并排格式[SbS]，以及

（c）上下格式[T&B]。

该数据设置示例是与这些格式兼容的帧配置（Frame Packing ArrangementSEI）信息。

以下将给出在图8中所示的作为详细三维图像信息的帧配置信息的每一个数据的描述。

帧封装布置取消标记

（frame_packing_arrangement_cancel_flag）

如果这个标记是1，则其指示不使用帧配置信息。

在作为要记录在立体视频信息盒子302中的三维图像信息的帧配置信息的情况下，在帧顺序格式[FS]、并排格式[SbS]和上下格式[T&B]中的任何一种格式中设置指示帧配置信息的使用的0。[0b]中的（b）指示二进制表达式。

梅花形采样标记

（quincux_sampling_flag）

如果这个标记是1，则它指示图像帧的采样点被设置成3×3像素的五个点。

这个标记主要用作在解码处理中指示采样位置的信息。

在作为要记录在立体视频信息盒子302中的三维图像信息的帧配置信息的情况下，在帧顺序格式[FS]、并排格式[SbS]和上下格式[T&B]中的任何一种格式中将该标记设置成零。

内容解释类型

（content_interpretation_type）

例如，0至2每个值被取为这个字段的值，并且记录如下的内容解释类型信息：

0=在不存在帧相关的情况下的设置值，

1=在用于三维（立体）图像的帧配置信息的情况下和在帧0为用于左眼的帧而帧1为用于右眼的帧的情况下的设置值，以及

2=在用于三维（立体）图像的帧配置信息的情况下和在帧0为用于右眼的帧而帧1为用于左眼的帧的情况下的设置值。

在作为要记录在立体视频信息盒子302中的三维图像信息的帧配置信息的情况下，在帧顺序格式[FS]、并排格式[SbS]和上下格式[T&B]中的任何一种格式中将该标记设置成1。

空翻标记（spatial_flipping_flag）

（spatial_fliping_flag）

已空翻标记（spatial flipped flag）

（frame0_flipped_flag）

这些标记存储关于通过在图像帧的哪个配置方向（例如是水平方向或垂直方向）上链接它们来构成帧的信息。

这些标记设置用于决定二维图像的上转换（解压处理）的格式。

在作为要记录在立体视频信息盒子302中的三维图像信息的帧配置信息的情况下，不使用这些标记，并且将这些标记的值设置成零。

字段察看标记

（field_views_flag）

记录关于帧交错处理的格式的信息。

在作为要记录在立体视频信息盒子302中的三维图像信息的帧配置信息的情况下，不使用该标记，并且将该标记的值设置成零。

帧封装布置保留字节

（frame_packing_arrangement_reserved_byte）

帧封装布置重复字节

（frame_packing_arrangement_repetition_period）

帧封装布置扩展字节

（frame_packing_arrangement_extension_flag）

这些字段是要保留并用于重复数据和扩展数据的记录字段。

在作为要记录在立体视频信息盒子302中的三维图像信息的帧配置信息的情况下，不使用这些标记，并且将这些标记的值设置成零。

图9也是图解与三维图像的以下三种记录类型兼容的帧配置（FramePacking Arrangement SEI）信息的设置示例的视图：

（a）帧顺序格式[FS]，

（b）并排格式[SbS]，以及

（c）上下格式[T&B]。

帧配置类型

（frame_packing_arrangement_type）

在这个字段中根据三维图像的类型设置不同值。

例如，

（a）帧顺序格式[FS]=000101b（5），

（b）并排格式[SbS]＝0000011b（3），以及

（c）上下格式[T&B]＝0000100b（4）。

回放装置可以基于该字段的设置值，区分存储于轨道中的三维图像是哪种格式中的三维图像数据。即，可以区分存储于该轨道中的三维图像是帧顺序格式[FS]、并排格式[SbS]和上下格式[T&B]之中的哪一种格式中的三维图像数据。

当前帧=帧0标记

（current_frame_is_frame0_flag）

关于作为MP4解码结果获得的当前帧是否为与帧0兼容的帧的信息记录在该字段中。

在像L图像帧、R图像帧、L图像帧和R图像帧的重复那样记录三维图像的"（a）帧顺序格式[FS]″的情况下，需要以作为解码的结果而获得的帧为单元在用于左眼的图像（L图像）和用于右眼的图像（R图像）之间进行区分。

因此，在（a）帧顺序格式[FS]的情况下，

用于右眼的图像（R图像）=0

用于左眼的图像（L图像）=1

例如，以上值设置在该字段。

如参考图6和图7所述，在（b）并排格式[SbS]和（c）上下格式[T&B]的其他格式下，用于左眼的图像（L图像=帧0）和用于右眼的图像（R图像=帧1）两者基于作为MP4解码的结果而获得的帧而生成，因此关于MP4解码结果的区分处理变得不必要了，因而对这个字段的值设置0。

帧0自包含标记

（frame0_self_contained_flag）

帧1自包含标记

（frame1_self_contained_flag）

如果应该在设置为帧0和1的帧之间参考相互帧（mutual frame），则将1设置为该标记的值。

在作为要记录在立体视频信息盒子302中的三维图像信息的帧配置信息的情况下，该信息在帧顺序格式[FS]、并排格式[SbS]和上下格式[T&B]中的任何一种格式中都是不必要的，并且该标记的值被设置成零。

帧0格栅位置X

（frame0_grid_position_x）

帧0格栅位置Y

（frame0_grid_position_y）

帧1格栅位置X

（frame1_grid_position_x）

帧1格栅位置Y

（frame1_grid_position_y）

它们是指示在图像帧的配置处理时要参考到的像素位置的数据字段。

在作为要记录在立体视频信息盒子302中的三维图像信息的帧配置信息的情况下，在帧顺序格式[FS]中设置N/A（无效值），而在并排格式[SbS]和上下格式[T&B]中将该标记值设置成零。

例如，在已经参考图6和图7描述了的并排格式[SbS]和上下格式[T&B]中所有标记值设置成零。这指示对于帧0和1，基准位置设置成由（X，Y）=（0，0）指定的左上坐标位置。

如参考图8和图9所述，对立体视频信息盒子302中的帧配置（FramePacking Arrangement SEI）信息，设置与以下每一种格式兼容的帧配置信息（Frame Packing Arrangement SEI）的设置值：

（a）帧顺序格式[FS]，

（b）并排格式[SbS]，以及

（c）上下格式[T&B]。

播放和显示三维图像的装置参考立体视频信息盒子302中的详细三维图像信息，以使得可以识别存储于MP4文件的图像是依从哪种格式的三维图像。

即，例如，参考到参考图8和图9描述了的帧配置信息（Frame PackingArrangement SEI）的设置值，相应地变成可以识别存储于MP4文件的图像是依从哪种格式的三维图像，并且变成可以通过依从所存储的图像的格式执行解码处理，来生成、回放和显示用于显示三维图像的正确数据。

因此，例如，可以防止三维图像数据错误地显示在不具有显示三维图像的功能的显示装置上的情形。

此外，变成可以事先知道是否记录根据装置本身可以执行的三维图像显示处理的数据，并且仅仅当判断为装置本身可以执行处理时，可以通过获得存储于实际数据盒子（mdat）104（参考图1）中的实际数据来开始诸如编码之类的处理，并且变成可以避免执行冗余处理的情形。

在以上实施例中，已经给出了记录与以下每一种格式兼容的详细三维图像信息的示例的描述：

（a）帧顺序格式[FS]，

（b）并排格式[SbS]，以及

（c）上下格式[T&B]；

然而，可以构成为根据其他格式记录信息。此外，可以构成创建不限于参考图8和图9所述的帧配置信息（Frame Packing Arrangement SEI）而是在其他格式下的详细三维图像信息，并将该信息记录在AV编解码盒子（avc1）中。

[2C．（3）利用要规定为AV编解码盒子（avc1）的扩展配置的方案信息盒子（sinf）记录详细三维图像识别信息的实施例（第三实施例）]

接下来，将参考图10（a）、图10（b）和图10（c）以及后续附图给出利用要规定为MP4文件的AV编解码盒子（avc1）的扩展配置的方案信息盒子（sinf）记录详细三维图像信息的实施例的描述。

如之前参考图1所述，AV编解码盒子（avc1）是设置在样本描述盒子（stsd）之下的层级中的盒子，而该样本描述盒子（stsd）进一步处于在电影盒子（moov）之下的层级中的轨道盒子111之下的层级中。

如之前所述，AV编解码盒子（avc1）是在其中记录作为通过分块存储于实际数据盒子（mdat）中的实际数据而获得的分块数据的样本的编解码信息等的盒子。

在这种情况下，包括于轨道的所有样本的编解码信息设置在AV编解码盒子（avc1）中。可以在样本描述盒子（stsd）之下的层级中设置一个或多个AV编解码盒子（avc1）。然而，如果多个AV编解码盒子（avc1）的内容相同，则不需要设置多个AV编解码盒子（avc1）。即，不需要样本的数量匹配AV编解码盒子的数量，并且即使存在多个样本，也可以设置一个AV编解码盒子等。

在第三实施例中，类似于第二实施例，详细三维图像信息记录在AV编解码盒子（avc1）中。然而，在该第三实施例中，通过利用要规定为AV编解码盒子（avc1）的扩展配置的方案信息盒子（sinf）来记录详细三维图像信息。

在规定MP4的文件格式的ISO/IEC14496中，如果MP4文件的所存储的数据记录为任何已转换数据，诸如存储于MP4的数据被存储为加密数据，则方案信息盒子（sinf）被规定用以记录关于该数据的数据配置信息的区域。例如，如果MP4文件的所存储的数据被记录为加密的已转换数据，则方案信息盒子（sinf）规定为用以记录加密格式信息的区域。

在规定MP4的文件格式的ISO/IEC14496的当前规范中，规定存储数据配置信息的一个方案信息盒子（sinf）可以设置在AV编解码盒子（avc1）之下的层级中。

例如，如果MP4存储数据是加密数据，则回放装置可以通过参考设置在AV编解码盒子（avc1）中的方案信息盒子（sinf），来获得解码该加密数据所需要的信息。

在该实施例中，使用方案信息盒子。即，定义了在其中存储三维（立体）图像的数据配置信息的方案信息盒子。

将参考图10（a）、图10（b）和图10（c）给出其中三维（立体）图像的数据配置信息（即，详细三维图像信息）存储于方案信息盒子（sinf）的示例的描述。

图10（a）、图10（b）和图10（c）图解了以下数据配置：

（a）MP4文件400，

（b）AV编解码盒子（avc1）401，以及

（c）包括三维图像信息方案信息盒子410的AV编解码盒子405。

例如，如果三维图像不包括于该MP4文件400中，则不设置在其中记录详细三维图像信息的方案信息盒子（sinf），并且MP4文件中的AV编解码盒子（avc1）例如具有仅仅拥有在图10（b）中所示的AV编解码盒子（avc1）401的数据配置，即，在其中存储AVC数据配置信息的AVC数据配置信息盒子[AVCConfigurationBox]402。在AVC数据配置信息盒子[AVCConfigurationBox]402中，记录MP4数据的解码处理所需要的编解码信息。

如果三维图像包括于该MP4文件中，则将在图10（b）中所示的AV编解码盒子（avc1）401设置为包括示出在图10（c）中的三维图像信息方案信息盒子410的AV编解码盒子405。

与示出在图10（b）中的、没有三维图像信息方案信息盒子的AV编解码盒子（avc1）401的盒子名称对应的代码（4CC：四字符代码）是[avc1]。

然而，示出在图10（c）中的、包括三维图像信息方案信息盒子410的AV编解码盒子405将与该盒子名称对应的代码（4CC：四字符代码）改变到指示包含涉及立体视频数据的信息的[stev]。即，变成可以从该盒子名称（4CC）区分包括三维图像信息方案信息盒子410的AV编解码盒子405。盒子名称（4CC）对应于AV编解码盒子405的文件名称，并且回放装置可以从该文件名称区分包括三维图像信息方案信息盒子的AV编解码盒子。

三维图像信息方案信息盒子410包括以下盒子：

格式信息盒子（frma）411，

方案类型盒子（SchemeTypeBox）412，以及

详细方案信息盒子（SchemeInformationBox）413。

如果格式信息记录在格式信息盒子（frma）411中，例如，该数据指示是根据AVC格式的，则

data_format='avc1'

这样的格式信息被记录。

在该方案类型盒子（SchemeTypeBox）412中，记录指示方案信息盒子410的类型的信息。在该示例中，方案信息盒子410是在其中存储三维图像的详细信息的方案信息盒子；相应地指示为在其中存储详细三维图像信息的方案信息盒子的类型信息记录在方案类型盒子（SchemeTypeBox）412中。

在详细方案信息盒子（SchemeInformationBox）413中，记录三维图像的具体详细信息。要存储于详细方案信息盒子（SchemeInformationBox）413中的详细三维图像信息包括类似于在之前的第二实施例中描述了的帧配置信息（Frame Packing Arrangement SEI）的信息。记录在执行三维图像的回放和显示处理时所需要的信息。

具体说，例如，记录与以下每一种格式兼容的详细三维图像信息：

（a）帧顺序格式[FS]，

（b）并排格式[SbS]，以及

（c）上下格式[T&B]。

回放和显示三维图像的装置可以通过从设置为AV编解码盒子（avc1）的下级（low-order）信息的三维图像信息方案信息盒子410的详细方案信息盒子（SchemeInformationBox）413中获得详细三维图像信息，来识别存储于MP4文件的图像是依从哪种格式的三维图像。该回放装置参考三维图像信息方案信息盒子410的详细方案信息盒子（SchemeInformationBox）413的记录信息，并且可以通过依从所存储的图像的格式执行解码处理，来生成、回放和显示用于显示三维图像的正确数据。

因此，例如，可以防止三维图像数据错误地显示在不具有显示三维图像的功能的显示装置上的情形。

此外，变成可以事先知道是否记录根据装置本身可以执行的三维图像显示处理的数据，并且仅仅当判断为装置本身可以执行处理时，可以通过获得存储于实际数据盒子（mdat）104（参考图1）中的实际数据来开始诸如编码之类的处理，并且变成可以避免执行冗余处理的情形。

接下来，将参考图11给出使用存储于MP4文件的实际数据盒子（mdat）中的数据是三维图像数据而且还是加密数据时的方案信息盒子的配置的描述。

图11图解以下的数据配置：

（c）包括三维图像信息方案信息盒子410的AV编解码盒子405，以及

（d）具有分层地设置三维图像信息方案信息盒子410作为嵌套（nest）的加密信息方案信息盒子420的AV编解码盒子407。

数据（c）是具有与图10（c）中的数据相同的配置的AV编解码盒子405。

如果存储于MP4文件的实际数据是三维图像并且还被加密，则回放装置不仅需要第一数据配置信息（详细三维图像信息）而且需要第二数据配置信息（加密信息）。

在图11中所示的示例具有用以将这些独立数据配置信息段设置为独立方案信息盒子并且分层地布置和记录它们的配置。

在图11中所示的示例中，分层地布置（嵌套）多个方案信息盒子（sinf）以存储于AV编解码盒子中。

即，如在图11（d）中所示的AV编解码盒子（encv）407所示，分层地布置（即，以嵌套状态设置）以下两个方案信息盒子：

（1）存储三维（立体）图像的数据配置信息（详细三维图像信息）的第一方案信息盒子（sinf）410，以及

（2）存储加密处理的数据配置信息（加密格式信息）的第二方案信息盒子（sinf）420，

以存储于AV编解码盒子中。

在该实施例中，如在图11（d）中所示，在其中存储三维（立体）图像的数据配置信息（详细三维图像信息）的第一方案信息盒子（sinf）410是在其中存储加密处理的数据配置信息（加密格式信息）的第二方案信息盒子（sinf）420的格式信息盒子（frma）之下的层级中设置的盒子。

与示出在图10（b）中的、没有三维图像信息方案信息盒子的AV编解码盒子（avc1）401的盒子名称对应的代码（4CC：四字符代码）是[avc1]，而与示出在图11（c）中的、包括三维图像信息方案信息盒子410的AV编解码盒子405的盒子名称对应的代码（4CC：四字符代码）是指示包含涉及立体视频数据的信息的[stev]。

而且，示出在图11（d）中的、具有包括三维图像信息方案信息盒子410作为嵌套的加密信息方案信息盒子420的AV编解码盒子407设置与该盒子名称对应的代码（4CC：四字符代码）为指示包含涉及加密视频数据的信息的[encv]，相应地变成可以从盒子名称（4CC）区分包括加密信息方案信息盒子420的AV编解码盒子405。

三维（立体）图像的数据配置信息（详细三维图像信息）存储于第一方案信息盒子（sinf）410中。

该第一方案信息盒子（sinf）410包括类似于之前参考图10描述了的那些盒子的盒子，即，以下的盒子：

格式信息盒子（frma）411，

方案类型盒子（SchemeTypeBox）412，以及

详细方案信息盒子（SchemeInformationBox）413。

如果格式信息记录在格式信息盒子（frma）411中，例如，该数据指示是根据AVC格式的，则

data_format='avc1'

这样的格式信息被记录。

在该方案类型盒子（SchemeTypeBox）412中，记录指示方案信息盒子410的类型的信息。在该示例中，方案信息盒子410是在其中存储三维图像的详细信息的方案信息盒子；相应地指示为在其中存储三维图像的详细信息的方案信息盒子的类型信息记录在方案类型盒子（SchemeTypeBox）412中。

在详细方案信息盒子（SchemeInformationBox）413中，记录三维图像的具体详细信息。要存储于详细方案信息盒子（SchemeInformationBox）413中的详细三维图像信息包括类似于在之前的第二实施例中描述了的帧配置信息（Frame Packing Arrangement SEI）的信息。

即，例如，记录与以下每一种格式兼容的详细三维图像信息：

（a）帧顺序格式[FS]，

（b）并排格式[SbS]，以及

（c）上下格式[T&B]。

回放装置参考存储于第一方案信息盒子（sinf）410中的详细三维图像信息并且可以获得存储于MP4文件的实际数据盒子（mdat）中的三维图像的详细信息。

此外，加密处理的数据配置信息（加密格式信息）存储于第二方案信息盒子（sinf）420中。

第二方案信息盒子（sinf）420包括以下的盒子：

格式信息盒子（frma）421，

方案类型盒子（SchemeTypeBox）422，以及

详细方案信息盒子（SchemeInformationBox）423。

格式信息盒子（frma）421拥有第一方案信息盒子（sinf）410，在其中存储三维（立体）图像的数据配置信息（详细三维图像信息），作为在低层级中(即，作为嵌套状态)的数据。

而且，记录格式信息。在这个示例中，作为指示在其中存储三维（立体）图像的数据配置信息（详细三维图像信息）的第一方案信息盒子（sinf）410的贮存的格式数据，

data_format='stev'

这样的格式信息被记录。

在该方案类型盒子（SchemeTypeBox）422中，记录指示方案信息盒子420的类型的信息。在这个示例中，方案信息盒子420是在其中存储加密处理的详细信息的方案信息盒子；相应地指示为在其中存储详细加密信息的方案信息盒子的信息记录在方案类型盒子（SchemeTypeBox）422中。

在详细方案信息盒子（SchemeInformationBox）423中，记录加密处理的具体详细信息。就要存储于详细方案信息盒子（SchemeInformationBox）423中的加密信息而言，记录在回放装置中解码加密数据所需要的信息。

该回放装置参考存储于第二方案信息盒子（sinf）420中的加密格式信息，并且可以获得存储于MP4文件的实际数据盒子（mdat）中的数据的解码处理所需要的信息。

如果进行回放处理和显示处理，则当需要不同数据配置信息段（即，诸如三维图像信息和加密信息之类的不同数据配置信息段）时，如图11（d）所示地设置用于每一个数据配置信息段的方案信息盒子，并且像分层配置（嵌套）那样将它们记录在AV编解码盒子中。

这样的数据配置信息记录处理使得可以从AV编解码盒子获得存储于MP4文件的实际数据的回放和显示处理所需要的所有信息。

参考图11所描述的示例是其中分层地布置（即，以嵌套状态设置）用于不同数据配置信息段的以下两个方案信息盒子的示例：

（1）存储三维（立体）图像的数据配置信息（详细三维图像信息）的第一方案信息盒子（sinf）410，以及

（2）存储加密处理的数据配置信息（加密格式信息）的第二方案信息盒子（sinf）420，

以存储于AV编解码盒子中。

除此而外，可以对于涉及存储于MP4文件的实际数据的各种数据配置信息段来设置被设置成多个（例如，三个或更多个层级）的多方案信息盒子。像在该实施例中那样，方案信息盒子的分层（嵌套）配置的使用使得可以设置在回放和显示处理时所需要的任何数量的各种数据配置信息和数据转换信息段，并将它们记录为管理信息。

该回放装置获得这些管理信息段以使能存储于MP4文件的实际数据不出错地回放和显示。

[3．要由信息处理装置执行的图像处理序列]

接下来，参考在图12和图13中所示的流程图给出要由根据本发明的实施例的图像处理装置执行的图像处理序列的描述。

图12是解释图像数据的记录处理序列的流程图。

图13是解释图像数据的回放处理序列的流程图。

首先，将参考图12中所示的流程图描述图像数据的记录处理序列。

在执行拍摄图像和将其记录在记录介质中的处理的、诸如相机之类的成像装置中执行根据在图12中所示的流程图的处理。例如，它们是要在提供到成像装置的、诸如CPU之类的控制单元的控制下执行的处理。

将给出在图12中所示的流程中的每一个步骤的处理的描述。

在步骤S101，例如，判断已经通过拍摄处理获得并且打算记录在记录介质中的数据是否包括三维图像数据。

如果该三维图像数据包括于在步骤S101打算记录在介质中的数据中，则在步骤S101的判断为“是”，并且该处理前进到步骤S102。

在步骤S102，将三维图像识别信息记录在MP4文件的简档盒子中。

这种处理是与之前描述的[2A．（1）在简档盒子（uuid（PROF））中记录三维图像识别信息的实施例（第一实施例）]对应的处理。即，该处理是参考图2和图3描述了的处理。

与参考图2描述了的以下标记（即，以下标记：

立体视频标记201，以及

混合立体视频标记202）的值一样，依赖于打算要记录的数据的类型来设置在图3中所示的标记的值。

接下来，在步骤S103，判断打算要记录的三维图像数据的格式。这个流程采用在三种类型A、B和C之间进行区分的示例。例如，它们依从在之前的第二和第三实施例中描述了的以下三种类型：

（a）帧顺序格式[FS]，

（b）并排格式[SbS]，以及

（c）上下格式[T&B]。

它们依从这些格式。

如果在步骤S103中的判断判断为格式A，则该处理前进到步骤S104，并且将与格式A兼容的详细三维图像信息记录在MP4文件的AV编解码盒子中。

此外，如果在步骤S103中的判断判断为格式B，则该处理前进到步骤S105，并且将与格式B兼容的详细三维图像信息记录在MP4文件的AV编解码盒子中。

此外，如果在步骤S103中的判断判断为格式C，则该处理前进到步骤S106，并且将与格式C兼容的详细三维图像信息记录在MP4文件的AV编解码盒子中。

步骤S104到S106的处理对应于之前描述的第二或第三实施例中的处理。

即，它们对应于[2B．（2）在AV编解码盒子（avc1）中记录详细三维图像信息的实施例（第二实施例）]或[2C．（3）利用要规定为AV编解码盒子（avc1）的扩展配置的方案信息盒子（sinf）记录详细三维图像识别信息的实施例（第三实施例）]的处理。

可以构成为执行第二和第三实施例的处理之一，也可以构成为执行这两者。

如参考图1所述，AV编解码盒子是这样的盒子：其设置在样本描述盒子（stsd）之下的层级中，而该样本描述盒子（stsd）进一步处于在电影盒子（moov）之下的层级中的轨道盒子之下的层级中，其存储编解码信息。

在第二实施例的处理中，如参考图4至图9所述，立体视频信息盒子302（参考图4）设置在AV编解码盒子中，并且例如在这里记录作为参考图8和图9描述了的详细三维图像信息的帧配置信息。如参考图8和图9所述，根据三维图像的格式记录不同数据段。

此外，如参考图10和图11所述，如果进行第三实施例的处理，则设置方案信息盒子来在方案信息盒子中记录详细三维图像信息。同样在这种情况下，根据三维图像的格式记录不同数据段。

在步骤S104至S106的处理结束之后，该处理前进到步骤S107以完成MP4文件并在介质中执行记录处理。

如果在步骤S101中判断为所获得数据不包括三维图像数据，则在步骤S 101中的判断导致“否”的判断，并且该处理前进到步骤S110。在步骤S110，将该二维图像识别信息记录在MP4文件的简档盒子中。

该处理是与之前描述了的[2A．（1）在简档盒子（uuid（PROF））中记录三维图像识别信息的实施例（第一实施例）]对应的处理。即，该处理是参考图2和图3所述的处理。即，像在图2中所示的以下标记的值那样：

立体视频标记（立体视频标记）201，以及

混合立体视频标记（混合立体视频标记）202，设置指示打算要记录的数据仅仅是二维图像数据的标记的值。该处理向后前进到步骤S107以完成MP4文件并在介质中执行记录处理。

已经作为在记录介质上的数据记录处理中的MP4文件创建处理的示例描述了图12中所示的流程，但如果MP4文件作为通信数据来生成，则也以类似的处理序列进行该MP4文件创建处理。

此外，已经作为读取上述第一实施例的简档盒子的三维图像识别信息和第二或第三实施例的AV编解码盒子的详细三维图像信息两者的设置示例，描述了图12中所示的流程，但可以构成为进行仅仅读取和使用第一实施例的简档盒子的三维图像识别信息的处理，也可以构成为进行仅仅读取和使用第二或第三实施例的AV编解码盒子的详细三维图像信息的处理。

接下来，将参考在图13中所示的流程图描述图像数据的回放处理序列。

例如，根据在图13中所示的流程图的处理在执行对从记录介质读取的MP4文件或作为通信数据接收到的MP4文件的处理的回放装置中执行。例如，它们是要在提供到回放装置的诸如CPU之类的控制单元的控制下执行的处理。

将给出在图13中所示的流程图中的每个步骤的处理的描述。

首先，在步骤S201，获得MP4文件的简档盒子（PROF）的信息。

该处理是与之前描述了的[2A．（1）在简档盒子（uuid（PROF））中记录三维图像识别信息的实施例（第一实施例）]对应的处理。即，该处理是获得参考图2和图3描述了的、MP4文件的简档盒子（PROF）的信息的处理。

具体说，读取在图2中所示的以下标记，即：

立体视频标记201，以及

混合立体视频标记202的值。

如之前参考图3所述，该标记设置值使能以下数据识别。

（情况1）

立体视频标记=1，混合立体视频标记=0，

在这种情况下，

判断为

（a）存储于MP4文件的所有图像数据是三维图像（立体图像）。

（情况2）

立体视频标记=0，混合立体视频标记=0，

在这种情况下，

判断为

（b）存储于MP4文件的所有图像数据是二维图像。

（情况3）

立体视频标记=0，混合立体视频标记=1，

在这种情况下，

判断为

（c）存储于MP4文件的图像数据是三维图像（立体图像）和二维图像的混合数据。

如果在步骤S202中从在步骤S201中作为简档盒子的三维图像识别信息的标记的读取，判断为不包括三维图像数据，则该处理前进到步骤S210以从MP4文件获得、回放和显示二维图像数据。

另一方面，如果在步骤S202判断为包括三维图像数据，则该处理前进到步骤S203。

在步骤S203，获得MP4文件的AV编解码盒子的信息。

该处理对应于读取上述[2B．（2）在AV编解码盒子（avc1）中记录详细三维图像信息的实施例（第二实施例）]或[2C．（3）利用要规定为AV编解码盒子（avc1）的扩展配置的方案信息盒子（sinf）记录详细三维图像识别信息的实施例（第三实施例）]的记录数据的处理。

例如，如果如图4至图9地进行与第二实施例对应的三维信息记录处理，则立体视频信息盒子302（参考图4）设置在AV编解码盒子中，并且例如在这里记录已经参考图8和图9描述了的、作为详细三维图像信息的帧配置信息。在步骤S203，从立体视频信息盒子302（参考图4）中读取该详细三维图像信息。

例如，变成可以通过读取例如已经参考图8和图9描述了的、作为详细三维图像信息的帧配置信息的设置值，来区分打算要回放的数据是依从以下哪种格式的数据：

（a）帧顺序格式[FS]，

（b）并排格式[SbS]，以及

（c）上下格式[T&B]。

此外，如果进行了与第三实施例对应的三维信息记录处理，则如参考图10和图11那样将方案信息盒子记录为AV编解码盒子的下层数据（lower data），并且从方案信息盒子读取详细三维图像信息。

至少获得根据第二和第三实施例的任何一种格式记录的详细三维图像信息，并且变成可以检查打算要回放的数据的三维图像格式。利用该检查，执行在步骤S204中的格式判断处理。即，在步骤S204，基于从AV编解码盒子中获得的详细三维图像信息，在格式A、B和C之间判断打算要回放的数据的格式。

如果判断三维图像数据为与格式A兼容，则该处理前进到步骤S205以实施与格式A兼容的图像的解码（解码，解压处理），并且执行回放和显示处理。

如果判断三维图像数据为与格式B兼容，则该处理前进到步骤S206以实施与格式B兼容的图像的解码（解码，解压处理），并且执行回放和显示处理。

如果判断三维图像数据为与格式C兼容，则该处理前进到步骤S207以实施与格式C兼容的图像的解码（解码，解压处理），并且执行回放和显示处理。

按这种方式，图像处理装置可以通过进行根据本发明的处理，从作为MP4文件中的管理信息的简档盒子和AV编解码盒子，获得关于该三维图像是否包括于存储于MP4文件的数据的信息以及还在包括三维图像数据的情况下的记录回放格式。

因此，变成可以先于获得MP4文件的实际数据来执行分析或回放处理之前检查该数据是否为可以由装置本身回放的三维图像数据，并且变成可以仅仅当判断为该数据可以回放时，获得实际数据来根据与该格式兼容的处理执行正确的解码和回放处理。

已经作为生成MP4文件的示例来描述了在图13中所示的流程，在该示例中，第一实施例的简档盒子的三维图像识别信息以及第二或第三实施例的AV编解码盒子的详细三维图像信息都记录在上述第一至第三实施例中描述了的MP4文件中，然而，可以构成为执行仅仅记录第一实施例的简档盒子的三维图像识别信息的处理，也可以构成为执行仅仅记录第二或第三实施例的AV编解码盒子的详细三维图像信息的处理。

[4．本发明的信息处理装置的配置示例]

接下来，将参考图14描述本发明的图像处理装置的配置示例。图14图解了作为本发明的图像处理装置的实施例的成像装置500的配置示例。成像装置500具有应用于三维图像显示的从不同视点拍摄图像的功能，并且具有能够通过用户的模式设置在二维图像和三维图像的拍摄之间切换的功能。

成像单元501例如具有设置在不同位置的多个镜头单元，并且具有能够同时从不同视点拍摄图像的配置。当设置在三维图像拍摄模式下时，输入经由多个镜头单元拍摄的图像。当设置在二维图像拍摄模式下时，仅仅输入经由一个镜头单元拍摄的图像。

图像信号处理单元502执行所拍摄的图像数据的、诸如白平衡之类的信号处理。

数据编码单元503生成MP4文件。如果所输入的数据是三维图像，则预处理单元511根据每个格式执行预处理。具体说，例如，根据参考图5至图7所述的格式，即，以下的格式：

（a）帧顺序格式[FS]，

（b）并排格式[SbS]，以及

（c）上下格式[T&B]，

从所拍摄的图像生成用于MP4解码的图像。例如，如果根据在图6中所示的并排格式[SbS]生成记录数据，则所拍摄的图像是与示出在图6的右边的用于显示的L图像（帧0）334和用于显示的R图像（帧1）335对应的两个图像，并且这些图像应用来生成与示出在图6的左边的MP4解码结果图像331对应的图像帧。

该数据输入到编码单元512来执行根据MP4格式的编码（编码）处理。而且，文件生成单元513执行之前在第一至第三实施例中已经描述了的、关于三维图像识别信息的简档盒子的记录处理、关于详细三维图像信息的AV编解码盒子的记录处理等等，以生成MP4文件。

文件生成单元513生成作为包括由编码单元512生成的图像数据的编码数据和该编码数据的管理信息的编码数据贮存文件的MP4文件。

文件生成单元513在生成MP4文件时，记录指示要存储于该文件中的图像数据是否包括三维图像数据的三维图像识别信息在MP4文件的简档盒子中。

在MP4文件的简档盒子中记录三维图像识别信息的处理对应于之前参考第一实施例描述了的处理。

此外，如果三维图像数据包括于文件贮存图像数据中，则该文件生成单元513在AV编解码盒子中记录使得可以区分三维图像的格式的详细三维图像信息。

在AV编解码盒子中记录详细三维图像信息的处理对应于之前参考第二和第三实施例描述了的处理。

例如，如果执行了与第三实施例对应的处理，则该文件生成单元513生成包括数据配置信息的方案信息盒子（在其中以数据处理的类别为单位设置在编码数据的回放处理时要应用到数据处理的信息），并且生成在其中以类别为单位用多个方案信息盒子分层地布置和记录在管理信息中的文件。

文件生成单元513按照作为存储于MP4文件的图像数据的分块数据的轨道或样本为单位进行以分块数据为单位记录详细三维图像信息的处理。

由数据编码单元503生成的MP4文件提供到记录单元504并记录在诸如闪存、HDD和DVD之类的记录介质530中。

除此而外，由数据编码单元503生成的MP4文件被提供到通信单元505，并被分包（packetize）以进行传输处理。

包括图像数据的编码数据和该编码数据的管理信息的MP4文件通过数据记录处理记录在记录介质530。包括于该MP4文件中的管理信息包括指示图像数据是否包括三维图像数据的三维图像识别信息和可以区分三维图像的格式的详细三维图像信息。因此，从记录介质530读取和回放MP4文件的装置可以参考管理信息判断在装置本身上回放的可能性。

例如，包括具有之前描述了的第三实施例的方案信息盒子的分层配置的管理信息的该MP4文件记录在记录介质530中。即，记录在记录介质530中的MP4文件的管理信息构成为分层地布置和记录数据配置信息，在其中以数据处理的类别为单位设置在编码数据的回放处理时要应用到数据处理的信息。从作为这样的信息记录介质的记录介质530读取和回放MP4文件的装置可以顺序获得分层地布置的数据配置信息、应用所获得的数据配置信息并且执行不同类别的多个数据处理。

接下来，给出记录在记录介质530中的MP4文件或经由通信单元505接收到的MP4文件的回放处理的描述。经由回放单元506读取记录在诸如闪存、HDD和DVD之类的记录介质530中的MP4文件以提供到数据解码单元507。类似地，经由通信单元505接收到的MP4文件也提供到数据解码单元507。

数据解码单元507的文件分析单元521首先获得所接收到的MP4文件的管理信息，即，记录在之前已经参考图1描述了的文件类型盒子（ftyp）、简档盒子（uuid（PROF））和电影盒子（moov）这些盒子中的管理信息。

如之前参考第一实施例所述，指示存储于MP4文件的实际数据盒子（mdat）中的图像数据是否包括三维图像的三维图像识别信息记录在简档盒子（uuid（PROF））。这是参考图2和图3描述了的信息。

此外，如参考第二和第三实施例所述，详细三维图像信息（即，如果存储于MP4文件的实际数据盒子（mdat）中的图像数据是三维图像数据，涉及三维图像数据的记录和回放格式的详细信息）记录在位于电影盒子（moov）之下的层级的AV编解码盒子中。这是参考图4至图11描述了的信息。例如，如果分析使用第二和第三实施例的配置的MP4文件，则文件分析单元521例如按照作为存储于MP4文件的图像数据的分块数据的轨道或样本为单位获得以分块数据为单位的信息。

数据解码单元507的文件分析单元521分析MP4文件中的这些管理信息段以检查存储于MP4文件的实际数据盒子（mdat）中的图像数据是否包括三维图像以及还有在包括三维图像的情况下其格式。

之后将该MP4文件与检查信息一起提供到解码单元522。如果从文件分析单元521的MP4文件分析结果判断MP4文件的所存储的数据不依从成像装置500可以回放的格式，则不执行后续处理，即，解码处理等。在控制单元570中根据存储于存储器571中的程序执行对这些处理的控制。控制单元570通过应用MP4文件的三维图像管理信息判断在装置本身上回放的可能性，并控制以使得在判断为回放成为可能之后开始解码单元522中的图像数据的解码处理。

如果基于文件分析单元521的MP4文件分析结果判断MP4文件的所存储的数据依从成像装置500可以回放的格式，则解码单元522开始MP4数据的解码处理。而且，将三维图像格式信息和解码结果提供到显示信息生成单元523。

显示信息生成单元523根据依赖于三维图像格式信息的每一种格式（参考图5至图7），即，在以下格式之间存储数据的MP4文件依从的格式，执行图像的解码处理：

（a）帧顺序格式[FS]，

（b）并排格式[SbS]，以及

（c）上下格式[T&B]。

根据这些格式中的每一个生成用于左眼的图像（L图像）和用于右眼的图像（R图像）。

将数据解码单元507所生成的显示用图像提供到显示单元550来显示图像。

显示信息生成单元523由执行各种类别的数据处理的数据处理单元（诸如生成应用于三维图像显示的用于左眼的图像和用于右眼的图像的数据处理单元，例如，执行加密数据的解码处理的数据处理单元）构成。显示信息生成单元523由执行不同类别的多个数据处理（其在存储于MP4文件的图像数据的回放处理时执行）的数据处理单元构成。

在使用包括具有在之前描述了的第三实施例中分层地布置的方案信息盒子的管理信息的MP4文件的处理中，文件分析单元521获得MP4文件的管理信息的分层数据配置信息，并且解码单元522和显示信息生成单元523通过应用包括于由文件分析单元521获得的包括以类别为单位的数据配置信息的方案信息盒子的信息，来执行不同类别的多个数据处理。

控制单元570执行对组件单元的控制。控制单元580根据事先存储于存储器571中的程序执行对拍摄处理数据记录处理、通信数据生成、数据传输和接收处理、数据回放处理、显示处理等的控制。在数据记录或数据传输处理时，执行根据之前参考图12的流程图描述了的处理序列的处理控制，而在数据回放处理时，执行根据之前参考图13的流程图描述了的处理序列的处理控制。

到此为止，已经参考具体实施方式详细描述了本发明。然而，很明显，本领域技术人员可以在不脱离本发明的要旨的情况下修改和替换这些实施例。即，已经作为说明形式公开了本发明，并且不应该限制性地解释本发明。为了判断本发明的要旨，应该考虑权利要求书。

此外，在该说明书中描述的一系列处理可以用硬件或软件或者两者的复合配置来执行。如果用软件执行这些处理，则在嵌入专用硬件的计算机中的存储器中安装在其中记录这些处理序列的程序来执行处理，或者在可以执行各种处理的通用计算机中安装程序来执行处理。例如，可以事先在记录介质中记录程序。除了从记录介质在计算机中的安装之外，还可以经由诸如LAN（局域网）和因特网之类的网络接收程序并将程序安装在诸如内部硬盘之类的记录介质中。

不仅可以根据这些描述按时间顺序执行说明书中所描述的各种处理，而且可以根据执行处理的装置的处理能力或按照需要并行或独立地执行说明书中所描述的各种处理。此外，该说明书中的***指示多个装置的逻辑集合配置，而不限于具有各自配置的装置处于同一外壳内的那种。

工业应用性

如上所述，根据本发明的实施例的配置，构成为在MP4文件的管理信息中分层地布置和记录要应用到将在存储于MP4文件的数据的回放处理中执行的各种数据处理（例如，诸如加密数据的三维图像显示处理和解码处理之类的不同类别的各种数据处理）的信息。这种配置使得可以从MP4文件的管理信息中安全地获得存储于MP4文件的数据的回放需要执行的不同类别的每一种数据处理（例如，加密三维图像数据的显示处理）所需要的各种信息，并且流畅数据回放处理成为可能。

附图标记清单

100MP4文件

101文件类型盒子（ftyp）

102简档盒子（uuid（prof））

103电影盒子（moov）

104实际数据盒子（mdat）

111轨道盒子（trak）

112样本描述盒子（stsd）

113AV编解码盒子

201立体视频标记

202混合立体视频标记

301数据区域

302立体视频信息盒子（立体视频描述盒子）

321解码图像帧

322显示图像帧

331MP4解码结果图像

332拆分的L图像（帧0）

333拆分的R图像（帧1）

334显示用L图像（帧0）

335显示用R图像（帧1）

341MP4解码结果图像

342拆分的L图像（帧0）

343拆分的R图像（帧1）

344显示用L图像（帧0）

345显示用R图像（帧1）

400MP4文件

401AV编解码盒子（avc1）

402AVC数据配置信息盒子[AVCConfigurationBox]

405AV编解码盒子

407AV编解码盒子（encv）

410三维图像信息方案信息盒子

411格式信息盒子（frma）

412方案类型盒子（SchemeTypeBox）

413详细方案信息盒子（SchemeInformationBox）

420加密信息方案信息盒子

421格式信息盒子（frma）

422方案类型盒子（SchemeTypeBox）

423详细方案信息盒子（SchemeInformationBox）

500成像装置

501成像单元

502图像信号处理单元

503数据编码单元

504记录单元

505通信单元

506回放单元

507数据解码单元

511预处理单元

512编码单元

513文件生成单元

521文件分析单元

522解码单元

523显示信息生成单元

530记录介质

550显示单元

570控制单元

571存储器

Claims (20)

1.一种图像处理装置，其包括：

编码单元，用于执行图像数据的编码处理；以及

文件生成单元，用于生成包括编码单元生成的编码数据和该编码数据的管理信息的编码数据贮存文件，

其中，该文件生成单元生成在其中以数据处理的类别为单位设置在编码数据的回放处理时要应用到数据处理的信息的数据配置信息，并生成在其中在管理信息中分层地布置和记录以类别为单位的多段数据配置信息的文件。

2.根据权利要求1的图像处理装置，其中，以类别为单位的至少一段数据配置信息是使得能够区分该文件生成单元所生成的文件的所存储的图像数据是否包括三维图像数据的三维图像管理信息。

3.根据权利要求1的图像处理装置，其中，以类别为单位的至少一段数据配置信息是使得能够区分包括于该文件生成单元所生成的文件的所存储的图像数据中的三维图像数据的三维图像记录格式的三维图像管理信息。

4.根据权利要求3的图像处理装置，其中，以类别为单位的至少一段数据配置信息是这样的三维图像管理信息，其使得能够在以下格式之中区分包括于该文件生成单元所生成的文件的所存储的图像数据中的三维图像数据依从的三维图像记录格式：

（a）帧顺序格式；

（b）并排格式；以及

（c）上下格式。

5.根据权利要求2至4之一的图像处理装置，其中，

以类别为单位的至少一段数据配置信息是文件生成单元所生成的文件的所存储的图像数据的加密格式信息，并且

该文件生成单元生成在其中在管理信息中分层地布置和记录包括加密格式信息的第一数据配置信息和包括三维图像管理信息的第二数据配置信息的文件。

6.根据权利要求1至5之一的图像处理装置，其中，该文件生成单元具有执行MP4文件的生成的配置，并且生成在其中在MP4文件的AV编解码盒子之下的层级中分层地布置和记录数据配置信息的文件。

7.根据权利要求6的图像处理装置，其中，该文件生成单元生成在其中在MP4文件的AV编解码盒子之下的层级中分层地布置和记录包括数据配置信息的方案信息盒子的文件。

8.根据权利要求7的图像处理装置，其中，该文件生成单元执行以作为要存储于MP4文件的图像数据的分块数据的轨道或样本为单位设置和记录以分块数据为单位的方案信息盒子的处理。

9.一种图像处理装置，其包括：

文件分析单元，用于分析包括图像数据的编码数据和该编码数据的管理信息的编码数据贮存文件；以及

数据处理单元，用于在存储于该文件中的图像数据的回放处理时执行不同类别的多种数据处理，

其中，该文件的管理信息具有分层地布置和记录以数据处理的类别为单位执行处理需要的数据配置信息的配置，

该文件分析单元获得该文件的管理信息的分层地布置的数据配置信息，并且

该数据处理单元应用文件分析单元所获得的数据配置信息并执行不同类别的多种数据处理。

10.根据权利要求9的图像处理装置，其中，以类别为单位的至少一段数据配置信息是使得能够区分该文件的所存储的图像数据是否包括三维图像数据的三维图像管理信息。

11.根据权利要求9的图像处理装置，其中，以类别为单位的至少一段数据配置信息是使得能够区分包括于该文件的所存储的图像数据中的三维图像数据的三维图像记录格式的三维图像管理信息。

12.根据权利要求11的图像处理装置，其中，以类别为单位的至少一段数据配置信息是这样的三维图像管理信息，其使得能够在以下格式之中区分包括于该文件的所存储的图像数据中的三维图像数据依从的三维图像记录格式：

（a）帧顺序格式；

（b）并排格式；以及

（c）上下格式。

13.根据权利要求10至12之一的图像处理装置，其中，

以类别为单位的至少一段数据配置信息是文件生成单元所生成的文件的所存储的图像数据的加密格式信息，并且

该文件分析单元从该管理信息获得包括加密格式信息的第一数据配置信息和包括三维图像管理信息的第二数据配置信息。

14.根据权利要求9至13之一的图像处理装置，其中，

该文件是MP4文件，并且

该文件分析单元从分层地布置和记录在MP4文件的AV编解码盒子之下的层级中的方案信息盒子中，获得以数据处理的类别为单位的数据配置信息。

15.根据权利要求14的图像处理装置，其中，该文件分析单元以作为存储于MP4文件的图像数据的分块数据的轨道或样本为单位获得以分块数据为单位的方案信息盒子。

16.一种信息记录介质，在其中记录包括图像数据的编码数据和该编码数据的管理信息的MP4文件，其中，

该管理信息具有分层地布置和记录在其中以数据处理的类别为单位设置在编码数据的回放处理时要应用到数据处理的信息的数据配置信息的配置，并且

在读取和回放MP4文件的装置中，顺序地获得分层地布置的数据配置信息，并且通过应用所获得的数据配置信息来使能不同类别的多种数据处理的执行。

17.一种要在图像处理装置中执行的图像处理方法，包括：

编码处理步骤，编码单元执行图像数据的编码处理；以及

文件生成步骤，文件生成单元生成包括编码单元生成的编码数据和该编码数据的管理信息的编码数据贮存文件，

其中，该文件生成步骤包括这样的步骤：生成在其中以数据处理的类别为单位设置在编码数据的回放处理时要应用到数据处理的信息的数据配置信息，并且生成在其中在管理信息中分层地布置和记录以类别为单位的多段数据配置信息的文件。

18.一种要在图像处理装置中执行的图像处理方法，包括：

文件分析步骤，文件分析单元分析包括图像数据的编码数据和该编码数据的管理信息的编码数据贮存文件；以及

数据处理步骤，数据处理单元执行在存储于该文件中的图像数据的回放处理时执行不同类别的多种数据处理，

其中，该文件的管理信息具有分层地布置和记录以数据处理的类别为单位执行处理需要的数据配置信息的配置，

该文件分析步骤包括获得该文件的管理信息的分层地布置的数据配置信息的步骤，并且

该数据处理步骤包括应用文件分析单元所获得的数据配置信息来执行不同类别的多种数据处理的步骤。

19.一种使得图像处理装置执行图像处理的程序，包括：

编码处理步骤，使得编码单元执行图像数据的编码处理；以及

文件生成步骤，使得文件生成单元生成包括编码单元所生成的编码数据和该编码数据的管理信息的编码数据贮存文件，

其中，该文件生成步骤包括这样的步骤：生成在其中以数据处理的类别为单位设置在编码数据的回放处理时要应用到数据处理的信息的数据配置信息，并且生成在其中在管理信息中分层地布置和记录以类别为单位的多段数据配置信息的文件。

20.一种使得图像处理装置执行图像处理的程序，包括：

文件分析步骤，使得文件分析单元分析包括图像数据的编码数据和该编码数据的管理信息的编码数据贮存文件；以及

数据处理步骤，使得数据处理单元执行在存储于该文件中的图像数据的回放处理时执行不同类别的多种数据处理，

其中，该文件的管理信息具有分层地布置和记录以数据处理的类别为单位执行处理需要的数据配置信息的配置，

该文件分析步骤包括获得该文件的管理信息的分层地布置的数据配置信息的步骤，并且

该数据处理步骤包括应用文件分析单元所获得的数据配置信息来执行不同类别的多种数据处理的步骤。

Images