CN114026875A - 信息处理装置、信息处理方法、再现处理装置和再现处理方法 - Google Patents

信息处理装置、信息处理方法、再现处理装置和再现处理方法 Download PDF

Info

Publication number
CN114026875A
CN114026875A CN202080044831.2A CN202080044831A CN114026875A CN 114026875 A CN114026875 A CN 114026875A CN 202080044831 A CN202080044831 A CN 202080044831A CN 114026875 A CN114026875 A CN 114026875A
Authority
CN
China
Prior art keywords
file
content
information
selection information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080044831.2A
Other languages
English (en)
Inventor
胜股充
高桥辽平
平林光浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114026875A publication Critical patent/CN114026875A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

提供了一种信息处理装置、再现处理装置、信息处理方法和再现处理方法，通过这些装置和方法，客户端设备能够高效地选择内容配置。预处理单元针对具有表示虚拟空间的内容配置的一个或更多个内容生成用于确定内容的再现处理是否可能的内容配置选择信息，该内容配置由一个或更多个三维对象及其空间布置信息配置。文件生成单元生成包含虚拟空间的数据和内容配置选择信息的文件。

Description

信息处理装置、信息处理方法、再现处理装置和再现处理方法
技术领域
本发明涉及信息处理装置、信息处理方法、再现处理装置和再现处理方法。
背景技术
在当前视频分发中，主要分发用于分发电影等的二维视频。在下文中，二维视频可以被称为二维(2D)内容。此外，在网络上的视频发布站点上也发布能够在所有方向上观看的360度视频。在所有方向上能够观看指示可以自由选择视线方向。360度视频被称为3自由度(3DoF)视频或3DoF内容。在2D内容和3DoF内容两者中，基本从分发服务器分发二维编码的视频并且将其显示给客户端。
还存在被称为3DoF+内容的内容。3DoF+内容是可以与3DoF内容类似地在所有方向上观看的内容，并且还允许视点位置的稍微偏移。假设在3DoF+内容中的视点位置的偏移在用户可以在就座状态下移动头部的范围内被允许。在3DoF+内容中，通过使用一个或多个二维编码的视频来实现视点位置的偏移。
此外，已经提出了分发被称为6DoF内容的6DoF视频作为具有更高自由度的视频。6DoF视频是可以在三维空间中的所有方向上观看并且可以通过在所显示的三维空间中四处走动来观看的视频。在三维空间中四处走动意味着可以自由选择视点位置。在下文中，三维空间可以被称为3D空间。
6DoF内容是三维内容，其中三维空间由一个或多个三维模型数据表示。三维模型数据可以被称为3D模型数据，并且三维内容也可以被称为3D内容。
作为分发6DoF内容的方法的示例，通过利用多个三维模型数据配置三维空间，将6DoF内容作为多个对象流发送。此时，可以使用被称为场景描述的关于三维空间的配置信息。其示例是运动图像专家组(MPEG)-4场景描述。作为表示方法的场景描述是这样的方法，其中场景由被称为场景图的具有树分层结构的图来表示，而场景图以二进制格式表示。
6DoF内容是表示用每个时间的三维模型数据表示三维空间的视频材料。用于表示6DoF内容的方案的示例包括以下三种方案。
一种方案是在本发明中被称为基于对象的表示方案的表示方案。在基于对象的表示方案中，6DoF内容具有这样的内容配置，其中在三维空间中布置诸如人或物的每个三维对象的三维模型数据以表示整个三维空间，该三维对象是要在视频中显示的个体目标对象。基于对象的表示方案的特征在于，执行6DoF内容的再现的客户端同时处理三种方案之间的最大数目的三维模型数据。另一方面，在基于对象的表示方案中，在显示诸如个体人或物的每个三维对象时可以改变定义。因此，可以说基于对象的表示方案是这样的配置方法，其中在这三种方法中，客户端在再现处理中具有高自由度。
另一方案是在本发明中被称为基于空间的表示方案。在基于空间的表示方案中，6DoF内容具有这样的内容配置，其中整个目标三维空间被表示为一个三维模型数据，而不将诸如人或物的每个三维对象分开为三维模型数据。基于空间的表示方案的特征在于，在这三个方案中，客户端在再现时处理一个三维模型数据，需要最低的处理能力。另一方面，由于整个6DoF内容的定义是固定的，因此可以说客户端在再现处理中具有极低的自由度。
又一方案是基于空间的表示方案与基于对象的表示方案的组合。在下文中，该表示方案将被称为混合型表示方案。在混合型表示方案中，6DoF内容具有这样的内容配置，其中特定三维对象由独立的三维模型数据表示，并且除了特定三维对象之外的三维空间由一个三维模型数据表示。在混合型表示方案中，客户端在再现处理中使用多个三维模型数据，但是三维模型数据的数目小于在基于对象的表示方案中使用的三维模型数据的数目。即，在混合型表示方案中，要求客户端具有与基于空间的表示方案中的处理能力相比更高的处理能力，但是可以具有与基于对象的表示方案中的处理能力相比更低的处理能力。另外，类似地可以说客户端在再现处理中具有与基于空间的表示方案中的自由度相比更高的自由度，并且在再现处理中具有与基于对象的表示方案中的自由度相比更低的自由度。
如上所述，在表示方案中的每一个中，6DoF内容具有不同的内容配置。此时，在创建场景描述以在不同的表示方案中包括若干6DoF内容的情况下，优选的是，客户端选择自由度尽可能高的表示方案的内容配置，使得可以进一步扩展用户的观看体验。
引用列表
非专利文献
非专利文献1：“ISO/IEC 14496-11:2015”，信息技术.视听对象的编码.第11部分：Sene description and application engine，2015-11
发明内容
技术问题
然而，在从场景描述中选择适当的内容配置的情况下，客户端在执行各种分析之后选择内容配置。分析的示例包括整个场景描述的分析、媒体呈现描述(MPD)中的AdaptationSet的分析等。这样的分析包括对实际不使用的部分的分析，并且因此可以说客户端设备在选择内容配置方面效率较低。
因此，本公开内容提供了使得客户端设备能够高效地选择内容配置的信息处理装置、信息处理方法、再现处理装置和再现处理方法。
问题的解决方案
根据本公开内容，预处理单元针对一个或多个内容生成用于确定内容中的每一个是否能够再现的内容配置选择信息，内容中的每一个具有内容配置，该内容配置包括一个或更多个三维对象及其空间布置信息以表示虚拟空间。文件生成单元生成包括关于虚拟空间的数据和内容配置选择信息的文件。
附图说明
图1是示出6DoF内容的配置的图。
图2是分发***的示例的***配置图。
图3是文件生成设备的框图。
图4是用于描述根据第一实施方式的存储内容配置选择信息的方法的图。
图5是示出第一实施方式中的扩展交换节点的语法的示例的图。
图6是客户端设备的框图。
图7是由根据第一实施方式的文件生成设备进行的文件生成处理的流程图。
图8是由根据第一实施方式的客户端设备执行的再现处理的流程图。
图9是示出第一实施方式的修改(1)中的场景描述的ISOBMFF文件的图。
图10是示出第一实施方式的修改(1)中的SampleEntry中存储的内容配置选择信息的语法的示例的图。
图11是示出一组内容配置选择信息的示例的图。
图12是示出Matroska媒体容器格式的图。
图13是用于描述根据第一实施方式的修改(4)的存储内容配置选择信息的方法的图。
图14是示出RequiedPerformance节点的语法的示例的图。
图15是示出描述6DoFContentStruct Descriptor的示例的图。
图16是示出第一实施方式的修改(5)中的CSC的语义的图。
图17是用于描述根据第二实施方式的存储内容配置选择信息的方法的图。
图18是示出第二实施方式中的扩展交换节点的语法的示例的图。
图19是示出第三实施方式的修改(1)中的SampleEntry中存储的内容配置选择信息的语法的示例的图。
图20是示出第三实施方式的修改(2)中的CSC的语义的图。
图21是用于描述使用存储在三维模型数据的AdaptationSet中的配置信息的方法的图。
图22是计算机的硬件配置图。
具体实施方式
在下文中，将参照附图详细描述本公开内容的实施方式。在以下各个实施方式中，相同的部分用相同的附图标记表示，并且将不重复其描述。另外，本文所公开的本技术的范围不限于实施方式，并且在提交申请时公开的以下非专利文献的内容也被并入本文。
非专利文献1：(如上所述)
非专利文献2：“ISO/IEC 14496-12:2015”，信息技术.视听对象的编码.第12部分：ISO base media file format，2015-12
非专利文献3：“ISO/IEC 23009-1:2014”，信息技术.HTTP上的动态自适应流传输(DASH)，第1部分：Media presentation description and segment formats，2014-5
即，上述非专利文献的公开内容也通过引用并入本说明书。即，上述非专利文献的公开内容也用作用于关于支持要求的确定的基础。例如，尽管用于非专利文献1中描述的场景描述的结构/术语、非专利文献2中描述的文件结构、以及用于非专利文献3中描述的MPEG-DASH标准的术语没有直接在本发明的详细描述中描述，但是这些被认为落入本技术的公开内容的范围内并且满足权利要求的支持要求。类似地，例如，即使在本发明的详细描述中没有直接描述诸如解析、语法和语义的技术术语，这些也被认为落入本技术的公开内容的范围内并且满足权利要求的支持要求。
另外，本公开内容将根据以下项顺序来描述。
1.第一实施方式
1.1第一实施方式的修改(1)
1.2第一实施方式的修改(2)
1.3第一实施方式的修改(3)
1.4第一实施方式的修改(4)
1.5第一实施方式的修改(5)
2.第二实施方式
2.1第二实施方式的修改(1)
3.第三实施方式
3.1第三实施方式的修改(1)
3.2第三实施方式的修改(2)
4.第四实施方式
[1.第一实施方式]
当分发各自具有基于对象的表示方案、基于空间的表示方案或混合型表示方案中的内容配置的6DoF内容时，例如，场景描述文件、MPD文件和3D模型数据文件如图1所示配置以被分发。图1是示出6DoF内容的配置的图。在这样的当前内容配置中，客户端可以基于以下三个索引来确定客户端设备是否能够充分表现出其自身的再现能力。
第一索引是用于确定场景描述文件和三维模型数据文件是否可以各自被单独解码的索引。第二索引是用于确定场景描述文件和三维模型数据文件是否可以一起被解码的索引。第三索引是用于确定在解码处理之后是否可以执行数据渲染的索引。渲染是指三维空间中的布置和显示。在客户端设备基于这样的索引来确定是否可以针对每个内容配置执行再现处理的情况下，可以考虑以下信息的使用。
第一信息是存储在AdaptationSet中的@mimeType属性和@codecs属性，该AdaptationSet表示MPD文件中包括的AdaptationSet中的场景描述。基于该信息，客户端设备确定场景描述是否可以被解码。更具体地，可以确定客户端设备是否支持使用@mimeType属性的场景描述的文件格式。另外，可以确定客户端设备是否与使用@codecs属性对场景描述进行编码的编解码器兼容。因此，确定在MPEG-4场景描述格式与GL传输格式(glTF)2.0格式之间创建了哪个场景描述的格式，并且确定客户端设备是否可以再现场景描述。
第二信息是在场景描述以ISO基础媒体文件格式(ISOBMFF)表示的情况下存储的sceneProfileLevelIndication filed。基于该信息，客户端设备确定是否可以在场景描述被解码之后执行数据渲染。该信息包括用于确定客户端设备的再现处理能力的信息，该再现处理能力用于从由场景描述(关于场景图的数据)表示的场景图(分层结构)来重建三维空间。例如，在点云的情况下，sceneProfileLevelIndication filed包括每个场景的最大点数，而在网格的情况下，sceneProfileLevelIndication filed包括每个场景的面的最大顶点数、最大面数和最大顶点数。即，基于该信息，确定整个场景需要何种程度的再现处理能力。
第三信息是从由场景描述文件表示的场景图获得的用于配置场景的外部三维模型数据文件的数目。基于该信息，客户端设备确定是否可以解码场景描述文件和三维模型数据文件。例如，当客户端设备自身的用于三维模型数据的解码器的数目大于用于配置场景的外部三维模型数据文件的数目时，客户端设备确定再现可用。在该情况下，所使用的解码器的数目越大，客户端设备所需的再现处理能力越高。
第四信息是存储在AdaptationSet中的@mimeType属性和@codecs属性，该AdaptationSet表示MPD文件中包括的AdaptationSet中的每个三维模型数据。@mimeType属性包括例如关于存储3D模型数据的文件格式的信息。此外，@codecs属性包括关于3D模型数据由哪个编解码器编码的信息以及关于编解码器的配置文件或级别的信息。基于该信息，客户端设备确定是否可以解码每个三维模型数据。更具体地，可以确定客户端设备是否支持使用@mimeType属性的每个三维模型数据的文件格式。另外，可以确定客户端设备是否与使用@codecs属性对每个三维模型数据进行编码的编解码器兼容。
此外，在@codecs属性中包括关于三维模型数据的再现兼容性的信息的情况下，客户端设备可以确定是否可以执行每个三维模型数据的渲染。在该情况下，例如，在三维模型数据是点云的情况下，@codecs属性包括最大点数，而在三维模型数据是网格的情况下，@codecs属性包括面的最大顶点数、最大面数和最大顶点数。
第五信息是针对每个三维模型数据存储在MPD文件中包括的Representation中的@bandwidth属性。基于该信息，客户端设备确定是否可以解码每个三维模型数据。例如，通过使用该信息，客户端设备可以确定比特率是可以单独再现三维模型数据的比特率还是可以在整个场景中再现三维模型数据的比特率。
在上述信息中，第一信息、第四信息和第五信息用作第一索引，第三信息、第四信息和第五信息用作第二索引，并且第二信息和第四信息用作第三索引。
这里，内容创建者期望向用户提供能够以尽可能高的自由度再现的内容，从而增加内容的价值。同时，优选地，可再现的客户端设备的数目大。因此，内容创建者可以考虑准备多个内容配置来分发6DoF内容。在下文中，基于对象的、基于空间的和混合型表示方案的内容配置将分别被称为基于对象的内容配置、基于空间的内容配置和混合型内容配置。
例如，在内容创建者准备混合型内容配置和基于空间的内容配置的情况下，如果客户端设备的再现处理能力高，则客户端设备选择混合型内容配置以再现，但是如果客户端设备的再现处理能力低，则客户端设备选择基于空间的内容配置以再现。在该情况下，场景描述被创建为包括两个内容配置。在该情况下，传统上，为了选择内容配置，客户端设备分析了整个场景描述并且使用第一信息至第五信息分析了在针对用于配置场景的三维模型数据的MPD的AdaptationSet中描述的信息。该处理不高效，这是因为分析了每个场景中不会实际使用的内容配置。
然而，在根据相关技术的6DoF内容分发***中，没有向客户端设备提供用于确定可以再现具有彼此不同的内容配置的内容中的哪一个的信息。为此，除非实际执行解码和渲染，否则客户端设备难以确定再现处理是否可用。因此，将描述使得客户端设备能够高效地选择内容配置的***。
[根据第一实施方式的***的配置]
图2是分发***的示例的***配置图。分发***100包括作为信息处理装置的文件生成设备1、作为再现处理装置的客户端设备2和Web服务器3。文件生成设备1、客户端设备2和Web服务器3连接至网络4。然后，文件生成设备1、客户端设备2和Web服务器3可以经由网络4彼此通信。这里，虽然在图1中示出每种设备被包括为一个设备，但是分发***100可以包括多个文件生成设备1和多个客户端设备2。
文件生成设备1生成6DoF内容。文件生成设备1将生成的6DoF内容上载到Web服务器3。这里，尽管在本实施方式中描述了Web服务器3将6DoF内容提供给客户端设备2，但是分发***100可以采用另一配置。例如，文件生成设备1可以包括Web服务器3的功能，以自身在其中存储生成的6DoF内容，并且将存储的6DoF内容提供给客户端设备2。
Web服务器3保持从文件生成设备1上载的6DoF内容。然后，Web服务器3提供由来自客户端设备2的请求指定的6DoF内容。
客户端设备2将请求发送至Web服务器3，以向其发送6DoF内容。然后，客户端设备2从Web服务器3获取由发送请求指定的6DoF内容。然后，客户端设备2解码6DoF内容以生成视频，使得在诸如监视器的显示设备上显示视频。
这里，将描述6DoF内容。6DoF内容表示具有一个或更多个三维对象的三维空间。使用由6DoF内容的局部坐标系标准化的边界框中的坐标系来表示三维对象，并且将三维对象压缩和编码成比特流。场景描述用于将比特流布置在三维空间中。
场景描述有多个标准。基本上，在每个时间显示每个三维对象的场景由被称为场景图的树分层结构中的图表示，并且场景图以二进制格式或文本格式表示。这里，场景图是空间显示控制信息，并且通过将节点定义为构成单元并且分层地组合多个节点来配置与三维对象的显示有关的信息。节点包括用于关于从一个坐标系到另一坐标系的坐标变换的信息的节点、用于关于三维对象的位置和大小的信息的节点、以及用于关于对三维对象和音频数据的访问的信息的节点。
注意，在以下描述中，假设6DoF内容包括场景描述数据，该场景描述数据是空间显示控制信息和多个三维对象的媒体数据(例如，根据三维对象的网格数据和纹理数据来表示)。另外，6DoF内容可以包括音频数据。关于三维对象的媒体数据也可以以另一格式例如点云应用。此外，在本实施方式中，场景描述文件基于MPEG-4场景描述(ISO/IEC14496-11)。
MPEG-4场景描述数据是通过以被称为场景的二进制格式(BIFS)的格式对场景图进行二值化而获得的。可以使用预定算法将场景图变换成BIFS。此外，通过将场景描述存储在ISOBMFF中，可以在每个时间规定场景，从而使得可以表示位置和大小改变的三维对象。
[根据第一实施方式的文件生成设备的配置]
接下来，将详细描述文件生成设备1。图3是文件生成设备的框图。如图3所示，作为信息处理装置的文件生成设备1包括生成处理单元10和控制单元11。控制单元11执行用于控制生成处理单元10的处理。例如，控制单元11统一控制生成处理单元10的各个部分的操作定时等。生成处理单元10包括数据输入单元101、预处理单元102、编码单元103、文件生成单元104和传输单元105。
数据输入单元101接收用于生成三维对象的原始信息、元信息等的输入。数据输入单元101将获取的原始信息输出至预处理单元102。数据输入单元101接收数据的输入。由数据输入单元101接收的数据包括3D对象和诸如关于3D对象的布置的信息的元数据。数据输入单元101将获取的数据输出至预处理单元102。
预处理单元102从数据输入单元101接收包括3D对象和诸如关于3D对象的布置的信息的元数据的数据的输入。然后，预处理单元102基于获取的数据来确定比特流配置，并且使用每个3D对象的元数据和关于对比特流的访问的信息来生成场景图。元数据包括诸如哪个编解码器用于压缩的控制信息。
另外，预处理单元102针对每个内容配置生成内容配置选择信息，该内容配置选择信息包括用于一个或更多个内容配置的上述第一信息至第五信息中的任何信息。内容配置选择信息提供再现每个内容配置的场景所需的再现处理能力的索引。
然后，预处理单元102在场景描述中存储针对每个内容配置的内容配置选择信息。因此，客户端设备2可以通过使用内容配置选择信息来选择能够进行再现处理的内容配置。在下文中，将详细描述根据本实施方式的内容配置选择信息的存储。
图4是用于描述根据第一实施方式的存储内容配置选择信息的方法的图。如图4所示，预处理单元102针对每个内容配置在场景描述中的交换节点下排列子节点。在图4中，例如，内容配置301是混合型表示方案中的内容配置，并且内容配置302是基于空间的表示方案中的内容配置。预处理单元102扩展交换节点以存储要用于确定是否可以针对每个内容配置中的整个场景执行解码和渲染的信息作为内容配置选择信息。
图5是示出第一实施方式中的扩展交换节点的语法的示例的图。例如，预处理单元102在交换节点的choice域中指示多个内容配置。此外，预处理单元102新添加指示每个内容配置的内容配置选择信息的Points域、VertivesParFace域、Faces域、Indices域、Num3DmodeData域、3DmodeIDataMimeType域、3DmodeDataCodec域和Bitrate域。然后，预处理单元102通过以choice域中指示的内容配置顺序将值存储在新添加的域中来存储每个内容配置的值。
Points是点云的点数。VertivesParFace是网格的面的顶点数。Faces是网格的面数。Indices是网格的顶点数。Points、VertivesParFace、Faces和Indices对应于第二信息。Num3DmodelData是外部参考的三维模型数据的数目。Num3DmodelData对应于第三信息。3DmodelDataMimeType是外部参考的三维模型数据的MimeType。3DmodelDataCodec是外部参考的三维模型数据的编解码器。Num3DmodelData和3DmodelDataCodec对应于第四信息。Bitrate是包括外部参考的三维模型数据的比特率。Bitrate对应于第五信息。
预处理单元102将三维对象和生成的场景图输出至编码单元103。预处理单元102还将元数据输出至文件生成单元104。
编码单元103从预处理单元102接收三维对象和场景图的输入。然后，编码单元103对三维对象进行编码以生成比特流。此外，编码单元103对获取的场景图进行编码以生成场景描述。此后，编码单元103将生成的比特流和场景描述输出至文件生成单元104。
文件生成单元104从编码单元103接收比特流和场景描述的输入。文件生成单元104还从预处理单元102接收元数据的输入。然后，文件生成单元104将获取的比特流存储在要转换成文件的每个段的ISOBMFF文件中，从而生成比特流的段文件。文件生成单元104还将关于场景描述的数据存储在要转换成文件的每个段的ISOBMFF文件中，从而生成场景描述的段文件。
另外，文件生成单元104基于从预处理单元102获取的数据来生成媒体呈现描述(MPD)文件。在MPD文件中，存储了媒体类型和6DoF内容的元信息，例如关于运动图像或声音的段文件的信息。
传输单元105从文件生成单元104获取比特流和场景描述的ISOBMFF文件、以及MPD文件，并且将获取的文件发送并上载到Web服务器3。
[根据第一实施方式的客户端设备的配置]
图6是客户端设备的框图。如图6所示，客户端设备2包括再现处理单元20和控制单元21。控制单元21控制再现处理单元20的每个部分的操作。例如，控制单元21统一控制再现处理单元20的各个部分的操作定时。再现处理单元20包括文件获取单元201、测量单元202、文件处理单元203、解码处理单元204、显示控制单元205、显示信息生成单元206和显示单元207。
文件获取单元201从Web服务器3获取与要再现的6DoF内容对应的MPD文件。然后，文件获取单元201基于MPD文件来获取关于要再现的6DoF内容的场景描述的信息。
文件获取单元201访问Web服务器3，并且获取存储了要显示的6DoF内容的场景描述的ISOBMFF文件。然后，文件获取单元201将存储了场景描述的ISOBMFF文件输出至文件处理单元203。
此外，文件获取单元201从文件处理单元203获取关于由文件处理单元203选择的比特流的信息。然后，文件获取单元201访问Web服务器3，并且获取选择的比特流的段文件。此后，文件获取单元201将获取的比特流的段文件输出至文件处理单元203。
测量单元202测量客户端设备2与Web服务器之间的传输路径的传输带。然后，测量单元202将测量传输带的结果输出至文件处理单元203。
文件处理单元203从文件获取单元201接收与要再现的6DoF内容对应的MPD文件的输入。然后，文件处理单元203解析获取的MPD文件，以获取关于要再现的6DoF内容的场景描述的信息。文件处理单元203还识别要用于自适应分发的多个数据。例如，如果自适应分发用于切换比特率，则获取关于与每个比特率对应的比特流的段文件的信息。在该情况下，文件处理单元203将关于要再现的6DoF内容的场景描述的信息输出至文件获取单元201。
文件处理单元203从文件获取单元201接收存储了场景描述的ISOBMFF文件的输入。文件处理单元203解析获取的ISOBMFF文件。然后，文件处理单元203获取场景描述的交换节点。此后，文件处理单元203从交换节点获取内容配置选择信息。接下来，文件处理单元203根据客户端设备2的再现处理能力从获取的内容配置选择信息中选择要使用的内容配置。此后，文件处理单元203获取场景图中与选择的内容配置对应的子节点。然后，文件处理单元203获取选择的内容配置的场景中的坐标变换信息、三维对象的布置信息和访问信息。
另外，文件处理单元203从测量单元202接收测量传输带的结果的输入。然后，文件处理单元203基于解析场景描述的结果、从测量单元202获取的指示传输带的信息等，选择要再现的比特流的段文件。然后，文件处理单元203将关于选择的比特流的段文件的信息输出至文件获取单元201。在该情况下，通过根据传输带改变要选择的比特流的段文件来实现根据比特率的自适应分发。
此后，文件处理单元203从文件获取单元201接收选择的比特流的段文件的输入。然后，文件处理单元203从获取的比特流的段文件中提取比特流数据，并且将提取的数据输出至解码处理单元204。
解码处理单元204从文件处理单元203接收比特流数据的输入。然后，解码处理单元204对获取的比特流数据进行解码。此后，解码处理单元204将解码的比特流数据输出至显示信息生成单元206。
显示控制单元205从未示出的输入设备接收关于操作者的视点位置和视线方向的信息的输入。然后，显示控制单元205将获取的关于视点位置和视点方向的信息输出至显示信息生成单元206。
显示控制单元205还从文件处理单元203接收关于存在哪种三维对象的信息的输入。替选地，操作者也可以不输入关于视点位置和视线的信息，而使用输入设备输入指示关注的三维对象的指定信息。显示控制单元205获取指示由操作者指定的关注的三维对象的指定信息。然后，例如，在跟踪三维对象以观看的情况下，显示控制单元205将关于视点位置和视点方向的信息输出至显示信息生成单元206，以随时间跟踪被指定为指定信息的三维对象。因此，可以显示用于跟踪例如由操作者指定的三维对象的图像。另外，例如，在显示三维对象的位置的情况下，显示控制单元205生成用于指定6DoF内容中的指定三维对象的信息。
显示信息生成单元206接收场景描述、解码比特流数据以及获取的关于视点位置和视点方向的信息，以生成显示信息。下面将详细描述显示信息生成单元206。
从解码处理单元204接收比特流数据的输入。然后，显示信息生成单元206基于场景描述在三维空间中布置作为获取的比特流数据的三维对象。此外，显示信息生成单元206从显示控制单元205接收关于操作者的视点位置和视线方向的信息的输入。然后，显示信息生成单元206根据视点位置和视线方向执行布置在三维空间中的三维对象的渲染，以生成用于显示的图像。此后，显示信息生成单元206将生成的用于显示的图像提供给显示单元207。
显示单元207包括诸如监视器的显示设备。显示单元207接收由显示信息生成单元206生成的用于显示的图像的输入。然后，显示单元207在显示设备上显示获取的用于显示的图像。
[根据第一实施方式的文件生成过程]
接下来，将参照图7详细描述根据第一实施方式的由文件生成设备1进行的文件生成处理的流程。图7是由根据第一实施方式的文件生成设备进行的文件生成处理的流程图。
预处理单元102生成内容配置选择信息(步骤S1)。在本实施方式中，预处理单元102生成要存储在场景描述图的交换节点中的内容配置选择信息。
然后，预处理单元102生成其中内容配置选择信息被存储在交换节点中的场景图的数据(步骤S2)。预处理单元102将其中内容配置选择信息被存储在交换节点中的场景图的数据输出至编码单元103。
接下来，编码单元103对关于三维对象的数据进行编码以生成三维对象的比特流。另外，编码单元103对获取的场景图进行编码以生成场景描述(步骤S3)。
接下来，文件生成单元104将获取的比特流存储在每个段的ISOBMFF文件中以生成比特流的段文件。另外，文件生成单元104将关于场景描述的数据存储在每个段的ISOBMFF文件中以生成场景描述的段文件(步骤S4)。
传输单元105将由文件生成单元104生成的段文件输出至Web服务器3(步骤S5)。
[根据第一实施方式的再现处理过程]
接下来，将参照图8描述由根据本实施方式的客户端设备2执行的再现处理的流程。图8是由根据第一实施方式的客户端设备执行的再现处理的流程图。
文件获取单元201从Web服务器3获取与要再现的6DoF内容对应的MPD文件(步骤S11)。文件获取单元201将获取的MPD文件输出至文件处理单元203。
文件处理单元203通过解析从文件获取单元201输入的MPD文件来执行分析处理(步骤S12)。文件处理单元203基于分析结果来指定要再现的6DoF内容的场景描述。
然后，文件获取单元201获取由文件处理单元203指定的场景描述。接下来，文件处理单元203解析由文件获取单元201获取的场景描述以获取交换节点。接下来，文件处理单元203从交换节点获取内容配置选择信息(步骤S13)。
然后，文件处理单元203使用获取的内容配置选择信息，根据客户端设备2的再现处理能力选择内容配置(步骤S14)。
接下来，文件处理单元203解析与选择的内容配置应的子节点。此后，文件处理单元203基于解析结果来获取与要再现的6DoF内容对应的比特流的段文件(步骤S15)。解码处理单元204对比特流的段文件进行解码。此后，解码处理单元204将比特流数据输出至显示信息生成单元206。
显示控制单元205将关于视点位置和视线方向的输入信息输出至显示信息生成单元206。显示信息生成单元206通过使用从显示控制单元205获取的关于视点位置和视线方向的信息渲染三维对象并添加位置信息以生成用于显示的图像并且将生成的用于显示的图像显示在显示单元207上来执行观看处理(步骤S16)。
如上所述，根据本实施方式的文件生成设备将内容配置选择信息存储在作为场景描述的根节点的交换节点中，并且将内容配置选择信息提供给客户端设备。客户端设备获取作为场景描述的根节点的交换节点以获得内容配置选择信息，并且使用获取的内容配置选择信息选择内容配置。
在其中不存储内容配置选择信息的配置中，已经分析了整个场景描述以收集用于选择内容配置的信息。相比之下，在根据本实施方式的分发***中，客户端设备一旦获取交换节点就可以获取内容配置选择信息，并且可以获取用于选择内容配置的信息而无需分析场景描述的其他节点。因此，可以高效地选择内容配置。
内容创建者可以准备多个内容配置，使得可以与具有不同再现能力的客户端设备对应地分发6DoF内容。然后，客户端设备可以根据其自身的再现处理能力高效地选择内容配置。
[1.1第一实施方式的修改(1)]
根据本修改的文件生成设备1与根据第一实施方式的文件生成设备的不同之处在于，内容配置选择信息被存储在场景描述的ISOBMFF文件的SampleEntry中。
根据本修改的文件生成设备1的预处理单元102生成内容配置选择信息作为元。然后，预处理单元102将包括内容配置选择信息的元数据发送至文件生成单元104。
文件生成单元104从编码单元103接收比特流和场景描述的输入。文件生成单元104还从预处理单元102接收包括内容配置选择信息的元数据的输入。
关于比特流，类似于第一实施方式，文件生成单元104将获取的比特流存储在要转换成文件的每个段的ISOBMFF文件中，从而生成比特流的段文件。
另一方面，当关于场景描述的数据被存储在ISOBMFF文件中时，文件生成单元104从元数据获取内容配置选择信息。然后，文件生成单元104将内容配置选择信息存储在场景描述的ISOBMFF文件的SampleEntry中。
例如，如图9所示，文件生成单元104将被示出为BOX 303的6DoFContentStructBox新添加至场景描述的ISOBMFF文件的SampleEntry。图9是示出第一实施方式的修改(1)中的场景描述的ISOBMFF文件的图。然后，文件生成单元104将每个内容配置的内容配置选择信息存储在6DoFContentStructBox中。
例如，文件生成单元104将由图10中示出的语法指示的内容配置选择信息存储在6DoFContentStructBox中。图10是示出第一实施方式的修改(1)中的SampleEntry中存储的内容配置选择信息的语法的示例的图。该情况下的文件配置选择信息是与如图5所示的第一实施方式中新添加的域相同的信息。
以此方式，文件生成单元104将关于场景描述的数据存储在要转换成文件的每个段的ISOBMFF文件中，从而生成场景描述的段文件。然后，文件生成单元104将包括文件配置信息的场景描述的ISOBMFF文件输出至传输单元105。
根据本修改的客户端设备2的文件处理单元203从文件获取单元201接收场景描述的ISOBMFF文件的输入。然后，获取场景描述的ISOBMFF文件的Initialization Segment。接下来，文件处理单元203从获取的Initialization Segment中的6DoFContentStructBox获取内容配置选择信息。然后，文件处理单元203使用获取的内容配置选择信息从场景描述中选择要使用的内容配置。
如上所述，根据本修改的客户端设备可以在分析场景描述本身之前获取内容配置选择信息，从而在不分析场景描述本身的情况下选择内容配置。以此方式，根据本实施方式的客户端设备不需要分析场景描述本身来选择内容配置。修改(1)的配置在内容配置中再现所需的再现处理能力不每时间段改变的情况下是有效的。在该情况下，不需要扩展场景描述本身。
[1.2第一实施方式的修改(2)]
根据本修改的文件生成设备1与根据第一实施方式的文件生成设备的不同之处在于，确定每个内容配置选择信息的值以用于分组，并且根据分组指示每个内容配置属于哪个组，从而指示每个内容配置的内容配置选择信息。
图11是示出一组内容配置选择信息的示例的图。在图11的表中，设置了被赋予01至03作为RequiedPerformanceID的组，该RequiedPerformanceID是标识号。然后，对于每个组，指示为每个内容配置选择信息设置了什么值。
根据本实施方式的文件生成设备1的预处理单元102具有关于图11中示出的内容配置选择信息的组的信息。然后，预处理单元102将由RequiedPerformanceID指示的每个内容配置对应于哪个组的信息存储在交换节点中。
根据本实施方式的客户端设备2的文件处理单元203分析场景描述的交换节点，以获取每个内容配置所属的组的RequiedPerformanceID。然后，文件处理单元203通过从分配给每个内容配置所属的组的内容配置选择信息确定在每个内容配置中再现所需的再现处理能力来选择内容配置。
如上所述，根据本实施方式的文件生成设备使用内容配置选择信息的组针对每个内容配置通知内容配置选择信息。因此，不需要为每个内容配置生成详细的内容配置选择信息，使得生成内容配置选择信息的处理变得简单。该方案也适用于第一实施方式的修改(1)。
[1.3第一实施方式的修改(3)]
根据本修改的文件生成设备1与根据第一实施方式的文件生成设备的不同之处在于，在发送三维模型数据时，使用Matroska媒体容器(http://www.matroska.org/)代替ISOBMFF作为文件格式。
图12是示出Matroska媒体容器格式的图。根据本修改的文件生成设备1的文件生成单元104将具有内容配置选择信息的6DoFContentStruct元素存储在Track Entry元素中。此时，文件生成单元104将元素类型设置为二进制，并且将图10中示出的SelectContentStructMetadata()存储为可扩展二进制元语言(EBML)数据的二进制数据。
根据本修改的客户端设备2的文件处理单元203获取包括场景描述的Matroska媒体容器文件的Initialization Segment。然后，文件处理单元203从InitializationSegment中包括的6DoFContentStruct元素获取内容配置选择信息以选择内容配置。
以此方式，即使在使用与修改(1)中的容器格式不同的容器格式的情况下，也提供内容配置选择信息，使得客户端设备可以选择容器配置。此外，尽管在本修改中为每个容器配置生成容器配置选择信息，但是本修改不限于此，并且例如，元素类型可以存储为整数以指示如修改(2)中的RequirePerformanceID。
[1.4第一实施方式的修改(4)]
根据本实施方式的文件生成设备1与根据第一实施方式的文件生成设备的不同之处在于，针对每个内容配置的场景描述存储内容配置选择信息。图13是用于描述根据第一实施方式的修改(4)的存储内容配置选择信息的方法的图。
例如，如图4所示，根据本修改的文件生成设备1的文件生成单元104在内容配置301的群组节点下新定义RequiedPerformance节点311，并且在内容配置302的群组节点下新定义RequiedPerformance节点312。然后，文件生成单元104将内容配置选择信息存储在内容配置301的RequiedPerformance节点311中。此外，文件生成单元104将内容配置选择信息存储在内容配置302的RequiedPerformance节点312中。
图14是示出RequiedPerformance节点的语法的示例的图。具体地，文件生成单元104使用图14中示出的语法将RequiedPerformance节点定义为具有内容配置选择信息的节点。如图14所示，在RequiedPerformance节点中登记用作用于确定内容配置是否能够再现的索引的信息。在该情况下，Points也表示点云的点数。VertivesParFace表示网格的面的顶点数。Faces表示网格的面数。Indices表示网格的顶点数。Num3DmodelData表示外部参考的三维模型数据的数目。3DmodelDataMimeType表示外部参考的三维模型数据的MimeType。3DmodelDataCodec表示外部参考的三维模型数据的编解码器。Bitrate表示包括外部参考的三维模型数据的比特率。
根据本修改的客户端设备2的文件处理单元203获取每个内容配置的RequiedPerformance节点。在该阶段，文件处理单元203不获取该群组节点下的另一子节点。接下来，文件处理单元203从每个RequiedPerformance节点获取每个内容配置的内容配置选择信息。然后，文件处理单元203选择内容配置。此后，文件处理单元203获取并解析选择的内容配置的群组节点及其后续节点。
如上所述，根据本修改的客户端设备可以通过获取和分析到紧接在每个内容配置的群组节点之下的RequiedPerformance节点来选择内容配置。因此，与分析整个场景描述的情况相比，可以减少处理。另外，可以在不改变现有节点的情况下将内容配置选择信息提供给客户端设备。
这里，在本修改中，存储内容配置选择信息的节点被生成为群组节点的子节点，但是其可以是另一节点的子节点，只要该另一节点是内容配置的根节点即可。此外，尽管在本修改中针对每个容器配置生成容器配置选择信息，但是本修改不限于此，并且例如，RequiedPerformance节点可以被配置成保持修改(2)的RequiedPerformanceID。
[1.5第一实施方式的修改(5)]
根据本修改的文件生成设备1与根据第一实施方式的文件生成设备的不同之处在于，内容配置选择信息被存储在指示关于场景描述的访问的信息的MPD文件的AdaptationSet中。
根据本修改的文件生成设备1的预处理单元102生成内容配置选择信息。然后，预处理单元102将包括内容配置选择信息的元数据发送至文件生成单元104。
文件生成单元104从编码单元103接收比特流和场景描述的输入。文件生成单元104还从预处理单元102接收包括内容配置选择信息的元数据的输入。
然后，文件生成单元104将获取的比特流存储在要转换成文件的每个段的ISOBMFF文件中，从而生成比特流的段文件。文件生成单元104还将关于场景描述的数据存储在要转换成文件的每个段的ISOBMFF文件中，从而生成场景描述的段文件。
此外，文件生成单元104基于从预处理单元102获取的数据来生成MPD文件。此时，文件生成单元104获取元数据中包括的内容配置选择信息。然后，文件生成单元104在如图4所示的场景描述的MPD文件的AdaptationSet 320中定义图15中示出的6DoFContentStructdescriptor。图15是示出描述6DoFContentStruct Descriptor的示例的图。此外，根据获取的内容配置选择信息，文件生成单元104将每个内容配置的CSC元素存储在6DoFContentStruct Descriptor中，并且将内容配置选择信息登记为CSC元素的属性。
图16是示出第一实施方式的修改(5)中的CSC的语义的图。如图16所示，CSC描述指示内容配置的能力的信息元素的定义。CSC包括一个或更多个元素，最多255个元素。这里，@Use指示关于要使用的每个元素是可选还是强制的属性信息。
在出现多个CSC元素的情况下，CSC元素按照场景描述的交换节点的choice域中描述的内容配置顺序进行登记。在该情况下，CSC@points表示点云的点数。CSC@VertivesParFace表示网格的面的顶点数。CSC@Faces表示网格的面数。CSC@Indices表示网格的顶点数。CSC@Num3DmodelData表示外部参考的三维模型数据的数目。CSC@3DmodelDataMimeType表示外部参考的三维模型数据的MimeType。CSC@3DmodelDataCodec表示外部参考的三维模型数据的编解码器。CSC@Bitrate表示包括外部参考的三维模型数据的比特率。
根据本实施方式的客户端设备2的文件处理单元203通过解析MPD文件获取内容配置选择信息。即，文件处理单元203可以在获取MPD文件时获取内容配置选择信息，并且可以确定场景描述中是否存在可再现的内容。
如上所述，根据本实施方式的客户端设备可以在不获取场景描述的情况下选择能够再现的内容配置。因此，可以高效地选择内容配置。然而，在该情况下，由于内容配置选择信息被存储在MPD文件中，因此在再现内容配置所需的再现处理能力不每时间段改变的情况下可以说是有效的。此外，尽管在本修改中针对每个容器配置生成容器配置选择信息，但是本修改不限于此，并且例如，可以将CSC元素的属性配置成存储指示如修改(2)的RequiedPerformanceID的信息。
[2.第二实施方式]
根据本实施方式的文件生成设备1与根据第一实施方式的文件生成设备的不同之处在于，每个内容配置的场景描述被配置在分开的文件中，并且内容配置选择信息被存储在每个场景描述的AdaptationSet中。在图3的框图中也示出了根据本实施方式的文件生成设备1。在图6的框图中也示出了根据本实施方式的客户端设备2。在以下描述中，可以省略对与第一实施方式中的每个单元的操作相同的每个单元的操作的描述。
图17是用于描述根据第二实施方式的存储内容配置选择信息的方法的图。如图17所示，根据本修改的文件生成设备1的预处理单元102针对各个内容配置生成场景描述331和332。场景描述331是内容配置#1的场景描述。另外，场景描述332是内容配置#2的场景描述。然后，预处理单元102生成内容配置#1和内容配置#2中的每一个的内容配置选择信息，并且将生成的内容配置选择信息输出至文件生成单元104。
文件生成单元104从编码单元103获取场景描述331和332。另外，文件生成单元104从预处理单元102获取内容配置#1和内容配置#2中的每一个的内容配置选择信息。
然后，文件生成单元104将场景描述331和332存储在ISOBMFF文件中。另外，文件生成单元104使用图15中示出的6DoFContentStruct Descriptor将每个内容配置的信息存储在场景描述331和场景描述332中的每一个的MPD文件的AdaptationSet中。
根据本实施方式的客户端设备2的文件处理单元203从文件获取单元201获取MPD文件。然后，文件处理单元203获取场景描述331和场景描述332中的每一个的MPD文件的每个AdaptationSet中包括的内容配置选择信息。然后，文件处理单元203通过使用获取的内容配置选择信息选择要使用的内容配置。此后，文件处理单元203经由文件获取单元201从Web服务器3获取选择的内容配置的场景描述。
如上所述，根据本实施方式的客户端设备可以在获取MPD文件时选择内容配置。同时，在根据第一实施方式及其修改的方案中，由于获取了包括不被使用的内容配置的场景描述，因此获取了不被使用的数据。以此方式，由于根据本实施方式的客户端设备不需要获取关于不必要的内容配置的场景描述的数据，因此与根据第一实施方式及其修改的客户端设备相比，根据本实施方式的客户端设备可以高效地选择内容配置。然而，在该情况下，由于内容配置选择信息被存储在MPD文件中，因此在再现内容配置所需的再现处理能力不每时间段改变的情况下可以说是有效的。
[2.1第二实施方式的修改(1)]
根据本修改的文件生成设备1与根据第二实施方式的文件生成设备的不同之处在于，内容配置选择信息被存储在场景描述的ISOBMFF文件的SampleEntry中。
根据本修改的文件生成设备1的预处理单元102生成内容配置选择信息。然后，预处理单元102将包括内容配置选择信息的元数据发送至文件生成单元104。
文件生成单元104从编码单元103接收比特流和场景描述的输入。另外，文件生成单元104从预处理单元102接收包括内容配置选择信息的元数据的输入。
然后，文件生成单元104将获取的比特流存储在要转换成文件的每个段的ISOBMFF文件中，从而生成比特流的段文件。文件生成单元104还将关于场景描述的数据存储在要转换成文件的每个段的ISOBMFF文件中，从而生成场景描述的段文件。
当场景描述被存储在ISOBMFF文件中时，文件生成单元104将元数据中包括的内容配置选择信息存储在场景描述的ISOBMFF文件的SampleEntry中。在该情况下，文件生成单元104可以根据图9和图10中示出的存储方法存储内容配置选择信息。
根据本实施方式的客户端设备2的文件处理单元203从文件获取单元201获取场景描述的ISOBMFF文件。接下来，文件处理单元203获取获取的场景描述的ISOBMFF文件的Initialization Segment。然后，文件处理单元203从场景描述的ISOBMFF文件的Initialization Segment中包括的6DoFContentStructBox获取内容配置选择信息。然后，文件处理单元203通过使用获取的内容配置选择信息选择要使用的内容配置。此后，文件处理单元203经由文件获取单元201从Web服务器3获取选择的内容配置的场景描述。
如上所述，根据本实施方式的客户端设备从场景描述的ISOBMFF文件的Initialization Segment中包括的6DoFContentStructBox获取内容配置选择信息。此后，客户端设备仅需要获取要使用的内容配置的场景描述的数据，而不需要获取不被使用的其他内容配置的场景描述的数据。因此，可以高效地选择内容配置。
这里，作为发送三维模型数据时的文件格式，可以使用Matroska媒体容器来代替ISOBMFF。当使用Matroska媒体容器时，文件生成单元104可以存储内容配置选择信息，并且以与第一实施方式的修改(3)中相同的方式将内容配置选择信息提供给客户端设备。
[3.第三实施方式]
在6DoF内容的分发中，可以通过适应性改变最大处理能力、比特率、定义等。然后，客户端所需的再现处理能力由于一个内容配置中每个三维模型数据的比特率等的适配而改变。例如，当选择作为某一内容配置中的三维模型数据的网格的面数变化最大的流时，要求客户端具有高再现处理能力，但是当选择作为某一内容配置中的三维模型数据的网格的面数变化最小的流时，可以降低客户端所需的再现处理能力。
即，内容创建者可以通过提供在内容配置中适配的内容来增加能够再现的客户端的数目。然而，没有提供用于客户端确定内容配置中适配的内容是否可以由客户端再现的信息。因此，将描述在内容配置中存在适配的情况下使得客户端能够高效地选择内容配置的***。
根据本实施方式的文件生成设备1与根据第一实施方式的文件生成设备的不同之处在于，与指示再现所需的最大再现处理能力的信息一起，指示最小所需再现处理能力的信息生成并且被存储，并且被提供给客户端设备2。在图3的框图中也示出了根据本实施方式的文件生成设备1。在图6的框图中也示出了根据本实施方式的客户端设备2。在以下描述中，可以省略对与第一实施方式中的每个单元的操作相同的每个单元的操作的描述。
根据本实施方式的文件生成设备1的预处理单元102针对每个内容配置生成内容配置选择信息。接下来，预处理单元102扩展如图18所示的场景描述的交换节点，以存储每个内容配置的内容配置选择信息。
图18是示出第二实施方式中的扩展交换节点的语法的示例的图。MaxPoints是点云的最大点数。MinPoints是点云的最小点数。MaxVertivesParFace是网格的面的最大顶点数。MinVertivesParFace是网格的面的最小顶点数。MaxFaces是网格的最大面数。MinFaces是网格的最小面数。MaxIndices是网格的最大顶点数。MinIndices是网格的最小顶点数。MaxNum3DmodelData是外部参考的三维模型数据的最大数目。MinNum3DmodelData是外部参考的三维模型数据的最小数目。Max3DmodelDataCodec是外部参考的三维模型数据的编解码器的最大值。Min3DmodelDataCodec是外部参考的三维模型数据的编解码器的最小值。MaxBitrate是包括外部参考的三维模型数据的最大比特率。MinBitrate是包括外部参考的三维模型数据的最小比特率。
这里，指示最大值的内容配置信息是指示可以可靠地再现内容的再现处理能力的信息。另外，指示最小值的内容配置信息是指示当执行适配时可以再现内容的再现处理能力的信息，并且可以说是指示可以再现内容的一部分的再现处理能力的信息。
预处理单元102将包括由图18中示出的语法表示的交换节点的场景图输出至编码单元103。
根据本实施方式的客户端设备2的文件处理单元203从获取的场景描述获取交换节点。然后，文件处理单元203从交换节点获取每个***配置的***配置选择信息。然后，文件处理单元203通过使用获取的***配置选择信息选择要使用的***配置。在该情况下，即使客户端设备2不满足基于指示某一***配置中的最大值的内容配置选择信息所需的再现处理能力，只要满足基于指示最小值的内容配置选择信息所需的再现处理能力，文件处理单元203就可以选择内容配置。
此后，文件处理单元203解析场景描述的选择的***配置的群组节点和后续节点。
在第一实施方式中，由于无论适配如何，内容配置都需要最大再现处理能力，因此也不选择如果在其中执行适配则能够再现的内容配置。相比之下，即使当需要最高再现处理能力时难以以选择的内容配置执行再现，根据本实施方式的客户端设备也可以选择其中当执行适配用于再现时再现可用的内容配置。
因此，内容创建者也可以考虑内容配置中的适配，使得可以与具有再现的不同再现能力的客户端设备对应地分发6DoF内容。即，内容创建者可以增加关于一个内容配置能够再现的客户端设备的数目。另外，客户端设备可以考虑内容配置中的适配，以根据其自身的再现处理能力选择能够再现的内容配置。
[3.1第三实施方式的修改(1)]
根据本修改的文件生成设备1与根据第三实施方式的文件生成设备的不同之处在于，内容配置选择信息被存储在场景描述的ISOBMFF文件的SampleEntry中。
文件生成单元104从预处理单元102接收内容配置选择信息的输入。文件生成单元104将6DoFContentStructBox新添加至场景描述的ISOBMFF文件的SampleEntry。然后，文件生成单元104将由图19中示出的语法指示的内容配置选择信息存储在6DoFContentStructBox中。图19是示出第三实施方式的修改(1)中的SampleEntry中存储的内容配置选择信息的语法的示例的图。
此后，文件生成单元104将包括文件配置信息的场景描述的ISOBMFF文件输出至传输单元105。
根据本修改的客户端设备2的文件处理单元203从文件获取单元201接收场景描述的ISOBMFF文件的输入。然后，获取场景描述的ISOBMFF文件的Initialization Segment。接下来，文件处理单元203从获取的Initialization Segment中的6DoFContentStructBox获取内容配置选择信息。然后，文件处理单元203使用获取的内容配置选择信息从场景描述中选择要使用的内容配置。在该情况下，即使客户端设备2不满足基于指示某一***配置中的最大值的内容配置选择信息所需的再现处理能力，只要满足基于指示最小值的内容配置选择信息所需的再现处理能力，文件处理单元203就可以选择内容配置。
如上所述，在内容配置选择信息被存储在场景描述的ISOBMFF文件的SampleEntry中的方案中，客户端设备也可以选择当执行再现的适配时再现可用的内容配置。因此，内容创建者也可以考虑内容配置中的适配，使得可以与具有再现的不同再现能力的客户端设备对应地分发6DoF内容。
[3.2第三实施方式的修改(2)]
根据本修改的文件生成设备1与根据第二实施方式的文件生成设备的不同之处在于，内容配置选择信息被存储在指示关于场景描述的访问的信息的MPD文件的AdaptationSet中。
根据本修改的文件生成设备1的预处理单元102生成内容配置选择信息。然后，预处理单元102将包括内容配置选择信息的元数据发送至文件生成单元104。
文件生成单元104从编码单元103接收比特流和场景描述的输入。文件生成单元104还从预处理单元102接收包括内容配置选择信息的元数据的输入。
然后，文件生成单元104将获取的比特流存储在要转换成文件的每个段的ISOBMFF文件中，从而生成比特流的段文件。文件生成单元104还将关于场景描述的数据存储在要转换成文件的每个段的ISOBMFF文件中，从而生成场景描述的段文件。
此外，文件生成单元104基于从预处理单元102获取的数据来生成MPD文件。此时，文件生成单元104在MPD文件的场景描述的AdaptationSet中定义6DoFContentStructdescriptor，如图20所示。然后，根据内容配置选择信息，文件生成单元104将每个内容配置的CSC元素存储在6DoFContentStruct Descriptor中，并且将内容配置选择信息登记为CSC元素的属性。图20是示出第三实施方式的修改(2)中的CSC的语义的图。如图20所示，CSC描述指示内容配置的能力的信息元素的定义。
此后，文件生成单元104将包括文件配置信息的场景描述的ISOBMFF文件输出至传输单元105。
根据本实施方式的客户端设备2的文件处理单元203通过解析MPD文件获取内容配置选择信息。然后，文件处理单元203使用获取的内容配置选择信息从场景描述中选择要使用的内容配置。在该情况下，即使客户端设备2不满足基于指示某一***配置中的最大值的内容配置选择信息所需的再现处理能力，只要满足基于指示最小值的内容配置选择信息所需的再现处理能力，文件处理单元203就可以选择内容配置。
如上所述，在内容配置选择信息被存储在MPD文件的场景描述的AdaptationSet中的方案中，客户端设备也可以选择当执行再现的适配时再现可用的内容配置。因此，内容创建者也可以考虑内容配置中的适配，使得可以与具有再现的不同再现能力的客户端设备对应地分发6DoF内容。
注意，尽管在第二实施方式及其修改(1)和修改(2)中针对每个容器配置生成容器配置选择信息，但是不限于此，并且例如，可以使用RequiedPerformanceID来表示最大值和最小值。
[4.第四实施方式]
根据本实施方式的文件生成设备1与根据第一实施方式至第三实施方式的文件生成设备的不同之处在于，三维模型数据的每个配置信息被存储在MPD中的三维模型数据的AdaptationSet中包括的Representation中。在图3的框图中也示出了根据本实施方式的文件生成设备1。在图6的框图中也示出了根据本实施方式的客户端设备2。在以下描述中，可以省略对与第一实施方式中的每个单元的操作相同的每个单元的操作的描述。
根据本实施方式的文件生成设备1的文件生成单元104从预处理单元102获取每个内容配置的内容配置选择信息。然后，当生成MPD文件时，文件生成单元104将三维模型数据的配置信息存储在三维模型数据的AdaptationSet的每个Representation中。
文件生成单元104例如在点云的情况下将点数存储在Representation@numPoint属性中作为三维模型数据的配置信息。另外，文件生成单元104在网格的情况下将面的顶点数存储在Representation@vpf属性中，将面数存储在Representation@numFase属性中，并且将顶点数存储在Representation@numIndices属性中。
在第一实施方式至第三实施方式及其各个示例中，通过存储这样的配置信息，客户端设备2的文件处理单元203可以选择能够独立于基于内容配置选择信息的选择进行再现处理的内容配置。这里，已经描述了将三维模型数据的每个配置信息存储在Representation中的示例。然而，文件生成单元104可以将配置信息存储在诸如AdaptationSet或Preselection的另一元素中。
此外，文件生成单元104除了存储配置信息之外，还可以将最小值和最大值存储在MPD的三维模型数据的AdaptationSet中。例如，在点云的情况下，文件生成单元104将点数的最大值和最小值分别存储在AdaptationSet@MaxNumPoint属性和AdaptationSet@MinNumPoint属性中。另外，在网格的情况下，文件生成单元104将面的顶点数的最大值和最小值分别存储在AdaptationSet@MaxVpf属性和AdaptationSet@MinVpf属性中，将面数的最大值和最小值分别存储在AdaptationSet@MaxNumFace属性和AdaptationSet@MinFace属性中，并且将顶点数的最大值和最小值分别存储在AdaptationSet@MaxNumIndices属性和AdaptationSet@MinIndices属性中。
根据本实施方式的配置可以用于确定在不使用场景描述而使用MPD文件发送三维模型数据的情况下再现所需的再现处理能力。例如，将描述在如图21的MPD文件中存在关于点云的三维模型数据的AdaptationSet 340的情况。图21是用于描述使用存储在三维模型数据的AdaptationSet中的配置信息的方法的图。
例如，如图21所示，文件生成单元104将关于点数的最大值和最小值的信息存储在三维模型数据的AdaptationSet 340中。此外，文件生成单元104将点数存储在AdaptationSet 340中包括的Representation 341至Representation 343中。
当解析MPD文件时，客户端设备2的文件处理单元203可以确定在AdaptationSet340的级别处是否存在能够进行再现处理的Representation。在存在能够进行再现处理的Representation的情况下，文件处理单元203可以从再现的Representation 341至Representation 343中选择能够进行再现处理的Representation。
替选地，文件生成单元104可以将三维模型数据的配置信息存储在另一地方。例如，文件生成单元104在三维模型数据的ISOBMFF文件的SampleEntry中新定义3DmModelDataMetadataBox。然后，在三维模型数据是点云的情况下，文件生成单元104可以将点数存储在新定义的3DmModelDataMetadataBox中，而在三维模型数据是网格的情况下，文件生成单元104可以在新定义的3DmModelDataMetadataBox中存储面的顶点数、面数和顶点数。
另外，文件生成单元104可以使用Matroska媒体容器代替ISOBMFF作为文件格式。在该情况下，文件生成单元104将配置信息的3DmodelDataMetadata元素新存储在TrackEntry元素中。此时，文件生成单元104将元素类型设置为二进制。作为EBML数据，在D模型数据是点云的情况下，文件生成单元104将点数存储为二进制数据，而在D模型数据是网格的情况下，文件生成单元104将面的顶点数、面数和顶点数存储为二进制数据。
在上述实施方式及其修改中的每一个中，已经描述了存在多个内容配置，但是上述实施方式及其修改也可以应用在确定一个内容配置是否是能够进行再现处理的内容配置的情况。此外，即使在客户端设备不具有针对具有特定三维模型数据的6DoF内容的再现处理能力的情况下，也可以使用内容配置选择信息。例如，内容创建者可以使用一个三维模型数据和球形视频来分发配置中的内容。在该情况下，通过添加指示不是三维模型数据的球形视频的信息作为内容配置选择信息，客户端设备可以使用内容配置选择信息来确定内容是否具有能够再现的内容配置。
[硬件的配置]
图22是计算机的硬件配置图。文件生成设备1和客户端设备2可以由图22中示出的计算机90实现。在计算机90中，处理器91、存储器92、网络接口93、非易失性存储器94、输入/输出接口95和显示接口86经由总线彼此连接。
例如，诸如输入设备、输出设备、存储设备和驱动器的外部设备连接至输入/输出接口95。输入设备例如是键盘、鼠标、麦克风、触摸面板、输入端子等。输出设备例如是扬声器、输出端子等。存储设备例如是硬盘、随机存取存储器(RAM)盘等。驱动器驱动可移除介质例如磁盘、光盘、磁光盘、或半导体存储器。另外，作为显示设备的显示器98连接至显示接口96。
网络接口93连接至外部网络。文件生成设备1和客户端设备2经由网络接口93彼此连接。另外，文件生成设备1和客户端设备2经由网络接口93连接至Web服务器3。非易失性存储器94是内置的辅助存储设备，例如硬盘或固态驱动器(SSD)。
在如上所述配置的计算机90中，处理器91经由总线将例如存储在非易失性存储器94中的程序加载到存储器92中以执行该程序，从而执行上述一系列处理。存储器92还适当地存储处理器91执行各种类型的处理所需的数据等。
由处理器91执行的程序可以被记录在可移除介质中，例如作为用于应用的封装介质等。在该情况下，通过将可移除介质安装在作为外部设备97的驱动器上，可以经由输入/输出接口95将程序安装在非易失性存储器94中。
此外，该程序可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供。在该情况下，可以通过网络接口93接收程序并将其安装在非易失性存储器94中。
替选地，该程序可以预先安装在非易失性存储器94中。
尽管以上描述了本公开内容的实施方式，但是本公开内容的技术范围不限于上述实施方式，并且可以在不脱离本公开内容的主旨的情况下进行各种修改。另外，可以适当地组合不同实施方式和修改的部件。
注意，本说明书中描述的效果仅是示例而不受限制，并且可以提供其他效果。
注意，本技术还可以具有以下配置。
(1)
一种信息处理装置，包括：
预处理单元，其针对一个或多个内容生成用于确定所述内容中的每一个是否可再现的内容配置选择信息，所述内容中的每一个具有内容配置，所述内容配置包括一个或更多个三维对象及其空间布置信息以表示虚拟空间；以及
文件生成单元，其生成包括关于所述虚拟空间的数据和所述内容配置选择信息的文件。
(2)
根据(1)所述的信息处理装置，其中，所述预处理单元将所述内容配置选择信息设置为包括可用性标识信息，所述可用性标识信息用于确定在再现所述内容的再现处理装置中是否能够针对所述虚拟空间的整体执行解码和渲染。
(3)
根据(1)或(2)所述的信息处理装置，其中，所述预处理单元将所述内容配置选择信息存储在场景描述中。
(4)
根据(3)所述的信息处理装置，其中，所述预处理单元将所述内容配置选择信息存储在所述场景描述的交换节点中。
(5)
根据(3)所述的信息处理装置，其中，所述预处理单元将所述每个内容配置的所述内容配置选择信息存储在所述场景描述中。
(6)
根据(2)所述的信息处理装置，其中，
所述预处理单元生成所述内容配置选择信息作为元数据，并且
所述文件生成单元生成存储所述内容配置选择信息的内容文件。
(7)
根据(6)所述的信息处理装置，其中，所述文件生成单元生成所述内容文件作为ISO基础媒体文件格式(ISOBMFF)文件，并且将所述内容配置选择信息存储在所述内容文件的SampleEntry的6DoFConentStructBox中。
(8)
根据(2)所述的信息处理装置，其中，所述预处理单元具有其中预先确定了所述内容配置的每个组的所述内容配置选择信息，并且将所述内容中的每一个所属的所述组的所述内容配置选择信息设置为所述内容中的每一个的所述内容配置选择信息。
(9)
根据(2)所述的信息处理装置，其中，
所述预处理单元生成所述内容配置选择信息作为元数据，并且
所述文件生成单元生成存储所述内容配置选择信息的元数据文件。
(10)
根据(9)所述的信息处理装置，其中，所述文件生成单元生成所述元数据文件作为媒体呈现描述(MPD)文件，并且将所述内容配置选择信息存储在所述MPD文件的AdaptationSet中。
(11)
根据(2)所述的信息处理装置，其中，
针对具有不同内容配置的多个内容，所述预处理单元针对各个内容配置生成不同的场景描述，并且
所述文件生成单元将所述内容配置选择信息存储在针对所述场景描述中的每一个的MPD文件的AdaptationSet或ISOBMFF文件的SampleEntry的6DoFContentStructBox中。
(12)
根据(1)至(11)中任一项所述的信息处理装置，其中，所述预处理单元将指示所述内容能够利用其再现的再现处理能力的信息设置为所述内容配置选择信息。
(13)
根据(12)所述的信息处理装置，其中，所述预处理单元将所述内容配置选择信息设置为包括指示所述内容的一部分能够利用其再现的再现处理能力的信息。
(14)
一种信息处理方法，用于使计算机执行以下操作：
针对一个或多个内容生成用于确定所述内容中的每一个是否可再现的内容配置选择信息，所述内容中的每一个具有内容配置，所述内容配置包括一个或更多个三维对象及其空间布置信息以表示虚拟空间；以及
生成包括关于所述虚拟空间的数据和所述内容配置选择信息的文件。
(15)
一种再现处理装置，包括：
文件获取单元，其针对一个或多个内容获取包括用于确定所述内容中的每一个是否可再现的内容配置选择信息以及关于所述内容的数据的文件，所述内容中的每一个具有内容配置，所述内容配置包括一个或更多个三维对象及其空间布置信息以表示虚拟空间；
文件处理单元，其从由所述文件获取单元获取的所述文件获取所述内容配置选择信息，基于所获取的内容配置选择信息来确定所述内容中的每一个是否能够再现，并且选择要再现的所述内容；以及
再现单元，其再现由所述文件处理单元选择的所述内容。
(16)
一种再现处理方法，用于使计算机执行以下操作：
针对一个或多个内容获取包括用于确定所述内容中的每一个是否可再现的内容配置选择信息的文件，所述内容中的每一个具有内容配置，所述内容配置包括一个或更多个三维对象及其空间布置信息以表示虚拟空间；
从所获取的文件获取所述内容配置选择信息，基于所获取的内容配置选择信息来确定所述内容中的每一个是否可再现，并且选择要再现的所述内容；
获取关于所选择的内容的数据；以及
使用所获取的数据再现所选择的内容。
附图标记列表
1 文件生成设备
2 客户端设备
3 Web服务器
4 网络
10 生成处理单元
11 控制单元
20 再现处理单元
21 控制单元
101 数据输入单元
102 预处理单元
103 编码单元
104 文件生成单元
105 传输单元
201 文件获取单元
202 测量单元
203 文件处理单元
204 解码处理单元
205 显示控制单元
206 显示信息生成单元
207 显示单元

Claims (16)

1.一种信息处理装置，包括：
预处理单元，其针对一个或多个内容生成用于确定所述内容中的每一个是否可再现的内容配置选择信息，所述内容中的每一个具有内容配置，所述内容配置包括一个或更多个三维对象及其空间布置信息以表示虚拟空间；以及
文件生成单元，其生成包括关于所述虚拟空间的数据和所述内容配置选择信息的文件。
2.根据权利要求1所述的信息处理装置，其中，所述预处理单元将所述内容配置选择信息设置为包括可用性标识信息，所述可用性标识信息用于确定在再现所述内容的再现处理装置中是否能够针对所述虚拟空间的整体执行解码和渲染。
3.根据权利要求2所述的信息处理装置，其中，所述预处理单元将所述内容配置选择信息存储在场景描述中。
4.根据权利要求3所述的信息处理装置，其中，所述预处理单元将所述内容配置选择信息存储在所述场景描述的交换节点中。
5.根据权利要求3所述的信息处理装置，其中，所述预处理单元将所述每个内容配置的所述内容配置选择信息存储在所述场景描述中。
6.根据权利要求2所述的信息处理装置，其中，
所述预处理单元生成所述内容配置选择信息作为元数据，并且
所述文件生成单元生成存储所述内容配置选择信息的内容文件。
7.根据权利要求6所述的信息处理装置，其中，所述文件生成单元生成所述内容文件作为ISO基础媒体文件格式(ISOBMFF)文件，并且将所述内容配置选择信息存储在所述内容文件的SampleEntry的6DoFConentStructBox中。
8.根据权利要求2所述的信息处理装置，其中，所述预处理单元具有其中预先确定了所述内容配置的每个组的所述内容配置选择信息，并且将所述内容中的每一个所属的所述组的所述内容配置选择信息设置为所述内容中的每一个的所述内容配置选择信息。
9.根据权利要求2所述的信息处理装置，其中，
所述预处理单元生成所述内容配置选择信息作为元数据，并且
所述文件生成单元生成存储所述内容配置选择信息的元数据文件。
10.根据权利要求9所述的信息处理装置，其中，所述文件生成单元生成所述元数据文件作为媒体呈现描述(MPD)文件，并且将所述内容配置选择信息存储在所述MPD文件的AdaptationSet中。
11.根据权利要求2所述的信息处理装置，其中，
针对具有不同内容配置的多个内容，所述预处理单元针对各个内容配置生成不同的场景描述，并且
所述文件生成单元将所述内容配置选择信息存储在针对所述场景描述中的每一个的MPD文件的AdaptationSet或ISOBMFF文件的SampleEntry的6DoFContentStructBox中。
12.根据权利要求1所述的信息处理装置，其中，所述预处理单元将指示所述内容能够利用其再现的再现处理能力的信息设置为所述内容配置选择信息。
13.根据权利要求12所述的信息处理装置，其中，所述预处理单元将所述内容配置选择信息设置为包括指示所述内容的一部分能够利用其再现的再现处理能力的信息。
14.一种信息处理方法，用于使计算机执行以下操作：
针对一个或多个内容生成用于确定所述内容中的每一个是否可再现的内容配置选择信息，所述内容中的每一个具有内容配置，所述内容配置包括一个或更多个三维对象及其空间布置信息以表示虚拟空间；以及
生成包括关于所述虚拟空间的数据和所述内容配置选择信息的文件。
15.一种再现处理装置，包括：
文件获取单元，其针对一个或多个内容获取包括用于确定所述内容中的每一个是否可再现的内容配置选择信息以及关于所述内容的数据的文件，所述内容中的每一个具有内容配置，所述内容配置包括一个或更多个三维对象及其空间布置信息以表示虚拟空间；
文件处理单元，其从由所述文件获取单元获取的所述文件获取所述内容配置选择信息，基于所获取的内容配置选择信息来确定所述内容中的每一个是否能够再现，并且选择要再现的所述内容；以及
再现单元，其再现由所述文件处理单元选择的所述内容。
16.一种再现处理方法，用于使计算机执行以下操作：
针对一个或多个内容获取包括用于确定所述内容中的每一个是否可再现的内容配置选择信息的文件，所述内容中的每一个具有内容配置，所述内容配置包括一个或更多个三维对象及其空间布置信息以表示虚拟空间；
从所获取的文件获取所述内容配置选择信息，基于所获取的内容配置选择信息来确定所述内容中的每一个是否可再现，并且选择要再现的所述内容；
获取关于所选择的内容的数据；以及
使用所获取的数据再现所选择的内容。
CN202080044831.2A 2019-06-25 2020-03-31 信息处理装置、信息处理方法、再现处理装置和再现处理方法 Pending CN114026875A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962866430P 2019-06-25 2019-06-25
US62/866,430 2019-06-25
PCT/JP2020/014884 WO2020261689A1 (ja) 2019-06-25 2020-03-31 情報処理装置、情報処理方法、再生処理装置及び再生処理方法

Publications (1)

Publication Number Publication Date
CN114026875A true CN114026875A (zh) 2022-02-08

Family

ID=74060549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080044831.2A Pending CN114026875A (zh) 2019-06-25 2020-03-31 信息处理装置、信息处理方法、再现处理装置和再现处理方法

Country Status (5)

Country Link
US (1) US20220239994A1 (zh)
EP (1) EP3982638A4 (zh)
JP (1) JPWO2020261689A1 (zh)
CN (1) CN114026875A (zh)
WO (1) WO2020261689A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117121495A (zh) * 2021-04-15 2023-11-24 索尼集团公司 信息处理装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464943A (zh) * 2014-06-30 2017-02-22 索尼公司 信息处理装置和方法
US20190014358A1 (en) * 2016-02-12 2019-01-10 Sony Corporation Information processing apparatus and information processing method
WO2019064853A1 (ja) * 2017-09-26 2019-04-04 キヤノン株式会社 情報処理装置、情報提供装置、制御方法、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101167246B1 (ko) * 2007-07-23 2012-07-23 삼성전자주식회사 ３차원 콘텐츠 재생 장치 및 그 제어 방법
EP2400767A4 (en) * 2009-02-17 2012-09-05 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR GRAPHICAL IMAGE PROCESSING
IN2015DN02124A (zh) * 2012-08-31 2015-08-14 Funke Digital Tv Guide Gmbh
KR102655630B1 (ko) * 2018-10-08 2024-04-08 삼성전자주식회사 3차원 비디오 컨텐츠를 포함하는 미디어 파일을 생성하는 방법 및 장치 및 3차원 비디오 컨텐츠를 재생하는 방법 및 장치
CN114521332A (zh) * 2019-09-30 2022-05-20 索尼集团公司 信息处理装置、再现处理装置和信息处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464943A (zh) * 2014-06-30 2017-02-22 索尼公司 信息处理装置和方法
US20190014358A1 (en) * 2016-02-12 2019-01-10 Sony Corporation Information processing apparatus and information processing method
WO2019064853A1 (ja) * 2017-09-26 2019-04-04 キヤノン株式会社 情報処理装置、情報提供装置、制御方法、及びプログラム

Also Published As

Publication number Publication date
US20220239994A1 (en) 2022-07-28
JPWO2020261689A1 (zh) 2020-12-30
WO2020261689A1 (ja) 2020-12-30
EP3982638A1 (en) 2022-04-13
EP3982638A4 (en) 2023-03-29

Similar Documents

Publication Publication Date Title
WO2019202207A1 (en) Processing video patches for three-dimensional content
US11825135B2 (en) Information processing apparatus, information processing method, reproduction processing apparatus, and reproduction processing method
JP7487742B2 (ja) 画像処理装置および方法
US10931930B2 (en) Methods and apparatus for immersive media content overlays
GB2509953A (en) Displaying a Region of Interest in a Video Stream by Providing Links Between Encapsulated Video Streams
US11967153B2 (en) Information processing apparatus, reproduction processing apparatus, and information processing method
GB2506911A (en) Streaming data corresponding to divided image portions (tiles) via a description file including spatial and URL data
EP3883250A1 (en) Information processing device and information processing method
KR101944601B1 (ko) 기간들에 걸쳐 오브젝트들을 식별하기 위한 방법 및 이에 대응하는 디바이스
WO2021002338A1 (ja) 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
WO2021065605A1 (ja) 情報処理装置および情報処理方法
US20220239994A1 (en) Information processing apparatus, information processing method, reproduction processing apparatus, and reproduction processing method
WO2022054744A1 (ja) 情報処理装置および方法
US11974028B2 (en) Information processing device, information processing method, reproduction processing device, and reproduction processing method
WO2023058258A1 (ja) 画像処理システム、並びに、画像処理装置および方法
US20230043591A1 (en) Information processing apparatus and method
US20240193869A1 (en) Information processing device and method thereof
US20200342568A1 (en) Information processing apparatus and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination