JP6508206B2 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
JP6508206B2
JP6508206B2 JP2016531255A JP2016531255A JP6508206B2 JP 6508206 B2 JP6508206 B2 JP 6508206B2 JP 2016531255 A JP2016531255 A JP 2016531255A JP 2016531255 A JP2016531255 A JP 2016531255A JP 6508206 B2 JP6508206 B2 JP 6508206B2
Authority
JP
Japan
Prior art keywords
image
information
auxiliary
file
encoded data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016531255A
Other languages
English (en)
Other versions
JPWO2016002513A1 (ja
Inventor
平林　光浩
光浩 平林
央二 中神
央二 中神
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016002513A1 publication Critical patent/JPWO2016002513A1/ja
Application granted granted Critical
Publication of JP6508206B2 publication Critical patent/JP6508206B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23611—Insertion of stuffing data into a multiplex stream, e.g. to obtain a constant bitrate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本技術は、情報処理装置および方法に関し、特に、主要画像とともに用いられる補助画像の提供を制御することができるようにした情報処理装置および方法に関する。
近年、HTTP（HyperText Transfer Protocol）を利用したコンテンツ配信技術としてMPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）が標準化された（例えば、非特許文献１参照）。MPEG-DASHでは、同一コンテンツが異なるビットレートで表現された複数の符号化データをコンテンツサーバに格納し、クライアントが、ネットワーク帯域に応じて複数の符号化データのいずれかの符号化データを選択しながら再生するABS（Adaptive Bitrate Streaming）技術が採用されている。
ところで、例えば、SHVC（Scalable High Efficiency Video Coding）等の複数階層（レイヤ）を符号化可能な符号化方式では、レイヤの１つを用いて、通常の画像である主要画像とともに用いる、例えば奥行き情報（Depth）や字幕等の補助画像（オグジュアリ画像、Auxiliary画像、AUX画像等とも称する）を符号化するものがある。
MPEG-DASH(Dynamic Adaptive Streaming over HTTP)（URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1）
しかしながら、従来のMPEG-DASH規格のような配信フォーマットでは、このような補助画像を識別することができなかった。そのため、受信・再生側において、補助画像が通常の画像として誤って処理されてしまうおそれがあった。
本技術は、このような状況に鑑みて提案されたものであり、主要画像とともに用いられる補助画像の提供を制御することができるようにすることを目的とする。
本技術の一側面は、主要画像とともに、画像生成、画像処理、または画像表示に用いられる補助画像の符号化データと、前記補助画像に関する情報である補助情報とを格納するトラックを含むファイルを生成するファイル生成部を備え、前記補助情報は、前記トラックが前記補助画像の符号化データを格納することを示す識別情報を含む
情報処理装置である。
前記補助情報は、前記補助画像の種類を示す情報をさらに含むようにすることができる。
前記補助画像の種類を示す情報は、前記補助画像が、クロマキーとして用いられるαチャンネルの情報であるか、奥行き情報であるか、または、前記主要画像に重畳されて表示されるオーバーレイの情報であるかを示す情報を含むようにすることができる。
前記補助情報は、前記補助画像の符号化データの、前記補助画像の種類を示す情報に対応する付加情報をさらに含むようにすることができる。
前記付加情報は、SEI（Supplemental Enhancement Information）であるようにすることができる。
前記補助情報は、前記トラックのサンプルエントリに格納されるようにすることができる。
前記ファイル生成部は、前記主要画像の符号化データを格納するトラックを含むファイルを、前記補助画像の符号化データを格納するトラックを含むファイルとは異なるファイルとして生成するようにすることができる。
前記ファイル生成部は、前記補助画像の符号化データを格納するトラックを含む１つのファイルに対応する、前記主要画像の符号化データを格納するトラックを含むファイルを複数生成することができる。
前記ファイル生成部は、前記補助画像の符号化データを格納するトラックと前記主要画像の符号化データを格納するトラックとの両方を含むファイルを生成することができる。
本技術の一側面は、また、主要画像とともに、画像生成、画像処理、または画像表示に用いられる補助画像の符号化データを格納するトラックであって、前記トラックが前記補助画像の符号化データを格納することを示す識別情報をさらに格納する前記トラックを含むファイルを生成する情報処理方法である。
本技術の他の側面は、主要画像とともに、画像生成、画像処理、または画像表示に用いられる補助画像の符号化データを含むファイルの再生を制御する、MPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）に準拠したMPD（Media Presentation Description）であって、前記補助画像に関する情報である補助情報を含む前記MPDを生成するMPD生成部を備える情報処理装置である。
前記補助情報は、前記MPDの、前記補助画像の符号化データを含むファイルが設定されるセグメントが属するリプレゼンテーションに設定されるようにすることができる。
前記補助情報は、前記補助画像の種類を示す情報を含むようにすることができる。
前記補助画像の種類を示す情報は、前記補助画像が、クロマキーとして用いられるαチャンネルの情報であるか、奥行き情報であるか、または、前記主要画像に重畳されて表示されるオーバーレイの情報であるかを示す情報を含むようにすることができる。
前記補助情報は、前記補助画像の符号化データの、前記補助画像の種類を示す情報に対応する付加情報をさらに含むようにすることができる。
前記補助情報の少なくとも一部は、前記MPDの、前記補助画像の符号化データを含むファイルが設定されるセグメントが属するリプレゼンテーションのエッセンシャルプロパティに設定されるようにすることができる。
前記MPDは、前記補助画像の符号化データを含むファイルの情報を含むアダプテーションセットと、前記主要画像の符号化データを含むファイルの情報を含むアダプテーションセットとを有するようにすることができる。
前記MPDは、前記主要画像の符号化データを含むファイルの情報を含むアダプテーションセットに属するリプレゼンテーションを複数有するようにすることができる。
前記MPDは、前記補助画像の符号化データと前記主要画像の符号化データとの両方を含むファイルの情報を含むアダプテーションセットを有するようにすることができる。
本技術の他の側面は、また、主要画像とともに、画像生成、画像処理、または画像表示に用いられる補助画像の符号化データを含むファイルの再生を制御する、MPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）に準拠したMPD（Media Presentation Description）であって、前記補助画像に関する情報である補助情報を含む前記MPDを生成する情報処理方法である。
本技術の一側面においては、主要画像とともに、画像生成、画像処理、または画像表示に用いられる補助画像の符号化データを格納するトラックであって、そのトラックが補助画像の符号化データを格納することを示す識別情報をさらに格納するトラックを含むファイルが生成される。
本技術の他の側面においては、主要画像とともに、画像生成、画像処理、または画像表示に用いられる補助画像の符号化データを含むファイルの再生を制御する、MPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）に準拠したMPD（Media Presentation Description）であって、補助画像に関する情報である補助情報を含むMPDが生成される。
本技術によれば、情報を処理することが出来る。また本技術によれば、主要画像とともに用いられる補助画像の提供を制御することができる。
MPEG-DASHの概要を説明する図である。 MPDの構成例を示す図である。 コンテンツの時間的区切りを説明する図である。 MPDにおけるPeriod以下の階層構造の例を示す図である。 MPDファイルの構成例を時間軸上で説明する図である。 タイル画像のビットストリームの例を示す図である。 タイル画像のMP4ファイルの例を説明する図である。 タイル画像のMP4ファイルの他の例を説明する図である。 ファイル生成装置の主な構成例を示すブロック図である。 MP4ファイルの主な構成例を示す図である。 コンフィギュレーションボックスのシンタクスの例を示す図である。 MPDの主な構成例を示す図である。 MP4ファイル生成処理の流れの例を説明するフローチャートである。 MPD生成処理の流れの例を説明するフローチャートである。 ファイル再生装置の主な構成例を示すブロック図である。 MP4ファイル再生処理の流れの例を説明するフローチャートである。 MPD再生処理の流れの例を説明するフローチャートである。 MP4ファイルの他の構成例を示す図である。 MPDの他の構成例を示す図である。 MP4ファイルのさらに他の構成例を示す図である。 MPDのさらに他の構成例を示す図である。 配信システムの主な構成例を示すブロック図である。 コンピュータの主な構成例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（ファイル生成装置・ファイル再生装置）
２．第２の実施の形態（複数の主要画像に共通の補助画像の場合）
３．第３の実施の形態（主要画像と補助画像の１ファイル化）
４．第４の実施の形態（配信システム）
５．第５の実施の形態（コンピュータ）
＜１．第１の実施の形態＞
＜DASH＞
従来、HTTP（HyperText Transfer Protocol）を利用したコンテンツ配信技術として、例えば非特許文献１に記載のように、MPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）がある。MPEG-DASHでは、同一コンテンツが異なるビットレートで表現された複数の符号化データをコンテンツサーバに格納し、クライアントが、ネットワーク帯域に応じて複数の符号化データのいずれかの符号化データを選択しながら再生するABS（Adaptive Bitrate Streaming）技術が採用されている。
DASHによるコンテンツの伝送の手順を、図１を参照して説明する。まず、コンテンツを取得する側の動画再生端末において、ストリーミング・データの制御用ソフトウエアが、所望のコンテンツのMPD（Media Presentation Description）ファイルを選択し、Webサーバから取得する。MPDは、配信する動画や音声等のコンテンツを管理するメタデータである。
MPDを取得すると、動画再生端末のストリーミング・データの制御用ソフトウエアは、そのMPDを解析し、所望のコンテンツの、通信回線の品質や動画再生端末の性能等に合ったデータ（DASHセグメント）をWebサーバから取得するように制御する。HTTPアクセス用のクライアント・ソフトウエアは、その制御に従って、そのDASHセグメントを、HTTPを用いてWebサーバから取得する。このように取得されたコンテンツを、動画再生ソフトウエアが再生する。
MPDは、例えば図２に示されるような構成を有する。MPDの解析（パース）においては、クライアントは、MPD（図２のMedia Presentation）のピリオド（Period）に含まれるリプレゼンテーション（Representation）の属性から最適なものを選択する。
クライアントは、選択したリプレゼンテーション（Representation）の先頭のセグメント（Segment）を読んでイニシャライズセグメント（Initialization Segment）を取得し、処理する。続いて、クライアントは、後続のセグメント（Segment）を取得し、再生する。
なお、MPDにおける、ピリオド（Period）、リプレゼンテーション（Representation）、およびセグメント（Segment）の関係は、図３のようになる。つまり、１つのメディアコンテンツは、時間方向のデータ単位であるピリオド（Period）毎に管理することができ、各ピリオド（Period）は、時間方向のデータ単位であるセグメント（Segment）毎に管理することができる。また、各ピリオド（Period）について、ビットレート等の属性の異なる複数のリプレゼンテーション（Representation）を構成することができる。
したがって、このMPDのファイル（MPDファイルとも称する）は、ピリオド（Period）以下において、図４に示されるような階層構造を有する。また、このMPDの構造を時間軸上に並べると図５の例のようになる。図５の例から明らかなように、同一のセグメント（Segment）に対して複数のリプレゼンテーション（Representation）が存在している。クライアントは、これらのうちのいずれかを適応的に選択することにより、通信環境や自己のデコード能力などに応じて適切なストリームデータを取得し、再生することができる。
＜タイル構造＞
このような従来のDASHでは、全体画像のデータの配信が適応的に制御されていたが、全体画像の代わりにその一部である部分画像を適応的に選択して配信することが考えられた。例えば、全体画像の内、画像データを受け取る端末側によって選択された部分の部分画像を配信したり、端末の性能（例えばCPU等の処理能力やディスプレイの大きさ等）や伝送経路やサーバの負荷状況等に応じて、配信する部分画像の大きさを制御したりすることが考えられた。
このような部分画像の適応的な配信を行うために、タイル（Tile）という概念が用いられた。タイル（Tile）は、予め定められたレイアウト（大きさ、形状、数等）で全体画像を分割した部分領域である。以下において、１タイルの画像をタイル画像と称する。このように全体画像を予めタイル化しておくことにより、配信するタイル画像を選択するだけで、容易に部分画像の適応的な配信が可能となる。この場合、部分画像は、単数若しくは複数のタイル画像により構成される。
DASHのようにHTTPを用いて配信する場合、画像データは、符号化され、そのビットストリームがファイル化されて配信される（ファイルとして公開される）。上述したようなタイル構造を有する全体画像の場合、画像データは、タイル画像毎に独立して符号化される。その際、図６のＡに示される例のように、各タイルの符号化データをそれぞれ１つのビットストリームとしてもよい。
図６のＡの例では、640x480サイズの全体画像、1980x1080サイズの全体画像、その全体画像が縦方向および横方向のそれぞれに２分割された960x540サイズのタイル画像（４枚の部分画像）のそれぞれが、配信用の画像として用意されている。640x480サイズの全体画像のデータは、符号化されて１本のビットストリーム（bitstream1）とされ、1980x1080サイズの全体画像のデータも、符号化されて１本のビットストリーム（bitstream2）とされている。そして、それらとは別に、960x540サイズの各タイル画像のデータは、互いに独立して符号化され、それぞれ、１本のビットストリーム（bitstream3乃至bitstream6）とされている。
各ビットストリームにおいては、ビデオパラメータセット（VPS（Video Parameter Set））、シーケンスパラメータセット（SPS（Sequence Parameter Set））、SEI（Supplemental Enhancement Information）、ピクチャパラメータセット（PPS（Picture Parameter Set））等のヘッダ情報が付加され、画像データのビットストリームがスライス（Slice）毎に並べられている。
このような構造とすることにより、配信するビットストリームを、bitstream3乃至bitstream6の中から選択することによって、配信するタイル画像を選択することができる。また、図６のＡの例の場合、各タイル画像を、全体画像と同様に配信することができる。
ところで、例えばHEVC（High Efficiency Video Coding）等の符号化方式では、全体画像を分割するタイル（Tile）と称される構造をサポートしており、そのタイル毎に独立して符号化を行うことができる。例えば、その一部のタイルの画像のみを得るように復号することができる。つまり、全体画像の一部である部分画像のみを得るように復号することができる。
このような符号化方式の機能を利用して、図６のＢに示される例のように、複数のタイル画像の符号化データを、１本のビットストリーム（bitstream7）とすることもできる。つまり、この場合、上述した配信の為のタイル（Tile）を符号化方式がサポートするタイル（Tile）として取り扱い符号化するようにしている。この場合、ビットストリームにおいて、各タイルのデータはスライス（Slice）として並べられている。
＜MP4ファイル＞
上述したように、配信用のビットストリームは、例えばMP4ファイルフォーマット等によってファイル化される。その場合、図７に示される例のように、各タイルのビットストリームを別ファイルとすることができる。各タイルのビットストリームはトラック（Track）という単位で管理される。また、各タイルのヘッダ（Header）情報と、各トラックへの参照が記述されたベーストラック（Base Track）が設けられ、各タイルのビットストリームとは別のファイルとしてファイル化される。全てのタイルを復号する場合は、ベーストラックを再生し、各タイルを復号する場合、ヘッダ情報はベーストラックが参照される。
また、図８に示される例のように、各タイルのビットストリームをまとめて１つのファイルとすることもできる。その際、図８のＡのように、各タイルのデータをまとめて１つのトラックで管理することもできるし、図８のＢのように、各タイルを互いに異なるトラックとして管理することもできる。その場合、図７の場合と同様に、各タイルのヘッダ（Header）情報と、各トラックへの参照が記述されたベーストラック（Base Track）が設けられる。
＜補助画像＞
ところで、例えば、SHVC（Scalable High Efficiency Video Coding）等の複数階層（レイヤ）を符号化可能な符号化方式では、レイヤの１つを用いて、通常の画像である主要画像とともに用いる補助画像（オグジュアリ画像、Auxiliary画像、AUX画像等とも称する）を符号化するものがある。
補助画像には、例えば、主要画像の奥行き情報（Depth）、クロマキーなどとして用いられるアルファチャンネル画像（alpha_channel）、字幕やテロップ等のオーバーレイ画像（overlay）等がある。もちろん、主要画像とともに用いられるものであればどのような情報であってもよい。
このような補助画像は、一般的な画像とは取り扱い方が異なる場合が多い。例えば、補助画像は、上述した例のような、基本的に主要画像を補助する情報により構成されているため、その対応する主要画像とともに用いられる（例えば表示する）ものであり、その補助画像のみを用いる（例えば表示する）のには適さない情報である。例えば、奥行き情報、クロマキー、字幕等の情報は、対応する主要画像とともに表示させることにより本来の効果を得ることができる。
例えば、奥行き情報の場合、主要画像と組み合わせることにより、立体視用画像を作成することができるといったものである。また、例えば、クロマキーであれば、主要画像とともに用いることにより、画像内から主な被写体の部分と背景の部分とを分離する等の画像処理を行うことができる。さらに、例えば、字幕等のオーバーレイの画像の場合、主要画像とともに表示させることにより、字幕としての意味を成すことができる。これらのような本来の効果を得るためには、補助画像を主要画像とともに用いる必要がある。補助画像を単体で用いても（例えば表示させても）、これらのような本来の効果を得ることは困難である。
なお、補助画像は、符号化の際にレイヤ間予測が行われない。
これに対して、補助画像に対応する主要画像は単体で利用可能（表示可能）である。換言するに、補助画像は、常に必要な情報ではなく、必要な場合のみ利用することができればよい。
そのため、このような補助画像を配信させる場合、受信・再生側に、それが補助画像であることを把握させる必要がある。また、補助画像の利用に必要な情報も提供する必要がある。さらに、主要画像と補助画像を関連付けて提供し、さらに、必要な場合にのみ、補助画像を選択して受信することができるようにするのが望ましい。
画像を必要に応じて提供することができるように画像の提供を制御する方法として、MP4ファイルやMPEG-DASHのMPDを利用する方法がある。これらを用いることにより、受信・再生側において補助画像の利用を容易に制御することができるようになる。
しかしながら、MP4ファイルやMPDにおいては、補助画像を一般的な画像と区別する機能を備えておらず、従来のMPEG-DASH規格のような配信フォーマットでは、このような補助画像を識別することができなかった。そのため、受信・再生側において、補助画像が通常の画像として誤って処理されてしまうおそれがあった。
＜補助画像の識別と補助情報の提供＞
そこで、主要画像とともに用いられる補助画像の画像データが符号化された符号化データと、その補助画像に関する情報である補助情報とを格納するトラックを含むファイルを生成するようにする。例えば、このようなファイルとしてMP4ファイルを生成するようにしてもよい。
このように、１つのトラックに補助画像とともに補助情報を格納し、補助画像とともに補助情報を受信・再生側に提供することにより、受信・再生側において、その画像が補助画像であることを把握し、通常の画像と区別することができる。これにより、補助画像を通常の画像として誤って処理することを抑制することができる。つまり、主要画像とともに用いられる補助画像の提供を制御することができる。
また、その補助情報が、そのトラックが補助画像の画像データが符号化された符号化データを格納するトラックであることを示す識別情報を含むようにしてもよい。このような識別情報を補助画像として受信・再生側に提供することにより、受信・再生側において、補助画像の識別がより容易になる。
また、補助情報が、補助画像の種類を示す情報を含むようにしてもよい。上述したように補助画像の用途は１つではない。したがって、このような補助画像の種類を示す情報を補助情報として受信・再生側に提示することにより、受信・再生側において、容易に、その補助画像を適切に利用することができる。
また、補助画像の種類を示す情報が、補助画像が、クロマキーとして用いられるαチャンネルの情報であるか、奥行き情報であるか、または、主要画像に重畳されて表示されるオーバーレイの情報であるかを示す情報を含むようにしてもよい。補助画像の内容は任意であるが、例えば、上述した例に限定される場合、補助画像がそのいずれであるかを、識別情報を用いてより容易に受信・再生側に示すことができる。
また、補助情報が、符号化データの、補助画像の種類を示す情報に対応する付加情報をさらに含むようにすることができる。例えば、補助画像の符号化方式が、HEVC（High Efficiency Video Coding）等である場合、符号化データには補助画像の種類に応じたSEI（Supplemental Enhancement Information）が含まれている。このSEIを補助情報に含め、受信・再生側に提供するようにしてもよい。これにより、受信・再生側は、より多くの情報を得ることができ、その情報を基に、より適切に補助画像を処理することができる。
また、補助情報が、トラックのサンプルエントリに格納されるようにしてもよい。補助情報の格納場所は任意であるが、サンプルエントリに格納することにより、受信・再生側において、参照が容易になる。
また、主要画像の画像データが符号化された符号化データを格納するトラックを含むファイルを、補助画像の画像データが符号化された符号化データを格納するトラックを含むファイルとは異なるファイルとして生成するようにしてもよい。つまり、主要画像と補助画像とを分けて、それぞれファイル化するようにしてもよい。
このようなファイルを生成する方法以外の方法として、例えば、主要画像とともに用いられる補助画像の画像データが符号化された符号化データを含むファイルの再生を制御するメタデータであって、その補助画像に関する情報である補助情報を含むメタデータを生成するようにしてもよい。例えば、このようなメタデータとしてMPDを生成するようにしてもよい。
このように、補助画像のメタデータとして、補助情報を受信・再生側に提供する場合も、受信・再生側において、そのメタデータの制御対象が補助画像であることを把握し、通常の画像と区別することができる。これにより、補助画像を通常の画像として誤って処理することを抑制することができる。つまり、主要画像とともに用いられる補助画像の提供を制御することができる。
また、補助情報が、補助画像の画像データが符号化された符号化データを含むファイルが設定されるセグメントが属するリプレゼンテーションに設定されるようにしてもよい。補助情報の格納場所は任意であるが、MPDの場合、リプレゼンテーションに設定することにより、受信・再生側においての補助情報の取り扱い（参照等）が容易になる。
また、補助情報は、補助画像の種類を示す情報を含むようにしてもよい。また、補助画像の種類を示す情報は、補助画像が、クロマキーとして用いられるαチャンネルの情報であるか、奥行き情報であるか、または、主要画像に重畳されて表示されるオーバーレイの情報であるかを示す情報を含むようにしてもよい。また、補助情報は、符号化データの、補助画像の種類を示す情報に対応する付加情報をさらに含むようにしてもよい。上述したファイルを生成する場合と同様である。
また、補助情報の少なくとも一部は、補助画像の画像データが符号化された符号化データを含むファイルが設定されるセグメントが属するリプレゼンテーションの、エッセンシャルプロパティに設定されるようにしてもよい。補助情報の設定方法は任意であるが、MPDの場合、このようにエッセンシャルプロパティに設定することにより、受信・再生側においての補助情報の識別や内容把握が容易になる。
また、メタデータは、補助画像の画像データが符号化された符号化データを含むファイルの情報を含むアダプテーションセットと、主要画像の画像データが符号化された符号化データを含むファイルの情報を含むアダプテーションセットとを有するようにしてもよい。つまり、主要画像と補助画像のそれぞれについてアダプテーションセットが生成されるようにしてもよい。
＜ファイル生成装置＞
次に、このようなMP4ファイルやMPDを生成する装置について説明する。図９は、本技術を適用した情報処理装置の一実施の形態であるファイル生成装置の主な構成例を示すブロック図である。図９において、ファイル生成装置１００は、ベースレイヤの画像（BL画像）とオグジュアリビデオレイヤの画像である補助画像（AUX画像）を符号化し、得られた各階層の符号化データを格納するMP4ファイルを生成したり、そのMP4ファイルの配信を制御するMPDを生成したりする装置である。
図９に示されるように、ファイル生成装置１００は、ベースレイヤ符号化部１０１、オグジュアリビデオレイヤ符号化部１０２、MP4ファイル生成部１０３、サンプルエントリ設定部１０４、MPD生成部１０５、およびリプレゼンテーション設定部１０６を有する。
ベースレイヤ符号化部１０１は、入力されたベースレイヤの画像（BL画像）を所定の符号化方式（例えばHEVC）で符号化し、ベースレイヤの符号化データを生成する。ベースレイヤ符号化部１０１は、生成したベースレイヤの符号化データ（HEVC）をMP4ファイル生成部１０３に供給する。
オグジュアリビデオレイヤ符号化部１０２は、入力されたオグジュアリビデオレイヤの画像（AUX画像）を所定の符号化方式（例えばSHVC）で符号化し、エンハンスメントレイヤの符号化データを生成する。オグジュアリビデオレイヤ符号化部１０２は、生成したオグジュアリビデオレイヤの符号化データ（SHVC）をMP4ファイル生成部１０３に供給する。また、オグジュアリビデオレイヤ符号化部１０２は、AUX画像に関する情報である補助情報をサンプルエントリ設定部１０４に供給する。
MP4ファイル生成部１０３は、ベースレイヤ符号化部１０１から供給されたベースレイヤの符号化データ（HEVC）と、オグジュアリビデオレイヤ符号化部１０２から供給されたオグジュアリビデオレイヤの符号化データ（SHVC）とを格納するファイル（MP4ファイル）を生成する。MP4ファイル生成部１０３は、ベースレイヤの符号化データ（HEVC）と、オグジュアリビデオレイヤの符号化データ（SHVC）とを、MP4ファイルの互いに異なるトラックに格納させる。また、MP4ファイル生成部１０３は、サンプルエントリ設定部１０４から供給されるサンプルエントリを、オグジュアリビデオレイヤの符号化データ（SHVC）を格納するトラックに設定する。このサンプルエントリには、AUX画像に関する情報である補助情報が含まれる。MP4ファイル生成部１０３は、生成したMP4ファイルを出力する。また、MP4ファイル生成部１０３は、生成したMP4ファイルをMPD生成部１０５やリプレゼンテーション設定部１０６に供給する。
サンプルエントリ設定部１０４は、オグジュアリビデオレイヤ符号化部１０２から供給された補助情報を用いてサンプルエントリを生成する。サンプルエントリ設定部１０４は、そのサンプルエントリをMP4ファイル生成部１０３に供給し、オグジュアリビデオレイヤの符号化データ（SHVC）を格納するトラックに設定させる。
MPD生成部１０５は、MP4ファイル生成部１０３から供給されるMP4ファイルの配信を制御するMPDを生成する。その際、MPD生成部１０５は、リプレゼンテーション設定部１０６から供給される情報を、MPDのリプレゼンテーションに設定する。MPD生成部１０５は、生成したMPDを出力する。
リプレゼンテーション設定部１０６は、MP4ファイル生成部１０３から供給されるMP4ファイルを用いて、MPD生成部１０５により生成されるMPDのリプレゼンテーションに設定する情報を生成し、それをMPD生成部１０５に供給し、設定される。
＜MP4ファイル構成例＞
ファイル生成装置１００のMP4ファイル生成部１０３が生成するMP4ファイルの主な構成例を図１０に示す。
図１０の例の場合、MP4ファイル生成部１０３は、バンド幅が1mbps（bandwidth=1mbps）の主要画像（ベースレイヤ）のMP4ファイル（1mbps.mp4）、その補助画像（オグジュアリビデオレイヤ）のMP4ファイル（1mbps_aux.mp4）、バンド幅が3mbps（bandwidth=3mbps）の主要画像（ベースレイヤ）のMP4ファイル（3mbps.mp4）、および、その補助画像（オグジュアリビデオレイヤ）のMP4ファイル（3mbps_aux.mp4）をそれぞれ生成している。つまり、主要画像とその補助画像（AUX画像）が互いに異なるトラックに格納され、それらのトラックが互いに異なるファイルとしてファイル化されている。
MP4ファイル（1mbps.mp4）に含まれるトラック１（Track1）には、ベースレイヤの符号化データ（つまり、主要画像の符号化データ）のサンプル（HEVC sample）が格納されている。また、そのサンプルエントリには、ベースレイヤの符号化方式がHEVCであることを示す符号化情報が設定される（Sample Entry = 'hvc1'）。また、このサンプルエントリには、HEVC符号化データのデコードに必要なコンフィギュレーション（configuration）情報を格納するhvcCボックス（hvcC box）が設定されている。
MP4ファイル（1mbps_aux.mp4）に含まれるトラック２（Track2）には、オグジュアリビデオレイヤの符号化データ（つまり、トラック１の主要画像に対応するAUX画像の符号化データ）のサンプル（SHVC aux sample）が格納されている。また、そのサンプルエントリには、オグジュアリビデオレイヤのトラックであり、符号化方式がSHVCであることを示す符号化情報が設定される（Sample Entry = 'lha1'）。つまり、符号化方式がSHVCの主要画像の場合の符号化情報（lhv1）とは異なる符号化情報が設定される。また、このサンプルエントリには、SHVC符号化方式の補助画像の符号化データのデコードに必要なコンフィギュレーション（configuration）情報を格納するlhaCボックス（lhaC box）が設定されている。
また、トラック２には、トラック２に対応するベースレイヤのトラック１を参照すること（1）、並びにその参照の種類（sbas）を示す情報がトラックリファレンス（Track Reference）に設定されている（sbas=1）。
MP4ファイル（3mbps.mp4）は、MP4ファイル（1mbps.mp4）とバンド幅が異なるのみであり、その構成は、MP4ファイル（1mbps.mp4）と同様である。したがって、MP4ファイル（3mbps_aux.mp4）も、MP4ファイル（1mbps_aux.mp4）とバンド幅が異なるのみであり、その構成は、MP4ファイル（1mbps_aux.mp4）と同様である。ただし、MP4ファイル（3mbps_aux.mp4）のトラック４（Track4）のトラックリファレンス（Track Reference）には、トラック３を参照することが示されている（sbas=3）。
以上のように、補助画像の情報を格納するトラックのサンプルエントリの符号化情報には、そのトラックが補助画像の情報を格納することを示す値が設定される。つまり、サンプルエントリ設定部１０４が、補助情報に基づいて、サンプルエントリの符号化情報にこのような値を設定する。換言するに、補助画像の情報を格納するトラックのサンプルエントリに、そのトラックが補助画像の情報を格納することを示す識別情報が、補助情報として設定される。したがって、このMP4ファイルの受信・再生側においては、この符号化情報を参照することにより、容易に、そのトラックに補助画像の情報が格納されていることを把握することができる。
なお、lhaCボックス（lhaC box）に含まれる情報は任意である。図１１にlhaCボックス（lhaC box）のシンタクスの例を示す。
図１１の例の場合、lhaCボックス（lhaC box）には、補助画像の種類を示す情報として、「auxId」が格納されている。この「auxId」の値が「１」の場合、補助画像（AUX画像）がアルファチャンネルの画像であることを示す（auxId=1 alpha_chanel_info）。また、この「auxId」の値が「２」の場合、補助画像（AUX画像）が奥行き情報であることを示す（auxId=2 depth_representation_info）。さらに、この「auxId」の値が「３」の場合、補助画像（AUX画像）がオーバーレイの画像であることを示す（auxId=3 overlay_info）。
このような識別情報「auxId」をlhaCボックス（lhaC box）に格納して受信・再生側に提供することにより、受信・再生側において、容易に、その補助画像の種類を特定することができ、補助画像を適切に利用することができる。補助画像の種類の指定方法は任意であるが、このように補助画像の種類が予め限定されている場合、このような識別情報を用いて補助画像の種類を指定することにより、情報量の増大を抑制することができる。また、情報のフォーマットが定型化されるため、受信・再生側において、この情報の取り扱いが容易になる。したがって、より容易に補助画像の種類を特定することができる。
もちろん、上述した識別情報「auxId」は一例である。補助画像（AUX）画像の種類は任意であり、上述した例に限定されない。また、候補となる補助画像の種類の数も任意である。さらに、補助画像の種類を指定する識別情報「auxId」の値も任意である。
図１１の例の場合、さらに、補助画像の種類（識別情報「auxId」の値）に対応したSEIが、このlhaCボックス（lhaC box）に格納される。このように、補助画像の種類に応じた付加情報をさらに格納することにより、受信・再生側は、より多くの情報を得ることができ、その情報を基に、より適切に補助画像を処理することができる。
＜MPD構成例＞
次に、ファイル生成装置１００のMPD生成部１０５が生成するMPDの主な構成例を図１２に示す。
図１２の例の場合、ピリオド（Period）の下位に、アダプテーションセット（AdaptationSet）が２つ設定されている。一方のアダプテーションセットには、主要画像の情報が格納され、他方のアダプテーションセットには、補助画像の情報が格納されている。
主要画像のアダプテーションセットの下位には、リプレゼンテーション（Representation）が２つ設定されている。一方のリプレゼンテーションには、バンド幅が1mbpsの主要画像の情報が格納され、他方のリプレゼンテーションには、バンド幅が3mbpsの主要画像の情報が格納されている。
バンド幅が1mbpsの主要画像の情報のリプレゼンテーションの下位には、バンド幅が1mbps（bandwidth=1mbps）の主要画像（ベースレイヤ）のMP4ファイル（1mbps.mp4）の情報を設定（登録）するセグメント（Segment）が設定されている。
また、そのリプレゼンテーションには、バンド幅が1mbpsの主要画像の情報が格納されていることを示す識別情報（<id="bs1">）、その主要画像の符号化方式がHEVC方式であることを示す符号化情報（<codecs="hvc1">）、バンド幅を示す情報（<bandwidth="1mbps">）が設定されている。
バンド幅が3mbpsの主要画像の情報のリプレゼンテーションの下位には、バンド幅が3mbps（bandwidth=3mbps）の主要画像（ベースレイヤ）のMP4ファイル（3mbps.mp4）の情報を設定（登録）するセグメントが設定されている。
また、そのリプレゼンテーションには、バンド幅が3mbpsの主要画像の情報が格納されていることを示す識別情報（<id="bs3">）、その主要画像の符号化方式がHEVC方式であることを示す符号化情報（<codecs="hvc1">）、バンド幅を示す情報（<bandwidth="3mbps">）が設定されている。
また、補助画像のアダプテーションセットの下位には、リプレゼンテーションが２つ設定されている。一方のリプレゼンテーションには、バンド幅が1mbpsの補助画像の情報が格納され、他方のリプレゼンテーションには、バンド幅が3mbpsの補助画像の情報が格納されている。
バンド幅が1mbpsの補助画像の情報のリプレゼンテーションの下位には、バンド幅が1mbps（bandwidth=1mbps）の補助画像（ベースレイヤ）のMP4ファイル（1mbps_aux.mp4）の情報を設定（登録）するセグメントが設定されている。
また、そのリプレゼンテーションには、バンド幅が1mbpsの補助画像の情報が格納されていることを示す識別情報（<id="aux1">）、その補助画像の符号化方式がSHVC方式であることを示す符号化情報（<codecs="lha1">）、バンド幅を示す情報（<bandwidth="1mbps">）が補助情報として設定されている。これらの情報を参照することにより、受信・再生側において、そのメタデータの制御対象が補助画像であることを把握し、通常の画像と区別することができる。これにより、補助画像を通常の画像として誤って処理することを抑制することができる。つまり、主要画像とともに用いられる補助画像の提供を制御することができる。また、このような補助情報を、リプレゼンテーションに設定することにより、受信・再生側においての補助情報の取り扱い（参照等）が容易になる。
さらに、このリプレゼンテーションには、バンド幅が1mbpsの主要画像の情報のリプレゼンテーション（id="bs1"）への参照と、その参照の種類（sbas）を示す関連情報（アソシエーション情報）（<associationId="bs1" associationType="sbas">）が補助情報として設定されている。このような補助情報により、受信・再生側において、リプレゼンテーション間（MP4ファイル間）の参照関係を容易に把握することができる。
また、このリプレゼンテーションには、補助画像の種類を示す情報が、エッセンシャルプロパティ（EssentialProperty）として設定されている。例えば、エレメントとして補助画像用のスキーマ（schemeIdUri="urn:mpeg:DASH:hevc:aux:2014"）が設定され、そのバリュー（value）として、補助画像の種類を示す識別情報「auxId」が設定されている。この識別情報「auxId」は、MP4ファイルの識別情報「auxId」と同じ情報である。例えば、以下のような情報が設定される。
<EssentialProperty schemeIdUri="urn:mpeg:DASH:hevc:aux:2014"
value="auxId">
このような補助画像の種類を示す情報を補助情報として受信・再生側に提示することにより、受信・再生側において、容易に、その補助画像を適切に利用することができる。そして、このような識別情報を用いて補助画像の種類を指定することにより、情報量の増大を抑制することができる。また、情報のフォーマットが定型化されるため、受信・再生側において、この情報の取り扱いが容易になる。したがって、より容易に補助画像の種類を特定することができる。なお、補助情報を、エッセンシャルプロパティに設定することにより、受信・再生側においての補助情報の識別や内容把握が容易になる。
もちろん、上述した以外の情報がリプレゼンテーションに設定されるようにしてもよい。例えば、助画像の種類（識別情報「auxId」の値）に対応したSEI（付加情報）を設定するようにしてもよい。
バンド幅が3mbpsの補助画像の情報のリプレゼンテーションの下位には、バンド幅が3mbps（bandwidth=3mbps）の補助画像（ベースレイヤ）のMP4ファイル（3mbps_aux.mp4）の情報を設定（登録）するセグメントが設定されている。
また、そのリプレゼンテーションには、バンド幅が3mbpsの補助画像の情報が格納されていることを示す識別情報（<id="aux3">）、その補助画像の符号化方式がSHVC方式であることを示す符号化情報（<codecs="lha1">）、バンド幅を示す情報（<bandwidth="3mbps">）が補助情報として設定されている。
さらに、このリプレゼンテーションには、バンド幅が3mbpsの主要画像の情報のリプレゼンテーション（id="bs3"）への参照と、その参照の種類（sbas）を示す関連情報（アソシエーション情報）（<associationId="bs3" associationType="sbas">）が補助情報として設定されている。
また、このリプレゼンテーションには、補助画像の種類を示す情報が、エッセンシャルプロパティ（EssentialProperty）として以下のように設定されている。
<EssentialProperty schemeIdUri="urn:mpeg:DASH:hevc:aux:2014"
value="auxId">
MPD生成部１０５がこのようなMPDを生成することにより、ファイル生成装置１００は、主要画像とともに用いられる補助画像の提供の制御を実現させることができる。
＜MP4ファイル生成処理の流れ＞
図１３のフローチャートを参照して、図９のファイル生成装置１００により実行される、図１０のようなMP4ファイルを生成する処理であるMP4ファイル生成処理の流れの例を説明する。
MP4ファイル生成処理が開始されると、ベースレイヤ符号化部１０１は、ステップＳ１０１において、ベースレイヤ画像（BL画像）を符号化する。
ステップＳ１０２において、オグジュアリビデオレイヤ符号化部１０２は、オグジュアリ画像（AUX画像）を符号化する。
ステップＳ１０３において、MP4ファイル生成部１０３は、符号化データ毎にトラックを分けてMP4ファイルを生成する。図１０の例の場合、MP4ファイル生成部１０３は、トラック毎にMP4ファイルを生成する。
ステップＳ１０４において、MP4ファイル生成部１０３は、オグジュアリビデオレイヤのトラックのベースレイヤのトラックへのトラックリファレンスを設定する。
ステップＳ１０５において、サンプルエントリ設定部１０４は、補助情報を用いて、オグジュアリビデオレイヤのトラックのサンプルエントリを設定する。
ステップＳ１０６において、MP4ファイル生成部１０３は、生成したMP4ファイルを出力する。
このように、MP4ファイル生成処理を実行することにより、ファイル生成装置１００は、図１０に示されるような構成のMP4ファイルを生成することができる。つまり、ファイル生成装置１００は、主要画像とともに用いられる補助画像の提供をこのMP4ファイルによって制御するようにすることができる。つまり、画像配信において、主要画像とともに用いられる補助画像の提供を制御することができるようになる。
＜MPD生成処理の流れ＞
図１４のフローチャートを参照して、図９のファイル生成装置１００により実行される、図１２の例のようなMPDを生成する処理であるMPD生成処理の流れの例を説明する。
MPD生成処理が開始されると、ベースレイヤ符号化部１０１、オグジュアリビデオレイヤ符号化部１０２、MP4ファイル生成部１０３、およびサンプルエントリ設定部１０４は、ステップＳ１２１において、ベースレイヤの画像（BL画像）とオグジュアリビデオレイヤの画像（AUX画像）のMP4ファイルを生成する。この処理は、図１３のフローチャートを参照して説明したMP4ファイル生成処理と同様に実行される。
MP4ファイルが生成されると、MPD生成部１０５は、ステップＳ１２２において、ピリオドの下位にアダプテーションセットを設定する。
ステップＳ１２３において、MPD生成部１０５は、アダプテーションセットの下位に、リプレゼンテーション若しくはサブリプレゼンテーションを、MP4ファイルのトラック毎に設定する。
ステップＳ１２４において、MPD生成部１０５は、各リプレゼンテーションの下位に、MP4ファイルの各トラックのセグメントを設定する。
ステップＳ１２５において、リプレゼンテーション設定部１０６は、各リプレゼンテーション若しくは各サブリプレゼンテーションに、そのトラックの情報を設定する。
ステップＳ１２６において、MPD生成部１０５は、以上のようにして生成したMPDを出力する。
このように、MPD生成処理を実行することにより、ファイル生成装置１００は、図１２に示されるような構成のMPDを生成することができる。つまり、ファイル生成装置１００は、主要画像とともに用いられる補助画像の提供をこのMPDによって制御するようにすることができる。つまり、画像配信において、主要画像とともに用いられる補助画像の提供を制御することができるようになる。
＜ファイル再生装置＞
次に、このように生成されたMP4ファイルやMPDを再生する装置について説明する。図１５は、本技術を適用した情報処理装置の一実施の形態であるファイル再生装置の主な構成例を示すブロック図である。図１５において、ファイル再生装置２００は、図９のファイル生成装置１００により上述したように生成されたMP4ファイルやMPDを再生し、ベースレイヤの復号画像、または、ベースレイヤおよびオグジュアリビデオレイヤの復号画像を生成し、出力する装置である。
図１５に示されるように、ファイル再生装置２００は、MPD解析部２０１、MP4ファイル再生部２０２、ベースレイヤ復号部２０３、およびオグジュアリビデオレイヤ復号部２０４を有する。
MPD解析部２０１は、例えば図１２に示されるような構成のMPDを取得して解析し、その解析結果に基づいてMP4ファイル再生部２０２を制御する。
MP4ファイル再生部２０２は、MPD解析部２０１の制御の下、例えば図１０に示されるような構成のMP4ファイルを取得して再生し、ベースレイヤのトラックから符号化データを抽出する。MP4ファイル再生部２０２は、抽出したベースレイヤの符号化データをベースレイヤ復号部２０３に供給する。
また、MP4ファイル再生部２０２は、必要に応じて、MP4ファイルのオグジュアリビデオレイヤのトラックから符号化データを抽出する。MP4ファイル再生部２０２は、抽出したオグジュアリビデオレイヤの符号化データをオグジュアリビデオレイヤ復号部２０４に供給する。
ベースレイヤ復号部２０３は、MP4ファイル再生部２０２から供給された符号化データを復号し、ベースレイヤの復号画像（BL復号画像）を生成する。ベースレイヤ復号部２０３は、そのベースレイヤの復号画像（BL復号画像）を出力する。
オグジュアリビデオレイヤ復号部２０４は、MP4ファイル再生部２０２から供給された符号化データを復号し、オグジュアリビデオレイヤの復号画像（AUX復号画像）を生成する。オグジュアリビデオレイヤ復号部２０４は、そのオグジュアリビデオレイヤの復号画像（AUX復号画像）を出力する。
＜MP4ファイル再生処理の流れ＞
図１６のフローチャートを参照して、このファイル再生装置２００により実行されるMP4ファイル再生処理の流れの例を説明する。なお、ここでは、ベースレイヤとオグジュアリビデオレイヤの両方の符号化データを再生する場合について説明する。
MP4ファイル再生処理が開始されると、MP4ファイル再生部２０２は、ステップＳ２０１において、MP4ファイルを取得する。
ステップＳ２０２において、MP4ファイル再生部２０２は、サンプルエントリやトラックリファレンスの情報に基づいて、再生するベースレイヤのトラックを特定する。
ステップＳ２０３において、MP4ファイル再生部２０２は、特定したトラックの符号化データを抽出する。
ステップＳ２０４において、ベースレイヤ復号部２０３は、ベースレイヤの符号化データを復号する。
ステップＳ２０５において、ベースレイヤ復号部２０３は、生成したベースレイヤの復号画像（BL復号画像）を出力する。
ステップＳ２０６において、MP4ファイル再生部２０２は、サンプルエントリやトラックリファレンスの情報に基づいて、再生するオグジュアリビデオレイヤのトラックを特定する。
ステップＳ２０７において、MP4ファイル再生部２０２は、特定したトラックの符号化データを抽出する。
ステップＳ２０８において、オグジュアリビデオレイヤ復号部２０４は、オグジュアリビデオレイヤの符号化データを復号する。
ステップＳ２０９において、オグジュアリビデオレイヤ復号部２０４は、生成されたオグジュアリビデオレイヤの復号画像（AUX復号画像）を出力する。
なお、ベースレイヤのみ復号する場合、ステップＳ２０１乃至ステップＳ２０５の各処理のみを実行すればよい。
以上のように、MP4ファイル再生処理を実行することにより、ファイル再生装置２００は、図１０に示されるような構成のMP4ファイルを再生し、各レイヤの復号画像を生成することができる。その際、ファイル再生装置２００は、MP4ファイルに格納される情報に基づいて、オグジュアリビデオレイヤの画像が、通常の画像でない補助画像であることを容易に把握することができる。したがって、オグジュアリビデオレイヤの画像を誤って処理することを抑制することができる。つまり、ファイル再生装置２００は、MP4ファイルによる、主要画像とともに用いられる補助画像の提供の制御を実現することができる。つまり、画像配信において、主要画像とともに用いられる補助画像の提供を制御することができるようになる。
＜MPD再生処理の流れ＞
図１７のフローチャートを参照して、図１５のファイル再生装置２００により実行される、例えば図１２に示されるような構成のMPDを再生するMPD再生処理の流れの例を説明する。
MPD再生処理が開始されると、MPD解析部２０１は、ステップＳ２２１において、MPDを取得する。
ステップＳ２２２において、MPD解析部２０１は、MPDのリプレゼンテーション若しくはサブリプレゼンテーション等の情報に基づいて、再生するセグメントを選択する。
ステップＳ２２３において、MP4ファイル再生部２０２乃至オグジュアリビデオレイヤ再生部２０４は、MPD解析部２０１の制御に従って、ステップＳ２２２において選択されたセグメントに登録されたMP4ファイルを再生し、復号画像を生成し、出力する。この処理は、図１６のフローチャートを参照して説明したMP4ファイル再生処理と同様に実行される。
以上のように、MPD再生処理を実行することにより、ファイル再生装置２００は、図１２に示されるような構成のMPDを再生し、各レイヤの復号画像を生成することができる。その際、ファイル再生装置２００は、MPDに格納される情報に基づいて、オグジュアリビデオレイヤの画像が、通常の画像でない補助画像であることを容易に把握することができる。したがって、オグジュアリビデオレイヤの画像を誤って処理することを抑制することができる。つまり、ファイル再生装置２００は、MPDによる、主要画像とともに用いられる補助画像の提供の制御を実現することができる。つまり、画像配信において、主要画像とともに用いられる補助画像の提供を制御することができるようになる。
＜２．第２の実施の形態＞
＜MP4ファイル構成例＞
なお、MP4ファイルの構成例は、図１０を参照して説明したが、この例に限らない。例えば、複数の主要画像（BL画像）が１つの補助画像（AUX画像）に対応付けられていてもよい。つまり、その複数の主要画像の内のいずれも、共通の補助画像とともに利用する（例えば表示する）ことができるようにしてもよい。
図１８にその場合のMP4ファイルの構成例を示す。この場合、トラック３（Track3）は、トラック１（Track1）に格納されるバンド幅が1mbpsの主要画像と、トラック２（Track2）に格納されるバンド幅が3mbpsの主要画像との両方に対応付けられた補助画像の情報を格納する。したがって、この場合、トラック３のトラックリファレンスには、トラック１およびトラック２との参照関係が示されている（sbas=1.2）。その他の構成は、図１０の場合と同様である。
このように、MP4ファイルでは、トラックリファレンスを用いて、容易に、１つの補助画像を複数の主要画像に関連付けることができる。
この場合のMP4ファイル生成処理とMP4ファイル再生処理は、第１の実施の形態の場合と同様であるので、その説明は省略する。
つまり、この場合も、画像配信において、主要画像とともに用いられる補助画像の提供を制御することができる。
＜MPD構成例＞
また、図１９にこの場合のMPDの構成例を示す。図１９に示されるように、補助画像のアダプテーションセットの下位には、バンド幅が500kbpsの補助画像の情報が格納されるリプレゼンテーションが１つ設定されている。この補助画像は、バンド幅が1mbpsの主要画像と、バンド幅が3mbpsの主要画像との両方に関連付けられる。
したがって、この補助画像のリプレゼンテーションには、バンド幅が1mbpsの主要画像の情報のリプレゼンテーション（id="bs1"）、並びに、バンド幅が3mbpsの主要画像の情報のリプレゼンテーション（id="bs3"）との参照と、それらの参照の種類（sbas）を示す関連情報（アソシエーション情報）（<associationId="bs1,bs3" associationType="sbas">）が補助情報として設定されている。その他の構成は、図１２の場合と同様である。
このように、MPDでは、アソシエーション情報を用いて、容易に、１つの補助画像を複数の主要画像に関連付けることができる。
この場合のMPD生成処理とMPD再生処理は、第１の実施の形態の場合と同様であるので、その説明は省略する。
つまり、この場合も、画像配信において、主要画像とともに用いられる補助画像の提供を制御することができる。
＜３．第３の実施の形態＞
＜MP4ファイル構成例＞
また、例えば、MP4ファイルにおいて、主要画像（BL画像）の情報を格納するトラックと補助画像（AUX画像）の情報を格納するトラックとを１つのファイルに含めるようにしてもよい。図２０にその場合のMP4ファイルの主な構成例を示す。
図２０の例の場合、バンド幅が1mbpsの主要画像の情報を格納するトラック１と、その補助情報を格納するトラック２とが、１つのMP4ファイル（1mbps.mp4）に含められている。同様に、バンド幅が3mbpsの主要画像の情報を格納するトラック３と、その補助情報を格納するトラック４とが、１つのMP4ファイル（3mbps.mp4）に含められている。
このような構成とすることにより、１つのMP4ファイルを取得するだけで、互いに関連付けられた主要画像と補助画像の両方を取得することができる。すなわち、受信・再生側におけるMP4ファイルの取り扱いが容易になる。例えば、図１０の例のように、トラック毎にファイル化されていると、複数のトラックを利用する場合、そのトラックの数だけMP4ファイルを取得しなければならないが、図２０の例のように、互いに関連付けられた主要画像と補助画像とが１つのMP4ファイルに納められていれば、取得するMP4ファイルの数を低減させることができる。ただし、この場合、利用しないトラックがMP4ファイルに含まれることもあるので、不要な情報を取得しなければならない可能性もある。図１０の例の場合の方が、不要な情報の取得を低減させることができる。
この場合もMP4ファイル生成処理とMP4ファイル再生処理は、第１の実施の形態の場合と同様であるので、その説明は省略する。
つまり、この場合も、画像配信において、主要画像とともに用いられる補助画像の提供を制御することができる。
＜MPD構成例＞
また、図２１にこの場合のMPDの構成例を示す。図２１に示されるように、この場合、互いに対応する補助画像と主要画像との情報が１つの（共通の）アダプテーションセットに格納される。
また、この場合、リプレゼンテーションの下位にサブリプレゼンテーションが設定され、補助画像の情報は、このサブリプレゼンテーションに設定される。図２１の例の場合、サブリプレゼンテーションには、補助画像の符号化方式がSHVC方式であることを示す符号化情報（<codecs="lha1">）やバンド幅を示す情報（<bandwidth="500kbps">）が設定される。
また、以下のようなエッセンシャルプロパティ（EssentialProperty）が設定され、エレメントとして補助画像用のスキーマ（schemeIdUri="urn:mpeg:DASH:hevc:aux:2014"）が設定され、そのバリュー（value）として、補助画像の種類を示す識別情報「auxId」が設定される。
<EssentialProperty schemeIdUri="urn:mpeg:DASH:hevc:aux:2014"
value="auxId">
さらに、主要画像と補助画像との参照関係を示す以下のようなレベル情報が設定される。
<level="1" dependencyLevel="0">
このレベル情報において、主要画像（トラック１）は、レベル０（level0）に設定され、補助画像（トラック２）は、レベル１（level1）に設定されている。つまり、上述した記述は、補助画像がレベル１で、レベル０の主要画像に従属していることが示されている。
この場合のMPD生成処理とMPD再生処理は、第１の実施の形態の場合と同様であるのでその説明は省略する。
つまり、この場合も、画像配信において、主要画像とともに用いられる補助画像の提供を制御することができる。
＜４．第４の実施の形態＞
＜配信システム＞
各実施の形態において上述した各装置は、例えば、静止画像や動画像を配信する配信システムに利用することができる。以下において、その場合について説明する。
図２２は、本技術を適用した配信システムの主な構成例を示す図である。図２２に示される配信システム３００は、静止画像および動画像を配信するシステムである。図２２に示されるように、配信システム３００は、配信データ生成装置３０１、配信サーバ３０２、ネットワーク３０３、端末装置３０４、および端末装置３０５を有する。
配信データ生成装置３０１は、配信する静止画像や動画像のデータから配信用のフォーマットの配信データを生成する。配信データ生成装置３０１は、生成した配信データを配信サーバ３０２に供給する。配信サーバ３０２は、配信データ生成装置３０１が生成した配信データを記憶部などに記憶して管理し、ネットワーク３０３を介して端末装置３０４や端末装置３０５に対して、その配信データの配信サービスを提供する。
ネットワーク３０３は、通信媒体となる通信網である。ネットワーク３０３は、どのような通信網であってもよく、有線通信網であってもよいし、無線通信網であってもよいし、それらの両方であってもよい。例えば、有線LAN（Local Area Network）、無線LAN、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、またはインターネット等であってもよいし、それらの組み合わせであってもよい。また、ネットワーク３０３は、単数の通信網であってもよいし、複数の通信網であってもよい。また、例えば、ネットワーク３０３は、その一部若しくは全部が、例えばUSB（Universal Serial Bus）ケーブルやHDMI（登録商標）（High-Definition Multimedia Interface）ケーブル等のような、所定の規格の通信ケーブルにより構成されるようにしてもよい。
配信サーバ３０２、端末装置３０４、および端末装置３０５は、このネットワーク３０３に接続されており、互いに通信可能な状態になされている。これらのネットワーク３０３への接続方法は任意である。例えば、これらの装置が、ネットワーク３０３に、有線通信により接続されるようにしてもよいし、無線通信により接続されるようにしてもよい。また、例えば、これらの装置が、アクセスポイント、中継装置、基地局等、任意の通信装置（通信設備）を介してネットワーク３０３に接続されるようにしてもよい。
端末装置３０４および端末装置３０５は、それぞれ、例えば、携帯型電話機、スマートフォン、タブレット型コンピュータ、ノート型コンピュータのような、通信機能を有する任意の電子機器である。端末装置３０４や端末装置３０５は、例えばユーザ等の指示に基づいて、配信ファイルの配信を配信サーバ３０２に対して要求する。
配信サーバ３０２は、要求された配信データを要求元に送信する。配信を要求した端末装置３０４若しくは端末装置３０５は、その配信データを受信し、再生する。
このような配信システム３００において、配信データ生成装置３０１として、各実施の形態において上述した本技術を適用する。すなわち、上述したファイル生成装置１００を、配信データ生成装置３０１として用いるようにする。
また、端末装置３０４や端末装置３０５として、各実施の形態において上述した本技術を適用する。すなわち、上述したファイル再生装置２００を、端末装置３０４や端末装置３０５として用いるようにする。
このようにすることにより、配信データ生成装置３０１、端末装置３０４、および端末装置３０５は、上述した各実施の形態と同様の効果を得ることができる。つまり、配信システム３００は、主要画像とともに用いられる補助画像の提供を制御することができる。
＜５．第５の実施の形態＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図２３に示されるコンピュータ４００において、CPU（Central Processing Unit）４０１、ROM（Read Only Memory）４０２、RAM（Random Access Memory）４０３は、バス４０４を介して相互に接続されている。
バス４０４にはまた、入出力インタフェース４１０も接続されている。入出力インタフェース４１０には、入力部４１１、出力部４１２、記憶部４１３、通信部４１４、およびドライブ４１５が接続されている。
入力部４１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部４１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部４１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部４１４は、例えば、ネットワークインタフェースよりなる。ドライブ４１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア４２１を駆動する。
以上のように構成されるコンピュータでは、CPU４０１が、例えば、記憶部４１３に記憶されているプログラムを、入出力インタフェース４１０およびバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。RAM４０３にはまた、CPU４０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア４２１をドライブ４１５に装着することにより、入出力インタフェース４１０を介して、記憶部４１３にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部４１４で受信し、記憶部４１３にインストールすることができる。
その他、このプログラムは、ROM４０２や記憶部４１３に、あらかじめインストールしておくこともできる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
なお、本技術は以下のような構成も取ることができる。
（１） 主要画像とともに用いられる補助画像の画像データが符号化された符号化データと、前記補助画像に関する情報である補助情報とを格納するトラックを含むファイルを生成するファイル生成部
を備える情報処理装置。
（２） 前記補助情報は、前記トラックが、前記補助画像の画像データが符号化された符号化データを格納するトラックであることを示す識別情報を含む
（１）に記載の情報処理装置。
（３） 前記補助情報は、前記補助画像の種類を示す情報を含む
（１）または（２）に記載の情報処理装置。
（４） 前記補助画像の種類を示す情報は、前記補助画像が、クロマキーとして用いられるαチャンネルの情報であるか、奥行き情報であるか、または、前記主要画像に重畳されて表示されるオーバーレイの情報であるかを示す情報を含む
（３）に記載の情報処理装置。
（５） 前記補助情報は、前記符号化データの、前記補助画像の種類を示す情報に対応する付加情報をさらに含む
（３）または（４）に記載の情報処理装置。
（６） 前記補助情報は、前記トラックのサンプルエントリに格納される
（１）乃至（５）のいずれかに記載の情報処理装置。
（７） 前記ファイル生成部は、前記主要画像の画像データが符号化された符号化データを格納するトラックを含むファイルを、前記補助画像の画像データが符号化された符号化データを格納するトラックを含むファイルとは異なるファイルとして生成する
（１）乃至（６）のいずれかに記載の情報処理装置。
（８） 前記ファイル生成部は、前記補助画像の画像データが符号化された符号化データを格納するトラックを含むファイル１つに対して、前記主要画像の画像データが符号化された符号化データを格納するトラックを含むファイルを複数生成する
（７）に記載の情報処理装置。
（９） 前記ファイル生成部は、前記補助画像の画像データが符号化された符号化データを格納するトラックと、前記主要画像の画像データが符号化された符号化データを格納するトラックとの両方を含むファイルを生成する
（１）乃至（８）のいずれかに記載の情報処理装置。
（１０） 主要画像とともに用いられる補助画像の画像データが符号化された符号化データと、前記補助画像に関する情報である補助情報とを格納するトラックを含むファイルを生成する
情報処理方法。
（１１） 主要画像とともに用いられる補助画像の画像データが符号化された符号化データを含むファイルの再生を制御するメタデータであって、前記補助画像に関する情報である補助情報を含む前記メタデータを生成するメタデータ生成部
を備える情報処理装置。
（１２） 前記補助情報は、前記補助画像の画像データが符号化された符号化データを含むファイルが設定されるセグメントが属するリプレゼンテーションに設定される
（１１）に記載の情報処理装置。
（１３） 前記補助情報は、前記補助画像の種類を示す情報を含む
（１１）または（１２）に記載の情報処理装置。
（１４） 前記補助画像の種類を示す情報は、前記補助画像が、クロマキーとして用いられるαチャンネルの情報であるか、奥行き情報であるか、または、前記主要画像に重畳されて表示されるオーバーレイの情報であるかを示す情報を含む
（１３）に記載の情報処理装置。
（１５） 前記補助情報は、前記符号化データの、前記補助画像の種類を示す情報に対応する付加情報をさらに含む
（１３）または（１４）に記載の情報処理装置。
（１６） 前記補助情報の少なくとも一部は、前記補助画像の画像データが符号化された符号化データを含むファイルが設定されるセグメントが属するリプレゼンテーションの、エッセンシャルプロパティに設定される
（１１）乃至（１５）のいずれかに記載の情報処理装置。
（１７） 前記メタデータは、前記補助画像の画像データが符号化された符号化データを含むファイルの情報を含むアダプテーションセットと、前記主要画像の画像データが符号化された符号化データを含むファイルの情報を含むアダプテーションセットとを有する
（１１）乃至（１６）のいずれかに記載の情報処理装置。
（１８） 前記メタデータは、前記主要画像の画像データが符号化された符号化データを含むファイルの情報を含むアダプテーションセットに属するリプレゼンテーションを複数有する
（１７）に記載の情報処理装置。
（１９） 前記メタデータは、前記補助画像の画像データが符号化された符号化データと、前記主要画像の画像データが符号化された符号化データとの両方を含むファイルの情報を含むアダプテーションセットを有する
（１１）乃至（１８）のいずれかに記載の情報処理装置。
（２０） 主要画像とともに用いられる補助画像の画像データが符号化された符号化データを含むファイルの再生を制御するメタデータであって、前記補助画像に関する情報である補助情報を含む前記メタデータを生成する
情報処理方法。
１００ ファイル生成装置， １０１ ベースレイヤ符号化部， １０２ オグジュアリビデオレイヤ符号化部， １０３ MP4ファイル生成部， １０４ サンプルエントリ設定部， １０５ MPD生成部， １０６ リプレゼンテーション設定部， ２００ ファイル再生装置， ２０１ MPD解析部， ２０２ MP4ファイル再生部， ２０３ ベースレイヤ復号部， ２０４ オグジュアリビデオレイヤ復号部， ３００ 配信システム， ３０１ 配信データ生成装置， ３０２ 配信サーバ， ３０３ ネットワーク， ３０４および３０５ 端末装置， ４００ コンピュータ

Claims (20)

  1. 主要画像とともに、画像生成、画像処理、または画像表示に用いられる補助画像の符号化データと、前記補助画像に関する情報である補助情報とを格納するトラックを含むファイルを生成するファイル生成部を備え、
    前記補助情報は、前記トラックが前記補助画像の符号化データを格納することを示す識別情報を含む
    情報処理装置。
  2. 前記補助情報は、前記補助画像の種類を示す情報をさらに含む
    請求項１に記載の情報処理装置。
  3. 前記補助画像の種類を示す情報は、前記補助画像が、クロマキーとして用いられるαチャンネルの情報であるか、奥行き情報であるか、または、前記主要画像に重畳されて表示されるオーバーレイの情報であるかを示す情報を含む
    請求項２に記載の情報処理装置。
  4. 前記補助情報は、前記補助画像の符号化データの、前記補助画像の種類を示す情報に対応する付加情報をさらに含む
    請求項２に記載の情報処理装置。
  5. 前記付加情報は、SEI（Supplemental Enhancement Information）である
    請求項４に記載の情報処理装置。
  6. 前記補助情報は、前記トラックのサンプルエントリに格納される
    請求項１に記載の情報処理装置。
  7. 前記ファイル生成部は、前記主要画像の符号化データを格納するトラックを含むファイルを、前記補助画像の符号化データを格納するトラックを含むファイルとは異なるファイルとして生成する
    請求項１に記載の情報処理装置。
  8. 前記ファイル生成部は、前記補助画像の符号化データを格納するトラックを含む１つのファイルに対応する、前記主要画像の符号化データを格納するトラックを含むファイルを複数生成する
    請求項７に記載の情報処理装置。
  9. 前記ファイル生成部は、前記補助画像の符号化データを格納するトラックと前記主要画像の符号化データを格納するトラックとの両方を含むファイルを生成する
    請求項１に記載の情報処理装置。
  10. 主要画像とともに、画像生成、画像処理、または画像表示に用いられる補助画像の符号化データを格納するトラックであって、前記トラックが前記補助画像の符号化データを格納することを示す識別情報をさらに格納する前記トラックを含むファイルを生成する
    情報処理方法。
  11. 主要画像とともに、画像生成、画像処理、または画像表示に用いられる補助画像の符号化データを含むファイルの再生を制御する、MPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）に準拠したMPD（Media Presentation Description）であって、前記補助画像に関する情報である補助情報を含む前記MPDを生成するMPD生成部
    を備える情報処理装置。
  12. 前記補助情報は、前記MPDの、前記補助画像の符号化データを含むファイルが設定されるセグメントが属するリプレゼンテーションに設定される
    請求項１１に記載の情報処理装置。
  13. 前記補助情報は、前記補助画像の種類を示す情報を含む
    請求項１１に記載の情報処理装置。
  14. 前記補助画像の種類を示す情報は、前記補助画像が、クロマキーとして用いられるαチャンネルの情報であるか、奥行き情報であるか、または、前記主要画像に重畳されて表示されるオーバーレイの情報であるかを示す情報を含む
    請求項１３に記載の情報処理装置。
  15. 前記補助情報は、前記補助画像の符号化データの、前記補助画像の種類を示す情報に対応する付加情報をさらに含む
    請求項１３に記載の情報処理装置。
  16. 前記補助情報の少なくとも一部は、前記MPDの、前記補助画像の符号化データを含むファイルが設定されるセグメントが属するリプレゼンテーションのエッセンシャルプロパティに設定される
    請求項１１に記載の情報処理装置。
  17. 前記MPDは、前記補助画像の符号化データを含むファイルの情報を含むアダプテーションセットと、前記主要画像の符号化データを含むファイルの情報を含むアダプテーションセットとを有する
    請求項１１に記載の情報処理装置。
  18. 前記MPDは、前記主要画像の符号化データを含むファイルの情報を含むアダプテーションセットに属するリプレゼンテーションを複数有する
    請求項１７に記載の情報処理装置。
  19. 前記MPDは、前記補助画像の符号化データと前記主要画像の符号化データとの両方を含むファイルの情報を含むアダプテーションセットを有する
    請求項１１に記載の情報処理装置。
  20. 主要画像とともに、画像生成、画像処理、または画像表示に用いられる補助画像の符号化データを含むファイルの再生を制御する、MPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）に準拠したMPD（Media Presentation Description）であって、前記補助画像に関する情報である補助情報を含む前記MPDを生成する
    情報処理方法。
JP2016531255A 2014-07-01 2015-06-17 情報処理装置および方法 Expired - Fee Related JP6508206B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014136290 2014-07-01
JP2014136290 2014-07-01
PCT/JP2015/067425 WO2016002513A1 (ja) 2014-07-01 2015-06-17 情報処理装置および方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019049729A Division JP2019146183A (ja) 2014-07-01 2019-03-18 情報処理装置および方法

Publications (2)

Publication Number Publication Date
JPWO2016002513A1 JPWO2016002513A1 (ja) 2017-04-27
JP6508206B2 true JP6508206B2 (ja) 2019-05-08

Family

ID=55019060

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016531255A Expired - Fee Related JP6508206B2 (ja) 2014-07-01 2015-06-17 情報処理装置および方法
JP2019049729A Pending JP2019146183A (ja) 2014-07-01 2019-03-18 情報処理装置および方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019049729A Pending JP2019146183A (ja) 2014-07-01 2019-03-18 情報処理装置および方法

Country Status (5)

Country Link
US (1) US20170127152A1 (ja)
EP (1) EP3166318A4 (ja)
JP (2) JP6508206B2 (ja)
CN (1) CN106489270B (ja)
WO (1) WO2016002513A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3404927A1 (en) * 2016-01-13 2018-11-21 Sony Corporation Information processing device and information processing method
US10389999B2 (en) * 2016-02-17 2019-08-20 Qualcomm Incorporated Storage of virtual reality video in media files
EP3422731B1 (en) * 2016-02-22 2021-08-25 Sony Group Corporation File generation device, file generation method, reproduction device, and reproduction method
US10587934B2 (en) * 2016-05-24 2020-03-10 Qualcomm Incorporated Virtual reality video signaling in dynamic adaptive streaming over HTTP
EP3249929A1 (en) * 2016-05-25 2017-11-29 Thomson Licensing Method and network equipment for establishing a manifest
CN107194976B (zh) * 2017-03-31 2021-11-12 上海浩远智能科技有限公司 一种温度云图的处理方法和装置
CN113206826B (zh) * 2018-09-28 2022-10-04 华为技术有限公司 传输媒体数据的方法、客户端和服务器
CA3232290A1 (en) 2021-09-13 2023-03-16 Chevron Phillips Chemical Company Lp Hydrocyclone modification of catalyst system components for use in olefin polymerizations

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10285593A (ja) * 1997-02-07 1998-10-23 Matsushita Electric Ind Co Ltd 画像伝送用データ構造，画像伝送方法，画像復号化装置，及びデータ記録媒体
JP2008109624A (ja) * 2006-09-25 2008-05-08 Victor Co Of Japan Ltd 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
US20080252719A1 (en) * 2007-04-13 2008-10-16 Samsung Electronics Co., Ltd. Apparatus, method, and system for generating stereo-scopic image file based on media standards
JP5372687B2 (ja) * 2009-09-30 2013-12-18 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP2010051035A (ja) * 2009-12-02 2010-03-04 Casio Comput Co Ltd 画像記憶処理装置、画像記憶処理方法、及び、記録処理プログラム
JP2011142586A (ja) * 2010-01-08 2011-07-21 Sony Corp 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
JP5652642B2 (ja) * 2010-08-02 2015-01-14 ソニー株式会社 データ生成装置およびデータ生成方法、データ処理装置およびデータ処理方法
US9026671B2 (en) * 2011-04-05 2015-05-05 Qualcomm Incorporated IP broadcast streaming services distribution using file delivery methods
US10244257B2 (en) * 2011-08-31 2019-03-26 Nokia Technologies Oy Video coding and decoding
WO2013129158A1 (ja) * 2012-03-01 2013-09-06 ソニー株式会社 送信装置、送信方法および受信装置
JP6348251B2 (ja) * 2012-09-13 2018-06-27 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 端末装置、受信方法、およびプログラム
KR20140064344A (ko) * 2012-11-20 2014-05-28 삼성전자주식회사 영상처리장치와 그 제어방법
US20150195554A1 (en) * 2014-01-03 2015-07-09 Sharp Laboratories Of America, Inc. Constraints and enhancements for a scalable video coding system
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding

Also Published As

Publication number Publication date
JPWO2016002513A1 (ja) 2017-04-27
CN106489270A (zh) 2017-03-08
US20170127152A1 (en) 2017-05-04
EP3166318A1 (en) 2017-05-10
WO2016002513A1 (ja) 2016-01-07
EP3166318A4 (en) 2018-01-03
CN106489270B (zh) 2020-03-03
JP2019146183A (ja) 2019-08-29

Similar Documents

Publication Publication Date Title
JP6508206B2 (ja) 情報処理装置および方法
AU2018241185B2 (en) Information processing device and method
US20210326378A1 (en) Information processing apparatus and information processing method
JP6908098B2 (ja) 情報処理装置および方法
EP3148200B1 (en) Information processing device and method selecting content files based on encoding parallelism type
JPWO2015008686A1 (ja) ファイル生成装置および方法、並びにコンテンツ再生装置および方法
JP2022019932A (ja) 情報処理装置および情報処理方法
WO2018142946A1 (ja) 情報処理装置および方法
JP6501127B2 (ja) 情報処理装置および方法
KR101124723B1 (ko) 해상도 시그널링을 이용한 스케일러블 비디오 재생 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190318

R151 Written notification of patent or utility model registration

Ref document number: 6508206

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees