WO2016002513A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
WO2016002513A1
WO2016002513A1 PCT/JP2015/067425 JP2015067425W WO2016002513A1 WO 2016002513 A1 WO2016002513 A1 WO 2016002513A1 JP 2015067425 W JP2015067425 W JP 2015067425W WO 2016002513 A1 WO2016002513 A1 WO 2016002513A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
auxiliary
file
encoded data
Prior art date
Application number
PCT/JP2015/067425
Other languages
English (en)
French (fr)
Inventor
平林　光浩
央二 中神
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2016531255A priority Critical patent/JP6508206B2/ja
Priority to EP15814154.9A priority patent/EP3166318A4/en
Priority to US15/319,153 priority patent/US20170127152A1/en
Priority to CN201580033674.4A priority patent/CN106489270B/zh
Publication of WO2016002513A1 publication Critical patent/WO2016002513A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23611—Insertion of stuffing data into a multiplex stream, e.g. to obtain a constant bitrate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Definitions

  • the present technology relates to an information processing apparatus and method, and more particularly, to an information processing apparatus and method that can control provision of an auxiliary image used together with a main image.
  • MPEG-DASH Moving Picture Experts Group Dynamic-Adaptive Streaming Over HTTP
  • HTTP HyperText Transfer Protocol
  • MPEG-DASH multiple encoded data in which the same content is expressed at different bit rates are stored in the content server, and the client selects one of the multiple encoded data according to the network bandwidth.
  • ABS Adaptive Bitrate Streaming
  • one of the layers is used together with a main image that is a normal image, for example, depth information. (Depth), subtitles, and other auxiliary images (also referred to as auxiliary images, auxiliary images, AUX images, etc.) are encoded.
  • layers layers
  • SHVC Scalable High Efficiency Efficiency Video Coding
  • MPEG-DASH Dynamic-Adaptive-Streaming-over-HTTP
  • URL http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam -1)
  • auxiliary images could not be identified with a distribution format such as the conventional MPEG-DASH standard. Therefore, the auxiliary image may be erroneously processed as a normal image on the reception / reproduction side.
  • the present technology has been proposed in view of such a situation, and an object thereof is to be able to control provision of an auxiliary image used together with a main image.
  • One aspect of the present technology provides a file generation unit that generates a file including a track that stores encoded data obtained by encoding image data of an auxiliary image used together with a main image and auxiliary information that is information about the auxiliary image. Is an information processing apparatus.
  • the auxiliary information may include identification information indicating that the track is a track that stores encoded data obtained by encoding image data of the auxiliary image.
  • the auxiliary information may include information indicating the type of the auxiliary image.
  • the information indicating the type of the auxiliary image is information on the ⁇ channel used as a chroma key, depth information, or overlay information displayed superimposed on the main image. It is possible to include information indicating that.
  • the auxiliary information may further include additional information corresponding to information indicating the type of the auxiliary image of the encoded data.
  • the auxiliary information can be stored in a sample entry of the track.
  • the file generation unit includes a file that includes a track that stores encoded data obtained by encoding the image data of the main image, and a file that includes a track that stores encoded data obtained by encoding the image data of the auxiliary image. It can be generated as a different file.
  • the file generation unit stores encoded data in which the image data of the main image is encoded for one file including a track that stores encoded data in which the image data of the auxiliary image is encoded. Multiple files including tracks can be generated.
  • the file generation unit includes a track that stores both a track that stores encoded data obtained by encoding image data of the auxiliary image and a track that stores encoded data obtained by encoding image data of the main image. Can be generated.
  • One aspect of the present technology is also information that generates a file including a track that stores encoded data obtained by encoding image data of an auxiliary image used together with a main image and auxiliary information that is information about the auxiliary image. It is a processing method.
  • Another aspect of the present technology is metadata that controls reproduction of a file including encoded data obtained by encoding image data of an auxiliary image used together with a main image, and includes auxiliary information that is information on the auxiliary image. It is an information processing apparatus provided with the metadata production
  • the auxiliary information can be set to a representation to which a segment to which a file including encoded data obtained by encoding image data of the auxiliary image belongs is set.
  • the auxiliary information may include information indicating the type of the auxiliary image.
  • the information indicating the type of the auxiliary image is information on the ⁇ channel used as a chroma key, depth information, or overlay information displayed superimposed on the main image. It is possible to include information indicating that.
  • the auxiliary information may further include additional information corresponding to information indicating the type of the auxiliary image of the encoded data.
  • At least a part of the auxiliary information can be set in an essential property of a representation to which a segment to which a file including encoded data obtained by encoding image data of the auxiliary image belongs is set.
  • the metadata includes an adaptation set including information on a file including encoded data obtained by encoding image data of the auxiliary image, and information on a file including encoded data obtained by encoding image data of the main image. Including an adaptation set.
  • the metadata may include a plurality of representations belonging to an adaptation set including information of a file including encoded data obtained by encoding the image data of the main image.
  • the metadata has an adaptation set including file information including both encoded data obtained by encoding image data of the auxiliary image and encoded data obtained by encoding image data of the main image. Can be.
  • Another aspect of the present technology is metadata that controls reproduction of a file including encoded data obtained by encoding image data of an auxiliary image used together with a main image, and is auxiliary information that is information on the auxiliary image.
  • a file including a track that stores encoded data obtained by encoding image data of an auxiliary image used together with a main image and auxiliary information that is information about the auxiliary image is generated.
  • metadata for controlling reproduction of a file including encoded data in which image data of an auxiliary image used together with a main image is encoded, and auxiliary information that is information about the auxiliary image is stored. Contains metadata is generated.
  • This technology can process information. Further, according to the present technology, it is possible to control provision of an auxiliary image used together with a main image.
  • FIG. 20 is a block diagram illustrating a main configuration example of a computer.
  • First embodiment file generation apparatus / file reproduction apparatus
  • Second embodiment in the case of an auxiliary image common to a plurality of main images
  • Third embodiment main image and auxiliary image in one file
  • Fourth embodiment distributed system
  • Fifth embodiment (computer)
  • the streaming data control software selects an MPD (Media Presentation Description) file of the desired content and acquires it from the Web server.
  • MPD Media Presentation Description
  • MPD is metadata for managing content such as moving images and audio to be distributed.
  • the streaming data control software of the video playback terminal analyzes the MPD and generates data (DASH segment) that matches the quality of the communication line and the performance of the video playback terminal of the desired content.
  • the client software for HTTP access acquires the DASH segment from the Web server using HTTP according to the control.
  • the moving image reproduction software reproduces the content acquired in this way.
  • MPD has a configuration as shown in FIG. 2, for example.
  • the client selects an optimum one from the representation attributes included in the period of the MPD (Media Presentation in FIG. 2).
  • the client reads the first segment (Segment) of the selected representation (Representation), acquires the initialization segment (Initialization Segment), and processes it. Subsequently, the client acquires and reproduces the subsequent segment (Segment).
  • a period (Period), a representation (Representation), and a segment (Segment) in MPD is as shown in FIG. That is, one media content can be managed for each period (Period) that is a data unit in the time direction, and each period (Period) should be managed for each segment (Segment) that is a data unit in the time direction. Can do.
  • a plurality of representations (Representations) having different attributes such as bit rate can be configured for each period (Period), a plurality of representations (Representations) having different attributes such as bit rate can be configured.
  • this MPD file (also referred to as MPD file) has a hierarchical structure as shown in FIG. 4 below the period. Further, when the MPD structures are arranged on the time axis, an example shown in FIG. 5 is obtained. As is clear from the example of FIG. 5, there are a plurality of representations (Representations) for the same segment (Segment). The client can acquire and reproduce appropriate stream data according to the communication environment, its decoding capability, and the like by adaptively selecting one of these.
  • ⁇ Tile structure> In such a conventional DASH, the distribution of the data of the whole image was adaptively controlled. However, instead of the whole image, a partial image that is a part of it may be adaptively selected and distributed. . For example, a partial image of a part selected by the terminal that receives the image data in the entire image is distributed, terminal performance (for example, processing capability of the CPU, display size, etc.), transmission path, and server load It was considered to control the size of the partial image to be distributed according to the situation.
  • a tile is a partial region obtained by dividing the entire image with a predetermined layout (size, shape, number, etc.).
  • a tile image an image of one tile is referred to as a tile image.
  • the partial image is composed of one or more tile images.
  • the image data is encoded and the bit stream is filed and distributed (published as a file).
  • the image data is encoded independently for each tile image.
  • the encoded data of each tile may be a single bit stream.
  • each of a 640x480 size whole image, a 1980x1080 size whole image, and a 960x540 size tile image (four partial images) obtained by dividing the whole image into two in the vertical and horizontal directions, respectively.
  • the entire image data of 640x480 size is encoded into one bit stream (bitstream1)
  • the entire image data of 1980x1080 size is also encoded into one bit stream (bitstream2).
  • bitstream1 bit stream
  • bitstream2 bit stream 2
  • video parameter set (VPS (Video Parameter Set)
  • sequence parameter set (SPS (Sequence Parameter Set)
  • SEI Supplemental Enhancement Information
  • picture parameter set (Picture Parameter Set)
  • Header information is added, and a bit stream of image data is arranged for each slice.
  • a tile image to be distributed can be selected by selecting a bitstream to be distributed from bitstream3 to bitstream6.
  • each tile image can be distributed in the same manner as the entire image.
  • a coding scheme such as HEVC (High Efficiency Video Coding) supports a structure called a tile (Tile) that divides the entire image, and encoding can be performed independently for each tile. it can.
  • decoding can be performed so as to obtain only an image of a part of the tiles. That is, decoding can be performed so as to obtain only a partial image that is a part of the entire image.
  • encoded data of a plurality of tile images can be made into one bit stream (bitstream 7) as in the example shown in FIG. 6B.
  • bitstream 7 bit stream 7
  • the above-described distribution tile (Tile) is handled and encoded as a tile (Tile) supported by the encoding method.
  • the data of each tile is arranged as a slice in the bit stream.
  • the distribution bit stream is converted into a file by, for example, the MP4 file format.
  • the bit stream of each tile can be a separate file.
  • the bit stream of each tile is managed in units called tracks.
  • header information of each tile and a base track in which a reference to each track is described are provided, and the file is formed as a file different from the bit stream of each tile.
  • the base track is reproduced, and when decoding each tile, the base track is referred to for header information.
  • the bitstream of each tile can be combined into one file.
  • the data of each tile can be managed together in one track, and as shown in FIG. 8B, each tile can be managed as different tracks.
  • header information of each tile and a base track (Base Track) in which a reference to each track is described are provided.
  • auxiliary image used together with a main image that is a normal image using one of the layers.
  • Some of them encode images, Auxiliary images, AUX images, and the like.
  • the auxiliary image includes, for example, depth information (Depth) of a main image, an alpha channel image (alpha_channel) used as a chroma key, an overlay image (overlay) such as subtitles and telops, and the like.
  • Depth depth information
  • alpha_channel alpha channel image
  • overlay overlay
  • subtitles and telops any information may be used as long as it is used together with the main image.
  • Such an auxiliary image is often handled differently from a general image.
  • the auxiliary image basically includes information that assists the main image as in the above-described example, the auxiliary image is used (for example, displayed) with the corresponding main image, and only the auxiliary image is displayed.
  • This information is not suitable for using (for example, displaying).
  • information such as depth information, chroma key, and caption can be displayed together with the corresponding main image to obtain the original effect.
  • a stereoscopic image can be created by combining with the main image.
  • a chroma key it can be used together with a main image to perform image processing such as separating a main subject portion and a background portion from the image.
  • an overlay image such as a caption
  • inter-layer prediction is not performed on auxiliary images.
  • the main image corresponding to the auxiliary image can be used alone (can be displayed).
  • the auxiliary image is not always necessary information, and only needs to be used when necessary.
  • auxiliary image when distributing such an auxiliary image, it is necessary to make the receiving / reproducing side know that it is an auxiliary image. It is also necessary to provide information necessary for using the auxiliary image. Furthermore, it is desirable to provide the main image and the auxiliary image in association with each other, and to select and receive the auxiliary image only when necessary.
  • auxiliary images do not have a function to distinguish auxiliary images from general images, and such auxiliary images can be identified in distribution formats such as the conventional MPEG-DASH standard. There wasn't. Therefore, the auxiliary image may be erroneously processed as a normal image on the reception / reproduction side.
  • a file including a track that stores encoded data obtained by encoding image data of an auxiliary image used together with the main image and auxiliary information that is information related to the auxiliary image is generated.
  • an MP4 file may be generated as such a file.
  • the reception / playback side can grasp that the image is an auxiliary image. Can be distinguished from normal images. As a result, it is possible to suppress erroneous processing of the auxiliary image as a normal image. That is, it is possible to control the provision of the auxiliary image used together with the main image.
  • the auxiliary information may include identification information indicating that the track is a track that stores encoded data obtained by encoding image data of an auxiliary image.
  • the auxiliary information may include information indicating the type of auxiliary image.
  • the auxiliary image is not used for one purpose. Therefore, by presenting information indicating the type of the auxiliary image as auxiliary information to the reception / reproduction side, the auxiliary image can be easily used appropriately on the reception / reproduction side.
  • the information indicating the type of the auxiliary image is information on the ⁇ channel used as a chroma key, depth information, or overlay information displayed superimposed on the main image. May be included.
  • the content of the auxiliary image is arbitrary, for example, when it is limited to the above-described example, it is possible to more easily indicate to the reception / reproduction side using the identification information whether the auxiliary image is that.
  • the auxiliary information can further include additional information corresponding to information indicating the type of auxiliary image of the encoded data.
  • the encoded data includes SEI (Supplemental Enhancement Information) corresponding to the type of the auxiliary image.
  • SEI may be included in the auxiliary information and provided to the reception / reproduction side. Thereby, the receiving / reproducing side can obtain more information, and can process the auxiliary image more appropriately based on the information.
  • auxiliary information may be stored in the track sample entry.
  • the storage location of the auxiliary information is arbitrary, but by storing it in the sample entry, the reception / playback side can easily refer to it.
  • a file including a track storing encoded data obtained by encoding image data of a main image is generated as a file different from a file including a track storing encoded data obtained by encoding image data of an auxiliary image. You may make it do. That is, the main image and the auxiliary image may be divided into files.
  • MPD may be generated as such metadata.
  • the reception / playback side grasps that the control target of the metadata is the auxiliary image, Can be distinguished. As a result, it is possible to suppress erroneous processing of the auxiliary image as a normal image. That is, it is possible to control the provision of the auxiliary image used together with the main image.
  • the auxiliary information may be set to a representation to which a segment to which a file including encoded data obtained by encoding image data of an auxiliary image is set belongs.
  • the storage location of the auxiliary information is arbitrary. However, in the case of MPD, setting (representing) the auxiliary information on the reception / playback side becomes easy by setting the representation.
  • the auxiliary information may include information indicating the type of auxiliary image. Also, the information indicating the type of auxiliary image is whether the auxiliary image is ⁇ channel information used as a chroma key, depth information, or overlay information displayed superimposed on the main image. May be included.
  • the auxiliary information may further include additional information corresponding to information indicating the type of the auxiliary image in the encoded data. This is the same as when generating the file described above.
  • auxiliary information may be set in an essential property of a representation to which a segment to which a file including encoded data obtained by encoding image data of an auxiliary image belongs is set.
  • the setting method of the auxiliary information is arbitrary, but in the case of MPD, by setting the essential property in this way, it becomes easy to identify and grasp the contents of the auxiliary information on the reception / reproduction side.
  • the metadata includes an adaptation set including information on a file including encoded data obtained by encoding the image data of the auxiliary image, and information on a file including encoded data obtained by encoding the image data of the main image. You may make it have an adaptation set. That is, an adaptation set may be generated for each of the main image and the auxiliary image.
  • FIG. 9 is a block diagram illustrating a main configuration example of a file generation apparatus that is an embodiment of an information processing apparatus to which the present technology is applied.
  • the file generation apparatus 100 encodes a base layer image (BL image) and an auxiliary image (AUX image) that is an auxiliary video layer image, and stores the obtained encoded data of each layer.
  • BL image base layer image
  • AUX image auxiliary image
  • the file generation apparatus 100 includes a base layer encoding unit 101, an auxiliary video layer encoding unit 102, an MP4 file generation unit 103, a sample entry setting unit 104, an MPD generation unit 105, A presentation setting unit 106 is provided.
  • the base layer encoding unit 101 encodes the input base layer image (BL image) using a predetermined encoding method (for example, HEVC), and generates base layer encoded data.
  • the base layer encoding unit 101 supplies the generated base layer encoded data (HEVC) to the MP4 file generation unit 103.
  • the auxiliary video layer encoding unit 102 encodes the input auxiliary video layer image (AUX image) with a predetermined encoding method (for example, SHVC), and generates enhancement layer encoded data.
  • the auxiliary video layer encoding unit 102 supplies the generated encoded data (SHVC) of the auxiliary video layer to the MP4 file generation unit 103. Further, the auxiliary video layer encoding unit 102 supplies auxiliary information that is information related to the AUX image to the sample entry setting unit 104.
  • the MP4 file generation unit 103 includes base layer encoded data (HEVC) supplied from the base layer encoding unit 101 and auxiliary video layer encoded data supplied from the auxiliary video layer encoding unit 102.
  • a file (MP4 file) that stores (SHVC) is generated.
  • the MP4 file generation unit 103 stores the base layer encoded data (HEVC) and the auxiliary video layer encoded data (SHVC) in different tracks of the MP4 file.
  • the MP4 file generation unit 103 sets the sample entry supplied from the sample entry setting unit 104 to a track that stores the encoded data (SHVC) of the auxiliary video layer. This sample entry includes auxiliary information that is information related to the AUX image.
  • the MP4 file generation unit 103 outputs the generated MP4 file.
  • the MP4 file generation unit 103 supplies the generated MP4 file to the MPD generation unit 105 and the representation setting unit 106.
  • the sample entry setting unit 104 generates a sample entry using the auxiliary information supplied from the auxiliary video layer encoding unit 102.
  • the sample entry setting unit 104 supplies the sample entry to the MP4 file generation unit 103 and sets the sample entry to a track that stores the encoded data (SHVC) of the auxiliary video layer.
  • SHVC encoded data
  • the MPD generation unit 105 generates an MPD that controls the delivery of the MP4 file supplied from the MP4 file generation unit 103. At that time, the MPD generation unit 105 sets the information supplied from the representation setting unit 106 to the MPD representation. The MPD generation unit 105 outputs the generated MPD.
  • the representation setting unit 106 uses the MP4 file supplied from the MP4 file generation unit 103 to generate information to be set in the MPD representation generated by the MPD generation unit 105, and supplies the information to the MPD generation unit 105. And set.
  • ⁇ MP4 file configuration example> A main configuration example of the MP4 file generated by the MP4 file generation unit 103 of the file generation apparatus 100 is shown in FIG.
  • MP4 file (1mbps_aux.mp4), main image (base layer) MP4 file (3mbps.mp4) with a bandwidth of 3mbps (bandwidth 3mbps), and an auxiliary image (auxiliary video layer) MP4 file (3mbps_aux .mp4) respectively. That is, the main image and its auxiliary image (AUX image) are stored in different tracks, and these tracks are filed as different files.
  • a track 2 (Track 2) included in the MP4 file (1mbps_aux.mp4) includes a sample (SHVC aux) of the encoded data of the auxiliary video layer (that is, the encoded data of the AUX image corresponding to the main image of the track 1). sample) is stored.
  • an lhaC box (lhaC ⁇ ⁇ box) that stores configuration information necessary for decoding the encoded data of the auxiliary image of the SHVC encoding method is set.
  • the MP4 file (3mbps.mp4) is only different in bandwidth from the MP4 file (1mbps.mp4), and the configuration is the same as the MP4 file (1mbps.mp4). Therefore, the MP4 file (3mbps_aux.mp4) also differs from the MP4 file (1mbps_aux.mp4) only in bandwidth, and the configuration is the same as that of the MP4 file (1mbps_aux.mp4).
  • the value indicating that the track stores the information of the auxiliary image is set in the encoding information of the sample entry of the track storing the information of the auxiliary image. That is, the sample entry setting unit 104 sets such a value in the encoded information of the sample entry based on the auxiliary information.
  • identification information indicating that the track stores auxiliary image information is set as auxiliary information in the sample entry of the track storing auxiliary image information. Therefore, on the receiving / reproducing side of this MP4 file, it is possible to easily understand that the information of the auxiliary image is stored in the track by referring to the encoded information.
  • FIG. 11 shows an example of the syntax of an lhaC box (lhaC box).
  • “auxId” is stored in the lhaC box (lhaC box) as information indicating the type of the auxiliary image.
  • the reception / playback side can easily identify the type of the auxiliary image, Auxiliary images can be used appropriately.
  • the method of specifying the type of auxiliary image is arbitrary, but when the type of auxiliary image is limited in advance, the amount of information can be increased by specifying the type of auxiliary image using such identification information. Can be suppressed. Further, since the format of the information is standardized, it becomes easy to handle this information on the reception / reproduction side. Therefore, the type of auxiliary image can be specified more easily.
  • the identification information “auxId” described above is an example.
  • the type of the auxiliary image (AUX) image is arbitrary and is not limited to the above-described example. Further, the number of types of candidate auxiliary images is also arbitrary. Furthermore, the value of the identification information “auxId” that specifies the type of the auxiliary image is also arbitrary.
  • the SEI corresponding to the type of the auxiliary image (the value of the identification information “auxId”) is further stored in this lhaC box (lhaC box).
  • the receiving / playback side can obtain more information, and based on that information, the auxiliary image is processed more appropriately. be able to.
  • FIG. 12 illustrates a main configuration example of the MPD generated by the MPD generation unit 105 of the file generation apparatus 100.
  • AdaptationSet two adaptation sets (AdaptationSet) are set below the period (Period).
  • One adaptation set stores information on main images, and the other adaptation set stores information on auxiliary images.
  • One representation stores information of a main image having a bandwidth of 1 mbps, and the other representation stores information of a main image having a bandwidth of 3 mbps.
  • One representation stores information of an auxiliary image having a bandwidth of 1 mbps, and the other representation stores information of an auxiliary image having a bandwidth of 3 mbps.
  • the reception / playback side can grasp that the control target of the metadata is an auxiliary image and distinguish it from a normal image.
  • handling (referencing) of the auxiliary information on the reception / playback side is facilitated.
  • information indicating the type of auxiliary image is set as an essential property.
  • This identification information “auxId” is the same information as the identification information “auxId” of the MP4 file. For example, the following information is set.
  • the reception / reproduction side can easily use the auxiliary image appropriately.
  • the type of auxiliary image By specifying the type of auxiliary image using such identification information, an increase in the amount of information can be suppressed. Further, since the format of the information is standardized, it becomes easy to handle this information on the reception / reproduction side. Therefore, the type of auxiliary image can be specified more easily. Note that setting auxiliary information as an essential property facilitates identification and content grasping of auxiliary information on the reception / playback side.
  • SEI additional information
  • auxId value of identification information
  • information indicating the type of auxiliary image is set as an essential property as follows.
  • the file generation apparatus 100 can realize control of providing an auxiliary image used together with the main image.
  • the base layer encoding unit 101 encodes a base layer image (BL image) in step S101.
  • step S102 the auxiliary video layer encoding unit 102 encodes the auxiliary image (AUX image).
  • step S103 the MP4 file generation unit 103 generates an MP4 file by dividing a track for each encoded data.
  • the MP4 file generation unit 103 generates an MP4 file for each track.
  • step S104 the MP4 file generation unit 103 sets a track reference to the base layer track of the auxiliary video layer track.
  • step S105 the sample entry setting unit 104 sets the sample entry of the auxiliary video layer track using the auxiliary information.
  • step S106 the MP4 file generation unit 103 outputs the generated MP4 file.
  • the file generation apparatus 100 can generate an MP4 file having a configuration as shown in FIG. That is, the file generating apparatus 100 can control the provision of the auxiliary image used together with the main image by the MP4 file. That is, in the image distribution, it is possible to control the provision of the auxiliary image used together with the main image.
  • the base layer encoding unit 101 When the MPD generation process is started, the base layer encoding unit 101, the auxiliary video layer encoding unit 102, the MP4 file generation unit 103, and the sample entry setting unit 104, in step S121, MP4 files for images) and auxiliary video layer images (AUX images).
  • This process is executed in the same manner as the MP4 file generation process described with reference to the flowchart of FIG.
  • the MPD generation unit 105 sets an adaptation set below the period in step S122.
  • step S123 the MPD generation unit 105 sets a representation or sub-representation for each track of the MP4 file in the lower order of the adaptation set.
  • step S124 the MPD generation unit 105 sets a segment of each track of the MP4 file below each representation.
  • step S125 the representation setting unit 106 sets the track information for each representation or each sub-representation.
  • step S126 the MPD generation unit 105 outputs the MPD generated as described above.
  • the file generation apparatus 100 can generate an MPD having a configuration as shown in FIG. That is, the file generating apparatus 100 can control the provision of the auxiliary image used together with the main image by this MPD. That is, in the image distribution, it is possible to control the provision of the auxiliary image used together with the main image.
  • FIG. 15 is a block diagram illustrating a main configuration example of a file reproduction device which is an embodiment of an information processing device to which the present technology is applied.
  • the file playback device 200 plays back the MP4 file and MPD generated as described above by the file generation device 100 of FIG. 9, and decodes the base layer decoded image or the base layer and the auxiliary video layer. It is a device that generates and outputs a decoded image.
  • the file playback apparatus 200 includes an MPD analysis unit 201, an MP4 file playback unit 202, a base layer decoding unit 203, and an auxiliary video layer decoding unit 204.
  • the MPD analysis unit 201 acquires and analyzes an MPD configured as shown in FIG. 12, for example, and controls the MP4 file playback unit 202 based on the analysis result.
  • the MP4 file reproduction unit 202 acquires and reproduces, for example, an MP4 file having a configuration as shown in FIG. 10 under the control of the MPD analysis unit 201, and extracts encoded data from the base layer track.
  • the MP4 file reproduction unit 202 supplies the extracted base layer encoded data to the base layer decoding unit 203.
  • the MP4 file playback unit 202 extracts encoded data from the tracks of the auxiliary video layer of the MP4 file as necessary.
  • the MP4 file reproducing unit 202 supplies the extracted encoded data of the auxiliary video layer to the auxiliary video layer decoding unit 204.
  • the base layer decoding unit 203 decodes the encoded data supplied from the MP4 file reproduction unit 202, and generates a base layer decoded image (BL decoded image).
  • the base layer decoding unit 203 outputs a decoded image (BL decoded image) of the base layer.
  • the auxiliary video layer decoding unit 204 decodes the encoded data supplied from the MP4 file reproduction unit 202 and generates a decoded image (AUX decoded image) of the auxiliary video layer.
  • the auxiliary video layer decoding unit 204 outputs a decoded image (AUX decoded image) of the auxiliary video layer.
  • the MP4 file playback unit 202 acquires the MP4 file in step S201.
  • step S202 the MP4 file playback unit 202 identifies the base layer track to be played back based on the sample entry and track reference information.
  • step S203 the MP4 file reproducing unit 202 extracts the encoded data of the identified track.
  • step S204 the base layer decoding unit 203 decodes the encoded data of the base layer.
  • step S205 the base layer decoding unit 203 outputs the generated decoded image (BL decoded image) of the base layer.
  • step S206 the MP4 file playback unit 202 identifies the tracks of the auxiliary video layer to be played based on the sample entry and the track reference information.
  • step S207 the MP4 file reproducing unit 202 extracts the encoded data of the identified track.
  • step S208 the auxiliary video layer decoding unit 204 decodes the encoded data of the auxiliary video layer.
  • step S209 the auxiliary video layer decoding unit 204 outputs the generated decoded image (AUX decoded image) of the auxiliary video layer.
  • step S201 when decoding only the base layer, it is only necessary to execute each process of step S201 to step S205.
  • the file playback apparatus 200 can play back the MP4 file having the configuration shown in FIG. 10 and generate a decoded image of each layer.
  • the file playback apparatus 200 can easily recognize that the image of the auxiliary video layer is an auxiliary image that is not a normal image, based on the information stored in the MP4 file. Therefore, it is possible to suppress erroneous processing of the auxiliary video layer image. That is, the file playback apparatus 200 can realize control for providing an auxiliary image used together with the main image by the MP4 file. That is, in the image distribution, it is possible to control the provision of the auxiliary image used together with the main image.
  • the MPD analysis unit 201 acquires the MPD in step S221.
  • step S222 the MPD analysis unit 201 selects a segment to be played based on information such as an MPD representation or sub-representation.
  • step S223 the MP4 file playback unit 202 to the auxiliary video layer playback unit 204 play back the MP4 file registered in the segment selected in step S222 under the control of the MPD analysis unit 201, and generate a decoded image. ,Output.
  • This process is executed in the same manner as the MP4 file reproduction process described with reference to the flowchart of FIG.
  • the file playback device 200 can play back the MPD having the configuration shown in FIG. 12 and generate a decoded image of each layer.
  • the file playback apparatus 200 can easily recognize that the image of the auxiliary video layer is an auxiliary image that is not a normal image based on the information stored in the MPD. Therefore, it is possible to suppress erroneous processing of the auxiliary video layer image. That is, the file playback apparatus 200 can realize control of providing an auxiliary image used together with the main image by MPD. That is, in the image distribution, it is possible to control the provision of the auxiliary image used together with the main image.
  • ⁇ MP4 file configuration example> The configuration example of the MP4 file has been described with reference to FIG. 10, but is not limited to this example.
  • a plurality of main images BL images
  • AUX image auxiliary image
  • any of the plurality of main images may be used (for example, displayed) together with the common auxiliary image.
  • Fig. 18 shows an example of the MP4 file structure in that case.
  • track 3 (Track 3) is associated with both the main image with a bandwidth of 1 mbps stored in track 1 (Track 1) and the main image with a bandwidth of 3 mbps stored in track 2 (Track 2).
  • the information on the auxiliary image thus stored is stored.
  • Other configurations are the same as those in FIG.
  • one auxiliary image can be easily associated with a plurality of main images by using the track reference.
  • the MP4 file generation process and the MP4 file playback process are the same as those in the first embodiment, and a description thereof will be omitted.
  • FIG. 19 shows a configuration example of the MPD in this case.
  • one representation in which information of an auxiliary image having a bandwidth of 500 kbps is stored is set below the auxiliary image adaptation set.
  • This auxiliary image is associated with both a main image with a bandwidth of 1 mbps and a main image with a bandwidth of 3 mbps.
  • one auxiliary image can be easily associated with a plurality of main images using the association information.
  • ⁇ MP4 file configuration example> Further, for example, in an MP4 file, a track that stores information on a main image (BL image) and a track that stores information on an auxiliary image (AUX image) may be included in one file.
  • FIG. 20 shows a main configuration example of the MP4 file in that case.
  • a track 1 for storing information of a main image having a bandwidth of 1 mbps and a track 2 for storing auxiliary information thereof are included in one MP4 file (1 mbps.mp4).
  • a track 3 for storing information of a main image having a bandwidth of 3 mbps and a track 4 for storing auxiliary information are included in one MP4 file (3 mbps.mp4).
  • the MP4 file generation process and the MP4 file playback process are the same as those in the first embodiment, and a description thereof will be omitted.
  • FIG. 21 shows a configuration example of the MPD in this case. As shown in FIG. 21, in this case, information on the auxiliary image and the main image corresponding to each other is stored in one (common) adaptation set.
  • a sub-representation is set at the lower level of the representation, and information on the auxiliary image is set in this sub-representation.
  • the following level information indicating the reference relationship between the main image and the auxiliary image is set.
  • the main image (track 1) is set to level 0 (level 0)
  • the auxiliary image (track 2) is set to level 1 (level 1). That is, the above description shows that the auxiliary image is level 1 and is subordinate to the level 0 main image.
  • FIG. 22 is a diagram illustrating a main configuration example of a distribution system to which the present technology is applied.
  • the distribution system 300 shown in FIG. 22 is a system that distributes still images and moving images.
  • the distribution system 300 includes a distribution data generation device 301, a distribution server 302, a network 303, a terminal device 304, and a terminal device 305.
  • the distribution data generation device 301 generates distribution data in a distribution format from still image or moving image data to be distributed.
  • the distribution data generation device 301 supplies the generated distribution data to the distribution server 302.
  • the distribution server 302 stores and manages the distribution data generated by the distribution data generation device 301 in a storage unit or the like, and provides the distribution data distribution service to the terminal device 304 or the terminal device 305 via the network 303. To do.
  • the network 303 is a communication network serving as a communication medium.
  • the network 303 may be any communication network, a wired communication network, a wireless communication network, or both of them.
  • it may be a wired LAN (Local Area Network), a wireless LAN, a public telephone line network, a wide area communication network for a wireless mobile body such as a so-called 3G line or 4G line, or the Internet, or a combination thereof. May be.
  • the network 303 may be a single communication network or a plurality of communication networks.
  • the network 303 is partially or entirely configured by a communication cable of a predetermined standard such as a USB (Universal Serial Bus) cable, an HDMI (registered trademark) (High-Definition Multimedia Interface) cable, or the like. You may be made to do.
  • a communication cable of a predetermined standard such as a USB (Universal Serial Bus) cable, an HDMI (registered trademark) (High-Definition Multimedia Interface) cable, or the like. You may be made to do.
  • the distribution server 302, the terminal device 304, and the terminal device 305 are connected to the network 303 and are communicable with each other.
  • the connection method to these networks 303 is arbitrary.
  • these devices may be connected to the network 303 by wired communication or may be connected by wireless communication. Further, for example, these devices may be connected to the network 303 via an arbitrary communication device (communication equipment) such as an access point, a relay device, or a base station.
  • the terminal device 304 and the terminal device 305 are each an arbitrary electronic device having a communication function, such as a mobile phone, a smartphone, a tablet computer, and a notebook computer.
  • the terminal device 304 or the terminal device 305 requests the distribution server 302 to distribute the distribution file based on an instruction from a user or the like.
  • the distribution server 302 transmits the requested distribution data to the request source.
  • the terminal device 304 or the terminal device 305 that has requested the distribution receives and reproduces the distribution data.
  • the present technology described above in each embodiment is applied as the distribution data generation device 301. That is, the above-described file generation device 100 is used as the distribution data generation device 301.
  • the present technology described above in each embodiment is applied as the terminal device 304 or the terminal device 305. That is, the above-described file reproduction device 200 is used as the terminal device 304 or the terminal device 305.
  • the distribution data generation device 301, the terminal device 304, and the terminal device 305 can obtain the same effects as those of the above-described embodiments. That is, the distribution system 300 can control provision of an auxiliary image used together with the main image.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer that can execute various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 23 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 410 is also connected to the bus 404.
  • An input unit 411, an output unit 412, a storage unit 413, a communication unit 414, and a drive 415 are connected to the input / output interface 410.
  • the input unit 411 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 412 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 413 includes, for example, a hard disk, a RAM disk, a nonvolatile memory, and the like.
  • the communication unit 414 is composed of a network interface, for example.
  • the drive 415 drives a removable medium 421 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 401 loads, for example, a program stored in the storage unit 413 to the RAM 403 via the input / output interface 410 and the bus 404 and executes the program, and the series described above. Is performed.
  • the RAM 403 also appropriately stores data necessary for the CPU 401 to execute various processes.
  • the program executed by the computer (CPU 401) can be recorded and applied to, for example, a removable medium 421 as a package medium or the like.
  • the program can be installed in the storage unit 413 via the input / output interface 410 by attaching the removable medium 421 to the drive 415.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting. In that case, the program can be received by the communication unit 414 and installed in the storage unit 413.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 414 and installed in the storage unit 413.
  • this program can be installed in the ROM 402 or the storage unit 413 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
  • each step described above can be executed in each device described above or any device other than each device described above.
  • the device that executes the process may have the functions (functional blocks and the like) necessary for executing the process described above.
  • Information necessary for processing may be transmitted to the apparatus as appropriate.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology is not limited to this, and any configuration mounted on such a device or a device constituting the system, for example, a processor as a system LSI (Large Scale Integration), a module using a plurality of processors, a plurality of It is also possible to implement as a unit using other modules, a set obtained by further adding other functions to the unit (that is, a partial configuration of the apparatus), and the like.
  • a processor as a system LSI (Large Scale Integration)
  • a module using a plurality of processors a plurality of It is also possible to implement as a unit using other modules, a set obtained by further adding other functions to the unit (that is, a partial configuration of the apparatus), and the like.
  • this technique can also take the following structures.
  • Information processing provided with a file generation unit that generates a file including a track that stores encoded data obtained by encoding image data of an auxiliary image used together with a main image and auxiliary information that is information about the auxiliary image. apparatus.
  • the auxiliary information includes identification information indicating that the track is a track that stores encoded data obtained by encoding image data of the auxiliary image.
  • the auxiliary information includes information indicating a type of the auxiliary image.
  • the information indicating the type of the auxiliary image is information on an alpha channel used as a chroma key, depth information, or an overlay displayed on the main image.
  • the information processing apparatus including information indicating whether the information is information.
  • the auxiliary information further includes additional information corresponding to information indicating a type of the auxiliary image of the encoded data.
  • the information processing apparatus according to any one of (1) to (5), wherein the auxiliary information is stored in a sample entry of the track.
  • the file generation unit stores a file including a track that stores encoded data in which the image data of the main image is encoded, and a track that stores encoded data in which the image data of the auxiliary image is encoded.
  • the file is generated as a file different from the file including the file.
  • the file generation unit includes encoded data in which the image data of the main image is encoded for one file including a track that stores encoded data in which the image data of the auxiliary image is encoded.
  • the information processing apparatus according to (7), wherein a plurality of files including a track storing the track are generated.
  • the file generation unit includes both a track that stores encoded data obtained by encoding image data of the auxiliary image and a track that stores encoded data obtained by encoding image data of the main image.
  • An information processing apparatus according to any one of (1) to (8).
  • An information processing apparatus comprising a metadata generation unit for generating.
  • the auxiliary information is set to a representation to which a segment to which a file including encoded data obtained by encoding image data of the auxiliary image belongs is set.
  • the auxiliary information includes information indicating a type of the auxiliary image.
  • the information indicating the type of the auxiliary image is information on an ⁇ channel used as a chroma key, depth information, or an overlay displayed on the main image.
  • the information processing apparatus according to (13) or (14), wherein the auxiliary information further includes additional information corresponding to information indicating a type of the auxiliary image of the encoded data.
  • At least a part of the auxiliary information is set in an essential property of a representation to which a segment to which a file including encoded data obtained by encoding image data of the auxiliary image belongs is set.
  • the metadata includes an adaptation set including information of a file including encoded data obtained by encoding the image data of the auxiliary image, and a file including encoded data obtained by encoding the image data of the main image.
  • An information processing apparatus according to any one of (11) to (16).
  • the metadata includes a plurality of representations belonging to an adaptation set including information of a file including encoded data obtained by encoding image data of the main image.
  • the metadata includes an adaptation set including file information including both encoded data obtained by encoding the image data of the auxiliary image and encoded data obtained by encoding the image data of the main image.
  • the information processing apparatus according to any one of (11) to (18).
  • 100 file generation device 101 base layer encoding unit, 102 auxiliary video layer encoding unit, 103 MP4 file generation unit, 104 sample entry setting unit, 105 MPD generation unit, 106 representation setting unit, 200 file playback device, 201 MPD analysis unit, 202 MP4 file playback unit, 203 base layer decoding unit, 204 auxiliary video layer decoding unit, 300 distribution system, 301 distribution data generation device, 302 distribution server, 303 network, 304 and 305 terminal devices, 400 Computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　本技術は、主要画像とともに用いられる補助画像の提供を制御することができるようにする情報処理装置および方法に関する。 本技術の情報処理装置は、主要画像とともに用いられる補助画像の画像データが符号化された符号化データと、その補助画像に関する情報である補助情報とを格納するトラックを含むファイルを生成する。本技術は、例えば、情報処理装置、画像処理装置、画像符号化装置、または、画像復号装置等に適用することができる。

Description

情報処理装置および方法
　本技術は、情報処理装置および方法に関し、特に、主要画像とともに用いられる補助画像の提供を制御することができるようにした情報処理装置および方法に関する。
　近年、HTTP（HyperText Transfer Protocol）を利用したコンテンツ配信技術としてMPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）が標準化された（例えば、非特許文献１参照）。MPEG-DASHでは、同一コンテンツが異なるビットレートで表現された複数の符号化データをコンテンツサーバに格納し、クライアントが、ネットワーク帯域に応じて複数の符号化データのいずれかの符号化データを選択しながら再生するABS（Adaptive Bitrate Streaming）技術が採用されている。
　ところで、例えば、SHVC（Scalable High Efficiency Video Coding）等の複数階層（レイヤ）を符号化可能な符号化方式では、レイヤの１つを用いて、通常の画像である主要画像とともに用いる、例えば奥行き情報（Depth）や字幕等の補助画像（オグジュアリ画像、Auxiliary画像、AUX画像等とも称する）を符号化するものがある。
MPEG-DASH(Dynamic Adaptive Streaming over HTTP)（URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1）
　しかしながら、従来のMPEG-DASH規格のような配信フォーマットでは、このような補助画像を識別することができなかった。そのため、受信・再生側において、補助画像が通常の画像として誤って処理されてしまうおそれがあった。
　本技術は、このような状況に鑑みて提案されたものであり、主要画像とともに用いられる補助画像の提供を制御することができるようにすることを目的とする。
　本技術の一側面は、主要画像とともに用いられる補助画像の画像データが符号化された符号化データと、前記補助画像に関する情報である補助情報とを格納するトラックを含むファイルを生成するファイル生成部を備える情報処理装置である。
　前記補助情報は、前記トラックが、前記補助画像の画像データが符号化された符号化データを格納するトラックであることを示す識別情報を含むようにすることができる。
　前記補助情報は、前記補助画像の種類を示す情報を含むようにすることができる。
　前記補助画像の種類を示す情報は、前記補助画像が、クロマキーとして用いられるαチャンネルの情報であるか、奥行き情報であるか、または、前記主要画像に重畳されて表示されるオーバーレイの情報であるかを示す情報を含むようにすることができる。
　前記補助情報は、前記符号化データの、前記補助画像の種類を示す情報に対応する付加情報をさらに含むようにすることができる。
　前記補助情報は、前記トラックのサンプルエントリに格納されるようにすることができる。
　前記ファイル生成部は、前記主要画像の画像データが符号化された符号化データを格納するトラックを含むファイルを、前記補助画像の画像データが符号化された符号化データを格納するトラックを含むファイルとは異なるファイルとして生成するようにすることができる。
　前記ファイル生成部は、前記補助画像の画像データが符号化された符号化データを格納するトラックを含むファイル１つに対して、前記主要画像の画像データが符号化された符号化データを格納するトラックを含むファイルを複数生成することができる。
　前記ファイル生成部は、前記補助画像の画像データが符号化された符号化データを格納するトラックと、前記主要画像の画像データが符号化された符号化データを格納するトラックとの両方を含むファイルを生成することができる。
　本技術の一側面は、また、主要画像とともに用いられる補助画像の画像データが符号化された符号化データと、前記補助画像に関する情報である補助情報とを格納するトラックを含むファイルを生成する情報処理方法である。
　本技術の他の側面は、主要画像とともに用いられる補助画像の画像データが符号化された符号化データを含むファイルの再生を制御するメタデータであって、前記補助画像に関する情報である補助情報を含む前記メタデータを生成するメタデータ生成部を備える情報処理装置である。
　前記補助情報は、前記補助画像の画像データが符号化された符号化データを含むファイルが設定されるセグメントが属するリプレゼンテーションに設定されるようにすることができる。
　前記補助情報は、前記補助画像の種類を示す情報を含むようにすることができる。
　前記補助画像の種類を示す情報は、前記補助画像が、クロマキーとして用いられるαチャンネルの情報であるか、奥行き情報であるか、または、前記主要画像に重畳されて表示されるオーバーレイの情報であるかを示す情報を含むようにすることができる。
　前記補助情報は、前記符号化データの、前記補助画像の種類を示す情報に対応する付加情報をさらに含むようにすることができる。
　前記補助情報の少なくとも一部は、前記補助画像の画像データが符号化された符号化データを含むファイルが設定されるセグメントが属するリプレゼンテーションの、エッセンシャルプロパティに設定されるようにすることができる。
　前記メタデータは、前記補助画像の画像データが符号化された符号化データを含むファイルの情報を含むアダプテーションセットと、前記主要画像の画像データが符号化された符号化データを含むファイルの情報を含むアダプテーションセットとを有するようにすることができる。
　前記メタデータは、前記主要画像の画像データが符号化された符号化データを含むファイルの情報を含むアダプテーションセットに属するリプレゼンテーションを複数有するようにすることができる。
　前記メタデータは、前記補助画像の画像データが符号化された符号化データと、前記主要画像の画像データが符号化された符号化データとの両方を含むファイルの情報を含むアダプテーションセットを有するようにすることができる。
　本技術の他の側面は、また、主要画像とともに用いられる補助画像の画像データが符号化された符号化データを含むファイルの再生を制御するメタデータであって、前記補助画像に関する情報である補助情報を含む前記メタデータを生成する情報処理方法である。
　本技術の一側面においては、主要画像とともに用いられる補助画像の画像データが符号化された符号化データと、補助画像に関する情報である補助情報とを格納するトラックを含むファイルが生成される。
　本技術の他の側面においては、主要画像とともに用いられる補助画像の画像データが符号化された符号化データを含むファイルの再生を制御するメタデータであって、補助画像に関する情報である補助情報を含むメタデータが生成される。
　本技術によれば、情報を処理することが出来る。また本技術によれば、主要画像とともに用いられる補助画像の提供を制御することができる。
MPEG-DASHの概要を説明する図である。 MPDの構成例を示す図である。 コンテンツの時間的区切りを説明する図である。 MPDにおけるPeriod以下の階層構造の例を示す図である。 MPDファイルの構成例を時間軸上で説明する図である。 タイル画像のビットストリームの例を示す図である。 タイル画像のMP4ファイルの例を説明する図である。 タイル画像のMP4ファイルの他の例を説明する図である。 ファイル生成装置の主な構成例を示すブロック図である。 MP4ファイルの主な構成例を示す図である。 コンフィギュレーションボックスのシンタクスの例を示す図である。 MPDの主な構成例を示す図である。 MP4ファイル生成処理の流れの例を説明するフローチャートである。 MPD生成処理の流れの例を説明するフローチャートである。 ファイル再生装置の主な構成例を示すブロック図である。 MP4ファイル再生処理の流れの例を説明するフローチャートである。 MPD再生処理の流れの例を説明するフローチャートである。 MP4ファイルの他の構成例を示す図である。 MPDの他の構成例を示す図である。 MP4ファイルのさらに他の構成例を示す図である。 MPDのさらに他の構成例を示す図である。 配信システムの主な構成例を示すブロック図である。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（ファイル生成装置・ファイル再生装置）
　２．第２の実施の形態（複数の主要画像に共通の補助画像の場合）
　３．第３の実施の形態（主要画像と補助画像の１ファイル化）
　４．第４の実施の形態（配信システム）
　５．第５の実施の形態（コンピュータ）
　＜１．第１の実施の形態＞
　　＜DASH＞
　従来、HTTP（HyperText Transfer Protocol）を利用したコンテンツ配信技術として、例えば非特許文献１に記載のように、MPEG-DASH（Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP）がある。MPEG-DASHでは、同一コンテンツが異なるビットレートで表現された複数の符号化データをコンテンツサーバに格納し、クライアントが、ネットワーク帯域に応じて複数の符号化データのいずれかの符号化データを選択しながら再生するABS（Adaptive Bitrate Streaming）技術が採用されている。
　DASHによるコンテンツの伝送の手順を、図１を参照して説明する。まず、コンテンツを取得する側の動画再生端末において、ストリーミング・データの制御用ソフトウエアが、所望のコンテンツのMPD（Media Presentation Description）ファイルを選択し、Webサーバから取得する。MPDは、配信する動画や音声等のコンテンツを管理するメタデータである。
　MPDを取得すると、動画再生端末のストリーミング・データの制御用ソフトウエアは、そのMPDを解析し、所望のコンテンツの、通信回線の品質や動画再生端末の性能等に合ったデータ（DASHセグメント）をWebサーバから取得するように制御する。HTTPアクセス用のクライアント・ソフトウエアは、その制御に従って、そのDASHセグメントを、HTTPを用いてWebサーバから取得する。このように取得されたコンテンツを、動画再生ソフトウエアが再生する。
　MPDは、例えば図２に示されるような構成を有する。MPDの解析（パース）においては、クライアントは、MPD（図２のMedia Presentation）のピリオド（Period）に含まれるリプレゼンテーション（Representation）の属性から最適なものを選択する。
　クライアントは、選択したリプレゼンテーション（Representation）の先頭のセグメント（Segment）を読んでイニシャライズセグメント（Initialization Segment）を取得し、処理する。続いて、クライアントは、後続のセグメント（Segment）を取得し、再生する。
　なお、MPDにおける、ピリオド（Period）、リプレゼンテーション（Representation）、およびセグメント（Segment）の関係は、図３のようになる。つまり、１つのメディアコンテンツは、時間方向のデータ単位であるピリオド（Period）毎に管理することができ、各ピリオド（Period）は、時間方向のデータ単位であるセグメント（Segment）毎に管理することができる。また、各ピリオド（Period）について、ビットレート等の属性の異なる複数のリプレゼンテーション（Representation）を構成することができる。
　したがって、このMPDのファイル（MPDファイルとも称する）は、ピリオド（Period）以下において、図４に示されるような階層構造を有する。また、このMPDの構造を時間軸上に並べると図５の例のようになる。図５の例から明らかなように、同一のセグメント（Segment）に対して複数のリプレゼンテーション（Representation）が存在している。クライアントは、これらのうちのいずれかを適応的に選択することにより、通信環境や自己のデコード能力などに応じて適切なストリームデータを取得し、再生することができる。
　　＜タイル構造＞
　このような従来のDASHでは、全体画像のデータの配信が適応的に制御されていたが、全体画像の代わりにその一部である部分画像を適応的に選択して配信することが考えられた。例えば、全体画像の内、画像データを受け取る端末側によって選択された部分の部分画像を配信したり、端末の性能（例えばCPU等の処理能力やディスプレイの大きさ等）や伝送経路やサーバの負荷状況等に応じて、配信する部分画像の大きさを制御したりすることが考えられた。
　このような部分画像の適応的な配信を行うために、タイル（Tile）という概念が用いられた。タイル（Tile）は、予め定められたレイアウト（大きさ、形状、数等）で全体画像を分割した部分領域である。以下において、１タイルの画像をタイル画像と称する。このように全体画像を予めタイル化しておくことにより、配信するタイル画像を選択するだけで、容易に部分画像の適応的な配信が可能となる。この場合、部分画像は、単数若しくは複数のタイル画像により構成される。
　DASHのようにHTTPを用いて配信する場合、画像データは、符号化され、そのビットストリームがファイル化されて配信される（ファイルとして公開される）。上述したようなタイル構造を有する全体画像の場合、画像データは、タイル画像毎に独立して符号化される。その際、図６のＡに示される例のように、各タイルの符号化データをそれぞれ１つのビットストリームとしてもよい。
　図６のＡの例では、640x480サイズの全体画像、1980x1080サイズの全体画像、その全体画像が縦方向および横方向のそれぞれに２分割された960x540サイズのタイル画像（４枚の部分画像）のそれぞれが、配信用の画像として用意されている。640x480サイズの全体画像のデータは、符号化されて１本のビットストリーム（bitstream1）とされ、1980x1080サイズの全体画像のデータも、符号化されて１本のビットストリーム（bitstream2）とされている。そして、それらとは別に、960x540サイズの各タイル画像のデータは、互いに独立して符号化され、それぞれ、１本のビットストリーム（bitstream3乃至bitstream6）とされている。
　各ビットストリームにおいては、ビデオパラメータセット（VPS（Video Parameter Set））、シーケンスパラメータセット（SPS（Sequence Parameter Set））、SEI（Supplemental Enhancement Information）、ピクチャパラメータセット（PPS（Picture Parameter Set））等のヘッダ情報が付加され、画像データのビットストリームがスライス（Slice）毎に並べられている。
　このような構造とすることにより、配信するビットストリームを、bitstream3乃至bitstream6の中から選択することによって、配信するタイル画像を選択することができる。また、図６のＡの例の場合、各タイル画像を、全体画像と同様に配信することができる。
　ところで、例えばHEVC（High Efficiency Video Coding）等の符号化方式では、全体画像を分割するタイル（Tile）と称される構造をサポートしており、そのタイル毎に独立して符号化を行うことができる。例えば、その一部のタイルの画像のみを得るように復号することができる。つまり、全体画像の一部である部分画像のみを得るように復号することができる。
　このような符号化方式の機能を利用して、図６のＢに示される例のように、複数のタイル画像の符号化データを、１本のビットストリーム（bitstream7）とすることもできる。つまり、この場合、上述した配信の為のタイル（Tile）を符号化方式がサポートするタイル（Tile）として取り扱い符号化するようにしている。この場合、ビットストリームにおいて、各タイルのデータはスライス（Slice）として並べられている。
　　＜MP4ファイル＞
　上述したように、配信用のビットストリームは、例えばMP4ファイルフォーマット等によってファイル化される。その場合、図７に示される例のように、各タイルのビットストリームを別ファイルとすることができる。各タイルのビットストリームはトラック（Track）という単位で管理される。また、各タイルのヘッダ（Header）情報と、各トラックへの参照が記述されたベーストラック（Base Track）が設けられ、各タイルのビットストリームとは別のファイルとしてファイル化される。全てのタイルを復号する場合は、ベーストラックを再生し、各タイルを復号する場合、ヘッダ情報はベーストラックが参照される。
　また、図８に示される例のように、各タイルのビットストリームをまとめて１つのファイルとすることもできる。その際、図８のＡのように、各タイルのデータをまとめて１つのトラックで管理することもできるし、図８のＢのように、各タイルを互いに異なるトラックとして管理することもできる。その場合、図７の場合と同様に、各タイルのヘッダ（Header）情報と、各トラックへの参照が記述されたベーストラック（Base Track）が設けられる。
　　＜補助画像＞
　ところで、例えば、SHVC（Scalable High Efficiency Video Coding）等の複数階層（レイヤ）を符号化可能な符号化方式では、レイヤの１つを用いて、通常の画像である主要画像とともに用いる補助画像（オグジュアリ画像、Auxiliary画像、AUX画像等とも称する）を符号化するものがある。
　補助画像には、例えば、主要画像の奥行き情報（Depth）、クロマキーなどとして用いられるアルファチャンネル画像（alpha_channel）、字幕やテロップ等のオーバーレイ画像（overlay）等がある。もちろん、主要画像とともに用いられるものであればどのような情報であってもよい。
　このような補助画像は、一般的な画像とは取り扱い方が異なる場合が多い。例えば、補助画像は、上述した例のような、基本的に主要画像を補助する情報により構成されているため、その対応する主要画像とともに用いられる（例えば表示する）ものであり、その補助画像のみを用いる（例えば表示する）のには適さない情報である。例えば、奥行き情報、クロマキー、字幕等の情報は、対応する主要画像とともに表示させることにより本来の効果を得ることができる。
　例えば、奥行き情報の場合、主要画像と組み合わせることにより、立体視用画像を作成することができるといったものである。また、例えば、クロマキーであれば、主要画像とともに用いることにより、画像内から主な被写体の部分と背景の部分とを分離する等の画像処理を行うことができる。さらに、例えば、字幕等のオーバーレイの画像の場合、主要画像とともに表示させることにより、字幕としての意味を成すことができる。これらのような本来の効果を得るためには、補助画像を主要画像とともに用いる必要がある。補助画像を単体で用いても（例えば表示させても）、これらのような本来の効果を得ることは困難である。
　なお、補助画像は、符号化の際にレイヤ間予測が行われない。
　これに対して、補助画像に対応する主要画像は単体で利用可能（表示可能）である。換言するに、補助画像は、常に必要な情報ではなく、必要な場合のみ利用することができればよい。
　そのため、このような補助画像を配信させる場合、受信・再生側に、それが補助画像であることを把握させる必要がある。また、補助画像の利用に必要な情報も提供する必要がある。さらに、主要画像と補助画像を関連付けて提供し、さらに、必要な場合にのみ、補助画像を選択して受信することができるようにするのが望ましい。
　画像を必要に応じて提供することができるように画像の提供を制御する方法として、MP4ファイルやMPEG-DASHのMPDを利用する方法がある。これらを用いることにより、受信・再生側において補助画像の利用を容易に制御することができるようになる。
　しかしながら、MP4ファイルやMPDにおいては、補助画像を一般的な画像と区別する機能を備えておらず、従来のMPEG-DASH規格のような配信フォーマットでは、このような補助画像を識別することができなかった。そのため、受信・再生側において、補助画像が通常の画像として誤って処理されてしまうおそれがあった。
　　＜補助画像の識別と補助情報の提供＞
　そこで、主要画像とともに用いられる補助画像の画像データが符号化された符号化データと、その補助画像に関する情報である補助情報とを格納するトラックを含むファイルを生成するようにする。例えば、このようなファイルとしてMP4ファイルを生成するようにしてもよい。
　このように、１つのトラックに補助画像とともに補助情報を格納し、補助画像とともに補助情報を受信・再生側に提供することにより、受信・再生側において、その画像が補助画像であることを把握し、通常の画像と区別することができる。これにより、補助画像を通常の画像として誤って処理することを抑制することができる。つまり、主要画像とともに用いられる補助画像の提供を制御することができる。
　また、その補助情報が、そのトラックが補助画像の画像データが符号化された符号化データを格納するトラックであることを示す識別情報を含むようにしてもよい。このような識別情報を補助画像として受信・再生側に提供することにより、受信・再生側において、補助画像の識別がより容易になる。
　また、補助情報が、補助画像の種類を示す情報を含むようにしてもよい。上述したように補助画像の用途は１つではない。したがって、このような補助画像の種類を示す情報を補助情報として受信・再生側に提示することにより、受信・再生側において、容易に、その補助画像を適切に利用することができる。
　また、補助画像の種類を示す情報が、補助画像が、クロマキーとして用いられるαチャンネルの情報であるか、奥行き情報であるか、または、主要画像に重畳されて表示されるオーバーレイの情報であるかを示す情報を含むようにしてもよい。補助画像の内容は任意であるが、例えば、上述した例に限定される場合、補助画像がそのいずれであるかを、識別情報を用いてより容易に受信・再生側に示すことができる。
　また、補助情報が、符号化データの、補助画像の種類を示す情報に対応する付加情報をさらに含むようにすることができる。例えば、補助画像の符号化方式が、HEVC（High Efficiency Video Coding）等である場合、符号化データには補助画像の種類に応じたSEI（Supplemental Enhancement Information）が含まれている。このSEIを補助情報に含め、受信・再生側に提供するようにしてもよい。これにより、受信・再生側は、より多くの情報を得ることができ、その情報を基に、より適切に補助画像を処理することができる。
　また、補助情報が、トラックのサンプルエントリに格納されるようにしてもよい。補助情報の格納場所は任意であるが、サンプルエントリに格納することにより、受信・再生側において、参照が容易になる。
　また、主要画像の画像データが符号化された符号化データを格納するトラックを含むファイルを、補助画像の画像データが符号化された符号化データを格納するトラックを含むファイルとは異なるファイルとして生成するようにしてもよい。つまり、主要画像と補助画像とを分けて、それぞれファイル化するようにしてもよい。
　このようなファイルを生成する方法以外の方法として、例えば、主要画像とともに用いられる補助画像の画像データが符号化された符号化データを含むファイルの再生を制御するメタデータであって、その補助画像に関する情報である補助情報を含むメタデータを生成するようにしてもよい。例えば、このようなメタデータとしてMPDを生成するようにしてもよい。
　このように、補助画像のメタデータとして、補助情報を受信・再生側に提供する場合も、受信・再生側において、そのメタデータの制御対象が補助画像であることを把握し、通常の画像と区別することができる。これにより、補助画像を通常の画像として誤って処理することを抑制することができる。つまり、主要画像とともに用いられる補助画像の提供を制御することができる。
　また、補助情報が、補助画像の画像データが符号化された符号化データを含むファイルが設定されるセグメントが属するリプレゼンテーションに設定されるようにしてもよい。補助情報の格納場所は任意であるが、MPDの場合、リプレゼンテーションに設定することにより、受信・再生側においての補助情報の取り扱い（参照等）が容易になる。
　また、補助情報は、補助画像の種類を示す情報を含むようにしてもよい。また、補助画像の種類を示す情報は、補助画像が、クロマキーとして用いられるαチャンネルの情報であるか、奥行き情報であるか、または、主要画像に重畳されて表示されるオーバーレイの情報であるかを示す情報を含むようにしてもよい。また、補助情報は、符号化データの、補助画像の種類を示す情報に対応する付加情報をさらに含むようにしてもよい。上述したファイルを生成する場合と同様である。
　また、補助情報の少なくとも一部は、補助画像の画像データが符号化された符号化データを含むファイルが設定されるセグメントが属するリプレゼンテーションの、エッセンシャルプロパティに設定されるようにしてもよい。補助情報の設定方法は任意であるが、MPDの場合、このようにエッセンシャルプロパティに設定することにより、受信・再生側においての補助情報の識別や内容把握が容易になる。
　また、メタデータは、補助画像の画像データが符号化された符号化データを含むファイルの情報を含むアダプテーションセットと、主要画像の画像データが符号化された符号化データを含むファイルの情報を含むアダプテーションセットとを有するようにしてもよい。つまり、主要画像と補助画像のそれぞれについてアダプテーションセットが生成されるようにしてもよい。
　　＜ファイル生成装置＞
　次に、このようなMP4ファイルやMPDを生成する装置について説明する。図９は、本技術を適用した情報処理装置の一実施の形態であるファイル生成装置の主な構成例を示すブロック図である。図９において、ファイル生成装置１００は、ベースレイヤの画像（BL画像）とオグジュアリビデオレイヤの画像である補助画像（AUX画像）を符号化し、得られた各階層の符号化データを格納するMP4ファイルを生成したり、そのMP4ファイルの配信を制御するMPDを生成したりする装置である。
　図９に示されるように、ファイル生成装置１００は、ベースレイヤ符号化部１０１、オグジュアリビデオレイヤ符号化部１０２、MP4ファイル生成部１０３、サンプルエントリ設定部１０４、MPD生成部１０５、およびリプレゼンテーション設定部１０６を有する。
　ベースレイヤ符号化部１０１は、入力されたベースレイヤの画像（BL画像）を所定の符号化方式（例えばHEVC）で符号化し、ベースレイヤの符号化データを生成する。ベースレイヤ符号化部１０１は、生成したベースレイヤの符号化データ（HEVC）をMP4ファイル生成部１０３に供給する。
　オグジュアリビデオレイヤ符号化部１０２は、入力されたオグジュアリビデオレイヤの画像（AUX画像）を所定の符号化方式（例えばSHVC）で符号化し、エンハンスメントレイヤの符号化データを生成する。オグジュアリビデオレイヤ符号化部１０２は、生成したオグジュアリビデオレイヤの符号化データ（SHVC）をMP4ファイル生成部１０３に供給する。また、オグジュアリビデオレイヤ符号化部１０２は、AUX画像に関する情報である補助情報をサンプルエントリ設定部１０４に供給する。
　MP4ファイル生成部１０３は、ベースレイヤ符号化部１０１から供給されたベースレイヤの符号化データ（HEVC）と、オグジュアリビデオレイヤ符号化部１０２から供給されたオグジュアリビデオレイヤの符号化データ（SHVC）とを格納するファイル（MP4ファイル）を生成する。MP4ファイル生成部１０３は、ベースレイヤの符号化データ（HEVC）と、オグジュアリビデオレイヤの符号化データ（SHVC）とを、MP4ファイルの互いに異なるトラックに格納させる。また、MP4ファイル生成部１０３は、サンプルエントリ設定部１０４から供給されるサンプルエントリを、オグジュアリビデオレイヤの符号化データ（SHVC）を格納するトラックに設定する。このサンプルエントリには、AUX画像に関する情報である補助情報が含まれる。MP4ファイル生成部１０３は、生成したMP4ファイルを出力する。また、MP4ファイル生成部１０３は、生成したMP4ファイルをMPD生成部１０５やリプレゼンテーション設定部１０６に供給する。
　サンプルエントリ設定部１０４は、オグジュアリビデオレイヤ符号化部１０２から供給された補助情報を用いてサンプルエントリを生成する。サンプルエントリ設定部１０４は、そのサンプルエントリをMP4ファイル生成部１０３に供給し、オグジュアリビデオレイヤの符号化データ（SHVC）を格納するトラックに設定させる。
　MPD生成部１０５は、MP4ファイル生成部１０３から供給されるMP4ファイルの配信を制御するMPDを生成する。その際、MPD生成部１０５は、リプレゼンテーション設定部１０６から供給される情報を、MPDのリプレゼンテーションに設定する。MPD生成部１０５は、生成したMPDを出力する。
　リプレゼンテーション設定部１０６は、MP4ファイル生成部１０３から供給されるMP4ファイルを用いて、MPD生成部１０５により生成されるMPDのリプレゼンテーションに設定する情報を生成し、それをMPD生成部１０５に供給し、設定される。
　　＜MP4ファイル構成例＞
　ファイル生成装置１００のMP4ファイル生成部１０３が生成するMP4ファイルの主な構成例を図１０に示す。
　図１０の例の場合、MP4ファイル生成部１０３は、バンド幅が1mbps（bandwidth=1mbps）の主要画像（ベースレイヤ）のMP4ファイル（1mbps.mp4）、その補助画像（オグジュアリビデオレイヤ）のMP4ファイル（1mbps_aux.mp4）、バンド幅が3mbps（bandwidth=3mbps）の主要画像（ベースレイヤ）のMP4ファイル（3mbps.mp4）、および、その補助画像（オグジュアリビデオレイヤ）のMP4ファイル（3mbps_aux.mp4）をそれぞれ生成している。つまり、主要画像とその補助画像（AUX画像）が互いに異なるトラックに格納され、それらのトラックが互いに異なるファイルとしてファイル化されている。
　MP4ファイル（1mbps.mp4）に含まれるトラック１（Track1）には、ベースレイヤの符号化データ（つまり、主要画像の符号化データ）のサンプル（HEVC sample）が格納されている。また、そのサンプルエントリには、ベースレイヤの符号化方式がHEVCであることを示す符号化情報が設定される（Sample Entry = 'hvc1'）。また、このサンプルエントリには、HEVC符号化データのデコードに必要なコンフィギュレーション（configuration）情報を格納するhvcCボックス（hvcC box）が設定されている。
　MP4ファイル（1mbps_aux.mp4）に含まれるトラック２（Track2）には、オグジュアリビデオレイヤの符号化データ（つまり、トラック１の主要画像に対応するAUX画像の符号化データ）のサンプル（SHVC aux sample）が格納されている。また、そのサンプルエントリには、オグジュアリビデオレイヤのトラックであり、符号化方式がSHVCであることを示す符号化情報が設定される（Sample Entry = 'lha1'）。つまり、符号化方式がSHVCの主要画像の場合の符号化情報（lhv1）とは異なる符号化情報が設定される。また、このサンプルエントリには、SHVC符号化方式の補助画像の符号化データのデコードに必要なコンフィギュレーション（configuration）情報を格納するlhaCボックス（lhaC box）が設定されている。
　また、トラック２には、トラック２に対応するベースレイヤのトラック１を参照すること（1）、並びにその参照の種類（sbas）を示す情報がトラックリファレンス（Track Reference）に設定されている（sbas=1）。
　MP4ファイル（3mbps.mp4）は、MP4ファイル（1mbps.mp4）とバンド幅が異なるのみであり、その構成は、MP4ファイル（1mbps.mp4）と同様である。したがって、MP4ファイル（3mbps_aux.mp4）も、MP4ファイル（1mbps_aux.mp4）とバンド幅が異なるのみであり、その構成は、MP4ファイル（1mbps_aux.mp4）と同様である。ただし、MP4ファイル（3mbps_aux.mp4）のトラック４（Track4）のトラックリファレンス（Track Reference）には、トラック３を参照することが示されている（sbas=3）。
　以上のように、補助画像の情報を格納するトラックのサンプルエントリの符号化情報には、そのトラックが補助画像の情報を格納することを示す値が設定される。つまり、サンプルエントリ設定部１０４が、補助情報に基づいて、サンプルエントリの符号化情報にこのような値を設定する。換言するに、補助画像の情報を格納するトラックのサンプルエントリに、そのトラックが補助画像の情報を格納することを示す識別情報が、補助情報として設定される。したがって、このMP4ファイルの受信・再生側においては、この符号化情報を参照することにより、容易に、そのトラックに補助画像の情報が格納されていることを把握することができる。
　なお、lhaCボックス（lhaC box）に含まれる情報は任意である。図１１にlhaCボックス（lhaC box）のシンタクスの例を示す。
　図１１の例の場合、lhaCボックス（lhaC box）には、補助画像の種類を示す情報として、「auxId」が格納されている。この「auxId」の値が「１」の場合、補助画像（AUX画像）がアルファチャンネルの画像であることを示す（auxId=1 alpha_chanel_info）。また、この「auxId」の値が「２」の場合、補助画像（AUX画像）が奥行き情報であることを示す（auxId=2 depth_representation_info）。さらに、この「auxId」の値が「３」の場合、補助画像（AUX画像）がオーバーレイの画像であることを示す（auxId=3 overlay_info）。
　このような識別情報「auxId」をlhaCボックス（lhaC box）に格納して受信・再生側に提供することにより、受信・再生側において、容易に、その補助画像の種類を特定することができ、補助画像を適切に利用することができる。補助画像の種類の指定方法は任意であるが、このように補助画像の種類が予め限定されている場合、このような識別情報を用いて補助画像の種類を指定することにより、情報量の増大を抑制することができる。また、情報のフォーマットが定型化されるため、受信・再生側において、この情報の取り扱いが容易になる。したがって、より容易に補助画像の種類を特定することができる。
　もちろん、上述した識別情報「auxId」は一例である。補助画像（AUX）画像の種類は任意であり、上述した例に限定されない。また、候補となる補助画像の種類の数も任意である。さらに、補助画像の種類を指定する識別情報「auxId」の値も任意である。
　図１１の例の場合、さらに、補助画像の種類（識別情報「auxId」の値）に対応したSEIが、このlhaCボックス（lhaC box）に格納される。このように、補助画像の種類に応じた付加情報をさらに格納することにより、受信・再生側は、より多くの情報を得ることができ、その情報を基に、より適切に補助画像を処理することができる。
　　＜MPD構成例＞
　次に、ファイル生成装置１００のMPD生成部１０５が生成するMPDの主な構成例を図１２に示す。
　図１２の例の場合、ピリオド（Period）の下位に、アダプテーションセット（AdaptationSet）が２つ設定されている。一方のアダプテーションセットには、主要画像の情報が格納され、他方のアダプテーションセットには、補助画像の情報が格納されている。
　主要画像のアダプテーションセットの下位には、リプレゼンテーション（Representation）が２つ設定されている。一方のリプレゼンテーションには、バンド幅が1mbpsの主要画像の情報が格納され、他方のリプレゼンテーションには、バンド幅が3mbpsの主要画像の情報が格納されている。
　バンド幅が1mbpsの主要画像の情報のリプレゼンテーションの下位には、バンド幅が1mbps（bandwidth=1mbps）の主要画像（ベースレイヤ）のMP4ファイル（1mbps.mp4）の情報を設定（登録）するセグメント（Segment）が設定されている。
　また、そのリプレゼンテーションには、バンド幅が1mbpsの主要画像の情報が格納されていることを示す識別情報（<id="bs1">）、その主要画像の符号化方式がHEVC方式であることを示す符号化情報（<codecs="hvc1">）、バンド幅を示す情報（<bandwidth="1mbps">）が設定されている。
　バンド幅が3mbpsの主要画像の情報のリプレゼンテーションの下位には、バンド幅が3mbps（bandwidth=3mbps）の主要画像（ベースレイヤ）のMP4ファイル（3mbps.mp4）の情報を設定（登録）するセグメントが設定されている。
　また、そのリプレゼンテーションには、バンド幅が3mbpsの主要画像の情報が格納されていることを示す識別情報（<id="bs3">）、その主要画像の符号化方式がHEVC方式であることを示す符号化情報（<codecs="hvc1">）、バンド幅を示す情報（<bandwidth="3mbps">）が設定されている。
　また、補助画像のアダプテーションセットの下位には、リプレゼンテーションが２つ設定されている。一方のリプレゼンテーションには、バンド幅が1mbpsの補助画像の情報が格納され、他方のリプレゼンテーションには、バンド幅が3mbpsの補助画像の情報が格納されている。
　バンド幅が1mbpsの補助画像の情報のリプレゼンテーションの下位には、バンド幅が1mbps（bandwidth=1mbps）の補助画像（ベースレイヤ）のMP4ファイル（1mbps_aux.mp4）の情報を設定（登録）するセグメントが設定されている。
　また、そのリプレゼンテーションには、バンド幅が1mbpsの補助画像の情報が格納されていることを示す識別情報（<id="aux1">）、その補助画像の符号化方式がSHVC方式であることを示す符号化情報（<codecs="lha1">）、バンド幅を示す情報（<bandwidth="1mbps">）が補助情報として設定されている。これらの情報を参照することにより、受信・再生側において、そのメタデータの制御対象が補助画像であることを把握し、通常の画像と区別することができる。これにより、補助画像を通常の画像として誤って処理することを抑制することができる。つまり、主要画像とともに用いられる補助画像の提供を制御することができる。また、このような補助情報を、リプレゼンテーションに設定することにより、受信・再生側においての補助情報の取り扱い（参照等）が容易になる。
　さらに、このリプレゼンテーションには、バンド幅が1mbpsの主要画像の情報のリプレゼンテーション（id="bs1"）への参照と、その参照の種類（sbas）を示す関連情報（アソシエーション情報）（<associationId="bs1" associationType="sbas">）が補助情報として設定されている。このような補助情報により、受信・再生側において、リプレゼンテーション間（MP4ファイル間）の参照関係を容易に把握することができる。
　また、このリプレゼンテーションには、補助画像の種類を示す情報が、エッセンシャルプロパティ（EssentialProperty）として設定されている。例えば、エレメントとして補助画像用のスキーマ（schemeIdUri="urn:mpeg:DASH:hevc:aux:2014"）が設定され、そのバリュー（value）として、補助画像の種類を示す識別情報「auxId」が設定されている。この識別情報「auxId」は、MP4ファイルの識別情報「auxId」と同じ情報である。例えば、以下のような情報が設定される。
　<EssentialProperty schemeIdUri="urn:mpeg:DASH:hevc:aux:2014"
　value="auxId">
　このような補助画像の種類を示す情報を補助情報として受信・再生側に提示することにより、受信・再生側において、容易に、その補助画像を適切に利用することができる。そして、このような識別情報を用いて補助画像の種類を指定することにより、情報量の増大を抑制することができる。また、情報のフォーマットが定型化されるため、受信・再生側において、この情報の取り扱いが容易になる。したがって、より容易に補助画像の種類を特定することができる。なお、補助情報を、エッセンシャルプロパティに設定することにより、受信・再生側においての補助情報の識別や内容把握が容易になる。
　もちろん、上述した以外の情報がリプレゼンテーションに設定されるようにしてもよい。例えば、助画像の種類（識別情報「auxId」の値）に対応したSEI（付加情報）を設定するようにしてもよい。
　バンド幅が3mbpsの補助画像の情報のリプレゼンテーションの下位には、バンド幅が3mbps（bandwidth=3mbps）の補助画像（ベースレイヤ）のMP4ファイル（3mbps_aux.mp4）の情報を設定（登録）するセグメントが設定されている。
　また、そのリプレゼンテーションには、バンド幅が3mbpsの補助画像の情報が格納されていることを示す識別情報（<id="aux3">）、その補助画像の符号化方式がSHVC方式であることを示す符号化情報（<codecs="lha1">）、バンド幅を示す情報（<bandwidth="3mbps">）が補助情報として設定されている。
　さらに、このリプレゼンテーションには、バンド幅が3mbpsの主要画像の情報のリプレゼンテーション（id="bs3"）への参照と、その参照の種類（sbas）を示す関連情報（アソシエーション情報）（<associationId="bs3" associationType="sbas">）が補助情報として設定されている。
　また、このリプレゼンテーションには、補助画像の種類を示す情報が、エッセンシャルプロパティ（EssentialProperty）として以下のように設定されている。
　<EssentialProperty schemeIdUri="urn:mpeg:DASH:hevc:aux:2014"
　value="auxId">
　MPD生成部１０５がこのようなMPDを生成することにより、ファイル生成装置１００は、主要画像とともに用いられる補助画像の提供の制御を実現させることができる。
　　＜MP4ファイル生成処理の流れ＞
　図１３のフローチャートを参照して、図９のファイル生成装置１００により実行される、図１０のようなMP4ファイルを生成する処理であるMP4ファイル生成処理の流れの例を説明する。
　MP4ファイル生成処理が開始されると、ベースレイヤ符号化部１０１は、ステップＳ１０１において、ベースレイヤ画像（BL画像）を符号化する。
　ステップＳ１０２において、オグジュアリビデオレイヤ符号化部１０２は、オグジュアリ画像（AUX画像）を符号化する。
　ステップＳ１０３において、MP4ファイル生成部１０３は、符号化データ毎にトラックを分けてMP4ファイルを生成する。図１０の例の場合、MP4ファイル生成部１０３は、トラック毎にMP4ファイルを生成する。
　ステップＳ１０４において、MP4ファイル生成部１０３は、オグジュアリビデオレイヤのトラックのベースレイヤのトラックへのトラックリファレンスを設定する。
　ステップＳ１０５において、サンプルエントリ設定部１０４は、補助情報を用いて、オグジュアリビデオレイヤのトラックのサンプルエントリを設定する。
　ステップＳ１０６において、MP4ファイル生成部１０３は、生成したMP4ファイルを出力する。
　このように、MP4ファイル生成処理を実行することにより、ファイル生成装置１００は、図１０に示されるような構成のMP4ファイルを生成することができる。つまり、ファイル生成装置１００は、主要画像とともに用いられる補助画像の提供をこのMP4ファイルによって制御するようにすることができる。つまり、画像配信において、主要画像とともに用いられる補助画像の提供を制御することができるようになる。
　　＜MPD生成処理の流れ＞
　図１４のフローチャートを参照して、図９のファイル生成装置１００により実行される、図１２の例のようなMPDを生成する処理であるMPD生成処理の流れの例を説明する。
　MPD生成処理が開始されると、ベースレイヤ符号化部１０１、オグジュアリビデオレイヤ符号化部１０２、MP4ファイル生成部１０３、およびサンプルエントリ設定部１０４は、ステップＳ１２１において、ベースレイヤの画像（BL画像）とオグジュアリビデオレイヤの画像（AUX画像）のMP4ファイルを生成する。この処理は、図１３のフローチャートを参照して説明したMP4ファイル生成処理と同様に実行される。
　MP4ファイルが生成されると、MPD生成部１０５は、ステップＳ１２２において、ピリオドの下位にアダプテーションセットを設定する。
　ステップＳ１２３において、MPD生成部１０５は、アダプテーションセットの下位に、リプレゼンテーション若しくはサブリプレゼンテーションを、MP4ファイルのトラック毎に設定する。
　ステップＳ１２４において、MPD生成部１０５は、各リプレゼンテーションの下位に、MP4ファイルの各トラックのセグメントを設定する。
　ステップＳ１２５において、リプレゼンテーション設定部１０６は、各リプレゼンテーション若しくは各サブリプレゼンテーションに、そのトラックの情報を設定する。
　ステップＳ１２６において、MPD生成部１０５は、以上のようにして生成したMPDを出力する。
　このように、MPD生成処理を実行することにより、ファイル生成装置１００は、図１２に示されるような構成のMPDを生成することができる。つまり、ファイル生成装置１００は、主要画像とともに用いられる補助画像の提供をこのMPDによって制御するようにすることができる。つまり、画像配信において、主要画像とともに用いられる補助画像の提供を制御することができるようになる。
　　＜ファイル再生装置＞
　次に、このように生成されたMP4ファイルやMPDを再生する装置について説明する。図１５は、本技術を適用した情報処理装置の一実施の形態であるファイル再生装置の主な構成例を示すブロック図である。図１５において、ファイル再生装置２００は、図９のファイル生成装置１００により上述したように生成されたMP4ファイルやMPDを再生し、ベースレイヤの復号画像、または、ベースレイヤおよびオグジュアリビデオレイヤの復号画像を生成し、出力する装置である。
　図１５に示されるように、ファイル再生装置２００は、MPD解析部２０１、MP4ファイル再生部２０２、ベースレイヤ復号部２０３、およびオグジュアリビデオレイヤ復号部２０４を有する。
　MPD解析部２０１は、例えば図１２に示されるような構成のMPDを取得して解析し、その解析結果に基づいてMP4ファイル再生部２０２を制御する。
　MP4ファイル再生部２０２は、MPD解析部２０１の制御の下、例えば図１０に示されるような構成のMP4ファイルを取得して再生し、ベースレイヤのトラックから符号化データを抽出する。MP4ファイル再生部２０２は、抽出したベースレイヤの符号化データをベースレイヤ復号部２０３に供給する。
　また、MP4ファイル再生部２０２は、必要に応じて、MP4ファイルのオグジュアリビデオレイヤのトラックから符号化データを抽出する。MP4ファイル再生部２０２は、抽出したオグジュアリビデオレイヤの符号化データをオグジュアリビデオレイヤ復号部２０４に供給する。
　ベースレイヤ復号部２０３は、MP4ファイル再生部２０２から供給された符号化データを復号し、ベースレイヤの復号画像（BL復号画像）を生成する。ベースレイヤ復号部２０３は、そのベースレイヤの復号画像（BL復号画像）を出力する。
　オグジュアリビデオレイヤ復号部２０４は、MP4ファイル再生部２０２から供給された符号化データを復号し、オグジュアリビデオレイヤの復号画像（AUX復号画像）を生成する。オグジュアリビデオレイヤ復号部２０４は、そのオグジュアリビデオレイヤの復号画像（AUX復号画像）を出力する。
　　＜MP4ファイル再生処理の流れ＞
　図１６のフローチャートを参照して、このファイル再生装置２００により実行されるMP4ファイル再生処理の流れの例を説明する。なお、ここでは、ベースレイヤとオグジュアリビデオレイヤの両方の符号化データを再生する場合について説明する。
　MP4ファイル再生処理が開始されると、MP4ファイル再生部２０２は、ステップＳ２０１において、MP4ファイルを取得する。
　ステップＳ２０２において、MP4ファイル再生部２０２は、サンプルエントリやトラックリファレンスの情報に基づいて、再生するベースレイヤのトラックを特定する。
　ステップＳ２０３において、MP4ファイル再生部２０２は、特定したトラックの符号化データを抽出する。
　ステップＳ２０４において、ベースレイヤ復号部２０３は、ベースレイヤの符号化データを復号する。
　ステップＳ２０５において、ベースレイヤ復号部２０３は、生成したベースレイヤの復号画像（BL復号画像）を出力する。
　ステップＳ２０６において、MP4ファイル再生部２０２は、サンプルエントリやトラックリファレンスの情報に基づいて、再生するオグジュアリビデオレイヤのトラックを特定する。
　ステップＳ２０７において、MP4ファイル再生部２０２は、特定したトラックの符号化データを抽出する。
　ステップＳ２０８において、オグジュアリビデオレイヤ復号部２０４は、オグジュアリビデオレイヤの符号化データを復号する。
　ステップＳ２０９において、オグジュアリビデオレイヤ復号部２０４は、生成されたオグジュアリビデオレイヤの復号画像（AUX復号画像）を出力する。
　なお、ベースレイヤのみ復号する場合、ステップＳ２０１乃至ステップＳ２０５の各処理のみを実行すればよい。
　以上のように、MP4ファイル再生処理を実行することにより、ファイル再生装置２００は、図１０に示されるような構成のMP4ファイルを再生し、各レイヤの復号画像を生成することができる。その際、ファイル再生装置２００は、MP4ファイルに格納される情報に基づいて、オグジュアリビデオレイヤの画像が、通常の画像でない補助画像であることを容易に把握することができる。したがって、オグジュアリビデオレイヤの画像を誤って処理することを抑制することができる。つまり、ファイル再生装置２００は、MP4ファイルによる、主要画像とともに用いられる補助画像の提供の制御を実現することができる。つまり、画像配信において、主要画像とともに用いられる補助画像の提供を制御することができるようになる。
　　＜MPD再生処理の流れ＞
　図１７のフローチャートを参照して、図１５のファイル再生装置２００により実行される、例えば図１２に示されるような構成のMPDを再生するMPD再生処理の流れの例を説明する。
　MPD再生処理が開始されると、MPD解析部２０１は、ステップＳ２２１において、MPDを取得する。
　ステップＳ２２２において、MPD解析部２０１は、MPDのリプレゼンテーション若しくはサブリプレゼンテーション等の情報に基づいて、再生するセグメントを選択する。
　ステップＳ２２３において、MP4ファイル再生部２０２乃至オグジュアリビデオレイヤ再生部２０４は、MPD解析部２０１の制御に従って、ステップＳ２２２において選択されたセグメントに登録されたMP4ファイルを再生し、復号画像を生成し、出力する。この処理は、図１６のフローチャートを参照して説明したMP4ファイル再生処理と同様に実行される。
　以上のように、MPD再生処理を実行することにより、ファイル再生装置２００は、図１２に示されるような構成のMPDを再生し、各レイヤの復号画像を生成することができる。その際、ファイル再生装置２００は、MPDに格納される情報に基づいて、オグジュアリビデオレイヤの画像が、通常の画像でない補助画像であることを容易に把握することができる。したがって、オグジュアリビデオレイヤの画像を誤って処理することを抑制することができる。つまり、ファイル再生装置２００は、MPDによる、主要画像とともに用いられる補助画像の提供の制御を実現することができる。つまり、画像配信において、主要画像とともに用いられる補助画像の提供を制御することができるようになる。
　＜２．第２の実施の形態＞
　　＜MP4ファイル構成例＞
　なお、MP4ファイルの構成例は、図１０を参照して説明したが、この例に限らない。例えば、複数の主要画像（BL画像）が１つの補助画像（AUX画像）に対応付けられていてもよい。つまり、その複数の主要画像の内のいずれも、共通の補助画像とともに利用する（例えば表示する）ことができるようにしてもよい。
　図１８にその場合のMP4ファイルの構成例を示す。この場合、トラック３（Track3）は、トラック１（Track1）に格納されるバンド幅が1mbpsの主要画像と、トラック２（Track2）に格納されるバンド幅が3mbpsの主要画像との両方に対応付けられた補助画像の情報を格納する。したがって、この場合、トラック３のトラックリファレンスには、トラック１およびトラック２との参照関係が示されている（sbas=1.2）。その他の構成は、図１０の場合と同様である。
　このように、MP4ファイルでは、トラックリファレンスを用いて、容易に、１つの補助画像を複数の主要画像に関連付けることができる。
　この場合のMP4ファイル生成処理とMP4ファイル再生処理は、第１の実施の形態の場合と同様であるので、その説明は省略する。
　つまり、この場合も、画像配信において、主要画像とともに用いられる補助画像の提供を制御することができる。
　　＜MPD構成例＞
　また、図１９にこの場合のMPDの構成例を示す。図１９に示されるように、補助画像のアダプテーションセットの下位には、バンド幅が500kbpsの補助画像の情報が格納されるリプレゼンテーションが１つ設定されている。この補助画像は、バンド幅が1mbpsの主要画像と、バンド幅が3mbpsの主要画像との両方に関連付けられる。
　したがって、この補助画像のリプレゼンテーションには、バンド幅が1mbpsの主要画像の情報のリプレゼンテーション（id="bs1"）、並びに、バンド幅が3mbpsの主要画像の情報のリプレゼンテーション（id="bs3"）との参照と、それらの参照の種類（sbas）を示す関連情報（アソシエーション情報）（<associationId="bs1,bs3" associationType="sbas">）が補助情報として設定されている。その他の構成は、図１２の場合と同様である。
　このように、MPDでは、アソシエーション情報を用いて、容易に、１つの補助画像を複数の主要画像に関連付けることができる。
　この場合のMPD生成処理とMPD再生処理は、第１の実施の形態の場合と同様であるので、その説明は省略する。
　つまり、この場合も、画像配信において、主要画像とともに用いられる補助画像の提供を制御することができる。
　＜３．第３の実施の形態＞
　　＜MP4ファイル構成例＞
　また、例えば、MP4ファイルにおいて、主要画像（BL画像）の情報を格納するトラックと補助画像（AUX画像）の情報を格納するトラックとを１つのファイルに含めるようにしてもよい。図２０にその場合のMP4ファイルの主な構成例を示す。
　図２０の例の場合、バンド幅が1mbpsの主要画像の情報を格納するトラック１と、その補助情報を格納するトラック２とが、１つのMP4ファイル（1mbps.mp4）に含められている。同様に、バンド幅が3mbpsの主要画像の情報を格納するトラック３と、その補助情報を格納するトラック４とが、１つのMP4ファイル（3mbps.mp4）に含められている。
　このような構成とすることにより、１つのMP4ファイルを取得するだけで、互いに関連付けられた主要画像と補助画像の両方を取得することができる。すなわち、受信・再生側におけるMP4ファイルの取り扱いが容易になる。例えば、図１０の例のように、トラック毎にファイル化されていると、複数のトラックを利用する場合、そのトラックの数だけMP4ファイルを取得しなければならないが、図２０の例のように、互いに関連付けられた主要画像と補助画像とが１つのMP4ファイルに納められていれば、取得するMP4ファイルの数を低減させることができる。ただし、この場合、利用しないトラックがMP4ファイルに含まれることもあるので、不要な情報を取得しなければならない可能性もある。図１０の例の場合の方が、不要な情報の取得を低減させることができる。
　この場合もMP4ファイル生成処理とMP4ファイル再生処理は、第１の実施の形態の場合と同様であるので、その説明は省略する。
　つまり、この場合も、画像配信において、主要画像とともに用いられる補助画像の提供を制御することができる。
　　＜MPD構成例＞
　また、図２１にこの場合のMPDの構成例を示す。図２１に示されるように、この場合、互いに対応する補助画像と主要画像との情報が１つの（共通の）アダプテーションセットに格納される。
　また、この場合、リプレゼンテーションの下位にサブリプレゼンテーションが設定され、補助画像の情報は、このサブリプレゼンテーションに設定される。図２１の例の場合、サブリプレゼンテーションには、補助画像の符号化方式がSHVC方式であることを示す符号化情報（<codecs="lha1">）やバンド幅を示す情報（<bandwidth="500kbps">）が設定される。
　また、以下のようなエッセンシャルプロパティ（EssentialProperty）が設定され、エレメントとして補助画像用のスキーマ（schemeIdUri="urn:mpeg:DASH:hevc:aux:2014"）が設定され、そのバリュー（value）として、補助画像の種類を示す識別情報「auxId」が設定される。
　<EssentialProperty schemeIdUri="urn:mpeg:DASH:hevc:aux:2014"
　value="auxId">
　さらに、主要画像と補助画像との参照関係を示す以下のようなレベル情報が設定される。
　<level="1" dependencyLevel="0">
　このレベル情報において、主要画像（トラック１）は、レベル０（level0）に設定され、補助画像（トラック２）は、レベル１（level1）に設定されている。つまり、上述した記述は、補助画像がレベル１で、レベル０の主要画像に従属していることが示されている。
　この場合のMPD生成処理とMPD再生処理は、第１の実施の形態の場合と同様であるのでその説明は省略する。
　つまり、この場合も、画像配信において、主要画像とともに用いられる補助画像の提供を制御することができる。
　＜４．第４の実施の形態＞
　　＜配信システム＞
　各実施の形態において上述した各装置は、例えば、静止画像や動画像を配信する配信システムに利用することができる。以下において、その場合について説明する。
　図２２は、本技術を適用した配信システムの主な構成例を示す図である。図２２に示される配信システム３００は、静止画像および動画像を配信するシステムである。図２２に示されるように、配信システム３００は、配信データ生成装置３０１、配信サーバ３０２、ネットワーク３０３、端末装置３０４、および端末装置３０５を有する。
　配信データ生成装置３０１は、配信する静止画像や動画像のデータから配信用のフォーマットの配信データを生成する。配信データ生成装置３０１は、生成した配信データを配信サーバ３０２に供給する。配信サーバ３０２は、配信データ生成装置３０１が生成した配信データを記憶部などに記憶して管理し、ネットワーク３０３を介して端末装置３０４や端末装置３０５に対して、その配信データの配信サービスを提供する。
　ネットワーク３０３は、通信媒体となる通信網である。ネットワーク３０３は、どのような通信網であってもよく、有線通信網であってもよいし、無線通信網であってもよいし、それらの両方であってもよい。例えば、有線LAN（Local Area Network）、無線LAN、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、またはインターネット等であってもよいし、それらの組み合わせであってもよい。また、ネットワーク３０３は、単数の通信網であってもよいし、複数の通信網であってもよい。また、例えば、ネットワーク３０３は、その一部若しくは全部が、例えばUSB（Universal Serial Bus）ケーブルやHDMI（登録商標）（High-Definition Multimedia Interface）ケーブル等のような、所定の規格の通信ケーブルにより構成されるようにしてもよい。
　配信サーバ３０２、端末装置３０４、および端末装置３０５は、このネットワーク３０３に接続されており、互いに通信可能な状態になされている。これらのネットワーク３０３への接続方法は任意である。例えば、これらの装置が、ネットワーク３０３に、有線通信により接続されるようにしてもよいし、無線通信により接続されるようにしてもよい。また、例えば、これらの装置が、アクセスポイント、中継装置、基地局等、任意の通信装置（通信設備）を介してネットワーク３０３に接続されるようにしてもよい。
　端末装置３０４および端末装置３０５は、それぞれ、例えば、携帯型電話機、スマートフォン、タブレット型コンピュータ、ノート型コンピュータのような、通信機能を有する任意の電子機器である。端末装置３０４や端末装置３０５は、例えばユーザ等の指示に基づいて、配信ファイルの配信を配信サーバ３０２に対して要求する。
　配信サーバ３０２は、要求された配信データを要求元に送信する。配信を要求した端末装置３０４若しくは端末装置３０５は、その配信データを受信し、再生する。
　このような配信システム３００において、配信データ生成装置３０１として、各実施の形態において上述した本技術を適用する。すなわち、上述したファイル生成装置１００を、配信データ生成装置３０１として用いるようにする。
　また、端末装置３０４や端末装置３０５として、各実施の形態において上述した本技術を適用する。すなわち、上述したファイル再生装置２００を、端末装置３０４や端末装置３０５として用いるようにする。
　このようにすることにより、配信データ生成装置３０１、端末装置３０４、および端末装置３０５は、上述した各実施の形態と同様の効果を得ることができる。つまり、配信システム３００は、主要画像とともに用いられる補助画像の提供を制御することができる。
　＜５．第５の実施の形態＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図２３に示されるコンピュータ４００において、CPU（Central Processing Unit）４０１、ROM（Read Only Memory）４０２、RAM（Random Access Memory）４０３は、バス４０４を介して相互に接続されている。
　バス４０４にはまた、入出力インタフェース４１０も接続されている。入出力インタフェース４１０には、入力部４１１、出力部４１２、記憶部４１３、通信部４１４、およびドライブ４１５が接続されている。
　入力部４１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部４１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部４１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部４１４は、例えば、ネットワークインタフェースよりなる。ドライブ４１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア４２１を駆動する。
　以上のように構成されるコンピュータでは、CPU４０１が、例えば、記憶部４１３に記憶されているプログラムを、入出力インタフェース４１０およびバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。RAM４０３にはまた、CPU４０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア４２１をドライブ４１５に装着することにより、入出力インタフェース４１０を介して、記憶部４１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部４１４で受信し、記憶部４１３にインストールすることができる。
　その他、このプログラムは、ROM４０２や記憶部４１３に、あらかじめインストールしておくこともできる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　主要画像とともに用いられる補助画像の画像データが符号化された符号化データと、前記補助画像に関する情報である補助情報とを格納するトラックを含むファイルを生成するファイル生成部
　を備える情報処理装置。
　（２）　前記補助情報は、前記トラックが、前記補助画像の画像データが符号化された符号化データを格納するトラックであることを示す識別情報を含む
　（１）に記載の情報処理装置。
　（３）　前記補助情報は、前記補助画像の種類を示す情報を含む
　（１）または（２）に記載の情報処理装置。
　（４）　前記補助画像の種類を示す情報は、前記補助画像が、クロマキーとして用いられるαチャンネルの情報であるか、奥行き情報であるか、または、前記主要画像に重畳されて表示されるオーバーレイの情報であるかを示す情報を含む
　（３）に記載の情報処理装置。
　（５）　前記補助情報は、前記符号化データの、前記補助画像の種類を示す情報に対応する付加情報をさらに含む
　（３）または（４）に記載の情報処理装置。
　（６）　前記補助情報は、前記トラックのサンプルエントリに格納される
　（１）乃至（５）のいずれかに記載の情報処理装置。
　（７）　前記ファイル生成部は、前記主要画像の画像データが符号化された符号化データを格納するトラックを含むファイルを、前記補助画像の画像データが符号化された符号化データを格納するトラックを含むファイルとは異なるファイルとして生成する
　（１）乃至（６）のいずれかに記載の情報処理装置。
　（８）　前記ファイル生成部は、前記補助画像の画像データが符号化された符号化データを格納するトラックを含むファイル１つに対して、前記主要画像の画像データが符号化された符号化データを格納するトラックを含むファイルを複数生成する
　（７）に記載の情報処理装置。
　（９）　前記ファイル生成部は、前記補助画像の画像データが符号化された符号化データを格納するトラックと、前記主要画像の画像データが符号化された符号化データを格納するトラックとの両方を含むファイルを生成する
　（１）乃至（８）のいずれかに記載の情報処理装置。
　（１０）　主要画像とともに用いられる補助画像の画像データが符号化された符号化データと、前記補助画像に関する情報である補助情報とを格納するトラックを含むファイルを生成する
　情報処理方法。
　（１１）　主要画像とともに用いられる補助画像の画像データが符号化された符号化データを含むファイルの再生を制御するメタデータであって、前記補助画像に関する情報である補助情報を含む前記メタデータを生成するメタデータ生成部
　を備える情報処理装置。
　（１２）　前記補助情報は、前記補助画像の画像データが符号化された符号化データを含むファイルが設定されるセグメントが属するリプレゼンテーションに設定される
　（１１）に記載の情報処理装置。
　（１３）　前記補助情報は、前記補助画像の種類を示す情報を含む
　（１１）または（１２）に記載の情報処理装置。
　（１４）　前記補助画像の種類を示す情報は、前記補助画像が、クロマキーとして用いられるαチャンネルの情報であるか、奥行き情報であるか、または、前記主要画像に重畳されて表示されるオーバーレイの情報であるかを示す情報を含む
　（１３）に記載の情報処理装置。
　（１５）　前記補助情報は、前記符号化データの、前記補助画像の種類を示す情報に対応する付加情報をさらに含む
　（１３）または（１４）に記載の情報処理装置。
　（１６）　前記補助情報の少なくとも一部は、前記補助画像の画像データが符号化された符号化データを含むファイルが設定されるセグメントが属するリプレゼンテーションの、エッセンシャルプロパティに設定される
　（１１）乃至（１５）のいずれかに記載の情報処理装置。
　（１７）　前記メタデータは、前記補助画像の画像データが符号化された符号化データを含むファイルの情報を含むアダプテーションセットと、前記主要画像の画像データが符号化された符号化データを含むファイルの情報を含むアダプテーションセットとを有する
　（１１）乃至（１６）のいずれかに記載の情報処理装置。
　（１８）　前記メタデータは、前記主要画像の画像データが符号化された符号化データを含むファイルの情報を含むアダプテーションセットに属するリプレゼンテーションを複数有する
　（１７）に記載の情報処理装置。
　（１９）　前記メタデータは、前記補助画像の画像データが符号化された符号化データと、前記主要画像の画像データが符号化された符号化データとの両方を含むファイルの情報を含むアダプテーションセットを有する
　（１１）乃至（１８）のいずれかに記載の情報処理装置。
　（２０）　主要画像とともに用いられる補助画像の画像データが符号化された符号化データを含むファイルの再生を制御するメタデータであって、前記補助画像に関する情報である補助情報を含む前記メタデータを生成する
　情報処理方法。
　１００　ファイル生成装置，　１０１　ベースレイヤ符号化部，　１０２　オグジュアリビデオレイヤ符号化部，　１０３　MP4ファイル生成部，　１０４　サンプルエントリ設定部，　１０５　MPD生成部，　１０６　リプレゼンテーション設定部，　２００　ファイル再生装置，　２０１　MPD解析部，　２０２　MP4ファイル再生部，　２０３　ベースレイヤ復号部，　２０４　オグジュアリビデオレイヤ復号部，　３００　配信システム，　３０１　配信データ生成装置，　３０２　配信サーバ，　３０３　ネットワーク，　３０４および３０５　端末装置，　４００　コンピュータ

Claims (20)

  1. 　主要画像とともに用いられる補助画像の画像データが符号化された符号化データと、前記補助画像に関する情報である補助情報とを格納するトラックを含むファイルを生成するファイル生成部
    　を備える情報処理装置。
  2. 　前記補助情報は、前記トラックが、前記補助画像の画像データが符号化された符号化データを格納するトラックであることを示す識別情報を含む
    　請求項１に記載の情報処理装置。
  3. 　前記補助情報は、前記補助画像の種類を示す情報を含む
    　請求項１に記載の情報処理装置。
  4. 　前記補助画像の種類を示す情報は、前記補助画像が、クロマキーとして用いられるαチャンネルの情報であるか、奥行き情報であるか、または、前記主要画像に重畳されて表示されるオーバーレイの情報であるかを示す情報を含む
    　請求項３に記載の情報処理装置。
  5. 　前記補助情報は、前記符号化データの、前記補助画像の種類を示す情報に対応する付加情報をさらに含む
    　請求項３に記載の情報処理装置。
  6. 　前記補助情報は、前記トラックのサンプルエントリに格納される
    　請求項１に記載の情報処理装置。
  7. 　前記ファイル生成部は、前記主要画像の画像データが符号化された符号化データを格納するトラックを含むファイルを、前記補助画像の画像データが符号化された符号化データを格納するトラックを含むファイルとは異なるファイルとして生成する
    　請求項１に記載の情報処理装置。
  8. 　前記ファイル生成部は、前記補助画像の画像データが符号化された符号化データを格納するトラックを含むファイル１つに対して、前記主要画像の画像データが符号化された符号化データを格納するトラックを含むファイルを複数生成する
    　請求項７に記載の情報処理装置。
  9. 　前記ファイル生成部は、前記補助画像の画像データが符号化された符号化データを格納するトラックと、前記主要画像の画像データが符号化された符号化データを格納するトラックとの両方を含むファイルを生成する
    　請求項１に記載の情報処理装置。
  10. 　主要画像とともに用いられる補助画像の画像データが符号化された符号化データと、前記補助画像に関する情報である補助情報とを格納するトラックを含むファイルを生成する
    　情報処理方法。
  11. 　主要画像とともに用いられる補助画像の画像データが符号化された符号化データを含むファイルの再生を制御するメタデータであって、前記補助画像に関する情報である補助情報を含む前記メタデータを生成するメタデータ生成部
    　を備える情報処理装置。
  12. 　前記補助情報は、前記補助画像の画像データが符号化された符号化データを含むファイルが設定されるセグメントが属するリプレゼンテーションに設定される
    　請求項１１に記載の情報処理装置。
  13. 　前記補助情報は、前記補助画像の種類を示す情報を含む
    　請求項１１に記載の情報処理装置。
  14. 　前記補助画像の種類を示す情報は、前記補助画像が、クロマキーとして用いられるαチャンネルの情報であるか、奥行き情報であるか、または、前記主要画像に重畳されて表示されるオーバーレイの情報であるかを示す情報を含む
    　請求項１３に記載の情報処理装置。
  15. 　前記補助情報は、前記符号化データの、前記補助画像の種類を示す情報に対応する付加情報をさらに含む
    　請求項１３に記載の情報処理装置。
  16. 　前記補助情報の少なくとも一部は、前記補助画像の画像データが符号化された符号化データを含むファイルが設定されるセグメントが属するリプレゼンテーションの、エッセンシャルプロパティに設定される
    　請求項１１に記載の情報処理装置。
  17. 　前記メタデータは、前記補助画像の画像データが符号化された符号化データを含むファイルの情報を含むアダプテーションセットと、前記主要画像の画像データが符号化された符号化データを含むファイルの情報を含むアダプテーションセットとを有する
    　請求項１１に記載の情報処理装置。
  18. 　前記メタデータは、前記主要画像の画像データが符号化された符号化データを含むファイルの情報を含むアダプテーションセットに属するリプレゼンテーションを複数有する
    　請求項１７に記載の情報処理装置。
  19. 　前記メタデータは、前記補助画像の画像データが符号化された符号化データと、前記主要画像の画像データが符号化された符号化データとの両方を含むファイルの情報を含むアダプテーションセットを有する
    　請求項１１に記載の情報処理装置。
  20. 　主要画像とともに用いられる補助画像の画像データが符号化された符号化データを含むファイルの再生を制御するメタデータであって、前記補助画像に関する情報である補助情報を含む前記メタデータを生成する
    　情報処理方法。
PCT/JP2015/067425 2014-07-01 2015-06-17 情報処理装置および方法 WO2016002513A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016531255A JP6508206B2 (ja) 2014-07-01 2015-06-17 情報処理装置および方法
EP15814154.9A EP3166318A4 (en) 2014-07-01 2015-06-17 Information processing device and method
US15/319,153 US20170127152A1 (en) 2014-07-01 2015-06-17 Information processing device and information processing method
CN201580033674.4A CN106489270B (zh) 2014-07-01 2015-06-17 信息处理装置和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-136290 2014-07-01
JP2014136290 2014-07-01

Publications (1)

Publication Number Publication Date
WO2016002513A1 true WO2016002513A1 (ja) 2016-01-07

Family

ID=55019060

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/067425 WO2016002513A1 (ja) 2014-07-01 2015-06-17 情報処理装置および方法

Country Status (5)

Country Link
US (1) US20170127152A1 (ja)
EP (1) EP3166318A4 (ja)
JP (2) JP6508206B2 (ja)
CN (1) CN106489270B (ja)
WO (1) WO2016002513A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018014710A (ja) * 2016-05-25 2018-01-25 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ マニフェストを作成する方法及びネットワーク機器
JPWO2017145757A1 (ja) * 2016-02-22 2018-12-13 ソニー株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
KR20190014500A (ko) * 2016-05-24 2019-02-12 퀄컴 인코포레이티드 Http 를 통한 동적 적응형 스트리밍에서의 가상 현실 비디오 시그널링
JP2022019932A (ja) * 2016-01-13 2022-01-27 ソニーグループ株式会社 情報処理装置および情報処理方法
US11801502B2 (en) 2021-09-13 2023-10-31 Chevron Phillips Chemical Company Lp Hydrocyclone modification of catalyst system components for use in olefin polymerization

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10389999B2 (en) * 2016-02-17 2019-08-20 Qualcomm Incorporated Storage of virtual reality video in media files
CN107194976B (zh) * 2017-03-31 2021-11-12 上海浩远智能科技有限公司 一种温度云图的处理方法和装置
CN113206826B (zh) * 2018-09-28 2022-10-04 华为技术有限公司 传输媒体数据的方法、客户端和服务器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10285593A (ja) * 1997-02-07 1998-10-23 Matsushita Electric Ind Co Ltd 画像伝送用データ構造，画像伝送方法，画像復号化装置，及びデータ記録媒体
JP2011077785A (ja) * 2009-09-30 2011-04-14 Sony Corp 送信装置、送信方法、受信装置および受信方法
WO2013129158A1 (ja) * 2012-03-01 2013-09-06 ソニー株式会社 送信装置、送信方法および受信装置
JP2014057227A (ja) * 2012-09-13 2014-03-27 Sony Corp コンテンツ供給装置、コンテンツ供給方法、プログラム、およびコンテンツ供給システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008109624A (ja) * 2006-09-25 2008-05-08 Victor Co Of Japan Ltd 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
US20080252719A1 (en) * 2007-04-13 2008-10-16 Samsung Electronics Co., Ltd. Apparatus, method, and system for generating stereo-scopic image file based on media standards
JP2010051035A (ja) * 2009-12-02 2010-03-04 Casio Comput Co Ltd 画像記憶処理装置、画像記憶処理方法、及び、記録処理プログラム
JP2011142586A (ja) * 2010-01-08 2011-07-21 Sony Corp 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
JP5652642B2 (ja) * 2010-08-02 2015-01-14 ソニー株式会社 データ生成装置およびデータ生成方法、データ処理装置およびデータ処理方法
US9026671B2 (en) * 2011-04-05 2015-05-05 Qualcomm Incorporated IP broadcast streaming services distribution using file delivery methods
IN2014CN01752A (ja) * 2011-08-31 2015-09-04 Nokia Corp
KR20140064344A (ko) * 2012-11-20 2014-05-28 삼성전자주식회사 영상처리장치와 그 제어방법
US20150195554A1 (en) * 2014-01-03 2015-07-09 Sharp Laboratories Of America, Inc. Constraints and enhancements for a scalable video coding system
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10285593A (ja) * 1997-02-07 1998-10-23 Matsushita Electric Ind Co Ltd 画像伝送用データ構造，画像伝送方法，画像復号化装置，及びデータ記録媒体
JP2011077785A (ja) * 2009-09-30 2011-04-14 Sony Corp 送信装置、送信方法、受信装置および受信方法
WO2013129158A1 (ja) * 2012-03-01 2013-09-06 ソニー株式会社 送信装置、送信方法および受信装置
JP2014057227A (ja) * 2012-09-13 2014-03-27 Sony Corp コンテンツ供給装置、コンテンツ供給方法、プログラム、およびコンテンツ供給システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3166318A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022019932A (ja) * 2016-01-13 2022-01-27 ソニーグループ株式会社 情報処理装置および情報処理方法
JP7238948B2 (ja) 2016-01-13 2023-03-14 ソニーグループ株式会社 情報処理装置および情報処理方法
JPWO2017145757A1 (ja) * 2016-02-22 2018-12-13 ソニー株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
KR20190014500A (ko) * 2016-05-24 2019-02-12 퀄컴 인코포레이티드 Http 를 통한 동적 적응형 스트리밍에서의 가상 현실 비디오 시그널링
KR102534899B1 (ko) 2016-05-24 2023-05-22 퀄컴 인코포레이티드 Http 를 통한 동적 적응형 스트리밍에서의 가상 현실 비디오 시그널링
JP2018014710A (ja) * 2016-05-25 2018-01-25 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ マニフェストを作成する方法及びネットワーク機器
JP7041472B2 (ja) 2016-05-25 2022-03-24 インターデジタル マディソン パテント ホールディングス， エスアーエス マニフェストを作成する方法及びネットワーク機器
US11801502B2 (en) 2021-09-13 2023-10-31 Chevron Phillips Chemical Company Lp Hydrocyclone modification of catalyst system components for use in olefin polymerization

Also Published As

Publication number Publication date
EP3166318A1 (en) 2017-05-10
EP3166318A4 (en) 2018-01-03
CN106489270B (zh) 2020-03-03
JP2019146183A (ja) 2019-08-29
JPWO2016002513A1 (ja) 2017-04-27
CN106489270A (zh) 2017-03-08
JP6508206B2 (ja) 2019-05-08
US20170127152A1 (en) 2017-05-04

Similar Documents

Publication Publication Date Title
JP6587025B2 (ja) 情報処理装置および方法
JP6508206B2 (ja) 情報処理装置および方法
AU2018241185B2 (en) Information processing device and method
US20210326378A1 (en) Information processing apparatus and information processing method
JP6908098B2 (ja) 情報処理装置および方法
JP6555263B2 (ja) 情報処理装置および方法
WO2018142946A1 (ja) 情報処理装置および方法
US11206386B2 (en) Information processing apparatus and information processing method
JP6501127B2 (ja) 情報処理装置および方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15814154

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016531255

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015814154

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15319153

Country of ref document: US

Ref document number: 2015814154

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE