WO2019131200A1 - 復号装置、復号方法、およびプログラム - Google Patents
復号装置、復号方法、およびプログラム Download PDFInfo
- Publication number
- WO2019131200A1 WO2019131200A1 PCT/JP2018/046020 JP2018046020W WO2019131200A1 WO 2019131200 A1 WO2019131200 A1 WO 2019131200A1 JP 2018046020 W JP2018046020 W JP 2018046020W WO 2019131200 A1 WO2019131200 A1 WO 2019131200A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- web resource
- web
- media segment
- metabox
- segment
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
Definitions
- the present disclosure relates to a decrypting device, a decrypting method, and a program, and more particularly, to a decrypting device and a decrypting method capable of improving convenience when streaming distribution content using MPEG-DASH, MPEG-CMAF or the like. , And the program.
- MPEG-DASH Moving Picture Experts Group-Dynamic Adaptive Streaming over HTTP
- MPEG-CMAF Moving Picture Experts Group-Common Media Application Format for Segmented Media
- a metabox of ISO Base Media File Format (ISOBMFF) is used to configure a Web application such as HTML5 (HyperText Markup Language 5) or JavaScript (registered trademark).
- ISOBMFF's MetaBox is disclosed in Non-Patent Document 1
- MPEG-CMAF is formulated in Non-Patent Document 2.
- Part 12 ISO base media file format (ISO / IEC 14496-12: 2015) Information technology-Multimedia application forma .
- Part 19 Common media application format for segmented media (ISO / IEC 23000-19: 2018)
- the present disclosure has been made in view of such a situation, and is intended to improve convenience when streaming distribution content using MPEG-DASH, MPEG-CMAF, or the like.
- the decryption apparatus refers to the Item Information Entry stored in the MetaBox of the initialization segment in which the Web Resource of the delivery content is distributed and disposed in a plurality of media segments and used in the delivery content. And an access unit for accessing the Web Resource stored in the identified media segment to be accessed.
- the decryption device is configured such that the Web Resource of the delivery content is distributed and disposed in a plurality of media segments, and Item Information stored in MetaBox of the initialization segment used in the delivery content Referencing the Entry, and accessing the Web Resource stored in the identified media segment to be accessed.
- the program according to one aspect of the present disclosure is an item in which the Web Resource of the distribution content is distributed to a plurality of media segments and arranged in the computer of the decryption apparatus, and stored in the MetaBox of the initialization segment used in the distribution content.
- Information decryption is performed by referring to Information Entry and accessing the Web Resource stored in the identified media segment to be accessed.
- the Web Resource of the distribution content is distributed and disposed in a plurality of media segments, and the Item Information Entry stored in the MetaBox of the initialization segment used in the distribution content is referred to and accessed.
- the Web Resource stored in the specified media segment to be targeted is accessed.
- FIG. 6 is a diagram showing an example of a web application that changes the display in accordance with the playback time of A / V content. It is a figure which shows the example of a display of "index. html.” It is a figure explaining an ISOBMFF file. It is a figure which shows the structure of the media segment file which is PT0S. It is a figure which shows the structure of the media segment file which is PT60S. It is a figure explaining an initialization segment.
- FIG. 1 is a block diagram illustrating a configuration example of an embodiment of a delivery system to which the present technology is applied.
- FIG. 16 is a first flowchart illustrating a process of randomly accessing Web Resource.
- FIG. It is a flowchart explaining an Extent read-in process.
- It is a 2nd flow chart explaining processing to access Web Resource at random.
- It is the 3rd flowchart which explains the processing which randomizes to Web Resource.
- Fig. 21 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
- FIG. 1 shows an example of the configuration of an ISOBMFF file and a client terminal.
- FIG. 1 shows an example of an ISOBMFF file in which two Web Resources of “index.htm” and “image1.jpg” and “image2.jpg” are recorded in MetaBox.
- DataReferenceEntryURL instead of LocationInformationBox ('iloc') in MetaBox of the ISOBMFF file, it is also possible to reference Web Resource placed on a server of the Internet from Item Information Entry ('infe').
- an ISOBMFF file containing both A / V content and a web application is distributed via, for example, the Internet, storage media, and the like.
- the client terminal 11 is configured to include a web engine 12, an A / V player 13, an image superimposing unit 14, an audio mixing unit 15, a display 16, and a speaker 17.
- the client terminal 11 is configured by mounting the web engine 12 and the A / V player 13 on a smartphone, a television receiver, or the like.
- the client terminal 11 After an image obtained by processing the ISOBMFF file by the web engine 12 and the A / V player 13 is supplied to the image superimposing unit 14, and the respective images are superimposed in the image superimposing unit 14, It is displayed on the display 16. Similarly, in the client terminal 11, the audio obtained by processing the ISOBMFF file by the web engine 12 and the A / V player 13 is supplied to the audio mixing unit 15, and the respective sounds are mixed by the audio mixing unit 15. After that, it is outputted from the speaker 17.
- index. Html is recorded as a Primary Resource indicated by a Primary Item Box ('pitm), and an entry of a Web application started at the start of A / V content playback. Indicates that it is Page.
- ISOBMFF files obtained by fragmenting ISOBMFF files are often used as MPEG-DASH contents.
- MPEG-DASH treats a group of fragments consisting of one or more MovieFragmentBox (moof) and MediaDataBox (mdat) pairs (pairs) as a media segment, and encodes a media segment encoded at multiple bit rates described by MPD. By preparing it, bandwidth adaptive streaming is realized.
- FIG. 2 shows an example in which Web Resources recorded in MovieFragmentBox (moof) of each media segment are distributed and arranged.
- “index.html” and “image1.jpg” are delivered when the first playback start time (0 second), which is the beginning of A / V content, is started, and the web engine 12 Display “and“ image1.jpg ”on the display 16. After that, the second playback start time (60 seconds) is reached, and “image2.jpg” is delivered at the timing when “image2.jpg” is used, and the web engine 12 replaces “image1.jpg” with “image2 “. jpg” is displayed on the display 16. Then, the web engine 12 hides “image2.jpg” at the timing when the third reproduction start time (90 seconds) is reached.
- the ISOBMFF file is assumed to be used in such a web application.
- FIG. 2 An example of the web application which changes a display according to the reproduction time of A / V content as shown in FIG. 2 is shown by FIG. 2, and FIG. 4 shows the web engine 12 of such a web application.
- the example of display of "index. Html” by processing is shown. That is, as shown in FIG. 4, when “image1.jpg” is displayed from the reproduction time 0 on the display 16 when it is superimposed on file.mp4 processed by the A / V player 13 and the reproduction time is 60 seconds. It is changed from "image1.jpg” to "image2.jpg” and “image2.jpg” is displayed up to 90 seconds.
- processing can be efficiently performed when performing streaming reproduction continuously from the first reproduction start time (0 second) which is the head of A / V content.
- playback is performed from the second playback start time (for example, 60 seconds) other than the head of the A / V content or the third playback start time (for example, 90 seconds)
- the second playback start time for example, 60 seconds
- the third playback start time for example, 90 seconds
- the Web Resource update date and expiration date were not known.
- the client terminal 11 could not efficiently perform caching of Web Resources. In other words, there is a need for the client terminal 11 to use the cached Web Resource without receiving the Web Resource that has not been updated or expired. Therefore, it is required to be able to determine whether the Web Resource recorded in the ISOBMFF file is updated or expired.
- the configuration example of the ISOBMFF file described below enables random access, achieves uniform bit rates, and does not waste bandwidth in carousel transmission.
- the purpose is to realize quick start-up and enable determination of update and expiration of Web Resource recorded in the ISOBMFF file.
- FIG. 5 shows an example of the configuration of an ISOBMFF file that enables random access.
- the ISOBMFF file shown in FIG. 5 is distributed to each media segment of the ISOBMFF file used for the MPEG-DASH content, and Web Resources are arranged in “Just In Time Delivery”. Then, in the ISOBMFF file, the recording of the MetaBox is performed in the ItemLocatoinBox ('iloc') of the DataReferenceBox ('dref') corresponding thereto.
- a URL (Uniform Resource Locator) in the DataReferenceBox ('dref') of MetaBox directly refers to the Web Resource of each media segment, or an Item in the media segment at the file level as follows: Indirect reference is performed using Information Entry.
- the ISOBMFF file is configured such that the Web Resource of each media segment can be accessed from the Item Information Entry of the file level MetaBox.
- the DataReferenceBox is used to directly refer to the Web Resource of each media segment in the URL, or an indirect reference using the MetaBox of the moof of each media segment is used. To be done.
- a method of recording Web Resource in a media segment will be described by taking MPEG-DASH content in which the media segment includes moof and mdat as an example.
- FIG. 6 shows the structure of a media segment file whose Earliest Presentation Time is PT0S when the ISOBMFF file is divided into a plurality of media segment files, that is, the structure of the media segment file at the beginning of the A / V content. It is done.
- a MetaBox is arranged in moof, and the MetaBox records a Handler Box (hdlr), a Primary Item Box (pitm), an Information Location Box (iloc), and an Item Information Box (iinf) in addition to an Audio track.
- hdlr Handler Box
- pitm Primary Item Box
- iloc Information Location Box
- iinf Item Information Box
- data_reference_index 0 it is indicated that the Extent of this Item is recorded in the same file.
- the base-data-offset-present of moof Track Fragment Header Boxes 0
- set default-base_is_moof 1
- set moof and It is offset by the relative position within the segment consisting of mdat pairs.
- the byte offset B0 from the beginning of the media segment file to index.html actually recorded in mdat is specified in the extent_offset of the extent of index.html.
- L0 which is a file size of index. Html is recorded in extent_length.
- the byte offset B1 is specified in extent_offset of extent of image1.jpg
- L1 which is the file size of image1.jpg is recorded in extent_length.
- an Item to be loaded first in the HTML web application is specified.
- the web engine 12 loads index.html first.
- FIG. 7 shows the structure of the media segment file whose Earliest Presentation Time is PT60S, that is, the structure of the media segment to be played back after 60 seconds when playback is started from the beginning of the A / V content.
- the Web Resource can be recorded in each media segment by MetaBox that can be realized by the ISOBMFF standard. Then, in the present embodiment, as described below, the MetaBox is recorded in the initialization segment (header). This enables random access to the web resource of the media segment.
- the iBox of MetaBox arranged in moov and the item of Web Resource placed in each media segment are recorded in a total of three Item Information Box Entries, and item_name is index.html, image1.jpg , Image2.jpg.
- item_name is index.html, image1.jpg , Image2.jpg.
- the storage location of each Item is recorded in iloc, and other than 0 is specified in data reference, which arranges dinf (DataInformationBox) so that other files can be referred to indirectly by URL. Make it
- This is a URL meaning that it refers indirectly to an Item called index.html in which Earliest Presentation Time of the media segment of the ISOBMFF file is in Track_1 of PT0S.
- This is a URL that means that Earliest Presentation Time of the media segment of the ISOBMFF file directly refers to the segment file of PT0S.
- a non-zero value is specified in extent_offset described in iloc of the Item of the corresponding Item of the MetaBox of the reference source initialization segment It will be
- the web engine 12 will Random access to Web Resources included in the segment is possible.
- the method of referring to the Web Resource recorded in MetaBox of the media segment shown in FIG. 8 by the URL is the playback time of the playback time such as Timed text tracks and Timed metadata track specified in ISO / IEC 14496-30. It is also available as a Web Resource (called "Timed Web Assets”) with timing information.
- Extent of Image2.jpg is substantially equally divided into three partial extents (division data).
- the file size of the first portion Extent is B2-1 bytes, and Earliest Presentation Time is stored in a media segment of 60 seconds.
- the file size of the second portion Extent is B2-2 bytes, and is stored in a media segment whose Earliest Presentation Time is 61 seconds.
- the file size of the third portion Extent is B2-3 bytes, and the Earliest Presentation Time is stored in the media segment of 62 seconds.
- FIG. 12 shows an example of the MetaBox of the initialization segment in a configuration in which Extents of Web Resource are arranged in a plurality of media segments.
- the web engine 12 of FIG. 1 obtains image2.jpg by acquiring extents of items including item2.name from item_name from three segments whose Earliest presentation times are 60S, 61S, and 62S. can do.
- MPEG-DASH Live Profile is used, and each media segment will be transmitted as a separate file. Although it is possible to record the Web resource of the Web application in this media segment, random access can not be performed because of one-way transmission.
- the unit of aggregation of index. Html, image1.jpg, image2.jpg is repeatedly transmitted.
- the index. Html of the interactive Web application linked to the broadcast service. Can be launched.
- the client terminal 11 waits until receiving the media segment including the index.html, which causes a delay in activation of the Web application.
- Bundle Item Information Box extended Item Information Box is provided, and it is possible to explicitly indicate that items stored in the subsequent media segment are to be used collectively. Let's do it.
- FIG. 14 shows the format of the Bundle Information Box.
- the Bundle Information Box is placed in the MetaBox together with the Item Information Box. And when using this Item Information Box, it is to be used together when the Web Resource indicated by item_name written in Bundle ItemInfoEntry is received by Item in Item Information Item of the subsequent media segment. It shows.
- FIG. 15 shows an example of a media segment including a bundle information box.
- a segment file with an Earliest presentation time of 0 seconds has a Primary Item Box, and an Item of index.html is shown in the Primary Item Box.
- the item of image1.jpg is shown in BundleInformationBox (binf). Therefore, the web engine 12 of the client terminal 11 loads index.html after receiving image1.jpg contained in the next one-second segment file to start index.html.
- a media segment file of MPEG-DASH is applied to a target advertisement of broadcasting.
- a target advertisement of broadcasting For example, when they are stored as a Web Resource in an ISOBMFF file, they have a Bundle Information Box together with Item Information including the top segment file of the segment file group corresponding to the advertisement period. Then, by listing other segment files in the item as a Bundle Information Entry, it is possible to replace the advertisement only when all segment files of the advertisement period have been received.
- the Web application displays an advertisement while all segment files can not be received, it is assumed that a significant problem occurs because the advertisement can not be displayed correctly. On the other hand, occurrence of such a problem can be avoided by using the media segment including the Bundle Information Box as described above.
- FIG. 16 shows an example of ItemInfoEntry expanded to indicate that the Web Resource stored in the ISOBMFF file has been updated if it has been updated.
- ItemInfoEntry is extended to be able to record values equivalent to the Last_Modified and RFC-7243 Expires headers specified in RFC 7232 of the IETF.
- FIG. 17 shows an example of a media segment in which the Information Box (iinf) is expanded.
- the URL (Reference URL) of dinf is specified as https: //example/log/image2.jpg.
- the web engine 12 when the web engine 12 is connected to the Internet, it is updated by specifying Last_modifed recorded in item entry info in the "If Modifed-Since" header in the HTTP GET request to the URL. You can only get files provided by other devices on the Internet. It is also possible to invalidate the cached file by notifying the web engine 12 of Expires of item entry info, and replace the cached data with a new file.
- the client terminal 11 which is a DASH player may or may not reproduce Web Resource by the Web engine 12 when reproducing the A / V content of this MPD.
- it is an EssentialProperty, it indicates that the Web Resource must be played back to play the Period.
- DASH players that do not support web engine 12 need to either skip Period playback or play their entire MPD.
- the Web Resource specified in the Primary Item Box in the MetaBox of the ISOBMFF initialization file is loaded by the Web engine 12 as an Entry Page.
- the first Period indicates an example of SupplementalProperty.
- this EssentialProperty can optionally have an attribute called value, and the value shows that Web Resources other than Primary Item written in Meta Box of the initialization segment are loaded as Entry Page ing.
- the Web resource named index2.html recorded in the media segment whose Earliest Presentation Time in the media segment of Period is 60 seconds is entered It shows that it starts. For example, if a Supplemental Property of url: mpeg: EmbeddedEntrypageURL "is placed in the Adaptation Set, it is possible to change the Entry Page for each language of the Adaptation Set.
- the third Period has a ScehemeIdUrl of url: mpeg: EntrypageURL "as a SupplementalProperty, which is stored in ISOBMFF and not provided by Web Resource, but is provided from an Internet Web server and is defined as Web Resource as Entry page. Even in DASH content that does not include Web Resource, Web Application can be played simultaneously with A / V content.
- the network distribution system 21 is configured by connecting the client terminal 11 to the server device 23 via the network 22. Then, in the network distribution system 21, the distribution data generated by the distribution data generation device 24 is distributed to the client terminal 11 by the server device 23.
- the client terminal 11 includes a decryption unit 31 that decrypts MPEG-DASH content.
- the decryption unit 31 includes the media segment identification unit 32 and the Web Resource in addition to the web engine 12 and the A / V player 13 shown in FIG. It comprises the access part 33 and is comprised.
- the media segment specifying unit 32 is a media segment requested according to the playback time of the MPEG-DASH content by the web engine 12 (for example, a media segment in which a web resource to be subjected to random access by the web resource access unit 33 is arranged) Identify).
- the Web Resource access unit 33 accesses the Web Resource disposed in the media segment identified by the media segment identification unit 32 (for example, the media segment identified with reference to Item Information Entry stored in the MetaBox). .
- the processing performed by the media segment identification unit 32 and the Web Resource access unit 33 will be described with reference to the flowcharts of FIGS.
- the server device 23 is configured to distribute the corresponding Web Resource at the timing when the Web engine 12 of the client terminal 11 uses the Web Resource.
- the delivery data generation device 24 includes an encoding unit 41 that encodes MPEG-DASH content, and the encoding unit 41 includes a segment file generation unit 42 and a media segment processing unit 43.
- the segment file generation unit 42 generates a segment file as described above, and the media segment processing unit 43 divides the Web Resource into, for example, a predetermined number of divided data substantially equally, and the predetermined Earliest Presentation Time is continuous. Perform processing such as arranging in a number of media segments.
- the distribution data generation device 24 uploads the MPEG-DASH content, for which the segment file generation unit 42 has generated a segment file and the media segment processing unit 43 has processed the media segment, to the server device 23 and distributes it. .
- the initialization segment and the media segment are stored in one ISOBMFF file, and the segment index is used at the ISOBMFF file level.
- Web resource random access is performed when the decryption unit 31 in FIG. 19 indirectly refers to the Item referred to by the MetaBox of the initialization segment from the Item referred to by the MetaBox of the segment file. The process to be performed will be described.
- the decryption unit 31 starts processing when the Web engine 12 requests a Web Resource designated by a URL (for example, image2.jpg or the like) indicating item_name. Then, in step S11, the media segment identification unit 32 recognizes a URL indicating item_name of the Web Resource.
- a URL for example, image2.jpg or the like
- step S12 the media segment identification unit 32 reads the MetaBox from the ISOBMFF file or the moof of the ISOBMFF file.
- step S13 the media segment identification unit 32 searches for items that match the URL recognized in step S11 from the item information entry (infe) recorded in the item information box (iinf) in the MetaBox read out in step S12. Do.
- step S14 the media segment identification unit 32 determines whether or not infe matching the URL recognized in step S11 has been detected as a result of the search in step S13.
- step S14 when the media segment identification unit 32 determines that the infe that matches the URL recognized in step S11 can not be detected, the process proceeds to step S15. Then, in step S15, the media segment identification unit 32 returns an error response code (for example, 404 Not Found) indicating no detection to the web engine 12, and the process is ended.
- error response code for example, 404 Not Found
- step S14 determines in step S14 that the infe matching the URL recognized in step S11 has been detected.
- step S16 the Web Resource access unit 33 performs an extent reading process (see FIG. 21) for reading the extent based on the infe detected by the media segment identification unit 32 in step S13.
- step S17 the Web Resource access unit 33 causes the web engine 12 to read the data read in the Extent read process of step S16 together with the normal response code (for example, OK 200 etc.), ie, the web resource specified by the web engine 12. After returning, the process ends.
- the normal response code for example, OK 200 etc.
- FIG. 21 is a flowchart for explaining the Extent reading process performed in step S16 of FIG.
- step S21 the Web Resource access unit 33 searches the item location box in the MetaBox for an item having an item_id that matches the Item Information Entry (infe) identified by the media segment identification unit 32.
- step S22 as a result of the search in step S21, the Web Resource access unit 33 determines whether or not an item having an item_id that matches the infe identified by the media segment identification unit 32 has been detected.
- step S22 the Web Resource access unit 33 determines that the item having the item_id that matches the infe specified by the media segment specification unit 32 can not be detected, the process proceeds to step S15 of FIG. Is done.
- step S22 when the Web Resource access unit 33 determines that the item having the item_id that matches the detected infe has been detected, the processing proceeds to step S23.
- step S23 the Web Resource access unit 33 determines whether the data_reference_index of the detected item is 0 or not.
- step S23 when the Web Resource access unit 33 determines that the data_reference_index of the detected item is 0, the process proceeds to step S24.
- step S24 the Web Resource access unit 33 reads data for extent_length from the byte position of the extent_offset of the file, and after setting it as extent, the process proceeds to step S17 in FIG. 20 and the above-described process is performed.
- step S23 when the Web Resource access unit 33 determines that the data_reference_index of the detected item is not 0, the processing proceeds to step S31 in FIG.
- the media segment identification unit 32 reads the URL of the DataReference immediately preceding data_reference_index (data_reference_index-1) from DataInformationBox (dinf) in the MetaBox.
- step S32 the media segment identification unit 32 determines whether the URL of the DataReference read in step S31 is a reference URL including # presentation Time.
- step S32 when the media segment specifying unit 32 determines that the URL of DataReference is not a reference URL including # presentation Time, the process proceeds to step S33.
- step S33 the Web Resource access unit 33 reads the file of the DataReference URL identified by the media segment identification unit 32 from the Internet using HTTPS (Hypertext Transfer Protocol Secure). Then, the media segment identification unit 32 sets the read file as the corresponding Web Resource.
- HTTPS Hypertext Transfer Protocol Secure
- step S34 the Web Resource access unit 33 determines whether the reading of the file in step S33 has succeeded.
- step S34 when the Web Resource access unit 33 determines that reading of the file in step S33 is successful, the process proceeds to step S17 in FIG. 20, and the above-described process is performed.
- step S34 determines in step S34 that the reading of the file in step S33 has not succeeded (failed)
- the process proceeds to step S35.
- step S35 after the media segment identification unit 32 returns an HTTP error code to the web engine 12, the process is terminated.
- step S32 when the media segment specifying unit 32 determines that the URL of the DataReference is a reference URL including #presentationTime in step S32, the process proceeds to step S41 of FIG.
- the media segment identification unit 32 refers to the segment index of the ISOBMFF file and sets it as the media segment target of the range specified by # presentation_item and duration (range information).
- step S42 the media segment identification unit 32 reads the MetaBox of the target media segment from the ISOBMFF file.
- step S43 the media segment identification unit 32 searches the Item Information Entry ('infe') of the Information Box (iinf) in the MetaBox for a item whose item_name matches the URL. At this time, the media segment identification unit 32 ignores the symbol after the # symbol of item_name.
- step S44 the media segment specifying unit 32 determines whether or not infe in which item_name matches the URL has been detected as a result of the search in step S43.
- step S44 when the media segment specifying unit 32 determines that the item in which item_name matches the URL can not be detected, the process proceeds to step S15 in FIG. 20, and the above-described process is performed.
- step S44 determines in step S44 that the infe in which the item_name matches the URL has been detected.
- step S45 the Web Resource access unit 33 performs the same extent read processing as described above with reference to FIG. 21, and sets the corresponding web resource as a partial extent.
- step S46 the media segment identification unit 32 determines whether all target media segments have been processed.
- step S46 If it is determined in step S46 that the media segment identification unit 32 does not process all target media segments, the process returns to step S42, and the same process is repeated.
- step S46 determines in step S46 that all the target media segments have been processed
- step S47 the Web Resource access unit 33 combines the partial extents read by repeating the processing from step S42 to step S45, and after acquiring the entire extent of the Web Resource, the process proceeds to step S17 of FIG. The process proceeds as described above.
- the decryption unit 31 The process of will be described.
- step S12 of FIG. 20 and the process of step S41 of FIG. are performed similarly.
- step S12 of FIG. 20 processing for reading the MetaBox from the ISOBMFF file or the moof of the ISOBMFF file is performed.
- step S12 of FIG. 20 processing for reading the MetaBox from the ISOBMFF file or the moof of the ISOBMFF file is performed.
- step S12 of FIG. 20 processing for reading the MetaBox from the ISOBMFF file or the moof of the ISOBMFF file is performed.
- step S12 of FIG. 20 processing for reading the MetaBox from the ISOBMFF file or the moof of the ISOBMFF file is performed.
- the Live Profile processing is performed to read out the MetaBox of the Initization Segment file indicated by the MPD of MPEG-DASH.
- step S41 of FIG. 23 processing is performed for media segments in the range designated by # presentation_item and duration with reference to Segment Index of the ISOBMFF file.
- the MPD of the MPEG-DASH is referred to, the URL of the media segment file in the range designated by # presentation_item and the duration is specified, and the processing targeting these media segments is performed.
- the series of processes (decoding method) described above can be performed by hardware or software.
- the various functions are executed by installing a computer in which a program constituting the software is incorporated in dedicated hardware or various programs.
- the program can be installed, for example, on a general-purpose personal computer from a program recording medium on which the program is recorded.
- FIG. 24 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
- a central processing unit (CPU) 101 a read only memory (ROM) 102, and a random access memory (RAM) 103 are mutually connected by a bus 104.
- CPU central processing unit
- ROM read only memory
- RAM random access memory
- the input / output interface 105 is connected to the bus 104.
- the input / output interface 105 includes an input unit 106 including a keyboard, a mouse and a microphone, an output unit 107 including a display and a speaker, a storage unit 108 including a hard disk and a non-volatile memory, and a communication unit 109 including a network interface.
- a drive 110 for driving a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is connected.
- the CPU 101 loads the program stored in the storage unit 108 into the RAM 103 via the input / output interface 105 and the bus 104 and executes the program. Processing is performed.
- the program executed by the computer (CPU 101) is, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a magneto-optical disk, or a semiconductor It is recorded on a removable medium 111 which is a package medium including a memory or the like, or is provided via a wired or wireless transmission medium such as a local area network, the Internet, and digital satellite broadcasting.
- the program can be installed in the storage unit 108 via the input / output interface 105 by mounting the removable media 111 in the drive 110.
- the program can be received by the communication unit 109 via a wired or wireless transmission medium and installed in the storage unit 108.
- the program can be installed in advance in the ROM 102 or the storage unit 108.
- the present technology can also have the following configurations.
- the Web Resource of the distribution content is distributed and arranged in a plurality of media segments, and the Item Information Entry stored in the MetaBox of the initialization segment used in the distribution content is referred to, and the identified target to be accessed
- a decryption apparatus comprising: an access unit for accessing the Web Resource stored in a media segment.
- the delivery content is an MP4 file format, and The decryption apparatus according to (1), wherein the Item Information Entry is stored in an Information Box in the Meta Box.
- the decryption apparatus includes information for indirectly referring to Item Information Entry in the MetaBox of the plurality of media segments used for the delivery content.
- the decryption apparatus according to any one of (1) to (3), further comprising: a media segment identification unit that identifies the media segment in which the Web Resource to be accessed is arranged.
- the decryption apparatus according to (4), wherein the access unit randomly accesses the Web Resource identified by the media segment identification unit.
- the media on which the Web Resource is arranged so that the Item Information Entry stored in the MetaBox of the media segment of the reference destination can be accessed Information indicating the Earliest Presentation Time applicable to the segment is described,
- the decryption apparatus according to any one of (1) to (5), wherein the access unit accesses the Web Resource using information indicating the Earliest Presentation Time.
- the information indicating the Earliest Presentation Time is recorded as a URL (Uniform Resource Locator) of the DataReferenceBox in the MetaBox of the reference source, The decryption apparatus according to (6), wherein the access unit accesses the Web Resource using the URL.
- a media segment identification unit that identifies the media segment to be accessed based on the Earliest Presentation Time described in the URL and information on the delivery content
- the decryption apparatus accesses the Web Resource from a MetaBox stored in the media segment identified by the media segment identification unit.
- the Web Resource is divided substantially equally into a predetermined number of divided data, and each of the divided data is arranged in a predetermined number of the media segments in which Earliest Presentation Time is continuous,
- the decryption apparatus according to any one of (1) to (8), wherein the access unit acquires the entire Web Resource by collecting and combining the divided data.
- the MetaBox indicating the byte offset and byte size in the media segment is recorded,
- (13) When the Web Resource used when launching a Web Application and the Web Resource not used when launching are recorded and transmitted in separate Media Segments, In the Primary Item Box of the MetaBox, the Web Resource to be activated first is specified, and in the Meta Box, information indicating the other Web Resources necessary at the time of activation is listed.
- the decryption unit according to any one of (1) to (12), wherein the access unit activates the Web Application after acquiring all of the plurality of Web Resources required at startup from the corresponding media segment.
- Information indicating that the Web Resource has been updated or revoked is recorded in the Item Information Entry,
- the decryption apparatus according to any one of (1) to (13), wherein the access unit accesses the Web Resource based on the information recorded in the Item Information Entry.
- the decryption device according to (14), wherein the information indicating that the Web Resource has been updated or revoked is information corresponding to “Last Modified” and “Expires” headers defined by HTTP (Hypertext Transfer Protocol).
- the access unit accesses the Web Resource provided from another device on the Internet indicated by the Reference URL corresponding to the Item Information Entry, when the Web Resource is updated or expired.
- Decoding device 17.
- the decryption device The Web Resource of the distribution content is distributed and arranged in a plurality of media segments, and the Item Information Entry stored in the MetaBox of the initialization segment used in the distribution content is referred to, and the identified target to be accessed
- a decryption method comprising: accessing the Web Resource stored in a media segment.
- the Web Resource of the distribution content is distributed and arranged in a plurality of media segments, and the Item Information Entry stored in the MetaBox of the initialization segment used in the distribution content is referred to, and the identified target to be accessed
- a media segment processing unit that distributes and arranges web resources of distribution content into a plurality of media segments;
- a segment file generation unit which stores Item Information Entry stored in the MetaBox of an initialization segment used in the distribution content in the media segment to be specified as an access target.
- the delivery content is an MP4 file format
- the encoding apparatus according to (20) wherein the segment file generation unit stores the Item Information Entry in an Information Box in the Meta Box.
- the Web resource so that the segment file generation unit can access the Item Information Entry stored in the MetaBox of the media segment to be referred to in the Item Information Entry of the reference source stored in the initialization segment.
- the coding apparatus according to any one of the above (20) to (22), which describes information indicating Earliest Presentation Time that corresponds to the media segment in which is placed.
- the encoding apparatus (23), wherein the segment file generation unit records the information indicating the Earliest Presentation Time as a URL (Uniform Resource Locator) of a DataReferenceBox in the MetaBox of the reference source.
- the media segment processing unit arranges each of the divided data in a predetermined number of media segments in which Earliest Presentation Time is continuous such that the Web Resource is divided substantially equally into the predetermined number of divided data.
- the encoding apparatus as described in (20).
- the segment file generation unit is configured to associate the Earliest of each of the media segments in which a predetermined number of divided data pieces into which the Web Resource is divided is arranged in the URL for the Item Information Entry of the MetaBox referred to by the initialization segment.
- the encoding device including range information of Presentation Time.
- the segment file generation unit records the divided data in the Web Resource in each of the predetermined number of media segments when one of the Web Resources is divided into the predetermined number of divided data and arranged in the media segment.
- the encoding apparatus which records the MetaBox indicating a byte offset and a byte size in the media segment in the range.
- the segment file generation unit is configured to indicate, in the MetaBox, a byte offset of the divided data in the Web Resource and an entire byte of the Web Resource to indicate which part of the Web Resource divided into a predetermined number.
- the encoding device which records the size.
- the segment file generation unit designates, in the Primary Item Box of the MetaBox, the Web Resource to be activated first, and enumerates, in the Meta Box, information indicating the other Web Resources necessary for activation.
- the encoding device as described in 2.).
- the information indicating that the Web Resource has been updated or revoked is the information corresponding to the "Last Modified" and "Expires" headers defined in HTTP (Hypertext Transfer Protocol).
- the encoding apparatus according to (30) above .
- (32) The Web Resource of the distribution content is distributed and arranged in a plurality of media segments, and the Item Information Entry stored in the MetaBox of the initialization segment used in the distribution content is referred to, and the identified target to be accessed
- the delivery content is an MP4 file format, and The server apparatus according to (32), wherein the Item Information Entry is stored in an Information Box in the Meta Box.
- (34) Delivering the Web Resource specified with reference to the Item Information Entry including information for indirectly referencing Item Information Entry in the MetaBox of a plurality of media segments used for the delivery content described in (32) above Server device.
- the server apparatus which distributes the Web Resource that is identified and accessed based on the Earliest Presentation Time described in the URL and information related to the distribution content.
- the web resource is divided substantially equally into a predetermined number of divided data, and each of the divided data is arranged in a predetermined number of the media segments in which Earliest Presentation Time is continuous.
- Server device In the URL for the Item Information Entry of the MetaBox referred to by the initialization segment, range information of the Earliest Presentation Time of each of the media segments in which a predetermined number of divided data pieces into which the Web Resource is divided is arranged Included,
- the server apparatus according to (38), which distributes the Web Resource accessed to the media segment corresponding to the range information.
- each of the predetermined number of media segments is within the range in which the divided data in the Web Resource is recorded.
- the MetaBox indicating the byte offset and byte size in the media segment is recorded,
- the server apparatus according to (39) which delivers the Web Resource accessed using the MetaBox.
- a byte offset of the divided data in the Web Resource and an entire byte size of the Web Resource are recorded to indicate which part of the Web Resource divided into a predetermined number is configured.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本開示は、配信コンテンツをストリーミングする際の利便性を向上させることができるようにする復号装置、復号方法、およびプログラムに関する。 配信コンテンツのWeb Resourceが複数のメディアセグメントに分散して配置されていて、その配信コンテンツで用いられるイニシャライズセグメントのMetaBox内に格納されたItem Information Entryを参照し、アクセスの対象となる特定される。そして、その特定されたメディアセグメントに格納されたWeb Resourceに、ランダムアクセスする。本技術は、例えば、MPEG-DASHやMPEG-CMAFなどを用いて配信コンテンツをインターネット上でストリーミングするサービスに適用できる。
Description
本開示は、復号装置、復号方法、およびプログラムに関し、特に、MPEG-DASHやMPEG-CMAFなどを用いて配信コンテンツをストリーミングする際の利便性を向上させることができるようにした復号装置、復号方法、およびプログラムに関する。
近年、インターネット上のストリーミングサービスの基盤技術として、MPEG-DASH(Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP)や、MPEG-CMAF(Moving Picture Experts Group -Common Media Application Format for Segmented Media)などが普及し始めている。
また、MPEG-DASHまたはMPEG-CMAFを用いたストリーミングでは、例えば、ISOBMFF(ISO Base Media File Format)のMetaBoxを利用し、HTML5(HyperText Markup Language 5)やJavaScript(登録商標)などのWebアプリケーションを構成する複数ファイル(Web Resources)を、ISOBMFF内に記録して配信する技術が用いられている。ここで、ISOBMFFのMetaBoxについては、非特許文献1において開示されており、MPEG-CMAFについては、非特許文献2において策定されている。
Information technology . Coding of audio-visual objects .Part 12:ISO base media file format (ISO/IEC 14496-12:2015)
Information technology - Multimedia application forma .Part 19: Common media application format for segmented media (ISO/IEC 23000-19:2018)
ところで、従来のISOBMFFのMetaBoxをそのまま利用した場合には、例えば、必要とするWeb Resourceにランダムアクセスすることが困難であったり、アプリケーションの起動が遅くなったり、帯域適応型ストリーミングでは利用することが困難であったり、Web Resourceの更新および失効を判断することが困難であったりした。そのため、MPEG-DASHやMPEG-CMAFなどを用いて配信コンテンツをストリーミングする際の利便性が低下することになっていた。
本開示は、このような状況に鑑みてなされたものであり、MPEG-DASHやMPEG-CMAFなどを用いて配信コンテンツをストリーミングする際の利便性を向上させることができるようにするものである。
本開示の一側面の復号装置は、配信コンテンツのWeb Resourceが複数のメディアセグメントに分散して配置されていて、前記配信コンテンツで用いられるイニシャライズセグメントのMetaBox内に格納されたItem Information Entryを参照し、アクセスの対象となる特定された前記メディアセグメントに格納された前記Web Resourceにアクセスするアクセス部を備える。
本開示の一側面の復号方法は、復号装置が、配信コンテンツのWeb Resourceが複数のメディアセグメントに分散して配置されていて、前記配信コンテンツで用いられるイニシャライズセグメントのMetaBox内に格納されたItem Information Entryを参照し、アクセスの対象となる特定された前記メディアセグメントに格納された前記Web Resourceにアクセスすることを含む。
本開示の一側面のプログラムは、復号装置のコンピュータに、配信コンテンツのWeb Resourceが複数のメディアセグメントに分散して配置されていて、前記配信コンテンツで用いられるイニシャライズセグメントのMetaBox内に格納されたItem Information Entryを参照し、アクセスの対象となる特定された前記メディアセグメントに格納された前記Web Resourceにアクセスすることを含む復号処理を実行させる。
本開示の一側面においては、配信コンテンツのWeb Resourceが複数のメディアセグメントに分散して配置されていて、配信コンテンツで用いられるイニシャライズセグメントのMetaBox内に格納されたItem Information Entryを参照し、アクセスの対象となる特定されたメディアセグメントに格納されたWeb Resourceにアクセスされる。
本開示の一側面によれば、MPEG-DASHやMPEG-CMAFなどを用いて配信コンテンツをストリーミングする際の利便性の向上を図ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
<ISOBMFFファイルについて>
まず、図1乃至4を参照して、ISOBMFF規格において、Web ResourceをISOBMFFファイル内に記録し、A/V(Audio/Visual)コンテンツおよびWebアプリケーションを一つのISOBMFFファイルとして配信する技術について説明する。このような配信は、例えば、ISOBMFFファイルのMetaBoxのItem Information Box(iinf)にItem Information Entry('infe')を記録し、それに対応するDataReferenceBox('dref')のLocationInformationBox('iloc')でISOBMFFファイルに記録されたWeb Resourceを示すことで実現される。なお、明細書中において、MP4ファイルフォーマットとは、ISO BMFFで規格定義されるファイルフォーマットを意味する。
まず、図1乃至4を参照して、ISOBMFF規格において、Web ResourceをISOBMFFファイル内に記録し、A/V(Audio/Visual)コンテンツおよびWebアプリケーションを一つのISOBMFFファイルとして配信する技術について説明する。このような配信は、例えば、ISOBMFFファイルのMetaBoxのItem Information Box(iinf)にItem Information Entry('infe')を記録し、それに対応するDataReferenceBox('dref')のLocationInformationBox('iloc')でISOBMFFファイルに記録されたWeb Resourceを示すことで実現される。なお、明細書中において、MP4ファイルフォーマットとは、ISO BMFFで規格定義されるファイルフォーマットを意味する。
図1には、ISOBMFFファイルおよびクライアント端末の構成例が示されている。
図1では、"index.htm"と、"image1.jpg"および"image2.jpg"との2つのWeb ResourceがMetaBoxに記録されているISOBMFFファイルの一例が示されている。なお、ISOBMFFファイルのMetaBoxにおいて、LocationInformationBox('iloc')の替わりにDataReferenceEntryURLを利用することで、Item Information Entry('infe')からインターネットのサーバにおかれたWeb Resourceを参照することもできる。このように、A/VコンテンツおよびWebアプリケーションの両方を含んだISOBMFFファイルは、例えば、インターネットやストレージメディアなどを経由して配信される。
また、図1に示すように、クライアント端末11は、ウェブエンジン12、A/Vプレイヤ13、画像重畳部14、音声混成部15、ディスプレイ16、およびスピーカ17を備えて構成される。例えば、クライアント端末11は、スマートホンやテレビジョン受像機などにウェブエンジン12およびA/Vプレイヤ13を実装することで構成される。
そして、クライアント端末11では、ウェブエンジン12およびA/Vプレイヤ13がISOBMFFファイルを処理することにより得られる画像が画像重畳部14に供給され、それぞれの画像が画像重畳部14において重畳された後、ディスプレイ16に表示される。同様に、クライアント端末11では、ウェブエンジン12およびA/Vプレイヤ13がISOBMFFファイルを処理することにより得られる音声が音声混成部15に供給されて、それぞれの音声が音声混成部15により混成された後、スピーカ17から出力される。
なお、図1に示すISOBMFFファイルのMetaBoxでは、"index.html"はPrimary Item Box('pitm)により示されるPrimary Resourceとして記録され、A/Vコンテンツ再生の開始の時に起動されるWebアプリケーションのEntry Pageであることを示す。
一方で、ISOBMFFファイルをフラグメント化したISOBMFFファイルが、MPEG-DASHコンテンツとして用いられることが多くなっている。MPEG-DASHは、1つまたは複数のMovieFragmentBox(moof)とMediaDataBox(mdat)の組(対)からなるフラグメントのまとまりをメディアセグメントとして扱い、MPDによって記述された複数ビットレートでエンコードされたメディアセグメントを用意することで、帯域適応型のストリーミングを実現している。
図2には、各メディアセグメントのMovieFragmentBox(moof)に記録されたWeb Resourceが分散して配置されている例が示されている。
ISOBMFF規格によれば、図2に示すように、各moofに記録されたWeb Resourceを分散して配置する方法により"Just In Time Delivery"を実現すること、即ち、ウェブエンジン12がWeb Resourceを使用するタイミングで、そのWeb Resourceを配信することができる。
例えば、A/Vコンテンツの先頭である第1の再生開始時間(0秒)を再生開始するときに"index.html"および"image1.jpg"が配信され、ウェブエンジン12は、"index.html"および"image1.jpg"をディスプレイ16に表示させる。その後、第2の再生開始時間(60秒)となって"image2.jpg"が使用されるタイミングで"image2.jpg"が配信され、ウェブエンジン12は、"image1.jpg"に替えて"image2.jpg"をディスプレイ16に表示させる。そして、第3の再生開始時間(90秒)となったタイミングで、ウェブエンジン12は、"image2.jpg"を非表示とする。ISOBMFFファイルは、このようなWebアプリケーションでの利用が想定されている。
これにより、ストリーミング再生開始時にすべてのWeb ResourceをISOBMFFファイルの先頭にまとめて配信する必要がなくたるため、A/Vコンテンツの再生開始を高速にすることが可能となる。
図3には、図2に示すようにA/Vコンテンツの再生時間に合わせて表示を変更するWebアプリケーションの一例が示されており、図4には、このようなWebアプリケーションをウェブエンジン12が処理することによる"index.html"の表示例が示されている。即ち、図4に示すように、ディスプレイ16には、A/Vプレイヤ13により処理されるfile.mp4に重畳して、再生時間0から"image1.jpg"が表示され、再生時間60秒になると"image1.jpg"から"image2.jpg"に変更されて、90秒まで"image2.jpg"が表示される。
ところで、上述したような方法では、常に、A/Vコンテンツの先頭である第1の再生開始時間(0秒)から連続してストリーミング再生するときには効率的に処理を行うことができる。これに対し、ビデオ・オン・デマンドのサービスなどにおいて、A/Vコンテンツの先頭以外の第2の再生開始時間(例えば、60秒)や第3の再生開始時間(例えば、90秒)などから再生を開始するケースについて検討する。この場合、各メディアセグメントに配置されたWeb Resourceは先頭からA/Vコンテンツ再生に伴って順次アクセスされるのを前提としているため、それぞれの時点で必要とするWeb Resourceにランダムアクセスすることは極めて効率が悪く、高速にWebアプリケーションを起動し、A/Vコンテンツの表示を行うことが困難となっていた。従って、高速にWebアプリケーションを起動することができるように、それぞれの時点で必要とするWeb Resourceにランダムアクセスすることを可能とすることが求められている。
また、MPEG-DASHストリーミングのように限られたネットワークの帯域幅でA/Vコンテンツを再生する際に、例えば、特定のメディアセグメントにデータサイズが大きい静止画、ビデオ、またはオーディオのファイルが記録されているケースについて検討する。この場合、メディアセグメントのデータ量にばらつきが生じているため、コンテンツビットレートが局所的に変化してしまい、帯域適応型ストリーミングでは利用することが困難となる。従って、帯域適応型ストリーミングにおいて容易にすることができるように、できるだけビットレートを均一化することが求められている。
また、ATSC3.0規格でみられるように、放送やIPマルチキャストなどのような片方向伝送において、MPEG-DASHやMPEG-CMAFなどを用いてWebアプリケーションを含んだコンテンツを配信するケースについて検討する。この場合も、できるだけビットレートを均一にすることが求められるが、さらなる課題としてはA/Vコンテンツはメディアセグメントとして分割されているために、クライアント端末11が選局を開始時の途中からでも再生可能であるが、Webアプリケーションも直ちに起動できるように、同一のWeb Resourceを数秒単位で繰り返してカルーセル伝送を行うことが考えられる。ただし、この場合、Webアプリケーションのデータサイズが大きくなるとWebアプリケーションの起動が遅くなるか、もしくは、短い繰り返しのカルーセル伝送ための無駄な伝送帯域も多く必要とし、A/Vコンテンツのビットレートを下げる必要とかでてきて好ましくない。従って、カルーセル伝送で帯域幅を無駄にすることなくWeb Resourceを配信しつつ、かつ、Webアプリケーションの起動を速くすることが求められている。
また、ISOBMFFファイルにWeb Resourceを記録して、A/VコンテンツおよびWebアプリケーションを一括して配信するケースについて検討する。この場合、例えばWebアプリケーションのバグ、GUIデザインの改良、機能追加などを行いたいとき、LocationInformationBoxから示されるISOBMFFファイルに記録されたWeb Resourceの代りに、インターネットのサーバに置かれた最新のWeb Resourceでウェブエンジン12が使用したいというニーズがあった。一方、DataReferenceEntryURLではインターネットのWeb Resourceは参照することはできるが、ISOBMFFファイルで配信されたWeb Resourceの作成日時や失効日時などの情報がないために、ウェブエンジン12は、どちらのWeb Resourceを使えば良いかを判断できなかった。
また、放送やIPマルチキャストなどのような片方向伝送にて、MPEG-DASHやMPEG-CMAFなどを用いてWebアプリケーションを含んだコンテンツを配信する場合、Web Resourceの更新日時や失効日時がわからなかったためクライアント端末11はWeb Resourceのキャッシングを効率良く行うことができなかった。つまり、クライアント端末11は更新、失効していないWeb Resourceは受信せずに、キャッシングしたWeb Resourceを使えるようにしたいというニーズがあった。従って、ISOBMFFファイルに記録されたWeb Resourceの更新および失効の判断を可能とすることが求められている。
そこで、以下で説明するISOBMFFファイルの構成例は、上述したように、ランダムアクセスを可能とすることや、ビットレートの均一化を図ること、カルーセル伝送で帯域幅を無駄にすることなくWebアプリケーションの起動を速くすること、ISOBMFFファイルに記録されたWeb Resourceの更新および失効の判断を可能とすることなどを実現することを目的としている。
<ランダムアクセスを可能とするISOBMFFファイルの構成例>
図5乃至図9を参照して、ランダムアクセスを可能とするISOBMFFファイルの構成例について説明する。
図5乃至図9を参照して、ランダムアクセスを可能とするISOBMFFファイルの構成例について説明する。
図5には、ランダムアクセスを可能とするISOBMFFファイルの構成例が示されている。
例えば、図5に示すISOBMFFファイルは、MPEG-DASHコンテンツで利用されるISOBMFFファイルの各メディアセグメントに分散して" Just In Time Delivery "でWeb Resourceが配置された構成となっている。そして、ISOBMFFファイルでは、そのMetaBoxの記録が、それに対応するDataReferenceBox('dref')のItemLocatoinBox('iloc')で行われている。
さらに、ISOBMFFファイルでは、以下のようにファイルレベルにて、MetaBoxのDataReferenceBox('dref')内のURL(Uniform Resource Locator)が、各メディアセグメントのWeb Resourceを直接参照、または、メディアセグメント内のItem Information Entryを用いて間接参照が行われる。これにより、ISOBMFFファイルは、ファイルレベルのMetaBoxのItem Information Entryから各メディアセグメントのWeb Resourceがアクセスできるような構成となっている。
例えば、ISOBMFF規格によればItem Location を利用することで別ファイルのExtentを参照可能であるが、MPEG-DASHやMPEG-CMAFなどの配信コンテンツのフラグメント化されたISOBMFFファイルでは、メディアセグメントが別々のファイルに分割されて扱うことになるため、バイトオフセットでは扱い難かった。また、メディアセグセグメントが生成済でないと参照するItem Location Entryを作れないという不都合がある。
これに対し、以下で説明するようにISOBMFFファイルでは、DataReferenceBoxを使用して、URLで各メディアセグメントのWeb Resourceを直接参照するか、または、それぞれのメディアセグメントのmoofのMetaBoxを利用した間接参照が行われる。
例えば、図6および図7を参照して、メディアセグメントがmoofおよびmdatを各々含む構造になっているMPEG-DASHコンテンツを例に、Web Resourceをメディアセグメントに記録する方法について説明する。
図6には、ISOBMFFファイルが複数のメディアセグメントファイルに分割されているときに、Earliest Presentation TimeがPT0Sであるメディアセグメントファイルの構造、即ち、A/Vコンテンツの先頭のメディアセグメントファイルの構造が示されている。
例えば、moofにはMetaBoxが配置され、そのMetaBoxは、Audioのtrackの他、Handler Box(hdlr),Primary Item Box(pitm),Information Location Box(iloc),Item Information Box(iinf)を記録する。
また、iinf BoxにはItem Information Entryが記録され、図6に示す例では、Entry_count=2となっており、2つのItemが記録されていることが示されている。そして、1番目のItem Information Entryはitem_id=0であり、item_name=index.htmlよりItemのファイル名を知ることができる。また、2番目のItem Information EntryはItem_id=1であり、item_name=image1.jpgである。
また、iloc Boxには、それぞれのItem_IDで特定されるItemのファイルの中身(Extent)の保存場所が記録され、図6に示す例では、item_count=2となっており、2つのitemのロケーションが記録されていることが示されている。そして、1番目のItem Location Entryではitem_id=0であることより、index.htmlに相当することが示されている。また、data_reference_index=0であることより、同一のファイル内にこのItemのExtentが記録されているということが示されている。
例えば、MPEG-DASHコンテンツでは、セグメントファイルが別々のファイルに分割されるのを想定し、moofのTrack Fragment Header Boxesのbase‐data‐offset‐present を0にし、default-base_is_moofを1にしてmoofおよびmdatの対からなるセグメント内の相対位置でオフセットしている。図6に示す例では、index.htmlのextentのextent_offsetでは、メディアセグメントファイルの先頭から実際にmdatに記録されたindex.htmlまでのバイトオフセットB0が指定される。また、extent_lengthには、index.htmlのファイルサイズであるL0が記録される。同様に、image1.jpgのextentのextent_offsetでは、バイトオフセットB1が指定され、extent_lengthには、image1.jpgのファイルサイズであるL1が記録される。
また、pitmには、HTMLによるWebアプリケーションにおいて最初にロードされるItemが指定される。図6に示す例では、pitmのitem_id=0であることから、ウェブエンジン12は、index.htmlを最初にロードすることになる。
図7には、Earliest Presentation TimeがPT60Sであるメディアセグメントファイルの構造、即ち、A/Vコンテンツの先頭から再生を開始した場合に、60秒後に再生されるメディアセグメントの構造が示されている。
図7に示すメディアセグメントでは、iinf BoxのItem Information EntryにおいてEntry_count=1となっていることより、1つのItemが記録されていることが示されている。そして、iinf Boxにはitem_name=image2.jpgと示され、iloc Boxにはextent_offset= B2およびextent_length= L2と示されており、image2.jpgがメディアセグメントファイルの先頭からB2バイトでファイルサイズL2にて記録されていることを表している。なお、ウェブエンジン12が、PT0Sのメディアセグメントファイルに記録されていたindex.htmlを既に処理している想定であることより、PT60Sであるメディアセグメントファイルには、pitmは記録されない。
ここまで説明したように、ISOBMFF規格で実現できるMetaBoxよってWeb Resourceを各メディアセグメントに記録することができる。そして、本実施の形態では、以下で説明するように、イニシャライズセグメント(ヘッダー)にMetaBoxを記録する。これにより、メディアセグメントのWeb Resourceにランダムアクセスを行うことを可能とする。
図8に示すイニシャライズセグメントは、moovに配置されたMetaBoxのiinf、各メディアセグメントにおかれたWeb ResourceのItemが、合計3つのItem Information Box Entryに記録され、item_nameはindex.html, image1.jpg, image2.jpgである。また、ilocには、それぞれのItemの保存場所が記録されており、data referenceに0以外が指定され、これはdinf(DataInformationBox)を配置し、他のファイルをURLにて間接的に参照できるようにする。
そして、メディアセグメントのMetaBoxのItemに間接参照する場合には、図8のイニシャライズセグメントは、dinfに記載されるURLの形式に特徴があり、#presentationTime= PT0S,track_id=1,item_name=indexのような形式が、URLに新たに定義されている。これは、ISOBMFFファイルのメディアセグメントのEarliest Presentation TimeがPT0SのTrack_1にある、index.htmlというItemを間接的に参照するという意味のURLである。
そして、メディアセグメントに配置されたWeb Resourceを直接参照する場合には、図8のイニシャライズセグメントは、dinfに記載されるURLの形式に特徴があり、#presentationTime=PT0Sのような形式が、URLに新たに定義されている。これは、ISOBMFFファイルのメディアセグメントのEarliest Presentation TimeがPT0Sのセグメントファイルを直接的に参照するという意味のURLである。直接参照の場合は、セグメントファイル内に配置されたWeb ResourceのExtentの範囲を特定するために、参照元のイニシャライズセグメントのMetaBoxの該当のItemのilocに記載されたextent_offsetには0以外が指定されることになる。
このように、URLの形式を新たに定義することで、ウェブエンジン12は、各メディアセグメントに含まれたWeb Resourceへのランダムアクセスが可能となる。例えば、MPEG-DASHコンテンツが、On Demand ProfileのようにSegment Indexを使っていた場合には、該当のmoofを含むメディアセグメント特定することができる。また、例えば、MPEG-DASHコンテンツが、Live Profileのようにメディアセグメントが別のファイルになっていた場合には、MPDより、該当のmoofを含むメディアセグメントファイルを特定することができる。なお、MPEG-CMAFファイルにおいてはManifest Fileより、該当のmoofを含むメディアセグメントファイルを特定することができる。これにより、ウェブエンジン12は、該当メディアセグメントを取得し、そのメディアセグメントのmoofには、図8に示すようなMetaBoxが記録されているので、track_id=1,item_name=1に該当するWeb ResourceのExtentをmdatから取り出すことができる。
このように、MPEG-DASHコンテンツが、On Demand ProfileのようにSegment Indexを使っていた場合でも、Live Profileのようにメディアセグメントが別のファイルになっていた場合でも、ウェブエンジン12は、各メディアセグメントに含まれたWeb Resourceへのランダムアクセスが可能となる。
ここで、図8に示したメディアセグメントのMetaBoxで記録されたWeb ResourceをURLで参照する方法は、ISO/IEC 14496-30に規定されるTimed text tracksやTimed metadata trackなどのように再生時間のタイミング情報を持ったWeb Resource("Timed Web Assets"と呼ばれる)でも利用可能である。
例えば、図9に示すように、Timed Text Trackのサンプルとして記録されたHTMLファイルから、図8を参照して説明したようなURLを利用して、MetaBoxで記録されたResourceを参照することが可能となる。
<ビットレートの均一化を図るISOBMFFファイル>
図10乃至図12を参照して、ビットレートの均一化を図るISOBMFFファイルについて説明する。
図10乃至図12を参照して、ビットレートの均一化を図るISOBMFFファイルについて説明する。
上述したように、DASHコンテンツのメディアセグメントにWeb Resourceを記録する際に、Web Resourceのファイルサイズが大きくなると、そのメディアセグメントのみファイルサイズが大きくなり、DASHコンテンツのビットレートが均一でなくなってしまう。例えば、DASHコンテンツの8MBpsのコンスタントビットレートでエンコードされ、Segment Durationが1秒の場合、メディアセグメントは1Mバイトである。これに対し、WebアプリケーションのJPEGやPNGのファイルなどは2k, 4Kの解像度になると1Mバイトを超える場合あり、Webアプリケーションを記録したメディアセグメントのみファイルサイズが大きくなってしまう。
図10に示すメディアセグメントでは、Image2.jpgのExtentが、3つの部分Extent(分割データ)に略均等に分割された例が示されている。例えば、1番目の部分ExtentのファイルサイズはB2-1バイトであり、Earliest Presentation Timeが60秒のメディアセグメントに保存されている。また、2番目の部分ExtentのファイルサイズはB2-2バイトであり、Earliest Presentation Timeが61秒であるメディアセグメントに保存されている。同様に、3番目の部分ExtentのファイルサイズはB2-3バイトであり、Earliest Presentation Timeが62秒のメディアセグメントに保存されている。
また、図10では、それぞれのitem information entryが部分Extentで相当することを示すように"image2.jpg"に#記号と1から始まる番号が付けられてitem_nameとなっている。つまり、1番目の部分Extentはitem_name= image2.jpg#1となっており、2番目の部分Extentはitem_name= image2.jpg#2となっており、3番目の部分Extentはitem_name= image2.jpg#3となっている。
このようなメディアセグメントでは、図11に示すように、Item Location BoxのitemのentryにはExtent_position(バイトオフセット)とtotal_Size(全体バイトサイズ)の2つの拡張パラメータが追加され、各部分ExtentがWeb ResourceのExtentのどの位置に相当するかが示されている。これにより、例えば、2番目の部分Extent(PT61S)を取得した後に、全体のExtentを取得するには、前後のEarliest Presentatin Timeのメディアセグメントを取得する必要があることと判断される。
図12には、Web ResourceのExtentを複数のメディアセグメントに配置した構成におけるイニシャライズセグメントのMetaBoxの一例が示されている。
図12に示すように、image2.jpgのdinfのdrefのURLは、#presentationTime= PT60S,duration=PT3S,track_id=1,item_name=image2.jpgとなり、"duration=PT3S"というパラメータが追加されている。これは、PT60Sから3秒間のメディアセグメントにimage2.jpgの部分Extentが記録されていることを示している。
従って、図1のウェブエンジン12は、Earliest presentation timeが60S,61S,62Sである3つのセグメントからitem_nameがimage2.jpgを含むitemのextentを取得し、それらを合成することでimage2.jpgを取得することができる。
<Webアプリケーションの起動の高速化を図るISOBMFFファイルの構成例>
図13乃至図15を参照して、Webアプリケーション起動の高速化を図るISOBMFFファイルの構成例について説明する。
図13乃至図15を参照して、Webアプリケーション起動の高速化を図るISOBMFFファイルの構成例について説明する。
まず、Webアプリケーションの起動の遅れについて説明する。
例えば、ATSC 3.0のように、MPEG-DASHコンテンツを放送やIPマルチキャストなどのような片方向伝送にてクライアント端末11にブロードキャストするといった用途について考える。この場合、MPEG-DASHのLive Profileが使用され、各メディアセグメントは別々のファイルとして伝送されることになる。このメディアセグメントにWebアプリケーションのWeb Resourceを記録することはできるが、片方向伝送のためランダムアクセスすることができない。
そこで、図13に示すように、同一のWeb Resourceを一定期間で繰り返す、所謂、カルーセル伝送が行われることになる。
図13に示す例では、index.html,image1.jpg,image2.jpgのまとまりの単位が、繰り返し伝送されている。これにより、図1のクライアント端末11は、第1から第3までの再生開始時間のいずれの時間で放送サービスを受信した場合であっても、放送サービスに連動したインタラクティブなWebアプリケーションのindex.htmlを起動することができる。なお、例えば、クライアント端末11が、第2の再生開始時間から受信を開始した場合には、index.htmlを含むメディアセグメントを受信するまで待機して起動することになり、Webアプリケーションの起動の遅れてしまう。
ところで、従来のISOBMFF規格では、Primary Item Box(pitm)で示される最初にウェブエンジン12にロードされ起動時に使用されるWeb Resource(例えば、image1.jpg)と、起動後に必要はWeb Resource(例えば、image2.jpg)とを区別する仕組みがない。このため、image2.jpgがindex.htmlから使用されるかの判断がつかないため、第1の再生開始時間にてindex.htmlおよびimage1.jpgを受信した場合、ただちにindex.htmlを起動すればいいのか、image2.jpgの受信を待ってからindex.htmlを起動すればいいのかを判断することができない。仮に、index.htmlの起動時にimage1.jpgおよびimage2.jpgの両方が必要な場合には、image2.jpgが正しく表示されなくなってしまう。
そこで、Webアプリケーション起動の高速化を図るために、Item InformationBoxを拡張したBundle Item Information Boxを設け、後続のメディアセグメントに保存されているがItemをまとめて使用するものであることを明示的に示せるようにする。
図14には、Bundle Information Boxの形式が示されている。
図14に示すように、Bundle Information Boxは、MetaBox内にItem InformationBoxと一緒に配置される。そして、このItem Information Boxを使用する場合は、Bundle ItemInfoEntryに書かれたitem_nameで示されるWeb Resourceが後続のメディアセグメントのItem Information Item内のItemに受信されたときに、一緒に使用されることを示している。
図15には、Bundle Information Boxを含むメディアセグメントの一例が示されている。
図15に示すように、Earliest presentation timeが0秒であるセグメントファイルはPrimary Item Boxを持ち、Primary Item Boxには、index.htmlのItemが示されている。一方、BundleInformationBox(binf)には、image1.jpgのitemが示されている。従って、クライアント端末11のウェブエンジン12は、index.htmlを起動するのは、次の1秒のセグメントファイルに含まれるimage1.jpgを受信してから、index.htmlをロードする。
その他の利用としては、例えば、MPEG-DASHのメディアセグメントファイルが放送のターゲット広告などに応用することが考えられる。例えば、それらがWeb ResourceとしてISOBMFFファイルに保存される場合に、広告期間に相当するセグメントファイル群の先頭のセグメントファイルを含むItem InformationとともにBundle Information Boxを持つ。そして、そのitemに他のセグメントファイルをBundle Information Entryとして列挙することで、広告期間のすべてのセグメントファイルが受信できている場合のみ、広告の置き換えを行うことができる。
なお、仮に、すべてのセグメントファイルが受信できていない状態にてWebアプリケーションが広告表示を行った場合、正しく広告が表示できないために著しい問題が発生すると想定される。これに対し、上述したようなBundle Information Boxを含むメディアセグメントを利用することで、そのような問題の発生を回避することができる。
<Web Resourceの更新および失効の判断を可能とするISOBMFFファイルの構成例>
図16および図17を参照して、Web Resourceの更新および失効の判断を可能とするISOBMFFファイルの構成例について説明する。
図16および図17を参照して、Web Resourceの更新および失効の判断を可能とするISOBMFFファイルの構成例について説明する。
図16には、ISOBMFFファイルに保存していたWeb Resourceが更新されていた場合に、失効していることが示せるように拡張されたItemInfoEntryの一例が示されている。例えば、ItemInfoEntryが、IETFのRFC 7232で規定するLast_ModifiedおよびRFC-7243 Expiresのヘッダーと同等の値を記録することができるように拡張する。
図17には、Information Box(iinf)が拡張されたメディアセグメントの一例が示されている。
図17に示すメディアセグメントでは、iinfにおいて、image2.jpgに対してlast-Modifedおよびexpiresが指定される。また、ilocにおいて、ファイルに記録されたExtentが示される他、item entryと、dinfのURLを示すitem_entryが示されている。
ここで、図17に示す例では、dinfのURL(ReferenceURL)は、https://example/log/image2.jpgと指定されている。このとき、例えば、ウェブエンジン12がインターネットに接続されている場合、そのURLへのHTTP GETのリクエストに"If Modifed-Since"ヘッダーにitem entry infoに記録されたLast_modifedを指定することで、更新された場合のみ、インターネット上の他の装置から提供されるファイルを取得することができる。また、item entry infoのExpiresをウェブエンジン12に通知することでキャッシュされたファイルを失効させ、新たなファイルでキャッシュデータを置き換える事も可能である。
以上のように、MPEG-DASHで使用されるメディアセグメントにWeb Resourceを保存して配信する際に、ランダムアクセスを可能とすることや、ビットレートの均一化を図ること、カルーセル伝送で帯域幅を無駄にすることなくWebアプリケーションの起動を速くすること、ISOBMFFファイルに記録されたWeb Resourceの更新および失効の判断を可能とすることができるISOBMFF規格の拡張について説明した。
なお、MPEG-DASHのメディアセグメントやMPEG-CMAFのセグメントにWeb Resourceを配置する際に、前述したMetaBoxを用いる方法以外に、Event Message Box(emsg)を用いる方法がある。その場合、Web Resourceもemsgボックス内に配置することもできるし、前述と同様にmdat内に配置することもできる。例えば、どちらの場合にも前述のイニシャライズセグメントおよびメディアセグメントのMetaBoxに記載した内容に相当するWeb Resourceにアクセスするための情報をEvent Message Box 内に記載することによって、同様の効果を得ることができる。さらに、以下では、MPEG-DASHのMPDにて、そのように拡張されたISOBMFFファイルを利用する際の実施の形態について説明する。
即ち、MPEG-DASHのMPDを拡張し、EssentialPropertyまたはSupplementalPropertyとして"urn:mpegEmbeddedEntryPageURL"というSchemeIdUriを定義し、Period, AdaptationSet, Representationの何れかに追加できるようにする。
例えば、SupplementalPropertyの場合は、該当のPeriodのいずれかのTrackにはISOBMFFファイルにはWeb Resourceが保存されていることを示している。従って、DASHプレイヤであるクライアント端末11は、このMPDのA/Vコンテンツを再生する時にWeb Resourceをウェブエンジン12で再生しても再生しなくてもよい。一方、EssentialPropertyであった場合は、そのPeriodの再生にはWeb Resourceを再生しなければならないことを示している。従って、ウェブエンジン12がサポートされていないDASHプレイヤは、Period再生をスキップするか、そのMPD全体を再生する必要がある。
これにより、例えば、A/Vコンテンツの再生時に必ずWebアプリを起動させ、広告バナーを再生させるなどのことが可能である。また、ISOBMFFのイニシャライゼーションファイルのMetaBox内のPrimary Item Boxで指定されたWeb ResourceをEntry Pageとしてウェブエンジン12でロードすることになる。
図18を参照して、MPEG-DASHのMPDの拡張について説明する。
図18に示すMPEG-DASHのMPDにおいて、1番目のPeriodは、SupplementalPropertyの例を示している。
また、2番目のPeriodは、このEssentialPropertyにはvalueというアトリビュートをオプショナルで持たすことができ、valueにはイニシャライズセグメントのMeta Boxで書かれたPrimary Item以外のWeb ResourceをEntry Pageとしてロードすることを示している。また、"#presentation_time=PT60S,track_id=1,item_name=index2.html"では、Periodのメディアセグメント内のEarliest Presentation Timeが60秒に該当するメディアセグメントに記録されたindex2.htmlというWeb ResourceをEntry Pageとして起動することを示している。例えば、Adaptation Setにurl:mpeg:EmbeddedEntrypageURL"のSupplementalPropertyを配置した場合は、Adaptation Setの言語ごとにEntry Pageを変更したりすることが可能である。
また、3番目のPeriodでは、SupplementalPropertyとしてurl:mpeg:EntrypageURL"というScehemeIdUrlを持ち、これはISOBMFFに保存されてWeb Resourceではなく、インターネットのWeb サーバから提供されWeb ResourceをEntry pageとしている。これにより、Web Resourceを含まないDASHコンテンツにおいてもWeb ApplicationをA/Vコンテンツと同時に再生することができる。
<ネットワーク配信システムの構成例>
図19乃至図23を参照して、上述したようにISOBMFFファイルを利用し、ネットワークを介してMPEG-DASHコンテンツを配信するネットワーク配信システムの構成例、および、クライアント端末11において行われる処理について説明する。
図19乃至図23を参照して、上述したようにISOBMFFファイルを利用し、ネットワークを介してMPEG-DASHコンテンツを配信するネットワーク配信システムの構成例、および、クライアント端末11において行われる処理について説明する。
図19に示すように、ネットワーク配信システム21は、クライアント端末11がネットワーク22を介してサーバ装置23に接続されて構成される。そして、ネットワーク配信システム21では、配信データ生成装置24において生成された配信データが、サーバ装置23によりクライアント端末11に配信される。
クライアント端末11は、MPEG-DASHコンテンツを復号する復号部31を備えており、復号部31は、図1に示したウェブエンジン12およびA/Vプレイヤ13の他、メディアセグメント特定部32およびWeb Resourceアクセス部33を有して構成される。
メディアセグメント特定部32は、ウェブエンジン12によるMPEG-DASHコンテンツの再生時間に応じて要求されるメディアセグメント(例えば、Web Resourceアクセス部33によるランダムアクセスの対象となるWeb Resourceが配置されているメディアセグメント)を特定する。Web Resourceアクセス部33は、メディアセグメント特定部32により特定されたメディアセグメント(例えば、MetaBox内に格納されたItem Information Entryを参照して特定されるメディアセグメント)に配置されているWeb Resourceにアクセスする。なお、メディアセグメント特定部32およびWeb Resourceアクセス部33が行う処理については、図20乃至図23のフローチャートを参照して説明する。
サーバ装置23は、クライアント端末11のウェブエンジン12がWeb Resourceを使用するタイミングで、該当のWeb Resourceを配信するように構成される。
配信データ生成装置24は、MPEG-DASHコンテンツを符号化する符号化部41を備えており、符号化部41は、セグメントファイル生成部42およびメディアセグメント処理部43を有して構成される。セグメントファイル生成部42は、上述したようなセグメントファイルを生成し、メディアセグメント処理部43は、例えば、Web Resourceを、所定数の分割データに略均等に分割して、Earliest Presentation Timeが連続した所定数のメディアセグメントに配置する処理などを行う。
そして、配信データ生成装置24は、セグメントファイル生成部42によりセグメントファイルが生成され、メディアセグメント処理部43によりメディアセグメントに対する処理が行われたMPEG-DASHコンテンツを、サーバ装置23にアップロードして配信させる。
図20乃至図23のフローチャートを参照して、MPEG-DASHコンテンツのOn Demandプロファイルの場合であって、かつ、1つのISOBMFFファイルの中にイニシャライズセグメントとメディアセグメントが保存され、ISOBMFFファイルレベルにSegmentIndexにより各々のメディアセグメントが参照されている場合において、図19の復号部31が、イニシャライズセグメントのMetaBoxの参照元のItemからセグメントファイルのMetaBoxの参照先のItemに間接参照する場合においてWeb Resourceヘランダムアクセスする処理について説明する。
例えば、復号部31は、ウェブエンジン12によりitem_nameを示すURL(例えば、image2.jpgなど)で指定されたWeb Resourceが要求されると処理を開始する。そして、ステップS11において、メディアセグメント特定部32は、そのWeb Resourceのitem_nameを示すURLを認識する。
ステップS12において、メディアセグメント特定部32は、ISOBMFFファイル、または、そのISOBMFFファイルのmoofからMetaBoxを読み出す。
ステップS13において、メディアセグメント特定部32は、ステップS12で読み出したMetaBox内のItem Information Box(iinf)に記録されているItem Information Entry(infe)から、ステップS11で認識したURLに一致するものの検索を行う。
ステップS14において、メディアセグメント特定部32は、ステップS13における検索の結果、ステップS11で認識したURLに一致するinfeを検出することができたか否かを判定する。
ステップS14において、メディアセグメント特定部32が、ステップS11で認識したURLに一致するinfeを検出することができなかったと判定した場合、処理はステップS15に進む。そして、ステップS15において、メディアセグメント特定部32は、未検出を示すエラー応答コード(例えば、404 Not Found)をウェブエンジン12に返した後、処理は終了される。
一方、ステップS14において、メディアセグメント特定部32が、ステップS11で認識したURLに一致するinfeを検出することができたと判定した場合、処理はステップS16に進む。
ステップS16において、Web Resourceアクセス部33は、ステップS13でメディアセグメント特定部32により検出されたinfeに基づいて、Extentを読み込むExtent読み込み処理(図21参照)を行う。
ステップS17において、Web Resourceアクセス部33は、ウェブエンジン12に、通常応答コード(例えば、OK 200など)とともに、ステップS16のExtent読み込み処理で読み込んだデータ、即ち、ウェブエンジン12により指定されたWeb Resourceを返した後、処理は終了される。
図21は、図20のステップS16で行われるExtent読み込み処理を説明するフローチャートである。
ステップS21において、Web Resourceアクセス部33は、MetaBox内のItem Location Boxから、メディアセグメント特定部32により特定されたItem Information Entry(infe)に一致するitem_idを持つitemの検索を行う。
ステップS22において、Web Resourceアクセス部33は、ステップS21における検索の結果、メディアセグメント特定部32により特定されたinfeに一致するitem_idを持つitemを検出できたか否かを判定する。
ステップS22において、Web Resourceアクセス部33が、メディアセグメント特定部32により特定されたinfeに一致するitem_idを持つitemを検出できなかったと判定した場合、処理は図20のステップS15に進み、上述した処理が行われる。
一方、ステップS22において、Web Resourceアクセス部33が、検出されたinfeに一致するitem_idを持つitemを検出できたと判定した場合、処理はステップS23に進む。
ステップS23において、Web Resourceアクセス部33は、検出したitemのdata_reference_indexが0であるか否かを判定する。
ステップS23において、Web Resourceアクセス部33が、検出したitemのdata_reference_indexが0であると判定した場合、処理はステップS24に進む。
ステップS24において、Web Resourceアクセス部33は、ファイルのextent_offsetのバイト位置からextent_length分のデータを読み、Extentとした後、処理は図20のステップS17に進み、上述した処理が行われる。
一方、ステップS23において、Web Resourceアクセス部33が、検出したitemのdata_reference_indexが0でないと判定した場合、処理は図22のステップS31に進む。
図22に示すように、ステップS31において、メディアセグメント特定部32は、MetaBox内のDataInformationBox(dinf)から、data_reference_indexの1つ前(data_reference_index-1番目)のDataReferenceのURLを読み取る。
ステップS32において、メディアセグメント特定部32は、ステップS31で読み取ったDataReferenceのURLは、#presentationTimeを含む参照URLであるか否かを判定する。
ステップS32において、メディアセグメント特定部32が、DataReferenceのURLは、#presentationTimeを含む参照URLでないと判定した場合、処理はステップS33に進む。
ステップS33において、Web Resourceアクセス部33は、メディアセグメント特定部32により特定されたDataReferenceのURLのファイルをインターネットからHTTPS(Hypertext Transfer Protocol Secure)で読み込む。そして、メディアセグメント特定部32は、その読み込んだファイルを、該当のWeb Resourceとする。
ステップS34において、Web Resourceアクセス部33は、ステップS33でのファイルの読み込みに成功したか否かを判定する。
ステップS34において、Web Resourceアクセス部33が、ステップS33でのファイルの読み込みに成功したと判定した場合、処理は図20のステップS17に進み、上述した処理が行われる。
一方、ステップS34において、Web Resourceアクセス部33が、ステップS33でのファイルの読み込みに成功していない(失敗した)と判定した場合、処理はステップS35に進む。
ステップS35において、メディアセグメント特定部32は、HTTPのエラーコードをウェブエンジン12に返した後、処理は終了される。
一方、ステップS32において、メディアセグメント特定部32が、DataReferenceのURLは、#presentationTimeを含む参照URLであると判定した場合、処理は図23のステップS41に進む。
図23に示すように、ステップS41において、メディアセグメント特定部32は、ISOBMFFファイルのSegment Indexを参照し、#presentation_itemとduration(範囲情報)で指定される範囲のメディアセグメント対象とする。
ステップS42において、メディアセグメント特定部32は、対象のメディアセグメントのMetaBoxをISOBMFFファイルから読み込む。
ステップS43において、メディアセグメント特定部32は、MetaBox内のInformation Box(iinf)のItem Information Entry('infe')から、item_nameがURLと一致するものを検索する。このとき、メディアセグメント特定部32は、item_nameの#記号以降は無視する。
ステップS44において、メディアセグメント特定部32は、ステップS43における検索の結果、item_nameがURLと一致するinfeを検出することができたか否かを判定する。
ステップS44において、メディアセグメント特定部32が、item_nameがURLと一致するinfeを検出することができなかったと判定した場合、処理は図20のステップS15に進み、上述した処理が行われる。
一方、ステップS44において、メディアセグメント特定部32が、item_nameがURLと一致するinfeを検出することができたと判定した場合、処理はステップS45に進む。
ステップS45において、Web Resourceアクセス部33は、図21を参照して上述したのと同様のExtent読み込み処理を行い、該当のWeb Resourceを部分Extentとする。
ステップS46において、メディアセグメント特定部32は、対象の全てのメディアセグメントを処理したか否かを判定する。
ステップS46において、メディアセグメント特定部32が、対象の全てのメディアセグメントを処理していないと判定した場合、処理はステップS42に戻り、以下、同様の処理が繰り返される。
一方、ステップS46において、メディアセグメント特定部32が、対象の全てのメディアセグメントを処理したと判定した場合、処理はステップS47に進む。
ステップS47において、Web Resourceアクセス部33は、ステップS42からステップS45までの処理を繰り返すことにより読み出した部分Extentを合成して、Web Resourceの全体のExtentを取得した後、処理は図20のステップS17進み、上述した処理が行われる。
ここで、MPEG-DASHコンテンツのLive Profileプロファイルの場合であって、かつ、イニシャライズセグメントとメディアセグメントとが別々に保存されて配信され、それらファイルのURLはMPDに記述されている場合における復号部31の処理について説明する。
例えば、図20乃至図23を参照して説明したようなOn Demand Profileの場合と比較して、Live Profileの場合には、図20のステップS12の処理、および、図23のステップS41の処理が異なり、その他の処理は同様に行われる。
即ち、On Demand Profileの場合には、図20のステップS12では、ISOBMFFファイル、または、そのISOBMFFファイルのmoofからMetaBoxを読み出す処理が行われる。これに対し、Live Profileの場合には、MPEG-DASHのMPDで示されるInitilization SegmentファイルのMetaBoxを読み出す処理が行われる。
また、On Demand Profileの場合には、図23のステップS41では、ISOBMFFファイルのSegment Indexを参照し、#presentation_itemとdurationで指定さる範囲のメディアセグメントを対象とする処理が行われる。これに対し、Live Profileの場合には、MPEG-DASHのMPDを参照し、#presentation_itemとdurationで指定さる範囲のメディアセグメントファイルのURLを特定し、それらメディアセグメントを対象とする処理が行われる。
以上のように、MPEG-DASHコンテンツにおけるOn Demand ProfileおよびLive Profileの両方において、メディアセグメントに分散配置("Just In Time Delivery ")された場合に、必要なWeb Resourceへのランダムアクセスを可能とすることができる。
<コンピュータの構成例>
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。また、プログラムは、1のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。また、プログラムは、1のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
また、上述した一連の処理(復号方法)は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
図24は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、キーボード、マウス、マイクロホンなどよりなる入力部106、ディスプレイ、スピーカなどよりなる出力部107、ハードディスクや不揮発性のメモリなどよりなる記憶部108、ネットワークインタフェースなどよりなる通信部109、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア111を駆動するドライブ110が接続されている。
以上のように構成されるコンピュータでは、CPU101が、例えば、記憶部108に記憶されているプログラムを、入出力インタフェース105及びバス104を介して、RAM103にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU101)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア111に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア111をドライブ110に装着することにより、入出力インタフェース105を介して、記憶部108にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部109で受信し、記憶部108にインストールすることができる。その他、プログラムは、ROM102や記憶部108に、あらかじめインストールしておくことができる。
<構成の組み合わせ例>
なお、本技術は以下のような構成も取ることができる。
(1)
配信コンテンツのWeb Resourceが複数のメディアセグメントに分散して配置されていて、前記配信コンテンツで用いられるイニシャライズセグメントのMetaBox内に格納されたItem Information Entryを参照し、アクセスの対象となる特定された前記メディアセグメントに格納された前記Web Resourceにアクセスするアクセス部
を備える復号装置。
(2)
前記配信コンテンツは、MP4ファイルフォーマットであって、
前記Item Information Entryは、前記Meta BoxにおけるInformation Boxに格納される
上記(1)に記載の復号装置。
(3)
前記Item Information Entryは、前記配信コンテンツに用いられる複数の前記メディアセグメントのMetaBox内のItem Information Entryを間接参照するための情報を含む
上記(1)または(2)に記載の復号装置。
(4)
アクセスの対象となる前記Web Resourceが配置されている前記メディアセグメントを特定するメディアセグメント特定部
をさらに備える上記(1)から(3)までのいずれかに記載の復号装置。
(5)
前記アクセス部は、前記メディアセグメント特定部により特定された前記Web Resourceにランダムアクセスする
上記(4)に記載の復号装置。
(6)
前記イニシャライズセグメントに格納された参照元の前記Item Information Entryには、参照先の前記メディアセグメントのMetaBox内に格納されている前記Item Information Entryにアクセスできるように、前記Web Resourceが配置された前記メディアセグメントに該当するEarliest Presentation Timeを示す情報が記述されており、
前記アクセス部は、前記Earliest Presentation Timeを示す情報を利用して前記Web Resourceにアクセスする
上記(1)から(5)までのいずれかに記載の復号装置。
(7)
前記Earliest Presentation Timeを示す情報は、前記参照元のMetaBox内のDataReferenceBoxのURL(Uniform Resource Locator)として記録されており、
前記アクセス部は、前記URLを利用して前記Web Resourceにアクセスする
上記(6)に記載の復号装置。
(8)
前記URLに記載されている前記Earliest Presentation Time、および、前記配信コンテンツに関する情報に基づいて、アクセスの対象となる前記メディアセグメントを特定するメディアセグメント特定部
をさらに備え、
前記アクセス部は、前記メディアセグメント特定部により特定された前記メディアセグメントに格納されたMetaBoxから前記Web Resourceにアクセスする
上記(7)に記載の復号装置。
(9)
前記Web Resourceが、所定数の分割データに略均等に分割されて、それぞれの前記分割データが、Earliest Presentation Timeが連続した所定数の前記メディアセグメントに配置されており、
前記アクセス部は、前記分割データを集めて合成することにより、前記Web Resourceの全体を取得する
上記(1)から(8)までのいずれかに記載の復号装置。
(10)
前記イニシャライズセグメントの参照先の前記MetaBoxの前記Item Information Entryに対する前記URLには、前記Web Resourceが分割された所定数の前記分割データが配置された前記メディアセグメントそれぞれの前記Earliest Presentation Timeの範囲情報が含まれており、
前記アクセス部は、前記範囲情報に該当する前記メディアセグメントにアクセスし、所定数の前記分割データを集めて合成することにより、前記Web Resourceの全体を取得する
上記(9)に記載の復号装置。
(11)
1つの前記Web Resourceが所定数の前記分割データに分割されて前記メディアセグメントに配置される場合、所定数の前記メディアセグメントそれぞれには、前記Web Resourceにおける前記分割データが記録されている範囲の前記メディアセグメントにおけるバイトオフセットおよびバイトサイズを示す前記MetaBoxが記録されており、
前記アクセス部は、前記MetaBoxを利用して前記Web Resourceにアクセスする
上記(10)に記載の復号装置。
(12)
前記MetaBoxには、所定数に分割された前記Web Resourceのどの部分を構成するかを示すための、前記Web Resourceにおける前記分割データのバイトオフセットと、前記Web Resourceの全体バイトサイズとが記録される
上記(11)に記載の復号装置。
(13)
Web Applicationの起動時に使用される前記Web Resourceと起動時に使用されない前記Web Resourceとが別々の前記メディアセグメントに記録されて伝送される場合に、
前記MetaBoxのPrimary Item Boxには、最初に起動される前記Web Resourceが指定されるとともに、前記MetaBoxには起動時に必要な他の前記Web Resourceを示す情報が列挙され、
前記アクセス部は、該当のメディアセグメントから起動時に必要な複数の前記Web Resourceをすべて取得した後に、前記Web Applicationを起動する
上記(1)から(12)までのいずれかに記載の復号装置。
(14)
前記Web Resourceの更新または失効されたことを示す情報が、前記Item Information Entryに記録されており、
前記アクセス部は、前記Item Information Entryに記録されている前記情報に基づいて前記Web Resourceにアクセスする
上記(1)から(13)までのいずれかに記載の復号装置。
(15)
前記Web Resourceの更新または失効されたことを示す情報は、HTTP(Hypertext Transfer Protocol)で規定される"Last Modified"および"Expires"ヘッダーに対応する情報である
上記(14)に記載の復号装置。
(16)
前記アクセス部は、前記Web Resourceの更新または失効があった場合、前記Item Information Entryに対応するReferenceURLより示されるインターネット上の他の装置から提供されるWeb Resourceにアクセスする
上記(14)に記載の復号装置。
(17)
前記アクセス部は、前記Web Resourceの更新または失効があった場合、新たなファイルで前記Web Resourceのキャッシュデータを置き換える
上記(14)に記載の復号装置。
(18)
復号装置が、
配信コンテンツのWeb Resourceが複数のメディアセグメントに分散して配置されていて、前記配信コンテンツで用いられるイニシャライズセグメントのMetaBox内に格納されたItem Information Entryを参照し、アクセスの対象となる特定された前記メディアセグメントに格納された前記Web Resourceにアクセスすること
を含む復号方法。
(19)
復号装置のコンピュータに、
配信コンテンツのWeb Resourceが複数のメディアセグメントに分散して配置されていて、前記配信コンテンツで用いられるイニシャライズセグメントのMetaBox内に格納されたItem Information Entryを参照し、アクセスの対象となる特定された前記メディアセグメントに格納された前記Web Resourceにアクセスすること
を含む復号処理を実行させるためのプログラム。
(20)
配信コンテンツのWeb Resourceを複数のメディアセグメントに分散して配置するメディアセグメント処理部と、
前記配信コンテンツで用いられるイニシャライズセグメントのMetaBox内に格納されたItem Information Entryを、アクセスの対象として特定すべき前記メディアセグメントに格納するセグメントファイル生成部と
を備える符号化装置。
(21)
前記配信コンテンツは、MP4ファイルフォーマットであって、
前記セグメントファイル生成部は、前記Item Information Entryを、前記Meta BoxにおけるInformation Boxに格納する
上記(20)に記載の符号化装置。
(22)
前記Item Information Entryは、前記配信コンテンツに用いられる複数のメディアセグメントのMetaBox内のItem Information Entryを間接参照するための情報を含む
上記(20)または(21)に記載の符号化装置。
(23)
前記セグメントファイル生成部は、前記イニシャライズセグメントに格納された参照元の前記Item Information Entryに、参照先の前記メディアセグメントのMetaBox内に格納されている前記Item Information Entryにアクセスできるように、前記Web Resourceが配置された前記メディアセグメントに該当するEarliest Presentation Timeを示す情報を記述する
上記(20)から(22)までのいずれかに記載の符号化装置。
(24)
前記セグメントファイル生成部は、前記Earliest Presentation Timeを示す情報を、前記参照元のMetaBox内のDataReferenceBoxのURL(Uniform Resource Locator)として記録する
上記(23)に記載の符号化装置。
(25)
前記メディアセグメント処理部は、前記Web Resourceが、所定数の分割データに略均等に分割されるように、それぞれの前記分割データが、Earliest Presentation Timeが連続した所定数の前記メディアセグメントに配置する
上記(20)に記載の符号化装置。
(26)
前記セグメントファイル生成部は、前記イニシャライズセグメントの参照先の前記MetaBoxの前記Item Information Entryに対する前記URLに、前記Web Resourceが分割された所定数の前記分割データが配置された前記メディアセグメントそれぞれの前記Earliest Presentation Timeの範囲情報を含める
上記(25)に記載の符号化装置。
(27)
前記セグメントファイル生成部は、1つの前記Web Resourceが所定数の前記分割データに分割されて前記メディアセグメントに配置される場合、所定数の前記メディアセグメントそれぞれに、前記Web Resourceにおける前記分割データが記録されている範囲の前記メディアセグメントにおけるバイトオフセットおよびバイトサイズを示す前記MetaBoxを記録する
上記(26)に記載の符号化装置。
(28)
前記セグメントファイル生成部は、前記MetaBoxに、所定数に分割された前記Web Resourceのどの部分を構成するかを示すための、前記Web Resourceにおける前記分割データのバイトオフセットと、前記Web Resourceの全体バイトサイズとを記録する
上記(27)に記載の符号化装置。
(29)
Web Applicationの起動時に使用される前記Web Resourceと起動時に使用されない前記Web Resourceとが別々の前記メディアセグメントに記録されて伝送される場合に、
前記セグメントファイル生成部は、前記MetaBoxのPrimary Item Boxに、最初に起動される前記Web Resourceを指定するとともに、前記MetaBoxには起動時に必要な他の前記Web Resourceを示す情報を列挙する
上記(20)に記載の符号化装置。
(30)
前記セグメントファイル生成部は、前記Web Resourceの更新または失効されたことを示す情報を、前記Item Information Entryに記録する
上記(20)に記載の符号化装置。
(31)
前記Web Resourceの更新または失効されたことを示す情報は、HTTP(Hypertext Transfer Protocol)で規定される"Last Modified"および"Expires"ヘッダーに対応する情報である
上記(30)に記載の符号化装置。
(32)
配信コンテンツのWeb Resourceが複数のメディアセグメントに分散して配置されていて、前記配信コンテンツで用いられるイニシャライズセグメントのMetaBox内に格納されたItem Information Entryを参照し、アクセスの対象となる特定された前記メディアセグメントに格納された前記Web Resourceを配信する
サーバ装置。
(33)
前記配信コンテンツは、MP4ファイルフォーマットであって、
前記Item Information Entryは、前記Meta BoxにおけるInformation Boxに格納される
上記(32)に記載のサーバ装置。
(34)
前記配信コンテンツに用いられる複数のメディアセグメントのMetaBox内のItem Information Entryを間接参照するための情報を含む前記Item Information Entryを参照して特定される前記Web Resourceを配信する
上記(32)に記載のサーバ装置。
(35)
前記イニシャライズセグメントに格納された参照元の前記Item Information Entryには、参照先の前記メディアセグメントのMetaBox内に格納されている前記Item Information Entryにアクセスできるように、前記Web Resourceが配置された前記メディアセグメントに該当するEarliest Presentation Timeを示す情報が記述されており、
前記Item Information Entryを参照して特定され、アクセスされる前記Web Resourceを配信する
上記(32)に記載のサーバ装置。
(36)
前記Earliest Presentation Timeを示す情報は、前記参照元のMetaBox内のDataReferenceBoxのURL(Uniform Resource Locator)として記録されており、
前記URLを利用してアクセスされる前記Web Resourceを配信する
上記(35)に記載のサーバ装置。
(37)
前記URLに記載されている前記Earliest Presentation Time、および、前記配信コンテンツに関する情報に基づいて特定され、アクセスされる前記Web Resourceを配信する
上記(36)に記載のサーバ装置。
(38)
所定数の分割データに略均等に分割されて、それぞれの前記分割データが、Earliest Presentation Timeが連続した所定数の前記メディアセグメントに配置されている前記Web Resourceを配信する
上記(32)に記載のサーバ装置。
(39)
前記イニシャライズセグメントの参照先の前記MetaBoxの前記Item Information Entryに対する前記URLには、前記Web Resourceが分割された所定数の前記分割データが配置された前記メディアセグメントそれぞれの前記Earliest Presentation Timeの範囲情報が含まれており、
前記範囲情報に該当する前記メディアセグメントにアクセスされる前記Web Resourceを配信する
上記(38)に記載のサーバ装置。
(40)
1つの前記Web Resourceが所定数の前記分割データに分割されて前記メディアセグメントに配置される場合、所定数の前記メディアセグメントそれぞれには、前記Web Resourceにおける前記分割データが記録されている範囲の前記メディアセグメントにおけるバイトオフセットおよびバイトサイズを示す前記MetaBoxが記録されており、
前記MetaBoxを利用してアクセスされる前記Web Resourceを配信する
上記(39)に記載のサーバ装置。
(41)
前記MetaBoxには、所定数に分割された前記Web Resourceのどの部分を構成するかを示すための、前記Web Resourceにおける前記分割データのバイトオフセットと、前記Web Resourceの全体バイトサイズとが記録される
上記(39)に記載のサーバ装置。
(42)
Web Applicationの起動時に使用される前記Web Resourceと起動時に使用されない前記Web Resourceとが別々の前記メディアセグメントに記録されて伝送される場合に、
前記MetaBoxのPrimary Item Boxには、最初に起動される前記Web Resourceが指定されるとともに、前記MetaBoxには起動時に必要な他の前記Web Resourceを示す情報が列挙され、
該当のメディアセグメントから起動時に必要な複数の前記Web Resourceを配信する
上記(32)に記載のサーバ装置。
(43)
前記Web Resourceの更新または失効されたことを示す情報が、前記Item Information Entryに記録されており、
前記Item Information Entryに記録されている前記情報に基づいてアクセスされる前記Web Resourceを配信する
上記(42)に記載のサーバ装置。
(44)
前記Web Resourceの更新または失効されたことを示す情報は、HTTP(Hypertext Transfer Protocol)で規定される"Last Modified"および"Expires"ヘッダーに対応する情報である
上記(43)に記載のサーバ装置。
なお、本技術は以下のような構成も取ることができる。
(1)
配信コンテンツのWeb Resourceが複数のメディアセグメントに分散して配置されていて、前記配信コンテンツで用いられるイニシャライズセグメントのMetaBox内に格納されたItem Information Entryを参照し、アクセスの対象となる特定された前記メディアセグメントに格納された前記Web Resourceにアクセスするアクセス部
を備える復号装置。
(2)
前記配信コンテンツは、MP4ファイルフォーマットであって、
前記Item Information Entryは、前記Meta BoxにおけるInformation Boxに格納される
上記(1)に記載の復号装置。
(3)
前記Item Information Entryは、前記配信コンテンツに用いられる複数の前記メディアセグメントのMetaBox内のItem Information Entryを間接参照するための情報を含む
上記(1)または(2)に記載の復号装置。
(4)
アクセスの対象となる前記Web Resourceが配置されている前記メディアセグメントを特定するメディアセグメント特定部
をさらに備える上記(1)から(3)までのいずれかに記載の復号装置。
(5)
前記アクセス部は、前記メディアセグメント特定部により特定された前記Web Resourceにランダムアクセスする
上記(4)に記載の復号装置。
(6)
前記イニシャライズセグメントに格納された参照元の前記Item Information Entryには、参照先の前記メディアセグメントのMetaBox内に格納されている前記Item Information Entryにアクセスできるように、前記Web Resourceが配置された前記メディアセグメントに該当するEarliest Presentation Timeを示す情報が記述されており、
前記アクセス部は、前記Earliest Presentation Timeを示す情報を利用して前記Web Resourceにアクセスする
上記(1)から(5)までのいずれかに記載の復号装置。
(7)
前記Earliest Presentation Timeを示す情報は、前記参照元のMetaBox内のDataReferenceBoxのURL(Uniform Resource Locator)として記録されており、
前記アクセス部は、前記URLを利用して前記Web Resourceにアクセスする
上記(6)に記載の復号装置。
(8)
前記URLに記載されている前記Earliest Presentation Time、および、前記配信コンテンツに関する情報に基づいて、アクセスの対象となる前記メディアセグメントを特定するメディアセグメント特定部
をさらに備え、
前記アクセス部は、前記メディアセグメント特定部により特定された前記メディアセグメントに格納されたMetaBoxから前記Web Resourceにアクセスする
上記(7)に記載の復号装置。
(9)
前記Web Resourceが、所定数の分割データに略均等に分割されて、それぞれの前記分割データが、Earliest Presentation Timeが連続した所定数の前記メディアセグメントに配置されており、
前記アクセス部は、前記分割データを集めて合成することにより、前記Web Resourceの全体を取得する
上記(1)から(8)までのいずれかに記載の復号装置。
(10)
前記イニシャライズセグメントの参照先の前記MetaBoxの前記Item Information Entryに対する前記URLには、前記Web Resourceが分割された所定数の前記分割データが配置された前記メディアセグメントそれぞれの前記Earliest Presentation Timeの範囲情報が含まれており、
前記アクセス部は、前記範囲情報に該当する前記メディアセグメントにアクセスし、所定数の前記分割データを集めて合成することにより、前記Web Resourceの全体を取得する
上記(9)に記載の復号装置。
(11)
1つの前記Web Resourceが所定数の前記分割データに分割されて前記メディアセグメントに配置される場合、所定数の前記メディアセグメントそれぞれには、前記Web Resourceにおける前記分割データが記録されている範囲の前記メディアセグメントにおけるバイトオフセットおよびバイトサイズを示す前記MetaBoxが記録されており、
前記アクセス部は、前記MetaBoxを利用して前記Web Resourceにアクセスする
上記(10)に記載の復号装置。
(12)
前記MetaBoxには、所定数に分割された前記Web Resourceのどの部分を構成するかを示すための、前記Web Resourceにおける前記分割データのバイトオフセットと、前記Web Resourceの全体バイトサイズとが記録される
上記(11)に記載の復号装置。
(13)
Web Applicationの起動時に使用される前記Web Resourceと起動時に使用されない前記Web Resourceとが別々の前記メディアセグメントに記録されて伝送される場合に、
前記MetaBoxのPrimary Item Boxには、最初に起動される前記Web Resourceが指定されるとともに、前記MetaBoxには起動時に必要な他の前記Web Resourceを示す情報が列挙され、
前記アクセス部は、該当のメディアセグメントから起動時に必要な複数の前記Web Resourceをすべて取得した後に、前記Web Applicationを起動する
上記(1)から(12)までのいずれかに記載の復号装置。
(14)
前記Web Resourceの更新または失効されたことを示す情報が、前記Item Information Entryに記録されており、
前記アクセス部は、前記Item Information Entryに記録されている前記情報に基づいて前記Web Resourceにアクセスする
上記(1)から(13)までのいずれかに記載の復号装置。
(15)
前記Web Resourceの更新または失効されたことを示す情報は、HTTP(Hypertext Transfer Protocol)で規定される"Last Modified"および"Expires"ヘッダーに対応する情報である
上記(14)に記載の復号装置。
(16)
前記アクセス部は、前記Web Resourceの更新または失効があった場合、前記Item Information Entryに対応するReferenceURLより示されるインターネット上の他の装置から提供されるWeb Resourceにアクセスする
上記(14)に記載の復号装置。
(17)
前記アクセス部は、前記Web Resourceの更新または失効があった場合、新たなファイルで前記Web Resourceのキャッシュデータを置き換える
上記(14)に記載の復号装置。
(18)
復号装置が、
配信コンテンツのWeb Resourceが複数のメディアセグメントに分散して配置されていて、前記配信コンテンツで用いられるイニシャライズセグメントのMetaBox内に格納されたItem Information Entryを参照し、アクセスの対象となる特定された前記メディアセグメントに格納された前記Web Resourceにアクセスすること
を含む復号方法。
(19)
復号装置のコンピュータに、
配信コンテンツのWeb Resourceが複数のメディアセグメントに分散して配置されていて、前記配信コンテンツで用いられるイニシャライズセグメントのMetaBox内に格納されたItem Information Entryを参照し、アクセスの対象となる特定された前記メディアセグメントに格納された前記Web Resourceにアクセスすること
を含む復号処理を実行させるためのプログラム。
(20)
配信コンテンツのWeb Resourceを複数のメディアセグメントに分散して配置するメディアセグメント処理部と、
前記配信コンテンツで用いられるイニシャライズセグメントのMetaBox内に格納されたItem Information Entryを、アクセスの対象として特定すべき前記メディアセグメントに格納するセグメントファイル生成部と
を備える符号化装置。
(21)
前記配信コンテンツは、MP4ファイルフォーマットであって、
前記セグメントファイル生成部は、前記Item Information Entryを、前記Meta BoxにおけるInformation Boxに格納する
上記(20)に記載の符号化装置。
(22)
前記Item Information Entryは、前記配信コンテンツに用いられる複数のメディアセグメントのMetaBox内のItem Information Entryを間接参照するための情報を含む
上記(20)または(21)に記載の符号化装置。
(23)
前記セグメントファイル生成部は、前記イニシャライズセグメントに格納された参照元の前記Item Information Entryに、参照先の前記メディアセグメントのMetaBox内に格納されている前記Item Information Entryにアクセスできるように、前記Web Resourceが配置された前記メディアセグメントに該当するEarliest Presentation Timeを示す情報を記述する
上記(20)から(22)までのいずれかに記載の符号化装置。
(24)
前記セグメントファイル生成部は、前記Earliest Presentation Timeを示す情報を、前記参照元のMetaBox内のDataReferenceBoxのURL(Uniform Resource Locator)として記録する
上記(23)に記載の符号化装置。
(25)
前記メディアセグメント処理部は、前記Web Resourceが、所定数の分割データに略均等に分割されるように、それぞれの前記分割データが、Earliest Presentation Timeが連続した所定数の前記メディアセグメントに配置する
上記(20)に記載の符号化装置。
(26)
前記セグメントファイル生成部は、前記イニシャライズセグメントの参照先の前記MetaBoxの前記Item Information Entryに対する前記URLに、前記Web Resourceが分割された所定数の前記分割データが配置された前記メディアセグメントそれぞれの前記Earliest Presentation Timeの範囲情報を含める
上記(25)に記載の符号化装置。
(27)
前記セグメントファイル生成部は、1つの前記Web Resourceが所定数の前記分割データに分割されて前記メディアセグメントに配置される場合、所定数の前記メディアセグメントそれぞれに、前記Web Resourceにおける前記分割データが記録されている範囲の前記メディアセグメントにおけるバイトオフセットおよびバイトサイズを示す前記MetaBoxを記録する
上記(26)に記載の符号化装置。
(28)
前記セグメントファイル生成部は、前記MetaBoxに、所定数に分割された前記Web Resourceのどの部分を構成するかを示すための、前記Web Resourceにおける前記分割データのバイトオフセットと、前記Web Resourceの全体バイトサイズとを記録する
上記(27)に記載の符号化装置。
(29)
Web Applicationの起動時に使用される前記Web Resourceと起動時に使用されない前記Web Resourceとが別々の前記メディアセグメントに記録されて伝送される場合に、
前記セグメントファイル生成部は、前記MetaBoxのPrimary Item Boxに、最初に起動される前記Web Resourceを指定するとともに、前記MetaBoxには起動時に必要な他の前記Web Resourceを示す情報を列挙する
上記(20)に記載の符号化装置。
(30)
前記セグメントファイル生成部は、前記Web Resourceの更新または失効されたことを示す情報を、前記Item Information Entryに記録する
上記(20)に記載の符号化装置。
(31)
前記Web Resourceの更新または失効されたことを示す情報は、HTTP(Hypertext Transfer Protocol)で規定される"Last Modified"および"Expires"ヘッダーに対応する情報である
上記(30)に記載の符号化装置。
(32)
配信コンテンツのWeb Resourceが複数のメディアセグメントに分散して配置されていて、前記配信コンテンツで用いられるイニシャライズセグメントのMetaBox内に格納されたItem Information Entryを参照し、アクセスの対象となる特定された前記メディアセグメントに格納された前記Web Resourceを配信する
サーバ装置。
(33)
前記配信コンテンツは、MP4ファイルフォーマットであって、
前記Item Information Entryは、前記Meta BoxにおけるInformation Boxに格納される
上記(32)に記載のサーバ装置。
(34)
前記配信コンテンツに用いられる複数のメディアセグメントのMetaBox内のItem Information Entryを間接参照するための情報を含む前記Item Information Entryを参照して特定される前記Web Resourceを配信する
上記(32)に記載のサーバ装置。
(35)
前記イニシャライズセグメントに格納された参照元の前記Item Information Entryには、参照先の前記メディアセグメントのMetaBox内に格納されている前記Item Information Entryにアクセスできるように、前記Web Resourceが配置された前記メディアセグメントに該当するEarliest Presentation Timeを示す情報が記述されており、
前記Item Information Entryを参照して特定され、アクセスされる前記Web Resourceを配信する
上記(32)に記載のサーバ装置。
(36)
前記Earliest Presentation Timeを示す情報は、前記参照元のMetaBox内のDataReferenceBoxのURL(Uniform Resource Locator)として記録されており、
前記URLを利用してアクセスされる前記Web Resourceを配信する
上記(35)に記載のサーバ装置。
(37)
前記URLに記載されている前記Earliest Presentation Time、および、前記配信コンテンツに関する情報に基づいて特定され、アクセスされる前記Web Resourceを配信する
上記(36)に記載のサーバ装置。
(38)
所定数の分割データに略均等に分割されて、それぞれの前記分割データが、Earliest Presentation Timeが連続した所定数の前記メディアセグメントに配置されている前記Web Resourceを配信する
上記(32)に記載のサーバ装置。
(39)
前記イニシャライズセグメントの参照先の前記MetaBoxの前記Item Information Entryに対する前記URLには、前記Web Resourceが分割された所定数の前記分割データが配置された前記メディアセグメントそれぞれの前記Earliest Presentation Timeの範囲情報が含まれており、
前記範囲情報に該当する前記メディアセグメントにアクセスされる前記Web Resourceを配信する
上記(38)に記載のサーバ装置。
(40)
1つの前記Web Resourceが所定数の前記分割データに分割されて前記メディアセグメントに配置される場合、所定数の前記メディアセグメントそれぞれには、前記Web Resourceにおける前記分割データが記録されている範囲の前記メディアセグメントにおけるバイトオフセットおよびバイトサイズを示す前記MetaBoxが記録されており、
前記MetaBoxを利用してアクセスされる前記Web Resourceを配信する
上記(39)に記載のサーバ装置。
(41)
前記MetaBoxには、所定数に分割された前記Web Resourceのどの部分を構成するかを示すための、前記Web Resourceにおける前記分割データのバイトオフセットと、前記Web Resourceの全体バイトサイズとが記録される
上記(39)に記載のサーバ装置。
(42)
Web Applicationの起動時に使用される前記Web Resourceと起動時に使用されない前記Web Resourceとが別々の前記メディアセグメントに記録されて伝送される場合に、
前記MetaBoxのPrimary Item Boxには、最初に起動される前記Web Resourceが指定されるとともに、前記MetaBoxには起動時に必要な他の前記Web Resourceを示す情報が列挙され、
該当のメディアセグメントから起動時に必要な複数の前記Web Resourceを配信する
上記(32)に記載のサーバ装置。
(43)
前記Web Resourceの更新または失効されたことを示す情報が、前記Item Information Entryに記録されており、
前記Item Information Entryに記録されている前記情報に基づいてアクセスされる前記Web Resourceを配信する
上記(42)に記載のサーバ装置。
(44)
前記Web Resourceの更新または失効されたことを示す情報は、HTTP(Hypertext Transfer Protocol)で規定される"Last Modified"および"Expires"ヘッダーに対応する情報である
上記(43)に記載のサーバ装置。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
11 クライアント端末, 12 ウェブエンジン, 13 A/Vプレイヤ, 14 画像重畳部, 15 音声混成部, 16 ディスプレイ, 17 スピーカ, 21 ネットワーク配信システム, 22 ネットワーク, 23 サーバ装置, 24 配信データ生成装置, 31 復号部, 32 メディアセグメント特定部, 33 Web Resourceアクセス部, 41 符号化部, 42 セグメントファイル生成部, 43 メディアセグメント処理部
Claims (19)
- 配信コンテンツのWeb Resourceが複数のメディアセグメントに分散して配置されていて、前記配信コンテンツで用いられるイニシャライズセグメントのMetaBox内に格納されたItem Information Entryを参照し、アクセスの対象となる特定された前記メディアセグメントに格納された前記Web Resourceにアクセスするアクセス部
を備える復号装置。 - 前記Item Information Entryは、前記Meta BoxにおけるInformation Boxに格納される
請求項1に記載の復号装置。 - 前記Item Information Entryは、前記配信コンテンツに用いられる複数の前記メディアセグメントのMetaBox内のItem Information Entryを間接参照するための情報を含む
請求項1に記載の復号装置。 - アクセスの対象となる前記Web Resourceが配置されている前記メディアセグメントを特定するメディアセグメント特定部
をさらに備える請求項1に記載の復号装置。 - 前記アクセス部は、前記メディアセグメント特定部により特定された前記Web Resourceにランダムアクセスする
請求項4に記載の復号装置。 - 前記イニシャライズセグメントに格納された参照元の前記Item Information Entryには、参照先の前記メディアセグメントのMetaBox内に格納されている前記Item Information Entryにアクセスできるように、前記Web Resourceが配置された前記メディアセグメントに該当するEarliest Presentation Timeを示す情報が記述されており、
前記アクセス部は、前記Earliest Presentation Timeを示す情報を利用して前記Web Resourceにアクセスする
請求項1に記載の復号装置。 - 前記Earliest Presentation Timeを示す情報は、前記参照元のMetaBox内のDataReferenceBoxのURL(Uniform Resource Locator)として記録されており、
前記アクセス部は、前記URLを利用して前記Web Resourceにアクセスする
請求項6に記載の復号装置。 - 前記URLに記載されている前記Earliest Presentation Time、および、前記配信コンテンツに関する情報に基づいて、アクセスの対象となる前記メディアセグメントを特定するメディアセグメント特定部
をさらに備え、
前記アクセス部は、前記メディアセグメント特定部により特定された前記メディアセグメントに格納されたMetaBoxから前記Web Resourceにアクセスする
請求項7に記載の復号装置。 - 前記Web Resourceが、所定数の分割データに略均等に分割されて、それぞれの前記分割データが、Earliest Presentation Timeが連続した所定数の前記メディアセグメントに配置されており、
前記アクセス部は、前記分割データを集めて合成することにより、前記Web Resourceの全体を取得する
請求項1に記載の復号装置。 - 前記イニシャライズセグメントの参照先の前記MetaBoxの前記Item Information Entryに対する前記URLには、前記Web Resourceが分割された所定数の前記分割データが配置された前記メディアセグメントそれぞれの前記Earliest Presentation Timeの範囲情報が含まれており、
前記アクセス部は、前記範囲情報に該当する前記メディアセグメントにアクセスし、所定数の前記分割データを集めて合成することにより、前記Web Resourceの全体を取得する
請求項9に記載の復号装置。 - 1つの前記Web Resourceが所定数の前記分割データに分割されて前記メディアセグメントに配置される場合、所定数の前記メディアセグメントそれぞれには、前記Web Resourceにおける前記分割データが記録されている範囲の前記メディアセグメントにおけるバイトオフセットおよびバイトサイズを示す前記MetaBoxが記録されており、
前記アクセス部は、前記MetaBoxを利用して前記Web Resourceにアクセスする
請求項10に記載の復号装置。 - 前記MetaBoxには、所定数に分割された前記Web Resourceのどの部分を構成するかを示すための、前記Web Resourceにおける前記分割データのバイトオフセットと、前記Web Resourceの全体バイトサイズとが記録される
請求項11に記載の復号装置。 - Web Applicationの起動時に使用される前記Web Resourceと起動時に使用されない前記Web Resourceとが別々の前記メディアセグメントに記録されて伝送される場合に、
前記MetaBoxのPrimary Item Boxには、最初に起動される前記Web Resourceが指定されるとともに、前記MetaBoxには起動時に必要な他の前記Web Resourceを示す情報が列挙され、
前記アクセス部は、該当のメディアセグメントから起動時に必要な複数の前記Web Resourceをすべて取得した後に、前記Web Applicationを起動する
請求項1に記載の復号装置。 - 前記Web Resourceの更新または失効されたことを示す情報が、前記Item Information Entryに記録されており、
前記アクセス部は、前記Item Information Entryに記録されている前記情報に基づいて前記Web Resourceにアクセスする
請求項1に記載の復号装置。 - 前記Web Resourceの更新または失効されたことを示す情報は、HTTP(Hypertext Transfer Protocol)で規定される"Last Modified"および"Expires"ヘッダーに対応する情報である
請求項14に記載の復号装置。 - 前記アクセス部は、前記Web Resourceの更新または失効があった場合、前記Item Information Entryに対応するReferenceURLより示されるインターネット上の他の装置から提供されるWeb Resourceにアクセスする
請求項14に記載の復号装置。 - 前記アクセス部は、前記Web Resourceの更新または失効があった場合、新たなファイルで前記Web Resourceのキャッシュデータを置き換える
請求項14に記載の復号装置。 - 復号装置が、
配信コンテンツのWeb Resourceが複数のメディアセグメントに分散して配置されていて、前記配信コンテンツで用いられるイニシャライズセグメントのMetaBox内に格納されたItem Information Entryを参照し、アクセスの対象となる特定された前記メディアセグメントに格納された前記Web Resourceにアクセスすること
を含む復号方法。 - 復号装置のコンピュータに、
配信コンテンツのWeb Resourceが複数のメディアセグメントに分散して配置されていて、前記配信コンテンツで用いられるイニシャライズセグメントのMetaBox内に格納されたItem Information Entryを参照し、アクセスの対象となる特定された前記メディアセグメントに格納された前記Web Resourceにアクセスすること
を含む復号処理を実行させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-254899 | 2017-12-28 | ||
JP2017254899 | 2017-12-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019131200A1 true WO2019131200A1 (ja) | 2019-07-04 |
Family
ID=67067241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/046020 WO2019131200A1 (ja) | 2017-12-28 | 2018-12-14 | 復号装置、復号方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
TW (1) | TW201937938A (ja) |
WO (1) | WO2019131200A1 (ja) |
-
2018
- 2018-12-14 WO PCT/JP2018/046020 patent/WO2019131200A1/ja active Application Filing
- 2018-12-18 TW TW107145634A patent/TW201937938A/zh unknown
Non-Patent Citations (1)
Title |
---|
QUALCOMM INCORPORATED: "Serlnter: Status of MPEG Interactivity Track", 3GPP TSG-SA4 MEETING #95 S4-170789, 9 October 2017 (2017-10-09), XP051348627, Retrieved from the Internet <URL:http://www.3gpp.org/ftp/TSG_SA/WG4_CODEC/TSGS4_95/Docs/S4-170789.zip(S4-170789.doc> [retrieved on 20190125] * |
Also Published As
Publication number | Publication date |
---|---|
TW201937938A (zh) | 2019-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10523726B2 (en) | Real-time or near real-time streaming | |
US10244272B2 (en) | Systems and methods for playing back alternative streams of protected content protected using common cryptographic information | |
JP5748765B2 (ja) | メインコンテンツに他のコンテンツを挿入して動作するストリーミング方法及び装置 | |
US9426543B1 (en) | Server-based video stitching | |
US8887215B2 (en) | Targeted high-value content in HTTP streaming video on demand | |
US20170171094A1 (en) | Playlists for real-time or near real-time streaming | |
KR101955363B1 (ko) | 상부 레벨 인덱스 파일들을 자동적으로 생성하기 위한 시스템들 및 방법들 | |
KR101535366B1 (ko) | 실시간 또는 준 실시간 스트리밍을 위한 재생 리스트 | |
ES2528406T3 (es) | Método, terminal y servidor para realizar una reproducción rápida denominada trickplay | |
JP6088439B2 (ja) | マルチメディアストリーミングシステムにおけるコンテンツの格納及び再生のための装置及びその方法 | |
US20170195744A1 (en) | Live-stream video advertisement system | |
WO2012096372A1 (ja) | コンテンツ再生装置、コンテンツ再生方法、配信システム、コンテンツ再生プログラム、記録媒体、およびデータ構造 | |
WO2017092327A1 (zh) | 一种播放方法及装置 | |
KR20140019449A (ko) | 실시간 또는 준 실시간 스트리밍을 위한 재생 리스트 | |
TW201123795A (en) | System, method and apparatus for dynamic media file streaming | |
CN105657443A (zh) | 一种直播时移播放方法和*** | |
KR102499231B1 (ko) | 수신 장치, 송신 장치 및 데이터 처리 방법 | |
US20090024925A1 (en) | System and method for creating and distributing derivative media work | |
KR102085192B1 (ko) | 렌더링 시간 제어 | |
WO2017185601A1 (zh) | 一种提供、下载视频的方法及设备 | |
CN104410901A (zh) | 一种m3u8格式直播流的播放方法及播放装置 | |
US10284894B2 (en) | Methods and apparatus for naming video content chunks | |
JP2022019932A (ja) | 情報処理装置および情報処理方法 | |
CN105992022A (zh) | 一种在线录制下载方法及*** | |
JP2017069636A (ja) | 情報処理装置、配信方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18893538 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18893538 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |