WO2022059495A1 - 情報処理装置および方法 - Google Patents
情報処理装置および方法 Download PDFInfo
- Publication number
- WO2022059495A1 WO2022059495A1 PCT/JP2021/032228 JP2021032228W WO2022059495A1 WO 2022059495 A1 WO2022059495 A1 WO 2022059495A1 JP 2021032228 W JP2021032228 W JP 2021032228W WO 2022059495 A1 WO2022059495 A1 WO 2022059495A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- sub
- information
- picture
- bitstream
- track
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title abstract description 81
- 239000000284 extract Substances 0.000 claims abstract description 32
- 238000003672 processing method Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims description 126
- 238000012545 processing Methods 0.000 abstract description 64
- 230000008569 process Effects 0.000 description 41
- 238000005516 engineering process Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 2
- 102100025027 E3 ubiquitin-protein ligase TRIM69 Human genes 0.000 description 2
- 101000830203 Homo sapiens E3 ubiquitin-protein ligase TRIM69 Proteins 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 244000144972 livestock Species 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
Definitions
- the present disclosure relates to information processing devices and methods, and more particularly to information processing devices and methods capable of suppressing an increase in the load of reproduction processing.
- VVC Very Video Coding
- each image is divided into one or more slices. Further, each picture can be divided into one or more sub-pictures (see, for example, Non-Patent Document 1).
- ISOBMFF International Organization for Standardization Base Media File Format
- MPEG-4 Motion Picture Experts Group-4
- VVC File Format using the above is under development (see, for example, Non-Patent Document 2 to Non-Patent Document 4).
- a point cloud which is a set of points that have position information and attribute information (color, reflection, etc.) at the same time in a three-dimensional space
- the point cloud is segmented to form an area, and each area is formed.
- V-PCC Video-based Point Cloud Compression
- V3C bitstream a technique for storing the V3C bitstream in ISOBMFF was proposed for the purpose of playing back the V-PCC-encoded bitstream (called V3C bitstream) from the local storage and improving the efficiency of network distribution ().
- V3C bitstream a technique for storing the V3C bitstream in ISOBMFF was proposed for the purpose of playing back the V-PCC-encoded bitstream (called V3C bitstream) from the local storage and improving the efficiency of network distribution ().
- V3C bitstream V-PCC-encoded bitstream
- VVC File Format multiple sub-pictures can be stored in one track (VVC track) and played back.
- VVC track In order to reproduce a part of the sub-pictures in the track (VVC track), it is necessary to analyze and generate the parameter set of the VVC bitstream, which may increase the load of the reproduction process.
- This disclosure has been made in view of such a situation, and is intended to enable the increase in the load of the reproduction process to be suppressed.
- the information processing apparatus of one aspect of the present technology is a bitstream track for storing a bitstream of content having a subpicture in a frame, and a subpicture which is information for specifying the subpicture to be extracted in the bitstream track. It is an information processing apparatus including a file generation unit that generates a file that stores an extraction base track that stores specific information.
- the information processing method of one aspect of the present technology is a bit stream track for storing a bit stream of content having a sub picture in a frame, and a sub picture which is information for specifying the sub picture to be extracted in the bit stream track. It is an information processing method that generates a file that stores an extraction base track that stores specific information.
- the information processing apparatus of another aspect of the present technology is a bitstream track that stores a bitstream of content having a subpicture in a frame, and a sub that is information for specifying the subpicture to be extracted in the bitstream track.
- An information processing device including a bitstream generator that extracts the sub-picture from the bitstream track and generates a bitstream based on the extraction basetrack of a file that stores a picture-specific information. be.
- the information processing method of another aspect of the present technology is a bitstream track that stores a bitstream of content having a subpicture in a frame, and a sub that is information for specifying the subpicture to be extracted in the bitstream track. It is an information processing method that extracts the sub-picture from the bitstream track based on the extraction basetrack of a file that stores the extraction basetrack that stores the picture specific information and generates a bitstream.
- it is information for specifying a bitstream track for storing a bitstream of content having a subpicture in a frame and a subpicture to be extracted in the bitstream track.
- a file is generated that stores the extraction base track that stores the sub-picture specific information.
- a bitstream track for storing a bitstream of content having a subpicture in a frame and information for specifying a subpicture to be extracted in the bitstream track are used.
- a subpicture is extracted from the bitstream track and a bitstream is generated based on the extraction basetrack of the extraction basetrack that stores certain subpicture specific information and the extraction basetrack of the file that stores it.
- FIG. 1 It is a figure which shows the main configuration example of a VVC bit stream. It is a figure which shows the example of the syntax of a sequence parameter set. It is a figure which shows the example of the syntax of a picture parameter set. It is a figure which shows the example of the syntax of a picture parameter set. It is a figure which shows the main composition example of a VVC truck. It is a figure which shows the example of the Subpicture order sample group. It is a figure which shows the example of the SubpictureID sample group. It is a figure explaining the tile region. It is a figure which shows the example of Tile region sample group. It is a figure which shows the example of NAL unit map sample group. It is a figure explaining the use case of a subpicture.
- V3C File Format It is a figure which shows the example of V3C File Format. It is a figure explaining the signaling method of the reconstruction information using the VVC extraction base track. It is a figure which shows the composition example of the file which stores the VVC extraction base track. It is a figure which shows the example of the Subpicture Extraction sample group. It is a figure which shows the example of the SubpictureID sample group. It is a figure which shows the example of the SubpictureID sample group. It is a figure explaining the combined use of the VVC base track and the VVC extraction base track. It is a figure which shows the example of the Subpicture order sample group. It is a figure explaining the application example in the case of a V3C bit stream.
- Non-Patent Document 1 (above)
- Non-Patent Document 2 (above)
- Non-Patent Document 3 (above)
- Non-Patent Document 4 (above)
- Non-Patent Document 5 (above)
- VVC Very Video Coding
- each image (picture) is divided into one or more slices, for example, as described in Non-Patent Document 1. It is also possible to divide each picture into one or more sub-pictures.
- FIG. 1 is a diagram showing a main configuration example of a bit stream (also referred to as a VVC bit stream) in which image data is encoded by VVC.
- the VVC bitstream 10 is composed of a set of coded video sequences 11 (single or plural coded video sequences 11) in which one moving image is encoded.
- the coded video sequence 11 is composed of a set of coded data (coded data of a single or a plurality of pictures 12) of a picture 12 which is one frame of a moving image.
- Each picture 12 may be divided into a plurality of subpictures 13.
- the sub-picture 13 is a rectangular area obtained by dividing the rectangular picture 12. There is no pixel in the picture 12 in which the coded data does not exist. There is no overlap between the sub-pictures 13. There are no pixels in the picture 12 that are not included in any of the sub-pictures 13.
- the sub picture 13 can be independently decodable. That is, the single or plurality of sub-pictures 13 can be independently decoded. For example, it may be possible to decode only a part of the coded data in the sub-picture 13 constituting the picture 12. In that case, the coded data of the sub-picture 13 to be decoded is extracted from the VVC bitstream 10, and a parameter set or the like is added to generate a new bitstream (reconstructing the bitstream).
- Figure 2 shows an example of the syntax of the sequence parameter set of this VVC bitstream 10.
- the sequence parameter set is a parameter set for each coded video sequence 11 (metadata that does not change within the coded video sequence 11).
- FIG. 2 some syntax of the sequence parameter set is shown.
- the sequence parameter set includes "picture resolution information" composed of parameters related to the resolution of the picture 12.
- this "picture resolution information” includes parameters (sps_pic_width_max_in_luma_samples, sps_pic_height_max_in_luma_sample, etc.) indicating the maximum value of the resolution of the picture 12 in the coded video sequence 11.
- the sequence parameter set includes "sub-picture layout information" composed of parameters related to the layout of the sub-picture 13.
- this "sub-picture layout information” includes parameters indicating the position of the sub-picture 13 (sps_subpic_ctu_top_left_x [i], sps_subpic_ctu_top_left_y [i], etc.).
- the "sub-picture layout information” includes parameters (sps_subpic_width_minus1 [i], sps_subpic_height_minus1 [i], etc.) indicating the resolution of the sub-picture 13.
- sub-picture layout information includes parameters related to independent decoding of the sub-picture 13 (sps_subpic_treated_as_pic_flag [i], sps_loop_filter_across_subpic_enabled_flag [i], etc.).
- the sequence parameter set includes a "sub-picture layout omission flag" composed of information regarding omission of the "sub-picture layout information".
- this "sub-picture layout omission flag” includes flag information (sps_independent_subpic_flag) indicating whether all sub-pictures 13 can be independently decoded, and whether all sub-pictures 13 have the same resolution. Includes flag information (sps_subpic_same_size_flag) indicating whether or not. For example, if all subpictures 13 are independently decodable and have the same resolution as each other, then regardless of the number of subpictures 13, parameters relating to the width of the subpictures 13 and height. ) Is stored in the sequence parameter set one by one.
- the sequence parameter set includes "sub-picture identification information" composed of parameters related to sub-picture 13 identification.
- this "sub-picture identification information” includes identification information (sps_subpic_id [i]) of each sub-picture 13 included in the encoded video sequence. For example, a number is assigned to each subpicture in the sequence in order (for example, an integer value that increases by "+1” such as 0, 1, 2, ...), And the number is used to identify the subpicture 13. It may be information.
- FIGS. 3 and 4 an example of the syntax of the picture parameter set of the VVC bitstream 10 of FIG. 1 is shown in FIGS. 3 and 4.
- the picture parameter set is a parameter set for each picture 12 (metadata that does not change in the picture 12). 3 and 4 show some syntax of the picture parameter set.
- the picture parameter set includes "picture resolution information” composed of parameters relating to the resolution of the picture 12.
- this "picture resolution information” includes parameters (pps_pic_width_in_luma_samples, pps_pic_height_in_luma_samples, etc.) indicating the resolution of the picture 12.
- the picture parameter set includes "sub-picture identification information" composed of parameters related to the identification of the sub-picture 13.
- this "identification information of sub-pictures” includes identification information (pps_subpic_id [i]) of each sub-picture 13 included in the picture 12.
- pps_subpic_id [i] identification information
- a number is assigned to each sub-picture 13 in the picture 12 in order (for example, an integer value that increases by "+1" such as 0, 1, 2, ...) Is assigned, and the number is assigned to the sub-picture. It may be the identification information of 13.
- the picture parameter set includes tile information (tile information) composed of parameters related to the tile configuration in the picture 12. This tile information may be omitted if tiles of the same width or height continue to the edge of the screen.
- the picture parameter set includes slice information (Slice information) composed of parameters related to the composition of slices in the picture. If all the sub-pictures 13 are composed of one slice, this slice information may be omitted.
- the composition of the sub-pictures in the picture changes, so that the above-mentioned information in the picture parameter set may change. That is, in this case, it is necessary to update the picture parameter set of the VVC bitstream 10 (picture 12) to generate a picture parameter set corresponding to the bitstream of the extracted sub-picture.
- VVC file format By the way, as a method for storing a VVC-encoded picture file, for example, as shown in Non-Patent Documents 2 to 4, the international standard technology for moving picture compression, MPEG-4 (Moving Picture Experts Group-4).
- MPEG-4 Moving Picture Experts Group-4
- ISOBMFF International Organization for Standardization Base Media File Format
- FIG. 5 is a diagram showing a configuration example of a track in the VVC file format.
- the VVC track 20 is a track that stores a VVC bitstream and has a moov box and a mdat box.
- the moov box stores metadata and the like related to the track, and the mdat box stores the VVC bitstream.
- the sub-pictures in the picture can be stored separately in multiple tracks, or they can be combined into one track. It can also be stored.
- VVC base track a track that stores a bitstream of a subpicture.
- VVC subpicture track VVC subpicture track
- FIG. 6 shows an example of the syntax of the VVC sub-picture order entry (VvcSubpicOrderEntry) stored in the VVC base track when the sub-picture is stored separately in a plurality of tracks.
- VvcSubpicOrderEntry in the VVC base track, the VisualSampleGroupEntry is expanded to generate a VVC sub-picture order entry (VvcSubpicOrderEntry () extends VisualSampleGroupEntry ('spor')).
- This VVC sub-picture order entry stores information that defines a sub-picture order sample group (Subpicture order sample group), which is a group of sub-pictures to be reconstructed.
- This sub-picture order sample group includes "number of sub-pictures” indicating the number of sub-pictures to be merged, "sub-picture decoding order” indicating the decoding order of sub-pictures to be merged, and information on rewriting the identification information of sub-pictures. It may include information such as certain "sub-picture ID rewriting information". For example, subp_track_ref_idx indicates a track or track group that contains the subpictures to be merged. Further, subpic_id_info_flag indicates the presence / absence of "sub-picture ID rewriting information”.
- FIG. 7 shows an example of the syntax of the VVC sub-picture ID entry (VvcSubpicIDEntry) stored in the VVC sub-picture track when the sub-picture is stored separately in a plurality of tracks.
- VvcSubpicIDEntry the VisualSampleGroupEntry is expanded to generate a VVC sub-picture ID entry (VvcSubpicIDEntry () extends VisualSampleGroupEntry ('spid')).
- This VVVC sub-picture ID entry stores information that defines a sub-picture ID sample group (Subpicture ID sample group), which is a group of sub-picture identification information (subpic_id) included in the sample (sample) of the VVC sub-picture track. ..
- This sub-picture ID sample group shows the identification information (subpic_id) of the sub-pictures contained in the track in the order of decoding.
- the VVC track 20 in the example of FIG. 5 stores a bitstream of a picture composed of six sub-pictures as a sample 23 in the mdat box. That is, the sample 23 includes a bitstream 24 (subpicture1 data to subpicture6 data) of six subpictures.
- tile region group entry (TlieRegionGroupEntry (trif)) 21 and the null unit map entry (NALUMapEntry (nalm)) 22 are formed in the moov box of the VVC track 20.
- the tile region group entry 21 stores information that defines a tile region sample group (Tile region sample group), which is a sample group (Sample group) indicating a tile region of a picture.
- the NAL unit map entry 22 stores information for defining a NAL unit map sample group (NAL unit map sample group), which is a sample group for classifying NAL units included in the sample 23 for each tile region.
- the tile region group entry 21 also stores information that specifies (position and size) of the tile region.
- one tile region can contain one or more subpictures. That is, as shown in B of FIG. 8, one tile region may be composed of one subpicture or may be composed of a plurality of subpictures.
- Figure 9 shows an example of the syntax of the tile region group entry 21.
- the tile region group entry 21 includes an identifier (groupID) of the tile region group entry 21, a parameter indicating the position of the tile region (horizontal_offset, vertical_offset), and a parameter indicating the size of the tile region (region_width).
- groupID identifier
- Region_height parameters indicating the dependency between tile regions (dependency_tile_count, dependencyTileGroupID), etc. are stored.
- null unit map entry 22 Information indicating the correspondence between the null unit and the group ID is stored in the null unit map entry 22. Since the groupID is assigned to the tile region as described above, the null unit corresponds to any groupID as shown in A of FIG. The correspondence between the null unit and the group ID is shown in the null unit map entry 22. An example of the syntax of null unit map entry 22 is shown in FIG. 10B. As shown in FIG. 10, information (NALU_start_number) indicating a null unit corresponding to each group ID is shown.
- FIG. 11 is a diagram showing a use case when a sub-picture is applied.
- the image of each side of the spherical image content (of Cubemap) composed of images in six directions of up, down, left, right, front and back may be used as a sub-picture.
- various cases such as a case where only one side of the six sides is decoded, a case where only two sides are decoded, ..., a case where all six sides are decoded, and the like can be considered. ..
- the images of all the surfaces are stored in one VVC track, and some subsamples can be appropriately extracted to cope with each of the above cases. Is possible.
- V3C bitstream> For a point cloud, which is a set of points that have position information and attribute information (color, reflection, etc.) at the same time in a three-dimensional space, the point cloud is segmented to form an area, and each area is formed. Attribute image (color information, etc.), geometry image (composed of depth information), occupancy map image, and atlas information (information for reconstructing a point cloud from a patch) are generated by projecting on a plane, and three images are generated. There was V-PCC (Video-based Point Cloud Compression) that encodes the image with a video codec.
- V-PCC Video-based Point Cloud Compression
- Non-Patent Document 5 the V3C bitstream is converted to ISOBMFF for the purpose of improving the efficiency of reproduction processing and network distribution of such a V-PCC-encoded bitstream (referred to as V3C bitstream) from the local storage.
- V3C bitstream V-PCC-encoded bitstream
- V3C (Video based Point Cloud data) file format (V3C File Format) is a file format that uses an ISO base media file that stores V-PCC.
- the V3C file format can store point cloud data in a plurality of tracks (V3C track, occ, geo, att), for example, as shown in FIG. 12A.
- the V3C track contains the metadata for reconstructing the point cloud.
- the V3C track is a track (Video component track) that contains the video component of each of the V-PCC's occupancy map, geometry, and attribute. refer.
- the V3C file format allows partial access of point cloud data (decoding a part of the point cloud independently), for example, as shown in B of FIG. 12, for each partial area. You can separate the tracks. In that case, the following track configurations are possible.
- the V3C track refer to the V3C Atlas tile track for each partial area.
- Each V3C Atlas style track refers to the respective video component track of the Occupancy map, geometry, and attributes contained in that Atlas tile.
- Each video component track may store, for example, a VVC bitstream and be independently decoded.
- the VVC file format is applied to each video component track.
- each sub-picture is set as a sub-picture, all the sub-areas are stored in one VVC track, and some sub-pictures are extracted as appropriate. It is conceivable to be able to do it.
- ⁇ Reconstruction of parameter set> As described above, in the VVC file format, a plurality of subpictures can be stored in one track, and some of the subpictures can be extracted and decoded. However, in that case, one bitstream is reconstructed using the extracted subpictures, and the bitstream is decoded. Since the sub-picture configuration is different between the bitstream before reconstruction and the bitstream after reconstruction, the parameter set (for example, sequence parameter set or picture parameter set) cannot be used as it is. Therefore, it is necessary to derive the parameter set corresponding to the bit stream after the reconstruction, for example, by updating the parameter set before the reconstruction.
- the parameter set for example, sequence parameter set or picture parameter set
- the reproduction process includes at least a process of decoding the bitstream of the content stored in the file and a process related to the decoding (for example, a process of reconstructing the bitstream to be decoded). .. Further, a process of generating a display image using the data obtained by decoding may be included in this reproduction process, or other processes may be included.
- the parameter set required for bitstream reconstruction can be stored using the VVC base track.
- this VVC base track it was not possible to extract a desired sub-picture from a plurality of sub-pictures existing in the track.
- the VVC extract basetrack (VVC extract) has reconstruction information such as a parameter set required when reconstructing a bitstream from some subpictures.
- a base track is provided and stored in a file (method 1). Then, when playing back a part of the sub-pictures, the reconstructed bitstream is generated based on the information stored in the VVC extraction base track.
- FIG. 14 is a diagram showing a main configuration example of a file to which the present technology is applied.
- the file 100 shown in FIG. 14 is a file conforming to the VVC file format for storing the VVC bitstream in ISOBMFF. As shown in FIG. 14, the file 100 has a VVC bitstream track 110 and a VVC extract base track 120.
- the VVC bitstream track 110 is a track that stores the VVC bitstream, like the VVC track 20 described above.
- the VVC bitstream track 110 may store a VVC bitstream with a plurality of subpictures.
- the mdat box of the VVC bitstream track 110 stores a bitstream of a picture consisting of six subpictures as a sample 115. That is, the sample 115 includes a bitstream 116 (subpicture1 data to subpicture6 data) of six subpictures.
- tile region group entry (TlieRegionGroupEntry (trif)) 111 and the null unit map entry (NALUMapEntry (nalm)) 112 are stored in the moov box of the VVC bitstream track 110. Similar to the tile region group entry 21 described above, the tile region group entry 111 stores information that defines a tile region sample group (Tile region sample group). Similar to the above-mentioned null unit map entry 22, the null unit map entry 112 stores information indicating the correspondence between the null unit and the group ID.
- sample entry (SampleEntry (vvc1)) 113 is stored in the moov box of the VVC bitstream track 110.
- the sample entry 113 contains a VVC ConfigurationBox 114.
- the VVC extraction base track 120 stores the reconstruction information necessary for reconstructing the bitstream from some sub-pictures.
- the playback device extracts the bitstream 116 of the desired subpicture from the VVC bitstream track 110 based on the reconstruction information stored in the VVC extraction base track 120, and extracts the bitstream of the extracted subpicture. Can be reconstructed.
- the reproduction device first determines an area to be reproduced based on the information stored in the tile region group entry 111 of the VVC bitstream track 110. As a result, the group ID indicating the area to be reproduced is determined. Next, the reproduction device searches for the VVC extraction base track 120 including the area to be reproduced. Then, the playback device updates (rewrites) the parameter set (sequence parameter set, picture parameter set, etc.) based on the information stored in the searched VVC extraction base track 120.
- the reproduction device extracts the null unit of the region to be reproduced from the sample 115 by using the null unit map sample group defined in the null unit map entry 112 of the VVC bitstream track 110, and stores the null unit in the VVC extraction base track 120. Reconstruct the sample with the information provided.
- the playback device can easily reconstruct the bitstream without analyzing the VVC bitstream stored in the VVC bitstream track 110. Therefore, it is possible to suppress an increase in the load of the reproduction process.
- the file 100 is used as the VVC extraction base track 120, and the VVC extraction base track 121, which stores the reconstruction information for reproducing one sub-picture (one side), and the two sub-pictures (two sides) are reproduced.
- VVC extraction base track 122 for storing reconstruction information for, 3 sub-pictures (3 sides)
- VVC extraction base track 123 for storing reconstruction information for playback, 4 sub-pictures (4 sides) Reconstruction information for playback
- the VVC extraction base track has extraction information (extraction information) for specifying the track used for reproduction and the sub-picture to be reproduced stored in the track. Extract information) may be stored (method 1-1). Then, when playing back a part of the sub-pictures, the reconstructed bitstream may be generated based on the extraction information stored in the VVC extraction base track.
- the VVC extraction base track 120 may store the sub-picture identification information which is the information for specifying the sub-picture to be extracted in the VVC bitstream track 110 as the reconstruction information.
- bitstream track for storing a bitstream of content having a subpicture in a frame and subpicture identification information which is information for specifying a subpicture to be extracted in the bitstream track are stored.
- subpicture identification information which is information for specifying a subpicture to be extracted in the bitstream track.
- a bitstream track for storing a bitstream of content having a subpicture in a frame and subpicture identification information which is information for specifying a subpicture to be extracted in the bitstream track are stored.
- a file generator that generates a file that stores the extraction base track.
- a bitstream track for storing a bitstream of content having a subpicture in a frame and subpicture identification information which is information for specifying a subpicture to be extracted in the bitstream track are provided. Extract the sub-pictures from the bitstream track based on the extraction basetrack of the file to store and the extraction basetrack to store, and generate a bitstream.
- a bitstream track for storing a bitstream of content having a subpicture in a frame and subpicture identification information which is information for specifying a subpicture to be extracted in the bitstream track are stored. It is provided with a bitstream generator that extracts subpictures from the bitstream track and generates a bitstream based on the extraction basetrack of the file that stores the extraction basetrack.
- bitstream can be easily reconstructed without parsing the bitstream. Therefore, it is possible to suppress an increase in the load of the reproduction process.
- this sub-picture specific information may include tile region identification information which is identification information of the tile region including the sub-picture.
- the groupID as described with reference to FIG. 8 may be used as the sub-picture specific information. By doing so, the reproduction device can more easily specify the tile region (sub-picture) to be reproduced.
- Method 1-1-1-1 As shown in the third column from the top of the table in FIG. 13, a sample group is defined, and the client can select one from a set of a plurality of subpictures in the sample group.
- the extracted information that can be stored may be stored (method 1-1-1). Then, when playing back a part of the sub-pictures, a set of sub-pictures to be extracted may be selected based on the sample group.
- Vspex VisualSampleGroupEntry
- VvcSubpictureExtractionEntry VvcSubpictureExtractionEntry
- Information that defines a subpicture extraction sample group may be stored.
- This sub-picture extraction sample group may include, for example, information indicating the groupID information (also referred to as a region set) of the tile region group entry of the candidate track of the sub-picture to be extracted.
- a region set including one tile region may be stored.
- the sub-picture extraction sample group may include information (subpic_id rewriting information) regarding rewriting (updating) of the sub-picture identification information which is the sub-picture identification information.
- the playback device selects one group ID from the region set of the sub-picture extraction sample group and extracts it.
- FIG. 15 shows an example of the syntax of the VVC Subpicture ExtractionEntry () in this case.
- the VVC subpicture extraction entry may contain parameters such as: num_region_set indicates the number of region sets. num_region_in_set indicates the number of tile regions contained in the region set. groupID indicates the groupID indicating the tile region included in the region set. num_regions indicates the number of tile regions to extract. region_idx is specified using region_set_id or groupID, which is the identification information of the region set.
- the extraction base track may be set as one set of sub-pictures extracted into one bit stream, and the sub-picture specific information may be stored for each set.
- the extraction base track may further store the set identification information which is the identification information of the set.
- the playback device can extract a wider variety of combinations of subpictures based on such a VVC extraction basetrack. That is, it is possible to increase the extraction pattern (number of combinations) of the sub-pictures without increasing the number of tracks. As a result, redundant tracks can be grouped together, and reduction in coding efficiency can be suppressed.
- the following lines of "if (subpic_id_info_flag) ⁇ " are information related to rewriting the sub-picture identification information. That is, information for updating parameter sets such as sequence parameter sets and picture parameter sets to correspond to the reconstructed bitstream is stored in the VVC subpicture extraction entry. More specifically, the VVC subpicture extraction entry contains information for updating the subpicture identification information contained in the parameter set to correspond to the reconstructed bitstream.
- the extraction base track may further store parameter set update information, which is information for updating the parameter set to correspond to the bitstream of the extracted subpictures.
- the parameter set update information includes sub-picture identification information which is information for updating the sub-picture identification information which is the identification information of the sub-picture so as to correspond to the bit stream of the extracted sub-picture. good.
- the playback device can more easily adapt the parameter set to the reconfigured bitstream based on the information stored in this extraction base track. For example, the playback device can more easily associate the subpicture identification information contained in the parameter set with the reconstructed bitstream based on the information stored in this extraction base track.
- the sub-picture ID sample group may be expanded to store mapping information indicating the correspondence between the sub-picture and the tile region (method 1-2). ..
- mapping information information indicating a tile region including a sub-picture may be stored in the sub-picture ID sample group.
- tile regions and subpictures do not always have a one-to-one correspondence, so a desired tile region (groupID) is based on the subpicture extraction sample group shown in FIG. There may be cases where it is not possible to identify the sub-pictures required for the tile.
- the tile region (groupID) containing the sub-picture (subpic_id) is shown.
- FIG. 16 shows an example of the syntax of VvcSubpicIDEntry () that stores the information that defines the sub-picture ID sample group in that case.
- VvcSubpicIDEntry () stores the identification information (groupID) of the tile region including the sub-picture corresponding to the sub-picture identification information (subpic_id) after the sub-picture identification information (subpic_id). Will be done. This clearly shows the correspondence between the sub picture (subpic_id) and the tile region (groupID).
- the bitstream track may further store the sub-picture identification information and the tile region identification information of the tile region containing the sub-picture for each sub-picture stored in the bitstream track.
- the playback device can more easily identify the sub-picture (subpic_id) included in the desired tile region based on the information stored in the sub-picture ID sample group. Therefore, the reproduction device can more easily rewrite (update) the sub-picture identification information (subpic_id) based on the information of the sub-picture extraction sample group.
- FIG. 17 shows an example of the syntax of VvcSubpicIDEntry () that stores the information that defines the sub-picture ID sample group in that case.
- all_subpic_id_is_same_as groupID_flag is stored in VvcSubpicIDEntry ().
- the all_subpic_id_is_same_as groupID_flag is flag information indicating whether or not all the sub-pictures (subpic_id) in the picture and the tile region (groupID) match (correspond to one-to-one).
- all_subpic_id_is_same_as groupID_flag When the value of all_subpic_id_is_same_as groupID_flag is true (for example, 1), it indicates that all subpictures (subpic_id) in the picture and the tile region (groupID) match. Further, when the value of all_subpic_id_is_same_as groupID_flag is false (for example, 0), it indicates that at least some subpictures and tile regions do not have a one-to-one correspondence (one tile region contains a plurality of subpictures). Then, the groupID is defined to be stored only when the value of all_subpic_id_is_same_as groupID_flag is false (for example, 0). In other words, if all the sub-pictures (subpic_id) in the picture and the tile region (groupID) match (corresponding to one-to-one), the storage of the groupID is omitted.
- the bitstream track may store only the sub-picture identification information.
- the groupID and subpic_id can be easily associated with one-to-one without mapping information. By setting this, it is possible to suppress an increase in an unnecessary code amount. Therefore, it is possible to suppress a decrease in coding efficiency.
- VVC base track supports only extraction from one track, and when extracting from a plurality of tracks, the VVC base track may be used together.
- some sub-pictures are extracted from each of the two pictures, and the extracted sub-pictures are merged into one picture.
- the information of the VVC extraction base track is applied, and when merging the extracted sub-pictures, the information of the VVC base track is applied. May be applied.
- the file containing the bitstream track and the extraction basetrack should further include a merged basetrack that stores information about the merger of multiple subpictures extracted from different bitstream tracks based on that extraction basetrack. May be good.
- VVC extraction base track For this VVC extraction base track, ⁇ 2. Extraction base track> and ⁇ 3. Any of the VVC extraction base tracks described in Extension of Subpicture ID sample group> can be applied.
- FIG. 19 shows an example of the syntax of the VVC sub-picture order entry (VvcSubpicOrderEntry () extends VisualSampleGroupEntry ('spor')) of this VVC base track.
- VvcSubpicOrderEntry extends VisualSampleGroupEntry ('spor')
- extract_track_exist_flag is stored in the VVC sub-picture order entry.
- This extract_track_exist_flag is flag information indicating whether or not the referenced track contains a VVC extraction base track. For example, if this extract_track_exist_flag is true (eg 1), it indicates that the referenced track contains a VVC extraction base track. If extract_track_exist_flag is false (for example, 0), it indicates that the referenced track does not include the VVC extraction base track.
- extract_track_exist_flag By storing such extract_track_exist_flag, it is possible to easily identify whether or not the referenced track includes the VVC extraction base track. That is, it is possible to more easily use the VVC extraction base track and the VVC base track as described above.
- the VVC extraction base track can be included in the tracks that can be merged in the VVC base track. In addition, it can be easily determined whether the VVC base track includes the VVC extraction base track.
- the V3C file format allows the V-PCC bitstream to be stored in an ISO BMFF file.
- the present technology may be applied to such a V3C file format to realize partial access by using a sub-picture.
- the content is a point cloud that expresses a three-dimensional object as a set of points
- the sub-picture may be composed of a partial area of the point cloud that can be independently decoded.
- the VVC extraction base track may be used to realize partial access of the V-PCC bitstream.
- a VVC extraction base track may be provided for each of the occupancy map, the geometry, and the attribute.
- VVC extraction base track For this VVC extraction base track, ⁇ 2. Extraction base track>, ⁇ 3. Subpicture ID sample group extension> and ⁇ 4. Combined use of VVC base track and VVC extra base track>
- the VVC extraction base track of each example described in any of> can be applied. Further, a plurality of these examples may be applied in combination. That is, the extraction base track that stores the sub-picture specific information, which is the information for specifying the sub-picture to be extracted, is stored in the file.
- the necessary sub-pictures should be extracted and decoded using the VVC extraction base track for each of the occupancy map, geometry, and attributes.
- the V3C file format may have a multi-track configuration in which the Occupancy map, geometry, and attributes are stored in different tracks without the V3C atlas track.
- the track that stores the Occupancy map is a VVC track that contains multiple sub-pictures.
- the same is true for geometry and attributes. Partial reproduction can be realized by extracting and reproducing a specific sub-picture.
- FIG. 21 is a block diagram showing an example of the configuration of a file generation device, which is an aspect of an information processing device to which the present technology is applied.
- the file generation device 300 shown in FIG. 21 is a device that stores a VVC bit stream in which a moving image content having a sub-picture is encoded by VVC in ISOBMFF.
- the file generation device 300 applies the above-mentioned technique, stores a plurality of subpictures in one track, and stores a VVC bit stream in a file so that some subpictures can be played independently. do. That is, the file generation device 300 stores a bitstream track for storing a bitstream of content having a subpicture in a frame, and subpicture identification information which is information for specifying a subpicture to be extracted in the bitstream track. Store the extraction base track and the file in a file.
- FIG. 21 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. 21. That is, in the file generation device 300, there may be a processing unit that is not shown as a block in FIG. 21, or there may be a processing or data flow that is not shown as an arrow or the like in FIG. 21.
- the file generation device 300 has a control unit 301 and a file generation processing unit 302.
- the control unit 301 controls the file generation processing unit 302.
- the file generation processing unit 302 is controlled by the control unit 301 to perform processing related to file generation. For example, the file generation processing unit 302 acquires the data of the content having the sub-picture in the picture, encodes the data, and generates the VVC bit stream.
- the file generation processing unit 302 further stores the generated VVC bitstream in an ISOBMFF file, and outputs the file to the outside of the file generation device 300.
- the file generation processing unit 302 has an input unit 311, a preprocessing unit 312, an encoding unit 313, a file generation unit 314, a recording unit 315, and an output unit 316.
- the input unit 311 acquires the data of the content having the sub-picture in the picture and supplies it to the pre-processing unit 312.
- the preprocessing unit 312 extracts information necessary for file generation from the data of the content.
- the preprocessing unit 312 supplies the extracted information to the file generation unit 314. Further, the preprocessing unit 312 supplies the content data to the coding unit 313.
- the coding unit 313 encodes the content data supplied from the preprocessing unit 312 by the VVC method to generate a VVC bit stream.
- the coding unit 313 supplies the generated VVC bitstream to the file generation unit 314.
- the file generation unit 314 stores the VVC bitstream supplied from the encoding unit 313 in the ISOBMFF file. At that time, the file generation unit 314 stores the information supplied from the preprocessing unit 312 in the file as appropriate.
- the file generation unit 314 is ⁇ 2. Extraction base track>, ⁇ 3. Extension of Subpicture ID sample group> ⁇ 4. Combined use of VVC base track and VVC extra base track> and ⁇ 5. Apply the technology described in any of V3C File Format> or a combination thereof to generate a file that stores the VVC bitstream.
- the file generation unit 314 stores a bitstream track that stores a bitstream of content having a subpicture in a frame, and subpicture identification information that is information for specifying the subpicture to be extracted in the bitstream track. Generate a file to store the extraction basetrack.
- the file generation unit 314 supplies the generated file to the recording unit 315.
- the recording unit 315 has an arbitrary recording medium such as a hard disk or a semiconductor memory, and records a file supplied from the file generation unit 314 on the recording medium. Further, the recording unit 315 reads out the file recorded on the recording medium according to the request of the control unit 301 or the output unit 316, or at a predetermined timing, and supplies the file to the output unit 316.
- the output unit 316 acquires a file supplied from the recording unit 315, and outputs the file to the outside of the file generation device 300 (for example, a distribution server, a playback device, etc.).
- the file generation device 300 for example, a distribution server, a playback device, etc.
- the file generation device 300 can store the reconstruction information necessary for reconstructing the bit stream from some sub-pictures in the extraction base track.
- the playback device that plays the file extracts the bitstream of the desired sub-picture from the bitstream track based on the reconstruction information stored in such an extraction base track, and the extracted sub-picture of the extracted sub-picture.
- the bitstream can be reconstructed. Therefore, it is possible to suppress an increase in the load of the reproduction process.
- the file generation unit 314 of the file generation device 300 When the file generation process is started, the file generation unit 314 of the file generation device 300 generates a VVC bitstream track for storing the VVC bitstream in step S301.
- step S302 the file generation unit 314 determines the combination of the sub-pictures to be extracted.
- step S303 the file generation unit 314 generates the reconstruction information necessary for reconstructing the bitstream from some of the subpictures for each combination of the subpictures determined in step S302. That is, the file generation unit 314 generates sub-picture identification information, which is information for specifying the sub-picture to be extracted, in the bitstream track as the reconstruction information.
- step S304 the file generation unit 314 stores the reconstruction information generated in step S303 in the VVC extraction base track and generates a file. That is, the file generation unit 314 stores a bitstream track that stores a bitstream of content having a subpicture in a frame, and subpicture identification information that is information for specifying the subpicture to be extracted in the bitstream track. Generate a file to store the extraction basetrack.
- the file generation device 300 generates an extraction base track that stores the reconstruction information necessary for reconstructing the bitstream from some sub-pictures, and extracts the extraction base track. You can generate a file to store the base track.
- the playback device that plays the file extracts the bitstream of the desired sub-picture from the bitstream track based on the reconstruction information stored in such an extraction base track, and the extracted sub-picture of the extracted sub-picture. The bitstream can be reconstructed. Therefore, it is possible to suppress an increase in the load of the reproduction process.
- FIG. 23 is a block diagram showing an example of a configuration of a reproduction device, which is an aspect of an information processing device to which the present technology is applied.
- the client device 400 shown in FIG. 23 is a playback device that decodes a VVC bit stream stored in a file in a VVC file format and generates and displays a display image of the generated moving image content.
- the client device 400 decodes the VVC bitstream stored in the file generated by the file generation device 300, and generates and displays a display image of the generated moving image content.
- the client device 400 applies the above-mentioned technique, extracts a part of the subpictures from the file, reconstructs the bitstream, and decodes the reconstructed bitstream.
- FIG. 23 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. 23. That is, in the client device 400, there may be a processing unit that is not shown as a block in FIG. 23, or there may be a processing or data flow that is not shown as an arrow or the like in FIG. 23.
- the client device 400 has a control unit 401 and a reproduction processing unit 402.
- the control unit 401 performs processing related to the control of the reproduction processing unit 402.
- the reproduction processing unit 402 performs processing related to reproduction of the moving image content stored in the file.
- the reproduction processing unit 402 is controlled by the control unit 401 to acquire a file from a distribution server (not shown) or the like.
- This file conforms to the VVC file format generated by applying this technology.
- it is a file generated by the file generation device 300. That is, this file contains a bitstream track that stores a bitstream of content having subpictures in a frame, and an extraction that stores subpicture identification information that is information for identifying the subpictures to be extracted in the bitstream track. Stores the base track.
- the playback processing unit 402 executes playback processing on the acquired file, decodes the bitstream of the video content stored in the file, generates a display image of the video content, and displays it.
- the reproduction processing unit 402 includes a file acquisition unit 411, a file processing unit 412, a decoding unit 413, a display information generation unit 414, a display unit 415, a measurement unit 416, and a display control unit 417.
- the file acquisition unit 411 acquires a file in the VVC file format supplied from the outside of the client device 400, such as a distribution server or a file generation device 300. As described above, this file contains a bitstream track that stores a bitstream of content having a subpicture in a frame, and subpicture identification information that is information for specifying the subpicture to be extracted in the bitstream track. The extraction base track to be stored is stored. The file acquisition unit 411 supplies the acquired file to the file processing unit 412.
- the file processing unit 412 acquires the file supplied from the file acquisition unit 411.
- the file processing unit 412 acquires the measurement result supplied from the measurement unit 416.
- the file processing unit 412 acquires the control information supplied from the display control unit 417.
- the file processing unit 412 uses the information to extract some sub-pictures from the file and generate a bitstream of the extracted sub-pictures. At that time, the file processing unit 412 is described in ⁇ 2. Extraction base track>, ⁇ 3. Extension of Subpicture ID sample group>, ⁇ 4. Combined use of VVC base track and VVC extra base track> and ⁇ 5. Apply the technology described in any of V3C File Format> or a combination thereof, and perform processing on the file.
- the file processing unit 412 extracts a subpicture from the bitstream track stored in the file based on the extraction base track stored in the file, and generates a bitstream of the extracted subpicture.
- the file processing unit 412 supplies the generated bit stream to the decoding unit 413.
- the decoding unit 413 decodes the supplied bit stream and generates data of the video content of the extracted sub-picture.
- the decoding unit 413 supplies the generated video content data to the display information generation unit 414.
- the display information generation unit 414 acquires the data of the video content supplied from the decoding unit 413. Further, the display information generation unit 414 acquires the control information supplied from the display control unit 417. Then, the display information generation unit 414 generates the display image or the like from the acquired video content data according to the control information. The display information generation unit 414 supplies the generated display image or the like to the display unit 415.
- the display unit 415 has a display device and displays the supplied display image using the display device.
- the measurement unit 416 measures arbitrary information and supplies the measurement result to the file processing unit 412.
- the display control unit 417 controls the display by supplying control information to the file processing unit 412 and the display information generation unit 414.
- the client device 400 is based on the extraction base track that stores the reconstruction information necessary for reconstructing the bitstream from the partial subpictures of the partial subpictures.
- Bitstreams can be files or extracted. This allows the client device 400 to more easily reconstruct the bitstream of the extracted subpictures. Therefore, it is possible to suppress an increase in the load of the reproduction process.
- the file processing unit 412 of the client device 400 acquires a file in the VVC file format in step S401.
- step S402 the file processing unit 412 determines a part of the tile region to be played back based on the information stored in the VVC bitstream track stored in the file acquired in step S401.
- step S403 the file processing unit 412 searches and acquires the VVC extraction base track including the tile region determined in step S402 from the file.
- step S404 the file processing unit 412 extracts a subpicture corresponding to a part of the tile region to be reproduced from the file based on the reconstruction information of the VVC extraction base track acquired by the process of step S403, and its bitstream thereof. To reconstruct.
- the file processing unit 412 is stored in the file in a frame based on the extraction base track that stores the sub-picture specific information that is the information for specifying the sub-picture to be extracted.
- a desired sub-picture is extracted from a bitstream track that stores a bitstream of content having sub-pictures, and a bitstream is generated.
- step S405 the decoding unit 413 decodes the bit stream reconstructed in step S404 and obtains the data of the moving image content of the desired tile region.
- the display information generation unit 414 generates the display image.
- the display unit 415 displays the displayed image.
- step S405 When the process of step S405 is completed, the reproduction process is completed.
- the client device 400 extracts a desired subpicture from the bitstream track based on the extraction base track including the subpicture specific information, and reconstructs the bitstream. be able to. That is, the bitstream can be easily reconstructed without parsing the bitstream. Therefore, it is possible to suppress an increase in the load of the reproduction process.
- the series of processes described above can be executed by hardware or software.
- the programs constituting the software are installed in the computer.
- the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
- FIG. 25 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
- the CPU Central Processing Unit
- ROM ReadOnly Memory
- RAM RandomAccessMemory
- the input / output interface 910 is also connected to the bus 904.
- An input unit 911, an output unit 912, a storage unit 913, a communication unit 914, and a drive 915 are connected to the input / output interface 910.
- the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
- the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
- the storage unit 913 is composed of, for example, a hard disk, a RAM disk, a non-volatile memory, or the like.
- the communication unit 914 is composed of, for example, a network interface.
- the drive 915 drives a removable medium 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
- the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the above-mentioned series. Is processed.
- the RAM 903 also appropriately stores data and the like necessary for the CPU 901 to execute various processes.
- the program executed by the computer can be recorded and applied to the removable media 921 as a package media or the like, for example.
- the program can be installed in the storage unit 913 via the input / output interface 910 by mounting the removable media 921 in the drive 915.
- the program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
- the program can be received by the communication unit 914 and installed in the storage unit 913.
- this program can also be installed in advance in ROM 902 or storage unit 913.
- this technology can be applied to any configuration.
- this technique can be applied to various electronic devices.
- the present technology includes a processor as a system LSI (Large Scale Integration) (for example, a video processor), a module using a plurality of processors (for example, a video module), and a unit using a plurality of modules (for example, a video unit).
- a processor as a system LSI (Large Scale Integration) (for example, a video processor), a module using a plurality of processors (for example, a video module), and a unit using a plurality of modules (for example, a video unit).
- a processor as a system LSI (Large Scale Integration) (for example, a video processor), a module using a plurality of processors (for example, a video module), and a unit using a plurality of modules (for example, a video unit).
- a processor as a system LSI (Large Scale Integration) (for example, a video processor), a module using a plurality of processors (for example,
- this technology can be applied to a network system composed of a plurality of devices.
- the present technology may be implemented as cloud computing that is shared and jointly processed by a plurality of devices via a network.
- this technology is implemented in a cloud service that provides services related to images (moving images) to any terminal such as computers, AV (AudioVisual) devices, portable information processing terminals, and IoT (Internet of Things) devices. You may try to do it.
- the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
- Systems, devices, processing units, etc. to which this technology is applied can be used in any field such as transportation, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factories, home appliances, weather, nature monitoring, etc. .. The use is also arbitrary.
- this technology can be applied to systems and devices used for providing ornamental contents and the like.
- the present technology can be applied to systems and devices used for traffic such as traffic condition supervision and automatic driving control.
- the present technology can be applied to systems and devices used for security purposes.
- the present technology can be applied to a system or device used for automatic control of a machine or the like.
- the present technology can be applied to systems and devices used for agriculture and livestock industry.
- the present technology can also be applied to systems and devices for monitoring natural conditions such as volcanoes, forests and oceans, and wildlife. Further, for example, the present technology can be applied to systems and devices used for sports.
- the "flag” is information for identifying a plurality of states, and is not only information used for identifying two states of true (1) or false (0), but also three or more states. It also contains information that can identify the state. Therefore, the value that this "flag” can take may be, for example, a binary value of 1/0 or a value of 3 or more. That is, the number of bits constituting this "flag” is arbitrary, and may be 1 bit or a plurality of bits. Further, the identification information (including the flag) is assumed to include not only the identification information in the bit stream but also the difference information of the identification information with respect to a certain reference information in the bit stream. In, the "flag” and “identification information” include not only the information but also the difference information with respect to the reference information.
- various information (metadata, etc.) regarding the coded data may be transmitted or recorded in any form as long as it is associated with the coded data.
- the term "associate" means, for example, to make the other data available (linkable) when processing one data. That is, the data associated with each other may be combined as one data or may be individual data.
- the information associated with the coded data (image) may be transmitted on a transmission path different from the coded data (image).
- the information associated with the coded data (image) may be recorded on a recording medium (or another recording area of the same recording medium) different from the coded data (image). good.
- this "association" may be a part of the data, not the entire data.
- the image and the information corresponding to the image may be associated with each other in any unit such as a plurality of frames, one frame, or a part within the frame.
- the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
- the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
- the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
- a configuration other than the above may be added to the configuration of each device (or each processing unit).
- a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
- the above-mentioned program may be executed in any device.
- the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
- each step of one flowchart may be executed by one device, or may be shared and executed by a plurality of devices.
- one device may execute the plurality of processes, or the plurality of devices may share and execute the plurality of processes.
- a plurality of processes included in one step can be executed as processes of a plurality of steps.
- the processes described as a plurality of steps can be collectively executed as one step.
- the processing of the steps for writing the program may be executed in chronological order in the order described in the present specification, and may be executed in parallel or in a row. It may be executed individually at the required timing such as when it is broken. That is, as long as there is no contradiction, the processes of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for describing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
- a plurality of technologies related to this technology can be independently implemented independently as long as there is no contradiction.
- any plurality of the present technologies can be used in combination.
- some or all of the techniques described in any of the embodiments may be combined with some or all of the techniques described in other embodiments.
- a part or all of any of the above-mentioned techniques may be carried out in combination with other techniques not described above.
- the present technology can also have the following configurations.
- a bitstream track for storing a bitstream of content having a sub-picture in a frame and An information processing device including a file generation unit that generates a file that stores an extraction base track that stores sub-picture specific information that is information for specifying the sub-picture to be extracted in the bitstream track.
- the sub-picture specific information includes tile region identification information which is identification information of a tile region including the sub-picture.
- the extraction base track is a set of the sub-pictures extracted into one bit stream, and the sub-picture specific information is stored in each set.
- the information processing apparatus further stores set identification information which is identification information of the set.
- the bitstream track further includes subpicture identification information, which is identification information of the subpicture, and the tile of the tile region containing the subpicture for each subpicture stored in the bitstream track.
- the information processing apparatus according to any one of (2) to (4), which stores the region identification information.
- the information processing apparatus according to any one of (2) to (4), which stores the region identification information.
- the information processing apparatus stores only the sub-picture identification information for the sub-picture in which the sub-picture identification information and the tile region identification information match.
- the extraction base track further stores parameter set update information which is information for updating the parameter set so as to correspond to the bit stream of the extracted sub-pictures (1) to (6).
- the parameter set update information is information for updating the sub-picture identification information, which is the identification information of the sub-picture, so as to correspond to the bit stream of the extracted sub-picture.
- the file further includes a merge base track that stores information about the merge of a plurality of the sub-pictures extracted from the bitstream tracks that are different from each other based on the extract base track (1) to (8).
- the content is a point cloud that expresses a three-dimensional object as a set of points.
- a bitstream track for storing a bitstream of content having a subpicture in a frame and An information processing method for generating a file that stores an extraction base track that stores sub-picture specific information that is information for specifying the sub-picture to be extracted in the bitstream track.
- the sub-picture specific information includes tile region identification information which is identification information of a tile region including the sub-picture.
- the extraction base track is a set of the sub-pictures extracted into one bit stream, and the sub-picture specific information is stored in each set.
- the extraction base track further stores set identification information which is identification information of the set.
- the subpicture identification information which is the identification information of the subpicture and the tile of the tile region including the subpicture are described.
- the information processing apparatus according to any one of (32) to (34), which stores the region identification information.
- the bitstream track stores only the sub-picture identification information for the sub-picture in which the sub-picture identification information and the tile region identification information match.
- the extraction base track further stores parameter set update information, which is information for updating the parameter set so as to correspond to the bit stream of the extracted sub-pictures (31) to (36).
- the parameter set update information is information for updating the sub-picture identification information, which is the identification information of the sub-picture, so as to correspond to the bit stream of the extracted sub-picture.
- the file further includes a merge base track that stores information about the merge of a plurality of the sub-pictures extracted from the bitstream tracks that are different from each other based on the extract base track (31)-(38).
- the content is a point cloud that expresses a three-dimensional object as a set of points.
- a bitstream track for storing a bitstream of content having a subpicture in a frame and In the bitstream track, the sub-picture from the bitstream track is based on the extraction basetrack of the file that stores the sub-picture specific information that is the information for specifying the sub-picture to be extracted.
- An information processing method that extracts a picture and generates a bitstream.
- 300 file generation device 301 control unit, 302 file generation processing unit, 311 input unit, 312 preprocessing unit, 313 coding unit, 314 file generation unit, 315 recording unit, 316 output unit, 400 client device, 401 control unit, 402 Playback processing unit, 411 file acquisition unit, 412 file processing unit, 413 decoding unit, 414 display information generation unit, 415 display unit, 416 measurement unit, 417 display control unit
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本開示は、再生処理の負荷の増大を抑制することができるようにする情報処理装置および方法に関する。 フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、そのビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルを生成する。また、そのファイルの抽出ベーストラックに基づいて、ビットストリームトラックからサブピクチャを抽出し、ビットストリームを生成する。本開示は、例えば、情報処理装置、または情報処理方法等に適用することができる。
Description
本開示は、情報処理装置および方法に関し、特に、再生処理の負荷の増大を抑制することができるようにした情報処理装置および方法に関する。
従来、画像符号化方式の標準仕様のVVC(Versatile Video Coding)では、各画像(ピクチャ)は、1つ以上のスライスに分割される。また、各ピクチャは1つ以上のサブピクチャに分割することも可能である(例えば、非特許文献1参照)。また、VVCで符号化されたピクチャのファイル格納の方式として、動画圧縮の国際標準技術MPEG-4(Moving Picture Experts Group - 4)のファイルコンテナ仕様であるISOBMFF(International Organization for Standardization Base Media File Format)を利用したVVC File Formatが策定中である(例えば、非特許文献2乃至非特許文献4参照)。
さらに、3次元空間上に位置情報と属性情報(色や反射等)を同時に持った点の集合であるポイントクラウド(point cloud)について、そのポイントクラウドをセグメンテーションして領域を形成し、領域毎に平面投影してアトリビュート画像(色情報等)とジオメトリ画像(depth情報から構成される), オキュパンシーマップ画像、アトラス情報 (point cloudをpatchから再構成するための情報)を生成し、3つの画像を動画コーデックにより符号化するVideo-based Point Cloud Compression (V-PCC)があった。そしてそのV-PCCで符号化されたビットストリーム(V3Cビットストリームと称する)のローカルストレージからの再生処理やネットワーク配信の効率化を目的とし、V3CビットストリームをISOBMFFに格納する技術が提案された(例えば非特許文献5参照)。
上述のVVC File Formatでは、複数のサブピクチャを1つのトラック(VVC track)に格納し、それを再生することができる。
Benjamin Bross, Jianle Chen, Shan Liu, Ye-Kui Wang, "Versatile Video Coding (Draft 10)", JVET-S2001-vH, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 19th Meeting: by teleconference, 22 June - 1 July 2020
"Information technology - Coding of audio-visual objects - Part 15: Carriage of network abstraction layer (NAL) unit structured video in the ISO base media file format - Amendment 2: Carriage of VVC and EVC in ISOBMFF", ISO/IEC JTC 1/SC 29/WG 11, ISO/IEC 14496-15:2019(E) Amendment 2, 2020 July 30th
"Information technology - Coding of audio-visual objects - Part 15: Carriage of network abstraction layer (NAL) unit structured video in the ISO base media file format",ISO/IEC JTC 1/SC 29/WG 11,2019 Sep
"Information technology - Coding of audio-visual objects - Part 12:ISO base media file format", ISO/IEC JTC 1/SC 29/WG 11,2015 Dec
"Information technology - Coded representation of immersive media- Part 10: Carriage of Visual Volumetric Video-based Coding Data", ISO/IEC JTC1/SC 29/WG 11, ISO 23090-10:2020(E), 2020 August 23rd
しかしながら、そのトラック(VVC track)内の一部のサブピクチャを再生するためには、VVCビットストリームのパラメータセットの解析と生成が必要であり、再生処理の負荷が増大するおそれがあった。
本開示は、このような状況に鑑みてなされたものであり、再生処理の負荷の増大を抑制することができるようにするものである。
本技術の一側面の情報処理装置は、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルを生成するファイル生成部を備える情報処理装置である。
本技術の一側面の情報処理方法は、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルを生成する情報処理方法である。
本技術の他の側面の情報処理装置は、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルの前記抽出ベーストラックに基づいて、前記ビットストリームトラックから前記サブピクチャを抽出し、ビットストリームを生成するビットストリーム生成部を備える情報処理装置である。
本技術の他の側面の情報処理方法は、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルの前記抽出ベーストラックに基づいて、前記ビットストリームトラックから前記サブピクチャを抽出し、ビットストリームを生成する情報処理方法である。
本技術の一側面の情報処理装置および方法においては、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、そのビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルが生成される。
本技術の他の側面の情報処理装置および方法においては、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、そのビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルの抽出ベーストラックに基づいて、ビットストリームトラックからサブピクチャが抽出され、ビットストリームが生成される。
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.一部のサブピクチャの再生
2.抽出ベーストラック
3.Subpicture ID sample groupの拡張
4.VVCベーストラックとVVCエクストラベーストラックの併用
5.V3C File Formatの適用
6.第1の実施の形態(ファイル生成装置)
7.第2の実施の形態(再生装置)
8.付記
1.一部のサブピクチャの再生
2.抽出ベーストラック
3.Subpicture ID sample groupの拡張
4.VVCベーストラックとVVCエクストラベーストラックの併用
5.V3C File Formatの適用
6.第1の実施の形態(ファイル生成装置)
7.第2の実施の形態(再生装置)
8.付記
<1.一部のサブピクチャの再生>
<技術内容・技術用語をサポートする文献等>
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献等に記載されている内容や以下の非特許文献において参照されている他の文献の内容等も含まれる。
<技術内容・技術用語をサポートする文献等>
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献等に記載されている内容や以下の非特許文献において参照されている他の文献の内容等も含まれる。
非特許文献1:(上述)
非特許文献2:(上述)
非特許文献3:(上述)
非特許文献4:(上述)
非特許文献5:(上述)
非特許文献2:(上述)
非特許文献3:(上述)
非特許文献4:(上述)
非特許文献5:(上述)
つまり、上述の非特許文献に記載されている内容や、上述の非特許文献において参照されている他の文献の内容等も、サポート要件を判断する際の根拠となる。
<VVCビットストリーム>
従来、画像符号化方式の標準仕様のVVC(Versatile Video Coding)では、例えば、非特許文献1に記載のように、各画像(ピクチャ)は、1つ以上のスライスに分割される。また、各ピクチャは1つ以上のサブピクチャに分割することも可能である。
従来、画像符号化方式の標準仕様のVVC(Versatile Video Coding)では、例えば、非特許文献1に記載のように、各画像(ピクチャ)は、1つ以上のスライスに分割される。また、各ピクチャは1つ以上のサブピクチャに分割することも可能である。
図1は、VVCにより画像データが符号化されたビットストリーム(VVCビットストリームとも称する)の主な構成例を示す図である。図1に示されるように、VVCビットストリーム10は、1本の動画像が符号化された符号化ビデオシーケンス(coded video sequence)11の集合(単数または複数の符号化ビデオシーケンス11)により構成される。そして、符号化ビデオシーケンス11は、動画像の1フレームであるピクチャ(Picture)12の符号化データの集合(単数または複数のピクチャ12の符号化データ)により構成される。各ピクチャ12は、複数のサブピクチャ(subpicture)13に分割し得る。
つまり、サブピクチャ13は、矩形のピクチャ12を分割した矩形領域である。ピクチャ12に符号化データの存在しない画素は存在しない。サブピクチャ13同士の重なりは存在しない。ピクチャ12の画素でどのサブピクチャ13にも含まれない画素は存在しない。
サブピクチャ13は、独立に復号可能とすることができる。つまり、単数または複数のサブピクチャ13を独立に復号可能とすることができる。例えば、ピクチャ12を構成するサブピクチャ13の内の一部の符号化データのみを復号することができるようにしてもよい。その場合、VVCビットストリーム10から復号対象のサブピクチャ13の符号化データを抽出し、パラメータセット等を付加して新たなビットストリームを生成する(ビットストリームを再構成する)。
このVVCビットストリーム10のシーケンスパラメータセットのシンタックスの例を図2に示す。シーケンスパラメータセットは、符号化ビデオシーケンス11毎のパラメータセット(符号化ビデオシーケンス11内で変化しないメタデータ)である。図2においては、シーケンスパラメータセットの一部のシンタックスが示されている。
図2に示されるように、シーケンスパラメータセットは、ピクチャ12の解像度に関するパラメータにより構成される「ピクチャの解像度情報」を含む。例えば、この「ピクチャの解像度情報」は、符号化ビデオシーケンス11内のピクチャ12の解像度の最大値を示すパラメータ(sps_pic_width_max_in_luma_samples, sps_pic_height_max_in_luma_sample等)を含む。
また、シーケンスパラメータセットは、サブピクチャ13のレイアウトに関するパラメータにより構成される「サブピクチャのレイアウト情報」を含む。例えば、この「サブピクチャのレイアウト情報」は、サブピクチャ13の位置を示すパラメータ(sps_subpic_ctu_top_left_x[i], sps_subpic_ctu_top_left_y[i]等)を含む。また、「サブピクチャのレイアウト情報」は、サブピクチャ13の解像度を示すパラメータ(sps_subpic_width_minus1[i], sps_subpic_height_minus1[i]等)を含む。さらに、「サブピクチャのレイアウト情報」は、サブピクチャ13の独立した復号に関するパラメータ(sps_subpic_treated_as_pic_flag[i], sps_loop_filter_across_subpic_enabled_flag[i]等)を含む。
さらに、シーケンスパラメータセットは、その「サブピクチャのレイアウト情報」の省略に関する情報により構成される「サブピクチャのレイアウト省略フラグ」を含む。例えば、この「サブピクチャのレイアウト省略フラグ」は、全てのサブピクチャ13が独立に復号可能であるか否かを示すフラグ情報(sps_independent_subpic_flag)や、全てのサブピクチャ13が互いに同一の解像度であるか否かを示すフラグ情報(sps_subpic_same_size_flag)等を含む。例えば、全てのサブピクチャ13が独立に復号可能であり、かつ、互いに同一の解像度である場合、サブピクチャ13の数に関わらず、サブピクチャ13の幅(width)に関するパラメータと、高さ(height)に関するパラメータとが1つずつシーケンスパラメータセットに格納される。
また、シーケンスパラメータセットは、サブピクチャ13の識別に関するパラメータにより構成される「サブピクチャの識別情報」を含む。例えば、この「サブピクチャの識別情報」は、符号化ビデオシーケンスに含まれる各サブピクチャ13の識別情報(sps_subpic_id[i])等を含む。例えば、シーケンス内の各サブピクチャに対して順に番号を割り当て(例えば、0、1、2、・・・のように「+1」ずつ増加する整数値を割り当て)、その番号をサブピクチャ13の識別情報としてもよい。なお、この「サブピクチャの識別情報」は、省略される場合、シーケンスパラメータセットに格納される場合、ピクチャパラメータセットに格納される場合の3通りがある。
このようなVVCビットストリーム10から一部のサブピクチャ13を抽出して復号する場合、符号化ビデオシーケンス11に含まれるサブピクチャの数が変化するので、「サブピクチャの識別情報」や「サブピクチャのレイアウト情報」は変化し得る。つまり、この場合、VVCビットストリーム10(符号化ビデオシーケンス11)のシーケンスパラメータセットを更新し、抽出したサブピクチャのビットストリームに対応するシーケンスパラメータセットを生成する必要がある。
また、図1のVVCビットストリーム10のピクチャパラメータセットのシンタックスの例を図3および図4に示す。ピクチャパラメータセットは、ピクチャ12毎のパラメータセット(ピクチャ12内で変化しないメタデータ)である。図3および図4においては、ピクチャパラメータセットの一部のシンタックスが示されている。
図3に示されるように、ピクチャパラメータセットは、そのピクチャ12の解像度に関するパラメータにより構成される「ピクチャの解像度情報」を含む。例えば、この「ピクチャの解像度情報」は、そのピクチャ12の解像度を示すパラメータ(pps_pic_width_in_luma_samples, pps_pic_height_in_luma_samples等)を含む。
また、ピクチャパラメータセットは、サブピクチャ13の識別に関するパラメータにより構成される「サブピクチャの識別情報」を含む。例えば、この「サブピクチャの識別情報」は、そのピクチャ12に含まれる各サブピクチャ13の識別情報(pps_subpic_id[i])等を含む。例えば、そのピクチャ12内の各サブピクチャ13に対して順に番号を割り当て(例えば、0、1、2、・・・のように「+1」ずつ増加する整数値を割り当て)、その番号をサブピクチャ13の識別情報としてもよい。
さらに、ピクチャパラメータセットは、ピクチャ12内のタイルの構成に関するパラメータにより構成されるタイル情報(tile情報)を含む。幅(width)または高さ(height)が同一のタイルが画面端まで続く場合、このタイル情報は省略し得る。
また、図4に示されるように、ピクチャパラメータセットは、ピクチャ内のスライスの構成に関するパラメータにより構成されるスライス情報(Slice情報)を含む。全てのサブピクチャ13が1つのスライスで構成される場合、このスライス情報は省略し得る。
このようなVVCビットストリーム10から一部のサブピクチャ13を抽出して復号する場合、ピクチャ内のサブピクチャの構成が変化するので、ピクチャパラメータセットの上述の情報が変化し得る。つまり、この場合、VVCビットストリーム10(ピクチャ12)のピクチャパラメータセットを更新し、抽出したサブピクチャのビットストリームに対応するピクチャパラメータセットを生成する必要がある。
<VVCファイルフォーマット>
ところで、VVCで符号化されたピクチャのファイル格納の方式として、例えば非特許文献2乃至非特許文献4に示されるように、動画圧縮の国際標準技術MPEG-4(Moving Picture Experts Group - 4)のファイルコンテナ仕様であるISOBMFF(International Organization for Standardization Base Media File Format)を利用したVVCファイルフォーマット(VVC File Format)が策定中である。
ところで、VVCで符号化されたピクチャのファイル格納の方式として、例えば非特許文献2乃至非特許文献4に示されるように、動画圧縮の国際標準技術MPEG-4(Moving Picture Experts Group - 4)のファイルコンテナ仕様であるISOBMFF(International Organization for Standardization Base Media File Format)を利用したVVCファイルフォーマット(VVC File Format)が策定中である。
図5は、VVCファイルフォーマットのトラックの構成例を示す図である。図5に示されるように、VVCトラック20は、VVCビットストリームを格納するトラックであり、moovボックスとmdatボックスとを有する。moovボックスには、そのトラックに関するメタデータ等が格納され、mdatボックスには、VVCビットストリームが格納される。
ピクチャ内に複数のサブピクチャが構成される場合、このVVCファイルフォーマットでは、例えば、ピクチャ内のサブピクチャを、複数のトラック(track)に分けて格納することもできるし、1つのトラックにまとめて格納することもできる。
例えば、サブピクチャを複数のトラックに分けて格納する場合、復号の際に、復号対象とするトラックを選択することにより、一部のサブピクチャの独立した復号を実現し得る。その場合、選択したトラックの併合(merge)に関する情報(メタデータ)が、サブピクチャのビットストリームを格納するトラックとは別のトラックに格納される。このトラックをVVCベーストラック(VVC base track)とも称する。また、サブピクチャのビットストリームを格納するトラックをVVCサブピクチャトラック(VVC subpicture track)とも称する。
サブピクチャを複数のトラックに分けて格納する場合のVVCベーストラックに格納されるVVCサブピクチャオーダーエントリ(VvcSubpicOrderEntry)のシンタックスの例を図6に示す。図6に示されるように、VVCベーストラックにおいて、VisualSampleGroupEntryが拡張されて、VVCサブピクチャオーダーエントリ(VvcSubpicOrderEntry() extends VisualSampleGroupEntry('spor'))が生成される。このVVCサブピクチャオーダーエントリは、再構成するサブピクチャのグループであるサブピクチャオーダーサンプルグループ(Subpicture order sample group)を定義する情報を格納する。このサブピクチャオーダーサンプルグループは、併合するサブピクチャの数を示す「サブピクチャの数」、併合するサブピクチャの復号順を示す「サブピクチャの復号順」、サブピクチャの識別情報の書き換えに関する情報である「サブピクチャIDの書き換え情報」等の情報を含み得る。例えばsubp_track_ref_idxは、マージするサブピクチャを含むトラック若しくはトラックグループを示す。また、subpic_id_info_flagは、「サブピクチャIDの書き換え情報」の有無を示す。
また、サブピクチャを複数のトラックに分けて格納する場合のVVCサブピクチャトラックに格納されるVVCサブピクチャIDエントリ(VvcSubpicIDEntry)のシンタックスの例を図7に示す。図7に示されるように、VVCサブピクチャトラックにおいて、VisualSampleGroupEntryが拡張されて、VVCサブピクチャIDエントリ(VvcSubpicIDEntry() extends VisualSampleGroupEntry('spid'))が生成される。このV VVCサブピクチャIDエントリは、VVCサブピクチャトラックのサンプル(sample)に含まれるサブピクチャ識別情報(subpic_id)のグループであるサブピクチャIDサンプルグループ(Subpicture ID sample group)を定義する情報を格納する。このサブピクチャIDサンプルグループは、トラックに含まれるサブピクチャの識別情報(subpic_id)を復号順で示す。
上述したように、ピクチャ内のサブピクチャを、1つのトラックにまとめて格納することもできる。図5の例のVVCトラック20は、6つのサブピクチャからなるピクチャのビットストリームをサンプル23としてmdatボックスに格納している。つまり、サンプル23は、6つのサブピクチャのビットストリーム24(subpicture1 data 乃至 subpicture6 data)を含む。
この場合、VVCトラック20のmoovボックスには、タイルリージョングループエントリ(TlieRegionGroupEntry(trif))21と、ナルユニットマップエントリ(NALUMapEntry(nalm))22とが形成される。
タイルリージョングループエントリ21は、ピクチャのタイルリージョン(tile region)を示すサンプルグループ(Sample group)であるタイルリージョンサンプルグループ(Tile region sample group)を定義する情報を格納する。ナルユニットマップエントリ22は、サンプル23に含まれるナルユニット(NAL unit)をタイルリージョン毎に分類するサンプルグループであるナルユニットマップサンプルグループ(NAL unit map sample group)を定義する情報を格納する。
タイルリージョングループエントリ21には、その識別子としてgroupIDが格納される。つまりgroupIDは、タイルリージョンの識別情報である。例えば、図8のAに示されるようにピクチャに4つのタイルリージョンが形成される場合、それぞれに互いに異なるgroupIDが付与される(groupID=1 乃至 groupID=4)。タイルリージョングループエントリ21には、また、タイルリージョン(の位置および大きさ)を指定する情報が格納される。VVCでは、1つのタイルリージョンが1つ以上のサブピクチャを内包し得る。つまり、図8のBに示されるように、1つのタイルリージョンが、1つのサブピクチャにより構成されてもよいし、複数のサブピクチャにより構成されてもよい。
タイルリージョングループエントリ21のシンタックスの例を図9に示す。図9に示されるように、タイルリージョングループエントリ21には、タイルリージョングループエントリ21の識別子(groupID)、タイルリージョンの位置を示すパラメータ(horizontal_offset, vertical_offset)、タイルリージョンの大きさを示すパラメータ(region_width, region_height)、タイルリージョンの間の依存関係を示すパラメータ(dependency_tile_count, dependencyTileGroupID)等が格納される。
ナルユニットマップエントリ22には、ナルユニットとgroupIDの対応関係を示す情報が格納される。上述のようにgroupIDは、タイルリージョンに付与されるので、ナルユニットは、図10のAに示されるように、いずれかのgroupIDに対応する。そのナルユニットとgroupIDの対応関係がナルユニットマップエントリ22において示される。ナルユニットマップエントリ22のシンタックスの例を図10のBに示す。図10に示されるように、各groupIDに対応するナルユニットを示す情報(NALU_start_number)が示される。
<ユースケース:全天球映像>
図11は、サブピクチャを適用する場合のユースケースを示す図である。例えば、図11のAに示されるような、上下左右前後の6方向の映像からなる(Cubemapの)全天球映像コンテンツの各面の映像をサブピクチャとしてもよい。このような全天球映像コンテンツの場合、6面の内、1面だけ復号するケース、2面だけ復号するケース、・・・・、6面全て復号するケース、等といった多様なケースが考えられる。
図11は、サブピクチャを適用する場合のユースケースを示す図である。例えば、図11のAに示されるような、上下左右前後の6方向の映像からなる(Cubemapの)全天球映像コンテンツの各面の映像をサブピクチャとしてもよい。このような全天球映像コンテンツの場合、6面の内、1面だけ復号するケース、2面だけ復号するケース、・・・・、6面全て復号するケース、等といった多様なケースが考えられる。
そこで、図11のBに示されるように、全ての面の映像を1つのVVCトラックに格納し、適宜一部のサブサンプルを抽出することができるようにして、上述の各ケースに対応することが可能である。
<ユースケース:V3Cビットストリーム>
また、3次元空間上に位置情報と属性情報(色や反射等)を同時に持った点の集合であるポイントクラウド(point cloud)について、そのポイントクラウドをセグメンテーションして領域を形成し、領域毎に平面投影してアトリビュート画像(色情報等)とジオメトリ画像(depth情報から構成される)、オキュパンシーマップ画像、アトラス情報(ポイントクラウドをパッチから再構成するための情報)を生成し、3つの画像を動画コーデックにより符号化するV-PCC(Video-based Point Cloud Compression)があった。非特許文献5には、このようなV-PCCで符号化されたビットストリーム(V3Cビットストリームと称する)のローカルストレージからの再生処理やネットワーク配信の効率化を目的とし、V3CビットストリームをISOBMFFに格納する技術が開示された。
また、3次元空間上に位置情報と属性情報(色や反射等)を同時に持った点の集合であるポイントクラウド(point cloud)について、そのポイントクラウドをセグメンテーションして領域を形成し、領域毎に平面投影してアトリビュート画像(色情報等)とジオメトリ画像(depth情報から構成される)、オキュパンシーマップ画像、アトラス情報(ポイントクラウドをパッチから再構成するための情報)を生成し、3つの画像を動画コーデックにより符号化するV-PCC(Video-based Point Cloud Compression)があった。非特許文献5には、このようなV-PCCで符号化されたビットストリーム(V3Cビットストリームと称する)のローカルストレージからの再生処理やネットワーク配信の効率化を目的とし、V3CビットストリームをISOBMFFに格納する技術が開示された。
V3C(Video based Point Cloud data)ファイルフォーマット(V3C File Format)は、V-PCCを格納するISO base media fileを利用したファイルフォーマットである。V3Cファイルフォーマットは、例えば図12のAに示されるように、ポイントクラウドデータを複数のトラック(V3C track, occ, geo, att)に格納することが可能である。この場合、V3Cトラック(V3C track)にポイントクラウドを再構成するためのメタデータが含まれる。さらに、V3Cトラックは、V-PCCのオキュパンシーマップ(occupancy map)、ジオメトリ(geometry)、アトリビュート(attribute)のそれぞれのビデオコンポーネント(Video component)を含むトラック(ビデオコンポーネントトラック(Video component track))を参照する。
また、V3Cファイルフォーマットは、ポイントクラウドデータのパーシャルアクセス(ポイントクラウドの一部の領域を独立に復号すること)を可能にするために、例えば図12のBに示されるように、部分領域毎にトラックを分けることができる。その場合、以下のようなトラック構成が可能である。V3Cトラックは部分領域毎のV3Cアトラスタイルトラック(V3C Atlas tile track)を参照する。それぞれのV3Cアトラスタイルトラックは、そのアトラスタイル(Atlas tile)に含まれるオキュパンシーマップ、ジオメトリ、アトリビュートのそれぞれのビデオコンポーネントトラックを参照する。各ビデオコンポーネントトラックは、例えば、VVCビットストリームを格納し、独立に復号し得る。VVCビットストリームの場合、各ビデオコンポーネントトラックには、VVCファイルフォーマットが適用される。
このようなV3Cファイルフォーマットのコンテンツの場合も、パーシャルアクセスを実現するために、各部分領域をサブピクチャとし、全ての部分領域を1つのVVCトラックに格納し、適宜一部のサブピクチャを抽出することができるようにすることが考えられる。
<パラメータセットの再構成>
以上のように、VVCファイルフォーマットでは、1つのトラックに複数のサブピクチャを格納し、その一部のサブピクチャを抽出して復号することができる。しかしながら、その場合、抽出したサブピクチャを用いて1本のビットストリームを再構成し、そのビットストリームを復号することになる。再構成前のビットストリームと再構成後のビットストリームとでは、サブピクチャの構成が異なるので、パラメータセット(例えばシーケンスパラメータセットやピクチャパラメータセット)をそのまま流用することはできない。そのため、例えば再構成前のパラメータセットを更新する等して、再構成後のビットストリームに対応するパラメータセットを導出する必要がある。
以上のように、VVCファイルフォーマットでは、1つのトラックに複数のサブピクチャを格納し、その一部のサブピクチャを抽出して復号することができる。しかしながら、その場合、抽出したサブピクチャを用いて1本のビットストリームを再構成し、そのビットストリームを復号することになる。再構成前のビットストリームと再構成後のビットストリームとでは、サブピクチャの構成が異なるので、パラメータセット(例えばシーケンスパラメータセットやピクチャパラメータセット)をそのまま流用することはできない。そのため、例えば再構成前のパラメータセットを更新する等して、再構成後のビットストリームに対応するパラメータセットを導出する必要がある。
つまり、再構成前のビットストリームとそのパラメータセットを解析し、そのパラメータセットを更新し、再構成後のビットストリームに対応するパラメータセットを導出するといった煩雑な作業が必要であり、それにより再生処理の負荷が増大するおそれがあった。なお、ここで再生処理とは、少なくとも、ファイルに格納されるコンテンツのビットストリームを復号する処理と、その復号に関係する処理(例えば、復号対象とするビットストリームを再構成する処理等)を含む。また、復号して得られたデータを用いて表示画像を生成する処理がこの再生処理に含まれるようにしてもよいし、その他の処理が含まれてもよい。
例えば、サーバから複数のサブピクチャを有するコンテンツのファイルを配信し、クライアント装置においてそのファイルに格納される一部のサブピクチャのみを復号して表示画像を生成する場合、クライアント装置の負荷が増大するおそれがあった。一般的に、クライアント装置の処理能力はサーバに比べて低い。そのため、このような負荷の増大により、処理が遅延したり破綻したりするおそれがあった。換言するに、処理遅延や破綻を発生させないようにするためには、クライアント装置の処理能力を増大させなければならず、コストが増大するおそれがあった。
なお、上述したように、サブピクチャ毎に分けて複数のトラックに格納する方法の場合、VVCベーストラックを用いてビットストリームの再構成に必要なパラメータセットを格納することができる。しかしながら、このVVCベーストラックでは、トラック内に複数存在するサブピクチャの中から所望のサブピクチャを抽出することはできなかった。
<2.抽出ベーストラック>
<方法1>
そこで、図13の表の一番上の段に示されるように、一部のサブピクチャからビットストリームを再構成する際に必要なパラメータセット等の再構成情報を持つVVC抽出ベーストラック(VVC extract base track)を設け、ファイルに格納する(方法1)。そして、一部のサブピクチャを再生する場合、そのVVC抽出ベーストラックに格納される情報に基づいて、再構成後のビットストリームを生成する。
<方法1>
そこで、図13の表の一番上の段に示されるように、一部のサブピクチャからビットストリームを再構成する際に必要なパラメータセット等の再構成情報を持つVVC抽出ベーストラック(VVC extract base track)を設け、ファイルに格納する(方法1)。そして、一部のサブピクチャを再生する場合、そのVVC抽出ベーストラックに格納される情報に基づいて、再構成後のビットストリームを生成する。
図14は、本技術を適用したファイルの主な構成例を示す図である。図14に示されるファイル100は、VVCビットストリームをISOBMFFに格納するVVCファイルフォーマットに準拠するファイルである。図14に示されるように、ファイル100は、VVCビットストリームトラック110と、VVC抽出ベーストラック(VVC extract base track)120を有する。
VVCビットストリームトラック110は、上述したVVCトラック20と同様に、VVCビットストリームを格納するトラックである。VVCビットストリームトラック110は、複数のサブピクチャを有するVVCビットストリームを格納し得る。この例の場合、VVCビットストリームトラック110のmdatボックスには、6つのサブピクチャからなるピクチャのビットストリームをサンプル115として格納されている。つまり、サンプル115は、6つのサブピクチャのビットストリーム116(subpicture1 data 乃至 subpicture6 data)を含む。
また、VVCビットストリームトラック110のmoovボックスには、タイルリージョングループエントリ(TlieRegionGroupEntry(trif))111と、ナルユニットマップエントリ(NALUMapEntry(nalm))112とが格納される。タイルリージョングループエントリ111には、上述したタイルリージョングループエントリ21と同様に、タイルリージョンサンプルグループ(Tile region sample group)を定義する情報が格納される。ナルユニットマップエントリ112には、上述したナルユニットマップエントリ22と同様に、ナルユニットとgroupIDの対応関係を示す情報が格納される。
さらに、VVCビットストリームトラック110のmoovボックスには、サンプルエントリ(SampleEntry(vvc1))113が格納される。サンプルエントリ113には、VVCコンフィギュレーションボックス(VvcConfigurationBox)114が格納される。
VVC抽出ベーストラック120は、一部のサブピクチャからビットストリームを再構成する際に必要な再構成情報を格納する。再生装置は、このようなVVC抽出ベーストラック120に格納される再構成情報に基づいて、VVCビットストリームトラック110内から所望のサブピクチャのビットストリーム116を抽出し、抽出したサブピクチャのビットストリームを再構成することができる。
例えば、再生装置は、まず、VVCビットストリームトラック110のタイルリージョングループエントリ111に格納される情報に基づいて、再生する領域を決める。これにより、その再生する領域を示すgroupIDが決定する。次に、再生装置は、再生する領域を含むVVC抽出ベーストラック120を検索する。そして、再生装置は、検索したVVC抽出ベーストラック120に格納される情報に基づいてパラメータセット(シーケンスパラメータセットやピクチャパラメータセット等)を更新する(書き換える)。そして、再生装置は、VVCビットストリームトラック110のナルユニットマップエントリ112において定義されるナルユニットマップサンプルグループを用いて、サンプル115から再生する領域のナルユニットを抽出し、VVC抽出ベーストラック120に格納される情報を使ってサンプルを再構成する。
このように、再生装置は、VVCビットストリームトラック110に格納されるVVCビットストリームを解析せずに、容易に、ビットストリームを再構成し得る。したがって、再生処理の負荷の増大を抑制することができる。
なお、図14の例の場合、ファイル100は、VVC抽出ベーストラック120として、1サブピクチャ(1面)再生用の再構成情報を格納するVVC抽出ベーストラック121、2サブピクチャ(2面)再生用の再構成情報を格納するVVC抽出ベーストラック122、3サブピクチャ(3面)再生用の再構成情報を格納するVVC抽出ベーストラック123、4サブピクチャ(4面)再生用の再構成情報を格納するVVC抽出ベーストラック124、および5サブピクチャ(5面)再生用の再構成情報を格納するVVC抽出ベーストラック125を有する。このように、再構成するサブピクチャの数毎にVVC抽出ベーストラックを生成してもよい。
<方法1-1>
なお、図13の表の上から2番目の段に示されるように、VVC抽出ベーストラックに、再生で利用するトラックと、そのトラックに格納される、再生対象のサブピクチャを特定する抽出情報(extract情報)を格納してもよい(方法1-1)。そして、一部のサブピクチャを再生する場合、そのVVC抽出ベーストラックに格納される抽出情報に基づいて、再構成後のビットストリームを生成するようにしてもよい。
なお、図13の表の上から2番目の段に示されるように、VVC抽出ベーストラックに、再生で利用するトラックと、そのトラックに格納される、再生対象のサブピクチャを特定する抽出情報(extract情報)を格納してもよい(方法1-1)。そして、一部のサブピクチャを再生する場合、そのVVC抽出ベーストラックに格納される抽出情報に基づいて、再構成後のビットストリームを生成するようにしてもよい。
例えば、VVC抽出ベーストラック120が、その再構成情報として、VVCビットストリームトラック110において、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納するようにしてもよい。
例えば、情報処理方法において、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、そのビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルを生成するようにする。
例えば、情報処理装置において、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、そのビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルを生成するファイル生成部を備えるようにする。
このようにすることにより、サブピクチャ特定情報を格納する抽出ベーストラックを含むファイルが生成される。これにより、再生装置は、この抽出ベーストラックに基づいて、ビットストリームトラック内から所望のサブピクチャを抽出し、ビットストリームを再構成することができる。つまり、再生装置は、ビットストリームを解析せずに、容易に、ビットストリームを再構成し得る。したがって、再生処理の負荷の増大を抑制することができる。
また、例えば、情報処理方法において、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、そのビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルの抽出ベーストラックに基づいて、ビットストリームトラックからサブピクチャを抽出し、ビットストリームを生成するようにする。
例えば、情報処理装置において、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、そのビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルの抽出ベーストラックに基づいて、ビットストリームトラックからサブピクチャを抽出し、ビットストリームを生成するビットストリーム生成部を備えるようにする。
このようにすることにより、サブピクチャ特定情報を含む抽出ベーストラックに基づいて、ビットストリームトラック内から所望のサブピクチャを抽出し、ビットストリームを再構成することができる。つまり、ビットストリームを解析せずに、容易に、ビットストリームを再構成し得る。したがって、再生処理の負荷の増大を抑制することができる。
なお、このサブピクチャ特定情報は、サブピクチャを内包するタイルリージョンの識別情報であるタイルリージョン識別情報を含むようにしてもよい。例えば、図8を参照して説明したようなgroupIDを、サブピクチャ特定情報として用いてもよい。このようにすることにより、再生装置は、再生対象とするタイルリージョン(サブピクチャ)をより容易に特定することができる。
<方法1-1-1>
なお、図13の表の上から3番目の段に示されるように、サンプルグループ(sample group)を定義し、そのサンプルグループに、クライアントが複数のサブピクチャのセットから1つを選択することができる抽出情報を格納してもよい(方法1-1-1)。そして、一部のサブピクチャを再生する場合、そのサンプルグループに基づいて、抽出するサブピクチャのセットを選択するようにしてもよい。
なお、図13の表の上から3番目の段に示されるように、サンプルグループ(sample group)を定義し、そのサンプルグループに、クライアントが複数のサブピクチャのセットから1つを選択することができる抽出情報を格納してもよい(方法1-1-1)。そして、一部のサブピクチャを再生する場合、そのサンプルグループに基づいて、抽出するサブピクチャのセットを選択するようにしてもよい。
例えば、ビジュアルサンプルグループエントリ(VisualSampleGroupEntry(spex))を拡張してVVCサブピクチャ抽出エントリ(VvcSubpictureExtractionEntry())を生成し、そのVVCサブピクチャ抽出エントリに、抽出する(再生対象の)サブピクチャのサンプルグループであるサブピクチャ抽出サンプルグループ(Subpicture Extraction sample group)を定義する情報を格納してもよい。
このサブピクチャ抽出サンプルグループは、例えば、抽出するサブピクチャの候補のトラックのタイルリージョングループエントリのgroupID情報(リージョンセット(region set)ととも称する)示す情報を含み得る。なお、タイルリージョンを直接指定する場合、1つのタイルリージョンを含むリージョンセットを格納すればよい。また、サブピクチャ抽出サンプルグループは、サブピクチャの識別情報であるサブピクチャ識別情報の書き換え(更新)に関する情報(subpic_id書き換え情報)を含みうる。このように、リージョンセットを適用することにより、再生装置はより容易に複数のタイルリージョンを抽出することができる。
再生装置(クライアント)は、サブピクチャ抽出サンプルグループのリージョンセットから1つのgroupIDを選択し、抽出する。
この場合のVVCサブピクチャ抽出エントリ(VvcSubpictureExtractionEntry())のシンタックスの例を図15に示す。図15の例の場合、VVCサブピクチャ抽出エントリには、以下のようなパラメータが格納され得る。num_region_setは、リージョンセットの数を示す。num_region_in_setは、リージョンセットに含まれるタイルリージョンの数を示す。groupIDは、リージョンセットに含まれるタイルリージョンを示すgroupIDを示す。num_regionsは、抽出するタイルリージョンの数を示す。region_idxは、リージョンセットの識別情報であるregion_set_idまたはgroupIDを用いて指定する。
例えば、抽出ベーストラックが、抽出して1本のビットストリームとするサブピクチャを1セットとし、そのサブピクチャ特定情報をセット毎に格納してもよい。
また、抽出ベーストラックが、さらに、そのセットの識別情報であるセット識別情報を格納してもよい。
以上のようにリージョンセットを設定することにより、1つのVVC抽出ベーストラックに複数のパタンの抽出情報を格納することができる。つまり、1つのVVC抽出ベーストラックにおいて、抽出するサブピクチャの組み合わせを複数定義することができる。したがって、再生装置は、そのようなVVC抽出ベーストラックに基づいて、より多様な組み合わせのサブピクチャを抽出することができる。つまり、トラック数を増大させずに、サブピクチャの抽出パタン(組み合わせの数)を増大させることができる。これにより、冗長なトラックをまとめることができ、符号化効率の低減を抑制することができる。
なお、図15に示されるシンタックス例において、「if(subpic_id_info_flag){」の行以下は、サブピクチャ識別情報の書き換えに関する情報である。つまり、シーケンスパラメータセットやピクチャパラメータセット等のパラメータセットを再構成後のビットストリームに対応させるように更新するための情報が、VVCサブピクチャ抽出エントリに格納されている。より具体的には、パラメータセットに含まれるサブピクチャ識別情報を再構成後のビットストリームに対応させるように更新するための情報が、VVCサブピクチャ抽出エントリに格納されている。
つまり、抽出ベーストラックが、さらに、パラメータセットを、抽出されたサブピクチャのビットストリームに対応させるように更新するための情報であるパラメータセット更新情報を格納してもよい。
例えば、そのパラメータセット更新情報が、サブピクチャの識別情報であるサブピクチャ識別情報を、抽出されたサブピクチャのビットストリームに対応させるように更新するための情報であるサブピクチャ更新情報を含むようにしてもよい。
このようにすることにより、再生装置は、この抽出ベーストラックに格納される情報に基づいて、より容易に、パラメータセットを再構成後のビットストリームに対応させることができる。例えば、再生装置は、この抽出ベーストラックに格納される情報に基づいて、より容易に、パラメータセットに含まれるサブピクチャ識別情報を再構成後のビットストリームに対応させることができる。
<3.Subpicture ID sample groupの拡張>
<方法1-2>
図13の表の上から4番目の段に示されるように、サブピクチャIDサンプルグループを拡張し、サブピクチャおよびタイルリージョンの対応関係を示すマッピング情報を格納してもよい(方法1-2)。例えば、そのようなマッピング情報として、サブピクチャを含むタイルリージョンを示す情報を、サブピクチャIDサンプルグループに格納してもよい。
<方法1-2>
図13の表の上から4番目の段に示されるように、サブピクチャIDサンプルグループを拡張し、サブピクチャおよびタイルリージョンの対応関係を示すマッピング情報を格納してもよい(方法1-2)。例えば、そのようなマッピング情報として、サブピクチャを含むタイルリージョンを示す情報を、サブピクチャIDサンプルグループに格納してもよい。
例えば、図7に示されるサブピクチャIDサンプルグループの場合、サブピクチャとタイルリージョンとの関係(サブピクチャがどのタイルリージョンに内包されるか)がわからない。図8を参照して説明したように、タイルリージョンとサブピクチャは、1対1に対応するとは限らないので、図15に示されるサブピクチャ抽出サンプルグループに基づいて、所望のタイルリージョン(groupID)に必要なサブピクチャを特定することができないケースがあり得る。
そこで、サブピクチャIDサンプルグループにおいて、サブピクチャ(subpic_id)を内包するタイルリージョン(groupID)を示すようにする。
その場合のサブピクチャIDサンプルグループを定義する情報を格納するVvcSubpicIDEntry()のシンタックスの例を図16に示す。図16に示されるように、VvcSubpicIDEntry()には、サブピクチャ識別情報(subpic_id)の次に、そのサブピクチャ識別情報(subpic_id)に対応するサブピクチャを含むタイルリージョンの識別情報(groupID)が格納される。これにより、サブピクチャ(subpic_id)とタイルリージョン(groupID)との対応関係が明示される。
つまり、ビットストリームトラックが、さらに、そのビットストリームトラックに格納されるサブピクチャ毎に、そのサブピクチャ識別情報と、そのサブピクチャを内包するタイルリージョンのタイルリージョン識別情報とを格納してもよい。
このようにすることにより、再生装置は、そのサブピクチャIDサンプルグループに格納された情報に基づいて、より容易に、所望のタイルリージョンに含まれるサブピクチャ(subpic_id)を特定することができる。したがって、再生装置は、より容易に、サブピクチャ抽出サンプルグループの情報に基づいてサブピクチャ識別情報(subpic_id)の書き換え(更新)を行うことができる。
<方法1-2-1>
図13の表の上から5番目の段に示されるように、上述したサブピクチャおよびタイルリージョンの対応関係を示すマッピング情報の格納を省略することができるようにしてもよい(方法1-2-1)。
図13の表の上から5番目の段に示されるように、上述したサブピクチャおよびタイルリージョンの対応関係を示すマッピング情報の格納を省略することができるようにしてもよい(方法1-2-1)。
その場合のサブピクチャIDサンプルグループを定義する情報を格納するVvcSubpicIDEntry()のシンタックスの例を図17に示す。図17に示されるように、この場合、VvcSubpicIDEntry()には、all_subpic_id_is_same_as groupID_flagが格納される。all_subpic_id_is_same_as groupID_flagは、ピクチャ内の全てのサブピクチャ(subpic_id)とタイルリージョン(groupID)とが一致する(1対1に対応する)か否かを示すフラグ情報である。all_subpic_id_is_same_as groupID_flagの値が真(例えば1)の場合、ピクチャ内の全てのサブピクチャ(subpic_id)とタイルリージョン(groupID)とが一致することを示す。また、all_subpic_id_is_same_as groupID_flagの値が偽(例えば0)の場合、少なくとも一部のサブピクチャとタイルリージョンが1対1に対応しない(1つのタイルリージョンが複数のサブピクチャを内包する)ことを示す。そして、all_subpic_id_is_same_as groupID_flagの値が偽(例えば0)の場合のみ、groupIDが格納されるように定義されている。換言するに、ピクチャ内の全てのサブピクチャ(subpic_id)とタイルリージョン(groupID)とが一致する(1対1に対応する)場合、groupIDの格納が省略される。
つまり、ビットストリームトラックが、サブピクチャ識別情報とタイルリージョン識別情報とが一致するサブピクチャについては、サブピクチャ識別情報のみを格納してもよい。
ピクチャ内の全てのサブピクチャ(subpic_id)とタイルリージョン(groupID)とが1対1に対応する場合、マッピング情報がなくても容易にgroupIDとsubpic_idとが1対1に対応付けられるので、このようにすることにより、不要な符号量の増大を抑制することができる。したがって、符号化効率の低減を抑制することができる。
<4.VVCベーストラックとVVCエクストラベーストラックの併用>
<方法2>
図13の表の上から6番目の段に示されるように、VVCベーストラックとVVC抽出ベーストラックの両方を用いて複数のトラックからサブピクチャを抽出してもよい(方法2)。つまり、VVC抽出ベーストラックは、1つのトラックからの抽出のみをサポートし、複数のトラックから抽出する場合は、VVCベーストラックを併用するようにしてもよい。
<方法2>
図13の表の上から6番目の段に示されるように、VVCベーストラックとVVC抽出ベーストラックの両方を用いて複数のトラックからサブピクチャを抽出してもよい(方法2)。つまり、VVC抽出ベーストラックは、1つのトラックからの抽出のみをサポートし、複数のトラックから抽出する場合は、VVCベーストラックを併用するようにしてもよい。
例えば、図18のAに示されるように、2つのピクチャからそれぞれ一部のサブピクチャを抽出し、抽出したそれらのサブピクチャを併合して1つのピクチャとする。この場合、図18のBに示されるように、ピクチャからサブピクチャを抽出する際は、VVC抽出ベーストラックの情報を適用し、抽出されたサブピクチャを併合する際は、VVCベーストラックの情報を適用してもよい。
つまり、ビットストリームトラックと抽出ベーストラックとを格納するファイルが、その抽出ベーストラックに基づいて互いに異なるビットストリームトラックから抽出された複数のサブピクチャの併合に関する情報を格納する併合ベーストラックをさらに含むようにしてもよい。
このVVC抽出ベーストラックには、<2.抽出ベーストラック>および<3.Subpicture ID sample groupの拡張>において説明したVVC抽出ベーストラックのいずれも適用することができる。
また、このVVCベーストラックのVVCサブピクチャオーダーエントリ(VvcSubpicOrderEntry() extends VisualSampleGroupEntry('spor'))のシンタックスの例を図19に示す。
図19に示されるように、この例の場合、VVCサブピクチャオーダーエントリには、extract_track_exist_flagが格納される。このextract_track_exist_flagは、参照するトラックにVVC抽出ベーストラックが含まれるか否かを示すフラグ情報である。例えば、このextract_track_exist_flagが真(例えば1)の場合、参照するトラックにVVC抽出ベーストラックが含まれることを示す。また、extract_track_exist_flagが偽(例えば0)の場合、参照するトラックにVVC抽出ベーストラックが含まれないことを示す。
このようなextract_track_exist_flagを格納することにより、参照するトラックにVVC抽出ベーストラックが含まれるか否かを容易に識別することができる。つまり、上述したようなVVC抽出ベーストラックとVVCベーストラックの併用をより容易に行うことができる。また、VVCベーストラックにおいて併合可能なトラックにVVC抽出ベーストラックを含めることができる。また、VVCベーストラックにVVC抽出ベーストラックが含まれるかを容易に判断することができる。
<5.V3C File Formatの適用>
<方法3>
図13の表の一番下の段に示されるように、本技術をV3Cファイルフォーマットに適用してもよい(方法3)。
<方法3>
図13の表の一番下の段に示されるように、本技術をV3Cファイルフォーマットに適用してもよい(方法3)。
図12を参照して説明したように、V3Cファイルフォーマットでは、V-PCCビットストリームをISOBMFFのファイルに格納することができる。このようなV3Cファイルフォーマットにおいて本技術を適用し、サブピクチャを用いてパーシャルアクセスを実現するようにしてもよい。
つまり、コンテンツは、3次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであり、サブピクチャは、ポイントクラウドの独立に復号が可能な部分領域により構成されるようにしてもよい。
例えば、図20のAに示されるように、VVC抽出ベーストラックを用いて、V-PCCビットストリームのパーシャルアクセスを実現するようにしてもよい。図20のAに示される例の場合、V3Cアトラスタイルトラック(V3C Atlas tile track)が存在する。このような場合、図20のAにおいて点線枠内に示されるように、オキュパンシーマップ、ジオメトリ、アトリビュートのそれぞれについて、VVC抽出ベーストラックを設けるようにすればよい。
このVVC抽出ベーストラックには、<2.抽出ベーストラック>、<3.Subpicture ID sample groupの拡張>、および<4.VVCベーストラックとVVCエクストラベーストラックの併用>のいずれかにおいて説明した各例のVVC抽出ベーストラックが適用し得る。また、これらの例の内の複数を組み合わせて適用してもよい。つまり、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックがファイルに格納される。
再生の際は、オキュパンシーマップ、ジオメトリ、アトリビュートのそれぞれについて、VVC抽出ベーストラックを用いて必要なサブピクチャを抽出し、復号すればよい。
また、図20のBに示されるように、V3Cファイルフォーマットは、V3Cアトラストラックが存在しない、オキュパンシーマップ、ジオメトリ、アトリビュートのそれぞれを互いに異なるトラックに格納するマルチトラック構成であってもよい。
ただし、オキュパンシーマップを格納するトラックは複数のサブピクチャを含むVVCトラックになっている。ジオメトリおよびアトリビュートも同様である。部分再生する場合は、特定のサブピクチャを抽出して再生することで実現することができる。
<6.第1の実施の形態>
<ファイル生成装置>
以上に説明した本技術(の各方法)は、任意の装置において適用することができる。図21は、本技術を適用した情報処理装置の一態様であるファイル生成装置の構成の一例を示すブロック図である。図21に示されるファイル生成装置300は、サブピクチャを有する動画コンテンツをVVCで符号化したVVCビットストリームをISOBMFFに格納する装置である。
<ファイル生成装置>
以上に説明した本技術(の各方法)は、任意の装置において適用することができる。図21は、本技術を適用した情報処理装置の一態様であるファイル生成装置の構成の一例を示すブロック図である。図21に示されるファイル生成装置300は、サブピクチャを有する動画コンテンツをVVCで符号化したVVCビットストリームをISOBMFFに格納する装置である。
ファイル生成装置300は、上述した本技術を適用し、複数のサブピクチャを1つのトラックに格納し、かつ、一部のサブピクチャを独立に再生することができるようにVVCビットストリームをファイルに格納する。つまり、ファイル生成装置300は、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、そのビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとをファイルに格納する。
なお、図21においては、処理部やデータの流れ等の主なものを示しており、図21に示されるものが全てとは限らない。つまり、ファイル生成装置300において、図21においてブロックとして示されていない処理部が存在したり、図21において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図21に示されるようにファイル生成装置300は、制御部301およびファイル生成処理部302を有する。制御部301は、ファイル生成処理部302を制御する。ファイル生成処理部302は、制御部301により制御されて、ファイルの生成に関する処理を行う。例えば、ファイル生成処理部302は、ピクチャ内にサブピクチャを有するコンテンツのデータを取得し、そのデータを符号化し、VVCビットストリームを生成する。ファイル生成処理部302は、さらに、生成したVVCビットストリームをISOBMFFのファイルに格納し、そのファイルをファイル生成装置300の外部に出力する。
ファイル生成処理部302は、入力部311、前処理部312、符号化部313、ファイル生成部314、記録部315、および出力部316を有する。
入力部311は、ピクチャ内にサブピクチャを有するコンテンツのデータを取得し、それを前処理部312に供給する。前処理部312は、そのコンテンツのデータからファイル生成に必要な情報を抽出する。前処理部312は、抽出した情報をファイル生成部314に供給する。また、前処理部312は、コンテンツのデータを符号化部313に供給する。
符号化部313は、前処理部312から供給されるコンテンツのデータをVVC方式で符号化し、VVCビットストリームを生成する。符号化部313は、生成したVVCビットストリームをファイル生成部314に供給する。
ファイル生成部314は、符号化部313から供給されたVVCビットストリームをISOBMFFのファイルに格納する。その際、ファイル生成部314は、前処理部312から供給された情報を適宜そのファイルに格納する。
また、ファイル生成部314は、<2.抽出ベーストラック>、<3.Subpicture ID sample groupの拡張><4.VVCベーストラックとVVCエクストラベーストラックの併用>、および<5.V3C File Formatの適用>のいずれかにおいて説明した本技術、またはそれらの組み合わせを適用し、VVCビットストリームを格納するファイルを生成する。
つまり、ファイル生成部314は、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、ビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルを生成する。
ファイル生成部314は、生成したファイルを記録部315に供給する。記録部315は、例えば、ハードディスクや半導体メモリ等、任意の記録媒体を有し、ファイル生成部314から供給されるファイルをその記録媒体に記録する。また、記録部315は、制御部301若しくは出力部316の要求に従って、または所定のタイミングにおいて、記録媒体に記録されているファイルを読み出し、出力部316に供給する。
出力部316は、記録部315から供給されるファイルを取得し、そのファイルをファイル生成装置300の外部(例えば配信サーバや再生装置等)に出力する。
このような構成を有することにより、ファイル生成装置300は、抽出ベーストラックに、一部のサブピクチャからビットストリームを再構成する際に必要な再構成情報を格納することができる。これにより、そのファイルを再生する再生装置は、このような抽出ベーストラックに格納される再構成情報に基づいて、ビットストリームトラック内から所望のサブピクチャのビットストリームを抽出し、抽出したサブピクチャのビットストリームを再構成することができる。したがって、再生処理の負荷の増大を抑制することができる。
<ファイル生成処理の流れ>
図21のファイル生成部314により実行されるファイル生成処理の流れの例を、図22のフローチャートを参照して説明する。
図21のファイル生成部314により実行されるファイル生成処理の流れの例を、図22のフローチャートを参照して説明する。
ファイル生成処理が開始されると、ファイル生成装置300のファイル生成部314は、ステップS301において、VVCビットストリームを格納するVVCビットストリームトラックを生成する。
ステップS302において、ファイル生成部314は、抽出するサブピクチャの組み合わせを決定する。
ステップS303において、ファイル生成部314は、ステップS302において決定されたサブピクチャの組み合わせ毎に、一部のサブピクチャからビットストリームを再構成する際に必要な再構成情報を生成する。つまり、ファイル生成部314は、その再構成情報として、ビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を生成する。
ステップS304において、ファイル生成部314は、ステップS303において生成された再構成情報をVVC抽出ベーストラックに格納し、ファイルを生成する。すなわち、ファイル生成部314は、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、ビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルを生成する。
ファイルが生成されると、ファイル生成処理が終了する。
以上のように、各処理を実行することにより、ファイル生成装置300は、一部のサブピクチャからビットストリームを再構成する際に必要な再構成情報を格納する抽出ベーストラックを生成し、その抽出ベーストラックを格納するファイルを生成することができる。これにより、そのファイルを再生する再生装置は、このような抽出ベーストラックに格納される再構成情報に基づいて、ビットストリームトラック内から所望のサブピクチャのビットストリームを抽出し、抽出したサブピクチャのビットストリームを再構成することができる。したがって、再生処理の負荷の増大を抑制することができる。
<7.第2の実施の形態>
<クライアント装置>
図23は、本技術を適用した情報処理装置の一態様である再生装置の構成の一例を示すブロック図である。図23に示されるクライアント装置400は、VVCファイルフォーマットのファイルに格納されるVVCビットストリームを復号し、生成された動画像コンテンツの表示画像を生成して表示する再生装置である。例えば、クライアント装置400は、ファイル生成装置300により生成されたファイルに格納されるVVCビットストリームを復号し、生成された動画像コンテンツの表示画像を生成して表示する。その際、クライアント装置400は、上述した本技術を適用し、ファイルから一部のサブピクチャを抽出してそのビットストリームを再構成し、その再構成したビットストリームを復号する。
<クライアント装置>
図23は、本技術を適用した情報処理装置の一態様である再生装置の構成の一例を示すブロック図である。図23に示されるクライアント装置400は、VVCファイルフォーマットのファイルに格納されるVVCビットストリームを復号し、生成された動画像コンテンツの表示画像を生成して表示する再生装置である。例えば、クライアント装置400は、ファイル生成装置300により生成されたファイルに格納されるVVCビットストリームを復号し、生成された動画像コンテンツの表示画像を生成して表示する。その際、クライアント装置400は、上述した本技術を適用し、ファイルから一部のサブピクチャを抽出してそのビットストリームを再構成し、その再構成したビットストリームを復号する。
なお、図23においては、処理部やデータの流れ等の主なものを示しており、図23に示されるものが全てとは限らない。つまり、クライアント装置400において、図23においてブロックとして示されていない処理部が存在したり、図23において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図23に示されるようにクライアント装置400は、制御部401および再生処理部402を有する。制御部401は、再生処理部402の制御に関する処理を行う。再生処理部402は、ファイルに格納される動画コンテンツの再生に関する処理を行う。例えば、再生処理部402は、制御部401により制御されて、配信サーバ(図示せず)等からファイルを取得する。
このファイルは、本技術を適用して生成されたVVCファイルフォーマットに準拠するファイルである。例えば、ファイル生成装置300により生成されたファイルである。つまり、このファイルは、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、そのビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納する。
再生処理部402は、取得したファイルに対して、再生処理を実行し、そのファイルに格納される動画コンテンツのビットストリームを復号し、その動画コンテンツの表示画像を生成し、表示する。
再生処理部402は、ファイル取得部411、ファイル処理部412、復号部413、表示情報生成部414、表示部415、計測部416、および表示制御部417を有する。
ファイル取得部411は、例えば配信サーバやファイル生成装置300等、クライアント装置400の外部から供給されるVVCファイルフォーマットのファイルを取得する。上述したようにこのファイルには、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、そのビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとが格納される。ファイル取得部411は、取得したファイルをファイル処理部412に供給する。
ファイル処理部412は、ファイル取得部411から供給されるファイルを取得する。ファイル処理部412は、計測部416から供給される計測結果を取得する。ファイル処理部412は、表示制御部417から供給される制御情報を取得する。
ファイル処理部412は、それらの情報を用いて、ファイルから一部のサブピクチャを抽出し、抽出したサブピクチャのビットストリームを生成する。その際、ファイル処理部412は、<2.抽出ベーストラック>、<3.Subpicture ID sample groupの拡張>、<4.VVCベーストラックとVVCエクストラベーストラックの併用>、および<5.V3C File Formatの適用>のいずれかにおいて説明した本技術、またはそれらの組み合わせを適用し、そのファイル対する処理を行う。
つまり、ファイル処理部412は、そのファイルに格納される抽出ベーストラックに基づいて、そのファイルに格納されるビットストリームトラックからサブピクチャを抽出し、抽出したサブピクチャのビットストリームを生成する。
ファイル処理部412は、生成したビットストリームを復号部413に供給する。復号部413は、供給されたビットストリームを復号し、抽出したサブピクチャの動画コンテンツのデータを生成する。復号部413は、生成した動画コンテンツのデータを表示情報生成部414に供給する。
表示情報生成部414は、復号部413から供給される動画コンテンツのデータを取得する。また、表示情報生成部414は、表示制御部417から供給される制御情報を取得する。そして、表示情報生成部414は、その制御情報に従って、取得した動画コンテンツのデータから、その表示画像等を生成する。表示情報生成部414は、生成した表示画像等を表示部415に供給する。表示部415は、表示デバイスを有し、供給された表示画像をその表示デバイスを用いて表示する。計測部416は、任意の情報を計測し、その計測結果をファイル処理部412に供給する。表示制御部417は、ファイル処理部412や表示情報生成部414に対して制御情報を供給することにより、表示を制御する。
このような構成を有することにより、クライアント装置400は、一部のサブピクチャからビットストリームを再構成する際に必要な再構成情報を格納する抽出ベーストラックに基づいて、その一部のサブピクチャのビットストリームをファイルか抽出することができる。これにより、クライアント装置400は、より容易に、その抽出したサブピクチャのビットストリームを再構成することができる。したがって、再生処理の負荷の増大を抑制することができる。
<再生処理の流れ>
図23のクライアント装置400により実行される再生処理の流れの例を、図24のフローチャートを参照して説明する。
図23のクライアント装置400により実行される再生処理の流れの例を、図24のフローチャートを参照して説明する。
再生処理が開始されると、クライアント装置400のファイル処理部412は、ステップS401において、VVCファイルフォーマットのファイルを取得する。
ステップS402において、ファイル処理部412は、ステップS401において取得したファイルに格納されるVVCビットストリームトラックに格納される情報に基づいて、再生する一部のタイルリージョンを決定する。
ステップS403において、ファイル処理部412は、ファイルの中から、ステップS402において決定されたタイルリージョンを含むVVC抽出ベーストラックを検索し、取得する。
ステップS404において、ファイル処理部412は、ステップS403の処理により取得したVVC抽出ベーストラックの再構成情報に基づいて、再生する一部のタイルリージョンに対応するサブピクチャをファイルから抽出し、そのビットストリームを再構成する。
すなわち、ファイル処理部412は、そのファイルに格納される、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックに基づいて、そのファイルに格納される、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックから、所望のサブピクチャを抽出し、ビットストリームを生成する。
ステップS405において、復号部413は、ステップS404において再構成されたビットストリームを復号し、所望のタイルリージョンの動画像コンテンツのデータを得る。表示情報生成部414は、その表示画像を生成する。表示部415は、その表示画像を表示する。
ステップS405の処理が終了すると、再生処理が終了する。
以上のように、各処理を実行することにより、クライアント装置400は、サブピクチャ特定情報を含む抽出ベーストラックに基づいて、ビットストリームトラック内から所望のサブピクチャを抽出し、ビットストリームを再構成することができる。つまり、ビットストリームを解析せずに、容易に、ビットストリームを再構成し得る。したがって、再生処理の負荷の増大を抑制することができる。
<8.付記>
<コンピュータ>
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
<コンピュータ>
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図25は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図25に示されるコンピュータ900において、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903は、バス904を介して相互に接続されている。
バス904にはまた、入出力インタフェース910も接続されている。入出力インタフェース910には、入力部911、出力部912、記憶部913、通信部914、およびドライブ915が接続されている。
入力部911は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部912は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部913は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部914は、例えば、ネットワークインタフェースよりなる。ドライブ915は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア921を駆動する。
以上のように構成されるコンピュータでは、CPU901が、例えば、記憶部913に記憶されているプログラムを、入出力インタフェース910およびバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。RAM903にはまた、CPU901が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア921に記録して適用することができる。その場合、プログラムは、リムーバブルメディア921をドライブ915に装着することにより、入出力インタフェース910を介して、記憶部913にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部914で受信し、記憶部913にインストールすることができる。
その他、このプログラムは、ROM902や記憶部913に、あらかじめインストールしておくこともできる。
<本技術の適用可能な対象>
本技術は、任意の画像符号化・復号方式に適用することができる。
本技術は、任意の画像符号化・復号方式に適用することができる。
また、本技術は、任意の構成に適用することができる。例えば、本技術は、様々な電子機器に応用され得る。
また、例えば、本技術は、システムLSI(Large Scale Integration)等としてのプロセッサ(例えばビデオプロセッサ)、複数のプロセッサ等を用いるモジュール(例えばビデオモジュール)、複数のモジュール等を用いるユニット(例えばビデオユニット)、または、ユニットにさらにその他の機能を付加したセット(例えばビデオセット)等、装置の一部の構成として実施することもできる。
また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV(Audio Visual)機器、携帯型情報処理端末、IoT(Internet of Things)デバイス等の任意の端末に対して、画像(動画像)に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
<本技術を適用可能な分野・用途>
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
<その他>
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の2状態を識別する際に用いる情報だけでなく、3以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の2値であってもよいし、3値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報(フラグも含む)は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の2状態を識別する際に用いる情報だけでなく、3以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の2値であってもよいし、3値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報(フラグも含む)は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
また、符号化データ(ビットストリーム)に関する各種情報(メタデータ等)は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る(リンクさせ得る)ようにすることを意味する。つまり、互いに関連付けられたデータは、1つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の記録媒体(または同一の記録媒体の別の記録エリア)に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、1フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを1つのデータにまとめるといった、複数の物を1つにまとめることを意味し、上述の「関連付ける」の1つの方法を意味する。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
また、例えば、1つのフローチャートの各ステップを、1つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、1つのステップに複数の処理が含まれる場合、その複数の処理を、1つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。
また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
なお、本技術は以下のような構成も取ることができる。
(1) フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、
前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックと
を格納するファイルを生成するファイル生成部
を備える情報処理装置。
(2) 前記サブピクチャ特定情報は、前記サブピクチャを内包するタイルリージョンの識別情報であるタイルリージョン識別情報を含む
(1)に記載の情報処理装置。
(3) 前記抽出ベーストラックは、抽出して1本のビットストリームとする前記サブピクチャを1セットとし、前記サブピクチャ特定情報を前記セット毎に格納する
(2)に記載の情報処理装置。
(4) 前記抽出ベーストラックは、さらに、前記セットの識別情報であるセット識別情報を格納する
(3)に記載の情報処理装置。
(5) 前記ビットストリームトラックは、さらに、前記ビットストリームトラックに格納される前記サブピクチャ毎に、前記サブピクチャの識別情報であるサブピクチャ識別情報と、前記サブピクチャを内包するタイルリージョンの前記タイルリージョン識別情報とを格納する
(2)乃至(4)のいずれかに記載の情報処理装置。
(6) 前記ビットストリームトラックは、前記サブピクチャ識別情報と前記タイルリージョン識別情報とが一致する前記サブピクチャについては、前記サブピクチャ識別情報のみを格納する
(5)に記載の情報処理装置。
(7) 前記抽出ベーストラックは、さらに、パラメータセットを、抽出された前記サブピクチャのビットストリームに対応させるように更新するための情報であるパラメータセット更新情報を格納する
(1)乃至(6)のいずれかに記載の情報処理装置。
(8) 前記パラメータセット更新情報は、前記サブピクチャの識別情報であるサブピクチャ識別情報を、抽出された前記サブピクチャのビットストリームに対応させるように更新するための情報であるサブピクチャ更新情報を含む
(7)に記載の情報処理装置。
(1) フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、
前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックと
を格納するファイルを生成するファイル生成部
を備える情報処理装置。
(2) 前記サブピクチャ特定情報は、前記サブピクチャを内包するタイルリージョンの識別情報であるタイルリージョン識別情報を含む
(1)に記載の情報処理装置。
(3) 前記抽出ベーストラックは、抽出して1本のビットストリームとする前記サブピクチャを1セットとし、前記サブピクチャ特定情報を前記セット毎に格納する
(2)に記載の情報処理装置。
(4) 前記抽出ベーストラックは、さらに、前記セットの識別情報であるセット識別情報を格納する
(3)に記載の情報処理装置。
(5) 前記ビットストリームトラックは、さらに、前記ビットストリームトラックに格納される前記サブピクチャ毎に、前記サブピクチャの識別情報であるサブピクチャ識別情報と、前記サブピクチャを内包するタイルリージョンの前記タイルリージョン識別情報とを格納する
(2)乃至(4)のいずれかに記載の情報処理装置。
(6) 前記ビットストリームトラックは、前記サブピクチャ識別情報と前記タイルリージョン識別情報とが一致する前記サブピクチャについては、前記サブピクチャ識別情報のみを格納する
(5)に記載の情報処理装置。
(7) 前記抽出ベーストラックは、さらに、パラメータセットを、抽出された前記サブピクチャのビットストリームに対応させるように更新するための情報であるパラメータセット更新情報を格納する
(1)乃至(6)のいずれかに記載の情報処理装置。
(8) 前記パラメータセット更新情報は、前記サブピクチャの識別情報であるサブピクチャ識別情報を、抽出された前記サブピクチャのビットストリームに対応させるように更新するための情報であるサブピクチャ更新情報を含む
(7)に記載の情報処理装置。
(9) 前記ファイルは、前記抽出ベーストラックに基づいて互いに異なる前記ビットストリームトラックから抽出された複数の前記サブピクチャの併合に関する情報を格納する併合ベーストラックをさらに含む
(1)乃至(8)のいずれかに記載の情報処理装置。
(10) 前記コンテンツは、3次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであり、
前記サブピクチャは、前記ポイントクラウドの独立に復号が可能な部分領域により構成される
(1)乃至(9)のいずれかに記載の情報処理装置。
(1)乃至(8)のいずれかに記載の情報処理装置。
(10) 前記コンテンツは、3次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであり、
前記サブピクチャは、前記ポイントクラウドの独立に復号が可能な部分領域により構成される
(1)乃至(9)のいずれかに記載の情報処理装置。
(11) フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、
前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックと
を格納するファイルを生成する
情報処理方法。
前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックと
を格納するファイルを生成する
情報処理方法。
(31) フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、
前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックと
を格納するファイルの前記抽出ベーストラックに基づいて、前記ビットストリームトラックから前記サブピクチャを抽出し、ビットストリームを生成するビットストリーム生成部
を備える情報処理装置。
(32) 前記サブピクチャ特定情報は、前記サブピクチャを内包するタイルリージョンの識別情報であるタイルリージョン識別情報を含む
(31)に記載の情報処理装置。
(33) 前記抽出ベーストラックは、抽出して1本のビットストリームとする前記サブピクチャを1セットとし、前記サブピクチャ特定情報を前記セット毎に格納する
(32)に記載の情報処理装置。
(34) 前記抽出ベーストラックは、さらに、前記セットの識別情報であるセット識別情報を格納する
(33)に記載の情報処理装置。
(35) 前記ビットストリームトラックは、さらに、前記ビットストリームトラックに格納される前記サブピクチャ毎に、前記サブピクチャの識別情報であるサブピクチャ識別情報と、前記サブピクチャを内包するタイルリージョンの前記タイルリージョン識別情報とを格納する
(32)乃至(34)のいずれかに記載の情報処理装置。
(36) 前記ビットストリームトラックは、前記サブピクチャ識別情報と前記タイルリージョン識別情報とが一致する前記サブピクチャについては、前記サブピクチャ識別情報のみを格納する
(35)に記載の情報処理装置。
(37) 前記抽出ベーストラックは、さらに、パラメータセットを、抽出された前記サブピクチャのビットストリームに対応させるように更新するための情報であるパラメータセット更新情報を格納する
(31)乃至(36)のいずれかに記載の情報処理装置。
(38) 前記パラメータセット更新情報は、前記サブピクチャの識別情報であるサブピクチャ識別情報を、抽出された前記サブピクチャのビットストリームに対応させるように更新するための情報であるサブピクチャ更新情報を含む
(37)に記載の情報処理装置。
前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックと
を格納するファイルの前記抽出ベーストラックに基づいて、前記ビットストリームトラックから前記サブピクチャを抽出し、ビットストリームを生成するビットストリーム生成部
を備える情報処理装置。
(32) 前記サブピクチャ特定情報は、前記サブピクチャを内包するタイルリージョンの識別情報であるタイルリージョン識別情報を含む
(31)に記載の情報処理装置。
(33) 前記抽出ベーストラックは、抽出して1本のビットストリームとする前記サブピクチャを1セットとし、前記サブピクチャ特定情報を前記セット毎に格納する
(32)に記載の情報処理装置。
(34) 前記抽出ベーストラックは、さらに、前記セットの識別情報であるセット識別情報を格納する
(33)に記載の情報処理装置。
(35) 前記ビットストリームトラックは、さらに、前記ビットストリームトラックに格納される前記サブピクチャ毎に、前記サブピクチャの識別情報であるサブピクチャ識別情報と、前記サブピクチャを内包するタイルリージョンの前記タイルリージョン識別情報とを格納する
(32)乃至(34)のいずれかに記載の情報処理装置。
(36) 前記ビットストリームトラックは、前記サブピクチャ識別情報と前記タイルリージョン識別情報とが一致する前記サブピクチャについては、前記サブピクチャ識別情報のみを格納する
(35)に記載の情報処理装置。
(37) 前記抽出ベーストラックは、さらに、パラメータセットを、抽出された前記サブピクチャのビットストリームに対応させるように更新するための情報であるパラメータセット更新情報を格納する
(31)乃至(36)のいずれかに記載の情報処理装置。
(38) 前記パラメータセット更新情報は、前記サブピクチャの識別情報であるサブピクチャ識別情報を、抽出された前記サブピクチャのビットストリームに対応させるように更新するための情報であるサブピクチャ更新情報を含む
(37)に記載の情報処理装置。
(39) 前記ファイルは、前記抽出ベーストラックに基づいて互いに異なる前記ビットストリームトラックから抽出された複数の前記サブピクチャの併合に関する情報を格納する併合ベーストラックをさらに含む
(31)乃至(38)のいずれかに記載の情報処理装置。
(40) 前記コンテンツは、3次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであり、
前記サブピクチャは、前記ポイントクラウドの独立に復号が可能な部分領域により構成される
(31)乃至(39)のいずれかに記載の情報処理装置。
(31)乃至(38)のいずれかに記載の情報処理装置。
(40) 前記コンテンツは、3次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであり、
前記サブピクチャは、前記ポイントクラウドの独立に復号が可能な部分領域により構成される
(31)乃至(39)のいずれかに記載の情報処理装置。
(41) フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、
前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックと
を格納するファイルの前記抽出ベーストラックに基づいて、前記ビットストリームトラックから前記サブピクチャを抽出し、ビットストリームを生成する
情報処理方法。
前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックと
を格納するファイルの前記抽出ベーストラックに基づいて、前記ビットストリームトラックから前記サブピクチャを抽出し、ビットストリームを生成する
情報処理方法。
300 ファイル生成装置, 301 制御部, 302 ファイル生成処理部, 311 入力部, 312 前処理部, 313 符号化部, 314 ファイル生成部, 315 記録部, 316 出力部, 400 クライアント装置, 401 制御部, 402 再生処理部, 411 ファイル取得部, 412 ファイル処理部, 413 復号部, 414 表示情報生成部, 415 表示部, 416 計測部, 417 表示制御部
Claims (20)
- フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、
前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックと
を格納するファイルを生成するファイル生成部
を備える情報処理装置。 - 前記サブピクチャ特定情報は、前記サブピクチャを内包するタイルリージョンの識別情報であるタイルリージョン識別情報を含む
請求項1に記載の情報処理装置。 - 前記抽出ベーストラックは、抽出して1本のビットストリームとする前記サブピクチャを1セットとし、前記サブピクチャ特定情報を前記セット毎に格納する
請求項2に記載の情報処理装置。 - 前記抽出ベーストラックは、さらに、前記セットの識別情報であるセット識別情報を格納する
請求項3に記載の情報処理装置。 - 前記ビットストリームトラックは、さらに、前記ビットストリームトラックに格納される前記サブピクチャ毎に、前記サブピクチャの識別情報であるサブピクチャ識別情報と、前記サブピクチャを内包するタイルリージョンの前記タイルリージョン識別情報とを格納する
請求項2に記載の情報処理装置。 - 前記ビットストリームトラックは、前記サブピクチャ識別情報と前記タイルリージョン識別情報とが一致する前記サブピクチャについては、前記サブピクチャ識別情報のみを格納する
請求項5に記載の情報処理装置。 - 前記抽出ベーストラックは、さらに、パラメータセットを、抽出された前記サブピクチャのビットストリームに対応させるように更新するための情報であるパラメータセット更新情報を格納する
請求項1に記載の情報処理装置。 - 前記パラメータセット更新情報は、前記サブピクチャの識別情報であるサブピクチャ識別情報を、抽出された前記サブピクチャのビットストリームに対応させるように更新するための情報であるサブピクチャ更新情報を含む
請求項7に記載の情報処理装置。 - 前記ファイルは、前記抽出ベーストラックに基づいて互いに異なる前記ビットストリームトラックから抽出された複数の前記サブピクチャの併合に関する情報を格納する併合ベーストラックをさらに含む
請求項1に記載の情報処理装置。 - フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、
前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックと
を格納するファイルを生成する
情報処理方法。 - フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、
前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックと
を格納するファイルの前記抽出ベーストラックに基づいて、前記ビットストリームトラックから前記サブピクチャを抽出し、ビットストリームを生成するビットストリーム生成部
を備える情報処理装置。 - 前記サブピクチャ特定情報は、前記サブピクチャを内包するタイルリージョンの識別情報であるタイルリージョン識別情報を含む
請求項11に記載の情報処理装置。 - 前記抽出ベーストラックは、抽出して1本のビットストリームとする前記サブピクチャを1セットとし、前記サブピクチャ特定情報を前記セット毎に格納する
請求項12に記載の情報処理装置。 - 前記抽出ベーストラックは、さらに、前記セットの識別情報であるセット識別情報を格納する
請求項13に記載の情報処理装置。 - 前記ビットストリームトラックは、さらに、前記ビットストリームトラックに格納される前記サブピクチャ毎に、前記サブピクチャの識別情報であるサブピクチャ識別情報と、前記サブピクチャを内包するタイルリージョンの前記タイルリージョン識別情報とを格納する
請求項12に記載の情報処理装置。 - 前記ビットストリームトラックは、前記サブピクチャ識別情報と前記タイルリージョン識別情報とが一致する前記サブピクチャについては、前記サブピクチャ識別情報のみを格納する
請求項15に記載の情報処理装置。 - 前記抽出ベーストラックは、さらに、パラメータセットを、抽出された前記サブピクチャのビットストリームに対応させるように更新するための情報であるパラメータセット更新情報を格納する
請求項11に記載の情報処理装置。 - 前記パラメータセット更新情報は、前記サブピクチャの識別情報であるサブピクチャ識別情報を、抽出された前記サブピクチャのビットストリームに対応させるように更新するための情報であるサブピクチャ更新情報を含む
請求項17に記載の情報処理装置。 - 前記ファイルは、前記抽出ベーストラックに基づいて互いに異なる前記ビットストリームトラックから抽出された複数の前記サブピクチャの併合に関する情報を格納する併合ベーストラックをさらに含む
請求項18に記載の情報処理装置。 - フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、
前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックと
を格納するファイルの前記抽出ベーストラックに基づいて、前記ビットストリームトラックから前記サブピクチャを抽出し、ビットストリームを生成する
情報処理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21869182.2A EP4207769A4 (en) | 2020-09-15 | 2021-09-02 | INFORMATION PROCESSING APPARATUS AND METHOD |
US18/040,816 US20230308661A1 (en) | 2020-09-15 | 2021-09-02 | Information processing apparatus and method |
JP2022550453A JPWO2022059495A1 (ja) | 2020-09-15 | 2021-09-02 | |
CN202180055166.1A CN116018809A (zh) | 2020-09-15 | 2021-09-02 | 信息处理装置和方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063078573P | 2020-09-15 | 2020-09-15 | |
US63/078,573 | 2020-09-15 | ||
US202063118797P | 2020-11-27 | 2020-11-27 | |
US63/118,797 | 2020-11-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022059495A1 true WO2022059495A1 (ja) | 2022-03-24 |
Family
ID=80776918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/032228 WO2022059495A1 (ja) | 2020-09-15 | 2021-09-02 | 情報処理装置および方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230308661A1 (ja) |
EP (1) | EP4207769A4 (ja) |
JP (1) | JPWO2022059495A1 (ja) |
CN (1) | CN116018809A (ja) |
WO (1) | WO2022059495A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022050375A (ja) * | 2020-09-17 | 2022-03-30 | レモン インコーポレイテッド | サブピクチャトラックの参照および処理 |
US11930295B2 (en) | 2020-09-17 | 2024-03-12 | Lemon Inc. | Handling of non-VCL NAL units in picture unit construction |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190014350A1 (en) * | 2017-07-10 | 2019-01-10 | Qualcomm Incorporated | Enhanced high-level signaling for fisheye virtual reality video in dash |
WO2019168304A1 (ko) * | 2018-02-27 | 2019-09-06 | 엘지전자 주식회사 | 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113170238B (zh) * | 2018-09-12 | 2023-08-01 | 诺基亚技术有限公司 | 用于视频编码和解码的装置、方法和计算机程序 |
-
2021
- 2021-09-02 JP JP2022550453A patent/JPWO2022059495A1/ja active Pending
- 2021-09-02 US US18/040,816 patent/US20230308661A1/en active Pending
- 2021-09-02 WO PCT/JP2021/032228 patent/WO2022059495A1/ja unknown
- 2021-09-02 CN CN202180055166.1A patent/CN116018809A/zh active Pending
- 2021-09-02 EP EP21869182.2A patent/EP4207769A4/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190014350A1 (en) * | 2017-07-10 | 2019-01-10 | Qualcomm Incorporated | Enhanced high-level signaling for fisheye virtual reality video in dash |
WO2019168304A1 (ko) * | 2018-02-27 | 2019-09-06 | 엘지전자 주식회사 | 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치 |
Non-Patent Citations (6)
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022050375A (ja) * | 2020-09-17 | 2022-03-30 | レモン インコーポレイテッド | サブピクチャトラックの参照および処理 |
JP7355791B2 (ja) | 2020-09-17 | 2023-10-03 | レモン インコーポレイテッド | サブピクチャトラックの参照および処理 |
US11871143B2 (en) | 2020-09-17 | 2024-01-09 | Lemon Inc. | Subpicture tracks in coded video |
US11930295B2 (en) | 2020-09-17 | 2024-03-12 | Lemon Inc. | Handling of non-VCL NAL units in picture unit construction |
Also Published As
Publication number | Publication date |
---|---|
EP4207769A4 (en) | 2024-02-21 |
JPWO2022059495A1 (ja) | 2022-03-24 |
US20230308661A1 (en) | 2023-09-28 |
EP4207769A1 (en) | 2023-07-05 |
CN116018809A (zh) | 2023-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11962809B2 (en) | Image data encapsulation with referenced description information | |
US10567784B2 (en) | Description of image composition with HEVC still image file format | |
JP7487742B2 (ja) | 画像処理装置および方法 | |
KR20190123806A (ko) | 이미지 데이터 캡슐화 | |
WO2022059495A1 (ja) | 情報処理装置および方法 | |
WO2014111421A1 (en) | Method of displaying a region of interest in a video stream | |
US11405644B2 (en) | Image processing apparatus and method | |
CN114697668B (zh) | 点云媒体的编解码方法及相关产品 | |
WO2021251173A1 (ja) | 情報処理装置および方法 | |
CN117061767A (zh) | 信息处理装置和信息处理方法 | |
US11915390B2 (en) | Image processing device and method | |
JP2022003716A (ja) | 画像処理装置および方法 | |
WO2023176419A1 (ja) | 情報処理装置および方法 | |
US20230291918A1 (en) | Information processing device and method | |
WO2021251141A1 (ja) | 情報処理装置および方法 | |
WO2023277062A1 (ja) | 情報処理装置および方法 | |
GB2560649A (en) | Image data encapsulation with tile support |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21869182 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022550453 Country of ref document: JP Kind code of ref document: A |
|
ENP | Entry into the national phase |
Ref document number: 2021869182 Country of ref document: EP Effective date: 20230331 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |