WO2021117802A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2021117802A1
WO2021117802A1 PCT/JP2020/046001 JP2020046001W WO2021117802A1 WO 2021117802 A1 WO2021117802 A1 WO 2021117802A1 JP 2020046001 W JP2020046001 W JP 2020046001W WO 2021117802 A1 WO2021117802 A1 WO 2021117802A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
sub
information
flag
image
Prior art date
Application number
PCT/JP2020/046001
Other languages
English (en)
French (fr)
Inventor
充 勝股
平林　光浩
優 池田
矢ケ崎　陽一
勇司 藤本
健史 筑波
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2021564023A priority Critical patent/JPWO2021117802A1/ja
Priority to US17/781,053 priority patent/US20220417499A1/en
Priority to CN202080076994.9A priority patent/CN114631319A/zh
Publication of WO2021117802A1 publication Critical patent/WO2021117802A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Definitions

  • the present disclosure relates to an image processing device and a method, and more particularly to an image processing device and a method capable of suppressing a reduction in the degree of freedom in controlling the resolution of an image of a sub-picture.
  • Non-Patent Document 1 a coding method has been proposed in which a predicted residual of a moving image is derived, coefficient-converted, quantized and encoded (see, for example, Non-Patent Document 1).
  • VVC Very Video Coding
  • RPR Reference Picture Resampling
  • a function called a sub-picture is implemented in which an image area corresponding to a picture is divided into a plurality of sub-areas and used.
  • JVET-P2001-vE Joint Video Experts Team (JVET) of ITU-T SG 16 WP 1 / SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 Oct 2019 Miska M. Hannuksela, Alireza Aminlou, Kashyap Kammachi-Sreedhar, "AHG8 / AHG12: Subpicture-specific reference picture resampling", JVET-P0403, Joint Video Experts Team (JVET) of ITU-T SG 1 / SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 October 2019
  • Non-Patent Document 2 since the layout of the partial area to be a sub-picture is fixed, there is a risk that the degree of freedom in controlling the resolution of the image of the sub-picture may be reduced.
  • the present disclosure has been made in view of such a situation, and makes it possible to suppress a reduction in the degree of freedom in controlling the resolution of the sub-picture image.
  • the image processing device of one aspect of the present technology displays an image of the fixed sub-picture, which is the sub-picture in which the position of the reference pixel is fixed in the time direction, in the sub-picture which is a partial region of the picture. It is an image processing apparatus including a coding unit that encodes in a direction with a variable resolution and generates coded data.
  • the image processing method of one aspect of the present technology is to obtain an image of the fixed sub-picture, which is the sub-picture in which the position of the reference pixel is fixed in the time direction, in the sub-picture which is a partial region of the picture.
  • This is an image processing method that generates encoded data by encoding with a resolution that is variable in the direction.
  • the image of the fixed sub-picture which is the sub-picture in which the position of the reference pixel is fixed in the time direction, is the time in the sub-picture which is a partial region of the picture.
  • the image of the fixed sub-picture which is the sub-picture in which the position of the reference pixel is fixed in the time direction
  • the time in the sub-picture which is a partial region of the picture.
  • the image of the fixed sub-picture which is the sub-picture in which the position of the reference pixel is fixed in the time direction, in the sub-picture which is a partial region of the picture is , Encoded with a variable resolution in the time direction.
  • the coded data encoded at a resolution that is variable in the time direction is decoded, and an image of that resolution of the fixed subpicture is generated.
  • Sub-picture image resolution control 1 2. First Embodiment (coding) 3. 3. Second Embodiment (decoding) 4. Sub-picture image resolution control 2 5. Third Embodiment (coding) 6. Fourth Embodiment (decoding) 7. Sub-picture image resolution control 3 8. Fifth Embodiment (image processing system) 9. Addendum
  • Sub-picture image resolution control 1> ⁇ Documents that support technical contents and terms>
  • the scope disclosed in the present technology is not limited to the contents described in the embodiments, but is referred to in the following non-patent documents and the like known at the time of filing and in the following non-patent documents. The contents of other documents that have been published are also included.
  • Non-Patent Document 1 (above)
  • Non-Patent Document 2 (above)
  • Non-Patent Document 3 Recommendation ITU-T H.264 (04/2017) "Advanced video coding for generic audiovisual services", April 2017
  • Non-Patent Document 4 Recommendation ITU-T H.265 (02/18) "High efficiency video coding", february 2018
  • Non-Patent Document 5 Ye-Kui Wang, Miska M. Hannuksela, Karsten Gruneberg, "WD of Carriage of VVC in ISOBMFF", ISO / IEC JTC 1 / SC 29/WG 11 N18856, Geneva, CH --October 2019
  • Non-Patent Document 6 “Information technology. Dynamic adaptive streaming over HTTP (DASH).
  • the contents described in the above-mentioned non-patent documents are also the basis for determining the support requirements.
  • Quad-Tree Block Structure and QTBT (Quad Tree Plus Binary Tree) Block Structure described in the above-mentioned non-patent documents are not directly described in the examples, they are within the disclosure range of the present technology. It shall meet the support requirements of the claims.
  • technical terms such as Parsing, Syntax, and Semantics are within the scope of disclosure of the present technology even if they are not directly described in the examples. Shall meet the support requirements in the range of.
  • a "block” (not a block indicating a processing unit) used in the description as a partial area of an image (picture) or a processing unit indicates an arbitrary partial area in the picture unless otherwise specified. Its size, shape, characteristics, etc. are not limited.
  • “block” includes TB (Transform Block), TU (Transform Unit), PB (Prediction Block), PU (Prediction Unit), SCU (Smallest Coding Unit), and CU described in the above-mentioned non-patent documents.
  • CodingUnit LCU (LargestCodingUnit), CTB (CodingTreeBlock), CTU (CodingTreeUnit), subblock, macroblock, tile, slice, etc., including any partial area (processing unit) And.
  • the block size may be specified using the identification information that identifies the size.
  • the block size may be specified by the ratio or difference with the size of the reference block (for example, LCU, SCU, etc.).
  • the designation of the block size also includes the designation of the range of the block size (for example, the designation of the range of the allowable block size).
  • RPR Reference Picture Resampling
  • VVC has implemented a function called a sub-picture that divides the image area corresponding to the picture into a plurality of sub-areas and uses it.
  • FIG. 1 is a diagram showing a main configuration example of a VVC bit stream, which is a bit stream generated by encoding an image by a VVC coding method.
  • the VVC bit stream 10 shown in FIG. 1 is coded data of a moving image composed of a plurality of frame images.
  • the VVC bit stream 10 is composed of a set of coded data 11 of CVS (Coded Video Sequence).
  • CVS is a set of pictures for a predetermined period.
  • a picture is a frame image at a certain time. That is, the CVS coded data 11 is composed of a set of coded data 12 of pictures at each time within a predetermined period.
  • the picture coding data 12 is composed of a set of sub-picture coding data 13.
  • a sub-picture is a partial area obtained by dividing a picture (that is, an image area corresponding to a picture).
  • the picture and the sub-picture have the following features.
  • Pictures and sub-pictures are rectangular. There are no pixels in the picture that do not have coded data. There is no overlap between sub-pictures. There are no picture pixels that are not included in any sub-picture.
  • the sub-picture is a function that aims to realize decoding (distributed processing) for each sub-picture, or to reduce the number of decoder instances by merging a plurality of pictures or sub-pictures into one picture.
  • the images on each side can be processed independently or merged. Easy control. Since the sub-picture is not a coding unit such as a slice or a tile, for example, another sub-picture can be referred to at the time of coding.
  • 6DoF Degree of Freedom
  • the picture division information (sub-picture mapping information) is signaled (that is, transmitted from the coding side device to the decoding side device).
  • Sub-picture mapping information is fixed information (information that cannot be changed) in CVS.
  • the sub-picture mapping information is signaled in a sequence parameter set (SPS (Sequence Parameter Set)), which is a parameter set for each sequence as in the syntax shown in FIG. 2A.
  • SPS Sequence Parameter Set
  • the sub-picture mapping information is information indicating the layout of each sub-picture to be a sub-picture.
  • the sub-picture mapping information expresses each divided region by the position information (for example, XY coordinates) and the size information of the reference pixel (for example, the upper leftmost pixel).
  • the position information of the reference pixel the horizontal position (subpic_ctu_top_left_x) and the vertical position (subpic_ctu_top_left_y) of the upper left end pixel of the sub picture are shown in CTU units.
  • the width (subpic_width_minus1) and the height (subpic_height_minus1) of the sub picture are shown in CTU units.
  • the sub-picture identification information (sub-picture ID mapping information) for determining the image data (slice data) allocated to each sub-area represented by the sub-picture mapping information.
  • the sub-picture ID mapping information is a list of sub-picture identification information assigned to each sub-area.
  • Sub-picture ID mapping information is information (variable information) that can be changed for each picture.
  • the sub-picture ID mapping information for example, the sub-picture ID mapping information can be signaled in the SPS as shown in A of FIG. Further, the sub-picture ID mapping information can also be signaled in a picture parameter set (PPS (Picture Parameter Set)), which is a parameter set for each picture, as shown by B in FIG. Further, the sub-picture ID mapping information can also be signaled in the picture header (PH (Picture Header)) as shown by C in FIG.
  • PPS Picture Parameter Set
  • PH Picture Header
  • the same sub-picture IDs are assigned to the subregions to which the image data of the same slices are assigned between the pictures, so that the pictures are identified as the same sub-pictures.
  • Non-Patent Document 2 ⁇ Method of applying RPR technology for each sub-picture>
  • the sub-picture mapping information is fixed in CVS, and the sub-picture ID mapping information is variable in the time direction. That is, by signaling the sub-picture ID mapping information by PPS or PH, it is possible to switch the slice data allocated to each sub-area indicated by the sub-picture mapping information for each picture.
  • RPR processing is applied for each sub-picture ID.
  • the resolution of the sub-picture image is limited to the size of the partial area to be the sub-picture. Since the layout of the partial area is fixed, the resolution of the sub-picture image is further limited. That is, there is a risk that the degree of freedom in controlling the resolution of the sub-picture image may be reduced. For example, in the case of the example of FIG. 4, since there are only two types of partial area sizes, the resolution of the sub-picture image is also limited to those two types, and it is difficult to set other resolutions.
  • RPR processing of fixed sub-pictures Therefore, as shown in the uppermost row of the table of FIG. 5, the RPR process is performed in the sub-picture in which the position of the reference pixel is fixed in the time direction.
  • a sub-picture in which the position of the reference pixel is fixed in the time direction is also referred to as a fixed sub-picture.
  • the sub-picture ID to be assigned is a fixed sub-picture ID in the time direction as in the example shown in FIG. Control the resolution of the image within.
  • an image of a fixed sub-picture which is a sub-picture in which the position of a reference pixel is fixed in the time direction
  • a sub-picture which is a partial area in which the picture is divided is timed. Try to encode with a variable resolution in the direction.
  • an image of a fixed sub-picture which is a sub-picture in which the position of a reference pixel is fixed in the time direction, in a sub-picture which is a partial area in which the picture is divided is displayed.
  • a coding unit that encodes at a variable resolution in the time direction is provided.
  • the image of the fixed sub-picture which is a sub-picture in which the position of the reference pixel is fixed in the time direction
  • the sub-picture which is a partial area in which the picture is divided is in the time direction.
  • an image of a fixed sub-picture which is a sub-picture in which the position of a reference pixel is fixed in the time direction
  • the sub-picture which is a partial area obtained by dividing the picture is in the time direction. It is provided with a decoding unit that decodes the encoded data encoded at a variable resolution and generates an image of that resolution of the fixed subpicture.
  • the resolution of the sub-picture image is not limited to the size of the partial area, it is possible to suppress a reduction in the degree of freedom in controlling the resolution of the sub-picture image.
  • the resolution is free when encoding the surfaces included in the recommended viewing direction as high resolution and the other surfaces as low resolution. Can be decided.
  • the sub-picture RPR information which is the information used for decoding the RPR function for each sub-picture
  • the decoded data May be signaled with sub-picture rendering information, which is information used for rendering (method 1).
  • the decoding side device can more easily perform RPR processing for each sub-picture.
  • the decoding side device can more easily render the image of the decoded subpicture.
  • sub-picture resolution information which is information indicating the resolution of the image of the sub-picture, is signaled so as to be variable in the time direction. It may be done (method 1-1).
  • the sub-picture resolution information may be signaled in PPS.
  • subpic_width_minus1 indicating the width of the subpicture in CTU units
  • subpic_height_minus1 indicating the height of the subpicture in CTU units
  • the coding side device may signal the sub-picture resolution information, which is information indicating the resolution of the sub-picture image, for each picture. Further, the decoding side device analyzes the sub-picture resolution information signaled for each picture, decodes the encoded data, and generates an image of the fixed sub-picture having the resolution indicated by the analyzed sub-picture resolution information. You may do so.
  • the resolution of the sub-picture image can be made variable in the time direction within a range of the maximum resolution or less. Therefore, as compared with the method described in Non-Patent Document 2, it is possible to suppress a reduction in the degree of freedom in controlling the resolution of the sub-picture. Further, by controlling the resolution of the fixed sub-picture, the position of the sub-picture whose resolution is controlled does not change significantly, so that the load of the coding process and the decoding process is increased as compared with the method described in Non-Patent Document 2. Can be suppressed.
  • the sub-picture reference pixel position information which is the information indicating the position of the reference pixel of the sub-picture
  • the sub-picture maximum resolution information which is the information indicating the maximum resolution (maximum size) of the sub-picture.
  • the sub-picture ID mapping information which is a list of sub-picture identification information, may be fixed in the time direction (may not change in the time direction).
  • this information may be signaled.
  • subpic_ctu_top_left_x indicating the horizontal position of the reference pixel in CTU units
  • subpic_ctu_top_left_y indicating the vertical position of the reference pixel in CTU units
  • sub-picture reference pixel position information indicating the sub-picture reference pixel position information.
  • sub-picture maximum resolution information subpic_max_width_minus1 indicating the maximum width of the sub-picture in CVS in CTU units and subpic_max_height_minus1 indicating the maximum height of the sub-picture in CVS in CTU units are signaled in SPS.
  • the sub-picture ID mapping information is signaled in the SPS with the syntax shown in FIG. 3A.
  • the coding side device may signal the sub-picture reference pixel position information, the sub-picture maximum resolution information, and the sub-picture ID mapping information for each sequence. Further, the decoding side device analyzes the sub-picture reference pixel position information, the sub-picture maximum resolution information, and the sub-picture ID mapping information signaled for each sequence, and the analyzed sub-picture reference pixel position information and the sub-picture. The encoded data may be decoded based on the maximum resolution information and the sub-picture ID mapping information to generate an image having a fixed sub-picture resolution.
  • the decoding side device can specify a fixed sub-picture in which the position of the reference pixel does not change, based on the sub-picture reference pixel position information and the sub-picture ID mapping information. That is, the decoding side device can control the resolution of the fixed subpicture. Further, the decoding side device can control the resolution of the fixed sub-picture within a range of the maximum resolution or less based on the sub-picture maximum resolution information.
  • the following rules may be added so that the sub-picture ID mapping information is always signaled in SPS.
  • the SPS sub-picture ID existence flag indicates that the sub-picture ID signaling does not exist in either SPS or PPS.
  • the index of the sub-picture mapping is the sub-picture ID.
  • the SPS sub-picture signaling existence flag is flag information indicating whether or not a sub-picture ID to be signaled exists in SPS.
  • the coding-side device may signal a sub-picture ID fixed flag which is flag information indicating whether or not the sub-picture ID mapping information, which is a list of sub-picture identification information, is changed in the sequence. Further, the decoding side device analyzes the signaled sub-picture ID fixed flag, decodes the encoded data based on the analyzed sub-picture ID fixed flag, and generates an image having a fixed sub-picture resolution. May be good.
  • SPS An example of SPS is shown in A of FIG. Further, B in FIG. 8 shows an example of PPS.
  • sps_subpic_id_mapping_fixed_flag is signaled as a sub-picture ID fixed flag.
  • sps_subpic_id_mapping_fixed_flag indicates that the subpicture ID is fixed (not changed) in CVS when it is true (value "1").
  • sps_subpic_id_mapping_fixed_flag indicates that the sub picture ID is variable in CVS when it is false (value "0").
  • the decoding side device can omit the analysis of the sub-picture ID mapping information for each picture. By doing so, it is possible to suppress an increase in the load of the decoding process.
  • the coding-side device may signal a non-sub-picture area existence flag which is flag information indicating whether or not a non-sub-picture area, which is an area not included in the sub-picture, exists in the picture. Further, the decoding side device analyzes the signaled non-sub-picture area existence flag, decodes the encoded data based on the analyzed non-sub-picture area existence flag, and generates an image having a fixed sub-picture resolution. You may.
  • Figure 9 shows an example of SPS.
  • no_rect_picture_flag is signaled as a non-sub-picture area existence flag.
  • this no_rect_picture_flag is true (value "1"), it indicates that when a picture is generated from the indicated sub-picture, there may be an area in the picture that is not included in the sub-picture. If false (value "0"), it indicates that there is no area in the picture that is not included in the sub-picture.
  • the signaling of the sub-picture maximum resolution information may be omitted. In that case, in the use case of merging multiple pictures (or sub-pictures), it is necessary to search for the maximum resolution in the CVS of each picture (or sub-picture) when determining the sub-picture mapping information.
  • ⁇ Method 1-1-1> For example, as shown in the fourth row from the top of the table in FIG. 5, effective area information, which is information indicating an area (effective area) in which pixel data exists in the decoded picture, is defined as sub-picture rendering information. Then, signaling may be performed by SEI (Supplemental Enhancement Information) (Method 1-1-1).
  • SEI Supplemental Enhancement Information
  • the coding side device may signal the effective area information which is the information about the effective area which is the area where the pixel data exists in the picture. Further, the decoding side device may analyze the signaled effective area information, render the image data of the decoded effective area based on the analyzed effective area information, and generate a display image.
  • a of FIG. 10 shows an example of the syntax of effective domain information.
  • the effective area is indicated by a set of rectangular effective areas.
  • display_area_num_minus1 is a parameter indicating the number of rectangular effective areas.
  • this effective area information may be stored in PPS.
  • An example of the PPS syntax in that case is shown in FIG. 10B.
  • display_area_flag is true (value "1"), it indicates that the effective area information exists.
  • this flag information exclusive processing with Conformance window becomes possible explicitly.
  • the invalid area may be signaled instead of the effective area.
  • the invalid area is an area (the area filled in black in FIG. 6) in which pixel data does not exist, which occurs when the resolution of the sub-picture image is reduced as in the example of FIG. This information may be stored in SEI or PPS.
  • a signal may be given so that the effective area and the invalid area can be selected and shown.
  • flag information indicating whether to select an effective area may be signaled. This information may be stored in SEI or PPS.
  • the decoding side device can display only the effective domain based on the effective domain information. Further, the decoding side device can identify the effective area based on the effective area information, and can determine that the data is damaged when the data is included in the effective area but does not exist.
  • the effective area may be an area that can be used for display (area that can be used for rendering) regardless of the presence or absence of pixel data. For example, an area that is not used for display even if pixel data exists may be set as an invalid area.
  • the sub-picture RPR information is flag information indicating whether or not the picture has an uncoded region composed of pixels having no coded data.
  • the uncoded region existence flag may be signaled (method 1-1-2).
  • the coding-side device may signal the uncoded region existence flag, which is flag information indicating whether or not the picture has an uncoded region composed of pixels having no coded data. Further, the decoding side device analyzes the signaled uncoded region existence flag, decodes the coded data based on the analyzed uncoded region existence flag, and generates an image of a fixed subpicture. You may.
  • This uncoded region existence flag may be signaled in PH, for example.
  • FIG. 11 shows an example of the syntax of the picture header in that case.
  • the uncoded_area_exist_flag shown in FIG. 11 is the uncoded area existence flag. When this flag is true (value "1"), it indicates that there may be an uncoded area consisting of pixels having no coded data in the picture. If this flag is false (value "0"), there is no uncoded region. In consideration of the case where a pixel having no coded data is referred to in the decoding process, the pixel is set as a sample value shown in 8.3.4.2 Generation of one unavailable picture of Non-Patent Document 1 (JVET-P2001).
  • the decoding side device can specify the area where the pixel data exists from the sub-picture resolution information or the like, it is possible to decode only that area. it can. Therefore, by signaling the uncoded region existence flag as described above, the decoding side device can easily determine whether or not the decoding is possible (whether or not the decoding should be performed) with reference to the uncoded region existence flag. Can be grasped. That is, by signaling the uncoded region existence flag, even if the picture has an uncoded region, whether or not the decoding side device can decode the picture (whether or not it should be decoded) is explicitly indicated. Can be shown in.
  • this uncoded region existence flag may be signaled to SPS.
  • the fact that the uncoded region existence flag is true means that some of the pictures included in the CVS have a picture having pixels having no coded data. That is, it is not possible to determine whether or not there is a pixel having no coded data for each picture.
  • the uncoded region existence flag may be signaled for each sub-picture as the sub-picture RPR information. That is, it may indicate whether or not an uncoded region exists in each subpicture (method 1-1-2-1).
  • the coding-side device may signal the uncoded region existence flag, which is flag information indicating whether the sub-picture has an uncoded region composed of pixels having no coded data. Further, the decoding side device analyzes the signaled uncoded region existence flag, decodes the coded data based on the analyzed uncoded region existence flag, and generates an image of a fixed subpicture. You may.
  • the uncoded region existence flag in this case may be signaled in PH, for example.
  • FIG. 12A shows an example of the syntax of the picture header in that case.
  • the uncoded_area_exist_flag [i] shown in A of FIG. 12 is the uncoded region existence flag. When this flag is true (value "1"), it indicates that there is an uncoded area (uncoded area) consisting of pixels having no coded data in the i-th subpicture. When this flag is false (value "0"), it indicates that there is no uncoded region in the subpicture.
  • the decoding side device can easily grasp whether or not each subpicture can be decoded (whether or not it should be decoded). For example, it is possible to correctly set the above-mentioned uncoded region existence flag in ⁇ Method 1-1-2> for a picture formed by merging a plurality of pictures or sub-pictures.
  • this uncoded region existence flag may be signaled in SPS.
  • An example of the SPS syntax in that case is shown in B of FIG.
  • the fact that the uncoded region existence flag is true means that some of the sub-pictures included in the CVS have a picture having pixels having no coded data. That is, it is not possible to determine whether or not there is a pixel having no coded data in the sub-picture for each picture.
  • this uncoded region existence flag may be signaled in SEI.
  • SEI An example of the SEI syntax in that case is shown in FIG. 12C.
  • the SEI may be signaled for each picture, or the SEI may be signaled for each CVS. Furthermore, which of them may be explicitly indicated by a flag.
  • the uncoded region existence flag may be signaled by SEI.
  • the invalid area may be made into a sub-picture.
  • the sub-picture mapping information may be made variable in the time direction in the sequence (method 1-2).
  • the layout of the sub-picture can change in the time direction. That is, the sub-picture mapping information is variable in the time direction in the sequence. Therefore, the information about the sub-picture mapping information, which is variable in such a sequence, is signaled in PPS. Fixed information in the sequence may be signaled in the SPS.
  • the coding side device may signal sub-picture reference pixel position information indicating the position of the reference pixel of the sub-picture that is variable in the time direction for each picture. Further, the decoding side device may analyze the sub-picture reference pixel position information and decode the coded data based on the analysis result.
  • SPS SPS syntax
  • SPS sub-picture mapping information for a fixed sub-picture whose coordinates of the reference pixel (upper leftmost pixel) is fixed is signaled.
  • the sub-picture reference pixel position information of the fixed sub-picture is signaled in the SPS (X part of A in FIG. 14).
  • a sub-picture ID fixed flag sps_subpic_id_mapping_fixed_flag
  • This sub-picture ID fixed flag indicates that the sub-picture ID of the fixed sub-picture does not change in CVS when it is true (value "1"). If this flag is false (value "0"), it indicates that the subpicture ID of the fixed subpicture can change.
  • PPS information that is variable in the time direction
  • sub-picture mapping information for sub-pictures also referred to as variable sub-pictures
  • the number of the sub-pictures may increase or decrease in the time direction due to the resolution control of the sub-pictures (change in the resolution of the sub-pictures).
  • the position of the reference pixel may change.
  • Information about such variable subpictures is then signaled in the PPS.
  • the existing semantics are the same as the sub-picture mapping information.
  • ⁇ Method 1-2-1> For example, as shown in the eighth row from the top of the table in FIG. 5, effective domain information may be signaled by SEI (method 1-2-1). By doing so, the same effect as described above can be obtained in ⁇ Method 1-1-1>.
  • ⁇ Method 1-2-2> For example, as shown in the ninth row from the top of the table in FIG. 5, the uncoded region existence flag may be signaled for each picture (method 1-2-2). By doing so, the same effect as described above can be obtained in ⁇ Method 1-1-2>.
  • a slice-free data flag which is flag information indicating that the sub-picture does not have coded data in all pixels is used. It may be signaled. This sliceless data flag may be signaled in PPS, for example (Method 1-2-3).
  • no_slice_data_flag is a non-slice data flag, and when this flag is true (value “1”), the sub-picture corresponding to the flag is a sub-picture in which no coded data exists in all pixels. Show that. When this flag is false (value "0"), it indicates that the sub-picture corresponding to the flag is a sub-picture in which the coded data exists.
  • the coding side device may signal such a sliceless data flag. Further, the decoding side device may analyze the signaled non-slice data flag and decode the encoded data based on the analysis result.
  • the decoding side device can easily grasp whether or not the coded data exists in each subpicture, and more accurately identify whether or not to decode each subpicture. Can be done.
  • the decoding-side device can easily identify a sub-picture in which coded data does not exist in all pixels based on this slice-free data flag, and can omit (skip) the decoding process of the sub-picture. This makes it possible to suppress an increase in the load of the decoding process.
  • the RPR application subpicture which is flag information indicating whether the subpicture RPR information includes a fixed subpicture (that is, a subpicture to which RPR is applied) is included.
  • the enable flag may be signaled (method 2).
  • the coding side device signals the RPR application subpicture enable flag, which is flag information indicating whether or not the fixed subpicture is included.
  • the coding side device signals this RPR application subpicture enable flag in, for example, SPS. That is, in this case, the RPR-applied subpicture enable flag indicates whether the sequence contains fixed subpictures.
  • ref_subpic_resampling_enabled_flag is signaled as the above-mentioned RPR application subpicture enable flag. If this flag is true (value "1"), it indicates that there may be subpictures to which RPR has been applied. If this flag is false (value "0"), it indicates that there is no sub-picture to which RPR is applied.
  • the decoding side device analyzes the RPR application subpicture enable flag and decodes the coded data based on the analysis result. That is, as shown in B of FIG. 16, the decoding side device applies the RPR processing for each subpicture when the RPR application subpicture enable flag is true. That is, the decoding side device performs the decoding process for each sub-picture. If the RPR application subpicture enable flag is false, the decoding side device does not need to apply the RPR processing (the RPR processing can be omitted (skip)). That is, the decoding-side device may perform decoding processing as a picture, or may perform decoding processing for each sub-picture.
  • the decoding side device can easily determine whether or not RPR processing is required for each subpicture based on the RPR application subpicture enable flag.
  • this RPR application sub-picture enable flag may be signaled for each picture.
  • the RPR-applied subpicture enable flag may be signaled at PH.
  • the signaling of the subpicture RPR information in PPS may be omitted (skip).
  • the RPR application subpicture enable flag is false, the signaling of the subpicture RPR information in PPS may be omitted (skip).
  • PPS signaling can be skipped when resampling is not used for each sub-picture, and an increase in the amount of code can be suppressed.
  • Method 2-1 For example, as shown at the bottom of the table in FIG. 5, it may be indicated for each subpicture whether or not a fixed subpicture is included. That is, the RPR application sub-picture enable flag may be signaled for each sub-picture (method 2-1).
  • FIG. 18 shows an example of the SPS syntax in that case.
  • ref_subpic_resampling_enabled_flag [i] is signaled for each sub-picture as the RPR-applied sub-picture enable flag.
  • ref_subpic_resampling_enabled_flag [i] is true (value "1"), it indicates that RPR is applied to the subpicture (that is, it is a fixed subpicture).
  • ref_subpic_resampling_enabled_flag [i] is false (value "0"), it means that RPR is not applied to the subpicture (that is, it is not a fixed subpicture).
  • the RPR application sub-picture enable flag in this case may also be signaled for each picture.
  • the RPR-applied subpicture enable flag may be signaled at PH.
  • the RPR application subpicture enable flag in this case may be signaled by SEI.
  • Figure 18B shows an example of the SEI syntax in that case.
  • the RPR application subpicture enable flag may be signaled by PH or SEI.
  • FIG. 19 is a block diagram showing an example of the configuration of an image coding device, which is an aspect of an image processing device to which the present technology is applied.
  • the image coding device 100 shown in FIG. 19 is an example of a coding side device, and is a device that encodes an image.
  • the image coding device 100 performs coding by applying, for example, a coding method based on VVC described in Non-Patent Document 1.
  • the image coding device 100 performs coding by applying various methods of the present technology described with reference to FIG. 5 and the like. That is, the image coding device 100 performs the RPR process in the sub-picture in which the position of the reference pixel is fixed in the time direction.
  • FIG. 19 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. That is, in the image coding apparatus 100, there may be a processing unit that is not shown as a block in FIG. 19, or there may be a processing or data flow that is not shown as an arrow or the like in FIG.
  • the image coding device 100 includes a coding unit 101, a metadata generation unit 102, and a bitstream generation unit 103.
  • the coding unit 101 performs processing related to image coding. For example, the coding unit 101 acquires each picture of the moving image input to the image coding device 100. The coding unit 101 encodes the acquired picture by applying, for example, a VVC-compliant coding method described in Non-Patent Document 1. At that time, the coding unit 101 applies various methods of the present technology described with reference to FIG. 5 and the like, and performs RPR processing in the sub-picture in which the position of the reference pixel is fixed in the time direction. That is, the coding unit 101 encodes the image of the fixed subpicture with a resolution variable in the time direction to generate the coded data.
  • the fixed sub-picture is a sub-picture in which the position of the reference pixel is fixed in the time direction.
  • a sub-picture is a sub-area in which a picture is divided.
  • the coding unit 101 supplies the coded data generated by coding the image to the bitstream generation unit 103.
  • the coding unit 101 can exchange arbitrary information with the metadata generation unit 102 as appropriate at the time of coding.
  • the metadata generation unit 102 performs processing related to metadata generation. For example, the metadata generation unit 102 exchanges arbitrary information with the coding unit 101 to generate metadata. For example, the metadata generation unit 102 may generate sub-picture RPR information and sub-picture rendering information as metadata.
  • the metadata generation unit 102 includes sub-picture resolution information, sub-picture reference pixel position information, sub-picture maximum resolution information, sub-picture ID mapping information, sub-picture ID fixed flag, non-sub-picture area existence flag, effective area information, etc. Information such as unencoded region existence flag, unsliced data flag, and RPR application sub-picture enable flag can be generated.
  • the information generated by the metadata generation unit 102 is arbitrary and is not limited to these examples.
  • the metadata generation unit 102 can also generate the metadata described in Non-Patent Document 2 such as sub-picture mapping information.
  • the metadata generation unit 102 supplies the generated metadata to the bitstream generation unit 103.
  • the bitstream generation unit 103 performs processing related to bitstream generation. For example, the bitstream generation unit 103 acquires the coded data supplied from the coding unit 101. Further, the bitstream generation unit 103 acquires the metadata supplied from the metadata generation unit 102. The bitstream generation unit 103 generates a bitstream including the acquired coded data and metadata. The bit stream generation unit 103 outputs the bit stream to the outside of the image coding device 100.
  • the bit stream is supplied to the decoding side device via, for example, a storage medium or a communication medium. That is, ⁇ 1.
  • Various information described in the resolution control 1> of the image of the sub-picture is signaled.
  • the decoding side device can perform the decoding process based on the signaled information. As a result, ⁇ 1. It is possible to obtain the same effect as described in the resolution control 1> of the image of the sub-picture.
  • the decoding side device can more easily perform RPR processing for each sub-picture.
  • the decoding side device can more easily render the image of the decoded subpicture based on the signaled information.
  • the image coding device 100 performs the RPR processing in the sub-picture in which the position of the reference pixel is fixed in the time direction, the position of the sub-picture to which the RPR processing is applied does not change significantly. Therefore, it is possible to suppress an increase in the load of the coding process and the decoding process that perform the RPR process for each subpicture.
  • the coding unit 101 of the image coding device 100 divides the picture into sub-pictures in step S101.
  • step S102 the coding unit 101 encodes each sub-picture with RPR turned on. At that time, the coding unit 101 has ⁇ 1.
  • the present technology described in the image resolution control 1> of the sub-picture is applied, and the RPR processing is performed in the sub-picture in which the position of the reference pixel is fixed in the time direction.
  • step S103 the metadata generation unit 102 generates sub-picture RPR information and sub-picture rendering information.
  • the metadata generation unit 102 applies the present technology to perform processing. That is, as described above, the metadata generation unit 102 has ⁇ 1.
  • Various information described in the resolution control 1> of the image of the sub-picture can be generated.
  • step S104 the bitstream generation unit 103 generates a bitstream using the coded data generated in step S102 and the sub-picture RPR information and sub-picture rendering information generated in step S103. That is, the bitstream generation unit 103 generates a bitstream including the information.
  • the coding process ends when the bitstream is generated.
  • the decoding side device can perform the decoding process based on the signaled information. As a result, ⁇ 1. It is possible to obtain the same effect as described in the resolution control 1> of the image of the sub-picture.
  • the decoding side device can more easily perform RPR processing for each sub-picture.
  • the decoding side device can more easily render the image of the decoded subpicture based on the signaled information.
  • step S102 since the RPR processing is performed in the sub-picture in which the position of the reference pixel is fixed in the time direction, the position of the sub-picture to which the RPR processing is applied does not change significantly. Therefore, it is possible to suppress an increase in the load of the coding process and the decoding process that perform the RPR process for each subpicture.
  • FIG. 21 is a block diagram showing an example of the configuration of an image decoding device, which is an aspect of an image processing device to which the present technology is applied.
  • the image decoding device 200 shown in FIG. 21 is an example of a decoding side device, and is a device that decodes coded data and generates an image.
  • the image decoding device 200 performs decoding by applying, for example, a decoding method based on VVC described in Non-Patent Document 1.
  • the image decoding device 200 performs decoding by applying various methods of the present technology described with reference to FIG. 5 and the like. That is, the image decoding device 200 performs the RPR process in the sub-picture in which the position of the reference pixel is fixed in the time direction. For example, the image decoding device 200 decodes the bit stream generated by the image coding device 100.
  • FIG. 21 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. 21. That is, in the image decoding device 200, there may be a processing unit that is not shown as a block in FIG. 21, or there may be a processing or data flow that is not shown as an arrow or the like in FIG.
  • the image decoding device 200 has an analysis unit 201, an extraction unit 202, a decoding unit 203, and a rendering unit 204.
  • Analysis unit 201 performs processing related to metadata analysis. For example, the analysis unit 201 acquires a bit stream input to the image decoding device 200. The analysis unit 201 analyzes the metadata contained in the bit stream. For example, the analysis unit 201 has ⁇ 1. By applying the present technology described in Subpicture image resolution control 1>, subpicture RPR information and subpicture rendering information can be analyzed as metadata.
  • the analysis unit 201 may perform sub-picture resolution information, sub-picture reference pixel position information, sub-picture maximum resolution information, sub-picture ID mapping information, sub-picture ID fixed flag, non-sub-picture area existence flag, effective area information, and uncoded. Information such as the region existence flag, sliceless data flag, and RPR application sub-picture enable flag can be analyzed.
  • the information analyzed by the analysis unit 201 is arbitrary and is not limited to these examples.
  • the analysis unit 201 can also analyze the metadata described in Non-Patent Document 2 such as sub-picture mapping information.
  • the analysis unit 201 supplies the metadata analysis result and the bit stream to the extraction unit 202.
  • the extraction unit 202 extracts desired information from the bit stream supplied from the analysis unit 201 based on the analysis result supplied from the analysis unit 201. For example, the extraction unit 202 extracts image coding data, sub-picture RPR information, sub-picture rendering information, and the like from the bit stream.
  • the sub-picture RPR information and sub-picture rendering information may include various types of information analyzed by the analysis unit 201.
  • the extraction unit 202 supplies the information and the like extracted from the bit stream to the decoding unit 203.
  • Decoding unit 203 performs processing related to decoding. For example, the decoding unit 203 acquires the information supplied from the extraction unit 202. The decoding unit 203 decodes the acquired encoded data based on the acquired metadata to generate a picture. At that time, the decoding unit 203 can appropriately apply various methods of the present technology described with reference to FIG. 5 and the like, and perform RPR processing in a subpicture in which the position of the reference pixel is fixed in the time direction. That is, the decoding unit 203 has ⁇ 1. Image resolution control of sub-pictures An image of each sub-picture is generated based on the sub-picture RPR information that may include various information described in 1>. The decoding unit 203 supplies the generated picture (image of each sub-picture) to the rendering unit 204. Further, the decoding unit 203 can supply the sub-picture rendering information to the rendering unit 204.
  • Rendering unit 204 performs processing related to rendering. For example, the rendering unit 204 acquires the picture or sub-picture rendering information supplied from the decoding unit 203. The rendering unit 204 renders a desired sub-picture in the picture based on the sub-picture rendering information, and generates a display image. That is, the rendering unit 204 has ⁇ 1. Rendering is performed based on the sub-picture rendering information that can include various information described in the resolution control 1> of the image of the sub-picture. The rendering unit 204 outputs the generated display image to the outside of the image decoding device 200. This display image is supplied to and displayed on an image display device (not shown) via an arbitrary storage medium, communication medium, or the like.
  • the image decoding device 200 is signaled from the coding side device, ⁇ 1.
  • Various information described in the resolution control 1> of the image of the sub-picture is analyzed, and the decoding process is performed based on the information. That is, ⁇ 1.
  • the RPR process can be performed in the sub-picture in which the position of the reference pixel is fixed in the time direction. As a result, ⁇ 1. It is possible to obtain the same effect as described in the resolution control 1> of the image of the sub-picture.
  • the image decoding device 200 can more easily perform RPR processing for each sub-picture.
  • the image decoding device 200 can more easily render the image of the decoded sub-picture based on the signaled information.
  • the image decoding device 200 can suppress an increase in the load of the decoding process that performs the RPR process for each sub-picture.
  • the analysis unit 201 of the image decoding device 200 analyzes the metadata included in the bit stream in step S201. At that time, the analysis unit 201 has ⁇ 1. Applying this technology described in Sub-picture image resolution control 1>, it is included in the metadata ⁇ 1. Various information explained in the resolution control 1> of the image of the sub-picture is analyzed.
  • step S202 the extraction unit 202 extracts encoded data, sub-picture RPR information, and sub-picture rendering information from the bitstream based on the analysis result of step S201.
  • This sub-picture RPR information includes ⁇ 1.
  • Various information described in the resolution control 1> of the image of the sub-picture may be included.
  • this sub-picture rendering information includes ⁇ 1.
  • Various information described in the resolution control 1> of the image of the sub-picture may be included.
  • step S203 the decoding unit 203 decodes the coded data extracted from the bitstream in step S202 using the sub-picture RPR information extracted from the bitstream in step S202, and decodes the picture (each sub included in the picture). Picture) is generated.
  • the decoding unit 203 has ⁇ 1.
  • the present technology described in the resolution control 1> of the image of the sub-picture is applied. That is, the decoding unit 203 has ⁇ 1.
  • the RPR process is performed in the sub-picture in which the positions of the reference pixels are fixed in the time direction.
  • step S204 the rendering unit 204 renders the decoded data of the picture (or sub-picture) generated in step S203 using the sub-picture rendering information extracted from the bit stream in step S202 to generate a display image.
  • the rendering unit 204 has ⁇ 1.
  • the present technology described in the resolution control 1> of the image of the sub-picture is applied. That is, the rendering unit 204 has ⁇ 1. Rendering is performed based on various information explained in the resolution control 1> of the image of the sub-picture.
  • Decoding process ends when the display image is generated.
  • the image decoding device 200 has ⁇ 1. It is possible to obtain the same effect as described in the resolution control 1> of the image of the sub-picture.
  • the image decoding device 200 can more easily perform RPR processing for each sub-picture.
  • the image decoding device 200 can more easily render the image of the decoded sub-picture based on the signaled information.
  • the image decoding device 200 can suppress an increase in the load of the decoding process that performs the RPR process for each sub-picture.
  • the sub-picture image resolution control 1> it was explained that the size of the sub-picture is changed according to the resolution control of the sub-picture image, but as shown in the top row of the table of FIG. 23.
  • the sub-picture may be composed of an image area (sub-picture window) having a resolution lower than the size of the sub-picture and a padding sample which is a non-display area other than the sub-picture (method 3).
  • the size of the sub-picture is not adjusted to the resolution of the image as in the example of FIG.
  • the sub-picture mapping information is fixed by CVS so that it does not change in the time direction. That is, the position and size of each subpicture are fixed.
  • the area of the subsample image (the area surrounded by the dotted line in FIG. 24) is managed as the sub picture window (display area).
  • the non-display area other than the sub-picture window in the sub-picture (shown in gray in FIG. 24). Area) occurs.
  • a padding sample is inserted into the pixels in this non-display area.
  • the padding sample is optional.
  • the same color such as black, which improves the compression efficiency, may be used.
  • the sub-picture mapping information is signaled by SPS in the same manner as the method described in Non-Patent Document 2. Then, separately, as sub-picture rendering information, sub-picture window information, which is information about the sub-picture window, is signaled for each picture. It also signals sub-picture setting information, which is information related to sub-picture settings.
  • the coding side device signals the sub-picture window information which is the information about the sub-picture window which is the area of the image having the resolution of the fixed sub-picture.
  • the decoding side device analyzes the sub-picture window information, renders the image of the fixed sub-picture based on the analyzed sub-picture window information, and generates an image for display.
  • the resolution of the sub-picture can be changed in the CVS in the form of a sub-picture window. Therefore, it is possible to increase the compression efficiency as compared with the case where the resolution of the sub-picture is not changed.
  • Sub-picture window information may be signaled by PPS. Further, the content of the sub-picture window information may be any information as long as it relates to the sub-picture window.
  • the sub-picture window existence flag in the picture which is flag information indicating whether or not the sub-picture in which the sub-picture window exists can exist in the picture, may be included in the sub-picture window information.
  • the sub-picture window information may include a sub-picture window existence flag, which is signaled for each sub-picture and is flag information indicating whether or not a sub-picture window can exist in the sub-picture.
  • the sub-picture window size information which is information on the size of the sub-picture window, may be included in the sub-picture window information.
  • the sub-picture window width information which is information indicating the width of the sub-picture window
  • the sub-picture window height information which is information indicating the height of the sub-picture window
  • FIG. 25 shows an example of the PPS syntax for signaling sub-picture window information.
  • pps_subpic_window_exists_in_pic_flag is signaled as a sub-picture window existence flag in the picture. When this flag is true (value "1"), it indicates that there may be a subpicture in which the subpicture window exists. When this flag is false (value "0"), it indicates that there is no sub-picture in which the sub-picture window exists in the picture.
  • pps_subpic_window_exists_flag [i] is signaled as a sub-picture window existence flag. When this flag is true (value "1"), it indicates that a subpicture window may exist in the i-th subpicture. If this flag is false (value "0"), it indicates that the sub-picture window does not exist in the i-th sub-picture.
  • subpic_window_width_minus1 [i] is signaled as sub-picture window width information. This information indicates the width of the i-th subpicture in CTU units.
  • subpic_window_height_minus1 [i] is signaled as sub-picture window height information. This information indicates the height of the i-th subpicture in CTU units.
  • sub-picture window size information may indicate the width and height of the sub-picture window in sample units (it can be indicated in any unit other than the CTU unit). By doing so, it is possible to change the resolution independent of the CTU unit.
  • the position of the reference pixel of the sub-picture window and the position of the reference pixel of the sub-picture that stores the sub-picture window do not have to match. In that case, both the reference pixel position information of the sub-picture window and the sub-picture reference pixel position information may be signaled.
  • sub-picture window information may be signaled in SEI.
  • the decoding process of the padding sample unnecessary for display may be omitted (skipped) (method 3-1).
  • the boundaries of the subpicture window and the boundaries of the slice are matched so that only the subpicture window can be decoded.
  • the padding sample is black.
  • only the sub-picture window is decoded, and the flag information indicating that the other areas do not need to be decoded is signaled to the SPS.
  • the padding sample is processed as black without being decoded, and only the sub-picture window is decoded.
  • the coding side device signals the sub-picture window decoding control flag, which is the flag information related to the decoding control of the coded data of the sub-picture window, as the sub-picture setting information.
  • the decoding side device analyzes the sub-picture window decoding control flag and decodes the encoded data based on the analysis result.
  • the sub-picture setting information is arbitrary as long as it is information related to the sub-picture setting.
  • the sub-picture window decoding control flag which is flag information related to the decoding control of the coded data of the sub-picture window, may be included in the sub-picture setting information.
  • This sub-picture window decoding control flag is arbitrary as long as it is flag information related to decoding control of the coded data of the sub-picture window.
  • the sub-picture window decoding control flag may include the sub-picture window existence flag in the picture, which is flag information indicating whether or not the sub-picture window can exist in the picture.
  • the sub-picture window independence flag which is flag information indicating whether or not the sub-picture window is independent, may be included in the sub-picture window decoding control flag.
  • the sub-picture window decoding control flag may include the sub-picture window existence flag, which is flag information indicating whether or not the sub-picture window exists in the i-th sub-picture.
  • sub-picture window reference control flag which is flag information related to the control of the reference relationship of the sub-picture window
  • sub-picture window loop filter control flag which is flag information related to the control of the loop filter of the sub-picture window, may be included in the sub-picture window decoding control flag.
  • the sub-picture window decoding control flag may be signaled by, for example, SPS.
  • FIG. 26 is a diagram showing an example of SPS syntax in that case.
  • sps_subpic_window_exists_in_pic_flag is signaled as a sub-picture window existence flag in the picture. If this flag is true (value "1"), it indicates that there may be subpicture windows in the sequence. If this flag is false (value "0"), it indicates that there is no sub-picture window in the sequence. Therefore, based on this flag, the decoding side device can skip the RPR process in the subpicture in which the position of the reference pixel is fixed in the time direction with respect to the sequence in which the subpicture window does not exist. Therefore, it is possible to suppress an increase in the load of the decoding process.
  • sps_subpic_win_independent_in_pic_flag is signaled as a sub-picture window independent flag. If this flag is true (value "1"), it indicates that the subpicture windows are independent. In other words, it can be treated in the same way as a picture, and the loop filter is not applied at the boundary of the sub-picture window. Also, if this flag is false (value "0"), it indicates that the subpicture window may not be independent.
  • sps_subpic_window_exists_flag [i] is signaled as a sub-picture window existence flag. When this flag is true (value "1"), it indicates that a subpicture window exists in the i-th subpicture. If this flag is false (value "0"), it indicates that the sub-picture window does not exist in the i-th sub-picture. Based on this flag information, the decoding side device can skip the RPR processing for the subpicture in which the subpicture window does not exist. Therefore, it is possible to suppress an increase in the load of the decoding process.
  • subpic_win_treated_as_pic_flag [i] is signaled as a sub-picture window reference control flag.
  • this flag is true (value "1"), it indicates that it can be treated in the same way as a picture. For example, inter-prediction beyond the boundaries of the reference subpicture window is prohibited. In addition, inter-prediction and intra-prediction beyond the boundaries of the sub-picture window are prohibited. If this flag is false (value "0"), it indicates that the sub-picture window alone cannot be decoded.
  • oop_filter_across_subpic_win_boundary_enabled_flag [i] is signaled as a sub-picture window loop filter control flag. If this flag is true (value "1"), it indicates that a loop filter is applied at the boundaries of the subpicture window. If this flag is false (value "0"), it indicates that the loop filter is not applied at the boundary of the sub-picture window.
  • the decoding side device can skip unnecessary processing by controlling the decoding process based on the sub-picture window decoding control flag. Therefore, it is possible to suppress an increase in the load of the decoding process.
  • flag information indicating whether or not a decoding-unnecessary slice exists may be signaled, and in the slice header (slice header), flag information indicating whether or not decoding is unnecessary may be signaled for each slice. ..
  • information specifying the color of the padding sample may be signaled in the SPS.
  • ⁇ Method 3-1-1> As shown in the third row from the top of the table in FIG. 23, when extracting a subpicture to another bitstream, it may be possible to extract in the largest subpicture window in the CVS (method). 3-1-1). That is, the subpictures in the CVS may be encoded to allow such extraction. Then, the resolution information of the largest sub-picture window may be signaled in the SPS. Then, the decoding side device may extract only the slice data included in the maximum sub-picture window.
  • the coding side device signals the sub-picture window maximum size information, which is information indicating the maximum size of the sub-picture window.
  • the decoding side device analyzes the sub-picture window maximum size information and decodes the coded data based on the analysis result.
  • the sub-picture setting information is arbitrary as long as it is information related to the sub-picture setting.
  • the sub-picture setting information may include extraction information which is information related to the extraction of the sub-picture.
  • the content of the extraction information is arbitrary as long as it is information related to the extraction of sub-pictures.
  • the sub-picture window existence flag in the picture, the sub-picture window existence flag, and the sub-picture window maximum size information which is information indicating the maximum size of the sub-picture window in CVS may be included in the extraction information.
  • the sub-picture window existence flag and the sub-picture window existence flag in the picture are the information as described in ⁇ Method 3-1>.
  • the sub-picture window maximum size information includes sub-picture window maximum width information which is information indicating the maximum width of the sub-picture window in CVS and sub-picture window maximum height information which is information indicating the maximum height of the sub-picture window in CVS. May include.
  • the extracted information may be signaled by, for example, SPS.
  • FIG. 27 is a diagram showing an example of SPS syntax in that case.
  • sps_subpic_window_exists_in_pic_flag is signaled as a sub-picture window existence flag in the picture.
  • sps_subpic_window_exists_flag [i] is signaled as a sub-picture window existence flag.
  • subpic_window_max_width_minus1 [i] is signaled as the maximum width information of the sub picture window. This information indicates the maximum width of the sub-picture window of the i-th sub-picture in CTU units.
  • subpic_window_max_height_minus1 [i] is signaled as the maximum height information of the sub picture window. This information indicates the maximum height of the sub-picture window of the i-th sub-picture in CTU units.
  • the decoding side device can generate a bit stream that contains as little unnecessary data as possible by extracting subpictures based on these extracted information.
  • the flag information indicating whether or not the sub-picture window maximum size information (subpic_window_max_width_minus1 [i], subpic_window_max_height_minus1 [i]) exists in the syntax may be signaled. Further, when the signaling of the sub-picture window maximum size information is omitted, the maximum values of the width and height of the sub-picture window may be equal to the size of the sub-picture. By making it possible to omit the signaling of the sub-picture window maximum size information in this way, it is possible to suppress an increase in the code amount.
  • information indicating that the bitstream can be extracted without the need to recreate it may be signaled.
  • flag information indicating whether or not the slice data needs to be modified and flag information indicating whether or not the area indicated by the maximum value can be treated in the same manner as a picture may be signaled. ..
  • the coding side device may encode the subpicture in the CVS so that such extraction is possible. That is, the coding side device encodes the sub-picture window using the RPR function. Then, the SPS signals the extracted information indicating whether or not the RPR processing is required in the decoding process of the sub-picture window. In this case, the decoding side device must always perform decoding in units of sub-pictures. That is, the decoding side device can extract slice data of only the sub-picture window based on the extracted information, and use the extracted bit stream as a bit stream of a picture using the RPR function.
  • the coding-side device signals the reference sub-picture window resampling information, which is information about the sub-picture window that requires resampling of the reference sub-picture window, as the extraction information.
  • the decoding side device analyzes the reference subpicture window resampling information and decodes the encoded data based on the analysis result.
  • the content of the extraction information is arbitrary as long as it is information related to the extraction of sub-pictures.
  • the extraction information may include reference sub-picture resampling information, which is information related to the resampling process of the reference sub-picture window.
  • the content of this reference sub-picture resampling information is arbitrary as long as it is information related to the resampling process of the reference sub-picture window.
  • the reference sub-picture window resampling existence flag may be included in the reference sub-picture resampling information, which is flag information indicating whether or not a sub-picture window that requires resampling processing of the reference sub-picture window may exist. ..
  • the reference sub-picture resampling flag which is flag information indicating whether or not the sub-picture window of the i-th sub-picture needs to be resampled in the reference sub-picture window, is included in the reference sub-picture resampling information. You may.
  • the extracted information may be signaled by, for example, SPS.
  • FIG. 28 is a diagram showing an example of SPS syntax in that case.
  • the subpic_win_reference_resampling_in_pic_flag is signaled as the reference sub-picture window resampling existence flag. When this flag is true (value "1"), it indicates that there may be subpicture windows that need to be resampled. When this flag is false (value "0"), it indicates that there is no sub-picture window that needs to be resampled.
  • subpic_win_reference_resampling_flag [i] is signaled as a reference sub-picture resampling flag.
  • this flag is true (value "1"), the subpicture window of the i-th subpicture indicates that the reference subpicture window needs to be resampled. If this flag is false (value "0"), the subpicture window of the i-th subpicture indicates that resampling of the reference subpicture window is not required.
  • the decoding side device can generate a bit stream that does not include unnecessary data by extracting subpictures based on these extracted information.
  • the decoding process in this case needs to be performed in units of sub-pictures.
  • Method 3-1-3 When extracting a subpicture to another bitstream, it may be possible to extract only the subpicture window. That is, as shown at the bottom of the table in FIG. 23, only the sub-pictures may be encoded (method 3-1-3).
  • the coding side device encodes so that it can be decoded only in the sub-picture window.
  • the decoding side device extracts slice data of only the sub-picture window from the bit stream.
  • the decoding side device signals flag information indicating whether or not the picture does not change for each frame but does not use the RPR function. That is, the decoding side device sets such flag information for the extracted bit stream. By doing so, the decoding side device can generate a bit stream of only the extracted data.
  • the decoding side device that decodes the bitstream of only the extracted data analyzes the rescaling prohibition flag, which is flag information indicating whether or not the rescaling of the resolution of the reference picture is prohibited, and the bitstream is based on the analysis result. To decrypt.
  • This flag information may be signaled in, for example, SPS.
  • FIG. 29 is a diagram showing an example of SPS syntax in that case.
  • no_ref_pic_rescaling_flag is signaled as a rescaling prohibition flag.
  • this flag is true (value "1"), it indicates that rescaling that makes the resolution of the reference picture the same as the current picture is prohibited even if the resolution of the picture changes. If this flag is false (value "0"), it indicates that the resolution of the reference picture needs to be rescaled to the same as the current picture as the resolution of the picture changes.
  • the image coding device 100 performs coding by applying various methods of the present technology described with reference to FIG. 23 and the like. That is, the image coding device 100 performs the RPR process in the sub-picture in which the position of the reference pixel is fixed in the time direction.
  • the coding unit 101 encodes the acquired picture by applying, for example, a VVC-compliant coding method described in Non-Patent Document 1. At that time, the coding unit 101 applies various methods of the present technology described with reference to FIG. 23 and the like, and performs RPR processing in the sub-picture in which the position of the reference pixel is fixed in the time direction.
  • the metadata generation unit 102 can generate sub-picture setting information and sub-picture rendering information as metadata.
  • the metadata generation unit 102 includes a sub-picture window existence flag in a picture, a sub-picture window existence flag, a sub-picture window width information, a sub-picture window height information, a sub-picture window existence flag in a picture, and a sub-picture window independence flag.
  • Sub-picture window presence flag, sub-picture window reference control flag, sub-picture window loop filter control flag, sub-picture window maximum width information, sub-picture window maximum height information, reference sub-picture window resampling presence flag, reference sub-picture resampling Information such as flags and rescaling prohibition flags can be generated.
  • the information generated by the metadata generation unit 102 is arbitrary and is not limited to these examples.
  • the metadata generation unit 102 can also generate the metadata described in Non-Patent Document 2 such as sub-picture mapping information.
  • the bitstream generation unit 103 generates a bitstream including metadata including such information and encoded data.
  • the bit stream is supplied to the decoding side device via, for example, a storage medium or a communication medium. That is, ⁇ 4.
  • Various information described in the resolution control 2> of the image of the sub-picture is signaled.
  • the decoding side device can perform the decoding process based on the signaled information. As a result, ⁇ 4. It is possible to obtain the same effect as described in the resolution control 2> of the image of the sub-picture.
  • the decoding side device can change the resolution of the sub-picture in the form of a sub-picture window in the CVS. Therefore, it is possible to increase the compression efficiency as compared with the case where the resolution of the sub-picture is not changed.
  • the decoding side device can more easily render the image of the decoded subpicture based on the signaled information.
  • the coding unit 101 of the image coding device 100 divides the picture into sub-pictures in step S301.
  • step S302 the coding unit 101 encodes the picture based on the settings related to the sub-picture. At that time, the coding unit 101 is set to ⁇ 4. Applying the present technology described in Image resolution control 2> of the sub-picture, RPR processing is performed in the sub-picture in which the position of the reference pixel is fixed in the time direction.
  • step S303 the metadata generation unit 102 generates sub-picture setting information and sub-picture rendering information.
  • the metadata generation unit 102 applies the present technology to perform processing. That is, as described above, the metadata generation unit 102 has ⁇ 4. Various information described in the resolution control 2> of the image of the sub-picture can be generated.
  • step S304 the bitstream generation unit 103 generates a bitstream using the coded data generated in step S302 and the sub-picture setting information and sub-picture rendering information generated in step S303. That is, the bitstream generation unit 103 generates a bitstream including the information.
  • the coding process ends when the bitstream is generated.
  • the decoding side device can perform the decoding process based on the signaled information. As a result, ⁇ 4. It is possible to obtain the same effect as described in the resolution control 2> of the image of the sub-picture.
  • the decoding side device can change the resolution of the sub-picture in the form of a sub-picture window in the CVS. Therefore, it is possible to increase the compression efficiency as compared with the case where the resolution of the sub-picture is not changed.
  • the decoding side device can more easily render the image of the decoded subpicture based on the signaled information.
  • the image decoding device 200 performs decoding by applying various methods of the present technology described with reference to FIG. 23 and the like. That is, the image decoding device 200 performs the RPR process in the sub-picture in which the position of the reference pixel is fixed in the time direction. For example, the image decoding device 200 decodes the bit stream generated by the image coding device 100.
  • the analysis unit 201 analyzes the metadata contained in the bit stream.
  • the analysis unit 201 has ⁇ 4.
  • subpicture setting information and subpicture rendering information can be analyzed as metadata.
  • the metadata generation unit 102 includes a sub-picture window existence flag in a picture, a sub-picture window existence flag, a sub-picture window width information, a sub-picture window height information, a sub-picture window existence flag in a picture, and a sub-picture window independence flag.
  • Sub-picture window presence flag, sub-picture window reference control flag, sub-picture window loop filter control flag, sub-picture window maximum width information, sub-picture window maximum height information, reference sub-picture window resampling presence flag, reference sub-picture resampling Information such as flags and rescaling prohibition flags can be generated.
  • the information analyzed by the analysis unit 201 is arbitrary and is not limited to these examples.
  • the analysis unit 201 can also analyze the metadata described in Non-Patent Document 2 such as sub-picture mapping information.
  • the extraction unit 202 extracts desired information from the bit stream supplied from the analysis unit 201 based on the analysis result supplied from the analysis unit 201. For example, the extraction unit 202 extracts image coding data, sub-picture setting information, sub-picture rendering information, and the like from the bit stream.
  • the sub-picture setting information and the sub-picture rendering information may include various types of information analyzed by the analysis unit 201.
  • the extraction unit 202 supplies the information and the like extracted from the bit stream to the decoding unit 203.
  • the decoding unit 203 decodes the coded data based on the metadata and generates a picture. At that time, the decoding unit 203 can appropriately apply various methods of the present technology described with reference to FIG. 23 and the like, and perform RPR processing in the sub-picture in which the position of the reference pixel is fixed in the time direction. That is, the decoding unit 203 has ⁇ 4.
  • the image of each sub-picture is generated based on the sub-picture setting information which can include various information described in the resolution control of the image of the sub-picture 2>.
  • Rendering unit 204 is ⁇ 4. Rendering is performed based on the sub-picture rendering information that can include various information described in the resolution control of the sub-picture image 2>.
  • the rendering unit 204 outputs the generated display image to the outside of the image decoding device 200. This display image is supplied to and displayed on an image display device (not shown) via an arbitrary storage medium, communication medium, or the like.
  • the image decoding device 200 is signaled from the coding side device, ⁇ 4.
  • Various information described in the resolution control 2> of the image of the sub-picture is analyzed, and the decoding process is performed based on the information. That is, ⁇ 4.
  • the RPR processing can be performed in the sub-picture in which the position of the reference pixel is fixed in the time direction. As a result, ⁇ 4. It is possible to obtain the same effect as described in the resolution control 2> of the image of the sub-picture.
  • the image decoding device 200 can change the resolution of the sub-picture in the form of a sub-picture window in the CVS. Therefore, it is possible to increase the compression efficiency as compared with the case where the resolution of the sub-picture is not changed.
  • the image decoding device 200 can more easily render the image of the decoded sub-picture based on the signaled information.
  • the analysis unit 201 of the image decoding device 200 analyzes the metadata included in the bit stream in step S401. At that time, the analysis unit 201 has ⁇ 4. Applying this technology described in Sub-picture image resolution control 2>, it is included in the metadata ⁇ 4. Various information explained in the resolution control 2> of the image of the sub-picture is analyzed.
  • step S402 the extraction unit 202 extracts the encoded data, the sub-picture setting information, and the sub-picture rendering information from the bit stream based on the analysis result of step S401.
  • This sub-picture setting information includes ⁇ 4.
  • Various information described in the resolution control 2> of the image of the sub-picture may be included.
  • this sub-picture rendering information includes ⁇ 4.
  • Various information described in the resolution control 2> of the image of the sub-picture may be included.
  • step S403 the decoding unit 203 decodes the coded data extracted from the bitstream in step S402 by using the sub-picture setting information extracted from the bitstream in step S402, and the picture (each sub included in the picture). Picture) is generated.
  • the decoding unit 203 is described in ⁇ 4.
  • the present technology described in the resolution control of the sub-picture image 2> is applied. That is, the decoding unit 203 has ⁇ 4.
  • the RPR process is performed in the sub-picture in which the positions of the reference pixels are fixed in the time direction.
  • step S404 the rendering unit 204 renders the decoded data of the picture (or sub-picture) generated in step S403 using the sub-picture rendering information extracted from the bit stream in step S402 to generate a display image.
  • the rendering unit 204 has ⁇ 4.
  • the present technology described in the resolution control of the sub-picture image 2> is applied. That is, the rendering unit 204 has ⁇ 4. Rendering is performed based on various information explained in the resolution control 2> of the image of the sub-picture.
  • Decoding process ends when the display image is generated.
  • the image decoding device 200 has ⁇ 4. It is possible to obtain the same effect as described in the resolution control 2> of the image of the sub-picture.
  • the image decoding device 200 can change the resolution of the sub-picture in the form of a sub-picture window in the CVS. Therefore, it is possible to increase the compression efficiency as compared with the case where the resolution of the sub-picture is not changed.
  • the image decoding device 200 can more easily render the image of the decoded sub-picture based on the signaled information.
  • Non-Patent Document 5 defines a method for storing a VVC bitstream in ISOBMFF (International Organization for Standardization Base Media File Format).
  • ISOBMFF International Organization for Standardization Base Media File Format
  • the coding name'vvc1'or'vvi1' is set in VvcSamleEntry, and the VvcConfigurationBox, which is the information for decoding VVC, is stored.
  • VvcConfigurationBox contains VvcDecoderConfigurationRecord, and information such as profile, tier, or level is signaled. Furthermore, parameter sets, SEI, etc. can also be signaled.
  • SEI may be information that does not have a direct effect on coding, and may not be implemented by some encoders and may not be included in the bitstream. For example, some encoders do not store metadata in SEI, assuming that the bitstream is stored in container format.
  • the bitstream is input to the decoder, the decoded image is output from the decoder, and it is input to the renderer.
  • the renderer renders using the decoded image, generates an image for display, and outputs it.
  • the renderer can perform rendering using the metadata. That is, the rendering can be controlled from the encoder side.
  • the metadata output from the decoder is no provision regarding the metadata output from the decoder. For example, whether or not the decoder has an interface that provides information included in a parameter set such as image size information of the decoded image and SEI or the like depends on the implementation of the decoder.
  • the bitstream generated by applying the present technique described in the fourth embodiment> is stored in ISOBMFF by using the technique described in Non-Patent Document 5. Then, as shown in the top row of the table of FIG. 32, the sub-picture rendering information used for rendering is signaled by the ISO BMFF (method 4). For example, as sub-picture rendering information, sub-picture mapping information, display size information at the time of rendering, resampling size information, and the like are signaled by ISOBMFF.
  • the coding side device stores the coded data and the sub-picture rendering information which is the information related to the rendering of the sub-picture in a file.
  • the decoding side device extracts encoded data and sub-picture rendering information from the file, renders the decoded image based on the sub-picture rendering information, and generates an image for display.
  • Subpicture mapping information and display size information at the time of rendering may be stored in SampleEntry by defining SubpictureMappingBox ('sbpm') as fixed information (information that does not change) in the sequence. Further, the resampled size information may be stored in SubpictureSizeEntry of SampleGroup so that it can be signaled for each sample. Then, at the time of rendering, the pixels indicated by the resampled size information may be displayed according to the display size information at the time of rendering.
  • the mapping information of the sub-picture and the display size information at the time of rendering may be signaled to the Sample Entry.
  • the parameter num_subpics_minus1 indicates the number of subpictures-1.
  • the parameter subpic_top_left_x indicates the X coordinate of the upper left pixel of the sub picture
  • the parameter subpic_top_left_y indicates the Y coordinate of the upper left pixel of the sub picture.
  • the parameter subpic_display_width indicates the width of the display size of the subpicture
  • the parameter subpic_display_height indicates the height of the display size of the subpicture.
  • the sampled size information of the subpicture may be signaled in the Sample Group.
  • the parameter num_subpics_minus1 indicates the number of sub-pictures-1
  • subpic_width indicates the width of the resampled size
  • subpic_height indicates the height of the resampled size.
  • the subpicture mapping information, the resampled size information, and the display size information at the time of rendering may be stored in the SubpictureMappingBox, and the SubpictureMappingBox may be stored in the schemeInformationBox of rinf (method 4 modification 1).
  • An example of the syntax of the Subpicture Mapping Box in that case is shown in FIG.
  • This signaling can reduce the data size signaled when the sub-picture mapping information, the resampled size information, and the display size information at the time of rendering are fixed in the time direction. It is also available when the resampled size information changes frequently. However, it is necessary to generate and store SampleEntry information including SchemeInformationBox at the timing of change, and it will have unnecessary data.
  • a signal may be signaled using the timed metadata track (method 4 modification 2).
  • a SubpictureMappingMetadataSampleEntry ('sbps') is provided in the TrackBox of the MoviedBox.
  • SubPicSizeMetaDataSample in MediaDataBox An example of the syntax of SubpictureMappingMetadataSampleEntry is shown in FIG. 35B.
  • Sub-picture mapping information and display size information at the time of rendering are stored in the initial value information, and resampled size information is stored in the sample.
  • SubpictureMappingBox () of A in FIG. 33 is the same as in FIG. 34.
  • SubpictureSizeStruct () of B in FIG. 35 is the same as B in FIG. 33.
  • the timed metadata track may be linked to the VVC track using track_reference.
  • the renderer can obtain the sub-picture resizing information from the decoder, the information can be obtained from ISOBMFF, and the renderer can be resized and rendered. Further, for example, in the case of a decoding side device in which the VVC bitstream contains meta information and does not use the ISOBMFF information, it is not necessary to acquire this track.
  • the sub-picture resampling flag may be signaled in ISOBMFF as the sub-picture rendering information (method 4-1).
  • This sub-picture resampling flag is flag information indicating whether or not a part of the decoded picture needs to be resized. For example, this sub-picture resampling flag may be signaled in VvcDecoderConfigurationRecord.
  • Figure 36 shows an example of the syntax of VvcDecoderConfigurationRecord in that case.
  • the subpicture_is_resampled_flag signaled as the subpicture resampling flag is true (value "1"), it indicates that there may be a subpicture that has been resized. If this flag is false (value "0"), it indicates that there is no resized subpicture.
  • the renderer of the decoding side device can acquire this sub-picture resampling flag. Therefore, the renderer can easily grasp whether or not the picture associated with the Sample Entry needs to be partially resized. Thereby, the renderer can more easily identify, for example, whether or not the decoded image can be reproduced.
  • this subpicture resampling flag may be signaled in the SubpictureMappingStruct shown in A of FIG. 33 or the SubpictureMappingBox shown in FIG. 34. In this case, it becomes possible to signal that a part of the picture needs to be resized for each picture.
  • the resampling flag may be signaled in ISOBMFF as the sub-picture rendering information (method 4-1-1).
  • This resampling flag is flag information indicating whether or not the subpicture needs to be resized.
  • this resampling flag may be signaled in the SubpictureMappingStruct shown in A of FIG. 33 or the SubpictureMappingBox shown in FIG. 34.
  • the resampling_flag [i] signaled as a resampling flag is a flag indicating whether or not the i-th subpicture needs to be resized. For example, if this flag is true (value "1"), it indicates that resizing is required. That is, it is shown that the subpicture is resampled and size changes can occur. Further, when this flag is false (value "0"), the size of the subpicture does not change, indicating that resizing is not necessary.
  • the renderer can acquire the resampling flag. Therefore, when playing back a part of the sub-pictures, the renderer can more easily know whether or not the sub-pictures need to be resized. That is, the renderer can more easily identify whether or not the sub-picture can be reproduced based on this resampling flag.
  • the renderer can more easily set the subpicture resampling flag described above when merging multiple subpictures or pictures into one picture. become.
  • the effective domain information may be signaled in ISOBMFF as the sub-picture rendering information (method 4-2).
  • This effective domain information is information about the effective domain.
  • the renderer renders, for example, so as not to draw an area (invalid area) not included in the effective area information. By doing so, the renderer can hide the portion of the decoded image that originally did not include the pixel information or the portion that includes the pixel information but is unnecessary.
  • This effective domain information may be signaled to the information after resizing.
  • the effective domain information may be signaled in, for example, SampleGroupDisplayAreaEntry.
  • SampleGroupDisplayAreaEntry For example, as shown in A of FIG. 38, a DisplayAreaStruct may be defined in the VisualSampleGroupEntryBox, and as shown in B of FIG. 38, the effective domain information may be signaled in the DisplayAreaStruct.
  • the effective area is expressed as a collection of multiple rectangles.
  • display_area_num_minus1 is a parameter indicating the number of effective areas-1.
  • display_area_left and display_area_top are parameters indicating the position information (coordinates) of the pixel at the upper left corner of the effective area.
  • display_area_width is a parameter indicating the width of the effective area, and display_area_height is a parameter indicating the height of the effective area.
  • the invalid area may be signaled instead of the effective area information.
  • the target to be signaled may be selected from an invalid area and an effective area.
  • the effective area or the invalid area may be the information before resizing. Further, either the information before resizing or the information after resizing may be used. In that case, flag information indicating whether the effective area or the invalid area is the information before resizing or the information after resizing may be signaled.
  • the renderer can acquire effective domain information from ISOBMFF even when it is not possible to acquire effective domain information from the decoder. Therefore, the renderer can render to display only the effective area. In addition, ⁇ 1. By combining with the effective area information described above in the resolution control 1> of the image of the sub-picture, the renderer can also obtain the effective area information for each sub-picture.
  • the DisplayAreaBox containing the effective area information may be stored in the scheme Information Box of rinf.
  • An example of the syntax of the Display Area Box in that case is shown in A of FIG. 39.
  • This DisplayAreaStruct may be defined as shown in B of FIG.
  • This signaling is effective when the effective domain information is fixed in the time direction. It can be used even when it changes frequently, but it is necessary to generate and store SampleEntry information including SchemeInformationBox at the timing of change, and it will have unnecessary data.
  • the effective domain information may be signaled using the timed metadata track.
  • DisplayAreaMetadataSampleEntry ('diam') is provided in the TrackBox of MoviedBox.
  • DisplayAreaMetaDataSample is provided in MediaDataBox.
  • FIG. 39C An example of the syntax of DisplayAreaMetadataSampleEntry is shown in FIG. 39C.
  • Store effective domain information in the sample. This DisplayAreaStruct may be defined as shown in B of FIG.
  • the renderer can acquire the effective area information from ISOBMFF even when the effective area information cannot be acquired from the decoder. Therefore, the renderer can render to display only the effective area. Further, for example, in the case of a decoding side device in which the VVC bitstream contains meta information and does not use the ISOBMFF information, it is not necessary to acquire this track.
  • the effective domain information existence flag may be signaled in ISOBMFF as the sub-picture rendering information (method 4-2-1).
  • This effective area information existence flag is flag information indicating whether or not the effective area information exists.
  • This valid domain information existence flag may be signaled in, for example, VvcDecoderConfigurationRecord.
  • Figure 40 shows an example of the syntax of VvcDecoderConfigurationRecord in that case.
  • the display_area_exist_flag signaled as the effective area information existence flag is true (value "1"), it indicates that the display area information (effective area information) may exist.
  • this flag is false (value "0"), it indicates that the display area information (effective area information) does not exist. In that case, the decoded picture can be displayed as it is.
  • this effective domain information existence flag may be signaled in the SubpictureMappingStruct shown in A of FIG. 33 or the SubpictureMappingBox shown in FIG. 34. In this case, it is possible to signal whether or not the display area information (effective area information) exists for each picture.
  • an invalid area information existence flag indicating whether or not an invalid area can exist may be signaled.
  • the target to be signaled may be selected from the valid area information existence flag and the invalid area information existence flag.
  • the effective area or the invalid area may be the information before resizing. Further, either the information before resizing or the information after resizing may be used. In that case, flag information indicating whether the effective area or the invalid area is the information before resizing or the information after resizing may be signaled.
  • the sub-picture effective domain information existence flag may be signaled in ISOBMFF as the sub-picture rendering information (method 4-2-1-1). ).
  • This sub-picture effective area information existence flag is flag information indicating whether or not effective area information exists for each sub-picture.
  • This subpicture effective domain information existence flag may be signaled in, for example, the SubpictureMappingStruct shown in A of FIG. 33 or the SubpictureMappingBox shown in FIG. 34.
  • the subpic_display_area_exist_flag signaled as the sub-picture effective area information existence flag is true (value "1"), it indicates that the display area information (effective area information) can exist in the sub-picture. If this flag is false (value "0"), there is no display area information (effective area information) in the subpicture. In this case, the decoded sub-picture can be displayed as it is.
  • the renderer can easily set the effective area information existence flag when merging a plurality of sub-pictures or pictures into one picture. it can.
  • a sub-picture invalid area information existence flag indicating whether or not an invalid area can exist for each sub-picture may be signaled.
  • the target to be signaled may be selected from the sub-picture valid area information existence flag and the sub-picture invalid area information existence flag.
  • the effective area or the invalid area may be the information before resizing. Further, either the information before resizing or the information after resizing may be used. In that case, flag information indicating whether the effective area or the invalid area is the information before resizing or the information after resizing may be signaled.
  • the file format of the file that signals the sub-picture rendering information is arbitrary and is not limited to ISO BMFF.
  • Sub-picture rendering information can be signaled in files of any file format.
  • the sub-picture rendering information may be stored in the matryoshka media container (method 4-3).
  • Matryoshka media container is a file format described in Non-Patent Document 7.
  • FIG. 42 is a diagram showing a main configuration example of this matryoshka media container.
  • the SubpictureMappingBox signals the TrackEntry element as a new SubpictureMapping element.
  • SubpictureSizeEntry signals TrackEntry element as a new SubpictureSizeEntry element.
  • the coding name signals with the CodecID and CodecName of the TrackEntry element, and SubpicSizeMetaDataSample is stored as block data.
  • the sub-picture rendering information is subjected to MPEG DASH (Moving Picture Experts Group phase Dynamic Adaptive Streaming over HTTP) using the technique described in Non-Patent Document 6. It may be stored in the MPD (Media Presentation Description) file of (Method 5).
  • MPEG DASH Motion Picture Experts Group phase Dynamic Adaptive Streaming over HTTP
  • This effective domain information existence information is information indicating whether or not the effective domain information is included in the DASH segment file.
  • the decoding side device can be excluded from the selection candidates when the effective area information cannot be used when selecting the segment file.
  • the effective domain information existence information may be signaled in Representation or SubRepresentation.
  • @codecs which is signaled by the AdaptationSet or the like.
  • the ISOBMFF brand including the use of effective domain information for example "disp”
  • @ codecs 'resv.disp.vvc1'
  • the sub-picture resampling flag may be signaled in the MPD file as the sub-picture rendering information (method 5-1).
  • This sub-picture resampling flag is flag information indicating whether or not resizing information is included in the DASH segment file.
  • the decoding side device can be excluded from the selection candidates if it cannot be resized when selecting the segment file.
  • the sub-picture resampling flag may be signaled in Representation or SubRepresentation.
  • @codecs which is signaled by the AdaptationSet or the like.
  • FIG. 45 is a block diagram showing an example of a configuration of one aspect of an image processing system to which the present technology is applied.
  • the image processing system 500 shown in FIG. 45 is a system that distributes image data.
  • the image data is encoded by dividing the picture into sub-pictures by using, for example, a moving image coding method such as VVC described in Non-Patent Document 1, and the bit stream thereof is distributed by ISOBMFF or the like. It is stored in a file in the file format for distribution. Further, a distribution technology such as MPEG DASH can be applied to the distribution of this bitstream.
  • the image processing system 500 includes a file generation device 501, a distribution server 502, and a client device 503.
  • the file generation device 501, the distribution server 502, and the client device 503 are communicably connected to each other via the network 504.
  • the file generation device 501 is an example of a coding side device, encodes image data, and generates a file for storing the bit stream.
  • the file generation device 501 supplies the generated file to the distribution server 502 via the network 504.
  • the distribution server 502 performs processing related to distribution of the file. For example, the distribution server 502 acquires and stores a file supplied from the file generation device 501. Further, the distribution server 502 receives the distribution request from the client device 503. When the distribution server 502 receives the distribution request, it reads the requested file and supplies it to the client device 503, which is the request source, via the network 504.
  • the client device 503 is an example of a decoding side device, accesses the distribution server 502 via the network 504, and requests a desired file from the files stored in the distribution server 502.
  • the client device 503 acquires the file, decodes it, renders it, and displays the image.
  • Network 504 is an arbitrary communication medium.
  • network 504 may include the Internet or LAN.
  • the network 504 may be configured by a wired communication network, a wireless communication network, or a combination of a wired communication network and a wireless communication network.
  • a file generation device 501, a distribution server 502, and a client device 503 are shown one by one as a configuration example of the image processing system 500, but the number of these devices is arbitrary.
  • the image processing system 500 may have a plurality of each of the file generation device 501, the distribution server 502, and the client device 503. Further, the number of the file generation device 501, the distribution server 502, and the client device 503 may be the same as each other, or may be different from each other. Further, the image processing system 500 may have devices other than the file generation device 501, the distribution server 502, and the client device 503.
  • FIG. 46 is a block diagram showing a main configuration example of the file generation device 501.
  • the file generation device 501 has a control unit 511 and a file generation processing unit 512.
  • the control unit 511 controls the file generation processing unit 512 and controls the file generation.
  • the file generation processing unit 512 performs processing related to file generation.
  • the file generation processing unit 512 has a preprocessing unit 521, an encoding unit 522, a file generation unit 523, a storage unit 524, and an upload unit 525.
  • the preprocessing unit 521 generates sub-picture rendering information to be signaled in the file based on the image data input to the file generation device 501. At that time, the preprocessing unit 521 uses ⁇ 7.
  • the various information described above is generated in the resolution control 3> of the image of the sub-picture.
  • the preprocessing unit 521 includes sub-picture mapping information, display size information at the time of rendering, resampling size information, sub-picture resampling flag, resampling flag, effective area information, effective area information existence flag, and sub-picture valid.
  • the area information existence flag and the like can be generated.
  • the pre-processing unit 521 supplies the generated sub-picture rendering information to the file generation unit 523. Further, the preprocessing unit 521 supplies image data and the like to the coding unit 522.
  • the coding unit 522 encodes the image data supplied from the preprocessing unit 521 and generates a bit stream.
  • the coding unit 522 has ⁇ 1.
  • This coding can be performed by applying the various methods of the present technology described above in the fourth embodiment>. That is, the image coding device 100 (FIG. 19) can be applied to the coding unit 522.
  • the coding unit 522 has the same configuration as the image coding device 100, and can perform the same processing.
  • the coding unit 522 supplies the generated bit stream to the file generation unit 523.
  • the file generation unit 523 stores the bit stream supplied from the encoding unit 522 in a file in the distribution file format. For example, the file generation unit 523 generates an ISOBMFF file that stores this bitstream. Further, the file generation unit 523 is described in ⁇ 7. A file is generated by applying the above-mentioned technique in the resolution control 3> of the image of the sub-picture. That is, the file generation unit 523 stores the sub-picture rendering information supplied from the preprocessing unit 521 in the file. That is, the file generation unit 523 signals the various information described above generated by the preprocessing unit 521 in the file. The file generation unit 523 supplies the generated file to the storage unit 524.
  • the storage unit 524 stores the file supplied from the file generation unit 523.
  • the upload unit 525 acquires a file from the storage unit 524 at a predetermined timing and supplies (uploads) the file to the distribution server 502.
  • the file generation device 501 signals the sub-picture rendering information in the file. Therefore, the client device 503, which is the decoding side device, can acquire the sub-picture rendering information from the file and use it for rendering. Therefore, since the rendering can be controlled from the file generation device 501, the client device 503 can perform the rendering more appropriately. For example, the client device 503 can generate a higher quality display image. In other words, the file generator 501 can suppress an increase in the amount of code for generating a display image of the same party's image quality.
  • FIG. 47 is a block diagram showing a main configuration example of the client device 503.
  • the client device 503 has a control unit 551 and a reproduction processing unit 552.
  • the control unit 551 controls the reproduction processing unit 552 and controls the reproduction of the moving image.
  • the reproduction processing unit 552 performs processing related to reproduction of a moving image.
  • the reproduction processing unit 552 includes a file acquisition unit 561, a file processing unit 562, a decoding unit 563, a rendering unit 564, a display unit 565, a measurement unit 566, and a display control unit 567.
  • the file acquisition unit 561 performs processing related to acquisition of the file distributed from the distribution server 502. For example, the file acquisition unit 561 requests the distribution server 502 to distribute a desired file based on the control of the control unit 551. Further, the file acquisition unit 561 acquires the file delivered in response to the request and supplies it to the file processing unit 562.
  • the file processing unit 562 performs processing related to the file. For example, the file processing unit 562 acquires the file supplied from the file acquisition unit 561. This file is a file generated by the file generator 501. That is, this file contains a bitstream containing encoded data of image data. The file processing unit 562 extracts the bit stream from the file and supplies it to the decoding unit 563.
  • this file is a file in a distribution file format such as ISOBMFF, and sub-picture rendering information is signaled.
  • the file processing unit 562 is described in ⁇ 7.
  • the sub-picture image resolution control 3> the above-mentioned technique is applied to perform processing, and the sub-picture rendering information is extracted from the file.
  • the file processing unit 562 sets the sub-picture rendering information as ⁇ 7.
  • the various information described above is extracted in the resolution control 3> of the image of the sub-picture.
  • the file processing unit 562 includes sub-picture mapping information, display size information at the time of rendering, resampling size information, sub-picture resampling flag, resampling flag, effective area information, effective area information existence flag, and sub picture valid.
  • the area information existence flag and the like can be extracted.
  • the file processing unit 562 supplies the extracted sub-picture rendering information to the rendering unit 564.
  • the decoding unit 563 decodes the bit stream supplied from the file processing unit 562 and generates a decoded image. At that time, the decoding unit 563 has ⁇ 1. Sub-picture image resolution control 1> to ⁇ 6. This decoding can be performed by applying the various methods of the present technology described above in the fourth embodiment>.
  • the decoding unit 563 supplies the generated decoded image to the rendering unit 564.
  • the rendering unit 564 renders using the decoded image supplied from the decoding unit 563 to generate a display image.
  • the rendering unit 564 has ⁇ 7.
  • the above-mentioned technique can be applied to perform the processing. That is, the rendering unit 564 can perform the rendering using the sub-picture rendering information supplied from the file processing unit 562.
  • the rendering unit 564 provides sub-picture rendering information in ⁇ 7. Rendering can be performed using the various information described above in the resolution control 3> of the image of the sub-picture.
  • the rendering unit 564 may include sub-picture mapping information, display size information at the time of rendering, resampling size information, sub-picture resampling flag, resampling flag, effective area information, effective area information existence flag, and sub-picture effective area. Resampling can be performed using the information existence flag or the like.
  • the rendering unit 564 supplies the display image generated by such rendering to the display unit 565.
  • the display unit 565 has a monitor for displaying an image, and displays a display image supplied from the rendering unit 564 on the monitor.
  • the measurement unit 566 measures an arbitrary parameter such as time, and supplies the measurement result to the file processing unit 562.
  • the display control unit 567 controls the image display by the display unit 565 by controlling the file processing unit and the rendering unit 54.
  • An image decoding device 200 (FIG. 21) can be applied to the decoding unit 563 and the rendering unit 564 surrounded by the dotted line 571.
  • the decoding unit 563 and the rendering unit 564 have the same configuration as the image decoding device 200, and can perform the same processing. That is, the rendering unit 564 can perform rendering using the sub-picture rendering information extracted by the file processing unit 562, or obtains the sub-picture rendering information included in the bit stream from the decoding unit 563 and sub-pictures thereof. Rendering can also be performed using the rendering information.
  • the client device 503 can perform rendering using the sub-picture rendering information signaled in the file. Therefore, the client device 503 can control its rendering from the file generation device 501, so that the rendering can be performed more appropriately. For example, the client device 503 can generate a higher quality display image. In other words, the file generator 501 can suppress an increase in the amount of code for generating a display image of the same party's image quality.
  • the preprocessing unit 521 of the file generation device 501 sets the sub-picture rendering information in step S511 as ⁇ 7.
  • the various information described above is generated in the resolution control 3> of the image of the sub-picture.
  • step S512 the coding unit 522 encodes the image data and generates a bit stream.
  • the coding unit 522 has ⁇ 1.
  • This coding is performed by applying the various methods of the present technology described above in the fourth embodiment>. That is, the coding unit 522 performs the coding process of FIG. 20 or the coding process of FIG. 30 to generate a bit stream.
  • step S513 the file generation unit 523 generates a file using the bit stream and the sub-picture rendering information.
  • the file generation unit 523 is described in ⁇ 7.
  • a file is generated by applying the above-mentioned technique in the resolution control 3> of the image of the sub-picture. That is, the file generation unit 523 stores the sub-picture rendering information supplied from the preprocessing unit 521 in the file.
  • step S513 the file generation process is completed.
  • the file generation device 501 signals the sub-picture rendering information in the file. Therefore, the client device 503, which is the decoding side device, can acquire the sub-picture rendering information from the file and use it for rendering. Therefore, since the rendering can be controlled from the file generation device 501, the client device 503 can perform the rendering more appropriately. For example, the client device 503 can generate a higher quality display image. In other words, the file generator 501 can suppress an increase in the amount of code for generating a display image of the same party's image quality.
  • the file acquisition unit 561 of the client device 503 acquires a file from the distribution server 502 in step S561.
  • step S562 the file processing unit 562 extracts the bitstream and sub-picture rendering information from the file acquired in step S561.
  • the file processing unit 562 is described in ⁇ 7.
  • the sub-picture image resolution control 3> the above-mentioned technique is applied to perform processing, and the sub-picture rendering information is extracted from the file.
  • the file processing unit 562 sets the sub-picture rendering information as ⁇ 7.
  • the various information described above is extracted in the resolution control 3> of the image of the sub-picture.
  • step S563 the decoding unit 563 decodes the bit stream. At that time, the decoding unit 563 has ⁇ 1. Sub-picture image resolution control 1> to ⁇ 6. This decoding can be performed by applying the various methods of the present technology described above in the fourth embodiment>. Further, the rendering unit 564 renders the decoded data using the sub-picture rendering information to generate a display image. At that time, the rendering unit 564 has ⁇ 7. In the resolution control 3> of the image of the sub-picture, the above-mentioned technique can be applied to perform the processing.
  • step S564 the display unit 565 displays the display image generated by the process of step S563.
  • step S564 the reproduction process is completed.
  • the client device 503 can acquire the sub-picture rendering information from the signaled file and use it for rendering. Therefore, the client device 503 can perform rendering more appropriately. For example, the client device 503 can generate a higher quality display image. In other words, the file generator 501 can suppress an increase in the amount of code for generating a display image of the same party's image quality.
  • FIG. 50 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • ROM ReadOnly Memory
  • RAM RandomAccessMemory
  • the input / output interface 910 is also connected to the bus 904.
  • An input unit 911, an output unit 912, a storage unit 913, a communication unit 914, and a drive 915 are connected to the input / output interface 910.
  • the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 913 is composed of, for example, a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 914 includes, for example, a network interface.
  • the drive 915 drives a removable medium 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the above-described series. Is processed.
  • the RAM 903 also appropriately stores data and the like necessary for the CPU 901 to execute various processes.
  • the program executed by the computer can be recorded and applied to the removable media 921 as a package media or the like, for example.
  • the program can be installed in the storage unit 913 via the input / output interface 910 by mounting the removable media 921 in the drive 915.
  • This program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting. In that case, the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can be installed in advance in ROM 902 or storage unit 913.
  • This technique can be applied to any image coding / decoding method. That is, as long as it does not contradict the above-mentioned technology, the specifications of various processes related to image coding / decoding such as conversion (inverse transformation), quantization (inverse quantization), coding (decoding), and prediction are arbitrary. It is not limited to the example. In addition, some of these processes may be omitted as long as they do not contradict the present technology described above.
  • this technology can be applied to a multi-viewpoint image coding / decoding system that encodes / decodes a multi-viewpoint image including images of a plurality of viewpoints (views).
  • the present technology may be applied to the coding / decoding of each viewpoint (view).
  • this technology is applied to a hierarchical image coding (scalable coding) / decoding system that encodes / decodes a hierarchical image that is layered (layered) so as to have a scalability function for a predetermined parameter. can do.
  • the present technology may be applied in the coding / decoding of each layer.
  • the image coding device 100, the image decoding device 200, and the image processing system 500 have been described, but the present technology is optional. Can be applied to the configuration of.
  • this technology is a transmitter or receiver (for example, a television receiver or mobile phone) for satellite broadcasting, cable broadcasting such as cable TV, distribution on the Internet, and distribution to terminals by cellular communication, or It can be applied to various electronic devices such as devices (for example, hard disk recorders and cameras) that record images on media such as optical disks, magnetic disks, and flash memories, and reproduce images from these storage media.
  • devices for example, hard disk recorders and cameras
  • a processor as a system LSI (Large Scale Integration) or the like (for example, a video processor), a module using a plurality of processors (for example, a video module), a unit using a plurality of modules (for example, a video unit)
  • a processor as a system LSI (Large Scale Integration) or the like
  • a module using a plurality of processors for example, a video module
  • a unit using a plurality of modules for example, a video unit
  • it can be implemented as a configuration of a part of the device, such as a set (for example, a video set) in which other functions are added to the unit.
  • this technology can be applied to a network system composed of a plurality of devices.
  • the present technology may be implemented as cloud computing that is shared and jointly processed by a plurality of devices via a network.
  • this technology is implemented in a cloud service that provides services related to images (moving images) to arbitrary terminals such as computers, AV (AudioVisual) devices, portable information processing terminals, and IoT (Internet of Things) devices. You may try to do it.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • Systems, devices, processing units, etc. to which this technology is applied can be used in any field such as transportation, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factories, home appliances, weather, nature monitoring, etc. .. Moreover, the use is arbitrary.
  • this technology can be applied to systems and devices used for providing ornamental contents and the like.
  • the present technology can be applied to systems and devices used for traffic such as traffic condition supervision and automatic driving control.
  • the present technology can be applied to systems and devices used for security purposes.
  • the present technology can be applied to a system or device used for automatic control of a machine or the like.
  • the present technology can be applied to systems and devices used for agriculture and livestock industry.
  • the present technology can also be applied to systems and devices for monitoring natural conditions such as volcanoes, forests and oceans, and wildlife. Further, for example, the present technology can be applied to systems and devices used for sports.
  • the "flag” is information for identifying a plurality of states, and is not only information used for identifying two states of true (1) or false (0), but also three or more states. It also contains information that can identify the state. Therefore, the value that this "flag” can take may be, for example, 2 values of 1/0 or 3 or more values. That is, the number of bits constituting this "flag” is arbitrary, and may be 1 bit or a plurality of bits.
  • the identification information (including the flag) is assumed to include not only the identification information in the bitstream but also the difference information of the identification information with respect to a certain reference information in the bitstream. In, the "flag” and “identification information” include not only the information but also the difference information with respect to the reference information.
  • various information (metadata, etc.) related to the coded data may be transmitted or recorded in any form as long as it is associated with the coded data.
  • the term "associate" means, for example, to make the other data available (linkable) when processing one data. That is, the data associated with each other may be combined as one data or may be individual data.
  • the information associated with the coded data (image) may be transmitted on a transmission path different from the coded data (image).
  • the information associated with the coded data (image) may be recorded on a recording medium (or another recording area of the same recording medium) different from the coded data (image). Good.
  • this "association" may be a part of the data, not the entire data. For example, an image and information corresponding to the image may be associated with each other in an arbitrary unit such as a plurality of frames, one frame, or a part within the frame.
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • the above-mentioned program may be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • each step of one flowchart may be executed by one device, or may be shared and executed by a plurality of devices.
  • the plurality of processes may be executed by one device, or may be shared and executed by a plurality of devices.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the processing of the steps for writing the program may be executed in chronological order in the order described in the present specification, and the calls may be made in parallel or in parallel. It may be executed individually at the required timing such as when it is broken. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for writing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • a plurality of technologies related to this technology can be independently implemented independently as long as there is no contradiction.
  • any plurality of the present technologies can be used in combination.
  • some or all of the techniques described in any of the embodiments may be combined with some or all of the techniques described in other embodiments. It is also possible to carry out a part or all of any of the above-mentioned techniques in combination with other techniques not described above.
  • the present technology can also have the following configurations.
  • the image of the fixed sub-picture which is the sub-picture in which the position of the reference pixel is fixed in the time direction, is encoded with a variable resolution in the time direction in the sub-picture which is a partial area obtained by dividing the picture.
  • An image processing device including a decoding unit that decodes the coded data and generates the image of the resolution of the fixed subpicture.
  • An analysis unit for analyzing sub-picture resolution information which is information indicating the resolution and is set for each picture, is further provided.
  • the image processing according to (1) wherein the decoding unit decodes the coded data and generates the image of the fixed subpicture having the resolution indicated by the subpicture resolution information analyzed by the analysis unit. apparatus.
  • the analysis unit sets sub-picture reference pixel position information, which is information indicating the position of the reference pixel of the sub-picture, and sub-picture maximum, which is information indicating the maximum resolution of the sub-picture, which is set for each sequence.
  • the resolution information and the sub-picture ID mapping information which is a list of the sub-picture identification information, are analyzed.
  • the decoding unit decodes the coded data based on the sub-picture reference pixel position information, the sub-picture maximum resolution information, and the sub-picture ID mapping information analyzed by the analysis unit, and obtains the fixed sub-picture.
  • the image processing apparatus according to (2) which generates the image having the resolution.
  • the analysis unit analyzes the sub-picture ID fixed flag, which is flag information indicating whether or not the sub-picture ID mapping information, which is a list of the sub-picture identification information, is changed in the sequence.
  • the decoding unit decodes the coded data based on the sub-picture ID fixed flag analyzed by the analysis unit, and generates the image of the resolution of the fixed sub-picture in (2) or (3).
  • the analysis unit analyzes the non-sub-picture area existence flag, which is flag information indicating whether or not a non-sub-picture area, which is an area not included in the sub-picture, exists in any of the pictures in the sequence.
  • the decoding unit decodes the coded data based on the non-sub-picture region existence flag analyzed by the analysis unit, and generates the image of the resolution of the fixed sub-picture (2) to (4).
  • the image processing apparatus according to any one of. (6)
  • the analysis unit analyzes the effective area information which is the information about the effective area which is the area where the pixel data exists in the picture.
  • the rendering unit (2) to (5) further includes a rendering unit that renders the image data of the effective area obtained by the decoding unit based on the effective area information analyzed by the analysis unit and generates an image for display.
  • the image processing apparatus according to any one.
  • the analysis unit analyzes the uncoded region existence flag, which is flag information indicating whether or not a pixel having no coded data exists in the picture.
  • the decoding unit decodes the coded data based on the uncoded region existence flag analyzed by the analysis unit, and generates the image of the resolution of the fixed subpicture (2) to (6).
  • the image processing apparatus according to any one of. (8)
  • the analysis unit analyzes the position information indicating the position of the reference pixel of the sub-picture, which is set for each picture.
  • the decoding unit decodes the coded data based on the position information analyzed by the analysis unit, and generates the image of the resolution of the fixed subpicture according to any one of (2) to (7).
  • the image processing apparatus described. (9)
  • the analysis unit analyzes the unsliced data flag, which is flag information indicating whether all the pixels are the sub-pictures that do not have the coded data.
  • the decoding unit decodes the coded data based on the sliceless data flag analyzed by the analysis unit, and generates the image of the resolution of the fixed subpicture.
  • the image processing device described in. (10) The analysis unit analyzes the RPR application sub-picture enable flag, which is flag information indicating whether or not the fixed sub-picture is included.
  • the decoding unit decodes the coded data based on the RPR application sub-picture enable flag analyzed by the analysis unit, and generates the image of the resolution of the fixed sub-picture (2) to (9).
  • the image processing apparatus according to any one of. (11)
  • the analysis unit analyzes the sub-picture window information which is the information about the sub-picture window which is the area of the image of the resolution of the fixed sub-picture.
  • the image processing apparatus according to. (12) The image processing apparatus according to (11), wherein the sub-picture window information includes a sub-picture window existence flag which is flag information indicating whether or not the sub-picture window exists.
  • the analysis unit analyzes the sub-picture window decoding control flag, which is flag information related to the decoding control of the coded data of the sub-picture window.
  • the decoding unit decodes the coded data based on the sub-picture window decoding control flag analyzed by the analysis unit, and generates the image of the resolution of the fixed sub-picture (11) or (12).
  • the image processing apparatus according to. (14)
  • the analysis unit analyzes the sub-picture window maximum size information, which is information indicating the maximum size of the sub-picture window.
  • the decoding unit decodes the coded data based on the sub-picture window maximum size information analyzed by the analysis unit, and generates the image of the resolution of the fixed sub-picture (11) to (13).
  • the image processing apparatus according to any one of.
  • the analysis unit analyzes the reference sub-picture window resampling information, which is information about the sub-picture window that requires resampling of the reference sub-picture window.
  • the decoding unit decodes the coded data based on the reference sub-picture window resampling information analyzed by the analysis unit, and generates the image of the resolution of the fixed sub-picture (11) to (14). ).
  • the image processing apparatus according to any one of.
  • the analysis unit analyzes the rescaling prohibition flag, which is flag information indicating whether to prohibit the rescaling of the resolution of the reference picture.
  • the decoding unit decodes the coded data based on the rescaling prohibition flag analyzed by the analysis unit, and generates the image of the resolution of the fixed subpicture.
  • the fixed sub-picture generated by the decoding unit decoding the coded data extracted from the file by the extraction unit based on the sub-picture rendering information extracted from the file by the extraction unit.
  • the image processing apparatus according to any one of (1) to (16), further comprising a rendering unit that renders the image having a resolution and generates an image for display.
  • the image of the fixed sub-picture which is the sub-picture in which the position of the reference pixel is fixed in the time direction in the sub-picture which is a partial area obtained by dividing the picture, is encoded with a variable resolution in the time direction.
  • the image of the fixed sub-picture which is the sub-picture in which the position of the reference pixel is fixed in the time direction, in the sub-picture which is a partial area obtained by dividing the picture, is encoded with a variable resolution in the time direction.
  • An image processing device including a coding unit that generates coded data.
  • a metadata generation unit that generates sub-picture resolution information, which is information indicating the resolution, for each picture, and a metadata generation unit.
  • 21 (21) further comprising a bitstream generation unit that generates a bitstream including the coded data generated by the coding unit and the sub-picture resolution information generated by the metadata generation unit.
  • the metadata generation unit uses the metadata as the sub-picture reference pixel position information, which is information indicating the position of the reference pixel of the sub-picture, and the sub-picture maximum, which is information indicating the maximum resolution of the sub-picture.
  • the resolution information and the sub-picture ID mapping information which is a list of the sub-picture identification information, are generated for each sequence.
  • the bitstream generation unit generates the bitstream including the sub-picture reference pixel position information, the sub-picture maximum resolution information, and the sub-picture ID mapping information generated by the metadata generation unit (22).
  • the metadata generation unit generates, as the metadata, a sub-picture ID fixed flag which is flag information indicating whether or not the sub-picture ID mapping information, which is a list of identification information of the sub-picture, is changed in the sequence. And The image processing apparatus according to (22) or (23), wherein the bitstream generation unit generates the bitstream including the sub-picture ID fixed flag generated by the metadata generation unit.
  • the metadata generation unit is flag information indicating whether, as the metadata, a non-sub-picture area, which is a region not included in the sub-picture, exists in any of the pictures in the sequence.
  • the image processing apparatus Generates a sub-picture area existence flag and The image processing apparatus according to any one of (22) to (24), wherein the bitstream generation unit generates the bitstream including the non-sub-picture area existence flag generated by the metadata generation unit.
  • the metadata generation unit generates effective area information, which is information about an effective area of the picture, which is an area where pixel data exists, as the metadata.
  • the image processing apparatus according to any one of (22) to (25), wherein the bitstream generation unit generates the bitstream including the effective domain information generated by the metadata generation unit.
  • the metadata generation unit generates, as the metadata, an uncoded region existence flag which is flag information indicating whether or not a pixel having no coded data exists in the picture.
  • the image processing apparatus according to any one of (22) to (26), wherein the bitstream generation unit generates the bitstream including the uncoded region existence flag generated by the metadata generation unit.
  • the metadata generation unit generates position information indicating the position of the reference pixel of the sub-picture as the metadata for each picture.
  • the image processing apparatus according to any one of (22) to (27), wherein the bitstream generation unit generates the bitstream including the position information generated by the metadata generation unit.
  • the metadata generation unit generates a sliceless data flag which is flag information indicating whether all the pixels are the sub-pictures having no coded data.
  • the image processing apparatus according to any one of (22) to (28), wherein the bitstream generation unit generates the bitstream including the sliceless data flag generated by the metadata generation unit.
  • the metadata generation unit generates an RPR application subpicture enable flag, which is flag information indicating whether or not the fixed subpicture is included.
  • the image processing apparatus according to any one of (22) to (29), wherein the bitstream generation unit generates the bitstream including the RPR application subpicture enable flag generated by the metadata generation unit.
  • the metadata generation unit generates sub-picture window information which is information about a sub-picture window which is a region of the image of the resolution of the fixed sub-picture.
  • the image processing apparatus according to any one of (22) to (30), wherein the bitstream generation unit generates the bitstream including the sub-picture window information generated by the metadata generation unit.
  • the image processing apparatus according to (31), wherein the sub-picture window information includes a sub-picture window existence flag which is flag information indicating whether or not the sub-picture window exists.
  • the metadata generation unit generates a sub-picture window decoding control flag, which is flag information related to decoding control of the coded data of the sub-picture window.
  • the image processing apparatus according to (31) or (32), wherein the bitstream generation unit generates the bitstream including the sub-picture window decoding control flag generated by the metadata generation unit.
  • the metadata generation unit generates sub-picture window maximum size information, which is information indicating the maximum size of the sub-picture window.
  • the image processing apparatus according to any one of (31) to (33), wherein the bitstream generation unit generates the bitstream including the sub-picture window maximum size information generated by the metadata generation unit.
  • the metadata generation unit generates reference subpicture window resampling information which is information about the subpicture window that needs to be resampled.
  • the image processing apparatus according to any one of (31) to (34), wherein the bitstream generation unit generates the bitstream including the reference subpicture window resampling information generated by the metadata generation unit.
  • the metadata generation unit generates a rescaling prohibition flag which is flag information indicating whether rescaling of the resolution of the reference picture is prohibited.
  • a preprocessing unit that generates sub-picture rendering information which is information related to the rendering of the sub-picture
  • (21) to (36) further include a file generation unit that generates a file that stores the sub-picture rendering information generated by the preprocessing unit and the coded data generated by the coding unit.
  • 100 image encoding device 101 coding unit, 102 metadata generation unit, 103 bitstream generation unit, 200 image decoding device, 201 analysis unit, 202 extraction unit, 203 decoding unit, 204 rendering unit, 500 image processing system, 501 File generation unit, 502 distribution server, 503 client device, 511 control unit, 512 file generation processing unit, 521 preprocessing unit, 522 coding unit, 523 file generation unit, 524 recording unit, 525 upload unit, 551 control unit, 552 Playback processing unit, 561 file acquisition unit, 562 file processing unit, 563 decoding unit, 564 rendering unit, 565 display unit, 566 measurement unit, 567 display control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、サブピクチャの画像の解像度制御の自由度の低減を抑制することができるようにする画像処理装置および方法に関する。 ピクチャを分割した部分領域であるサブピクチャの内の、基準画素の位置が時間方向に固定されているサブピクチャである固定サブピクチャの画像を、時間方向に可変な解像度で符号化する。また、ピクチャを分割した部分領域であるサブピクチャの内の、基準画素の位置が時間方向に固定されているサブピクチャである固定サブピクチャの画像が時間方向に可変な解像度で符号化された符号化データを復号し、その固定サブピクチャのその解像度の画像を生成する。本開示は、例えば、画像処理装置、画像符号化装置、画像復号装置、情報処理装置、画像処理方法、または情報処理方法等に適用することができる。

Description

画像処理装置および方法
　本開示は、画像処理装置および方法に関し、特に、サブピクチャの画像の解像度制御の自由度の低減を抑制することができるようにした画像処理装置および方法に関する。
　従来、動画像の予測残差を導出し、係数変換し、量子化して符号化する符号化方法が提案された（例えば、非特許文献１参照）。非特許文献１に記載のVVC（Versatile Video Coding）では、ピクチャ間の解像度を変えてピクチャ間予測を行う参照ピクチャリサンプリング（RPR（Reference Picture Resampling））と称する機能が実装された。また、このVVCでは、ピクチャに相当する画像領域を複数の部分領域に分割して使用するサブピクチャと称する機能が実装された。
　さらに、この部分領域に割り当てるスライスデータを切り替えることでサブピクチャID毎にRPR処理を行うことが提案された（例えば、非特許文献２参照）。
Benjamin Bross, Jianle Chen, Shan Liu, Ye-Kui Wang, "Versatile Video Coding (Draft 7)", JVET-P2001-vE, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 Oct 2019 Miska M. Hannuksela, Alireza Aminlou, Kashyap Kammachi-Sreedhar, "AHG8/AHG12: Subpicture-specific reference picture resampling", JVET-P0403, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 October 2019
　しかしながら、非特許文献２に記載の方法の場合、サブピクチャとする部分領域のレイアウトが固定のため、サブピクチャの画像の解像度制御の自由度が低減するおそれがあった。
　本開示は、このような状況に鑑みてなされたものであり、サブピクチャの画像の解像度制御の自由度の低減を抑制することができるようにするものである。
　本技術の一側面の画像処理装置は、ピクチャを分割した部分領域であるサブピクチャの内の、基準画素の位置が時間方向に固定されている前記サブピクチャである固定サブピクチャの画像を、時間方向に可変な解像度で符号化し、符号化データを生成する符号化部を備える画像処理装置である。
　本技術の一側面の画像処理方法は、ピクチャを分割した部分領域であるサブピクチャの内の、基準画素の位置が時間方向に固定されている前記サブピクチャである固定サブピクチャの画像を、時間方向に可変な解像度で符号化し、符号化データを生成する画像処理方法である。
　本技術の他の側面の画像処理装置は、ピクチャを分割した部分領域であるサブピクチャの内の、基準画素の位置が時間方向に固定されている前記サブピクチャである固定サブピクチャの画像が時間方向に可変な解像度で符号化された符号化データを復号し、前記固定サブピクチャの前記解像度の前記画像を生成する復号部を備える画像処理装置である。
　本技術の他の側面の画像処理方法は、ピクチャを分割した部分領域であるサブピクチャの内の、基準画素の位置が時間方向に固定されている前記サブピクチャである固定サブピクチャの画像が時間方向に可変な解像度で符号化された符号化データを復号し、前記固定サブピクチャの前記解像度の前記画像を生成する画像処理方法である。
　本技術の一側面の画像処理装置および方法においては、ピクチャを分割した部分領域であるサブピクチャの内の、基準画素の位置が時間方向に固定されているサブピクチャである固定サブピクチャの画像が、時間方向に可変な解像度で符号化される。
　本技術の他の側面の画像処理装置および方法においては、ピクチャを分割した部分領域であるサブピクチャの内の、基準画素の位置が時間方向に固定されているサブピクチャである固定サブピクチャの画像が時間方向に可変な解像度で符号化された符号化データが復号され、その固定サブピクチャのその解像度の画像が生成される。
ビットストリームの構成例を示す図である。 サブピクチャマッピング情報の例を示す図である。 サブピクチャIDマッピング情報の例を示す図である。 サブピクチャ毎の解像度制御の例を示す図である。 サブピクチャの画像の解像度制御の方法を説明する図である。 固定サブピクチャの画像の解像度制御の例を示す図である。 サブピクチャマッピング情報の例を示す図である。 サブピクチャIDマッピング情報の例を示す図である。 非サブピクチャ領域存在フラグの例を示す図である。 有効領域情報の例を示す図である。 非符号化領域存在フラグの例を示す図である。 非符号化領域存在フラグの例を示す図である。 固定サブピクチャの画像の解像度制御の例を示す図である。 サブピクチャマッピング情報の例を示す図である。 無スライスデータフラグの例を示す図である。 RPR適用サブピクチャイネーブルフラグの例を示す図である。 RPR適用サブピクチャイネーブルフラグの例を示す図である。 RPR適用サブピクチャイネーブルフラグの例を示す図である。 画像符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を示すフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を示すフローチャートである。 サブピクチャの画像の解像度制御の方法を説明する図である。 サブピクチャウィンドウとパディングサンプルの例を示す図である。 サブピクチャレンダリング情報の例を示す図である。 サブピクチャ設定情報の例を示す図である。 サブピクチャ設定情報の例を示す図である。 サブピクチャ設定情報の例を示す図である。 再スケーリング禁止フラグの例を示す図である。 符号化処理の流れの例を示すフローチャートである。 復号処理の流れの例を示すフローチャートである。 サブピクチャの画像の解像度制御の方法を説明する図である。 サブピクチャレンダリング情報の例を示す図である。 サブピクチャレンダリング情報の例を示す図である。 サブピクチャレンダリング情報の例を示す図である。 サブピクチャレンダリング情報の例を示す図である。 サブピクチャレンダリング情報の例を示す図である。 サブピクチャレンダリング情報の例を示す図である。 サブピクチャレンダリング情報の例を示す図である。 サブピクチャレンダリング情報の例を示す図である。 サブピクチャレンダリング情報の例を示す図である。 マトリョーシカメディアコンテナの構成例を示す図である。 サブピクチャレンダリング情報の例を示す図である。 サブピクチャレンダリング情報の例を示す図である。 画像処理システムの主な構成例を示す図である。 ファイル生成装置の主な構成例を示す図である。 クライアント装置の主な構成例を示す図である。 ファイル生成処理の流れの例を示すフローチャートである。 再生処理の流れの例を示すフローチャートである。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．サブピクチャの画像の解像度制御１
　２．第１の実施の形態（符号化）
　３．第２の実施の形態（復号）
　４．サブピクチャの画像の解像度制御２
　５．第３の実施の形態（符号化）
　６．第４の実施の形態（復号）
　７．サブピクチャの画像の解像度制御３
　８．第５の実施の形態（画像処理システム）
　９．付記
　＜１．サブピクチャの画像の解像度制御１＞
　　＜技術内容・技術用語をサポートする文献等＞
　本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献等に記載されている内容や以下の非特許文献において参照されている他の文献の内容等も含まれる。
　非特許文献１：（上述）
　非特許文献２：（上述）
　非特許文献３：Recommendation ITU-T H.264 (04/2017) "Advanced video coding for generic audiovisual services", April 2017
　非特許文献４：Recommendation ITU-T H.265 (02/18) "High efficiency video coding", february 2018
　非特許文献５：Ye-Kui Wang, Miska M. Hannuksela, Karsten Gruneberg, "WD of Carriage of VVC in ISOBMFF", ISO/IEC JTC 1/SC 29/WG 11 N18856, Geneva, CH - October 2019
　非特許文献６："Information technology . Dynamic adaptive streaming over HTTP (DASH) . Part 1: Media presentation description and segment formats", ISO/IEC 23009-1:2012(E), ISO/IEC JTC 1/SC 29/WG 11, 2012-01-05
　非特許文献７：https://www.matroska.org/index.html
　つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、上述の非特許文献に記載されているQuad-Tree Block Structure、QTBT（Quad Tree Plus Binary Tree） Block Structureが実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。
　また、本明細書において、画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。例えば、「ブロック」には、上述の非特許文献に記載されているTB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding Tree Block）、CTU（Coding Tree Unit）、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれるものとする。
　また、このようなブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。
　　＜RPR＞
　非特許文献１に記載のVVC（Versatile Video Coding）では、ピクチャ間の解像度を変えてピクチャ間予測を行う参照ピクチャリサンプリング（RPR（Reference Picture Resampling））と称する機能が実装された。ピクチャ間で解像度を変えることにより、画質を維持しつつ符号化量を削減することができる。
　　＜サブピクチャ＞
　また、VVCでは、ピクチャに相当する画像領域を複数の部分領域に分割して使用するサブピクチャと称する機能が実装された。
　図１は、画像をVVC符号化方式で符号化することにより生成されるビットストリームであるVVCビットストリームの主な構成例を示す図である。図１に示されるVVCビットストリーム１０は、複数のフレーム画像からなる動画像の符号化データである。VVCビットストリーム１０は、CVS（Coded Video Sequence）の符号化データ１１の集合により構成される。CVSは、所定期間のピクチャの集合である。ピクチャは、ある時刻のフレーム画像である。つまり、CVSの符号化データ１１は、所定期間内の各時刻のピクチャの符号化データ１２の集合により構成される。
　そしてピクチャの符号化データ１２は、サブピクチャの符号化データ１３の集合により構成される。サブピクチャは、ピクチャ（つまり、ピクチャに相当する画像領域）を分割した部分領域である。
　非特許文献１に記載のVVCにおいて、ピクチャおよびサブピクチャは、次のような特徴を有する。ピクチャおよびサブピクチャは矩形である。ピクチャに符号化データの存在しない画素は存在しない。サブピクチャ同士の重なりは存在しない。ピクチャの画素でどのサブピクチャにも含まれない画素は存在しない。
　サブピクチャは、サブピクチャ毎の復号（分散処理）を実現したり、複数のピクチャまたはサブピクチャを１つのピクチャにマージすることによりデコーダのインスタンスを削減したりすることを目的とする機能である。
　例えば、全天球映像（6DoF（Degree of Freedom）コンテンツ）の６面の画像をそれぞれサブピクチャに割り当てることにより、各面の画像を独立に処理したり、マージして処理したりする等、多様な制御が容易になる。なお、サブピクチャは、スライスやタイルのような符号化単位ではないので、符号化の際に例えば他のサブピクチャを参照することもできる。
　このようなサブピクチャを実現するために、ピクチャの分割情報（サブピクチャマッピング情報）がシグナリングされる（つまり、符号化側装置から復号側装置に伝送される）。
　サブピクチャマッピング情報はCVSで固定の情報（変更不可の情報）である。例えば、サブピクチャマッピング情報は、図２のＡに示されるシンタックスのようにシーケンス単位のパラメータセットであるシーケンスパラメータセット（SPS（Sequence Parameter Set））においてシグナリングされる。
　サブピクチャマッピング情報は、サブピクチャとする各部分領域のレイアウトを示す情報である。サブピクチャマッピング情報は、図２のＢに示されるように、基準画素（例えば左上端の画素）の位置情報（例えばXY座標）とサイズ情報により各分割領域を表現する。図２の例の場合、基準画素の位置情報として、サブピクチャの左上端画素の水平方向位置（subpic_ctu_top_left_x）と垂直方向位置（subpic_ctu_top_left_y）とがCTU単位で示されている。また、サイズ情報として、サブピクチャの幅（subpic_width_minus1）と高さ（subpic_height_minus1）とがCTU単位で示されている。
　また、このようなサブピクチャを実現するために、サブピクチャマッピング情報により表現される各部分領域に割り当てられる画像データ（スライスデータ）を決定するためのサブピクチャの識別情報（サブピクチャIDマッピング情報）がシグナリングされる。サブピクチャIDマッピング情報は、各部分領域に割り当てられるサブピクチャの識別情報の一覧である。
　サブピクチャIDマッピング情報はピクチャ毎に変更することができる情報（可変の情報）である。サブピクチャIDマッピング情報は、例えば、サブピクチャIDマッピング情報は、図３のＡに示されるように、SPSにおいてシグナリングすることができる。また、サブピクチャIDマッピング情報は、図３のＢで示されるように、ピクチャ単位のパラメータセットであるピクチャパラメータセット（PPS（Picture Parameter Set））においてシグナリングすることもできる。さらに、サブピクチャIDマッピング情報は、図３のＣで示されるように、ピクチャヘッダ（PH（Picture Header））においてシグナリングすることもできる。
　このようなサブピクチャIDマッピング情報において、ピクチャ間で互いに同一のスライスの画像データが割り当てられる部分領域に対して互いに同一のサブピクチャIDが割り当てられることにより、互いに同一のサブピクチャとして識別される。
　　＜サブピクチャごとにRPR技術を適用する手法＞
　非特許文献２において、この部分領域に割り当てるスライスデータを切り替えることでサブピクチャID毎にRPR処理を行うことが提案された。サブピクチャマッピング情報はCVS内で固定とし、サブピクチャIDマッピング情報を時間方向に可変とする。つまり、サブピクチャIDマッピング情報をPPSまたはPHでシグナリングすることにより、ピクチャ毎にサブピクチャマッピング情報で示される各部分領域に割り当てるスライスデータを切り替えることができるようにする。
　例えば、図４に示されるように、時刻t=0のピクチャと時刻t=1のピクチャにおいて、各部分領域にサブピクチャIDを割り当てる。つまり、時刻t=0のピクチャにおいて、サブピクチャID=0のサブピクチャは最も大きく。サブピクチャID=1のサブピクチャの画像とサブピクチャID=2のサブピクチャの画像の解像度は、そのサブピクチャID=0のサブピクチャの画像の半分である。
　これに対して時刻t=1のピクチャにおいては、サブピクチャID=1のサブピクチャが最も大きく、サブピクチャID=0のサブピクチャの画像の解像度は、そのサブピクチャID=1のサブピクチャの画像の半分となる。サブピクチャID=2のサブピクチャの画像の解像度は変化しない。このようなシーケンスにおいて、サブピクチャIDごとにRPR処理を適用する。
　しかしながら、この方法の場合、サブピクチャの画像の解像度は、サブピクチャとする部分領域のサイズに限定される。そして、その部分領域のレイアウトが固定のため、サブピクチャの画像の解像度は、さらに限定されてしまう。つまり、サブピクチャの画像の解像度制御の自由度が低減するおそれがあった。例えば、図４の例の場合、部分領域のサイズが２種類しかないので、サブピクチャの画像の解像度もその２種類に限定されてしまい、その他の解像度にすることが困難であった。
　また、この方法の場合、同一のサブピクチャIDが割り当てられる部分領域が時間方向に切り替えられるため、シーケンス全体においてサブピクチャの位置が大きく変化することになる。そのためサブピクチャ毎にRPR処理を行うエンコーダやデコーダの処理の負荷が増大するおそれがあった。
　　＜固定サブピクチャのRPR処理＞
　そこで、図５の表の最上段に示されるように、基準画素の位置が時間方向に固定されたサブピクチャ内でRPR処理を行うようにする。基準画素の位置が時間方向に固定されているサブピクチャのことを固定サブピクチャとも称する。
　つまり、非特許文献２に記載の方法のように、各部分領域に割り当てるサブピクチャIDを切り替える代わりに、図６に示される例のように、割り当てられるサブピクチャIDが時間方向に固定の部分領域内において画像の解像度を制御する。
　図６の例の場合、時刻t=0のピクチャと時刻t=1のピクチャのいずれにおいても、中央の部分領域、すなわち、SubpicIDList[1]の部分領域には、サブピクチャID=1のスライスデータが割り当てられている。つまり、固定サブピクチャである。この固定サブピクチャにおいて、時刻t=1のピクチャにおける画像の解像度は、時刻t=0のピクチャにおける画像の解像度よりも小さくなっている。つまり、その画像の解像度が時間方向に可変となるように制御されている。
　例えば、画像処理方法（符号化処理）において、ピクチャを分割した部分領域であるサブピクチャの内の、基準画素の位置が時間方向に固定されているサブピクチャである固定サブピクチャの画像を、時間方向に可変な解像度で符号化するようにする。
　例えば、画像処理装置（画像符号化装置）において、ピクチャを分割した部分領域であるサブピクチャの内の、基準画素の位置が時間方向に固定されているサブピクチャである固定サブピクチャの画像を、時間方向に可変な解像度で符号化する符号化部を備えるようにする。
　例えば、画像処理方法（復号方法）において、ピクチャを分割した部分領域であるサブピクチャの内の、基準画素の位置が時間方向に固定されているサブピクチャである固定サブピクチャの画像が時間方向に可変な解像度で符号化された符号化データを復号し、その固定サブピクチャのその解像度の画像を生成するようにする。
　例えば、画像処理装置（画像復号装置）において、ピクチャを分割した部分領域であるサブピクチャの内の、基準画素の位置が時間方向に固定されているサブピクチャである固定サブピクチャの画像が時間方向に可変な解像度で符号化された符号化データを復号し、その固定サブピクチャのその解像度の画像を生成する復号部を備えるようにする。
　このようにすることにより、サブピクチャの画像の解像度が部分領域のサイズに限定されないので、サブピクチャの画像の解像度制御の自由度の低減を抑制することができる。例えば、360度映像をキューブマップ（cubemap）方式で各面毎にサブピクチャとする場合において、おすすめの視聴方向に含まれる面を高解像度、それ以外を低解像度としてエンコードする場合に、解像度を自由に決めることができる。
　また、サブピクチャの位置が固定されるので、サブピクチャ毎にRPR処理を行う符号化処理や復号処理の負荷の増大を抑制することができる。
　　＜方法１＞
　このような制御を実現するために、図５の表の上から２段目に示されるように、サブピクチャ毎にRPR機能の復号に用いられる情報であるサブピクチャRPR情報と、復号されたデータをレンダリングに用いられる情報であるサブピクチャレンダリング情報とをシグナリングするようにしてもよい（方法１）。
　このようにすることにより、復号側装置において、サブピクチャ毎のRPR処理をより容易に行うことができる。また、復号側装置において、復号されたサブピクチャの画像をより容易にレンダリングすることができる。
　　＜方法１－１＞
　例えば、図５の表の上から３段目に示されるように、サブピクチャRPR情報として、サブピクチャの画像の解像度を示す情報であるサブピクチャ解像度情報を、時間方向に可変となるようにシグナリングしてもよい（方法１－１）。例えば、そのサブピクチャ解像度情報をPPSにおいてシグナリングしてもよい。図７のＢの例の場合、サブピクチャの幅をCTU単位で示すsubpic_width_minus1と、サブピクチャの高さをCTU単位で示すsubpic_height_minus1とが、PPSでシグナリングされている。
　つまり、符号化側装置が、サブピクチャの画像の解像度を示す情報であるサブピクチャ解像度情報をピクチャ毎にシグナリングするようにしてもよい。また、復号側装置が、そのピクチャ毎にシグナリングされるサブピクチャ解像度情報を解析し、符号化データを復号し、固定サブピクチャの、解析されたサブピクチャ解像度情報により示される解像度の画像を生成するようにしてもよい。
　このようにすることにより、サブピクチャの画像の解像度を、最大解像度以下の範囲で時間方向に可変とすることができる。したがって、非特許文献２に記載の手法と比べ、サブピクチャの解像度制御の自由度の低減を抑制することができる。また、固定サブピクチャの解像度を制御することにより、解像度の制御対象となるサブピクチャの位置が大きく変わらなくなるため、非特許文献２に記載の手法と比べ、符号化処理および復号処理の負荷の増大を抑制することができる。
　これに対して、サブピクチャマッピング情報の内、サブピクチャの基準画素の位置を示す情報であるサブピクチャ基準画素位置情報、サブピクチャの最大解像度（最大サイズ）を示す情報であるサブピクチャ最大解像度情報、および、サブピクチャの識別情報の一覧であるサブピクチャIDマッピング情報は、時間方向に固定としてもよい（時間方向に変化しないようにしてもよい）。
　例えば、SPSにおいて、これらの情報をシグナリングしてもよい。図７のＡの例の場合、サブピクチャ基準画素位置情報として、基準画素の水平方向位置をCTU単位で示すsubpic_ctu_top_left_xと、基準画素の垂直方向位置をCTU単位で示すsubpic_ctu_top_left_yとが、SPSにおいてシグナリングされている。また、サブピクチャ最大解像度情報として、サブピクチャのCVS中の最大幅をCTU単位で示すsubpic_max_width_minus1と、サブピクチャのCVS中の最大高をCTU単位で示すsubpic_max_height_minus1とが、SPSにおいてシグナリングされている。さらに、サブピクチャIDマッピング情報が、図３のＡに示されるようなシンタックスでSPSにおいてシグナリングされる。
　つまり、符号化側装置が、サブピクチャ基準画素位置情報、サブピクチャ最大解像度情報、およびサブピクチャIDマッピング情報をシーケンス毎にシグナリングするようにしてもよい。また、復号側装置が、そのシーケンス毎にシグナリングされるサブピクチャ基準画素位置情報、サブピクチャ最大解像度情報、およびサブピクチャIDマッピング情報を解析し、その解析されたサブピクチャ基準画素位置情報、サブピクチャ最大解像度情報、サブピクチャIDマッピング情報に基づいて符号化データを復号し、固定サブピクチャの解像度の画像を生成するようにしてもよい。
　復号側装置は、サブピクチャ基準画素位置情報やサブピクチャIDマッピング情報に基づいて、基準画素の位置が変化しない固定サブピクチャを特定することができる。つまり、復号側装置は、固定サブピクチャの解像度を制御することができる。また、復号側装置は、サブピクチャ最大解像度情報に基づいて、最大解像度以下の範囲で固定サブピクチャの解像度を制御することができる。
　なお、サブピクチャIDマッピング情報をCVSで固定とするために、SPSで必ずサブピクチャIDマッピング情報がシグナリングされるように、以下のルールを追加してもよい。
　つまり、SPSサブピクチャID存在フラグ（sps_subpic_id_present_flag）を偽（値「０」）とする（sps_subpic_id_present_flag=0）か、または、SPSサブピクチャシグナリング存在フラグ（sps_subpic_id_signalling_present_flag）を真（値「１」）とする（sps_subpic_id_signalling_present_flag=1）。
　SPSサブピクチャID存在フラグは、サブピクチャIDのシグナリングがSPSにもPPSにも存在しないことを示している。この場合は、サブピクチャマッピングのインデックスがサブピクチャIDになる。SPSサブピクチャシグナリング存在フラグは、SPSにおいてシグナリングするサブピクチャIDが存在するかを示すフラグ情報である。
　また、サブピクチャIDマッピング情報をCVSで固定とする（変更しない）ことを明示的に示してもよい。例えば、符号化側装置が、サブピクチャの識別情報の一覧であるサブピクチャIDマッピング情報がシーケンス内において変更されないかを示すフラグ情報であるサブピクチャID固定フラグをシグナリングしてもよい。また、復号側装置が、シグナリングされたそのサブピクチャID固定フラグを解析し、その解析されたサブピクチャID固定フラグに基づいて符号化データを復号し、固定サブピクチャの解像度の画像を生成してもよい。
　図８のＡにSPSの例を示す。また、図８のＢにPPSの例を示す。図８のＡに示されるSPSにおいて、サブピクチャID固定フラグとして、sps_subpic_id_mapping_fixed_flagがシグナリングされている。sps_subpic_id_mapping_fixed_flagは、真（値「１」）の場合、サブピクチャIDがCVSで固定である（変更されない）ことを示す。また、sps_subpic_id_mapping_fixed_flagは、偽（値「０」）の場合、サブピクチャIDがCVSで可変であることを示す。
　そして、図８のＡに示されるSPSにおいて、sps_subpic_id_mapping_fixed_flagが真の場合、サブピクチャIDマッピング情報がそのSPSにおいてシグナリングされることが示されている。また、図８のＢに示されるPHにおいて、sps_subpic_id_mapping_fixed_flagが偽の場合、サブピクチャIDマッピング情報がそのPPSにおいてシグナリングされることが示されている。
　例えば、このサブピクチャID固定フラグが真の場合、CVSにおいてサブピクチャマッピング情報が固定であるので、復号側装置は、ピクチャ毎のサブピクチャIDマッピング情報の解析を省略することができる。このようにすることにより、復号処理の負荷の増大を抑制することができる。
　例えば、符号化側装置が、ピクチャ内に、サブピクチャに含まれない領域である非サブピクチャ領域が存在するかを示すフラグ情報である非サブピクチャ領域存在フラグをシグナリングしてもよい。また、復号側装置が、シグナリングされたその非サブピクチャ領域存在フラグを解析し、その解析された非サブピクチャ領域存在フラグに基づいて符号化データを復号し、固定サブピクチャの解像度の画像を生成してもよい。
　図９にSPSの例を示す。図９に示されるSPSにおいて、非サブピクチャ領域存在フラグとして、no_rect_picture_flagがシグナリングされている。このno_rect_picture_flagが真（値「１」）の場合、示されているサブピクチャからピクチャを生成する際に、ピクチャ内でサブピクチャに含まれない領域が存在しうることを示す。偽（値「０」）の場合、ピクチャ内でサブピクチャに含まれない領域は存在しないことを示す。
　なお、サブピクチャ最大解像度情報のシグナリングは省略してもよい。その場合、複数ピクチャ（またはサブピクチャ）をマージするユースケースにおいて、サブピクチャマッピング情報を決定する際に、各ピクチャ（またはサブピクチャ）のCVS内の最大解像度を検索する必要がある。
　　＜方法１－１－１＞
　例えば、図５の表の上から４段目に示されるように、サブピクチャレンダリング情報として、復号されたピクチャの、画素データの存在する領域（有効領域）を示す情報である有効領域情報を定義し、SEI（Supplemental Enhancement Information）でシグナリングしてもよい（方法１－１－１）。
　例えば、符号化側装置が、ピクチャの、画素データが存在する領域である有効領域に関する情報である有効領域情報をシグナリングしてもよい。また、復号側装置が、シグナリングされたその有効領域情報を解析し、解析された有効領域情報に基づいて復号された有効領域の画像データをレンダリングし、表示用画像を生成してもよい。
　図１０のＡに有効領域情報のシンタックスの例を示す。有効領域は矩形有効領域の集合で示す。display_area_num_minus1は、矩形有効領域の数を示すパラメータである。display_area_***で、各矩形有効領域の左上座標および高さと幅を示すパラメータである。ただしPPSのconformance_window_flag=1の場合は存在してはならない。
　なお、この有効領域情報は、PPSに格納してもよい。その場合のPPSのシンタックスの例を図１０のＢに示す。display_area_flagは、真（値「１」）の場合、有効領域情報が存在することを示す。このフラグ情報を用いることにより、明示的にConformance windowとの排他処理が可能になる。
　また、有効領域ではなく、無効領域をシグナルしてもよい。無効領域は、図６の例のように、サブピクチャの画像の解像度を縮小した場合に生じる画素データの存在しない領域（図６の黒く塗りつぶされた領域）のことである。この情報はSEIに格納してもよいし、PPSに格納してもよい。
　さらに、有効領域と無効領域を選択して示すことができるようにシグナルしてもよい。例えば、有効領域を選択するかを示すフラグ情報（または無効領域を選択するかを示すフラグ情報）をシグナリングしてもよい。この情報はSEIに格納してもよいし、PPSに格納してもよい。
　以上のように、有効領域情報をシグナリングすることにより、復号側装置は、その有効領域情報に基づいて、有効領域のみを表示することができる。また、復号側装置は、この有効領域情報に基づいて有効領域を特定することにより、有効領域に含まれているがデータが存在しない場合、破損データと判断することができる。
　なお、有効領域は、画素データの有無に関わらず、表示に利用可能な領域（レンダリングに利用可能な領域）としてもよい。例えば、画素データが存在していても表示に利用しない領域を無効領域としてもよい。
　　＜方法１－１－２＞
　例えば、図５の表の上から５段目に示されるように、サブピクチャRPR情報として、ピクチャに、符号化データを持たない画素からなる非符号化領域が存在するかを示すフラグ情報である非符号化領域存在フラグをシグナリングしてもよい（方法１－１－２）。
　例えば、符号化側装置が、ピクチャに、符号化データを持たない画素からなる非符号化領域が存在するかを示すフラグ情報である非符号化領域存在フラグをシグナリングしてもよい。また、復号側装置が、シグナリングされたその非符号化領域存在フラグを解析し、解析された非符号化領域存在フラグに基づいて符号化データを復号し、固定サブピクチャの画像を生成するようにしてもよい。
　この非符号化領域存在フラグは、例えば、PHにおいてシグナリングしてもよい。図１１にその場合のピクチャヘッダのシンタックスの例を示す。図１１に示されるuncoded_area_exist_flagがその非符号化領域存在フラグである。このフラグが真（値「１」）の場合、ピクチャ内に符号化データを持たない画素からなる非符号化領域（uncoded area）が存在しうることを示す。このフラグが偽（値「０」）の場合、非符号化領域は存在しない。復号処理で万が一符号化データを持たない画素を参照した場合を考慮して、その画素は非特許文献１（JVET-P2001）の8.3.4.2 Generation of one unavailable pictureで示されるサンプル値としておく。
　ピクチャ内に符号化データを持たない画素（非符号化領域）が存在する場合、一般的には、その非符号化領域においてエラーとなる。しかしながら、上述のようなサブピクチャの画像の解像度制御の場合、復号側装置は、サブピクチャ解像度情報等により、画素データが存在する領域を特定することができるので、その領域のみを復号することができる。そのため、上述のように非符号化領域存在フラグをシグナリングすることにより、復号側装置は、その非符号化領域存在フラグを参照して復号可能であるか否か（復号すべきか否か）を容易に把握することができる。つまり、非符号化領域存在フラグをシグナリングすることにより、非符号化領域を持つピクチャであっても、復号側装置がそのピクチャを復号可能であるか否か（復号すべきか否か）を明示的に示すことができる。
　したがって、この非符号化領域存在フラグをシグナリングすることにより、非符号化領域を持つピクチャを符号化する際に、非符号化領域の画素に対して何らかの値でパディング（padding）する必要が無くなるため、符号量の増大を抑制することができる。
　なお、この非符号化領域存在フラグは、サブピクチャに分割されていないピクチャにも適用することができる。
　また、この非符号化領域存在フラグは、SPSにシグナリングしてもよい。ただし、その場合、非符号化領域存在フラグが真であることは、CVSに含まれるピクチャの一部に、符号化データを持たない画素をもつピクチャが存在することを意味する。つまり、ピクチャ毎に符号化データを持たない画素が存在するかどうかの判別はできない。
　　＜方法１－１－２－１＞
　例えば、図５の表の上から６段目に示されるように、サブピクチャRPR情報として、非符号化領域存在フラグをサブピクチャ毎にシグナリングしてもよい。つまり、各サブピクチャに非符号化領域が存在するか否かを示してもよい（方法１－１－２－１）。
　例えば、符号化側装置が、サブピクチャに、符号化データを持たない画素からなる非符号化領域が存在するかを示すフラグ情報である非符号化領域存在フラグをシグナリングしてもよい。また、復号側装置が、シグナリングされたその非符号化領域存在フラグを解析し、解析された非符号化領域存在フラグに基づいて符号化データを復号し、固定サブピクチャの画像を生成するようにしてもよい。
　この場合の非符号化領域存在フラグは、例えば、PHにおいてシグナリングしてもよい。図１２のＡにその場合のピクチャヘッダのシンタックスの例を示す。図１２のＡに示されるuncoded_area_exist_flag[i]がその非符号化領域存在フラグである。このフラグが真（値「１」）の場合、i番目のサブピクチャ内に符号化データを持たない画素からなる非符号化領域（uncoded area）が存在することを示す。このフラグが偽（値「０」）の場合、そのサブピクチャ内に非符号化領域は存在しないことを示す。
　復号側装置は、このような非符号化領域存在フラグを参照することにより、各サブピクチャが復号可能であるか否か（復号すべきか否か）を容易に把握することができる。例えば、複数のピクチャもしくはサブピクチャをマージしてできたピクチャに対して、＜方法１－１－２＞において上述した非符号化領域存在フラグを正しく設定することが可能になる。
　なお、この非符号化領域存在フラグは、SPSにおいてシグナリングしてもよい。その場合のSPSのシンタックスの例を図１２のＢに示す。ただし、その場合、非符号化領域存在フラグが真であることは、CVSに含まれるサブピクチャの一部に符号化データを持たない画素をもつピクチャが存在することを意味する。つまり、ピクチャ毎のサブピクチャで符号化データを持たない画素が存在するかどうかの判別はできない。
　また、この非符号化領域存在フラグは、SEIにおいてシグナリングしてもよい。その場合のSEIのシンタックスの例を図１２のＣに示す。その場合、ピクチャ毎にそのSEIをシグナリングしてもよいし、CVSごとにSEIをシグナリングしてもよい。さらに、それらのどちらであるかを明示的にフラグで示すようにしてもよい。
　CVSで共通の情報を持つ場合（つまり上述のようにCVSでシグナルする場合）、ライブ配信等のように、得られた画像を符号化し、生成した符号化データを即時的に送出する場合、図１１のＢのようなSPSの書き換えが困難となることがあり得る。その場合、非符号化領域存在フラグをSEIでシグナリングすればよい。
　　＜方法１－２＞
　例えば、図５の表の上から７段目に示されるように、無効領域をサブピクチャ化してもよい。そして、サブピクチャRPR情報として、サブピクチャマッピング情報をシーケンス内において時間方向に可変としてもよい（方法１－２）。
　例えば、図１３に示されるように、各時刻のピクチャにおいて、グレーで示される、画素データが存在しない無効領域のみを含むサブピクチャを新たに形成する。つまり、この場合、無効領域と有効領域は、互いに異なるサブピクチャに割り当てられる。
　つまり、この場合、図１３に示されるように、サブピクチャのレイアウトが時間方向に変化しうる。つまり、シーケンス内において、サブピクチャマッピング情報が時間方向に可変である。そこでサブピクチャマッピング情報の、このようなシーケンス内において可変のサブピクチャに関する情報はPPSにおいてシグナリングする。シーケンス内において固定の情報はSPSにおいてシグナリングしてもよい。
　例えば、符号化側装置は、時間方向に可変のサブピクチャの基準画素の位置を示すサブピクチャ基準画素位置情報をピクチャ毎にシグナリングしてもよい。また、復号側装置は、そのサブピクチャ基準画素位置情報を解析し、その解析結果に基づいて符号化データを復号してもよい。
　その場合のSPSのシンタックスの例を図１４のＡに示し、PPSのシンタックスの例を図１４のＢに示す。SPSにおいては、基準画素（左上端の画素）の座標の固定されている固定サブピクチャについてのサブピクチャマッピング情報がシグナリングされる。例えば、固定サブピクチャのサブピクチャ基準画素位置情報がSPSにおいてシグナリングされる（図１４のＡのXの部分）。また、SPSにおいては、サブピクチャID固定フラグ（sps_subpic_id_mapping_fixed_flag）がシグナリングされる。このサブピクチャID固定フラグ（sps_subpic_id_mapping_fixed_flag）は、真（値「１」）の場合、固定サブピクチャのサブピクチャIDがCVS内で変化しないことを示す。このフラグが偽（値「０」）の場合、固定サブピクチャのサブピクチャIDが変化しうることを示す。
　これに対して、時間方向に可変の情報は、PPS（図１４のＢ）においてシグナリングされる。例えば、固定サブピクチャでないサブピクチャ（可変サブピクチャとも称する）等についてのサブピクチャマッピング情報は、PPSにおいてシグナリングされる。例えば、上述のように無効領域のみで構成されるサブピクチャを形成する場合、そのサブピクチャは、サブピクチャの解像度制御（サブピクチャの解像度の変化）により、時間方向にその数が増減したり、基準画素の位置が変化したりする可能性がある。そこで、このような可変サブピクチャについての情報は、PPSにおいてシグナリングされる。PPSにおいて、既存のセマンティクスはサブピクチャマッピング情報と同じである。
　このようにすることにより、＜方法１－１＞において上述したのと同様の効果を得ることができる。
　　＜方法１－２－１＞
　例えば、図５の表の上から８段目に示されるように、有効領域情報をSEIによりシグナリングしてもよい（方法１－２－１）。このようにすることにより、＜方法１－１－１＞において上述したのと同様の効果を得ることができる。
　　＜方法１－２－２＞
　例えば、図５の表の上から９段目に示されるように、非符号化領域存在フラグをピクチャ毎にシグナリングしてもよい（方法１－２－２）。このようにすることにより、＜方法１－１－２＞において上述したのと同様の効果を得ることができる。
　　＜方法１－２－３＞
　例えば、図５の表の上から１０段目に示されるように、サブピクチャRPR情報として、全ての画素で符号化データの存在しないサブピクチャであることを示すフラグ情報である無スライスデータフラグをシグナリングしてもよい。この無スライスデータフラグは、例えば、PPSにおいてシグナリングしてもよい（方法１－２－３）。
　その場合のPPSのシンタックスの例を図１５に示す。図１５において、no_slice_data_flagは、無スライスデータフラグであり、このフラグが真（値「１」）の場合、そのフラグに対応するサブピクチャが、全ての画素で符号化データの存在しないサブピクチャであることを示す。また、このフラグが偽（値「０」）の場合、そのフラグに対応するサブピクチャが、符号化データが存在するサブピクチャであることを示す。
　例えば、符号化側装置は、このような無スライスデータフラグをシグナリングしてもよい。また、復号側装置は、そのシグナリングされた無スライスデータフラグを解析し、その解析結果に基づいて符号化データを復号してもよい。
　このようにすることにより、復号側装置は、各サブピクチャに符号化データが存在するか否かを容易に把握することができ、各サブピクチャを復号するか否かをより正確に識別することができる。例えば、復号側装置は、この無スライスデータフラグに基づいて、全ての画素で符号化データの存在しないサブピクチャを容易に特定し、そのサブピクチャの復号処理を省略（スキップ）することができる。これにより復号処理の負荷の増大を抑制することができる。
　　＜方法２＞
　例えば、図５の表の上から１１段目に示されるように、サブピクチャRPR情報として、固定サブピクチャ（つまりRPRが適用されるサブピクチャ）を含むかを示すフラグ情報であるRPR適用サブピクチャイネーブルフラグをシグナリングしてもよい（方法２）。
　例えば、符号化側装置は、固定サブピクチャを含むかを示すフラグ情報であるRPR適用サブピクチャイネーブルフラグをシグナリングする。符号化側装置は、このRPR適用サブピクチャイネーブルフラグを、例えばSPSにおいてシグナリングする。つまり、この場合、RPR適用サブピクチャイネーブルフラグは、そのシーケンス内に固定サブピクチャを含むかを示す。
　その場合のSPSのシンタックスの例を図１６のＡに示す。図１６の例において、上述のRPR適用サブピクチャイネーブルフラグとして、ref_subpic_resampling_enabled_flagがシグナリングされる。このフラグが真（値「１」）の場合、RPRを適用されているサブピクチャが存在し得ることを示す。また、このフラグが偽（値「０」）の場合、RPRを適用されているサブピクチャが存在しないことを示す。
　復号側装置は、そのRPR適用サブピクチャイネーブルフラグを解析し、その解析結果に基づいて符号化データを復号する。つまり、図１６のＢに示されるように、復号側装置は、RPR適用サブピクチャイネーブルフラグが真の場合、サブピクチャ毎のRPR処理を適用する。つまり、復号側装置は、サブピクチャ毎に復号処理を行う。また、RPR適用サブピクチャイネーブルフラグが偽の場合、復号側装置は、RPR処理を適用する必要がない（RPR処理を省略（スキップ）することができる）。つまり、復号側装置は、ピクチャとして復号処理を行ってもよいし、サブピクチャ毎に復号処理を行ってもよい。
　このようにすることにより、復号側装置は、RPR適用サブピクチャイネーブルフラグに基づいて、サブピクチャ単位でRPRの処理が必要であるか否かを容易に判断することができる。
　なお、このRPR適用サブピクチャイネーブルフラグがピクチャ毎にシグナリングされるようにしてもよい。その場合、RPR適用サブピクチャイネーブルフラグは、PHにおいてシグナリングされてもよい。
　また、RPR適用サブピクチャイネーブルフラグが偽である場合、PPSにおけるサブピクチャRPR情報のシグナリングを省略（スキップ）してもよい。例えば、図７のＢの例の場合、subpic_width_minus1およびsubpic_height_minus1がPPSでシグナリングされるように説明したが、図１７に示されるように、RPR適用サブピクチャイネーブルフラグが偽である場合、これらの情報のシグナリングがスキップされてもよい。
　このようにすることにより、サブピクチャ毎に再サンプリングを利用しない場合にPPSのシグナリングをスキップすることができ、符号量の増大を抑制することができる。
　　＜方法２－１＞
　例えば、図５の表の最下段に示されるように、固定サブピクチャを含むかをサブピクチャ毎に示すようにしてもよい。つまり、RPR適用サブピクチャイネーブルフラグをサブピクチャ毎にシグナリングしてもよい（方法２－１）。
　その場合のSPSのシンタックスの例を図１８に示す。図１８の例において、RPR適用サブピクチャイネーブルフラグとして、ref_subpic_resampling_enabled_flag[i]が、サブピクチャ毎にシグナリングされている。ref_subpic_resampling_enabled_flag[i]が真（値「１」）の場合、そのサブピクチャにRPRが適用している（つまり固定サブピクチャである）ことを示す。また、ref_subpic_resampling_enabled_flag[i]が偽（値「０」）の場合、そのサブピクチャにRPRが適用していない（つまり固定サブピクチャでない）ことを示す。
　なお、この場合のRPR適用サブピクチャイネーブルフラグも、ピクチャ毎にシグナリングされるようにしてもよい。その場合、RPR適用サブピクチャイネーブルフラグは、PHにおいてシグナリングされてもよい。
　また、この場合のRPR適用サブピクチャイネーブルフラグは、SEIでシグナリングされてもよい。図１８のＢにその場合のSEIのシンタックスの例を示す。CVSで共通の情報を持つ場合（つまり上述のようにCVSでシグナルする場合）、ライブ配信等のように、得られた画像を符号化し、生成した符号化データを即時的に送出する場合、図１８のＡのようなSPSの書き換えが困難となることがあり得る。その場合、RPR適用サブピクチャイネーブルフラグをPHやSEIでシグナリングすればよい。
　＜２．第１の実施の形態＞
　　＜画像符号化装置＞
　＜１．サブピクチャの画像の解像度制御１＞において説明した本技術の各種方法（方法１、方法１－１、方法１－１－１、方法１－１－２、方法１－１－２－１、方法１－２、方法１－２－１、方法１－２－２、方法１－２－３、方法２、方法２－１、並びに、各方法の変形例や応用例等）は、任意の装置において適用することができる。例えば符号化側装置に適用することができる。図１９は、本技術を適用した画像処理装置の一態様である画像符号化装置の構成の一例を示すブロック図である。図１９に示される画像符号化装置１００は、符号化側装置の一例であり、画像を符号化する装置である。画像符号化装置１００は、例えば、非特許文献１に記載のVVCに準拠した符号化方式を適用して符号化を行う。
　そして、画像符号化装置１００は、図５等を参照して説明した本技術の各種方法を適用して符号化を行う。つまり、画像符号化装置１００は、基準画素の位置が時間方向に固定されたサブピクチャ内でRPR処理を行う。
　なお、図１９においては、処理部やデータの流れ等の主なものを示しており、図１９に示されるものが全てとは限らない。つまり、画像符号化装置１００において、図１９においてブロックとして示されていない処理部が存在したり、図１９において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図１９に示されるように、画像符号化装置１００は、符号化部１０１、メタデータ生成部１０２、ビットストリーム生成部１０３を有する。
　符号化部１０１は、画像の符号化に関する処理を行う。例えば、符号化部１０１は、画像符号化装置１００に入力される動画像の各ピクチャを取得する。符号化部１０１は、取得したピクチャを、例えば非特許文献１に記載のVVCに準拠した符号化方式を適用して符号化する。その際、符号化部１０１は、図５等を参照して説明した本技術の各種方法を適用し、基準画素の位置が時間方向に固定されたサブピクチャ内でRPR処理を行う。つまり、符号化部１０１は、固定サブピクチャの画像を、時間方向に可変な解像度で符号化し、符号化データを生成する。なお、固定サブピクチャは、基準画素の位置が時間方向に固定されているサブピクチャである。サブピクチャは、ピクチャを分割した部分領域である。
　符号化部１０１は、画像を符号化して生成した符号化データをビットストリーム生成部１０３に供給する。また、符号化部１０１は、符号化の際、適宜、任意の情報を、メタデータ生成部１０２と授受することができる。
　メタデータ生成部１０２は、メタデータの生成に関する処理を行う。例えば、メタデータ生成部１０２は、符号化部１０１と任意の情報を授受し、メタデータを生成する。例えば、メタデータ生成部１０２は、メタデータとして、サブピクチャRPR情報やサブピクチャレンダリング情報を生成し得る。
　このサブピクチャRPR情報やサブピクチャレンダリング情報には、＜１．サブピクチャの画像の解像度制御１＞において説明した各種の情報が含まれ得る。例えば、メタデータ生成部１０２は、サブピクチャ解像度情報、サブピクチャ基準画素位置情報、サブピクチャ最大解像度情報、サブピクチャIDマッピング情報、サブピクチャID固定フラグ、非サブピクチャ領域存在フラグ、有効領域情報、非符号化領域存在フラグ、無スライスデータフラグ、およびRPR適用サブピクチャイネーブルフラグ等の情報を生成し得る。もちろん、メタデータ生成部１０２が生成する情報は任意であり、これらの例に限定されない。例えば、メタデータ生成部１０２は、サブピクチャマッピング情報等、非特許文献２に記載のメタデータも生成し得る。メタデータ生成部１０２は、生成したメタデータをビットストリーム生成部１０３に供給する。
　ビットストリーム生成部１０３は、ビットストリームの生成に関する処理を行う。例えば、ビットストリーム生成部１０３は、符号化部１０１から供給される符号化データを取得する。また、ビットストリーム生成部１０３は、メタデータ生成部１０２から供給されるメタデータを取得する。ビットストリーム生成部１０３は、取得した符号化データとメタデータを含むビットストリームを生成する。ビットストリーム生成部１０３は、そのビットストリームを画像符号化装置１００の外部に出力する。
　そのビットストリームは、例えば、記憶媒体や通信媒体を介して、復号側装置に供給される。つまり、＜１．サブピクチャの画像の解像度制御１＞において説明した各種情報がシグナリングされる。
　したがって、復号側装置は、そのシグナリングされた情報に基づいて復号処理を行うことができる。これにより、＜１．サブピクチャの画像の解像度制御１＞において説明したのと同様の効果を得ることができる。
　例えば、復号側装置は、サブピクチャ毎のRPR処理をより容易に行うことができる。また、復号側装置は、そのシグナリングされた情報に基づいて、復号されたサブピクチャの画像をより容易にレンダリングすることができる。
　また、画像符号化装置１００が、基準画素の位置が時間方向に固定されたサブピクチャ内でRPR処理を行うので、RPR処理が適用されるサブピクチャの位置が大きく変化しない。そのため、サブピクチャ毎にRPR処理を行う符号化処理や復号処理の負荷の増大を抑制することができる。
　　＜符号化処理の流れ＞
　次に、この画像符号化装置１００により実行される符号化処理の流れの例を、図２０のフローチャートを参照して説明する。
　符号化処理が開始されると、画像符号化装置１００の符号化部１０１は、ステップＳ１０１において、ピクチャをサブピクチャに分割する。
　ステップＳ１０２において、符号化部１０１は、サブピクチャ毎にRPRをオンにして符号化する。その際、符号化部１０１は、＜１．サブピクチャの画像の解像度制御１＞において説明した本技術を適用し、基準画素の位置が時間方向に固定されたサブピクチャ内でRPR処理を行う。
　ステップＳ１０３において、メタデータ生成部１０２は、サブピクチャRPR情報およびサブピクチャレンダリング情報を生成する。その際、メタデータ生成部１０２は、本技術を適用して処理を行う。つまり、メタデータ生成部１０２は、上述したように、＜１．サブピクチャの画像の解像度制御１＞において説明した各種情報を生成し得る。
　ステップＳ１０４において、ビットストリーム生成部１０３は、ステップＳ１０２において生成された符号化データ、並びに、ステップＳ１０３において生成されたサブピクチャRPR情報およびサブピクチャレンダリング情報を用いてビットストリームを生成する。つまり、ビットストリーム生成部１０３は、それらの情報を含むビットストリームを生成する。
　ビットストリームが生成されると符号化処理が終了する。
　このように符号化処理が行われることにより、＜１．サブピクチャの画像の解像度制御１＞において説明した各種情報がシグナリングされる。
　したがって、復号側装置は、そのシグナリングされた情報に基づいて復号処理を行うことができる。これにより、＜１．サブピクチャの画像の解像度制御１＞において説明したのと同様の効果を得ることができる。
　例えば、復号側装置は、サブピクチャ毎のRPR処理をより容易に行うことができる。また、復号側装置は、そのシグナリングされた情報に基づいて、復号されたサブピクチャの画像をより容易にレンダリングすることができる。
　また、ステップＳ１０２において、基準画素の位置が時間方向に固定されたサブピクチャ内でRPR処理が行われるので、RPR処理が適用されるサブピクチャの位置が大きく変化しない。そのため、サブピクチャ毎にRPR処理を行う符号化処理や復号処理の負荷の増大を抑制することができる。
　＜３．第２の実施の形態＞
　　＜画像復号装置＞
　本技術は、復号側装置にも適用し得る。図２１は、本技術を適用した画像処理装置の一態様である画像復号装置の構成の一例を示すブロック図である。図２１に示される画像復号装置２００は、復号側装置の一例であり、符号化データを復号し、画像を生成する装置である。画像復号装置２００は、例えば、非特許文献１に記載のVVCに準拠した復号方式を適用して復号を行う。
　そして、画像復号装置２００は、図５等を参照して説明した本技術の各種方法を適用して復号を行う。つまり、画像復号装置２００は、基準画素の位置が時間方向に固定されたサブピクチャ内でRPR処理を行う。例えば、画像復号装置２００は、画像符号化装置１００により生成されたビットストリームを復号する。
　なお、図２１においては、処理部やデータの流れ等の主なものを示しており、図２１に示されるものが全てとは限らない。つまり、画像復号装置２００において、図２１においてブロックとして示されていない処理部が存在したり、図２１において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図２１に示されるように、画像復号装置２００は、解析部２０１、抽出部２０２、復号部２０３、およびレンダリング部２０４を有する。
　解析部２０１は、メタデータの解析に関する処理を行う。例えば、解析部２０１は、画像復号装置２００に入力されるビットストリームを取得する。解析部２０１は、そのビットストリームに含まれるメタデータを解析する。例えば、解析部２０１は、＜１．サブピクチャの画像の解像度制御１＞において説明した本技術を適用し、メタデータとして、サブピクチャRPR情報やサブピクチャレンダリング情報を解析し得る。
　このサブピクチャRPR情報やサブピクチャレンダリング情報には、＜１．サブピクチャの画像の解像度制御１＞において説明した各種の情報が含まれ得る。例えば、解析部２０１は、サブピクチャ解像度情報、サブピクチャ基準画素位置情報、サブピクチャ最大解像度情報、サブピクチャIDマッピング情報、サブピクチャID固定フラグ、非サブピクチャ領域存在フラグ、有効領域情報、非符号化領域存在フラグ、無スライスデータフラグ、およびRPR適用サブピクチャイネーブルフラグ等の情報を解析し得る。もちろん、解析部２０１が解析する情報は任意であり、これらの例に限定されない。例えば、解析部２０１は、サブピクチャマッピング情報等、非特許文献２に記載のメタデータも解析し得る。解析部２０１は、メタデータの解析結果やビットストリームを抽出部２０２に供給する。
　抽出部２０２は、解析部２０１から供給された解析結果に基づいて、解析部２０１から供給されたビットストリームから、所望の情報を抽出する。例えば、抽出部２０２は、ビットストリームから、画像の符号化データ、サブピクチャRPR情報、サブピクチャレンダリング情報等を抽出する。このサブピクチャRPR情報やサブピクチャレンダリング情報には、解析部２０１が解析した各種の情報が含まれ得る。抽出部２０２は、ビットストリームから抽出した情報等を復号部２０３に供給する。
　復号部２０３は、復号に関する処理を行う。例えば、復号部２０３は、抽出部２０２から供給される情報を取得する。復号部２０３は、取得したメタデータに基づいて、取得した符号化データを復号し、ピクチャを生成する。その際、復号部２０３は、図５等を参照して説明した本技術の各種方法を適宜適用し、基準画素の位置が時間方向に固定されたサブピクチャ内でRPR処理を行い得る。つまり、復号部２０３は、＜１．サブピクチャの画像の解像度制御１＞において説明した各種情報を含み得るサブピクチャRPR情報に基づいて、各サブピクチャの画像を生成する。復号部２０３は、生成したピクチャ（各サブピクチャの画像）をレンダリング部２０４に供給する。また、復号部２０３は、サブピクチャレンダリング情報をレンダリング部２０４に供給しうる。
　レンダリング部２０４は、レンダリングに関する処理を行う。例えば、レンダリング部２０４は、復号部２０３から供給されるピクチャやサブピクチャレンダリング情報を取得する。レンダリング部２０４は、そのサブピクチャレンダリング情報に基づいて、ピクチャ内の所望のサブピクチャをレンダリングし、表示用画像を生成する。つまり、レンダリング部２０４は、＜１．サブピクチャの画像の解像度制御１＞において説明した各種情報を含み得るサブピクチャレンダリング情報に基づいて、レンダリングを行う。レンダリング部２０４は、生成した表示用画像を画像復号装置２００の外部に出力する。この表示用画像は、任意の記憶媒体または通信媒体等を介して、図示せぬ画像表示装置に供給され、表示される。
　以上のように画像復号装置２００は、符号化側装置からシグナリングされた、＜１．サブピクチャの画像の解像度制御１＞において説明した各種情報を解析し、その情報に基づいて復号処理を行う。つまり、＜１．サブピクチャの画像の解像度制御１＞において説明した本技術を適用して、基準画素の位置が時間方向に固定されたサブピクチャ内でRPR処理を行い得る。これにより、＜１．サブピクチャの画像の解像度制御１＞において説明したのと同様の効果を得ることができる。
　例えば、画像復号装置２００は、サブピクチャ毎のRPR処理をより容易に行うことができる。また、画像復号装置２００は、そのシグナリングされた情報に基づいて、復号されたサブピクチャの画像をより容易にレンダリングすることができる。
　また、符号化側装置が、基準画素の位置が時間方向に固定されたサブピクチャ内でRPR処理を行うので、RPR処理が適用されるサブピクチャの位置が大きく変化しない。そのため、画像復号装置２００は、サブピクチャ毎にRPR処理を行う復号処理の負荷の増大を抑制することができる。
　　＜復号処理の流れ＞
　次に、この画像復号装置２００により実行される復号処理の流れの例を、図２２のフローチャートを参照して説明する。
　復号処理が開始されると、画像復号装置２００の解析部２０１は、ステップＳ２０１において、ビットストリームに含まれるメタデータを解析する。その際、解析部２０１は、＜１．サブピクチャの画像の解像度制御１＞において説明した本技術を適用し、メタデータに含まれる＜１．サブピクチャの画像の解像度制御１＞において説明した各種情報を解析する。
　ステップＳ２０２において、抽出部２０２は、ステップＳ２０１の解析結果に基づいて、ビットストリームから符号化データ、サブピクチャRPR情報、およびサブピクチャレンダリング情報を抽出する。このサブピクチャRPR情報には、＜１．サブピクチャの画像の解像度制御１＞において説明した各種情報が含まれ得る。また、このサブピクチャレンダリング情報には、＜１．サブピクチャの画像の解像度制御１＞において説明した各種情報が含まれ得る。
　ステップＳ２０３において、復号部２０３は、ステップＳ２０２においてビットストリームから抽出されたサブピクチャRPR情報を用いて、ステップＳ２０２においてビットストリームから抽出された符号化データを復号し、ピクチャ（ピクチャに含まれる各サブピクチャ）を生成する。その際、復号部２０３は、＜１．サブピクチャの画像の解像度制御１＞において説明した本技術を適用する。つまり、復号部２０３は、＜１．サブピクチャの画像の解像度制御１＞において説明した各種情報に基づいて、基準画素の位置が時間方向に固定されたサブピクチャ内でRPR処理を行う。
　ステップＳ２０４において、レンダリング部２０４は、ステップＳ２０２においてビットストリームから抽出されたサブピクチャレンダリング情報を用いて、ステップＳ２０３において生成されたピクチャ（またはサブピクチャ）の復号データをレンダリングし、表示用画像を生成する。その際、レンダリング部２０４は、＜１．サブピクチャの画像の解像度制御１＞において説明した本技術を適用する。つまり、レンダリング部２０４は、＜１．サブピクチャの画像の解像度制御１＞において説明した各種情報に基づいて、レンダリングを行う。
　表示用画像が生成されると復号処理が終了する。
　このように復号処理が行われることにより、シグナリングされた、＜１．サブピクチャの画像の解像度制御１＞において説明した各種情報に基づいて、復号やレンダリングが行われる。したがって、画像復号装置２００は、＜１．サブピクチャの画像の解像度制御１＞において説明したのと同様の効果を得ることができる。
　例えば、画像復号装置２００は、サブピクチャ毎のRPR処理をより容易に行うことができる。また、画像復号装置２００は、そのシグナリングされた情報に基づいて、復号されたサブピクチャの画像をより容易にレンダリングすることができる。
　また、符号化側装置において、基準画素の位置が時間方向に固定されたサブピクチャ内でRPR処理が行われているので、RPR処理が適用されるサブピクチャの位置が大きく変化しない。そのため、画像復号装置２００は、サブピクチャ毎にRPR処理を行う復号処理の負荷の増大を抑制することができる。
　＜４．サブピクチャの画像の解像度制御２＞
　　＜方法３＞
　＜１．サブピクチャの画像の解像度制御１＞においては、サブピクチャの画像の解像度制御に応じてサブピクチャのサイズが変更されるように説明したが、図２３の表の一番上の段に示されるように、サブピクチャが、サブピクチャのサイズよりも低解像度の画像領域（サブピクチャウィンドウ）と、それ以外の非表示領域であるパディングサンプルで構成され得るようにしてもよい（方法３）。
　つまり、図２４に示されるように、サブピクチャの画像の解像度がそのサブピクチャのサイズよりも小さく縮小される場合も、図６の例のようにサブピクチャのサイズを画像の解像度に合わせない。例えば、サブピクチャマッピング情報は、CVSで固定とし、時間方向に変化させないようにする。つまり、各サブピクチャの位置およびサイズを固定とする。そして、サブサンプルの画像の領域（図２４において点線で囲まれる領域）をサブピクチャウィンドウ（表示領域）として管理する。
　このようにすると、サブピクチャの画像の解像度をそのサブピクチャのサイズよりも小さくすると、図２４に示されるように、サブピクチャ内にサブピクチャウィンドウ以外の非表示領域（図２４においてグレーで示される領域）が発生する。その場合、この非表示領域の画素には、パディングサンプルを挿入する。パディングサンプルは任意である。例えば、圧縮効率のよくなる、黒などの同一色を用いてもよい。
　例えば、サブピクチャマッピング情報は、非特許文献２に記載の方法と同様に、SPSでシグナリングする。そして、それとは別に、サブピクチャレンダリング情報として、サブピクチャウィンドウに関する情報であるサブピクチャウィンドウ情報をピクチャ毎にシグナリングする。また、サブピクチャの設定に関する情報であるサブピクチャ設定情報をシグナリングする。
　例えば、符号化側装置は、固定サブピクチャの解像度の画像の領域であるサブピクチャウィンドウに関する情報であるサブピクチャウィンドウ情報をシグナリングする。復号側装置は、そのサブピクチャウィンドウ情報を解析し、その解析されたサブピクチャウィンドウ情報に基づいて固定サブピクチャの画像をレンダリングし、表示用画像を生成する。
　このようにすることにより、サブピクチャの解像度をサブピクチャウィンドウという形で、CVS内で変化させることができる。そのため、サブピクチャの解像度を変化しない場合に比べて圧縮効率を上げることが可能である。
　サブピクチャウィンドウ情報は、PPSでシグナリングしてもよい。また、サブピクチャウィンドウ情報の内容は、サブピクチャウィンドウに関するものであればどのような情報であってもよい。例えば、サブピクチャウィンドウが存在するサブピクチャがピクチャ内に存在し得るか否かを示すフラグ情報であるピクチャ中サブピクチャウィンドウ存在フラグがサブピクチャウィンドウ情報に含まれていてもよい。また、サブピクチャ毎にシグナリングされ、そのサブピクチャ内にサブピクチャウィンドウが存在し得るか否かを示すフラグ情報であるサブピクチャウィンドウ存在フラグがサブピクチャウィンドウ情報に含まれていてもよい。さらに、サブピクチャウィンドウのサイズに関する情報であるサブピクチャウィンドウサイズ情報がサブピクチャウィンドウ情報に含まれていてもよい。例えば、サブピクチャウィンドウの幅を示す情報であるサブピクチャウィンドウ幅情報がサブピクチャウィンドウサイズ情報に含まれていてもよい。また、サブピクチャウィンドウの高さを示す情報であるサブピクチャウィンドウ高さ情報がサブピクチャウィンドウサイズ情報に含まれていてもよい。
　サブピクチャウィンドウ情報をシグナリングするPPSのシンタックスの例を図２５に示す。図２５の例において、ピクチャ中サブピクチャウィンドウ存在フラグとして、pps_subpic_window_exists_in_pic_flagがシグナリングされている。このフラグが真（値「１」）の場合、そのピクチャ内にサブピクチャウィンドウが存在するサブピクチャが存在し得ることを示す。また、このフラグが偽（値「０」）の場合、そのピクチャ内にサブピクチャウィンドウが存在するサブピクチャが存在しないことを示す。
　また、サブピクチャウィンドウ存在フラグとして、pps_subpic_window_exists_flag[i]がシグナリングされている。このフラグが真（値「１」）の場合、i番目のサブピクチャにサブピクチャウィンドウが存在し得ることを示す。また、このフラグが偽（値「０」）の場合、i番目のサブピクチャにサブピクチャウィンドウが存在しないことを示す。
　さらに、サブピクチャウィンドウ幅情報として、subpic_window_width_minus1[i]がシグナリングされている。この情報によりi番目のサブピクチャの幅がCTU単位で示される。また、サブピクチャウィンドウ高さ情報として、subpic_window_height_minus1[i]がシグナリングされている。この情報によりi番目のサブピクチャの高さがCTU単位で示される。
　このように、サブピクチャウィンドウに関する多様なサブピクチャレンダリング情報をシグナリングすることができる。
　なお、サブピクチャウィンドウサイズ情報は、サブピクチャウィンドウの幅および高さをサンプル単位で示してもよい（CTU単位以外の任意の単位で示すことができる）。このようにすることにより、CTU単位に依存しない解像度変更が可能になる。
　また、サブピクチャウィンドウの基準画素の位置と、そのサブピクチャウィンドウを格納するサブピクチャの基準画素の位置とが一致していなくてもよい。その場合、サブピクチャウィンドウの基準画素位置情報と、サブピクチャ基準画素位置情報との両方をシグナリングすればよい。
　さらに、上述したサブピクチャウィンドウ情報は、SEIにおいてシグナリングされるようにしてもよい。
　　＜方法３－１＞
　図２３の表の上から２番目の段に示されるように、表示に不要なパディングサンプルの復号処理を省略（スキップ）してもよい（方法３－１）。例えば、符号化において、サブピクチャウィンドウの境界とスライスの境界を一致させ、サブピクチャウィンドウのみを復号可能にする。パディングサンプルは黒とする。そして、サブピクチャウィンドウのみを復号し、それ以外の領域は復号をしなくてもよいことを示すフラグ情報をSPSにシグナルする。復号においては、パディングサンプルを復号せず黒として処理し、サブピクチャウィンドウのみを復号する。
　例えば、符号化側装置は、サブピクチャ設定情報として、サブピクチャウィンドウの符号化データの復号制御に関するフラグ情報であるサブピクチャウィンドウ復号制御フラグをシグナリングする。復号側装置は、そのサブピクチャウィンドウ復号制御フラグを解析し、その解析結果に基づいて符号化データを復号する。
　このようにすることにより、不要な復号処理、すなわちパディングサンプルの復号を省略（スキップ）することができる。したがって、復号処理の負荷の増大を抑制することができる。
　サブピクチャ設定情報は、サブピクチャの設定に関する情報であれば、その内容な任意である。例えば、サブピクチャウィンドウの符号化データの復号制御に関するフラグ情報であるサブピクチャウィンドウ復号制御フラグがサブピクチャ設定情報に含まれていてもよい。
　このサブピクチャウィンドウ復号制御フラグは、サブピクチャウィンドウの符号化データの復号制御に関するフラグ情報であれば、その内容な任意である。例えば、ピクチャ中にサブピクチャウィンドウが存在し得るか否かを示すフラグ情報であるピクチャ中サブピクチャウィンドウ存在フラグがサブピクチャウィンドウ復号制御フラグに含まれていてもよい。また、サブピクチャウィンドウが独立であるか否かを示すフラグ情報であるサブピクチャウィンドウ独立フラグがサブピクチャウィンドウ復号制御フラグに含まれていてもよい。さらに、i番目のサブピクチャにサブピクチャウィンドウが存在するか否かを示すフラグ情報であるサブピクチャウィンドウ存在フラグがサブピクチャウィンドウ復号制御フラグに含まれていてもよい。また、サブピクチャウィンドウの参照関係の制御に関するフラグ情報であるサブピクチャウィンドウ参照制御フラグがサブピクチャウィンドウ復号制御フラグに含まれていてもよい。さらに、サブピクチャウィンドウのループフィルタの制御に関するフラグ情報であるサブピクチャウィンドウループフィルタ制御フラグがサブピクチャウィンドウ復号制御フラグに含まれていてもよい。
　サブピクチャウィンドウ復号制御フラグは、例えばSPSでシグナリングしてもよい。図２６は、その場合のSPSのシンタックスの例を示す図である。図２６の例において、ピクチャ中サブピクチャウィンドウ存在フラグとして、sps_subpic_window_exists_in_pic_flagがシグナリングされている。このフラグが真（値「１」）の場合、シーケンス内にサブピクチャウィンドウが存在し得ることを示す。また、このフラグが偽（値「０」）の場合、シーケンス内にサブピクチャウィンドウが存在しないことを示す。したがって、復号側装置は、このフラグに基づいて、サブピクチャウィンドウが存在しないシーケンスに対する、基準画素の位置が時間方向に固定されたサブピクチャ内でRPR処理をスキップすることができる。したがって、復号処理の負荷の増大を抑制することができる。
　また、サブピクチャウィンドウ独立フラグとして、sps_subpic_win_independent_in_pic_flagがシグナリングされている。このフラグが真（値「１」）の場合、サブピクチャウィンドウが独立であることを示す。つまりピクチャと同等に扱うことが可能で、サブピクチャウィンドウの境界でループフィルタは適用されない。また、このフラグが偽（値「０」）の場合、サブピクチャウィンドウは独立でない可能性があることを示す。
　さらに、サブピクチャウィンドウ存在フラグとして、sps_subpic_window_exists_flag[i]がシグナリングされている。このフラグが真（値「１」）の場合、i番目のサブピクチャにサブピクチャウィンドウが存在することを示す。また、このフラグが偽（値「０」）の場合、i番目のサブピクチャにサブピクチャウィンドウが存在しないことを示す。復号側装置は、このフラグ情報に基づいて、サブピクチャウィンドウが存在しないサブピクチャに対するRPR処理をスキップすることができる。したがって、復号処理の負荷の増大を抑制することができる。
　また、サブピクチャウィンドウ参照制御フラグとして、subpic_win_treated_as_pic_flag[i]がシグナリングされている。このフラグが真（値「１」）の場合、ピクチャと同等に扱うことが可能であることを示す。例えば、参照サブピクチャウィンドウの境界を超えたインター予測が禁止される。また、サブピクチャウィンドウの境界を超えたインター予測やイントラ予測が禁止される。また、このフラグが偽（値「０」）の場合、サブピクチャウィンドウ単体で復号することができないことを示す。
　さらに、サブピクチャウィンドウループフィルタ制御フラグとして、oop_filter_across_subpic_win_boundary_enabled_flag[i]がシグナリングされている。このフラグが真（値「１」）の場合、サブピクチャウィンドウの境界でループフィルタが適用されることを示す。また、このフラグが偽（値「０」）の場合、サブピクチャウィンドウの境界でループフィルタが適用されないことを示す。
　例えば、以上のようなサブピクチャウィンドウ復号制御フラグが、以下の２つの条件のいずれかを満たす場合、i番目のサブピクチャにおいてサブピクチャウィンドウのみを復号することができる。
　　１．sps_subpic_win_independent_in_pic_flag=0
　　２．subpic_win_treated_as_pic_flag[i]=1かつ、loop_filter_across_subpic_win_boundary_enabled_flag[i]=0
　このように、復号側装置は、サブピクチャウィンドウ復号制御フラグに基づいて復号処理を制御することにより、不要な処理をスキップすることができる。したがって、復号処理の負荷の増大を抑制することができる。
　なお、SPSにおいて、復号不要スライスが存在するか否かを示すフラグ情報をシグナリングし、スライスヘッダ（slice header）において、スライス毎に復号不要であるか否かを示すフラグ情報をシグナリングしてもよい。またパディングサンプルの色を指定する情報をSPSにおいてシグナリングしてもよい。
　　＜方法３－１－１＞
　図２３の表の上から３番目の段に示されるように、サブピクチャを別のビットストリームに抽出する場合、CVS内で最大のサブピクチャウィンドウで抽出することができるようにしてもよい（方法３－１－１）。つまり、そのような抽出が可能となるようにCVS内のサブピクチャを符号化してもよい。そして、最大のサブピクチャウィンドウの解像度情報をSPSにおいてシグナリングしてもよい。そして、復号側装置が、最大サブピクチャウィンドウに含まれるスライスデータのみを抽出してもよい。
　例えば、符号化側装置は、サブピクチャウィンドウの最大サイズを示す情報であるサブピクチャウィンドウ最大サイズ情報をシグナリングする。復号側装置は、そのサブピクチャウィンドウ最大サイズ情報を解析し、その解析結果に基づいて符号化データを復号する。
　サブピクチャ設定情報は、サブピクチャの設定に関する情報であれば、その内容な任意である。例えば、サブピクチャの抽出に関する情報である抽出情報がサブピクチャ設定情報に含まれていてもよい。
　抽出情報は、サブピクチャの抽出に関する情報であれば、その内容は任意である。例えば、ピクチャ中サブピクチャウィンドウ存在フラグ、サブピクチャウィンドウ存在フラグ、並びに、CVSにおけるサブピクチャウィンドウの最大サイズを示す情報であるサブピクチャウィンドウ最大サイズ情報が、抽出情報に含まれていてもよい。なお、ピクチャ中サブピクチャウィンドウ存在フラグおよびサブピクチャウィンドウ存在フラグは、＜方法３－１＞において説明した通りの情報である。サブピクチャウィンドウ最大サイズ情報は、CVSにおけるサブピクチャウィンドウの最大幅を示す情報であるサブピクチャウィンドウ最大幅情報と、CVSにおけるサブピクチャウィンドウの最大高を示す情報であるサブピクチャウィンドウ最大高さ情報とを含んでもよい。
　抽出情報は、例えばSPSでシグナリングしてもよい。図２７は、その場合のSPSのシンタックスの例を示す図である。図２７の例において、ピクチャ中サブピクチャウィンドウ存在フラグとして、sps_subpic_window_exists_in_pic_flagがシグナリングされている。また、サブピクチャウィンドウ存在フラグとして、sps_subpic_window_exists_flag[i]がシグナリングされている。これらのフラグは、＜方法３－１＞において説明した通りである。
　さらに、サブピクチャウィンドウ最大幅情報として、subpic_window_max_width_minus1[i]がシグナリングされている。この情報は、i番目のサブピクチャのサブピクチャウィンドウの最大幅をCTU単位で示す情報である。また、サブピクチャウィンドウ最大高さ情報として、subpic_window_max_height_minus1[i]がシグナリングされている。この情報は、i番目のサブピクチャのサブピクチャウィンドウの最大高をCTU単位で示す情報である。
　復号側装置は、これらの抽出情報に基づいてサブピクチャを抽出することにより、不要なデータがなるべく含まれないビットストリームを生成することができる。
　なお、サブピクチャウィンドウ最大サイズ情報（subpic_window_max_width_minus1[i]、 subpic_window_max_height_minus1[i]）が、シンタックスに存在するか否かを示すフラグ情報をシグナリングされるようにしてもよい。また、このサブピクチャウィンドウ最大サイズ情報のシグナリングが省略される場合、サブピクチャウィンドウの幅および高さの最大値は、そのサブピクチャのサイズと同等としてもよい。このようにサブピクチャウィンドウ最大サイズ情報のシグナリングを省略可能とすることにより、符号量の増大を抑制することができる。
　また、ビットストリームの作り直しが必要なく抽出することができることを示す情報がシグナリングされるようにしてもよい。例えば、スライスデータの修正が必要ないか否かを示すフラグ情報や、最大値で示された領域はピクチャと同等に扱うことができるか否かを示すフラグ情報がシグナリングされるようにしてもよい。
　　＜方法３－１－２＞
　図２３の表の上から４番目の段に示されるように、サブピクチャを別のビットストリームに抽出する場合、サブピクチャウィンドウサイズでサブピクチャウィンドウを抽出することができるようにしてもよい。つまり、サブピクチャウィンドウのみを抽出することができるようにしてもよい（方法３－１－２）。
　符号化側装置は、そのような抽出が可能となるようにCVS内のサブピクチャを符号化してもよい。つまり、符号化側装置は、サブピクチャウィンドウに対してRPR機能を用いた符号化を行う。そして、サブピクチャウィンドウの復号処理でRPR処理が必要であるか否か等を示す抽出情報をSPSにおいてシグナリングする。この場合、復号側装置は、必ずサブピクチャ単位で復号を行わなければならない。つまり、復号側装置は、その抽出情報に基づいてサブピクチャウィンドウのみのスライスデータを抽出し、抽出したビットストリームを、RPR機能を用いたピクチャのビットストリームとすることができる。
　つまり、符号化側装置は、抽出情報として、参照サブピクチャウィンドウのリサンプリングが必要なサブピクチャウィンドウに関する情報である参照サブピクチャウィンドウリサンプリング情報をシグナリングする。復号側装置は、その参照サブピクチャウィンドウリサンプリング情報を解析し、その解析結果に基づいて符号化データを復号する。
　抽出情報は、サブピクチャの抽出に関する情報であれば、その内容は任意である。例えば、参照サブピクチャウィンドウの再サンプリング処理に関する情報である参照サブピクチャ再サンプリング情報が抽出情報に含まれてもよい。
　この参照サブピクチャ再サンプリング情報は、参照サブピクチャウィンドウの再サンプリング処理に関する情報であれば、その内容は任意である。例えば、参照サブピクチャウィンドウの再サンプリング処理が必要なサブピクチャウィンドウが存在し得るか否かを示すフラグ情報である参照サブピクチャウィンドウ再サンプリング存在フラグが参照サブピクチャ再サンプリング情報に含まれてもよい。また、i番目のサブピクチャのサブピクチャウィンドウが、参照サブピクチャウィンドウの再サンプリング処理が必要であるか否かを示すフラグ情報である参照サブピクチャ再サンプリングフラグが参照サブピクチャ再サンプリング情報に含まれてもよい。
　抽出情報は、例えばSPSでシグナリングしてもよい。図２８は、その場合のSPSのシンタックスの例を示す図である。図２８の例において、参照サブピクチャウィンドウ再サンプリング存在フラグとして、subpic_win_reference_resampling_in_pic_flagがシグナリングされている。このフラグが真（値「１」）の場合、参照サブピクチャウィンドウの再サンプリング処理が必要なサブピクチャウィンドウが存在し得ることを示す。このフラグが偽（値「０」）の場合、参照サブピクチャウィンドウの再サンプリング処理が必要なサブピクチャウィンドウが存在しないことを示す。
　また、参照サブピクチャ再サンプリングフラグとして、subpic_win_reference_resampling_flag[i]がシグナリングされている。このフラグが真（値「１」）の場合、i番目のサブピクチャのサブピクチャウィンドウは、参照サブピクチャウィンドウの再サンプリング処理が必要であることを示す。このフラグが偽（値「０」）の場合、i番目のサブピクチャのサブピクチャウィンドウは、参照サブピクチャウィンドウのリサンプリング処理が不要であることを示す。
　復号側装置は、これらの抽出情報に基づいてサブピクチャを抽出することにより、不要なデータが含まれないビットストリームを生成できる。なお、この場合の復号処理はサブピクチャ単位で実施する必要がある。
　　＜方法３－１－３＞
　サブピクチャを別のビットストリームに抽出する場合に、サブピクチャウィンドウのみを抽出することができるようにしてもよい。つまり、図２３の表の最下段に示されるように、サブピクチャのみを符号化するようにしてもよい（方法３－１－３）。
　そのために、符号化側装置は、サブピクチャウィンドウのみで復号可能なように符号化する。復号側装置は、そのビットストリームからサブピクチャウィンドウのみのスライスデータを抽出する。
　ただし、サブピクチャウィンドウのみを抽出したビットストリームは、RPR機能を利用していないのに、ピクチャの解像度がフレームごとに変化してしまうおそれがある。そこで、復号側装置は、ピクチャがフレームごとに変化しないが、RPR機能を利用していないピクチャであるか否かを示すフラグ情報をシグナリングする。つまり、復号側装置は、抽出したビットストリームに対してそのようなフラグ情報を設定する。このようにすることで、復号側装置は、抽出したデータのみのビットストリームを生成できる。
　抽出したデータのみのビットストリームを復号する復号側装置は、参照ピクチャの解像度の再スケーリングを禁止するか否かを示すフラグ情報である再スケーリング禁止フラグを解析し、その解析結果に基づいてビットストリームを復号する。
　このフラグ情報は、例えばSPSにおいてシグナリングされるようにしてもよい。図２９はその場合のSPSのシンタックスの例を示す図である。図２９の例において、再スケーリング禁止フラグとして、no_ref_pic_rescaling_flagがシグナリングされる。このフラグが真（値「１」）の場合、ピクチャの解像度が変わっても参照ピクチャの解像度を現在のピクチャと同じにする再スケーリングを禁止することを示す。このフラグが偽（値「０」）の場合、ピクチャの解像度変化に応じて参照ピクチャの解像度を現在のピクチャと同じに再スケーリングする必要があることを示す。
　このようなシグナリングを行うことにより、サブピクチャを抽出する際に不要なデータが含まれないビットストリームを生成することができる。
　＜５．第３の実施の形態＞
　　＜画像符号化装置＞
　＜４．サブピクチャの画像の解像度制御２＞において説明した本技術の各種方法（方法３、方法３－１、方法３－１－１、方法３－１－２、および方法３－１－３、並びに、各方法の変形例や応用例等）は、任意の装置において適用することができる。例えば、図１９を参照して説明した画像符号化装置１００（符号化側装置）に適用することができる。
　この場合、画像符号化装置１００は、図２３等を参照して説明した本技術の各種方法を適用して符号化を行う。つまり、画像符号化装置１００は、基準画素の位置が時間方向に固定されたサブピクチャ内でRPR処理を行う。
　この場合、符号化部１０１は、取得したピクチャを、例えば非特許文献１に記載のVVCに準拠した符号化方式を適用して符号化する。その際、符号化部１０１は、図２３等を参照して説明した本技術の各種方法を適用し、基準画素の位置が時間方向に固定されたサブピクチャ内でRPR処理を行う。
　メタデータ生成部１０２は、メタデータとして、サブピクチャ設定情報やサブピクチャレンダリング情報を生成し得る。
　このサブピクチャ設定情報やサブピクチャレンダリング情報には、＜４．サブピクチャの画像の解像度制御２＞において説明した各種の情報が含まれ得る。例えば、メタデータ生成部１０２は、ピクチャ中サブピクチャウィンドウ存在フラグ、サブピクチャウィンドウ存在フラグ、サブピクチャウィンドウ幅情報、サブピクチャウィンドウ高さ情報、ピクチャ中サブピクチャウィンドウ存在フラグ、サブピクチャウィンドウ独立フラグ、サブピクチャウィンドウ存在フラグ、サブピクチャウィンドウ参照制御フラグ、サブピクチャウィンドウループフィルタ制御フラグ、サブピクチャウィンドウ最大幅情報、サブピクチャウィンドウ最大高さ情報、参照サブピクチャウィンドウ再サンプリング存在フラグ、参照サブピクチャ再サンプリングフラグ、および再スケーリング禁止フラグ等の情報を生成し得る。もちろん、メタデータ生成部１０２が生成する情報は任意であり、これらの例に限定されない。例えば、メタデータ生成部１０２は、サブピクチャマッピング情報等、非特許文献２に記載のメタデータも生成し得る。
　そして、ビットストリーム生成部１０３は、これらの情報を含むメタデータと符号化データとを含むビットストリームを生成する。そのビットストリームは、例えば、記憶媒体や通信媒体を介して、復号側装置に供給される。つまり、＜４．サブピクチャの画像の解像度制御２＞において説明した各種情報がシグナリングされる。
　したがって、復号側装置は、そのシグナリングされた情報に基づいて復号処理を行うことができる。これにより、＜４．サブピクチャの画像の解像度制御２＞において説明したのと同様の効果を得ることができる。
　例えば、復号側装置は、サブピクチャの解像度をサブピクチャウィンドウという形で、CVS内で変化させることができる。そのため、サブピクチャの解像度を変化しない場合に比べて圧縮効率を上げることが可能である。また、復号側装置は、そのシグナリングされた情報に基づいて、復号されたサブピクチャの画像をより容易にレンダリングすることができる。
　　＜符号化処理の流れ＞
　次に、この場合の画像符号化装置１００により実行される符号化処理の流れの例を、図３０のフローチャートを参照して説明する。
　符号化処理が開始されると、画像符号化装置１００の符号化部１０１は、ステップＳ３０１において、ピクチャをサブピクチャに分割する。
　ステップＳ３０２において、符号化部１０１は、サブピクチャに関する設定に基づいてピクチャを符号化する。その際、符号化部１０１は、＜４．サブピクチャの画像の解像度制御２＞において説明した本技術を適用し、基準画素の位置が時間方向に固定されたサブピクチャ内でRPR処理を行う。
　ステップＳ３０３において、メタデータ生成部１０２は、サブピクチャ設定情報およびサブピクチャレンダリング情報を生成する。その際、メタデータ生成部１０２は、本技術を適用して処理を行う。つまり、メタデータ生成部１０２は、上述したように、＜４．サブピクチャの画像の解像度制御２＞において説明した各種情報を生成し得る。
　ステップＳ３０４において、ビットストリーム生成部１０３は、ステップＳ３０２において生成された符号化データ、並びに、ステップＳ３０３において生成されたサブピクチャ設定情報およびサブピクチャレンダリング情報を用いてビットストリームを生成する。つまり、ビットストリーム生成部１０３は、それらの情報を含むビットストリームを生成する。
　ビットストリームが生成されると符号化処理が終了する。
　このように符号化処理が行われることにより、＜４．サブピクチャの画像の解像度制御２＞において説明した各種情報がシグナリングされる。
　したがって、復号側装置は、そのシグナリングされた情報に基づいて復号処理を行うことができる。これにより、＜４．サブピクチャの画像の解像度制御２＞において説明したのと同様の効果を得ることができる。
　例えば、復号側装置は、サブピクチャの解像度をサブピクチャウィンドウという形で、CVS内で変化させることができる。そのため、サブピクチャの解像度を変化しない場合に比べて圧縮効率を上げることが可能である。また、復号側装置は、そのシグナリングされた情報に基づいて、復号されたサブピクチャの画像をより容易にレンダリングすることができる。
　＜６．第４の実施の形態＞
　　＜画像復号装置＞
　＜４．サブピクチャの画像の解像度制御２＞において説明した本技術の各種方法（方法３、方法３－１、方法３－１－１、方法３－１－２、および方法３－１－３、並びに、各方法の変形例や応用例等）は、例えば、図２１を参照して説明した画像復号装置２００（復号側装置）に適用することができる。
　この場合、画像復号装置２００は、図２３等を参照して説明した本技術の各種方法を適用して復号を行う。つまり、画像復号装置２００は、基準画素の位置が時間方向に固定されたサブピクチャ内でRPR処理を行う。例えば、画像復号装置２００は、画像符号化装置１００により生成されたビットストリームを復号する。
　この場合、解析部２０１は、ビットストリームに含まれるメタデータを解析する。例えば、解析部２０１は、＜４．サブピクチャの画像の解像度制御２＞において説明した本技術を適用し、メタデータとして、サブピクチャ設定情報やサブピクチャレンダリング情報を解析し得る。
　このサブピクチャ設定情報やサブピクチャレンダリング情報には、＜４．サブピクチャの画像の解像度制御２＞において説明した各種の情報が含まれ得る。例えば、メタデータ生成部１０２は、ピクチャ中サブピクチャウィンドウ存在フラグ、サブピクチャウィンドウ存在フラグ、サブピクチャウィンドウ幅情報、サブピクチャウィンドウ高さ情報、ピクチャ中サブピクチャウィンドウ存在フラグ、サブピクチャウィンドウ独立フラグ、サブピクチャウィンドウ存在フラグ、サブピクチャウィンドウ参照制御フラグ、サブピクチャウィンドウループフィルタ制御フラグ、サブピクチャウィンドウ最大幅情報、サブピクチャウィンドウ最大高さ情報、参照サブピクチャウィンドウ再サンプリング存在フラグ、参照サブピクチャ再サンプリングフラグ、および再スケーリング禁止フラグ等の情報を生成し得る。もちろん、解析部２０１が解析する情報は任意であり、これらの例に限定されない。例えば、解析部２０１は、サブピクチャマッピング情報等、非特許文献２に記載のメタデータも解析し得る。
　抽出部２０２は、解析部２０１から供給された解析結果に基づいて、解析部２０１から供給されたビットストリームから、所望の情報を抽出する。例えば、抽出部２０２は、ビットストリームから、画像の符号化データ、サブピクチャ設定情報、サブピクチャレンダリング情報等を抽出する。このサブピクチャ設定情報やサブピクチャレンダリング情報には、解析部２０１が解析した各種の情報が含まれ得る。抽出部２０２は、ビットストリームから抽出した情報等を復号部２０３に供給する。
　復号部２０３は、メタデータに基づいて符号化データを復号し、ピクチャを生成する。その際、復号部２０３は、図２３等を参照して説明した本技術の各種方法を適宜適用し、基準画素の位置が時間方向に固定されたサブピクチャ内でRPR処理を行い得る。つまり、復号部２０３は、＜４．サブピクチャの画像の解像度制御２＞において説明した各種情報を含み得るサブピクチャ設定情報に基づいて、各サブピクチャの画像を生成する。
　レンダリング部２０４は、＜４．サブピクチャの画像の解像度制御２＞において説明した各種情報を含み得るサブピクチャレンダリング情報に基づいて、レンダリングを行う。レンダリング部２０４は、生成した表示用画像を画像復号装置２００の外部に出力する。この表示用画像は、任意の記憶媒体または通信媒体等を介して、図示せぬ画像表示装置に供給され、表示される。
　以上のように画像復号装置２００は、符号化側装置からシグナリングされた、＜４．サブピクチャの画像の解像度制御２＞において説明した各種情報を解析し、その情報に基づいて復号処理を行う。つまり、＜４．サブピクチャの画像の解像度制御２＞において説明した本技術を適用して、基準画素の位置が時間方向に固定されたサブピクチャ内でRPR処理を行い得る。これにより、＜４．サブピクチャの画像の解像度制御２＞において説明したのと同様の効果を得ることができる。
　例えば、画像復号装置２００は、サブピクチャの解像度をサブピクチャウィンドウという形で、CVS内で変化させることができる。そのため、サブピクチャの解像度を変化しない場合に比べて圧縮効率を上げることが可能である。また、画像復号装置２００は、そのシグナリングされた情報に基づいて、復号されたサブピクチャの画像をより容易にレンダリングすることができる。
　　＜復号処理の流れ＞
　次に、この画像復号装置２００により実行される復号処理の流れの例を、図２２のフローチャートを参照して説明する。
　復号処理が開始されると、画像復号装置２００の解析部２０１は、ステップＳ４０１において、ビットストリームに含まれるメタデータを解析する。その際、解析部２０１は、＜４．サブピクチャの画像の解像度制御２＞において説明した本技術を適用し、メタデータに含まれる＜４．サブピクチャの画像の解像度制御２＞において説明した各種情報を解析する。
　ステップＳ４０２において、抽出部２０２は、ステップＳ４０１の解析結果に基づいて、ビットストリームから符号化データ、サブピクチャ設定情報、およびサブピクチャレンダリング情報を抽出する。このサブピクチャ設定情報には、＜４．サブピクチャの画像の解像度制御２＞において説明した各種情報が含まれ得る。また、このサブピクチャレンダリング情報には、＜４．サブピクチャの画像の解像度制御２＞において説明した各種情報が含まれ得る。
　ステップＳ４０３において、復号部２０３は、ステップＳ４０２においてビットストリームから抽出されたサブピクチャ設定情報を用いて、ステップＳ４０２においてビットストリームから抽出された符号化データを復号し、ピクチャ（ピクチャに含まれる各サブピクチャ）を生成する。その際、復号部２０３は、＜４．サブピクチャの画像の解像度制御２＞において説明した本技術を適用する。つまり、復号部２０３は、＜４．サブピクチャの画像の解像度制御２＞において説明した各種情報に基づいて、基準画素の位置が時間方向に固定されたサブピクチャ内でRPR処理を行う。
　ステップＳ４０４において、レンダリング部２０４は、ステップＳ４０２においてビットストリームから抽出されたサブピクチャレンダリング情報を用いて、ステップＳ４０３において生成されたピクチャ（またはサブピクチャ）の復号データをレンダリングし、表示用画像を生成する。その際、レンダリング部２０４は、＜４．サブピクチャの画像の解像度制御２＞において説明した本技術を適用する。つまり、レンダリング部２０４は、＜４．サブピクチャの画像の解像度制御２＞において説明した各種情報に基づいて、レンダリングを行う。
　表示用画像が生成されると復号処理が終了する。
　このように復号処理が行われることにより、シグナリングされた、＜４．サブピクチャの画像の解像度制御２＞において説明した各種情報に基づいて、復号やレンダリングが行われる。したがって、画像復号装置２００は、＜４．サブピクチャの画像の解像度制御２＞において説明したのと同様の効果を得ることができる。
　例えば、画像復号装置２００は、サブピクチャの解像度をサブピクチャウィンドウという形で、CVS内で変化させることができる。そのため、サブピクチャの解像度を変化しない場合に比べて圧縮効率を上げることが可能である。また、画像復号装置２００は、そのシグナリングされた情報に基づいて、復号されたサブピクチャの画像をより容易にレンダリングすることができる。
　＜７．サブピクチャの画像の解像度制御３＞
　　＜ISOBMFF＞
　非特許文献５には、VVCビットストリームをISOBMFF（International Organization for Standardization Base Media File Format）に格納する手法が定義されている。このファイルフォーマットでは、VvcSamleEntryにて、codingname’vvc1’または’vvi1’を設定し、VVCの復号の為の情報であるVvcConfigurationBoxが格納される。
　VvcConfigurationBoxには、VvcDecoderConfigurationRecordが含まれ、プロファイル、ティア、またはレベル等の情報がシグナリングされる。さらに、パラメータセットやSEI等もシグナリングされることができる。
　VVCのエンコーダを実装する場合、メタデータと画像データがエンコーダに入力され、エンコーダからはビットストリームが出力される。メタデータがビットストリームに格納されるかは、エンコーダの実装に依存する。SEIは、符号化に直接的な影響のない情報である場合があり、エンコーダによっては実装されておらずビットストリームに含むことができない場合がある。例えば、ビットストリームをコンテナフォーマットに格納することを前提にSEIにメタデータを格納しないエンコーダがある。
　VVCのデコーダを実装する場合、ビットストリームがデコーダに入力され、デコーダからは復号画像が出力され、レンダラに入力される。レンダラはその復号画像を用いてレンダリングを行い、表示用画像を生成し、出力する。
　その際、エンコーダからシグナリングされたメタデータをデコーダが出力し、レンダラに供給すれば、レンダラはそのメタデータを用いてレンダリングを行うことができる。つまり、エンコーダ側からレンダリングを制御することができる。
　しかしながら、デコーダから出力されるメタデータに関する規定はない。例えば、デコーダが、復号画像の画サイズ情報といったパラメータセットやSEI等に含まれる情報を提供するインタフェースを有するか否かは、そのデコーダの実装に依存する。
　そのため、レンダラが、デコーダからレンダリングに必要なメタデータを取得できないおそれがあった。例えば、特定のメタデータを含むビットストリームを作成することができないエンコーダや、メタデータを出力するインタフェースが存在しないデコーダを実装する場合、レンダラが、表示に必要な情報を取得することができないおそれがあった。例えば、＜１．サブピクチャの画像の解像度制御１＞や＜４．サブピクチャの画像の解像度制御２＞においては、サブピクチャレンダリング情報をシグナリングすることができる旨を説明したが、上述の理由により、レンダラがこのサブピクチャレンダリング情報を取得することができないおそれがあった。
　　＜方法４＞
　そこで、＜１．サブピクチャの画像の解像度制御１＞乃至＜６．第４の実施の形態＞において説明した本技術を適用して生成されたビットストリームを、非特許文献５に記載の技術を用いてISOBMFFに格納するようにする。そして、図３２の表の一番上の段に示されるように、レンダリングに用いられるサブピクチャレンダリング情報をそのISOBMFFでシグナリングするようにする（方法４）。例えば、サブピクチャレンダリング情報として、サブピクチャマッピング情報、レンダリング時の表示サイズ情報、および、再サンプリングされたサイズ情報等をISOBMFFでシグナリングする。
　例えば、符号化側装置は、符号化データと、サブピクチャのレンダリングに関する情報であるサブピクチャレンダリング情報とをファイルに格納する。復号側装置は、そのファイルから、符号化データとサブピクチャレンダリング情報を抽出し、そのサブピクチャレンダリング情報に基づいて、復号画像をレンダリングし、表示用画像を生成する。
　サブピクチャマッピング情報とレンダリング時の表示サイズ情報は、シーケンス内で固定的な情報（変化しない情報）として、SubpictureMappingBox(’sbpm’)を定義し、Sample Entryに格納してもよい。また、再サンプリングされたサイズ情報は、Sample GroupのSubpictureSizeEntryに格納し、サンプル毎にシグナルできるようにしてもよい。そして、レンダリングの際に、再サンプリングされたサイズ情報で示される画素をレンダリング時の表示サイズ情報に合わせて表示してもよい。
　例えば、図３３のＡに示されるように、サブピクチャのマッピング情報およびレンダリング時の表示サイズ情報をSample Entryにシグナルしてもよい。このSample EntryのSubpictureMappingBox(’sbpm’)において、パラメータnum_subpics_minus1は、サブピクチャ数－１を示す。また、パラメータsubpic_top_left_xは、サブピクチャの左上端の画素のX座標を示し、パラメータsubpic_top_left_yは、サブピクチャの左上端の画素のY座標を示す。さらに、パラメータsubpic_display_widthは、サブピクチャの表示サイズの幅を示し、パラメータsubpic_display_heightは、サブピクチャの表示サイズの高さを示す。
　また、図３３のＢに示されるように、Sample Groupでsubpictureの再サンプリングされたサイズ情報をシグナルしてもよい。この例において、パラメータnum_subpics_minus1は、サブピクチャ数－１を示し、subpic_widthは、再サンプリングされたサイズの幅を示し、subpic_heightは、再サンプリングされたサイズの高さを示す。
　このようにすることにより、レンダラは、デコーダからサブピクチャのリサイズ情報が取得できない場合においても、ISOBMFFからその情報を取得することができ、リサイズしてレンダリングを行うことができる。また、例えば、num_subpics_minus1=0とする場合、ピクチャのRPR処理の場合にも適用することができる。
　また、サブピクチャマッピング情報、再サンプリングされたサイズ情報、およびレンダリング時の表示サイズ情報をSubpictureMappingBoxに格納し、SubpictureMappingBoxはrinfのScheme Information Boxに格納してもよい（方法４変形例１）。その場合のSubpictureMappingBoxのシンタックスの例を図３４に示す。このシグナリングは、サブピクチャマッピング情報、再サンプリングされたサイズ情報、およびレンダリング時の表示サイズ情報が時間方向に固定である場合にシグナルされるデータサイズを削減することができる。再サンプリングされたサイズ情報が頻繁に変わる場合も利用可能である。ただし、変わるタイミングでScheme Information Boxが含まれるSample Entry情報を生成し格納する必要があり不要なデータを持つことになる。
　また、timed metadata trackを利用してシグナルしてもよい（方法４変形例２）。その場合、新しくSample Entryのcodingnameと初期値情報、サンプルの構造を定義する。例えば、図３５のＡに示されるファイル構造のように、MoviedBoxのTrackBoxにSubpictureMappingMetadataSampleEntry(’sbps’)を設ける。また、MediaDataBoxにSubPicSizeMetaDataSampleを設ける。SubpictureMappingMetadataSampleEntryのシンタックスの例を図３５のＢに示す。初期値情報にサブピクチャマッピング情報とレンダリング時の表示サイズ情報を格納し、サンプルに再サンプリングされたサイズ情報を格納する。図３３のAのSubpictureMappingBox()は図３４と同じものである。図３５のBのSubpictureSizeStruct()は図３３のBと同じものである。timed metadata trackはtrack_referenceを用いてVVC trackと紐づけをしてもよい。
　このようにすることにより、レンダラは、デコーダからサブピクチャのリサイズ情報が取得できない場合においても、ISOBMFFからその情報を取得することができ、リサイズしてレンダリングを行うことができる。また、例えば、VVCビットストリームにメタ情報が含まれており、ISOBMFFの情報を利用しない復号側装置の場合、このトラックを取得しなくてもよい。
　　＜方法４－１＞
　図３２の表の上から２番目の段に示されるように、サブピクチャレンダリング情報として、サブピクチャリサンプルフラグがISOBMFFにおいてシグナリングされるようにしてもよい（方法４－１）。このサブピクチャリサンプルフラグは、復号されたピクチャ内の一部にリサイズが必要であるか否かを示すフラグ情報である。例えば、このサブピクチャリサンプルフラグをVvcDecoderConfigurationRecordにおいてシグナリングするようにしてもよい。
　その場合のVvcDecoderConfigurationRecordのシンタックスの例を図３６に示す。図３６において、サブピクチャリサンプルフラグとしてシグナリングされるsubpicture_is_resampled_flagは、真（値「１」）の場合、リサイズされているサブピクチャが存在しうることを示す。また、このフラグが偽（値「０」）の場合、リサイズされているサブピクチャが存在しないことを示す。
　このようにサブピクチャリサンプルフラグをISOBMFFにおいてシグナリングすることにより、復号側装置のレンダラは、このサブピクチャリサンプルフラグを取得することができる。したがって、レンダラは、Sample Entryに関連付けられるピクチャに部分的なリサイズが必要であるか否かを容易に把握することができる。これにより、レンダラは、例えば復号画像の再生可否をより容易に識別することができる。
　なお、図３３のＡに示されるSubpictureMappingStruct、または、図３４に示されるSubpictureMappingBoxにおいて、このサブピクチャリサンプルフラグがシグナリングされるようにしてもよい。この場合、ピクチャ毎にピクチャ内の一部にリサイズが必要であることをシグナルすることができるようになる。
　　＜方法４－１－１＞
　図３２の表の上から３番目の段に示されるように、サブピクチャレンダリング情報として、リサンプリングフラグがISOBMFFにおいてシグナリングされるようにしてもよい（方法４－１－１）。このリサンプリングフラグは、そのサブピクチャにリサイズが必要であるか否かを示すフラグ情報である。例えば、図３３のＡに示されるSubpictureMappingStruct、または、図３４に示されるSubpictureMappingBoxにおいて、このリサンプルフラグがシグナリングされるようにしてもよい。
　その場合のSubpictureMappingStructのシンタックスの例を図３７のＡに示す。また、その場合のSubpictureMappingBoxのシンタックスの例を図３７のＢに示す。リサンプリングフラグとしてシグナリングされるresampling_flag[i]は、i番目のサブピクチャにリサイズが必要であるか否かを示すフラグである。例えば、このフラグが真（値「１」）の場合、リサイズが必要であることを示す。つまり、そのサブピクチャがリサンプリングされ、サイズ変化が起こり得ることが示されている。また、このフラグが偽（値「０」）の場合、そのサブピクチャにサイズ変化が起きず、リサイズが不要であることが示されている。
　このように、リサンプリングフラグをISOBMFFでシグナリングすることにより、レンダラは、そのリサンプリングフラグを取得することができる。したがって、レンダラは、一部のサブピクチャを再生する場合に、そのサブピクチャのリサイズが必要であるか否かをより容易に把握することができる。つまり、レンダラは、このリサンプリングフラグに基づいて、サブピクチャの再生可否をより容易に識別することができる。
　さらに、このリサンプリングフラグをISOBMFFでシグナリングすることにより、レンダラは、複数のサブピクチャまたはピクチャを１つのピクチャにマージする際に、上述したサブピクチャリサンプルフラグをより容易に設定することができるようになる。
　　＜方法４－２＞
　図３２の表の上から４番目の段に示されるように、サブピクチャレンダリング情報として、有効領域情報がISOBMFFにおいてシグナリングされるようにしてもよい（方法４－２）。この有効領域情報は、有効領域に関する情報である。レンダラは、例えばこの有効領域情報に含まれない領域（無効領域）を描画しないようにレンダリングを行う。このようにすることにより、レンダラは、復号画像のうち、元々画素情報が含まれなかった部分、または画素情報は含まれているが不要な部分を非表示にすることができる。この有効領域情報は、リサイズした後の情報に対してシグナリングされてもよい。
　有効領域情報は、例えば、Sample Group DisplayAreaEntryにおいてシグナリングされてもよい。例えば、図３８のＡに示されるように、VisualSampleGroupEntryBoxにおいてDisplayAreaStructを定義し、図３８のＢに示されるように、そのDisplayAreaStructにおいて有効領域情報をシグナリングしてもよい。
　このDisplayAreaStructにおいては、有効領域を複数の矩形の集まりとして表現する。display_area_num_minus1は、有効領域数-1を示すパラメータである。display_area_leftとdisplay_area_topは、有効領域の左上端の画素の位置情報（座標）を示すパラメータである。display_area_widthは、有効領域の幅を示すパラメータであり、display_area_heightは、有効領域の高さを示すパラメータである。
　なお、有効領域情報の代わりに、無効領域をシグナルしてもよい。また、シグナルする対象を無効領域と有効領域とから選択することができるようにしてもよい。さらに、有効領域または無効領域は、リサイズ前の情報であってもよい。また、リサイズ前の情報とリサイズ後の情報のいずれであってもよいようにしてもよい。その場合、有効領域または無効領域がリサイズ前の情報であるかリサイズ後の情報であるかを示すフラグ情報をシグナリングするようにしてもよい。
　このような有効領域情報をISOBMFFでシグナリングすることにより、レンダラは、デコーダから有効領域情報を取得することができない場合においても、ISOBMFFから有効領域情報を取得することができる。したがって、レンダラは、有効領域のみを表示させるようにレンダリングを行うことができる。また、＜１．サブピクチャの画像の解像度制御１＞において上述した有効領域情報と組み合わせることにより、レンダラは、サブピクチャ毎の有効領域情報を求めることもできる。
　なお、有効領域情報を含むDisplayAreaBoxをrinfのScheme Information Boxに格納してもよい。その場合のDisplayAreaBoxのシンタックスの例を図３９のＡに示す。このDisplayAreaStructは、図３８のＢに示されるように定義されてもよい。このシグナリングは有効領域情報が時間方向に固定の場合に有効である。頻繁に変わる場合も利用することができるが、変わるタイミングでScheme Information Boxが含まれるSample Entry情報を生成し、格納する必要があり不要なデータを持つことになる。
　また、timed metadata trackを利用して有効領域情報をシグナルしてもよい。その場合、新しくSample Entryのcodingnameとサンプルの構造を定義する。例えば、図３９のＢに示されるファイル構造のように、MoviedBoxのTrackBoxにDisplayAreaMetadataSampleEntry(’diam’)を設ける。また、MediaDataBoxにDisplayAreaMetaDataSampleを設ける。DisplayAreaMetadataSampleEntryのシンタックスの例を図３９のＣに示す。サンプルに有効領域情報を格納する。このDisplayAreaStructは、図３８のＢに示されるように定義されてもよい。
　このようにすることにより、レンダラは、デコーダから有効領域情報が取得できない場合においても、ISOBMFFから有効領域情報を取得することができる。したがって、レンダラは、有効領域のみを表示させるようにレンダリングを行うことができる。また、例えば、VVCビットストリームにメタ情報が含まれており、ISOBMFFの情報を利用しない復号側装置の場合、このトラックを取得しなくてもよい。
　　＜方法４－２－１＞
　図３２の表の上から５番目の段に示されるように、サブピクチャレンダリング情報として、有効領域情報存在フラグがISOBMFFにおいてシグナリングされるようにしてもよい（方法４－２－１）。この有効領域情報存在フラグは、有効領域情報が存在するか否かを示すフラグ情報である。この有効領域情報存在フラグは、例えば、VvcDecoderConfigurationRecordにおいてシグナリングされてもよい。
　その場合の、VvcDecoderConfigurationRecordのシンタックスの例を図４０に示す。図４０の例において、有効領域情報存在フラグとしてシグナリングされるdisplay_area_exist_flagは、真（値「１」）の場合、表示領域情報（有効領域情報）が存在し得ることを示す。また、このフラグが偽（値「０」）の場合、表示領域情報（有効領域情報）が存在しないことを示す。その場合、復号されたピクチャをそのまま表示することができる。
　なお、図３３のＡに示されるSubpictureMappingStruct、または、図３４に示されるSubpictureMappingBoxにおいて、この有効領域情報存在フラグがシグナリングされるようにしてもよい。この場合、ピクチャ毎に表示領域情報（有効領域情報）が存在するか否かをシグナリングすることができる。
　なお、有効領域情報存在フラグの代わりに、無効領域が存在し得るか否かを示す無効領域情報存在フラグをシグナルしてもよい。また、有効領域情報存在フラグおよび無効領域情報存在フラグからシグナルする対象を選択することができるようにしてもよい。さらに、有効領域または無効領域は、リサイズ前の情報であってもよい。また、リサイズ前の情報とリサイズ後の情報のいずれであってもよいようにしてもよい。その場合、有効領域または無効領域がリサイズ前の情報であるかリサイズ後の情報であるかを示すフラグ情報をシグナリングするようにしてもよい。
　　＜方法４－２－１－１＞
　図３２の表の上から６番目の段に示されるように、サブピクチャレンダリング情報として、サブピクチャ有効領域情報存在フラグがISOBMFFにおいてシグナリングされるようにしてもよい（方法４－２－１－１）。このサブピクチャ有効領域情報存在フラグは、サブピクチャ毎に有効領域情報が存在するか否かを示すフラグ情報である。このサブピクチャ有効領域情報存在フラグは、例えば、図３３のＡに示されるSubpictureMappingStruct、または、図３４に示されるSubpictureMappingBoxにおいて、シグナリングされてもよい。
　その場合のSubpictureMappingStructのシンタックスの例を図４１のＡに示す。また、その場合のSubpictureMappingBoxのシンタックスの例を図４１のＢに示す。
　サブピクチャ有効領域情報存在フラグとしてシグナリングされるsubpic_display_area_exist_flagが真（値「１」）の場合、そのサブピクチャに表示領域情報（有効領域情報）が存在し得ることを示す。このフラグが偽（値「０」）の場合、そのサブピクチャに表示領域情報（有効領域情報）が存在しない。この場合、復号されたサブピクチャをそのまま表示することができる。
　このようにサブピクチャ有効領域情報存在フラグがISOBMFFでシグナリングされることにより、レンダラは、複数のサブピクチャまたはピクチャを１つのピクチャにマージする際に、有効領域情報存在フラグを容易に設定することができる。
　なお、サブピクチャ有効領域情報存在フラグの代わりに、サブピクチャ毎に無効領域が存在し得るか否かを示すサブピクチャ無効領域情報存在フラグをシグナルしてもよい。また、サブピクチャ有効領域情報存在フラグおよびサブピクチャ無効領域情報存在フラグからシグナルする対象を選択することができるようにしてもよい。さらに、有効領域または無効領域は、リサイズ前の情報であってもよい。また、リサイズ前の情報とリサイズ後の情報のいずれであってもよいようにしてもよい。その場合、有効領域または無効領域がリサイズ前の情報であるかリサイズ後の情報であるかを示すフラグ情報をシグナリングするようにしてもよい。
　　＜方法４－３＞
　サブピクチャレンダリング情報をシグナリングするファイルのファイルフォーマットは任意であり、ISOBMFFに限定されない。サブピクチャレンダリング情報は、任意のファイルフォーマットのファイルにおいてシグナリングすることができる。例えば、図３２の表の上から７番目の段に示されるように、サブピクチャレンダリング情報をマトリョーシカメディアコンテナに格納してもよい（方法４－３）。マトリョーシカメディアコンテナは、非特許文献７に記載のファイルフォーマットである。図４２は、このマトリョーシカメディアコンテナの主な構成例を示す図である。
　上述した方法４、方法４変形例１、および方法４－１の場合、SubpictureMappingBoxは、Track Entry elementに新しくSubpictureMapping elementとしてシグナルする。また、SubpictureSizeEntryは、Track Entry elementに新しくSubpictureSizeEntry elementとしてシグナルする。
　上述した方法４変形例２の場合、上述したSubpictureMapping elementに加え、codingnameは、Track Entry elementのCodecIDおよびCodecNameでシグナルし、blockデータとしてSubpicSizeMetaDataSampleを格納する。
　上述した方法４－２、方法４－２－１、方法４－２－１－１においても、Track Entry element、Track Entry elementのCodecIDおよびCodecName、blockデータを上述の場合と同様に定義し、格納することができる。
　　＜方法５＞
　また、図３２の表の上から８番目の段に示されるように、サブピクチャレンダリング情報を、非特許文献６に記載の技術を用いてMPEG DASH（Moving Picture Experts Group phase Dynamic Adaptive Streaming over HTTP）のMPD（Media Presentation Description）ファイルに格納してもよい（方法５）。
　例えば、有効領域情報存在情報を定義し、MPDファイルのSupplementalPropertyでシグナルする。この有効領域情報存在情報は、DASHセグメントファイル中に有効領域情報が含まれるか否かを示す情報である。図４３にそのMPDファイルの記述例を示す。図４３に示されるように、SupplementalProperty schemeIdUri=“display_area_exist”とし、AdaptationSetでシグナルする。このSupplementalPropertyが存在する場合、そのセグメントファイルに有効領域情報が含まれることを意味する。
　このようにすることにより、復号側装置は、セグメントファイル選択の際に有効領域情報を利用できない場合、選択候補から外すことができる。
　なお、AdaptationSetの代わりに、RepresentationやSubRepresentationにおいて有効領域情報存在情報をシグナルしてもよい。
　また、AdaptationSet等でシグナルされる@codecsを用いてシグナルしてもよい。この場合、有効領域情報を利用することを含むISOBMFFのbrand、例えば”disp”を定義し、@codecs=’resv.disp.vvc1’といったようにシグナルする。また、有効領域情報を含むvideo profile、例えば”pdsp”を定義し、@mimeType=’video/mp4 profiles=“pdsp”’とシグナルしてもよい。
　　＜方法５－１＞
　また、図３２の表の最下段に示されるように、サブピクチャレンダリング情報としてサブピクチャリサンプルフラグをMPDファイルでシグナリングしてもよい（方法５－１）。このサブピクチャリサンプルフラグは、DASHセグメントファイル中にリサイズ情報が含まれるか否かを示すフラグ情報である。例えば、サブピクチャリサンプルフラグを定義し、MPDファイルのSupplementalPropertyでシグナルする。図４４にそのMPDファイルの記述例を示す。図４４に示されるように、SupplementalPropertyのschemeIdUri=“subpicture_is_resampled_flag”とし、AdaptationSetでシグナルする。このSupplementalPropertyが存在する場合には、そのセグメントファイルに含まれるピクチャの一部をリサイズする必要があることを意味する。
　このようにすることにより、復号側装置は、セグメントファイル選択の際にリサイズできない場合、選択候補から外すことができる。
　なお、AdaptationSetの代わりに、RepresentationやSubRepresentationにおいてサブピクチャリサンプルフラグをシグナルしてもよい。
　また、AdaptationSet等でシグナルされる@codecsを用いてシグナルしてもよい。この場合、リサイズ情報を利用することを含むISOBMFFのbrand、例えば”disp”を定義し、@codecs=’resv.disp.vvc1’といったようにシグナルする。また、リサイズ情報を含むvideo profile、例えば”pdsp”を定義し、@mimeType=’video/mp4 profiles=“pdsp”’とシグナルしてもよい。
　＜８．第５の実施の形態＞
　　＜画像処理システム＞
　＜７．サブピクチャの画像の解像度制御３＞において説明した本技術の各種方法（方法４、方法４－１、方法４－１－１、方法４－２、方法４－２－１、方法４－２－１－１、方法４－３、方法５、方法５－１、並びに、各方法の変形例や応用例等）は、任意の装置において適用することができる。例えば画像処理システムに適用することができる。図４５は、本技術を適用した画像処理システムの一態様の構成の一例を示すブロック図である。
　図４５に示される画像処理システム５００は、画像データを配信するシステムである。画像処理システム５００において、画像データは、例えば非特許文献１に記載のVVC等の動画像符号化方式を用いて、ピクチャをサブピクチャに分割して符号化され、そのビットストリームがISOBMFF等の配信用ファイルフォーマットのファイルに格納されて配信される。また、このビットストリームの配信には、MPEG DASH等の配信技術を適用することもできる。
　図４５に示されるように、画像処理システム５００は、ファイル生成装置５０１、配信サーバ５０２、およびクライアント装置５０３を有する。ファイル生成装置５０１、配信サーバ５０２、およびクライアント装置５０３は、ネットワーク５０４を介して互いに通信可能に接続される。
　ファイル生成装置５０１は、符号化側装置の一例であり、画像データを符号化し、そのビットストリームを格納するファイルを生成する。ファイル生成装置５０１は、生成したファイルを、ネットワーク５０４を介して配信サーバ５０２に供給する。
　配信サーバ５０２は、そのファイルの配信に関する処理を行う。例えば、配信サーバ５０２は、ファイル生成装置５０１から供給されるファイルを取得し、記憶する。また、配信サーバ５０２は、クライアント装置５０３からの配信要求を受け付ける。配信サーバ５０２は、その配信要求を受け付けると、要求されたファイルを読み出し、ネットワーク５０４を介して、要求元であるクライアント装置５０３に供給する。
　クライアント装置５０３は、復号側装置の一例であり、ネットワーク５０４を介して配信サーバ５０２にアクセスし、配信サーバ５０２が蓄積しているファイルの中から所望のファイルを要求する。配信サーバ５０２がその配信要求に応じてファイルを配信すると、クライアント装置５０３は、そのファイルを取得し、復号し、レンダリングを行って画像を表示する。
　ネットワーク５０４は、任意の通信媒体である。例えば、ネットワーク５０４は、インターネットやLANを含み得る。また、ネットワーク５０４は、有線通信網により構成されてもよいし、無線通信網により構成されてもよいし、有線通信網および無線通信網の組み合わせにより構成されてもよい。
　なお、図４５においては、画像処理システム５００の構成例として、ファイル生成装置５０１、配信サーバ５０２、クライアント装置５０３を１台ずつ示しているが、これらの装置の数は任意である。画像処理システム５００が、ファイル生成装置５０１、配信サーバ５０２、クライアント装置５０３のそれぞれを複数有していてもよい。また、ファイル生成装置５０１、配信サーバ５０２、クライアント装置５０３の台数が互いに一致してもよいし、互いに異なっていてもよい。また、画像処理システム５００が、ファイル生成装置５０１、配信サーバ５０２、およびクライアント装置５０３以外の装置を有してもよい。
　　＜ファイル生成装置＞
　図４６は、ファイル生成装置５０１の主な構成例を示すブロック図である。図４６に示されるように、ファイル生成装置５０１は、制御部５１１およびファイル生成処理部５１２を有する。制御部５１１は、ファイル生成処理部５１２を制御し、ファイルの生成に関する制御を行う。ファイル生成処理部５１２は、ファイル生成に関する処理を行う。
　ファイル生成処理部５１２は、前処理部５２１、符号化部５２２、ファイル生成部５２３、記憶部５２４、およびアップロード部５２５を有する。
　前処理部５２１は、ファイル生成装置５０１に入力された画像データに基づいて、ファイルにおいてシグナリングするサブピクチャレンダリング情報を生成する。その際、前処理部５２１は、サブピクチャレンダリング情報として、＜７．サブピクチャの画像の解像度制御３＞において上述した各種情報を生成する。例えば、前処理部５２１は、サブピクチャマッピング情報、レンダリング時の表示サイズ情報、再サンプリングされたサイズ情報、サブピクチャリサンプルフラグ、リサンプリングフラグ、有効領域情報、有効領域情報存在フラグ、サブピクチャ有効領域情報存在フラグ等を生成し得る。
　前処理部５２１は、生成したサブピクチャレンダリング情報をファイル生成部５２３に供給する。また、前処理部５２１は、画像データ等を符号化部５２２に供給する。
　符号化部５２２は、前処理部５２１から供給される画像データを符号化し、ビットストリームを生成する。符号化部５２２は、＜１．サブピクチャの画像の解像度制御１＞乃至＜６．第４の実施の形態＞において上述した本技術の各種方法を適用し、この符号化を行うことができる。つまり、この符号化部５２２には、画像符号化装置１００（図１９）を適用し得る。換言するに、符号化部５２２は、画像符号化装置１００と同様の構成を有し、同様の処理を行うことができる。符号化部５２２は、生成したビットストリームをファイル生成部５２３に供給する。
　ファイル生成部５２３は、符号化部５２２から供給されるビットストリームを配信用ファイルフォーマットのファイルに格納する。例えば、ファイル生成部５２３は、このビットストリームを格納するISOBMFFファイルを生成する。さらに、ファイル生成部５２３は、＜７．サブピクチャの画像の解像度制御３＞において上述した本技術を適用してファイルを生成する。つまり、ファイル生成部５２３は、そのファイルに、前処理部５２１から供給されるサブピクチャレンダリング情報を格納する。つまり、ファイル生成部５２３は、前処理部５２１が生成した、上述した各種情報をファイルにおいてシグナリングする。ファイル生成部５２３は、生成したファイルを記憶部５２４に供給する。
　記憶部５２４は、ファイル生成部５２３から供給されるファイルを記憶する。アップロード部５２５は、所定のタイミングにおいて記憶部５２４からファイルを取得し、配信サーバ５０２に供給する（アップロードする）。
　以上のように、ファイル生成装置５０１は、サブピクチャレンダリング情報をファイルにおいてシグナリングさせる。したがって、復号側装置であるクライアント装置５０３は、そのファイルからそのサブピクチャレンダリング情報を取得し、レンダリングに利用することができる。したがって、ファイル生成装置５０１からそのレンダリングを制御することができるので、クライアント装置５０３は、より適切にレンダリングを行うことができる。例えば、クライアント装置５０３は、より高画質な表示用画像を生成することができる。換言するに、ファイル生成装置５０１は、同党の画質の表示用画像を生成するための符号量の増大を抑制することができる。
　　＜クライアント装置＞
　図４７は、クライアント装置５０３の主な構成例を示すブロック図である。クライアント装置５０３は、制御部５５１および再生処理部５５２を有する。制御部５５１は、再生処理部５５２を制御し、動画像の再生に関する制御を行う。再生処理部５５２は、動画像の再生に関する処理を行う。
　再生処理部５５２は、ファイル取得部５６１、ファイル処理部５６２、復号部５６３、レンダリング部５６４、表示部５６５、計測部５６６、および表示制御部５６７を有する。
　ファイル取得部５６１は、配信サーバ５０２から配信されるファイルの取得に関する処理を行う。例えば、ファイル取得部５６１は、制御部５５１の制御に基づいて、配信サーバ５０２に対して所望のファイルの配信を要求する。また、ファイル取得部５６１は、その要求に応じて配信されたファイルを取得し、それをファイル処理部５６２に供給する。
　ファイル処理部５６２は、ファイルに関する処理を行う。例えば、ファイル処理部５６２は、ファイル取得部５６１から供給されるファイルを取得する。このファイルは、ファイル生成装置５０１において生成されたファイルである。つまり、このファイルには、画像データの符号化データを含むビットストリームが格納されている。ファイル処理部５６２は、ファイルからそのビットストリームを抽出し、復号部５６３に供給する。
　また、このファイルは、例えば、ISOBMFFのような配信用ファイルフォーマットのファイルであり、サブピクチャレンダリング情報がシグナリングされている。ファイル処理部５６２は、＜７．サブピクチャの画像の解像度制御３＞において上述した本技術を適用して処理を行い、ファイルからそのサブピクチャレンダリング情報を抽出する。例えば、ファイル処理部５６２は、サブピクチャレンダリング情報として、＜７．サブピクチャの画像の解像度制御３＞において上述した各種情報を抽出する。例えば、ファイル処理部５６２は、サブピクチャマッピング情報、レンダリング時の表示サイズ情報、再サンプリングされたサイズ情報、サブピクチャリサンプルフラグ、リサンプリングフラグ、有効領域情報、有効領域情報存在フラグ、サブピクチャ有効領域情報存在フラグ等を抽出し得る。ファイル処理部５６２は、抽出したサブピクチャレンダリング情報をレンダリング部５６４に供給する。
　復号部５６３は、ファイル処理部５６２から供給されるビットストリームを復号し、復号画像を生成する。その際、復号部５６３は、＜１．サブピクチャの画像の解像度制御１＞乃至＜６．第４の実施の形態＞において上述した本技術の各種方法を適用し、この復号を行うことができる。復号部５６３は、生成した復号画像をレンダリング部５６４に供給する。
　レンダリング部５６４は、復号部５６３から供給される復号画像を用いてレンダリングを行い、表示用画像を生成する。その際、レンダリング部５６４は、＜７．サブピクチャの画像の解像度制御３＞において上述した本技術を適用して処理を行うことができる。つまり、レンダリング部５６４は、ファイル処理部５６２から供給されるサブピクチャレンダリング情報を用いてそのレンダリングを行うことができる。例えば、レンダリング部５６４は、サブピクチャレンダリング情報として、＜７．サブピクチャの画像の解像度制御３＞において上述した各種情報を用いてレンダリングを行うことができる。例えば、レンダリング部５６４は、サブピクチャマッピング情報、レンダリング時の表示サイズ情報、再サンプリングされたサイズ情報、サブピクチャリサンプルフラグ、リサンプリングフラグ、有効領域情報、有効領域情報存在フラグ、サブピクチャ有効領域情報存在フラグ等を用いてレンダリングを行うことができる。レンダリング部５６４は、このようなレンダリングにより生成した表示用画像を表示部５６５に供給する。
　表示部５６５は、画像を表示するモニタを有し、レンダリング部５６４から供給される表示用画像をそのモニタに表示する。計測部５６６は、例えば時間等任意のパラメータを計測し、その計測結果をファイル処理部５６２に供給する。表示制御部５６７は、ファイル処理部およびレンダリング部５４を制御することにより、表示部５６５による画像表示を制御する。
　点線５７１で囲まれる復号部５６３およびレンダリング部５６４には、画像復号装置２００（図２１）を適用し得る。復号部５６３およびレンダリング部５６４は、画像復号装置２００と同様の構成を有し、同様の処理を行うことができる。つまり、レンダリング部５６４は、ファイル処理部５６２により抽出されたサブピクチャレンダリング情報を用いてレンダリングを行うこともできるし、ビットストリームに含まれるサブピクチャレンダリング情報を復号部５６３から取得し、そのサブピクチャレンダリング情報を用いてレンダリングを行うこともできる。
　以上のように、クライアント装置５０３は、ファイルにおいてシグナリングされたサブピクチャレンダリング情報を用いてレンダリングを行うことができる。したがって、クライアント装置５０３は、ファイル生成装置５０１からそのレンダリングを制御することができるので、より適切にレンダリングを行うことができる。例えば、クライアント装置５０３は、より高画質な表示用画像を生成することができる。換言するに、ファイル生成装置５０１は、同党の画質の表示用画像を生成するための符号量の増大を抑制することができる。
　　＜ファイル生成処理の流れ＞
　次に、ファイル生成装置５０１により実行されるファイル生成処理の流れの例を、図４８のフローチャートを参照して説明する。
　ファイル生成処理が開始されると、ファイル生成装置５０１の前処理部５２１は、ステップＳ５１１において、サブピクチャレンダリング情報として、＜７．サブピクチャの画像の解像度制御３＞において上述した各種情報を生成する。
　ステップＳ５１２において、符号化部５２２は、画像データを符号化し、ビットストリームを生成する。符号化部５２２は、＜１．サブピクチャの画像の解像度制御１＞乃至＜６．第４の実施の形態＞において上述した本技術の各種方法を適用してこの符号化を行う。つまり、符号化部５２２は、図２０の符号化処理または図３０の符号化処理を行い、ビットストリームを生成する。
　ステップＳ５１３において、ファイル生成部５２３は、そのビットストリームとサブピクチャレンダリング情報とを用いてファイルを生成する。ファイル生成部５２３は、＜７．サブピクチャの画像の解像度制御３＞において上述した本技術を適用してファイルを生成する。つまり、ファイル生成部５２３は、そのファイルに、前処理部５２１から供給されるサブピクチャレンダリング情報を格納する。
　ステップＳ５１３が終了すると、ファイル生成処理が終了する。
　以上のように各処理を実行することにより、ファイル生成装置５０１は、サブピクチャレンダリング情報をファイルにおいてシグナリングさせる。したがって、復号側装置であるクライアント装置５０３は、そのファイルからそのサブピクチャレンダリング情報を取得し、レンダリングに利用することができる。したがって、ファイル生成装置５０１からそのレンダリングを制御することができるので、クライアント装置５０３は、より適切にレンダリングを行うことができる。例えば、クライアント装置５０３は、より高画質な表示用画像を生成することができる。換言するに、ファイル生成装置５０１は、同党の画質の表示用画像を生成するための符号量の増大を抑制することができる。
　　＜再生処理の流れ＞
　次に、クライアント装置５０３により実行される再生処理の流れの例を、図４９のフローチャートを参照して説明する。
　再生処理が開始されると、クライアント装置５０３のファイル取得部５６１は、ステップＳ５６１において、配信サーバ５０２からファイルを取得する。
　ステップＳ５６２において、ファイル処理部５６２は、ステップＳ５６１において取得したファイルからビットストリームとサブピクチャレンダリング情報を抽出する。ファイル処理部５６２は、＜７．サブピクチャの画像の解像度制御３＞において上述した本技術を適用して処理を行い、ファイルからそのサブピクチャレンダリング情報を抽出する。例えば、ファイル処理部５６２は、サブピクチャレンダリング情報として、＜７．サブピクチャの画像の解像度制御３＞において上述した各種情報を抽出する。
　ステップＳ５６３において、復号部５６３は、ビットストリームを復号する。その際、復号部５６３は、＜１．サブピクチャの画像の解像度制御１＞乃至＜６．第４の実施の形態＞において上述した本技術の各種方法を適用し、この復号を行うことができる。また、レンダリング部５６４は、サブピクチャレンダリング情報を用いて復号データをレンダリングし、表示用画像を生成する。その際、レンダリング部５６４は、＜７．サブピクチャの画像の解像度制御３＞において上述した本技術を適用して処理を行うことができる。
　ステップＳ５６４において、表示部５６５は、ステップＳ５６３の処理により生成された表示用画像を表示する。
　ステップＳ５６４が終了すると、再生処理が終了する。
　以上のように各処理を実行することにより、クライアント装置５０３は、シグナリングされたファイルからそのサブピクチャレンダリング情報を取得し、レンダリングに利用することができる。したがって、クライアント装置５０３は、より適切にレンダリングを行うことができる。例えば、クライアント装置５０３は、より高画質な表示用画像を生成することができる。換言するに、ファイル生成装置５０１は、同党の画質の表示用画像を生成するための符号量の増大を抑制することができる。
　＜９．付記＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図５０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図５０に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜本技術の適用対象＞
　本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、変換（逆変換）、量子化（逆量子化）、符号化（復号）、予測等、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。また、上述した本技術と矛盾しない限り、これらの処理の内の一部を省略してもよい。
　また本技術は、複数の視点（ビュー（view））の画像を含む多視点画像の符号化・復号を行う多視点画像符号化・復号システムに適用することができる。その場合、各視点（ビュー（view））の符号化・復号において、本技術を適用するようにすればよい。
　さらに本技術は、所定のパラメータについてスケーラビリティ（scalability）機能を有するように複数レイヤ化（階層化）された階層画像の符号化・復号を行う階層画像符号化（スケーラブル符号化）・復号システムに適用することができる。その場合、各階層（レイヤ）の符号化・復号において、本技術を適用するようにすればよい。
　また、以上においては、本技術の適用例として、画像符号化装置１００、画像復号装置２００、並びに、画像処理システム５００（ファイル生成装置５０１およびクライアント装置５０３）について説明したが、本技術は、任意の構成に適用することができる。
　例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に応用され得る。
　また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　　＜本技術を適用可能な分野・用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
　　＜その他＞
　なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
　また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
　なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　ピクチャを分割した部分領域であるサブピクチャの内の、基準画素の位置が時間方向に固定されている前記サブピクチャである固定サブピクチャの画像が時間方向に可変な解像度で符号化された符号化データを復号し、前記固定サブピクチャの前記解像度の前記画像を生成する復号部
　を備える画像処理装置。
　（２）　前記ピクチャ毎に設定される、前記解像度を示す情報であるサブピクチャ解像度情報を解析する解析部をさらに備え、
　前記復号部は、前記符号化データを復号し、前記固定サブピクチャの、前記解析部により解析された前記サブピクチャ解像度情報により示される前記解像度の前記画像を生成する
　（１）に記載の画像処理装置。
　（３）　前記解析部は、シーケンス毎に設定される、前記サブピクチャの前記基準画素の位置を示す情報であるサブピクチャ基準画素位置情報、前記サブピクチャの最大解像度を示す情報であるサブピクチャ最大解像度情報、および、前記サブピクチャの識別情報の一覧であるサブピクチャIDマッピング情報を解析し、
　前記復号部は、前記解析部により解析された前記サブピクチャ基準画素位置情報、前記サブピクチャ最大解像度情報、および前記サブピクチャIDマッピング情報に基づいて前記符号化データを復号し、前記固定サブピクチャの前記解像度の前記画像を生成する
　（２）に記載の画像処理装置。
　（４）　前記解析部は、前記サブピクチャの識別情報の一覧であるサブピクチャIDマッピング情報がシーケンス内において変更されないかを示すフラグ情報であるサブピクチャID固定フラグを解析し、
　前記復号部は、前記解析部により解析された前記サブピクチャID固定フラグに基づいて前記符号化データを復号し、前記固定サブピクチャの前記解像度の前記画像を生成する
　（２）または（３）に記載の画像処理装置。
　（５）　前記解析部は、シーケンス内のいずれかの前記ピクチャに、前記サブピクチャに含まれない領域である非サブピクチャ領域が存在するかを示すフラグ情報である非サブピクチャ領域存在フラグを解析し、
　前記復号部は、前記解析部により解析された前記非サブピクチャ領域存在フラグに基づいて前記符号化データを復号し、前記固定サブピクチャの前記解像度の前記画像を生成する
　（２）乃至（４）のいずれかに記載の画像処理装置。
　（６）　前記解析部は、前記ピクチャの、画素データが存在する領域である有効領域に関する情報である有効領域情報を解析し、
　前記解析部により解析された前記有効領域情報に基づいて前記復号部により得られた前記有効領域の画像データをレンダリングし、表示用画像を生成するレンダリング部をさらに備える
　（２）乃至（５）のいずれかに記載の画像処理装置。
　（７）　前記解析部は、前記ピクチャに、符号化データを持たない画素が存在するかを示すフラグ情報である非符号化領域存在フラグを解析し、
　前記復号部は、前記解析部により解析された前記非符号化領域存在フラグに基づいて前記符号化データを復号し、前記固定サブピクチャの前記解像度の前記画像を生成する
　（２）乃至（６）のいずれかに記載の画像処理装置。
　（８）　前記解析部は、前記ピクチャ毎に設定される、前記サブピクチャの前記基準画素の位置を示す位置情報を解析し、
　前記復号部は、前記解析部により解析された前記位置情報に基づいて前記符号化データを復号し、前記固定サブピクチャの前記解像度の前記画像を生成する
　（２）乃至（７）のいずれかに記載の画像処理装置。
　（９）　前記解析部は、全ての画素が前記符号化データを持たない前記サブピクチャであるかを示すフラグ情報である無スライスデータフラグを解析し、
　前記復号部は、前記解析部により解析された前記無スライスデータフラグに基づいて前記符号化データを復号し、前記固定サブピクチャの前記解像度の前記画像を生成する
　（２）乃至（８）のいずれかに記載の画像処理装置。
　（１０）　前記解析部は、前記固定サブピクチャを含むかを示すフラグ情報であるRPR適用サブピクチャイネーブルフラグを解析し、
　前記復号部は、前記解析部により解析された前記RPR適用サブピクチャイネーブルフラグに基づいて前記符号化データを復号し、前記固定サブピクチャの前記解像度の前記画像を生成する
　（２）乃至（９）のいずれかに記載の画像処理装置。
　（１１）　前記解析部は、前記固定サブピクチャの前記解像度の前記画像の領域であるサブピクチャウィンドウに関する情報であるサブピクチャウィンドウ情報を解析し、
　前記解析部により解析された前記サブピクチャウィンドウ情報に基づいて前記固定サブピクチャの前記解像度の前記画像をレンダリングし、表示用画像を生成するレンダリング部をさらに備える
　（２）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）　前記サブピクチャウィンドウ情報は、前記サブピクチャウィンドウが存在するかを示すフラグ情報であるサブピクチャウィンドウ存在フラグを含む
　（１１）に記載の画像処理装置。
　（１３）　前記解析部は、前記サブピクチャウィンドウの符号化データの復号制御に関するフラグ情報であるサブピクチャウィンドウ復号制御フラグを解析し、
　前記復号部は、前記解析部により解析された前記サブピクチャウィンドウ復号制御フラグに基づいて前記符号化データを復号し、前記固定サブピクチャの前記解像度の前記画像を生成する
　（１１）または（１２）に記載の画像処理装置。
　（１４）　前記解析部は、前記サブピクチャウィンドウの最大サイズを示す情報であるサブピクチャウィンドウ最大サイズ情報を解析し、
　前記復号部は、前記解析部により解析された前記サブピクチャウィンドウ最大サイズ情報に基づいて前記符号化データを復号し、前記固定サブピクチャの前記解像度の前記画像を生成する
　（１１）乃至（１３）のいずれかに記載の画像処理装置。
　（１５）　前記解析部は、参照サブピクチャウィンドウのリサンプリングが必要な前記サブピクチャウィンドウに関する情報である参照サブピクチャウィンドウリサンプリング情報を解析し、
　前記復号部は、前記解析部により解析された前記参照サブピクチャウィンドウリサンプリング情報に基づいて前記符号化データを復号し、前記固定サブピクチャの前記解像度の前記画像を生成する
　（１１）乃至（１４）のいずれかに記載の画像処理装置。
　（１６）　前記解析部は、参照ピクチャの解像度の再スケーリングを禁止するかを示すフラグ情報である再スケーリング禁止フラグを解析し、
　前記復号部は、前記解析部により解析された前記再スケーリング禁止フラグに基づいて前記符号化データを復号し、前記固定サブピクチャの前記解像度の前記画像を生成する
　（１１）乃至（１５）のいずれかに記載の画像処理装置。
　（１７）　ファイルから、前記符号化データと、前記サブピクチャのレンダリングに関する情報であるサブピクチャレンダリング情報とを抽出する抽出部と、
　前記抽出部により前記ファイルから抽出された前記サブピクチャレンダリング情報に基づいて、前記抽出部により前記ファイルから抽出された前記符号化データを前記復号部が復号して生成された前記固定サブピクチャの前記解像度の前記画像をレンダリングし、表示用画像を生成するレンダリング部と
　をさらに備える
　（１）乃至（１６）のいずれかに記載の画像処理装置。
　（１８）　ピクチャを分割した部分領域であるサブピクチャの内の、基準画素の位置が時間方向に固定されている前記サブピクチャである固定サブピクチャの画像が時間方向に可変な解像度で符号化された符号化データを復号し、前記固定サブピクチャの前記解像度の前記画像を生成する
　画像処理方法。
　（２１）　ピクチャを分割した部分領域であるサブピクチャの内の、基準画素の位置が時間方向に固定されている前記サブピクチャである固定サブピクチャの画像を、時間方向に可変な解像度で符号化し、符号化データを生成する符号化部
　を備える画像処理装置。
　（２２）　メタデータとして、前記解像度を示す情報であるサブピクチャ解像度情報を前記ピクチャ毎に生成するメタデータ生成部と、
　前記符号化部により生成された前記符号化データと、前記メタデータ生成部により生成された前記サブピクチャ解像度情報とを含むビットストリームを生成するビットストリーム生成部と
　をさらに備える
　（２１）に記載の画像処理装置。
　（２３）　前記メタデータ生成部は、前記メタデータとして、前記サブピクチャの前記基準画素の位置を示す情報であるサブピクチャ基準画素位置情報、前記サブピクチャの最大解像度を示す情報であるサブピクチャ最大解像度情報、および、前記サブピクチャの識別情報の一覧であるサブピクチャIDマッピング情報をシーケンス毎に生成し、
　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記サブピクチャ基準画素位置情報、前記サブピクチャ最大解像度情報、および、前記サブピクチャIDマッピング情報を含む前記ビットストリームを生成する
　（２２）に記載の画像処理装置。
　（２４）　前記メタデータ生成部は、前記メタデータとして、前記サブピクチャの識別情報の一覧であるサブピクチャIDマッピング情報がシーケンス内において変更されないかを示すフラグ情報であるサブピクチャID固定フラグを生成し、
　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記サブピクチャID固定フラグを含む前記ビットストリームを生成する
　（２２）または（２３）に記載の画像処理装置。
　（２５）　前記メタデータ生成部は、前記メタデータとして、シーケンス内のいずれかの前記ピクチャに、前記サブピクチャに含まれない領域である非サブピクチャ領域が存在するかを示すフラグ情報である非サブピクチャ領域存在フラグを生成し、
　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記非サブピクチャ領域存在フラグを含む前記ビットストリームを生成する
　（２２）乃至（２４）のいずれかに記載の画像処理装置。
　（２６）　前記メタデータ生成部は、前記メタデータとして、前記ピクチャの、画素データが存在する領域である有効領域に関する情報である有効領域情報を生成し、
　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記有効領域情報を含む前記ビットストリームを生成する
　（２２）乃至（２５）のいずれかに記載の画像処理装置。
　（２７）　前記メタデータ生成部は、前記メタデータとして、前記ピクチャに、符号化データを持たない画素が存在するかを示すフラグ情報である非符号化領域存在フラグを生成し、
　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記非符号化領域存在フラグを含む前記ビットストリームを生成する
　（２２）乃至（２６）のいずれかに記載の画像処理装置。
　（２８）　前記メタデータ生成部は、前記メタデータとして、前記サブピクチャの前記基準画素の位置を示す位置情報を前記ピクチャ毎に生成し、
　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記位置情報を含む前記ビットストリームを生成する
　（２２）乃至（２７）のいずれかに記載の画像処理装置。
　（２９）　前記メタデータ生成部は、全ての画素が前記符号化データを持たない前記サブピクチャであるかを示すフラグ情報である無スライスデータフラグを生成し、
　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記無スライスデータフラグを含む前記ビットストリームを生成する
　（２２）乃至（２８）のいずれかに記載の画像処理装置。
　（３０）　前記メタデータ生成部は、前記固定サブピクチャを含むかを示すフラグ情報であるRPR適用サブピクチャイネーブルフラグを生成し、
　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記RPR適用サブピクチャイネーブルフラグを含む前記ビットストリームを生成する
　（２２）乃至（２９）のいずれかに記載の画像処理装置。
　（３１）　前記メタデータ生成部は、前記固定サブピクチャの前記解像度の前記画像の領域であるサブピクチャウィンドウに関する情報であるサブピクチャウィンドウ情報を生成し、
　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記サブピクチャウィンドウ情報を含む前記ビットストリームを生成する
　（２２）乃至（３０）のいずれかに記載の画像処理装置。
　（３２）　前記サブピクチャウィンドウ情報は、前記サブピクチャウィンドウが存在するかを示すフラグ情報であるサブピクチャウィンドウ存在フラグを含む
　（３１）に記載の画像処理装置。
　（３３）　前記メタデータ生成部は、前記サブピクチャウィンドウの符号化データの復号制御に関するフラグ情報であるサブピクチャウィンドウ復号制御フラグを生成し、
　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記サブピクチャウィンドウ復号制御フラグを含む前記ビットストリームを生成する
　（３１）または（３２）に記載の画像処理装置。
　（３４）　前記メタデータ生成部は、前記サブピクチャウィンドウの最大サイズを示す情報であるサブピクチャウィンドウ最大サイズ情報を生成し、
　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記サブピクチャウィンドウ最大サイズ情報を含む前記ビットストリームを生成する
　（３１）乃至（３３）のいずれかに記載の画像処理装置。
　（３５）　前記メタデータ生成部は、参照サブピクチャウィンドウのリサンプリングが必要な前記サブピクチャウィンドウに関する情報である参照サブピクチャウィンドウリサンプリング情報を生成し、
　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記参照サブピクチャウィンドウリサンプリング情報を含む前記ビットストリームを生成する
　（３１）乃至（３４）のいずれかに記載の画像処理装置。
　（３６）　前記メタデータ生成部は、参照ピクチャの解像度の再スケーリングを禁止するかを示すフラグ情報である再スケーリング禁止フラグを生成し、
　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記再スケーリング禁止フラグを含む前記ビットストリームを生成する
　（３１）乃至（３５）のいずれかに記載の画像処理装置。
　（３７）　前記サブピクチャのレンダリングに関する情報であるサブピクチャレンダリング情報を生成する前処理部と、
　前記前処理部により生成された前記サブピクチャレンダリング情報と、前記符号化部により生成された前記符号化データとを格納するファイルを生成するファイル生成部と
　をさらに備える
　（２１）乃至（３６）のいずれかに記載の画像処理装置。
　（３８）　ピクチャを分割した部分領域であるサブピクチャの内の、基準画素の位置が時間方向に固定されている前記サブピクチャである固定サブピクチャの画像を、時間方向に可変な解像度で符号化し、符号化データを生成する
　画像処理方法。
　１００　画像符号化装置，　１０１　符号化部，　１０２　メタデータ生成部，　１０３　ビットストリーム生成部，　２００　画像復号装置，　２０１　解析部，　２０２　抽出部，　２０３　復号部，　２０４　レンダリング部，　５００　画像処理システム，　５０１　ファイル生成部，　５０２　配信サーバ，　５０３　クライアント装置，　５１１　制御部，　５１２　ファイル生成処理部，　５２１　前処理部，　５２２　符号化部，　５２３　ファイル生成部，　５２４　記録部，　５２５　アップロード部，　５５１　制御部，　５５２　再生処理部，　５６１　ファイル取得部，　５６２　ファイル処理部，　５６３　復号部，　５６４　レンダリング部，　５６５　表示部，　５６６　計測部，　５６７　表示制御部

Claims (20)

  1. 　ピクチャを分割した部分領域であるサブピクチャの内の、基準画素の位置が時間方向に固定されている前記サブピクチャである固定サブピクチャの画像を、時間方向に可変な解像度で符号化し、符号化データを生成する符号化部
    　を備える画像処理装置。
  2. 　メタデータとして、前記解像度を示す情報であるサブピクチャ解像度情報を前記ピクチャ毎に生成するメタデータ生成部と、
    　前記符号化部により生成された前記符号化データと、前記メタデータ生成部により生成された前記サブピクチャ解像度情報とを含むビットストリームを生成するビットストリーム生成部と
    　をさらに備える
    　請求項１に記載の画像処理装置。
  3. 　前記メタデータ生成部は、前記メタデータとして、前記サブピクチャの前記基準画素の位置を示す情報であるサブピクチャ基準画素位置情報、前記サブピクチャの最大解像度を示す情報であるサブピクチャ最大解像度情報、および、前記サブピクチャの識別情報の一覧であるサブピクチャIDマッピング情報をシーケンス毎に生成し、
    　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記サブピクチャ基準画素位置情報、前記サブピクチャ最大解像度情報、および、前記サブピクチャIDマッピング情報を含む前記ビットストリームを生成する
    　請求項２に記載の画像処理装置。
  4. 　前記メタデータ生成部は、前記メタデータとして、前記サブピクチャの識別情報の一覧であるサブピクチャIDマッピング情報がシーケンス内において変更されないかを示すフラグ情報であるサブピクチャID固定フラグを生成し、
    　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記サブピクチャID固定フラグを含む前記ビットストリームを生成する
    　請求項２に記載の画像処理装置。
  5. 　前記メタデータ生成部は、前記メタデータとして、シーケンス内のいずれかの前記ピクチャに、前記サブピクチャに含まれない領域である非サブピクチャ領域が存在するかを示すフラグ情報である非サブピクチャ領域存在フラグを生成し、
    　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記非サブピクチャ領域存在フラグを含む前記ビットストリームを生成する
    　請求項２に記載の画像処理装置。
  6. 　前記メタデータ生成部は、前記メタデータとして、前記ピクチャの、画素データが存在する領域である有効領域に関する情報である有効領域情報を生成し、
    　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記有効領域情報を含む前記ビットストリームを生成する
    　請求項２に記載の画像処理装置。
  7. 　前記メタデータ生成部は、前記メタデータとして、前記ピクチャに、符号化データを持たない画素が存在するかを示すフラグ情報である非符号化領域存在フラグを生成し、
    　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記非符号化領域存在フラグを含む前記ビットストリームを生成する
    　請求項２に記載の画像処理装置。
  8. 　前記メタデータ生成部は、前記メタデータとして、前記サブピクチャの前記基準画素の位置を示す位置情報を前記ピクチャ毎に生成し、
    　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記位置情報を含む前記ビットストリームを生成する
    　請求項２に記載の画像処理装置。
  9. 　前記メタデータ生成部は、全ての画素が前記符号化データを持たない前記サブピクチャであるかを示すフラグ情報である無スライスデータフラグを生成し、
    　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記無スライスデータフラグを含む前記ビットストリームを生成する
    　請求項２に記載の画像処理装置。
  10. 　前記メタデータ生成部は、前記固定サブピクチャを含むかを示すフラグ情報であるRPR適用サブピクチャイネーブルフラグを生成し、
    　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記RPR適用サブピクチャイネーブルフラグを含む前記ビットストリームを生成する
    　請求項２に記載の画像処理装置。
  11. 　前記メタデータ生成部は、前記固定サブピクチャの前記解像度の前記画像の領域であるサブピクチャウィンドウに関する情報であるサブピクチャウィンドウ情報を生成し、
    　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記サブピクチャウィンドウ情報を含む前記ビットストリームを生成する
    　請求項２に記載の画像処理装置。
  12. 　前記サブピクチャウィンドウ情報は、前記サブピクチャウィンドウが存在するかを示すフラグ情報であるサブピクチャウィンドウ存在フラグを含む
    　請求項１１に記載の画像処理装置。
  13. 　前記メタデータ生成部は、前記サブピクチャウィンドウの符号化データの復号制御に関するフラグ情報であるサブピクチャウィンドウ復号制御フラグを生成し、
    　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記サブピクチャウィンドウ復号制御フラグを含む前記ビットストリームを生成する
    　請求項１１に記載の画像処理装置。
  14. 　前記メタデータ生成部は、前記サブピクチャウィンドウの最大サイズを示す情報であるサブピクチャウィンドウ最大サイズ情報を生成し、
    　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記サブピクチャウィンドウ最大サイズ情報を含む前記ビットストリームを生成する
    　請求項１１に記載の画像処理装置。
  15. 　前記メタデータ生成部は、参照サブピクチャウィンドウのリサンプリングが必要な前記サブピクチャウィンドウに関する情報である参照サブピクチャウィンドウリサンプリング情報を生成し、
    　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記参照サブピクチャウィンドウリサンプリング情報を含む前記ビットストリームを生成する
    　請求項１１に記載の画像処理装置。
  16. 　前記メタデータ生成部は、参照ピクチャの解像度の再スケーリングを禁止するかを示すフラグ情報である再スケーリング禁止フラグを生成し、
    　前記ビットストリーム生成部は、前記メタデータ生成部により生成された前記再スケーリング禁止フラグを含む前記ビットストリームを生成する
    　請求項１１に記載の画像処理装置。
  17. 　前記サブピクチャのレンダリングに関する情報であるサブピクチャレンダリング情報を生成する前処理部と、
    　前記前処理部により生成された前記サブピクチャレンダリング情報と、前記符号化部により生成された前記符号化データとを格納するファイルを生成するファイル生成部と
    　をさらに備える
    　請求項１に記載の画像処理装置。
  18. 　ピクチャを分割した部分領域であるサブピクチャの内の、基準画素の位置が時間方向に固定されている前記サブピクチャである固定サブピクチャの画像を、時間方向に可変な解像度で符号化し、符号化データを生成する
    　画像処理方法。
  19. 　ピクチャを分割した部分領域であるサブピクチャの内の、基準画素の位置が時間方向に固定されている前記サブピクチャである固定サブピクチャの画像が時間方向に可変な解像度で符号化された符号化データを復号し、前記固定サブピクチャの前記解像度の前記画像を生成する復号部
    　を備える画像処理装置。
  20. 　ピクチャを分割した部分領域であるサブピクチャの内の、基準画素の位置が時間方向に固定されている前記サブピクチャである固定サブピクチャの画像が時間方向に可変な解像度で符号化された符号化データを復号し、前記固定サブピクチャの前記解像度の前記画像を生成する
    　画像処理方法。
PCT/JP2020/046001 2019-12-13 2020-12-10 画像処理装置および方法 WO2021117802A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021564023A JPWO2021117802A1 (ja) 2019-12-13 2020-12-10
US17/781,053 US20220417499A1 (en) 2019-12-13 2020-12-10 Image processing apparatus and method
CN202080076994.9A CN114631319A (zh) 2019-12-13 2020-12-10 图像处理装置和方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962947913P 2019-12-13 2019-12-13
US62/947,913 2019-12-13
US201962951138P 2019-12-20 2019-12-20
US62/951,138 2019-12-20
US202063004010P 2020-04-02 2020-04-02
US63/004,010 2020-04-02

Publications (1)

Publication Number Publication Date
WO2021117802A1 true WO2021117802A1 (ja) 2021-06-17

Family

ID=76329873

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/046001 WO2021117802A1 (ja) 2019-12-13 2020-12-10 画像処理装置および方法

Country Status (4)

Country Link
US (1) US20220417499A1 (ja)
JP (1) JPWO2021117802A1 (ja)
CN (1) CN114631319A (ja)
WO (1) WO2021117802A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022219244A1 (en) * 2021-04-16 2022-10-20 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding
WO2024061660A1 (en) * 2022-09-19 2024-03-28 Interdigital Ce Patent Holdings, Sas Dynamic structures for volumetric data coding
WO2024089875A1 (ja) * 2022-10-28 2024-05-02 日本電信電話株式会社 配信制御システム、配信制御装置、配信制御方法、及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022028087A (ja) * 2018-12-05 2022-02-15 ソニーグループ株式会社 画像処理装置および方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019162230A1 (en) * 2018-02-20 2019-08-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Picture/video coding supporting varying resolution and/or efficiently handling region-wise packing
WO2020228692A1 (en) * 2019-05-12 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Motion prediction from temporal blocks with reference picture resampling

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019162230A1 (en) * 2018-02-20 2019-08-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Picture/video coding supporting varying resolution and/or efficiently handling region-wise packing
WO2020228692A1 (en) * 2019-05-12 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Motion prediction from temporal blocks with reference picture resampling

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
"Advanced video coding for generic audiovisual services", RECOMMENDATION ITU-T H., vol. 264, April 2017 (2017-04-01)
"High efficiency video coding", RECOMMENDATION ITU-T H., vol. 265, February 2018 (2018-02-01)
"Information technology. Dynamic adaptive streaming over HTTP (DASH). Part 1: Media presentation description and segment formats", ISO/IEC 23009-1: 2012(E), ISO/IEC JTC1/SC 29/WG, vol. 11, 5 January 2012 (2012-01-05)
B. BROSS, J. CHEN, S. LIU, Y.-K. WANG: "Versatile Video Coding (Draft 7)", 16. JVET MEETING; 20191001 - 20191011; GENEVA; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), 17 October 2019 (2019-10-17), pages 1 - 491, XP030218455 *
BENJAMIN BROSSJIANLE CHENSHAN LIUYE-KUI WANG: "Versatile Video Coding (Draft 7", JVET-P2001-VE, JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP3 AND ISO/IEC JTC 1/SC 29/WG 11 16TH MEETING: GENEVA, CH, 1 October 2019 (2019-10-01)
HIRABAYASHI, MITSUHIRO ET AL.: "AHG8/AHG12 Subpicture-based reference picture resampling signaling", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 VIP 3 AND ISO/IEC JTC 1/SC 29/VIG 11, JVET-Q0232-V1, 17TH MEETING, December 2019 (2019-12-01), Brussels, BE, XP030222942 *
JOHANNES, SAUER ET AL.: "Geometry padding for cube based 360 degree video using uncoded areas", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JVET-00487-V1, 15TH MEETING, July 2019 (2019-07-01), Gothenburg, SE, XP030219710 *
MISKA M. HANNUKSELAALIREZA AMINLOUKASHYAP KAMMACHI-SREEDHAR: "AHG8/AHG12: Subpicture-specific reference picture resampling", JVET-P0403, JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 16TH MEETING: GENEVA, CH, 1 October 2019 (2019-10-01)
MISKA, M. HANNUKSELA: "AHG8/AHGI2: Subpicture-specific reference picture resampling", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 VIP 3 AND ISO/IEC JTC 1/SC 29/VIG 11, JVET-P0403, 16TH MEETING, October 2019 (2019-10-01), Geneva, CH, XP030217209 *
YE-KUI WANGMISKA M. HANNUKSELAKARSTEN GRUNEBERG: "WD of Carriage of VVC in ISOBMFF", ISO/IEC JTC 1/SC 29/WG 11 N18856, GENEVA, CH, October 2019 (2019-10-01)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022219244A1 (en) * 2021-04-16 2022-10-20 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding
WO2024061660A1 (en) * 2022-09-19 2024-03-28 Interdigital Ce Patent Holdings, Sas Dynamic structures for volumetric data coding
WO2024089875A1 (ja) * 2022-10-28 2024-05-02 日本電信電話株式会社 配信制御システム、配信制御装置、配信制御方法、及びプログラム

Also Published As

Publication number Publication date
CN114631319A (zh) 2022-06-14
US20220417499A1 (en) 2022-12-29
JPWO2021117802A1 (ja) 2021-06-17

Similar Documents

Publication Publication Date Title
WO2021117802A1 (ja) 画像処理装置および方法
KR102304687B1 (ko) 정보 처리 장치 및 방법
US11589047B2 (en) Video encoding and decoding methods and apparatus
KR20230125723A (ko) 비디오 코딩에서의 서브픽쳐 시그널링
US20230038928A1 (en) Picture partitioning-based coding method and device
US20240048768A1 (en) Method and apparatus for generating and processing media file
US20240056618A1 (en) Method and device for generating/receiving media file including nal unit array information, and method for transmitting media file
KR20230004339A (ko) 사전선택의 목적의 시그널링
KR20230004338A (ko) 타겟 픽처-인-픽처 영역의 크기 및 위치의 시그널링
JP2015073213A (ja) 画像復号装置、画像符号化装置、符号化データ変換装置、および、注目領域表示システム
CN116325759A (zh) 用于处理媒体文件的方法及其设备
CN114930856A (zh) 图像/视频编译方法和装置
CN114762350A (zh) 基于切片类型的图像/视频编译方法和设备
CN114762339A (zh) 基于变换跳过和调色板编码相关高级语法元素的图像或视频编码
WO2020175908A1 (ko) 시그널링된 정보에 기반한 픽처 파티셔닝 방법 및 장치
EP4270968A1 (en) Media file generation/reception method and device for signaling subpicture id information, and computer-readable recording medium in which media file is stored
EP4266689A1 (en) Method and device for generating/receiving media file including nal unit information, and method for transmitting media file
WO2021193428A1 (ja) 情報処理装置及び情報処理方法
US20240056578A1 (en) Media file generation/reception method and apparatus supporting random access in units of samples, and method for transmitting media file
EP4329315A1 (en) Method and device for generating/receiving media file on basis of eos sample group, and method for transmitting media file
CN114930855A (zh) 用于图像/视频编译的切片和拼块配置
CN114902664A (zh) 图像/视频编码/解码方法和装置
WO2020175905A1 (ko) 시그널링된 정보에 기반한 픽처 파티셔닝 방법 및 장치
CN116210225A (zh) 生成媒体文件的方法及设备
CN114930820A (zh) 基于图片划分结构的图像/视频编译方法及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20899327

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021564023

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020899327

Country of ref document: EP

Effective date: 20220523

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20899327

Country of ref document: EP

Kind code of ref document: A1