WO2021199374A1 - 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像システムおよびプログラム - Google Patents

映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像システムおよびプログラム Download PDF

Info

Publication number
WO2021199374A1
WO2021199374A1 PCT/JP2020/015014 JP2020015014W WO2021199374A1 WO 2021199374 A1 WO2021199374 A1 WO 2021199374A1 JP 2020015014 W JP2020015014 W JP 2020015014W WO 2021199374 A1 WO2021199374 A1 WO 2021199374A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
frame
width
image height
height
Prior art date
Application number
PCT/JP2020/015014
Other languages
English (en)
French (fr)
Inventor
慶一 蝶野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/914,538 priority Critical patent/US20230143053A1/en
Priority to JP2022511435A priority patent/JPWO2021199374A1/ja
Priority to PCT/JP2020/015014 priority patent/WO2021199374A1/ja
Publication of WO2021199374A1 publication Critical patent/WO2021199374A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Definitions

  • the present invention relates to a video coding device, a video decoding device, a video coding method, a video decoding method, a video system, and a program that utilize scaling of a reference picture.
  • Non-Patent Document 1 discloses the specifications of the VVC (Versatile Video Coding) method, which can reduce the bit rate to about half with the same image quality as the HEVC (High Efficiency Video Coding) method.
  • VVC Very Video Coding
  • HEVC High Efficiency Video Coding
  • Non-Patent Document 2 defines video signal compression based on the HEVC method in digital broadcasting, and introduces the concept of SOP (Set of Pictures).
  • the SOP is a unit that describes the coding order and reference relationship of each AU (Access Unit) when performing time-direction hierarchical coding. Its structures include L0 structure, L1 structure, L2 structure, L3 structure, and L4 structure.
  • the same digital broadcasting as the HEVC system can be operated.
  • the transmission capacity of the new 4K8K satellite broadcasting started in December 2018 is about 100 Mbps, and one 8K video is transmitted by the HEVC method. Therefore, even if the video bit rate can be halved by adopting the VVC method, the quality of 8K video can be maintained at the service quality level in complex patterns and moving scenes with the transmission capacity of next-generation terrestrial broadcasting of about 40 Mbps. Have difficulty.
  • An object of the present invention is to provide a video coding device, a video decoding device, a video coding method, a video decoding method, a video system, and a program capable of maintaining high video quality of ultra-high-definition video.
  • the video coding apparatus includes a multiplexing means for multiplexing the maximum image width and the maximum image height of the brightness samples of all frames into a bit stream, and a maximum image width or less and a maximum image height or less for each frame.
  • a multiplexing means for multiplexing the determined image width and image height of the brightness sample into a bit stream, and the image width of the brightness sample of the frame to be processed.
  • derivation means to derive a reference picture scale ratio for scaling the image height to the image width and image height of the brightness sample of the previously processed frame.
  • the video decoding apparatus demultiplexes the maximum image width and maximum image height of the brightness sample of all frames from the bit stream, and demultiplexes the image width and image height of the brightness sample from the bit stream for each frame.
  • the maximum image width and the maximum image height of the brightness sample of all frames are multiplexed into a bit stream, and the image width of the brightness sample having the maximum image width or less and the maximum image height or less for each frame.
  • the image height is determined, the image width and image height of the determined brightness sample are multiplexed into a bit stream, and the image width and image height of the brightness sample of the processing target frame are set to the image of the brightness sample of the frame processed in the past. Derivation of the reference picture scale ratio for scaling to width and image height.
  • the maximum image width and the maximum image height of the brightness sample of all frames are demultiplexed from the bit stream, and the image width and the image height of the brightness sample are multiplexed from the bit stream for each frame.
  • the reference picture scale ratio for scaling the image width and image height of the brightness sample of the frame to be processed to the image width and image height of the brightness sample of the frame processed in the past is derived, and the frame to be output for display. Scale the image size to maximum image width and maximum image height.
  • the computer is subjected to a process of multiplexing the maximum image width and the maximum image height of the brightness samples of all frames into a bit stream, and the maximum image width or less and the maximum image height or less for each frame.
  • the process of determining the image width and image height of a certain brightness sample, the process of multiplexing the determined image width and image height of the brightness sample into a bit stream, and the image width and image height of the brightness sample of the frame to be processed are determined.
  • the process of deriving the reference picture scale ratio for scaling to the image width and image height of the brightness sample of the frame processed in the past is executed.
  • the computer is subjected to a process of demultiplexing the maximum image width and the maximum image height of the brightness samples of all frames from the bit stream, and the image width and image height of the brightness samples for each frame.
  • the process of scaling the image size of the frame output for display so as to have the maximum image width and the maximum image height.
  • the video system according to the present invention includes the above-mentioned video coding device and the above-mentioned video decoding device.
  • the image quality of ultra-high-definition images can be maintained high.
  • CTU Coding Tree Unit
  • CU Coding Unit
  • Each frame of the digitized video is divided into CTUs, and each CTU is encoded in the order of raster scan.
  • Each CTU has a quadtree (QT: Quad-Tree) or multi-tree (MT: Multi-Tree) structure, and is divided into CUs and encoded.
  • QT Quad-Tree
  • MT Multi-Tree
  • Each CU is predictively coded.
  • the prediction coding includes intra prediction and inter-frame prediction.
  • the prediction error of each CU is transform-coded based on frequency conversion.
  • Intra-prediction is a prediction that generates a prediction image from a reconstructed image whose display time is the same as that of the coded frame.
  • Non-Patent Document 1 defines 65 types of angle intra predictions shown in FIG. In the angle intra-prediction, the reconstructed pixels around the coded block are extrapolated in any of the 65 directions to generate an intra-prediction signal. Further, in addition to the angle intra prediction, the DC intra prediction that averages the reconstructed pixels around the coded block and the Planar intra prediction that linearly interpolates the reconstructed pixels around the coded block are described. It is defined.
  • the CU encoded based on the intra prediction is referred to as an intra CU.
  • Inter-frame prediction is a prediction that generates a prediction image from a reconstructed image (reference picture) whose display time is different from that of the coded frame.
  • inter-frame prediction is also referred to as inter-frame prediction.
  • FIG. 2 is an explanatory diagram showing an example of inter-frame prediction.
  • the motion vector MV (mv x , mv y ) indicates the amount of translational movement of the reconstructed image block of the reference picture with respect to the block to be encoded.
  • Inter-prediction generates an inter-prediction signal based on the reconstructed image block of the reference picture (using pixel interpolation if necessary).
  • the CU encoded based on the inter-frame prediction is referred to as an inter-CU.
  • a frame encoded only by the intra CU is called an I frame (or I picture).
  • a frame encoded including not only the intra CU but also the inter CU is called a P frame (or P picture).
  • a frame encoded by including not only one reference picture but also an inter-CU that uses two reference pictures at the same time for inter-prediction of a block is called a B frame (or B picture).
  • inter-prediction using one reference picture is called one-way prediction
  • inter-prediction using two reference pictures at the same time is called bidirectional prediction
  • FIG. 3 shows an example of CTU division of the frame t when the number of pixels of the frame is CIF (Common Intermediate Format) and the CTU size is 64, and an example of division of the eighth CTU (CTU8) included in the frame t. It is a figure.
  • CIF Common Intermediate Format
  • FIG. 4 is a block diagram showing a configuration example of the video coding apparatus of the first embodiment.
  • the video coding apparatus 100 of the present embodiment includes a conversion / quantizer 101, an entropy coding device 102, an inverse conversion / inverse quantizer 103, a buffer 104, a predictor 105, a multiplexing device 106, and a pixel number converter 107. , And a coding controller 108.
  • the coding controller 108 controls the pixel number converter 107 and the like.
  • the pixel number converter 107 has a function of converting the image size of the input video into the pixel size determined by the coding controller 108.
  • a frame (image signal) of an ultra-high-definition video is input to the pixel number converter 107.
  • the conversion / quantizer 101 frequency-converts a prediction error image obtained by subtracting the prediction signal from the image signal supplied from the pixel number converter 107 to obtain a frequency conversion coefficient. Further, the conversion / quantization device 101 quantizes the frequency-converted prediction error image (frequency conversion coefficient) within a predetermined quantization step width.
  • the quantized frequency conversion coefficient is referred to as a conversion quantization value.
  • the entropy encoder 102 entropy-codes the cu_split_flag, the syntax value, the pred_mode_flag, the syntax value, the intra prediction direction, the difference information of the motion vector, and the conversion quantization value determined by the predictor 105.
  • the inverse transform / inverse quantizer 103 dequantizes the transform quantization value within a predetermined quantization step width. Further, the inverse transform / inverse quantizer 103 reverse-frequency-converts the inverse-quantized frequency conversion coefficient.
  • the reconstructed prediction error image obtained by reverse frequency conversion is supplied to the buffer 104 with a prediction signal added.
  • the buffer 104 stores the supplied reconstructed image.
  • the multiplexing device 106 multiplexes and outputs the output data of the entropy encoder 102.
  • the operation of the coding controller 108 in the video coding device 100 will be described with reference to the flowchart of FIG. An example is taken when the input video, which is an ultra-high-definition video input to the pixel number converter 107, is an 8K video (horizontal 7680 pixels, vertical 4320 pixels).
  • the coding controller 108 determines the image size of the image frame to be processed (frame to be processed) (step S101). The method of determination will be described later.
  • the coding controller 108 controls the operation of the pixel number converter 107 with respect to the frame to be processed based on the determined image size (step S102).
  • the coding controller 108 controls so that the image size of the frame output by the pixel number converter 107 becomes 8K (horizontal 7680 pixels, vertical 4320 pixels) as it is. That is, the coding controller 108 gives the pixel number converter 107 a command indicating to do so. If this is not the case (when processing as 4K video), the image size of the output frame of the pixel number converter 107 is set to 4K (horizontal 3840 pixels, vertical 2160 pixels). That is, the coding controller 108 gives the pixel number converter 107 a command indicating to do so. The pixel number converter 107 reduces the number of pixels of the frame in response to a command.
  • the coding controller 108 controls the multiplexing device 106 based on the determined image size (step S103).
  • the coding controller 108 controls the multiplexing device 106, for example, as follows.
  • the coding controller 108 has pic_width_max_in_luma_samples syntax (corresponding to the maximum image width of the luminance sample) and pic_height_max_in_luma_samples syntax (corresponding to the maximum image height of the luminance sample) values of 7680 and 4320 in the sequence parameter set output by the multiplexing device 106, respectively. Control to be. That is, the coding controller 108 gives the multiplexing device 106 a command indicating that it should do so.
  • the coding controller 108 uses the pic_width_in_luma_samples syntax (corresponding to the image width of the luminance sample) and the pic_height_in_luma_samples syntax (corresponding to the image width of the luminance sample) in the picture parameter set of the processing target frame output by the multiplexing device 106.
  • the values (corresponding to the image height of the luminance sample) are controlled to be 7680 and 4320, respectively. That is, the coding controller 108 gives the multiplexing device 106 a command indicating that it should do so.
  • the coding controller 108 has pic_width_in_luma_samples syntax (corresponding to the image width of the brightness sample) and pic_height_in_luma_samples syntax (brightness) in the picture parameter set of the frame to be processed output by the multiplexing device 106.
  • the values (corresponding to the image height of the sample) are controlled to be 3840 and 2160, respectively. That is, the coding controller 108 gives the multiplexing device 106 a command indicating that it should do so.
  • the multiplexing device 106 multiplexes the pic_width_max_in_luma_samples syntax value and the pic_height_max_in_luma_samples syntax value for all frames into a bit stream according to the control of the coding controller 108. Further, the multiplexing device 106 multiplexes the pic_width_in_luma_samples syntax value and the pic_height_in_luma_samples syntax value for each frame into a bit stream.
  • the coding controller 108 derives a reference picture scale ratio RefPicScale for each frame processed in the past in order to scale the image size of the frame to be processed to the image size of the frame processed in the past, and is a predictor.
  • Supply to 105 step S104).
  • RefPicScale is expressed by the following formula described in 8.3.2 Decoding process for reference picture lists construction of Non-Patent Document 1.
  • RefPicScale [i] [j] [0] ((fRefWidth ⁇ 14) + (PicOutputWidthL >> 1)) / PicOutputWidthL
  • RefPicScale [i] [j] [1] ((fRefHeight ⁇ 14) + (PicOutputHeightL >> 1)) / PicOutputHeightL ... (1)
  • fRefWidth and fRefHeight are pic_width_in_luma_samples syntax values and pic_height_in_lumasamples that are set for the target frame processed in the past, respectively.
  • the reference picture scale ratio is the ratio of the image size of the frame processed in the past to the image size of the frame to be processed.
  • the predictor 105 performs predictive coding. That is, the predictor 105 first determines the cu_split_flag syntax value that determines the CU division shape that minimizes the coding cost for each CTU (step S201). The predictor 105 then determines for each CU the coding parameters that minimize the coding cost (pred_mode_flag syntax value that determines intra-prediction / inter-prediction, intra-prediction direction, motion vector difference information, etc.) ( Step S202).
  • the predictor 105 generates a prediction signal for the input image signal of each CU based on the determined cu_split_flag syntax value, pred_mode_flag syntax value, intra prediction direction, motion vector, reference picture scale ratio, and the like (step S203). ).
  • the prediction signal is generated based on intra-frame prediction or inter-frame prediction.
  • the pixel number converter 107 scales the processing target frame so that the image size is determined by the coding controller 108.
  • the conversion / quantizer 101 frequency-converts a prediction error image obtained by subtracting the prediction signal from the image signal supplied from the pixel number converter 107 (step S204). Further, the conversion / quantization device 101 quantizes the frequency-converted prediction error image (frequency conversion coefficient) (step S205).
  • the entropy encoder 102 entropy-encodes the cu_split_flag syntax value, the pred_mode_flag syntax value, the intra prediction direction, the motion vector difference information, and the quantized frequency conversion coefficient (conversion quantization value) determined by the predictor 105. (Step S206).
  • the multiplexing device 106 multiplexes and outputs the entropy-encoded data supplied from the entropy-encoding device 102 as a bit stream (step S207).
  • the inverse transformation / inverse quantizer 103 inversely quantizes the transformation quantization value. Further, the inverse transform / inverse quantizer 103 reverse-frequency-converts the inverse-quantized frequency conversion coefficient. The inverse frequency-converted reconstructed prediction error image is supplied to the buffer 104 with a prediction signal added. The buffer 104 stores the reconstructed image.
  • the video coding apparatus of this embodiment generates a bit stream.
  • the Temporal ID of AU is a value obtained by subtracting 1 from nuh_temporal_id_plus1 of the NALU (Network Abstraction Layer Unit) header in AU.
  • FIG. 7 is an explanatory diagram showing the L2 structure of the SOP.
  • FIG. 8 is an explanatory diagram showing the L3 structure of the SOP.
  • FIG. 9 is an explanatory diagram showing the L4 structure of the SOP.
  • FIGS. 7 to 9 the frame included in the AU whose Temporal ID value is equal to or higher than a predetermined threshold value is set to a small image size (4K), and the frames of other AUs are set to the same image size (4K). An example of 8K) is shown. However, FIGS. 7 to 9 illustrate the case where the predetermined threshold value is 2.
  • the video coding device When the video coding device is configured to switch between 8K and 4K as described above, an afterimage effect can be obtained by periodically displaying a high resolution 8K image. That is, it is possible to perceive a high-definition feeling of 8K video.
  • the amount of data is reduced in a frame using 4K, deterioration due to video coding can be prevented even in a scene with a complicated pattern or movement. That is, the video quality can be kept high. Further, since it is not necessary to redraw the video bit stream on the receiving terminal side such as a video decoding device, the video can be smoothly reproduced on the receiving terminal side even if the image size is switched.
  • 2 as the threshold value of the Temporal ID value for determining the AU to be processed with the small image size described above is an example, and other values may be used.
  • the coding controller 108 may set the image size of the frame included in the AU whose Temporal ID value is equal to or higher than a predetermined threshold value as it is. That is, the coding controller 108 sets the frame included in the AU whose Temporal ID value is equal to or higher than the predetermined threshold value as the same image size or the smaller image size, and always sets the other AU frames as the same image size. May be good.
  • the image size of the frame included in the AU whose Temporal ID value is equal to or greater than the predetermined threshold value is used, and the AU whose Temporal ID value is less than the predetermined threshold value. It is desirable to make it larger than the image size of the frame included in.
  • the coding controller 108 determines the image size of the frame to be processed according to the difficulty (difficulty) of video coding of the scene, as illustrated in FIG. Can be considered as a method of switching between 8K and 4K.
  • the difficulty of video coding can be determined based on the monitoring results of the characteristics of the input video (such as the complexity of the pattern and movement) and the output characteristics of the entropy encoder 102 (such as the roughness of quantization). ..
  • FIG. 11 is a block diagram showing a configuration example of the video decoding device of the present embodiment.
  • the video decoding device 200 shown in FIG. 11 can receive the bit stream from the video coding device 100 shown in FIG. 4 and execute the video decoding process.
  • the source of the bit stream is not limited to the video coding device 100 shown in FIG.
  • the video decoding device shown in FIG. 11 includes a demultiplexer 201, an entropy decoder 202, an inverse transform / inverse quantizer 203, a predictor 204, a buffer 205, a pixel count converter 206, and a decoding control unit 208.
  • the demultiplexer 201 demultiplexes the input bit stream and extracts the entropy-coded data.
  • the entropy decoder 202 entropy-decodes the entropy-encoded data.
  • the entropy decoder 202 supplies the entropy-decoded transformation quantization value to the inverse transform / inverse quantizer 203, and further supplies the cu_split_flag, pred_mode_flag, intra prediction direction, and motion vector to the predictor 204.
  • data representing the maximum image width and maximum image height of the luminance samples of all frames are multiplexed in the bit stream. Further, in the bit stream, data representing the image width and image height of the luminance sample (for example, pic_width_in_luma_samples syntax value and pic_height_in_luma_samples syntax value) are multiplexed for each frame.
  • the entropy decoder 202 supplies the entropy-decoded data to the decoding controller 208.
  • the decoding controller 208 derives the reference picture scale ratio RefPicScale for each frame from the pic_width_in_luma_samples syntax value and the pic_height_in_luma_samples syntax value, for example, based on the equation (1).
  • the decoding controller 208 supplies the reference picture scale ratio RefPicScale to the predictor 204 for each frame.
  • the decoding controller 208 supplies the pic_width_max_in_luma_samples syntax value and the pic_height_max_in_luma_samples syntax value, and the pic_width_in_luma_samples syntax value and the pic_height_in_luma_samples syntax value to the pixel number converter 206.
  • the inverse transform / inverse quantizer 203 dequantizes the transform quantization value within a predetermined quantization step width. Further, the inverse transform / inverse quantizer 203 reverse-frequency-converts the inverse-quantized frequency conversion coefficient.
  • Predictor 204 generates a prediction signal based on cu_split_flag, pred_mode_flag, intra prediction direction, motion vector, and reference picture scale ratio RefPicScale.
  • the prediction signal is generated based on intra-frame prediction or inter-frame prediction.
  • the reconstruction prediction error image that has been inversely frequency-converted by the inverse conversion / inverse quantizer 203 is supplied to the buffer 205 as a reconstruction image by adding the prediction signal supplied from the predictor 204. Then, the reconstructed picture stored in the buffer 205 is output as a decoded video.
  • the video decoding device of the present embodiment generates a decoded video by the above-described operation.
  • the decoded video data is supplied to the display device and the storage device as display video data, and the pixel number converter 206 determines each of the decoded videos so that the image sizes of all the display video data are the same.
  • Scale to image width and image height For example, the maximum image width and the maximum image height can be used as the predetermined image width and image height.
  • the pixel number converter 206 can derive the ratio for the scale using the pic_width_in_luma_samples syntax value and the pic_height_max_in_luma_samples syntax value and the pic_width_max_in_luma_samples syntax value and the pic_height_in_luma_samples syntax value.
  • the image size of the frame of the reconstructed image may be different for each frame. Therefore, in the present embodiment, in the video decoding apparatus 200, the pixel number converter 206 includes the image size of the reconstructed image frame in the sequence parameter set for the purpose of aligning the displayed image size, and the pic_width_max_in_luma_samples syntax value and pic_height_max_in_luma_samples. It is configured to perform size conversion so that the size is indicated by the value of the syntax. Therefore, the image can be reproduced smoothly even if the image size is changed.
  • the video coding device switches the image size and encodes the video so that the video quality can be maintained at the service quality level even in a scene with a complicated pattern or movement. Further, the video coding device utilizes the scaling of the reference picture in the video coding so that the re-drawing of the video bit stream due to the switching of the image size becomes unnecessary in the receiving terminal such as the video decoding device. Further, the video coding device can also control the video coding so that the switching of the image size is not visually noticeable.
  • the video quality can be maintained at the service quality level even in complicated patterns and moving scenes.
  • it is not necessary to redraw the video bit stream on the receiving terminal side and the video can be reproduced smoothly even if the image size is switched.
  • the change in the image size becomes difficult to see visually, and the image quality at the moment when the image size is switched can be maintained by the service quality.
  • the 8K video horizontal 7680 pixels, vertical 4320 pixels
  • the 4K video horizontal 3840 pixels, vertical 2160 pixels
  • VUI Video Usability Information and Sample aspect ratio information SEI (Supplemental Enhancement Information) message are as follows.
  • VUI The value of vui_aspect_ratio_constant_flag included in VUI is 0.
  • Sample aspect ratio information SEI message -Each AU contains a Sample aspect ratio information SEI message. -Represented by sari_aspect_ratio_idc, sari_sar_width, sari_sar_height of AU's SEI message encoded with one aspect ratio image size so that each playback image of AU encoded with different aspect ratios is displayed in the same size.
  • the pixel aspect ratio is different from sari_aspect_ratio_idc, sari_sar_width, and sari_sar_height of the AU SEI message encoded by the image size of the other aspect ratio.
  • the sari_aspect_ratio_idc of the AU SEI message encoded in the 8K video with an aspect ratio of 16: 9 is 1, and it is encoded in the 8K video with an aspect ratio of 4: 3.
  • the sari_aspect_ratio_idc of the SEI message of the AU is 14.
  • FIG. 12 is a block diagram showing an example of the configuration of the video system.
  • the video system shown in FIG. 12 is a system in which the video coding device 100 and the video decoding device 200 are connected by a wireless transmission line or a wired transmission line 300.
  • the video coding device 100 can generate a bit stream as described above. Further, in the video system 300, the video decoding device 200 can decode the bit stream as described above.
  • each of the above embodiments can be configured by hardware, it can also be realized by a computer program.
  • the information processing system shown in FIG. 13 includes a processor 1001 including a CPU, a program memory 1002, a storage medium 1003 for storing video data, and a storage medium 1004 for storing a bit stream.
  • the storage medium 1003 and the storage medium 1004 may be separate storage media or may be storage areas made of the same storage medium.
  • a magnetic storage medium such as a hard disk can be used.
  • a program for realizing the functions of each block (excluding the buffer block) shown in each of FIGS. 4 and 11 is stored in the program memory 1002.
  • a video decoding program is stored. Then, the processor 1001 realizes the functions of the video coding device or the video decoding device shown in FIGS. 4 and 11 by executing the process according to the program stored in the program memory 1002.
  • a part of the functions in the video coding device or the video decoding device shown in FIGS. 4 and 11 may be realized by the semiconductor integrated circuit, and the other part may be realized by the processor 1000 or the like.
  • the program memory 1002 is, for example, a non-transitory computer readable medium.
  • Non-temporary computer-readable media include various types of tangible storage mediums. Specific examples of non-temporary computer-readable media include semiconductor memories, magnetic recording media (eg, hard disks), and magneto-optical recording media (eg, magneto-optical disks).
  • the program may also be stored on various types of temporary computer-readable media (transitory computer readable medium).
  • the program may be supplied to the temporary computer-readable medium (eg, flash ROM), for example, via a wired or wireless channel, i.e., via an electrical signal, an optical signal, or an electromagnetic wave.
  • FIG. 14 is a block diagram showing a main part of the video coding device.
  • the video coding device 10 shown in FIG. 14 has a maximum image width (specifically, data representing the maximum image width.
  • data representing the maximum image width For example, pic_width_max_in_luma_samples syntax
  • a maximum image height specifically, maximum
  • Data representing the image width For example, a multiplexing unit (multiplexing means) 11 (in the embodiment, realized by the multiplexing device 106) that multiplexes pic_height_max_in_luma_samples syntax) into a bit stream, and a maximum image for each frame.
  • Image width of a luminance sample that is less than or equal to the width and less than or equal to the maximum image height (specifically, data representing the width of the image; for example, pic_width_in_luma_samples syntax) and image height (specifically, data representing the height of the image.
  • Pic_height_in_luma_samples syntax is provided with a determination unit (determination means) 12 (in the embodiment, realized by the coding control unit 108), and the multiplexing unit 11 includes an image width and an image of the determined luminance sample.
  • a unit (deriving means) 13 (in the embodiment, realized by the coding control unit 108) is provided.
  • FIG. 15 is a block diagram showing a main part of the video decoding device.
  • the video decoding device 20 shown in FIG. 15 demultiplexes the maximum image width and maximum image height of the brightness samples of all frames from the bit stream, and demultiplexes the image width and image height of the brightness samples from the bit stream for each frame.
  • the demultiplexing demultiplexing unit (demultiplexing demultiplexing means) 21 (in the embodiment, realized by the demultiplexing demultiplexer 201) and the image width and image height of the brightness sample of the frame to be processed have been processed in the past.
  • a derivation unit (derivating means) 22 (in the embodiment, realized by the decoding controller 208) for deriving the reference picture scale ratio for scaling to the image width and image height of the frame brightness sample, and the reference picture scale ratio.
  • the image size of the frame output for display is the maximum image width and maximum image height.
  • a scaling unit (scaling means) 23 (in the embodiment, it is realized by the pixel number converter 206).
  • Appendix 1 A computer-readable recording medium on which a video coding program is recorded.
  • the video coding program is applied to a computer.
  • a process of multiplexing the determined image width and image height of the luminance sample into a bit stream, and The process of deriving the reference picture scale ratio for scaling the image width and image height of the brightness sample of the frame to be processed to the image width and image height of the brightness sample of the frame processed in the past is executed.
  • (Appendix 2) A computer-readable recording medium on which a video decoding program is recorded.
  • the video decoding program is applied to a computer.
  • the process of scaling the image size of the frame output for display to the maximum image width and the maximum image height is executed.
  • Video coding device 11 Multiplexing unit 12 Determining unit 13 Derivation unit 20,200 Video decoding device 21 Determination unit 22 Derivation unit 23 Scaling unit 101 Conversion / quantizer 102 Entropy coding device 103 Inverse conversion / reverse Quantizer 104 Buffer 105 Predictor 106 Multiplexer 107 Pixel converter 108 Coding controller 201 Demultiplexer 202 Entropy decoder 203 Inverse converter / inverse quantizer 204 Predictor 205 Buffer 206 Pixel converter 208 Decoding control unit 300 Video system 1001 Processor 1002 Program memory 1003, 1004 Storage medium

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

映像符号化装置は、すべてのフレームの輝度サンプルの最大画像幅と最大画像高とをビットストリームに多重化する多重化部１１と、フレーム毎に最大画像幅以下および最大画像高以下である輝度サンプルの画像幅および画像高を決定する決定部１２とを含み、多重化部１１は、決定された輝度サンプルの画像幅と画像高とをビットストリームに多重化し、処理対象フレームの輝度サンプルの画像幅および画像高を過去に処理されたフレームの輝度サンプルの画像幅および画像高にスケールさせるための参照ピクチャスケールレシオを導出する導出部１３を含む。

Description

映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像システムおよびプログラム
　本発明は、参照ピクチャのスケーリングを利用する映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像システム及びプログラムに関する。
　非特許文献１は、HEVC（High Efficiency Video Coding）方式と同じ画質でビットレートを約半分にできるVVC（Versatile Video Coding）方式の仕様を開示している。
　非特許文献２は、デジタル放送におけるHEVC方式に基づいた映像信号圧縮を規定し、SOP（Set of Pictures）という概念を導入している。SOPは、時間方向階層符号化を行う場合に各AU（Access Unit） の符号化順及び参照関係を記述する単位である。その構造には、L0構造、L1構造、L2構造、L3構造、およびL4構造がある。
　VVC方式についても、VVC方式にSOP構造を定義することによって、HEVC方式と同様なデジタル放送を運用できる。
"Versatile Video Coding (Draft 8)", JVET-Q2001, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 17th Meeting: Brussels, BE, 7-17 January 2020. ARIB (Association of Radio Industries and Businesses) 標準規格 STD-B32 3.11版　平成３０年７月２６日　電波産業会 "Supplemental enhancement information for coded video bitstreams (Draft 3)", JVET-Q2007, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 17th Meeting: Brussels, BE, 7-17 January 2020.
　日本において、２０１８年１２月から開始されている新4K8K衛星放送における伝送容量は約100Mbpsであり、HEVC方式で1つの8K映像が送出されている。よって、VVC方式の採用で映像ビットレートを半減できたとしても、次世代地上放送の伝送容量の約40Mbpsでは、複雑な絵柄や動きのあるシーンにおいて8K映像の品質をサービス品質レベルに保つことは困難である。
　本発明は、超高精細映像の映像品質を高く保つことができる映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像システムおよびプログラムを提供することを目的とする。
　本発明による映像符号化装置は、すべてのフレームの輝度サンプルの最大画像幅と最大画像高とをビットストリームに多重化する多重化手段と、フレーム毎に最大画像幅以下および最大画像高以下である輝度サンプルの画像幅および画像高を決定する決定手段とを含み、多重化手段は、決定された輝度サンプルの画像幅と画像高とをビットストリームに多重化し、処理対象フレームの輝度サンプルの画像幅および画像高を過去に処理されたフレームの輝度サンプルの画像幅および画像高にスケールさせるための参照ピクチャスケールレシオを導出する導出手段を含む。
　本発明による映像復号装置は、すべてのフレームの輝度サンプルの最大画像幅と最大画像高とをビットストリームから多重化解除し、フレーム毎に輝度サンプルの画像幅と画像高をビットストリームから多重化解除する多重化解除手段と、処理対象フレームの輝度サンプルの画像幅および画像高を過去に処理したフレームの輝度サンプルの画像幅および画像高にスケールさせるための参照ピクチャスケールレシオを導出する導出手段と、表示用に出力するフレームの画像サイズを最大画像幅および最大画像高になるようにスケールするスケーリング手段とを含む。
　本発明による映像符号化方法は、すべてのフレームの輝度サンプルの最大画像幅と最大画像高とをビットストリームに多重化し、フレーム毎に最大画像幅以下および最大画像高以下である輝度サンプルの画像幅および画像高を決定し、決定された輝度サンプルの画像幅と画像高とをビットストリームに多重化し、処理対象フレームの輝度サンプルの画像幅および画像高を過去に処理されたフレームの輝度サンプルの画像幅および画像高にスケールさせるための参照ピクチャスケールレシオを導出する。
　本発明による映像復号方法は、すべてのフレームの輝度サンプルの最大画像幅と最大画像高とをビットストリームから多重化解除し、フレーム毎に輝度サンプルの画像幅と画像高とをビットストリームから多重化解除し、処理対象フレームの輝度サンプルの画像幅および画像高を過去に処理したフレームの輝度サンプルの画像幅および画像高にスケールさせるための参照ピクチャスケールレシオを導出し、表示用に出力するフレームの画像サイズを最大画像幅および最大画像高になるようにスケールする。
　本発明による映像符号化プログラムは、コンピュータに、すべてのフレームの輝度サンプルの最大画像幅と最大画像高とをビットストリームに多重化する処理と、フレーム毎に最大画像幅以下および最大画像高以下である輝度サンプルの画像幅および画像高を決定する処理と、決定された輝度サンプルの画像幅と画像高とをビットストリームに多重化する処理と、処理対象フレームの輝度サンプルの画像幅および画像高を過去に処理されたフレームの輝度サンプルの画像幅および画像高にスケールさせるための参照ピクチャスケールレシオを導出する処理とを実行させる。
　本発明による映像復号プログラムは、コンピュータに、すべてのフレームの輝度サンプルの最大画像幅と最大画像高とをビットストリームから多重化解除する処理と、フレーム毎に輝度サンプルの画像幅と画像高とをビットストリームから多重化解除する処理と、処理対象フレームの輝度サンプルの画像幅および画像高を過去に処理したフレームの輝度サンプルの画像幅および画像高にスケールさせるための参照ピクチャスケールレシオを導出する処理と、表示用に出力するフレームの画像サイズを最大画像幅および最大画像高になるようにスケールする処理とを実行させる。
　本発明による映像システムは、上記の映像符号化装置と上記の映像復号装置とを含む。
　本発明によれば、超高精細映像の映像品質を高く保つことができる。
６５種類の角度イントラ予測の例を示す説明図である。 フレーム間予測の例を示す説明図である。 フレームｔのCTU分割例、および、フレームｔのCTU8のCU分割例を示す説明図である。 第１の実施形態の映像符号化装置の構成例を示すブロック図である。 符号化制御器の動作を示すフローチャートである。 映像符号化装置の動作を示すフローチャートである。 SOPのL2構造を示す説明図である。 SOPのL3構造を示す説明図である。 SOPのL4構造を示す説明図である。 シーンの映像符号化の難しさに応じて画像サイズを切り替える方法を説明するための説明図である。 映像復号装置の構成例を示すブロック図である。 映像システムの構成例を示すブロック図である。 映像符号化装置および映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 映像符号化装置の主要部を示すブロック図である。 映像復号装置の主要部を示すブロック図である。
　以下の説明の理解ために、まず、イントラ予測、フレーム間予測、ならびに、符号化ツリーユニット（CTU：Coding Tree Unit） および符号化ユニット（CU：Coding Unit） を説明する。
　デジタル化された映像の各フレームはCTUに分割され、ラスタスキャン順に各CTUが符号化される。
　各CTUは、四分木（QT：Quad-Tree） またはマルチ木（MT：Multi-Tree）構造で、CUに分割されて符号化される。
　各CUは、予測符号化される。なお、予測符号化には、イントラ予測とフレーム間予測がある。各CUの予測誤差は、周波数変換に基づいて変換符号化される。
　イントラ予測は、符号化対象フレームと表示時刻が同一の再構築画像から予測画像を生成する予測である。非特許文献１では、図１に示す６５種類の角度イントラ予測が定義されている。角度イントラ予測は、符号化対象ブロック周辺の再構築画素を６５種類の方向のいずれかに外挿して、イントラ予測信号を生成する。さらに、非特許文献１では、角度イントラ予測に加えて、符号化対象ブロック周辺の再構築画素を平均するDCイントラ予測、および、符号化対象ブロック周辺の再構築画素を線形補間するPlanarイントラ予測が定義されている。以下、イントラ予測に基づいて符号化されたCUをイントラCUと呼ぶ。
　フレーム間予測は、符号化対象フレームと表示時刻が異なる再構築画像（参照ピクチャ）から予測画像を生成する予測である。以下、フレーム間予測をインター予測とも呼ぶ。
　図２は、フレーム間予測の例を示す説明図である。動きベクトルMV＝（mvx, mvy）は、符号化対象ブロックに対する参照ピクチャの再構築画像ブロックの並進移動量を示す。インター予測は、参照ピクチャの再構築画像ブロックに基づいて（必要であれば画素補間を用いて）、インター予測信号を生成する。以後、フレーム間予測に基づいて符号化されたCUをインターCUと呼ぶ。
　イントラCUのみで符号化されたフレームはＩフレーム（または、Ｉピクチャ）と呼ばれる。イントラCUだけでなくインターCUも含めて符号化されたフレームはＰフレーム（または、Ｐピクチャ）と呼ばれる。ブロックのインター予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターCUを含めて符号化されたフレームはＢフレーム（または、Ｂピクチャ）と呼ばれる。
　なお、１枚の参照ピクチャを用いるインター予測は片方向予測と呼ばれ、同時に２枚の参照ピクチャを用いるインター予測は双方向予測と呼ばれる。
　図３は、フレームの画素数がCIF（Common Intermediate Format）、CTUサイズが６４の場合のフレームｔのCTU分割例、および、フレームｔに含まれる第８のCTU（CTU8）の分割例を示す説明図である。
　以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
　図４は、第１の実施形態の映像符号化装置の構成例を示すブロック図である。本実施形態の映像符号化装置１００は、変換／量子化器１０１、エントロピー符号化器１０２、逆変換／逆量子化器１０３、バッファ１０４、予測器１０５、多重化器１０６、画素数変換器１０７、および符号化制御器１０８を備える。
　符号化制御器１０８は、画素数変換器１０７などを制御する。画素数変換器１０７は、入力映像の画像サイズを、符号化制御器１０８が決定した画素サイズに変換する機能を有する。
　画素数変換器１０７には、超高精細映像のフレーム（画像信号）が入力される。変換／量子化器１０１は、画素数変換器１０７から供給される画像信号から予測信号を減じた予測誤差画像を周波数変換し、周波数変換係数を得る。さらに、変換／量子化器１０１は、所定の量子化ステップ幅で、周波数変換した予測誤差画像（周波数変換係数）を量子化する。以下、量子化された周波数変換係数を変換量子化値と呼ぶ。
　エントロピー符号化器１０２は、予測器１０５が決定したcu_split_flag、シンタクス値、pred_mode_flag、シンタクス値、イントラ予測方向、動きベクトルの差分情報、および、変換量子化値をエントロピー符号化する。
　逆変換／逆量子化器１０３は、所定の量子化ステップ幅で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０３は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換されて得られた再構築予測誤差画像は、予測信号が加えられて、バッファ１０４に供給される。バッファ１０４は、供給される再構築画像を格納する。
　多重化器１０６は、エントロピー符号化器１０２の出力データを多重化して出力する。
　次に、図５のフローチャートを参照して、映像符号化装置１００における符号化制御器１０８の動作を説明する。なお、画素数変換器１０７に入力される超高精細映像である入力映像が8K映像（水平7680画素、垂直4320画素）である場合を例にする。
　符号化制御器１０８は、処理対象の画像フレーム（処理対象フレーム）の画像サイズを決定する（ステップＳ１０１）。決定の仕方は、後述される。
　符号化制御器１０８は、決定した画像サイズに基づいて、処理対象フレームに対する画素数変換器１０７の動作を制御する（ステップＳ１０２）。
　処理対象フレームを8K映像として処理する場合、符号化制御器１０８は、画素数変換器１０７が出力するフレームの画像サイズがそのまま8K（水平7680画素、垂直4320画素）になるように制御する。すなわち、符号化制御器１０８は、そのようにすることを示す指令を画素数変換器１０７に与える。そうでない場合（4K映像として処理する場合）、画素数変換器１０７の出力フレームの画像サイズが4K（水平3840画素、垂直2160画素）になるようにする。すなわち、符号化制御器１０８は、そのようにすることを示す指令を画素数変換器１０７に与える。画素数変換器１０７は、指令に応じて、フレームの画素数を減少させる。
　次いで、符号化制御器１０８は、決定した画像サイズに基づいて、多重化器１０６を制御する（ステップＳ１０３）。符号化制御器１０８は、例えば、以下のように多重化器１０６を制御する。
　符号化制御器１０８は、多重化器１０６が出力するシーケンスパラメータセットにおけるpic_width_max_in_luma_samplesシンタクス（輝度サンプルの最大画像幅に相当）とpic_height_max_in_luma_samplesシンタクス（輝度サンプルの最大画像高に相当）の値がそれぞれ7680と4320になるように制御する。すなわち、符号化制御器１０８は、そのようにすることを示す指令を多重化器１０６に与える。
　また、処理対象フレームを8K映像として処理する場合、符号化制御器１０８は、多重化器１０６が出力する処理対象フレームのピクチャパラメータセットにおけるpic_width_in_luma_samplesシンタクス（輝度サンプルの画像幅に相当）とpic_height_in_luma_samplesシンタクス（輝度サンプルの画像高に相当）の値がそれぞれ7680と4320になるように制御する。すなわち、符号化制御器１０８は、そのようにすることを示す指令を多重化器１０６に与える。
　そうでない場合（4K映像として処理する場合）、符号化制御器１０８は、多重化器106が出力する処理対象フレームのピクチャパラメータセットにおけるpic_width_in_luma_samplesシンタクス（輝度サンプルの画像幅に相当）とpic_height_in_luma_samplesシンタクス（輝度サンプルの画像高に相当）の値がそれぞれ3840と2160になるように制御する。すなわち、符号化制御器１０８は、そのようにすることを示す指令を多重化器１０６に与える。
　多重化器１０６は、符号化制御器１０８の制御に応じて、すべてのフレームについてのpic_width_max_in_luma_samplesシンタクス値とpic_height_max_in_luma_samplesシンタクス値とを、ビットストリームに多重化する。また、多重化器１０６は、フレーム毎のpic_width_in_luma_samplesシンタクス値とpic_height_in_luma_samplesシンタクス値とをビットストリームに多重化する。
　さらに、符号化制御器１０８は、処理対象フレームの画像サイズを、過去に処理したフレームの画像サイズにスケールさせるために、過去に処理したフレーム毎に参照ピクチャスケールレシオRefPicScaleを導出して、予測器１０５に供給する（ステップＳ１０４）。
　RefPicScaleは、非特許文献１の８．３．２ Decoding process for reference picture lists construction に記載される以下の式で表現される。
　RefPicScale[ i ][ j ][ 0 ] = ( ( fRefWidth << 14 ) + ( PicOutputWidthL >> 1 ) ) / PicOutputWidthL
　RefPicScale[ i ][ j ][ 1 ] = ( ( fRefHeight << 14 ) + ( PicOutputHeightL >> 1 ) ) / PicOutputHeightL
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　ただし、PicOutputWidthL=pic_width_in_luma_samples、PicOutputHeightL=pic_height_in_luma_samplesであり、fRefWidth およびfRefHeightは、それぞれ、対象とする過去に処理したフレームに対して設定されたpic_width_in_luma_samplesシンタクスの値およびpic_height_in_luma_samplesシンタクスの値である。
　（１）式からわかるように、参照ピクチャスケールレシオは、過去に処理されたフレームの画像サイズと処理対象フレームの画像サイズとの比率である。
　次に、映像符号化装置１００の全体の動作を図６のフローチャートを参照して説明する。
　予測器１０５は、予測符号化を行う。すなわち、予測器１０５は、まず、CTU毎に、符号化コストを最小とするCU分割形状を決めるcu_split_flagシンタクス値を決定する（ステップＳ２０１）。次いで、予測器１０５は、CU毎に、符号化コストを最小とする符号化パラメータ（イントラ予測／インター予測を決定するpred_mode_flagシンタクス値、イントラ予測方向、および動きベクトルの差分情報など）を決定する（ステップＳ２０２）。
　また、予測器１０５は、決定したcu_split_flagシンタクス値、pred_mode_flagシンタクス値、イントラ予測方向、動きベクトル、および、参照ピクチャスケールレシオなどに基づいて、各CUの入力画像信号に対する予測信号を生成する（ステップＳ２０３）。予測信号は、イントラ予測またはフレーム間予測に基づいて生成される。
　画素数変換器１０７は、上述したように、符号化制御器１０８が決定した画像サイズになるように、処理対象フレームをスケールする。
　変換／量子化器１０１は、画素数変換器１０７から供給される画像信号から予測信号を減じた予測誤差画像を周波数変換する（ステップＳ２０４）。さらに、変換／量子化器１０１は、周波数変換した予測誤差画像（周波数変換係数）を量子化する（ステップＳ２０５）。
　エントロピー符号化器１０２は、予測器１０５が決定したcu_split_flagシンタクス値、pred_mode_flagシンタクス値、イントラ予測方向、動きベクトルの差分情報、および、量子化された周波数変換係数（変換量子化値）をエントロピー符号化する（ステップＳ２０６）。
　多重化器１０６は、エントロピー符号化器１０２から供給されるエントロピー符号化データをビットストリームとして多重化出力する（ステップＳ２０７）。
　なお、逆変換／逆量子化器１０３は、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０３は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ１０４に供給される。バッファ１０４は、再構築画像を格納する。
　上述した動作によって、本実施形態の映像符号化装置はビットストリームを生成する。
＜画像サイズの決定の仕方の例＞
　画像サイズの決定の仕方の一例として、SOP構造のTemporal IDに応じて、処理対象フレームの画像サイズを8Kと4Kとの間での切り替える方法を説明する。なお、AUのTemporal IDは、AU内のNALU（Network Abstraction Layer Unit）ヘッダのnuh_temporal_id_plus1 から１を減算した値である。
　図７は、SOPのL2構造を示す説明図である。図８は、SOPのL3構造を示す説明図である。図９は、SOPのL4構造を示す説明図である。
　具体的には、図７～図９には、Temporal IDの値が所定のしきい値以上のAUに含まれるフレームを小さな画像サイズ（4K）とし、その他のAUのフレームをそのままの画像サイズ（8K）とする例が示されている。ただし、図７～図９には、所定のしきい値が２の場合が例示されている。
　上述したように映像符号化装置が8Kと4Kとを切り替えるように構成されている場合には、周期的に解像度が高い8K画像が表示されることによる残像効果が得られる。すなわち、8K映像の高精細感を知覚できる。また、4Kを用いるフレームではデータ量が削減されるので、複雑な絵柄や動きのあるシーンでも映像符号化に起因する劣化が防止される。すなわち、映像品質を高く保つことができる。さらに、映像復号装置などの受信端末側における映像ビットストリームの再引き込みが不要であるため、画像サイズが切り替わっても受信端末側で滑らかに映像を再生できる。
　なお、上述した小さな画像サイズで処理するAUを決定するための、Temporal IDの値のしきい値としての２は一例であって、他の値が用いられてもよい。
　また、映像符号化が容易である場合などには、符号化制御器１０８は、Temporal IDの値が所定のしきい値以上のAUに含まれるフレームもそのままの画像サイズにしてもよい。すなわち、符号化制御器１０８は、Temporal IDの値が所定のしきい値以上のAUに含まれるフレームをそのままの画像サイズまたは小さな画像サイズとし、その他のAUのフレームを常にそのままの画像サイズにしてもよい。
　さらに、残像効果を好ましく得る目的では、Temporal IDの値が所定のしきい値未満のＩピクチャを含むAUに含まれるフレームをその他のフレームよりも大きな画像サイズで処理することが望ましい。一方、データ量の削減効果を最大化するという目的では、Temporal IDの値が所定のしきい値以上のAUに含まれるフレームの画像サイズを、Temporal IDの値が所定のしきい値未満のAUに含まれるフレームの画像サイズよりも大きくすることが望ましい。
＜画像サイズの決定の仕方の他の例＞
　画像サイズの決定の仕方の他の例として、符号化制御器１０８は、図１０に例示されるように、シーンの映像符号化の難しさ（困難度）に応じて、処理対象フレームの画像サイズを、8Kと4Kとで切り替える方法が考えられる。
　なお、映像符号化の難しさは、入力映像の特性（絵柄や動きの複雑さなど）やエントロピー符号化器１０２の出力特性（量子化の粗さなど）の監視結果に基づいて判断可能である。
　4Kと8Kとを切り替えるつなぎ目での画質の違いを吸収するため、切り替わった後の先頭のＩピクチャのリーディングピクチャにおいて、切り替わる前のフレームを参照ピクチャとして利用することが望ましい。リーディングピクチャの予測画像の生成で、4K画像と8K画像とを組み合わせた双方向予測によって平滑化効果が得られるためである。
　さらに、8Kに切り替わった後のリーディングピクチャは、データ量を削減するという目的では、4Kで処理することが望ましい。一方、平滑化効果を最大化するという目的では、8Kで処理することが望ましい。
　次に、映像復号装置の構成と動作とを説明する。図１１は、本実施形態の映像復号装置の構成例を示すブロック図である。図１１に示す映像復号装置２００は、図４に示された映像符号化装置１００からのビットストリームを受信して映像復号処理を実行可能である。ただし、ビットストリームの送信元は、図４に示された映像符号化装置１００に限定されない。
　図１１に示す映像復号装置は、多重化解除器２０１、エントロピー復号器２０２、逆変換／逆量子化器２０３、予測器２０４、バッファ２０５、画素数変換器２０６、および復号制御部２０８を備える。
　多重化解除器２０１は、入力されるビットストリームを多重化解除して、エントロピー符号化データを抽出する。
　エントロピー復号器２０２は、エントロピー符号化データをエントロピー復号する。エントロピー復号器２０２は、エントロピー復号した変換量子化値を逆変換／逆量子化器２０３に供給し、さらに、cu_split_flag、pred_mode_flag、イントラ予測方向、および動きベクトルを予測器２０４に供給する。
　本実施形態では、ビットストリームには、すべてのフレームの輝度サンプルの最大画像幅および最大画像高を表すデータ（例えば、pic_width_max_in_luma_samplesシンタクス値とpic_height_max_in_luma_samplesシンタクス値）が多重化されている。また、ビットストリームには、フレーム毎に輝度サンプルの画像幅および画像高を表すデータ（例えば、pic_width_in_luma_samplesシンタクス値とpic_height_in_luma_samplesシンタクス値）が多重化されている。エントロピー復号器２０２は、エントロピー復号したそれらのデータを、復号制御器２０８に供給する。
　復号制御器２０８は、例えば、（１）式に基づいて、pic_width_in_luma_samplesシンタクス値とpic_height_in_luma_samplesシンタクス値とから、フレーム毎に参照ピクチャスケールレシオRefPicScaleを導出する。復号制御器２０８は、フレーム毎に参照ピクチャスケールレシオRefPicScaleを予測器２０４に供給する。また、復号制御器２０８は、pic_width_max_in_luma_samplesシンタクス値およびpic_height_max_in_luma_samplesシンタクス値と、pic_width_in_luma_samplesシンタクス値およびpic_height_in_luma_samplesシンタクス値とを、画素数変換器２０６に供給する。
　逆変換／逆量子化器２０３は、所定の量子化ステップ幅で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器２０３は、逆量子化した周波数変換係数を逆周波数変換する。
　予測器２０４は、cu_split_flag、pred_mode_flag、イントラ予測方向、動きベクトル、および、参照ピクチャスケールレシオRefPicScaleに基づいて、予測信号を生成する。予測信号は、イントラ予測またはフレーム間予測に基づいて生成される。
　逆変換／逆量子化器２０３で逆周波数変換された再構築予測誤差画像は、予測器２０４から供給される予測信号が加えられて、再構築画像としてバッファ２０５に供給される。そして、バッファ２０５に格納された再構築ピクチャがデコード映像として出力される。
　上述した動作によって、本実施形態の映像復号装置はデコード映像を生成する。
　デコード映像のデータは、表示用映像のデータとして表示装置や記憶装置に供給されるが、画素数変換器２０６は、すべての表示用映像のデータの画像サイズが揃うようにデコード映像の各々を所定の画像幅および画像高にスケールする。例えば、所定の画像幅および画像高として、最大画像幅および最大画像高が利用できる。この場合、画素数変換器２０６は、pic_width_in_luma_samplesシンタクス値およびpic_height_max_in_luma_samplesシンタクス値と、pic_width_max_in_luma_samplesシンタクス値およびpic_height_in_luma_samplesシンタクス値とを用いて前記スケールのための比率を導出できる。
　本実施形態では、再構築画像のフレームの画像サイズは、フレーム毎に異なる可能性がある。そこで、本実施形態では、映像復号装置２００において、画素数変換器２０６が、表示される画像サイズを揃える目的で、再構築画像フレームの画像サイズがシーケンスパラメータセットに含まれるpic_width_max_in_luma_samplesシンタクスの値とpic_height_max_in_luma_samplesシンタクスの値とで示されるサイズになるようにサイズ変換を行うように構成される。よって、画像サイズが切り替わっても滑らかに映像を再生できる。
　以上に説明したように、本実施形態では、映像符号化装置は、複雑な絵柄や動きのあるシーンでも映像品質をサービス品質レベルに保てるように、画像サイズを切り替えて映像符号化する。また、映像符号化装置は、画像サイズの切り替えに起因する映像ビットストリームの再引き込みが映像復号装置などの受信端末において不要になるように、映像符号化において参照ピクチャのスケーリングを利用する。さらに、映像符号化装置は、画像サイズの切り替えが視覚的に目立ちにくくなるように映像符号化を制御することもできる。
　したがって、複雑な絵柄や動きのあるシーンでも映像品質をサービス品質レベルに保つことができる。また、受信端末側における映像ビットストリームの再引き込みが不要になり、画像サイズが切り替わっても滑らかに映像を再生できる。さらに、画像サイズの変化が視覚的に見えにくくなり、画像サイズが切り替わる瞬間の映像品質をサービス品質で保つこともできる。
　上記の実施形態では、入力映像が8K映像の場合に、同じアスペクト比のままで8K映像（水平7680画素、垂直4320画素）と4K映像（水平3840画素、垂直2160画素）とを切り替えたが、別の実施形態として、アスペクト比を切り替えることも可能である。
　例えば、アスペクト比16:9の8K映像（水平7680画素、垂直4320画素）とアスペクト比4：3 の8K映像（水平5760画素、垂直4320画素）との間で切り替えてもよい。ただし、この場合、VUI Video Usability Information）とSample aspect ratio information SEI (Supplemental Enhancement Information) messageは以下のようになる。
[VUI]
・VUI に含まれるvui_aspect_ratio_constant_flagの値が０である。
[Sample aspect ratio information SEI message]
・各AUにはSample aspect ratio information SEI messageが含まれる。
・異なるアスペクト比で符号化されたAUの各再生映像が同じ大きさで表示されるように、一方のアスペクト比の画像サイズで符号化されたAUのSEI messageのsari_aspect_ratio_idc、sari_sar_width、sari_sar_heightで表現される画素アスペクトが、他方のアスペクト比の画像サイズで符号化されたAUのSEI messageのsari_aspect_ratio_idc、sari_sar_width、sari_sar_heightとは異なる値である。
　なお、上記の例の場合、vui_aspect_ratio_idcが１であるとき、アスペクト比16:9の8K映像で符号化されたAUのSEI messageのsari_aspect_ratio_idcは１であり、アスペクト比4:3の8K映像で符号化されたAUのSEI messageのsari_aspect_ratio_idcは１４である。
実施形態２．
　図１２は、映像システムの構成の一例を示すブロック図である。図１２に示す映像システムは、上記の映像符号化装置１００と上記の映像復号装置２００とが、無線伝送路または有線伝送路３００で接続されるシステムである。
　映像システム３００において、映像符号化装置１００は、上述したようにビットストリームを生成できる。また、映像システム３００において、映像復号装置２００は、上述したようにビットストリームを復号できる。
　また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
　図１３に示す情報処理システムは、ＣＰＵを含むプロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリームを格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
　図１３に示された情報処理システムにおいて、プログラムメモリ１００２には、図４，図１１のそれぞれに示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラム（映像符号化プログラムまたは映像復号プログラム）が格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図４，図１１のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。
　なお、図４，図１１のそれぞれに示された映像符号化装置または映像復号装置における機能の一部が半導体集積回路で実現され、他の部分がプロセッサ１０００等で実現されてもよい。
　プログラムメモリ１００２は、例えば、非一時的なコンピュータ可読媒体（non-transitory computer readable medium）である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の具体例として、半導体メモリ、磁気記録媒体（例えば、ハードディスク）、光磁気記録媒体（例えば、光磁気ディスク）がある。
　また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）に格納されてもよい。一時的なコンピュータ可読媒体（例えば、フラッシュＲＯＭ）には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給されてもよい。
　図１４は、映像符号化装置の主要部を示すブロック図である。図１４に示す映像符号化装置１０は、すべてのフレームの輝度サンプルの最大画像幅（具体的には、最大画像幅を表すデータ。例えば、pic_width_max_in_luma_samplesシンタクス）と最大画像高（具体的には、最大画像幅を表すデータ。例えば、pic_height_max_in_luma_samplesシンタクス）とをビットストリームに多重化する多重化部（多重化手段）１１（実施形態では、多重化器１０６で実現される。）と、フレーム毎に最大画像幅以下および最大画像高以下である輝度サンプルの画像幅（具体的には、画像の幅を表すデータ。例えば、pic_width_in_luma_samplesシンタクス）および画像高（具体的には、画像の高さを表すデータ。例えば、pic_height_in_luma_samplesシンタクス）を決定する決定部（決定手段）１２（実施形態では、符号化制御部１０８で実現される。）とを備え、多重化部１１は、決定された輝度サンプルの画像幅と画像高とをビットストリームに多重化し、処理対象フレームの輝度サンプルの画像幅および画像高を過去に処理されたフレームの輝度サンプルの画像幅および画像高にスケールさせるための参照ピクチャスケールレシオを導出する導出部（導出手段）１３（実施形態では、符号化制御部１０８で実現される。）を備えている。
　図１５は、映像復号装置の主要部を示すブロック図である。図１５に示す映像復号装置２０は、すべてのフレームの輝度サンプルの最大画像幅と最大画像高とをビットストリームから多重化解除し、フレーム毎に輝度サンプルの画像幅と画像高とをビットストリームから多重化解除する多重化解除部（多重化解除手段）２１（実施形態では、多重化解除器２０１で実現される。）と、処理対象フレームの輝度サンプルの画像幅および画像高を過去に処理したフレームの輝度サンプルの画像幅および画像高にスケールさせるための参照ピクチャスケールレシオを導出する導出部（導出手段）２２（実施形態では、復号制御器２０８で実現される。）と、参照ピクチャスケールレシオに関連する情報（例えば、参照ピクチャスケールレシオRefPicScaleそのもの、または、参照ピクチャスケールレシオRefPicScaleを導出するためのシンタクス値）に基づいて、表示用に出力するフレームの画像サイズを最大画像幅および最大画像高になるようにスケールするスケーリング部（スケーリング手段）２３（実施形態では、画素数変換器２０６で実現される。）とを備えている。
　上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
（付記１）映像符号化プログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
　前記映像符号化プログラムは、コンピュータに、
　すべてのフレームの輝度サンプルの最大画像幅と最大画像高とをビットストリームに多重化する処理と、
　フレーム毎に前記最大画像幅以下および前記最大画像高以下である輝度サンプルの画像幅および画像高を決定する処理と、
　決定された前記輝度サンプルの画像幅と画像高とをビットストリームに多重化する処理と、
　処理対象フレームの輝度サンプルの画像幅および画像高を過去に処理されたフレームの輝度サンプルの画像幅および画像高にスケールさせるための参照ピクチャスケールレシオを導出する処理と
　を実行させる。
（付記２）映像復号プログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
　前記映像復号プログラムは、コンピュータに、
　すべてのフレームの輝度サンプルの最大画像幅と最大画像高とをビットストリームから多重化解除する処理と、
フレーム毎に輝度サンプルの画像幅と画像高とをビットストリームから多重化解除する処理と、
　処理対象フレームの輝度サンプルの画像幅および画像高を過去に処理したフレームの輝度サンプルの画像幅および画像高にスケールさせるための参照ピクチャスケールレシオを導出する処理と、
　表示用に出力するフレームの画像サイズを前記最大画像幅および前記最大画像高になるようにスケールする処理と
　を実行させる。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１０，１００　映像符号化装置
　１１　　　多重化部
　１２　　　決定部
　１３　　　導出部
　２０，２００　映像復号装置
　２１　　　多重化解除部
　２２　　　導出部
　２３　　　スケーリング部
　１０１　　変換／量子化器
　１０２　　エントロピー符号化器
　１０３　　逆変換／逆量子化器
　１０４　　バッファ
　１０５　　予測器
　１０６　　多重化器
　１０７　　画素数変換器
　１０８　　符号化制御器
　２０１　　多重化解除器
　２０２　　エントロピー復号器
　２０３　　逆変換／逆量子化器
　２０４　　予測器
　２０５　　バッファ
　２０６　　画素数変換器
　２０８　　復号制御部
　３００　　映像システム
　１００１　プロセッサ
　１００２　プログラムメモリ
　１００３，１００４　記憶媒体

Claims (10)

  1. 　すべてのフレームの輝度サンプルの最大画像幅と最大画像高とをビットストリームに多重化する多重化手段と、
    　フレーム毎に前記最大画像幅以下および前記最大画像高以下である輝度サンプルの画像幅および画像高を決定する決定手段とを備え、
    　前記多重化手段は、決定された前記輝度サンプルの画像幅と画像高とをビットストリームに多重化し、
    　処理対象フレームの輝度サンプルの画像幅および画像高を過去に処理されたフレームの輝度サンプルの画像幅および画像高にスケールさせるための参照ピクチャスケールレシオを導出する導出手段を備える
    　ことを特徴とする映像符号化装置。
  2. 　予測信号を生成する手段を備え、
    　該手段は、前記参照ピクチャスケールレシオも用いて予測符号化を行う
    　請求項１記載の映像符号化装置。
  3. 　前記決定手段は、SOP構造のTemporal IDに応じて、フレームの画像サイズを8Kと4Kとの間での切り替える
    　請求項１または請求項２記載の映像符号化装置。
  4. 　前記決定手段は、シーンの映像符号化の困難度に応じて、フレームの画像サイズを8Kと4Kとの間での切り替える
    　請求項１または請求項２記載の映像符号化装置。
  5. 　すべてのフレームの輝度サンプルの最大画像幅と最大画像高とをビットストリームから多重化解除し、フレーム毎に輝度サンプルの画像幅と画像高とをビットストリームから多重化解除する多重化解除手段と、
    　処理対象フレームの輝度サンプルの画像幅および画像高を過去に処理したフレームの輝度サンプルの画像幅および画像高にスケールさせるための参照ピクチャスケールレシオを導出する導出手段と、
    　表示用に出力するフレームの画像サイズを前記最大画像幅および前記最大画像高になるようにスケールするスケーリング手段と
    　を備えることを特徴とする映像復号装置。
  6. 　すべてのフレームの輝度サンプルの最大画像幅と最大画像高とをビットストリームに多重化し、
    　フレーム毎に前記最大画像幅以下および前記最大画像高以下である輝度サンプルの画像幅および画像高を決定し、
    　決定された前記輝度サンプルの画像幅と画像高とをビットストリームに多重化し、
    　処理対象フレームの輝度サンプルの画像幅および画像高を過去に処理されたフレームの輝度サンプルの画像幅および画像高にスケールさせるための参照ピクチャスケールレシオを導出する
    　映像符号化方法。
  7. 　すべてのフレームの輝度サンプルの最大画像幅と最大画像高とをビットストリームから多重化解除し、
    フレーム毎に輝度サンプルの画像幅と画像高とをビットストリームから多重化解除し、
    　処理対象フレームの輝度サンプルの画像幅および画像高を過去に処理したフレームの輝度サンプルの画像幅および画像高にスケールさせるための参照ピクチャスケールレシオを導出し、
    　表示用に出力するフレームの画像サイズを前記最大画像幅および前記最大画像高になるようにスケールする
    　ことを特徴とする映像復号方法。
  8. 　コンピュータに、
    　すべてのフレームの輝度サンプルの最大画像幅と最大画像高とをビットストリームに多重化する処理と、
    　フレーム毎に前記最大画像幅以下および前記最大画像高以下である輝度サンプルの画像幅および画像高を決定する処理と、
    　決定された前記輝度サンプルの画像幅と画像高とをビットストリームに多重化する処理と、
    　処理対象フレームの輝度サンプルの画像幅および画像高を過去に処理されたフレームの輝度サンプルの画像幅および画像高にスケールさせるための参照ピクチャスケールレシオを導出する処理と
    　を実行させるための映像符号化プログラム。
  9. 　コンピュータに、
    　すべてのフレームの輝度サンプルの最大画像幅と最大画像高とをビットストリームから多重化解除する処理と、
    フレーム毎に輝度サンプルの画像幅と画像高とをビットストリームから多重化解除する処理と、
    　処理対象フレームの輝度サンプルの画像幅および画像高を過去に処理したフレームの輝度サンプルの画像幅および画像高にスケールさせるための参照ピクチャスケールレシオを導出する処理と、
    　表示用に出力するフレームの画像サイズを前記最大画像幅および前記最大画像高になるようにスケールする処理と
    　を実行させるための映像復号プログラム。
  10. 　請求項１から請求項４のうちのいずれかに記載の映像符号化装置と、請求項５記載の映像復号装置とを含む映像システム。
PCT/JP2020/015014 2020-04-01 2020-04-01 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像システムおよびプログラム WO2021199374A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/914,538 US20230143053A1 (en) 2020-04-01 2020-04-01 Video encoding device, video decoding device, video encoding method, video decoding method, video system, and program
JP2022511435A JPWO2021199374A1 (ja) 2020-04-01 2020-04-01
PCT/JP2020/015014 WO2021199374A1 (ja) 2020-04-01 2020-04-01 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像システムおよびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/015014 WO2021199374A1 (ja) 2020-04-01 2020-04-01 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像システムおよびプログラム

Publications (1)

Publication Number Publication Date
WO2021199374A1 true WO2021199374A1 (ja) 2021-10-07

Family

ID=77929779

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/015014 WO2021199374A1 (ja) 2020-04-01 2020-04-01 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像システムおよびプログラム

Country Status (3)

Country Link
US (1) US20230143053A1 (ja)
JP (1) JPWO2021199374A1 (ja)
WO (1) WO2021199374A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120294355A1 (en) * 2011-05-17 2012-11-22 Microsoft Corporation Video transcoding with dynamically modifiable spatial resolution
JP2016503268A (ja) * 2013-01-07 2016-02-01 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ ピクチャ符号化／復号化方法及び装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3145201A1 (en) * 2015-09-17 2017-03-22 Harmonic Inc. Video processing with dynamic resolution changes
KR20170075349A (ko) * 2015-12-23 2017-07-03 한국전자통신연구원 멀티 뷰를 가진 다중영상 송수신 장치 및 다중영상 다중화 방법
JP7238441B2 (ja) * 2019-02-04 2023-03-14 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP7475908B2 (ja) * 2020-03-17 2024-04-30 シャープ株式会社 予測画像生成装置、動画像復号装置及び動画像符号化装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120294355A1 (en) * 2011-05-17 2012-11-22 Microsoft Corporation Video transcoding with dynamically modifiable spatial resolution
JP2016503268A (ja) * 2013-01-07 2016-02-01 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ ピクチャ符号化／復号化方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
B. BROSS, J. CHEN, S. LIU, Y.-K. WANG: "Versatile Video Coding (Draft 8)", 17. JVET MEETING; 20200107 - 20200117; BRUSSELS; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), 18 January 2020 (2020-01-18), XP030224280 *

Also Published As

Publication number Publication date
US20230143053A1 (en) 2023-05-11
JPWO2021199374A1 (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
US11758139B2 (en) Image processing device and method
JP6070870B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
KR101538362B1 (ko) 영상 복호 장치, 영상 복호 방법 및 영상 복호 프로그램을 저장한 컴퓨터 판독 가능한 저장 매체
US9571838B2 (en) Image processing apparatus and image processing method
JP6471911B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
CN107181951B (zh) 视频解码设备以及视频解码方法
KR102198120B1 (ko) 비디오 인코딩 방법, 비디오 인코딩 디바이스, 비디오 디코딩 방법, 비디오 디코딩 디바이스, 프로그램, 및 비디오 시스템
JP7431803B2 (ja) クロマブロック予測方法およびデバイス
US20150103901A1 (en) Image processing apparatus and image processing method
US20150036744A1 (en) Image processing apparatus and image processing method
JP2016092837A (ja) 映像圧縮装置、映像再生装置および映像配信システム
US20160119639A1 (en) Image processing apparatus and image processing method
WO2021199374A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像システムおよびプログラム
WO2022044268A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法および映像復号方法
WO2022064700A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法および映像復号方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20928622

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022511435

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20928622

Country of ref document: EP

Kind code of ref document: A1