WO2024010430A1 - 선형 모델을 이용한 비디오 신호 처리 방법 및 이를 위한 장치 - Google Patents
선형 모델을 이용한 비디오 신호 처리 방법 및 이를 위한 장치 Download PDFInfo
- Publication number
- WO2024010430A1 WO2024010430A1 PCT/KR2023/009711 KR2023009711W WO2024010430A1 WO 2024010430 A1 WO2024010430 A1 WO 2024010430A1 KR 2023009711 W KR2023009711 W KR 2023009711W WO 2024010430 A1 WO2024010430 A1 WO 2024010430A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- sample
- luma component
- block
- value
- luma
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title description 4
- 241000023320 Luma <angiosperm> Species 0.000 claims abstract description 249
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims abstract description 249
- 238000000034 method Methods 0.000 claims description 163
- 230000002093 peripheral effect Effects 0.000 claims description 9
- 239000000523 sample Substances 0.000 description 263
- 230000033001 locomotion Effects 0.000 description 127
- 230000009466 transformation Effects 0.000 description 91
- 238000010586 diagram Methods 0.000 description 50
- 239000013598 vector Substances 0.000 description 45
- 238000012545 processing Methods 0.000 description 43
- 238000013139 quantization Methods 0.000 description 38
- 239000013074 reference sample Substances 0.000 description 34
- 230000008569 process Effects 0.000 description 26
- 238000006243 chemical reaction Methods 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 15
- 238000001914 filtration Methods 0.000 description 13
- 230000011664 signaling Effects 0.000 description 13
- 238000013507 mapping Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 229910052757 nitrogen Inorganic materials 0.000 description 6
- 230000002457 bidirectional effect Effects 0.000 description 5
- 238000009795 derivation Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000012447 hatching Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 229910052698 phosphorus Inorganic materials 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100155952 Escherichia coli (strain K12) uvrD gene Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000005056 compaction Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Definitions
- the present invention relates to a method and device for processing video signals, and more particularly, to a method and device for processing video signals for encoding or decoding video signals.
- Compression encoding refers to a series of signal processing technologies for transmitting digitized information through communication lines or storing it in a form suitable for storage media.
- Targets of compression coding include audio, video, and text.
- the technology for performing compression coding on video is called video image compression.
- Compressive coding for video signals is accomplished by removing redundant information by considering spatial correlation, temporal correlation, and probabilistic correlation.
- spatial correlation e.g., spatial correlation, temporal correlation, and probabilistic correlation.
- the purpose of this specification is to increase the coding efficiency of video signals by providing a video signal processing method and apparatus for the same.
- This specification provides a video signal processing method and a device therefor.
- a video signal decoding device includes a processor, wherein the processor predicts a sample of a chroma component corresponding to a sample of the luma component based on a sample of the luma component of a current block, and The current block is predicted based on the predicted value of the sample, and the predicted value of the sample of the chroma component is obtained using a linear equation, and the linear equation is the gradient of the sample of the luma component. May contain terms for values.
- a video signal encoding device includes a processor, wherein the processor obtains a bitstream to be decoded by a decoding method, and the decoding method obtains the luma component based on a sample of the luma component of the current block. predicting a sample of a chroma component corresponding to a sample of; Predicting the current block based on a predicted value of a sample of the chroma component, wherein the predicted value of the sample of the chroma component is obtained using a linear equation, and the linear equation is A term for the gradient value of a sample of the component may be included.
- the bitstream of a computer-readable non-transitory storage medium storing a bitstream is decoded by a decoding method, the decoding method comprising: predicting samples of corresponding chroma components; Predicting the current block based on a predicted value of a sample of the chroma component, wherein the predicted value of the sample of the chroma component is obtained using a linear equation, and the linear equation is A term for the gradient value of a sample of the component may be included.
- the linear equation may include a term for the sample value of the luma component.
- the linear equation may include a term for the value of a filter of a Sobel based gradient pattern.
- the linear equation may include non-linear terms.
- the linear equation may include 7 terms.
- the linear equation may include a term for the intermediate value of bit depth.
- the linear equation may include a term for a value of a sample of the luma component surrounding the sample of the luma component.
- the sample of the peripheral luma component may include a sample of the luma component adjacent to the upper side, a sample of the luma component adjacent to the left, a sample of the luma component adjacent to the right, and a sample of the luma component adjacent to the lower side of the luma component sample.
- the sample of the surrounding luma component may include a sample of the luma component adjacent to the left and a sample of the luma component adjacent to the right of the sample of the luma component.
- the sample of the surrounding luma component may include a sample of the luma component adjacent to the top and a sample of the luma component adjacent to the bottom of the sample of the luma component.
- the sample of the surrounding luma component may include a sample of the luma component adjacent to the upper-left side and a sample of the luma component adjacent to the lower-right side of the sample of the luma component.
- the sample of the surrounding luma component may include a sample of the luma component adjacent to the upper-right side and a sample of the luma component adjacent to the lower-left side of the sample of the luma component.
- the sample of the peripheral luma component includes a sample of the luma component adjacent to the upper-left side, a sample of the luma component adjacent to the upper-right side, a sample of the luma component adjacent to the lower-left side, and a luma component adjacent to the lower-right side of the sample of the luma component. Samples may be included.
- This specification provides a method for efficiently processing video signals.
- FIG. 1 is a schematic block diagram of a video signal encoding device according to an embodiment of the present invention.
- Figure 2 is a schematic block diagram of a video signal decoding device according to an embodiment of the present invention.
- Figure 3 shows an embodiment in which a coding tree unit is divided into coding units within a picture.
- Figure 4 shows one embodiment of a method for signaling splitting of quad trees and multi-type trees.
- FIGS 5 and 6 show the intra prediction method according to an embodiment of the present invention in more detail.
- Figure 7 is a diagram showing the positions of neighboring blocks used to construct a motion candidate list in inter prediction.
- Figure 8 is a diagram showing the relationship between luma samples and chroma samples according to an embodiment of the present invention.
- FIG. 9 is a diagram showing reference samples required for Cross-component Linear Model (CCLM) prediction according to an embodiment of the present invention.
- CCLM Cross-component Linear Model
- Figure 10 is a diagram showing a mode in which CCLM is applied according to an embodiment of the present invention.
- Figure 11 is a diagram showing a CCLM mode using two linear models according to an embodiment of the present specification.
- Figure 12 is a diagram showing the division structure of a block according to an embodiment of the present invention.
- Figure 13 is a diagram showing a method for optimizing a linear model for CCLM according to an embodiment of the present invention.
- Figure 14 is a diagram showing a method of obtaining parameter values of an optimized linear model for CCLM according to an embodiment of the present invention.
- FIG. 15 is a diagram showing a gradient linear model (GLM) according to an embodiment of the present invention.
- Figure 16 is a diagram showing a filter used in GLM to obtain the slope value 15 used in GLM.
- Figures 17 and 18 are diagrams showing a syntax structure according to an embodiment of the present invention.
- Figure 19 is a diagram showing a sample for CCCM.
- Figure 20 is a diagram showing a pattern of a CCCM filter according to an embodiment of the present invention.
- Figure 21 is a diagram showing a chroma component block and a luma component block corresponding to the chroma component block when the chroma format is 4:2:0 according to an embodiment of the present invention.
- Figure 22 is a diagram showing a method of deriving filters corresponding to a plurality of CCCM filters based on the derived intra prediction mode according to an embodiment of the present invention.
- Figure 23 is a diagram showing a method of generating a final chroma prediction sample by combining prediction samples of CCCM filters according to an embodiment of the present invention.
- Figure 24 is a diagram showing types of conversion kernels according to an embodiment of the present invention.
- Figure 25 is a diagram showing the restoration process of a residual signal according to an embodiment of the present invention.
- Figure 26 is a diagram showing a method of applying LFNST according to an embodiment of the present invention.
- Figure 27 is a diagram showing an LFNST set for each intra prediction mode according to an embodiment of the present invention.
- Figure 28 shows a method of obtaining a predicted value of a chroma sample according to an embodiment of the present invention.
- a and/or B may be interpreted as meaning ‘including at least one of A or B.’
- Coding can be interpreted as encoding or decoding depending on the case.
- a device that performs encoding (encoding) of a video signal to generate a video signal bitstream is referred to as an encoding device or encoder
- a device that performs decoding (decoding) of a video signal bitstream to restore a video signal is referred to as a decoder.
- a video signal processing device is used as a term that includes both an encoder and a decoder.
- 'Unit' is used to refer to a basic unit of image processing or a specific location of a picture, and refers to an image area containing at least one of a luminance (luma) component and a chrominance (chroma) component.
- 'block' refers to an image area containing specific components among the luminance component and chrominance component (i.e., Cb and Cr).
- terms such as 'unit', 'block', 'partition', 'signal', and 'area' may be used interchangeably.
- 'current block' refers to a block currently scheduled to be encoded
- 'reference block' refers to a block for which encoding or decoding has already been completed and is used as a reference in the current block.
- terms such as 'luma', 'luma', 'luminance', and 'Y' may be used interchangeably.
- terms such as 'chroma', 'chroma', 'color difference', and 'Cb or Cr' may be used interchangeably, and since the color difference component is divided into two types, Cb and Cr, each color difference component will be used separately. You can.
- a unit may be used as a concept that includes all coding units, prediction units, and transformation units.
- a picture refers to a field or frame, and depending on the embodiment, the above terms may be used interchangeably.
- the captured image is an interlaced image
- one frame is divided into an odd (or odd, top) field and an even (or even, bottom) field, and each field consists of one picture unit. and can be encoded or decoded.
- the captured image is a progressive image, one frame can be configured as a picture and encoded or decoded.
- terms such as 'error signal', 'residual signal', 'residual signal', 'residual signal', and 'difference signal' may be used interchangeably.
- terms such as 'intra prediction mode', 'intra prediction directional mode', 'intra-screen prediction mode', and 'intra-screen prediction directional mode' may be used interchangeably.
- terms such as 'motion' and 'movement' may be used interchangeably.
- 'left', 'upper left', 'upper', 'upper right', 'right', 'lower right', 'bottom', and 'lower left' mean 'left', 'upper left', ' It can be used interchangeably with 'top', 'top right', 'bottom right', 'bottom right', 'bottom', and 'bottom left'. Additionally, element and member can be used interchangeably.
- POC Picture Order Count
- Figure 1 is a schematic block diagram of a video signal encoding device 100 according to an embodiment of the present invention.
- the encoding device 100 of the present invention includes a transform unit 110, a quantization unit 115, an inverse quantization unit 120, an inverse transform unit 125, a filtering unit 130, and a prediction unit 150. ) and an entropy coding unit 160.
- the conversion unit 110 obtains a conversion coefficient value by converting the residual signal, which is the difference between the input video signal and the prediction signal generated by the prediction unit 150.
- Discrete Cosine Transform DCT
- DST Discrete Sine Transform
- Wavelet Transform may be used.
- Discrete cosine transform and discrete sine transform perform transformation by dividing the input picture signal into blocks. In transformation, coding efficiency may vary depending on the distribution and characteristics of values within the transformation region.
- the transformation kernel used for transformation of the residual block may be a transformation kernel with separable characteristics of vertical transformation and horizontal transformation. In this case, transformation for the residual block can be performed separately into vertical transformation and horizontal transformation.
- the encoder can perform vertical transformation by applying a transformation kernel in the vertical direction of the residual block.
- error signals may exist only in some areas of the coding block.
- the conversion process may be performed only for some arbitrary areas.
- an error signal may exist only in the first 2NxN block, and a conversion process is performed only on the first 2NxN block, but the conversion process is not performed on the second 2NxN block and may not be encoded or decoded.
- N can be any positive integer.
- the encoder may perform additional transformations before the transform coefficients are quantized.
- the above-described transformation method may be referred to as a primary transform, and additional transformation may be referred to as a secondary transform.
- Secondary transformation may be optional for each residual block.
- the encoder may improve coding efficiency by performing secondary transformation on a region where it is difficult to concentrate energy in the low-frequency region only through primary transformation.
- secondary transformation may be additionally performed on a block whose residual values appear large in directions other than the horizontal or vertical direction of the residual block.
- secondary transformation may not be performed separately into vertical transformation and horizontal transformation. This secondary transform may be referred to as Low Frequency Non-Separable Transform (LFNST).
- LTNST Low Frequency Non-Separable Transform
- the quantization unit 115 quantizes the transform coefficient value output from the transform unit 110.
- the picture is predicted using the already coded area through the prediction unit 150, and the residual value between the original picture and the predicted picture is added to the predicted picture to create a reconstructed picture.
- a method of obtaining is used.
- the encoder performs a process of restoring the current encoded block.
- the inverse quantization unit 120 inversely quantizes the transform coefficient value, and the inverse transform unit 125 restores the residual value using the inverse quantized transform coefficient value.
- the filtering unit 130 performs a filtering operation to improve the quality of the reconstructed picture and improve coding efficiency.
- deblocking filters For example, deblocking filters, sample adaptive offset (SAO), and adaptive loop filters may be included.
- the filtered picture is output or stored in a decoded picture buffer (DPB, 156) to be used as a reference picture.
- DPB decoded picture buffer
- a deblocking filter is a filter for removing distortion within blocks created at the boundaries between blocks in a restored picture.
- the encoder can determine whether to apply a deblocking filter to the edge based on the distribution of pixels included in several columns or rows based on an arbitrary edge within the block.
- the encoder can apply a long filter, strong filter, or weak filter depending on the deblocking filtering strength.
- horizontal filtering and vertical filtering can be processed in parallel.
- Sample adaptive offset (SAO) can be used to correct the offset from the original image on a pixel basis for a residual block to which a deblocking filter has been applied.
- the encoder In order to correct the offset for a specific picture, the encoder divides the pixels included in the image into a certain number of areas, determines the area to perform offset correction, and uses a method (Band Offset) to apply the offset to the area. You can. Alternatively, the encoder can use a method of applying an offset (Edge Offset) by considering the edge information of each pixel.
- Adaptive Loop Filter ALF is a method of dividing pixels included in an image into predetermined groups, then determining one filter to be applied to the group, and performing differential filtering for each group. Information related to whether to apply ALF may be signaled in units of coding units, and the shape and filter coefficients of the ALF filter to be applied may vary for each block. Additionally, an ALF filter of the same type (fixed type) may be applied regardless of the characteristics of the target block to be applied.
- the prediction unit 150 includes an intra prediction unit 152 and an inter prediction unit 154.
- the intra prediction unit 152 performs intra prediction within the current picture
- the inter prediction unit 154 performs inter prediction using the reference picture stored in the decoded picture buffer 156. Perform.
- the intra prediction unit 152 performs intra prediction from the reconstructed areas in the current picture and transmits intra encoding information to the entropy coding unit 160.
- Intra encoding information may include at least one of an intra prediction mode, a Most Probable Mode (MPM) flag, an MPM index, and information about a reference sample.
- the inter prediction unit 154 may again include a motion estimation unit 154a and a motion compensation unit 154b.
- the motion estimation unit 154a refers to a specific region of the reconstructed reference picture, finds the part most similar to the current region, and obtains a motion vector value that is the distance between regions.
- Motion information reference direction indication information (L0 prediction, L1 prediction, bi-directional prediction), reference picture index, motion vector information, etc.) about the reference area obtained from the motion estimation unit 154a is transmitted to the entropy coding unit 160. so that it can be included in the bitstream.
- the motion compensation unit 154b uses the motion information transmitted from the motion estimation unit 154a, the motion compensation unit 154b performs inter-motion compensation to generate a prediction block for the current block.
- the inter prediction unit 154 transmits inter encoding information including motion information about the reference region to the entropy coding unit 160.
- the prediction unit 150 may include an intra block copy (IBC) prediction unit (not shown).
- the IBC prediction unit performs IBC prediction from the reconstructed samples in the current picture and transmits IBC encoding information to the entropy coding unit 160.
- the IBC prediction unit refers to a specific region in the current picture and obtains a block vector value indicating a reference region used for prediction of the current region.
- the IBC prediction unit may perform IBC prediction using the obtained block vector value.
- the IBC prediction unit transmits IBC encoding information to the entropy coding unit 160.
- IBC encoding information may include at least one of reference area size information and block vector information (index information for block vector prediction of the current block within the motion candidate list, block vector difference information).
- the transform unit 110 obtains a transform coefficient value by transforming the residual value between the original picture and the predicted picture.
- transformation may be performed on a specific block basis within the picture, and the size of the specific block may vary within a preset range.
- the quantization unit 115 quantizes the transform coefficient value generated by the transform unit 110 and transmits the quantized transform coefficient to the entropy coding unit 160.
- the quantized transform coefficients in the form of a two-dimensional array can be rearranged into a one-dimensional array for entropy coding.
- the scanning method for the quantized transform coefficient may be determined depending on the size of the transform block and the intra-screen prediction mode. As an example, diagonal, vertical, and horizontal scans may be applied. This scan information can be signaled in block units and can be derived according to already established rules.
- the entropy coding unit 160 generates a video signal bitstream by entropy coding information representing quantized transform coefficients, intra encoding information, and inter encoding information.
- the entropy coding unit 160 may use a variable length coding (VLC) method or an arithmetic coding method.
- VLC variable length coding
- the variable length coding (VLC) method converts input symbols into continuous codewords, and the length of the codewords may be variable. For example, frequently occurring symbols are expressed as short codewords, and infrequently occurring symbols are expressed as long codewords.
- Context-based Adaptive Variable Length Coding CAVLC
- CAVLC Context-based Adaptive Variable Length Coding
- Arithmetic coding converts consecutive data symbols into a single decimal number using the probability distribution of each data symbol. Arithmetic coding can obtain the optimal decimal bits needed to express each symbol.
- As arithmetic coding context-based adaptive binary arithmetic code (CABAC) can be used.
- CABAC context-based adaptive binary arithmetic code
- CABAC is a method of binary arithmetic encoding using multiple context models created based on probabilities obtained through experiments.
- the context model can also be called a context model.
- the CABAC initialization process is divided into context initialization and arithmetic coding initialization.
- Context initialization is a process of initializing the probability of occurrence of each symbol, and is determined depending on the type of symbol, quantization parameter (QP), and slice type (whether I, P, or B).
- QP quantization parameter
- slice type whether I, P, or B
- the context model provides the probability of occurrence of LPS (Least Probable Symbol) or MPS (Most Probable Symbol) for the symbol currently being coded and information (valMPS) about which empty value among 0 and 1 corresponds to the MPS.
- LPS Local Probable Symbol
- MPS Moving Probable Symbol
- valMPS information about which empty value among 0 and 1 corresponds to the MPS.
- One of several context models is selected through a context index (ctxIdx), and the context index can be derived through information on the current block to be encoded or information on surrounding blocks.
- Initialization for binary arithmetic coding is performed based on the probability model selected from the context model.
- Binary arithmetic coding is divided into probability intervals using the probability of occurrence of 0 and 1, and then coding is carried out through the process where the probability interval corresponding to the bin to be processed becomes the entire probability interval for the next bin to be processed.
- a renormalization process is performed to widen the probability interval and the corresponding location information is output. Additionally, after each bin is processed, a probability update process may be performed in which the probability of the next bin to be processed is newly set through information on the processed bin.
- the generated bitstream is encapsulated in a NAL (Network Abstraction Layer) unit as a basic unit.
- NAL units are divided into VCL (Video Coding Layer) NAL units containing video data and non-VCL NAL units containing parameter information for decoding video data.
- VCL Video Coding Layer
- non-VCL NAL units There are various types of VCL or non-VCL NAL units.
- the NAL unit consists of NAL header information and data, RBSP (Raw Byte Sequence Payload), and the NAL header information includes summary information about the RBSP.
- the RBSP of the VCL NAL unit includes an encoded integer number of coding tree units.
- the bitstream In order to decode a bitstream in a video decoder, the bitstream must first be separated into NAL units, and then each separated NAL unit must be decoded. Meanwhile, the information required for decoding the video signal bitstream will be transmitted in a picture parameter set (PPS), sequence parameter set (SPS), video parameter set (VPS), etc. You can.
- PPS picture parameter set
- SPS sequence parameter set
- VPS video parameter set
- FIG. 1 shows the encoding device 100 according to an embodiment of the present invention, and the separately displayed blocks show elements of the encoding device 100 logically distinguished. Accordingly, the elements of the above-described encoding device 100 may be mounted as one chip or as a plurality of chips depending on the design of the device. According to one embodiment, the operation of each element of the above-described encoding device 100 may be performed by a processor (not shown).
- Figure 2 is a schematic block diagram of a video signal decoding device 200 according to an embodiment of the present invention.
- the decoding device 200 of the present invention includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 225, a filtering unit 230, and a prediction unit 250.
- the entropy decoding unit 210 entropy decodes the video signal bitstream and extracts transform coefficient information, intra encoding information, and inter encoding information for each region. For example, the entropy decoder 210 may obtain a binarization code for transform coefficient information of a specific area from a video signal bitstream. Additionally, the entropy decoding unit 210 inversely binarizes the binarization code to obtain a quantized transform coefficient. The inverse quantization unit 220 inversely quantizes the quantized transform coefficient, and the inverse transform unit 225 restores the residual value using the inverse quantized transform coefficient. The video signal processing device 200 restores the original pixel value by summing the residual value obtained from the inverse transform unit 225 with the predicted value obtained from the prediction unit 250.
- the filtering unit 230 improves image quality by performing filtering on the picture. This may include a deblocking filter to reduce block distortion and/or an adaptive loop filter to remove distortion of the entire picture.
- the filtered picture is output or stored in the decoded picture buffer (DPB, 256) to be used as a reference picture for the next picture.
- the prediction unit 250 includes an intra prediction unit 252 and an inter prediction unit 254.
- the prediction unit 250 generates a prediction picture using the coding type decoded through the entropy decoding unit 210, transform coefficients for each region, intra/inter coding information, etc.
- the current picture including the current block or the decoded area of other pictures can be used. Only the current picture is used for reconstruction, that is, a picture (or tile/slice) that performs intra prediction or intra BC prediction is used as an intra picture or I picture (or tile/slice), intra prediction, both inter prediction and intra BC prediction.
- a picture (or tile/slice) that can be performed is called an inter picture (or tile/slice).
- a picture (or tile/slice) that uses up to one motion vector and reference picture index is called a predictive picture or P picture (or , tile/slice), and a picture (or tile/slice) using up to two motion vectors and a reference picture index is called a bi-predictive picture or B picture (or tile/slice).
- a P picture (or tile/slice) uses at most one set of motion information to predict each block
- a B picture (or tile/slice) uses at most two sets of motion information to predict each block.
- the motion information set includes one or more motion vectors and one reference picture index.
- the intra prediction unit 252 generates a prediction block using intra encoding information and reconstructed samples in the current picture.
- intra encoding information may include at least one of an intra prediction mode, a Most Probable Mode (MPM) flag, and an MPM index.
- MPM Most Probable Mode
- the intra prediction unit 252 predicts sample values of the current block using reconstructed samples located to the left and/or above the current block as reference samples.
- reconstructed samples, reference samples, and samples of the current block may represent pixels. Additionally, sample values may represent pixel values.
- the reference samples may be samples included in neighboring blocks of the current block.
- the reference samples may be samples adjacent to the left border and/or samples adjacent to the upper boundary of the current block.
- the reference samples are samples of neighboring blocks of the current block, which are located on a line within a preset distance from the left border of the current block and/or are located on a line within a preset distance from the upper border of the current block. These may be samples that do.
- the surrounding blocks of the current block are the left (L) block, upper (A) block, Below Left (BL) block, Above Right (AR) block, or Above Left block adjacent to the current block.
- AL may include at least one block.
- the inter prediction unit 254 generates a prediction block using the reference picture and inter encoding information stored in the decoded picture buffer 256.
- Inter-encoding information may include a set of motion information (reference picture index, motion vector information, etc.) of the current block with respect to the reference block.
- Inter prediction may include L0 prediction, L1 prediction, and bi-prediction.
- L0 prediction refers to prediction using one reference picture included in the L0 picture list
- L1 prediction refers to prediction using one reference picture included in the L1 picture list. This may require one set of motion information (eg, motion vector and reference picture index).
- a maximum of two reference regions can be used, and these two reference regions may exist in the same reference picture or in different pictures.
- the pair prediction method up to two sets of motion information (e.g., a motion vector and a reference picture index) can be used, and the two motion vectors may correspond to the same reference picture index or may correspond to different reference picture indices. It may be possible to respond.
- the reference pictures are pictures located temporally before or after the current picture, and may be pictures that have already been reconstructed.
- the two reference regions used in the bi-prediction method may be regions selected from the L0 picture list and the L1 picture list, respectively.
- the inter prediction unit 254 may obtain a reference block of the current block using a motion vector and a reference picture index.
- the reference block exists in a reference picture corresponding to a reference picture index.
- the sample value of the block specified by the motion vector or its interpolated value may be used as a predictor of the current block.
- an 8-tap interpolation filter can be used for the luminance signal and a 4-tap interpolation filter can be used for the chrominance signal.
- the interpolation filter for motion prediction in subpel units is not limited to this. In this way, the inter prediction unit 254 performs motion compensation to predict the texture of the current unit from the previously restored picture. At this time, the inter prediction unit can use a motion information set.
- the prediction unit 250 may include an IBC prediction unit (not shown).
- the IBC prediction unit can reconstruct the current region by referring to a specific region containing reconstructed samples in the current picture.
- the IBC prediction unit may perform IBC prediction using the IBC encoding information obtained from the entropy decoding unit 210.
- IBC encoding information may include block vector information.
- the predicted value output from the intra prediction unit 252 or the inter prediction unit 254 and the residual value output from the inverse transform unit 225 are added to generate a restored video picture. That is, the video signal decoding apparatus 200 restores the current block using the prediction block generated by the prediction unit 250 and the residual obtained from the inverse transform unit 225.
- FIG. 2 shows a decoding device 200 according to an embodiment of the present invention, and the separately displayed blocks show elements of the decoding device 200 logically distinguished. Accordingly, the elements of the above-described decoding device 200 may be mounted as one chip or as a plurality of chips depending on the design of the device. According to one embodiment, the operation of each element of the above-described decoding device 200 may be performed by a processor (not shown).
- signaling can be described as encoding each syntax from an encoder's perspective
- parsing can be described as interpreting each syntax from a decoder's perspective. That is, each syntax can be signaled by being included in the bitstream from the encoder, and the decoder can parse the syntax and use it in the restoration process.
- sequence of bits for each syntax arranged according to the prescribed hierarchical structure can be referred to as a bitstream.
- One picture may be divided into sub-pictures, slices, tiles, etc. and encoded.
- a subpicture may include one or more slices or tiles. If one picture is divided into multiple slices or tiles and encoded, it can be displayed on the screen only when all slices or tiles in the picture have been decoded. On the other hand, when one picture is encoded with several subpictures, only arbitrary subpictures can be decoded and displayed on the screen.
- a slice may contain multiple tiles or subpictures. Alternatively, a tile may include multiple subpictures or slices. Subpictures, slices, and tiles can be encoded or decoded independently of each other, which is effective in improving parallel processing and processing speed. However, there is a disadvantage in that the bit amount increases because encoded information of other adjacent subpictures, other slices, and other tiles cannot be used.
- Subpictures, slices, and tiles can be divided into multiple Coding Tree Units (CTUs) and encoded.
- CTUs Coding Tree Units
- FIG. 3 shows an embodiment in which a Coding Tree Unit (CTU) is divided into Coding Units (CUs) within a picture.
- CTU Coding Tree Unit
- CUs Coding Units
- a coding tree unit may be composed of a luma coding tree block (CTB), two chroma coding tree blocks, and its encoded syntax information.
- CB luma coding tree block
- One coding tree unit may consist of one coding unit, or one coding tree unit may be divided into multiple coding units.
- One coding unit may be composed of a luminance coding block (CB), two chrominance coding blocks, and its encoded syntax information.
- One coding block can be divided into several sub-coding blocks.
- One coding unit may consist of one transform unit (TU), or one coding unit may be divided into several transform units.
- One transformation unit may be composed of a luminance transformation block (Transform Block, TB), two chrominance transformation blocks, and its encoded syntax information.
- a coding tree unit may be divided into a plurality of coding units.
- a coding tree unit may be a leaf node without being split. In this case, the coding tree unit itself may be a coding unit.
- a coding unit refers to a basic unit for processing a picture in the video signal processing process described above, that is, intra/inter prediction, transformation, quantization, and/or entropy coding.
- the size and shape of a coding unit within one picture may not be constant.
- the coding unit may have a square or rectangular shape.
- a rectangular coding unit (or rectangular block) includes a vertical coding unit (or vertical block) and a horizontal coding unit (or horizontal block).
- a vertical block is a block whose height is greater than its width
- a horizontal block is a block whose width is greater than its height.
- a non-square block may refer to a rectangular block, but the present invention is not limited thereto.
- the coding tree unit is first divided into a quad tree (Quad Tree, QT) structure. That is, in a quad tree structure, one node with a size of 2NX2N can be divided into four nodes with a size of NXN.
- a quad tree may also be referred to as a quaternary tree.
- Quad-tree partitioning can be performed recursively, and not all nodes need to be partitioned to the same depth.
- the leaf nodes of the aforementioned quad tree can be further divided into a multi-type tree (MTT) structure.
- MTT multi-type tree
- one node in a multi-type tree structure, one node may be divided into a binary or ternary tree structure with horizontal or vertical division. That is, there are four division structures in the multi-type tree structure: vertical binary division, horizontal binary division, vertical ternary division, and horizontal ternary division.
- the width and height of the nodes in each tree structure may both have values that are powers of 2.
- BT Binary Tree
- a node of size 2NX2N may be divided into two NX2N nodes by vertical binary division and into two 2NXN nodes by horizontal binary division.
- a node of size 2NX2N is divided into nodes of (N/2)X2N, NX2N and (N/2)X2N by vertical ternary division, and horizontal ternary division By division, it can be divided into nodes of 2NX(N/2), 2NXN, and 2NX(N/2).
- This multi-type tree partitioning can be performed recursively.
- Leaf nodes of a multi-type tree can be coding units. If the coding unit is not larger than the maximum transformation length, the coding unit can be used as a unit of prediction and/or transformation without further division. As an example, if the width or height of the current coding unit is greater than the maximum transform length, the current coding unit may be split into a plurality of transform units without explicit signaling regarding splitting. Meanwhile, in the above-described quad tree and multi-type tree, at least one of the following parameters may be defined in advance or transmitted through an RBSP of a higher level set such as PPS, SPS, VPS, etc.
- Figure 4 shows one embodiment of a method for signaling splitting of quad trees and multi-type trees.
- Preset flags can be used to signal division of the above-described quad tree and multi-type tree.
- a flag 'split_cu_flag' indicating whether to split a node
- a flag 'split_qt_flag' indicating whether to split a quad tree node
- a flag 'mtt_split_cu_vertical_flag' indicating the splitting direction of a multi-type tree node, or a multi-type tree node.
- At least one of the flags 'mtt_split_cu_binary_flag' that indicates the split shape of the type tree node can be used.
- 'split_cu_flag' a flag indicating whether to split the current node, may be signaled first. If the value of 'split_cu_flag' is 0, it indicates that the current node is not split, and the current node becomes a coding unit. If the current node is a coating tree unit, the coding tree unit includes one undivided coding unit. If the current node is a quad tree node 'QT node', the current node is a leaf node 'QT leaf node' of the quad tree and becomes a coding unit. If the current node is a multi-type tree node 'MTT node', the current node is a leaf node 'MTT leaf node' of the multi-type tree and becomes a coding unit.
- the current node can be divided into nodes of a quad tree or multi-type tree according to the value of 'split_qt_flag'.
- the coding tree unit is the root node of the quad tree and can be first divided into a quad tree structure. In the quad tree structure, 'split_qt_flag' is signaled for each node 'QT node'.
- quad tree division may be limited depending on the type of the current node. Quad tree splitting may be allowed if the current node is a coding tree unit (root node of the quot tree) or a quot tree node, and quot tree splitting may not be allowed if the current node is a multi-type tree node.
- Each quad tree leaf node 'QT leaf node' can be further divided into a multi-type tree structure. As described above, if 'split_qt_flag' is 0, the current node can be split into multi-type nodes. To indicate the split direction and split shape, 'mtt_split_cu_vertical_flag' and 'mtt_split_cu_binary_flag' may be signaled.
- the luminance block and the chrominance block can be divided into the same form. That is, the chrominance block can be divided by referring to the division type of the luminance block. If the current chrominance block is smaller than a certain size, the chrominance block may not be divided even if the luminance block is divided.
- the luminance block and the chrominance block may have different forms.
- division information for the luminance block and division information for the chrominance block may be signaled, respectively.
- not only the division information but also the encoding information of the luminance block and the chrominance block may be different.
- at least one intra coding mode of a luminance block and a chrominance block, encoding information for motion information, etc. may be different.
- a node to be divided into the smallest unit can be processed as one coding block.
- the coding block may be divided into several sub-blocks (sub-coding blocks), and the prediction information of each sub-block may be the same or different.
- the intra prediction mode of each subblock may be the same or different from each other.
- the motion information of each sub-block may be the same or different.
- each sub-block may be encoded or decoded independently from each other.
- Each sub-block can be distinguished through a sub-block index (sbIdx).
- a coding unit when a coding unit is divided into sub-blocks, it may be divided horizontally or vertically or diagonally.
- ISP Intra Sub Partitions
- GPM Gaometric partitioning mode
- the position and direction of the diagonal line are derived using a predetermined angle table, and the index information of the angle table is signaled.
- the term unit used in this specification may be used as a replacement for the prediction unit, which is a basic unit for performing prediction.
- the present invention is not limited to this, and can be understood more broadly as a concept including the coding unit.
- Figures 5 and 6 show the intra prediction method according to an embodiment of the present invention in more detail.
- the intra prediction unit predicts sample values of the current block using reconstructed samples located to the left and/or above the current block as reference samples.
- Figure 5 shows an example of reference samples used for prediction of the current block in intra prediction mode.
- the reference samples may be samples adjacent to the left boundary and/or samples adjacent to the upper boundary of the current block.
- a maximum of 2W+2H+1 located to the left and/or above the current block Reference samples can be set using the surrounding samples.
- pixels of multiple reference lines may be used for intra prediction of the current block.
- Multiple reference lines may be composed of n lines located within a preset range from the current block.
- separate index information indicating lines to be set as reference pixels may be signaled, and may be called a reference line index.
- the intra prediction unit may obtain reference samples by performing a reference sample padding process. Additionally, the intra prediction unit may perform a reference sample filtering process to reduce the error of intra prediction. That is, filtered reference samples can be obtained by performing filtering on surrounding samples and/or reference samples obtained through a reference sample padding process. The intra prediction unit predicts samples of the current block using the reference samples obtained in this way. The intra prediction unit predicts samples of the current block using unfiltered or filtered reference samples.
- peripheral samples may include samples on at least one reference line. For example, neighboring samples may include adjacent samples on a line adjacent to the boundary of the current block.
- Intra prediction mode information indicating the intra prediction direction may be signaled.
- Intra prediction mode information indicates one of a plurality of intra prediction modes constituting an intra prediction mode set. If the current block is an intra prediction block, the decoder receives intra prediction mode information of the current block from the bitstream. The intra prediction unit of the decoder performs intra prediction on the current block based on the extracted intra prediction mode information.
- the intra prediction mode set may include all intra prediction modes used for intra prediction (eg, a total of 67 intra prediction modes). More specifically, the intra prediction mode set may include a planar mode, a DC mode, and multiple (e.g., 65) angular modes (i.e., directional modes). Each intra prediction mode may be indicated through a preset index (i.e., intra prediction mode index). For example, as shown in FIG. 6, intra prediction mode index 0 indicates planar mode, and intra prediction mode index 1 indicates DC mode. Additionally, intra prediction mode indices 2 to 66 may respectively indicate different angle modes. The angle modes each indicate different angles within a preset angle range.
- the angle mode may indicate an angle within an angle range between 45 degrees and -135 degrees clockwise (i.e., a first angle range).
- the angle mode can be defined based on the 12 o'clock direction.
- intra prediction mode index 2 indicates horizontal diagonal (HDIA) mode
- intra prediction mode index 18 indicates horizontal (HORizontal, HOR) mode
- intra prediction mode index 34 indicates diagonal (DIA) mode.
- the mode is indicated, and intra prediction mode index 50 indicates vertical (VER) mode, and intra prediction mode index 66 indicates vertical diagonal (VDIA) mode.
- the preset angle range may be set differently depending on the shape of the current block. For example, if the current block is a rectangular block, a wide-angle mode indicating an angle exceeding 45 degrees or less than -135 degrees clockwise may be additionally used. If the current block is a horizontal block, the angle mode may indicate an angle within an angle range (i.e., a second angle range) between (45+offset1) degrees and (-135+offset1) degrees in a clockwise direction. At this time, angle modes 67 to 76 outside the first angle range may be additionally used.
- an angle range i.e., a second angle range
- the angle mode may indicate an angle within an angle range between (45-offset2) degrees and (-135-offset2) degrees clockwise (i.e., a third angle range).
- angle modes -10 to -1 outside the first angle range may be additionally used.
- the values of offset1 and offset2 may be determined differently depending on the ratio between the width and height of the rectangular block. Additionally, offset1 and offset2 can be positive numbers.
- the plurality of angle modes constituting the intra prediction mode set may include a basic angle mode and an extended angle mode.
- the extended angle mode may be determined based on the basic angle mode.
- the basic angle mode corresponds to the angle used in intra prediction of the existing HEVC (High Efficiency Video Coding) standard
- the extended angle mode corresponds to the angle newly added in intra prediction of the next-generation video codec standard. It may be a mode that does this. More specifically, the default angle mode is the intra prediction mode ⁇ 2, 4, 6,... , 66 ⁇ , and the extended angle mode is the intra prediction mode ⁇ 3, 5, 7,... , 65 ⁇ may be an angle mode corresponding to one of the following. That is, the extended angle mode may be an angle mode between basic angle modes within the first angle range. Accordingly, the angle indicated by the extended angle mode can be determined based on the angle indicated by the basic angle mode.
- the basic angle mode may be a mode corresponding to an angle within a preset first angle range
- the extended angle mode may be a wide angle mode outside the first angle range. That is, the default angle mode is the intra prediction mode ⁇ 2, 3, 4, ... , 66 ⁇ , and the extended angle mode is the intra prediction mode ⁇ -14, -13, -12,... , -1 ⁇ and ⁇ 67, 68, ... , 80 ⁇ may be an angle mode corresponding to one of the following.
- the angle indicated by the extended angle mode may be determined as the angle opposite to the angle indicated by the corresponding basic angle mode. Accordingly, the angle indicated by the extended angle mode can be determined based on the angle indicated by the basic angle mode.
- the number of expansion angle modes is not limited to this, and additional expansion angles may be defined depending on the size and/or shape of the current block.
- the total number of intra prediction modes included in the intra prediction mode set may vary depending on the configuration of the basic angle mode and extended angle mode described above.
- the spacing between extended angle modes may be set based on the spacing between corresponding basic angle modes.
- the extended angle modes ⁇ 3, 5, 7, ... , 65 ⁇ are the corresponding fundamental angular modes ⁇ 2, 4, 6, ... , 66 ⁇ can be determined based on the interval between them.
- the extended angle modes ⁇ -14, -13,... , -1 ⁇ are the corresponding opposite fundamental angular modes ⁇ 53, 53,... , 66 ⁇ is determined based on the spacing between the extended angle modes ⁇ 67, 68,... , 80 ⁇ are the corresponding opposite fundamental angular modes ⁇ 2, 3, 4, ... , 15 ⁇ can be determined based on the interval between them.
- the angular spacing between the extended angle modes may be set to be equal to the angular spacing between the corresponding basic angle modes.
- the number of extended angle modes in the intra prediction mode set may be set to less than the number of basic angle modes.
- the extended angle mode may be signaled based on the basic angle mode.
- a wide angle mode i.e., extended angle mode
- the basic angle mode that is replaced may be an angle mode corresponding to the opposite side of the wide angle mode. That is, the basic angle mode that is replaced is an angle mode that corresponds to an angle in the opposite direction of the angle indicated by the wide-angle mode or to an angle that differs from the angle in the opposite direction by a preset offset index.
- the preset offset index is 1.
- the intra-prediction mode index corresponding to the replaced basic angle mode may be remapped to the wide-angle mode to signal the corresponding wide-angle mode.
- wide angle mode ⁇ -14, -13, ... , -1 ⁇ is the intra prediction mode index ⁇ 52, 53, ... , 66 ⁇ , respectively
- the wide-angle mode ⁇ 67, 68, ... , 80 ⁇ is the intra prediction mode index ⁇ 2, 3, ... , 15 ⁇ can be signaled respectively.
- the intra prediction mode index for the basic angle mode signals the extended angle mode, so that even if the configurations of the angle modes used for intra prediction of each block are different, the same set of intra prediction mode indexes are used for signaling of the intra prediction mode. can be used Accordingly, signaling overhead due to changes in intra prediction mode configuration can be minimized.
- whether to use the extended angle mode may be determined based on at least one of the shape and size of the current block.
- the extended angle mode may be used for intra prediction of the current block, otherwise, only the basic angle mode may be used for intra prediction of the current block.
- the extended angle mode may be used for intra prediction of the current block, and if the current block is a square block, only the basic angle mode may be used for intra prediction of the current block.
- the intra prediction unit determines reference samples and/or interpolated reference samples to be used for intra prediction of the current block, based on intra prediction mode information of the current block.
- the intra prediction mode index indicates a specific angle mode
- a reference sample or an interpolated reference sample corresponding to the specific angle from the current sample of the current block is used for prediction of the current pixel. Accordingly, different sets of reference samples and/or interpolated reference samples may be used for intra prediction depending on the intra prediction mode.
- the decoder restores the sample values of the current block by adding the residual signal of the current block obtained from the inverse transformer to the intra prediction value of the current block. .
- Movement (motion) information used for inter prediction may include reference direction indication information (inter_pred_idc), reference picture indices (ref_idx_l0, ref_idx_l1), and motion (motion) vectors (mvL0, mvL1).
- Reference picture list utilization information (predFlagL0, predFlagL1) may be set according to the reference direction indication information.
- the coding unit may be divided into several sub-blocks, and the prediction information of each sub-block may be the same or different.
- the intra prediction mode of each subblock may be the same or different from each other.
- the motion information of each sub-block may be the same or different.
- each sub-block may be encoded or decoded independently from each other.
- Each sub-block can be distinguished through a sub-block index (sbIdx).
- the motion vector of the current block is likely to be similar to the motion vector of neighboring blocks. Therefore, the motion vector of the neighboring block can be used as a motion vector predictor (mvp), and the motion vector of the current block can be derived using the motion vector of the neighboring block. Additionally, in order to increase the accuracy of the motion vector, the motion vector difference (mvd) between the optimal motion vector of the current block found in the original image by the encoder and the motion prediction value may be signaled.
- mvp motion vector predictor
- mvd motion vector difference between the optimal motion vector of the current block found in the original image by the encoder and the motion prediction value
- the motion vector may have various resolutions, and the resolution of the motion vector may vary on a block basis.
- Motion vector resolution can be expressed in integer units, half-pixel units, 1/4 pixel units, 1/16 pixel units, integer pixel units of 4, etc. Since images such as screen content are in the form of simple graphics such as text, there is no need to apply an interpolation filter, so integer units and integer pixel units of 4 can be selectively applied on a block basis.
- Blocks encoded in affine mode which can express rotation and scale, have significant changes in shape, so integer units, 1/4 pixel units, and 1/16 pixel units can be selectively applied on a block basis.
- Information on whether to selectively apply motion vector resolution on a block basis is signaled with amvr_flag. If applied, which motion vector resolution to apply to the current block is signaled with amvr_precision_idx.
- the weights between the two prediction blocks can be applied the same or different, and information about the weights is signaled through bcw_idx.
- the Merge method is a method that configures the motion information of the current block to be the same as the motion information of neighboring blocks adjacent to the current block.
- the Merge method has the advantage of increasing the coding efficiency of motion information by spatially propagating motion information without change in a motion region with homogeneity.
- the AMVP method is a method that predicts motion information in the L0 and L1 prediction directions respectively and signals the most optimal motion information in order to express accurate motion information.
- the decoder derives motion information for the current block through the AMVP or Merge method and then uses the reference block located in the motion information derived from the reference picture as a prediction block for the current block.
- a method of deriving motion information in Merge or AMVP may be a method in which a motion candidate list is constructed using motion prediction values derived from neighboring blocks of the current block, and then index information for the optimal motion candidate is signaled.
- AMVP since motion candidate lists are derived for each of L0 and L1, the optimal motion candidate indices (mvp_l0_flag, mvp_l1_flag) for each of L0 and L1 are signaled.
- one merge index (merge_idx) is signaled.
- the motion candidate list derived from one coding unit may vary, and a motion candidate index or merge index may be signaled for each motion candidate list. At this time, a mode in which there is no information about the remaining blocks in blocks encoded in Merge mode can be called Merge Skip mode.
- motion candidate and motion information candidate may have the same meaning. Additionally, the motion candidate list and the motion information candidate list in this specification may have the same meaning.
- SMVD Symmetric MVD
- MVD Motion Vector Difference
- OBMC Overlapped Block Motion Compensation
- the MMVD method is a method of correcting motion information using one candidate selected from among several motion difference value candidates.
- Information about the correction value of motion information obtained through the MMVD method may be included in the bitstream and transmitted to the decoder.
- the amount of bits can be saved by including information about the correction value of motion information in the bitstream.
- the TM (Template Matching) method is a method of compensating motion information by constructing a template using surrounding pixels of the current block and finding a matching area with the highest similarity to the template.
- Template matching (TM) is a method of performing motion prediction in a decoder without including motion information in the bitstream in order to reduce the size of the encoded bitstream. At this time, since the decoder does not have the original image, it can roughly derive motion information for the current block using already restored neighboring blocks.
- the DMVR (Decoder-side Motion Vector Refinement) method is a method of correcting motion information through the correlation of already restored reference images in order to find more accurate motion information. It uses the bidirectional motion information of the current block to compare the two reference pictures. This is a method of using the point with the best matching between reference blocks in a reference picture within a certain area as a new bidirectional movement.
- the encoder corrects the motion information by performing DMVR in one block unit, then divides the block into sub-blocks and performs DMVR in each sub-block unit to correct the motion information of the sub-block again. This can be done, and this can be called MP-DMVR (Multi-pass DMVR).
- the LIC (Local Illumination Compensation) method is a method of compensating for luminance changes between blocks. It derives a linear model using surrounding pixels adjacent to the current block, and then compensates for the luminance information of the current block through the linear model.
- BDOF Bi-Directional Optical Flow
- the motion of the current block can be corrected using motion information derived from the BDOF of this VVC.
- PROF Prediction refinement with optical flow
- PROF is a technology to improve the accuracy of sub-block-level affine motion prediction to be similar to the accuracy of pixel-level motion prediction.
- PROF similar to BDOF, is a technology that obtains the final prediction signal by calculating correction values in pixel units for affine motion compensated pixel values in sub-block units based on optical flow.
- the CIIP (Combined Inter-/Intra-picture Prediction) method When generating a prediction block for the current block, the CIIP (Combined Inter-/Intra-picture Prediction) method performs a weighted average of the prediction blocks generated by the intra-picture prediction method and the prediction blocks generated by the inter-picture prediction method to create the final prediction block. This is a method to create .
- the IBC (Intra Block Copy) method is a method that finds the part most similar to the current block in an already reconstructed area in the current picture and uses the corresponding reference block as a prediction block for the current block. At this time, information related to the block vector, which is the distance between the current block and the reference block, may be included in the bitstream.
- the decoder can calculate or set the block vector for the current block by parsing information related to the block vector contained in Paintstream.
- the BCW (Bi-prediction with CU-level Weights) method does not generate a prediction block by averaging two prediction blocks that have been motion-compensated from different reference pictures, but applies weights adaptively on a block-by-block basis to compensate for motion. This is a method of performing a weighted average on two prediction blocks.
- the MHP (Multi-hypothesis prediction) method is a method of performing weight prediction using various prediction signals by transmitting additional motion information to unidirectional and bidirectional motion information when predicting between screens.
- CCLM Cross-component linear model
- MMLM Multi-model Linear mode
- the restored coefficients t' k for input coefficients t k depend only on the associated quantization index q k . That is, the quantization index for any restored coefficient has a different value from the quantization indexes for other restored coefficients.
- t' k may be a value including the quantization error at t k and may be different or the same depending on the quantization parameter.
- t'k may be named a restored transform coefficient or a dequantized transform coefficient
- the quantization index may be named a quantized transform coefficient.
- the reconstructed coefficients have the characteristic of being arranged at equal intervals.
- the distance between two adjacent restored values can be referred to as the quantization step size.
- the restored values may include 0, and the entire set of available restored values may be uniquely defined depending on the quantization step size.
- the quantization step size may vary depending on the quantization parameter.
- the set of allowable restored transform coefficients decreases due to quantization, and the number of elements of this set may be finite. Because of this, there is a limit to minimizing the average error between the original image and the restored image.
- Vector quantization can be used as a method to minimize this average error.
- a simple form of vector quantization method used in video encoding is sign data hiding. This is a method in which the encoder does not encode the sign of one non-zero coefficient, and the decoder determines the sign for the corresponding coefficient depending on whether the sum of the absolute values of all coefficients is even or odd. To this end, at least one coefficient may be increased or decreased by '1' in the encoder, and at least one coefficient is selected to be optimal in terms of cost for rate-distortion, so that the value is It can be adjusted. As an example embodiment, a coefficient having a value close to the boundary of the quantization interval may be selected.
- Trellis-Coded Quantization Another vector quantization method is Trellis-Coded Quantization, and in video coding, it is used as an optimal path search technique to obtain an optimized quantization value in dependent quantization.
- quantization candidates for all coefficients within a block are placed in a trellis graph, and the optimal trellis path between optimized quantization candidates is determined considering the cost of rate-distortion. and explore.
- dependent quantization applied to video encoding may be designed such that the set of allowable restored transform coefficients for a transform coefficient depends on the value of the transform coefficient that precedes the current transform coefficient in reconstruction order. At this time, by selectively using multiple quantizers according to the transformation coefficient, the average error between the original image and the restored image is minimized, thereby increasing coding efficiency.
- the MIP (Matrix Intra Prediction) method is a matrix-based intra prediction method. Unlike prediction methods that have directionality from pixels of neighboring blocks adjacent to the current block, pixels on the left and top of neighboring blocks are used as a predefined matrix. This is a method of obtaining a prediction signal using the and offset values.
- the intra prediction mode for the template derived through the surrounding pixels of the template is used to restore the current block. It can be used for.
- the decoder can generate a prediction template for the template using surrounding pixels (references) adjacent to the template, and use the intra prediction mode, which generates a prediction template most similar to the already restored template, to restore the current block. This method can be called TIMD (Template intra mode derivation).
- an encoder can determine a prediction mode for generating a prediction block and generate a bitstream containing information about the determined prediction mode.
- the decoder can set the intra prediction mode by parsing the received bitstream.
- the bit amount of information about the prediction mode may be about 10% of the total bitstream size.
- the encoder may not include information about the intra prediction mode in the bitstream. Accordingly, the decoder can derive (determine) an intra prediction mode for restoration of the current block using the characteristics of the surrounding blocks, and can restore the current block using the derived intra prediction mode.
- the decoder infers directionality information by applying a Sobel filter horizontally and vertically to each surrounding pixel (pixel) adjacent to the current block to derive the intra prediction mode, and then converts the directionality information into the intra prediction mode.
- a mapping method can be used.
- the method by which the decoder derives an intra prediction mode using neighboring blocks can be described as DIMD (Decoder side intra mode derivation).
- Figure 7 is a diagram showing the positions of neighboring blocks used to construct a motion candidate list in inter prediction.
- Surrounding blocks may be blocks in a spatial location or blocks in a temporal location. Surrounding blocks that are spatially adjacent to the current block are Left (A1) block, Left Below (A0) block, Above (B1) block, Above Right (B0) block, or Above Left. , B2) It can be at least one of the blocks.
- the neighboring block temporally adjacent to the current block may be a block containing the upper left pixel position of the bottom right (BR) block of the current block in the corresponding picture (Collocated picture).
- TMVP Temporal Motion Vector Predictor
- sbTMVP sub-block Temporal Motion Vector Predictor
- slice type information e.g., whether it is an I slice, a P slice, or a B slice
- slice type information e.g., whether it is an I slice, a P slice, or a B slice
- whether it is a tile whether it is a subpicture
- the size of the current block the depth of the coding unit, and the current block. It may be determined based on at least one of information about whether it is a luminance block or a chrominance block, whether it is a reference frame or a non-reference frame, reference order, and temporal hierarchy according to the hierarchy.
- Information used to determine whether the methods described in this specification will be applied may be information previously agreed upon between the decoder and the encoder. Additionally, this information may be determined according to profile and level.
- This information can be expressed as variable values, and the bitstream can include information about variable values. That is, the decoder can determine whether the above-described methods are applied by parsing information about variable values included in the bitstream. For example, it may be determined whether the above-described methods will be applied based on the horizontal or vertical length of the coding unit. If the horizontal or vertical length is 32 or more (e.g., 32, 64, 128, etc.), the above-described methods can be applied. Additionally, the above-described methods can be applied when the horizontal or vertical length is less than 32 (e.g., 2, 4, 8, 16). Additionally, the above-described methods can be applied when the horizontal or vertical length is 4 or 8.
- block may be used in the same sense as sample.
- Figure 8 is a diagram showing the relationship between luma samples and chroma samples according to an embodiment of the present invention.
- Figure 8 shows the positional relationship between luma samples and chroma samples in the horizontal and vertical directions. Additionally, Figure 8 shows the ratio relationship between luma samples and chroma samples.
- X may mean a luma sample
- O may mean a chroma sample.
- Figure 8(a) shows the positions of luma samples and chroma samples when the chroma format (relationship between luma samples and chroma samples) is 4:2:0 (or 4:1:1). There may be one corresponding chroma sample (Cb, Cr) for each four luma samples.
- Figure 8(b) shows the positions of luma samples and chroma samples when the chroma format is 4:2:2. For every four luma samples, there may be two corresponding chroma samples.
- Figure 8(c) shows the positions of luma samples and chroma samples when the chroma format is 4:4:4. There may be four corresponding chroma samples for each four luma samples. For each luma sample, one chroma sample can be located in the same location.
- FIG. 9 is a diagram showing reference samples required for Cross-component Linear Model (CCLM) prediction according to an embodiment of the present invention.
- CCLM Cross-component Linear Model
- the second color component may be predicted and/or restored based on the first color component.
- a model for the relationship between the first color component and the second color component may be used. That is, the second color component can be predicted and/or restored through the first color component based on a model for the relationship between the first color component and the second color component.
- a model for the relationship between the first color component and the second color component may be modeled from a sample of the already reconstructed first color component and a sample of the already reconstructed second color component. At this time, the sample of the already restored first color component and the sample of the already restored second color component may be samples around the current block.
- the second color component may be predicted and/or restored using the first color component that has already been reconstructed based on a model for the relationship between the first color component and the second color component.
- the first color component may be a luma component
- the second color component may be a chroma component.
- the first color component may be a chroma component and the second color component may be a luma component.
- the first color component and the second color component may be any one of Y, U, and V components.
- the first color component may refer to multiple color components.
- CCLM prediction can be used for chroma intra prediction. Video compression performance can be more efficient if the cross component correlation that exists in the YUV 4:2:0 sequence is used.
- chroma sample(s) of the current block may be predicted and/or restored based on the restored luma sample(s) of the current block.
- a linear model described later may be used. The linear model in this specification may be expressed as a linear equation, linear equation, etc.
- Equation 1 represents a linear model used when restoring a chroma sample based on an already restored luma sample.
- predC(i,j) means the predicted value of the chroma sample at the (i, j) location of the current block
- recL(i,j) is the already restored value at the (i, j) location of the current block. This may mean the value of the luma sample.
- the top-left position of the current block may be (0, 0).
- the already restored luma sample may be a down-sampled luma sample.
- Downsampling may refer to the process of adjusting the number of luma samples to the number of chroma samples when the number of luma samples and chroma samples is not 1:1, as shown in FIG. 8(c).
- the value of the down-sampled luma sample can be obtained by performing a weighted average according to a 6-tap filter (see FIG. 15).
- Parameters of Equation 1 and May be a value for minimizing the regression error between the restored luma sample (or the resampled luma sample) around the current block and the chroma sample.
- parameter is a parameter based on equation 2 Can be obtained based on Equation 3.
- L(n) and C(n) may be reference samples of CCLM.
- L(n) is modeling (e.g., parameter and refers to a restored luma sample used in the process of obtaining
- C(n) may refer to a restored chroma sample used in modeling. If the number of luma samples and the number of chroma samples are different, the luma samples may be down-sampled and used. L(n) and C(n) may be samples around the current block (neighborhood). N can be the number of L(n) and C(n) pairs.
- L(n) refers to the restored luma samples of the down-sampled top and left of the current block
- C(n) refers to the chroma samples of the top and left of the current block
- N refers to the down-sampled top and left of the current block.
- a video signal processing device e.g., encoder or decoder
- Equations 2 and 3 are parameters and This is just an example to obtain the parameter and Can be obtained by methods other than Equations 2 and 3 described above.
- Figure 10 is a diagram showing a mode in which CCLM is applied according to an embodiment of the present invention.
- CCLM can be divided into various modes (FIGS. 10(a) to 10(c)) depending on the construction method of the three reference samples.
- CCLM may have a mode that basically uses one linear model (mode 1 to mode 3).
- CCLM may have modes that use two linear models (mode 4 to mode 6). Including the mode using two linear models, CCLM can be divided into six modes.
- reference samples for CCLM may be a reference block (sample) above and a reference block to the left of the current block.
- a reference sample for CCLM may be a reference block above the current block.
- a reference sample for CCLM may be a block to the left of the current block.
- One or two linear models can be used in CCLM mode using reference samples configured as shown in FIGS. 10(a) to 10(c).
- CCLM mode (mode 1) which uses the reference sample according to FIG. 10(a) and uses one linear model, may be used or not indicated by a syntax element included in the bitstream, and in this case, the syntax element is LM_CHROMA_IDX. can be expressed.
- the use of the CCLM mode (mode 2) which uses the reference sample according to FIG. 10(b) and one linear model, can be indicated by a syntax element included in the bitstream, and in this case, the syntax element is MDLM_T_IDX. can be expressed.
- CCLM mode which uses the reference sample according to FIG. 10(c) and uses two linear models
- the syntax element is MDLM_L_IDX.
- mode 4 which uses the reference sample according to FIG. 10(a) and uses two linear models
- CCLM mode 5 which uses the reference sample according to FIG.
- each linear model may be a linear model for each group when divided into two groups according to the average value of the (down-sampled) luma component reference sample values.
- the luma component reference sample for CCLM may be a sample that is down-sampled to adjust the ratio of chroma samples to luma samples to 1:1.
- Figure 11 is a diagram showing a CCLM mode using two linear models according to an embodiment of the present specification.
- the average value of reference samples (luma component or chroma component) for CCLM can be a threshold for obtaining a linear model.
- the threshold value may be one or more.
- reference samples may be divided into a plurality of groups based on a threshold, and a video signal processing device may obtain a linear model for each group.
- the threshold can also be applied to the already restored luma component blocks of the current block.
- PredC(i,j)(PredC(x,y)) the predicted value of the chroma block, can be obtained using Equation 4, which is a linear model obtained based on a threshold.
- a first linear model can be obtained based on luma component reference samples with values below the average value
- a second linear model can be obtained based on luma component reference samples with values above the average value. can be obtained.
- the parameters of the first linear model is 2, can be 1.
- Parameters of the second linear model is 1/2, can be 1.
- Figure 12 is a diagram showing the division structure of a block according to an embodiment of the present invention.
- Figure 12(a) shows the QTBT division structure of the luma component block in the I slice of YUV 4:2:0
- Figure 12(b) shows the chroma QTBT division structure of the I slice of YUV 4:2:0.
- the luma component block and the chroma component block can be divided into different structures depending on the division type. If the division type is a single tree, the luma component block and the chroma component block may be divided into the same structure, and in this case, the chroma component block and the luma component block may correspond 1:1. If the division type is a separate tree, the luma component block and the chroma component block may be divided into different structures as shown in FIG.
- the chroma component block and the luma component block may not correspond 1:1.
- the chroma block (gray shaded portion) of FIG. 12(b) and the corresponding luma block (gray shaded portion) of FIG. 12(a) have different division structures.
- the prediction mode of the luma component block stored in the upper left position (TL) of FIG. 12(a) can be used, and if it is a separate tree, The prediction mode of the luma component block stored at the center position (CR) of the luma component block corresponding to the left block (regenerated shaded portion) of the chroma component block in FIG. 12(b) can be used.
- Figure 13 is a diagram showing a method for optimizing a linear model for CCLM according to an embodiment of the present invention.
- Figure 12(a) shows the equation 1 described above. and is a diagram showing , and Figure 12(b) is obtained to optimize the linear model and cast This is a drawing that represents. obtained to optimize and are respectively in Equation 1 and It can be replaced, and the linear model can be equal to Equation 5.
- u is an integer value between -4 and 4, and may be a value signaled by a syntax element included in the bitstream. Additionally, the u value may be a preset value. y r may be the mean value (or median, mode) of the (down-sampled) luma component reference sample.
- Figure 14 is a diagram showing a method of obtaining parameter values of an optimized linear model for CCLM according to an embodiment of the present invention.
- Figure 14 shows a method of obtaining y r , which is the average value of luma component reference samples for obtaining parameter values of an optimized linear model.
- the current block (blocks indexed from 0 to 15) is a 4x4 block, and reference samples may be blocks adjacent to the upper and left sides of the current block (blocks that are not indexed).
- y r can be obtained as the average value for all already restored luma component samples (all reference samples in the current block, that is, samples with indices 0 to 15).
- y r can be obtained as the average value of some of the luma samples.
- some samples may be samples at preset positions. Samples at preset positions may be samples at positions including the upper boundary and left boundary of the current block (i.e., samples with indices 0 to 4, 8, and 12).
- the video signal processing device can obtain the average value (y r ) through i) to iii). Additionally, the video signal processing device can obtain a new value using y r and the average value of reference samples, and the new value can replace y r .
- the average values of i) to iii) may be replaced by the median or mode values.
- FIG. 15 is a diagram showing a gradient linear model (GLM) according to an embodiment of the present invention.
- Figure 15(a) shows the weight value of the down-sampling filter used when the chroma format is not 4:4:4:.
- the size of the current block may be 8x8, and the chroma format may be 4:2:0.
- the video signal processing device can multiply the six values of the reference samples 151 located above the current coding block in FIG. 15(c) by the filter weight values corresponding to each of the six values, and obtain their average value. .
- the down-sampled luma samples may be the left block of FIG. 15(c).
- One chroma sample may be located per position of each down-sampled luma sample, and may correspond 1:1.
- the video signal processing device can obtain down-sampled luma samples.
- the GLM linear model can be set to Equation 6 or Equation 7 for each current block depending on conditions.
- the condition may be a condition based on a cost value.
- Equations 6 and 7 is the same as the value of the CCLM linear model in Equation 1 described above, and G(i,j) may be a slope value corresponding to the already restored luma samples.
- rec'L(i,j) may be the value of the down-sampled luma sample.
- Equation 6 can be replaced with Equation 8
- Equation 7 can be replaced with Equation 9.
- Equation 8 is the middle value of the bit depth of the content
- chromaMean may be the average value of chroma component reference samples.
- midValue in Equation 9 is the middle value of the bitdepth of the content, and may be 512 if the Bitdepth is 10-bit. Additionally, midValue may be the average value of each chroma component reference sample. Equations 8 and 9 may be a coefficient corresponding to the i-th already restored down-sampled luma sample value located around the chroma component sample to be predicted.
- the filter for obtaining the gradient value can be described as a Sobel based gradient pattern. There may be multiple filters for obtaining the slope value.
- Figure 15(b) illustrates one of a plurality of filters for obtaining a slope value.
- the GLM linear model can be applied independently to the chroma component Cb and Cr samples. At this time, whether the GLM linear model is applied to each chroma component can be signaled by a syntax element (flag) included in the bitstream. Additionally, when the GLM linear model is applied to each chroma component sample, a syntax element indicating one of the filters (a plurality of Sobel-based gradient patterns) for the GLM linear model may be included in the bitstream and signaled. A syntax element indicating one filter can be described with a glm index.
- GLM can operate in the six modes described above of CCLM or can be limited to operating only in specific modes.
- the specific mode may be LM_CHROMA_IDX, MDLM_L_IDX, and MDLM_T_IDX.
- GLM may not apply to some of the specific intra luma prediction modes. For example, GLM may not be applied to all or part of the undirected DC mode and planar mode. Additionally, if the intra luma prediction mode is one of non-directional DC mode, planar mode, and MIP mode, GLM may not be applied. At this time, the value of the syntax element (flag) indicating whether GLM is applied may be set to 0.
- Two linear models can also be used in GLM. Below, the GLM operation method and operating conditions will be described.
- the conditions for GLM to be applied are as follows.
- Standard value 1 is a positive integer and can be 16, 32, 64, 128, etc.
- the horizontal size of the luma block can be replaced by the horizontal size of the chroma block
- the vertical size of the luma block can be replaced by the vertical size of the chroma block.
- reference value 1 is a value determined based on the chroma format and may be 8, 16, 32, 64, 128, etc.
- a video signal processing device may determine a filter for obtaining a gradient value by parsing the glm index included in the bitstream. At this time, there may be 4, 8, or 16 filters for obtaining the slope value, and the glm index may indicate any one of 4, 8, or 16 filters.
- the glm index can be signaled with a fixed bit size. Additionally, to reduce signaling complexity, the glm index may be configured using a method described later rather than a fixed bit size.
- the video signal processing device may rearrange filter candidates that can be used as filters for obtaining a gradient value based on a reference element, and signal/parse the glm index based on the rearranged filter candidates.
- the reference element may be the luma prediction mode or coding mode (e.g., Decoder side intra mode derivation (DIMD), Template-based intra mode derivation (TIMD)) of the current block.
- DIMD Decoder side intra mode derivation
- TMD Template-based intra mode derivation
- a video signal processing device may classify luma prediction modes into a plurality of groups and rearrange filter candidates for obtaining a gradient value with filter candidates that are frequently used for each group.
- the most frequently used candidate may be mapped to the lowest glm index, and the glm index may be signaled with a size of 1 bit.
- the luma prediction mode may be classified into a plurality of groups. At this time, the luma prediction modes may be classified into groups evenly (i.e., the same number per group) or unevenly (i.e., unequal numbers per group).
- the indices of luma prediction modes included in each group may be continuous. Additionally, luma prediction modes can be classified based on specific indices.
- luma prediction modes can be classified into luma prediction modes corresponding to an index that is equal to or smaller than (or smaller than) a specific index and luma prediction modes that correspond to an index that is greater than (or equal to or larger than) a specific index.
- the specific index may be 18 (horizontal direction), 34 (diagonal direction), or 50 (vertical direction).
- non-directional prediction modes may be classified into a separate group.
- the glm index can be signaled using a variable length code scheme. Variable length code method can be used. The method may be a truncated unary binarization method.
- Table 1 shows the structure of truncated unary binarization. Referring to Table 1, as the value of the index (v) increases, the amount of information can also increase.
- the video signal processing device may calculate a cost value for each filter for obtaining a plurality of gradient values and rearrange the filters based on the cost value.
- the video signal processing device may sort filters in ascending order of cost values corresponding to the filters.
- the filter with the smallest cost value can be mapped to the smallest glm index.
- the video signal processing device may signal/parse the glm index indicating one of the reordered filters.
- the cost value may be calculated based on chroma component reference samples and chroma component prediction samples located at the boundary of the current block. Chroma component prediction samples located at the boundary of the current block may be samples at a specific location.
- Figure 16 is a diagram showing a filter used in GLM to obtain the slope value 15 used in GLM.
- Figure 16 is a diagram showing four Sobel based gradient patterns that can be used in GLM.
- the circle located in the center of each filter may be the result of filtering.
- Table 2 shows the filter values of 16 Sobel-based slope patterns that can be used in GLM.
- Figures 17 and 18 are diagrams showing a syntax structure according to an embodiment of the present invention.
- Figure 17 shows GLM-related syntax elements (flags) included in the sequence parameter set RBSP.
- the GLM-related syntax element may be sps_glm_enabled_flag.
- sps_glm_enabled_flag may indicate whether gradient linear model intra prediction is activated. If the value of sps_glm_enabled_flag is 1, it indicates that gradient linear model intra prediction from the luma component to the chroma component is activated for Coded Layer Video Sequence (CLVS). If the value of sps_glm_enabled_flag is 0, it indicates that gradient linear model intra prediction from the luma component to the chroma component is not activated for Coded Layer Video Sequence (CLVS).
- sps_glm_enabled_flag If sps_glm_enabled_flag does not exist, the value of sps_glm_enabled_flag can be inferred as 0 (sps_glm_enabled_flag equal to 1 specifies that the gradient linear model intra prediction from luma component to chroma component is enabled for the CLVS. sps_glm_enabled_flag equal to 0 specifies that the glm linear model intra prediction from luma component to chroma component is disabled for the CLVS. When sps_glm_enabled_flag is not present, it is inferred to be equal to 0).
- the sequence parameter set RBSP may include syntax elements related to a convolutional cross-component intra prediction model (CCCM).
- CCCM convolutional cross-component intra prediction model
- the CCCM-related syntax element may be sps_cccm_enabled_flag.
- sps_cccm_enabled_flag can indicate whether CCCM is activated. If the value of sps_cccm_enabled_flag is 1, it indicates that CCCM from the luma component to the chroma component is activated for CLVS. If the value of sps_cccm_enabled_flag is 0, it indicates that CCCM from the luma component to the chroma component is not activated for CLVS.
- sps_cccm_enabled_flag the value of sps_cccm_enabled_flag can be inferred as 0 (sps_cccm_enabled_flag equal to 1 specifies that the convolutional cross-component intra prediction model from luma component to chroma component is enabled for the CLVS. sps_cccm_enabled_flag equal to 0 specifies that the cccm intra prediction model from luma component to chroma component is disabled for the CLVS. When sps_cccm_enabled_flag is not present, it is inferred to be equal to 0).
- sps_glm_enabled_flag can be parsed when the value of sps_chroma_format_idc is non-0.
- sps_chroma_format_idc is a syntax element that represents the chroma format. If the value of sps_chroma_format_idc is 0, it can indicate that the chroma format is monochrome. That is, if the chroma format is not monochrome, sps_glm_enabled_flag can be parsed. Referring to FIG.
- sps_glm_enabled_flag can be parsed. That is, if the chroma format is not monochrome and CCLM is activated, sps_glm_enabled_flag can be parsed.
- CCLM and GLM can operate independently, and according to Figure 17(b), GLM can be used as a supplement to CCLM.
- sps_cccm_enabled_flag can also be parsed according to the conditions described in Figures 17(a) and (b).
- Figure 18 shows the general_constraint_info() syntax structure.
- the general_constraint_info() syntax structure may include a glm-related constraint syntax element (constraint flag).
- the general_constraint_info() syntax structure can be called in the profile_tier_level() syntax structure.
- the profile_tier_level() syntax structure can be called in the sequence parameter set RBSP syntax, video parameter set RBSP syntax, and Decoding capability information RBSP syntax.
- Syntax elements included in the general_constraint_info() syntax structure can constrain syntax elements included in the sequence parameter set RBSP.
- the glm-related constraint syntax element may be no_gci_glm_constraint_flag.
- no_gci_glm_constraint_flag may be a syntax element that constrains the value of sps_glm_enabled_flag. If the value of no_gci_glm_constraint_flag is 1, the value of sps_glm_enabled_flag for all pictures existing in OlsScope can be restricted to 0. That is, if the value of no_gci_glm_constraint_flag is 1, the gradient linear model intra prediction from the luma component to the chroma component may be constrained not to be activated for CLVS.
- no_gci_glm_constraint_flag 0
- sps_glm_enabled_flag 1
- the general_constraint_info() syntax structure may include CCCM-related constraint syntax elements.
- the CCCM-related constraint syntax element may be no_gci_cccm_constraint_flag.
- no_gci_cccm_constraint_flag may be a syntax element that constrains the value of sps_cccm_enabled_flag. If the value of no_gci_cccm_constraint_flag is 1, the value of sps_cccm_enabled_flag for all pictures existing in OlsScope can be restricted to 0. That is, if the value of no_gci_cccm_constraint_flag is 1, CCCM from the luma component to the chroma component may be constrained not to be activated for CLVS.
- no_gci_cccm_constraint_flag 0
- sps_cccm_enabled_flag 1 specifies that sps_cccm_enabled_flag for all pictures in OlsInScope shall be equal to 0.
- gci_no_cccm_constraint_flag 0 does not impose such a constraint).
- Figure 19 is a diagram showing a sample for CCCM.
- CCCM is one of the methods for obtaining the value of the chroma component sample of the current block.
- the chroma sample is obtained using luma component samples corresponding to the chroma sample and surrounding luma component samples of the luma component sample according to various types of filters. It could be a way to predict. That is, the video signal processing device can use a luma component sample of the current block to predict a chroma component sample corresponding to the luma component sample. And, the video signal processing device can restore the current block using the sample value of the predicted chroma component.
- Figure 19(a) shows reference samples (vertical hatching, 191) for applying CCCM to the current prediction block (slanted hatching, 192) according to an embodiment of the present invention, and the side (side) required when a cross-shaped filter is applied. ) Indicates the location of the samples (horizontal hatching).
- the reference samples 191 are of the current prediction block 192.
- a reference sample area (191-1) with a size of 2M It may be composed of an area 191-2 and a reference sample area 191-3 with a size of 6 x 6 in the upper left corner of the current prediction block 192.
- 191-1 may be (X 1 , Y 1 ), and 191-2 may be (X 2 , Y 2 ) It can be, and 191-3 can be (X 3 , Y 3 ).
- X 1 is a value from 0 to 2M-1
- Y 1 is a value from -1 to -6
- X 2 is a value from -1 to -6
- Y 2 is a value from 0 to 2N-1.
- X 3 and Y 3 may be values of -1 to -6.
- Figure 19(b) shows a sample of a cross-shaped pattern according to an embodiment of the present invention.
- a sample of any shape pattern can be expressed as a sample filter.
- the area to which the filter is applied may deviate from the reference sample area. If it exceeds the reference sample area, additionally required samples may be side samples.
- an area other than the reference sample may be required when a cross-shaped sample filter is applied. At this time, if an area other than the reference sample is not available, the value of the area other than the reference sample may be padded with the value of the C sample and used.
- the C sample in Figure 19(b) is a luma sample corresponding to the chroma component (Cb, Cr) sample, and the N, E, S, and W samples can be samples located adjacent to the C sample on the top, right, bottom, and left, respectively. there is.
- CCCM can be applied to each chroma component (i.e., Cb component, Cr component).
- the predicted value (predChromaVal) of the chroma component sample can be calculated as in Equation 10.
- the P value in Equation 10 is a nonlinear term and can be calculated as ( C*C + midVal ) >> bitDepth.
- midValue may be the middle value of the content bitdepth, or may be the average value of each chroma component.
- bidDepth may mean bit depth.
- the P value can be calculated as (C*C + 512) >> 10.
- the B value is a bias term, meaning an integer offset value, and may be the middle value of bitDepth content. For 10-bit content, the B value may be 512. Additionally, the B value may be an average value of chroma component reference samples.
- the B value may be the (absolute value) difference between the average value of the luma component reference samples and the average value of each chroma component reference sample.
- C, N, S, E, and W may mean sample values according to the positions in FIG. 19(b).
- the coefficients (C 0 , C 1 , ..., C 6 ) in Equation 10 are the MSE (Mean Square Error) of the autocorrelation matrix for the luma component sample value of the reference sample area and the cross-correlation vector for the chroma component sample value. It may be a value that minimizes the value.
- the autocorrelation matrix can be obtained using LDL decomposition or Cholesky decomposition. Additionally, the coefficients (C 0 , C 1 , ..., C 6 ) of Equation 10 can be obtained using back-substitution.
- C, N, S, E, W, and P in Equation 10 can be replaced by C', N', S', E', W', and P', respectively.
- C', N', S', E', W', and P' can be calculated as follows.
- meanY may be the average value of luma component reference samples.
- meanNonlinY can be calculated as follows.
- Equation 10 can be changed to Equation 11.
- Equation 11 is a form in which C, N, S, E, W, P, and B in Equation 10 are replaced with C', N', S', E', W', P', and B' and meanChroma is added. It can be. meanChroma may be the average value of chroma component reference samples. B' in Equation 11 may be the (absolute value) difference between the average value of the luma component reference sample and the average value of each chroma component reference sample.
- Equation 11 may be modified depending on the luma sample used for CCCM. For example, if only C, N, S, and E are used among C, N, S, E, and W, the term (c4W') corresponding to W may be modified to be excluded. Additionally, it can be transformed into a form in which B' is excluded.
- C', N', S', E', and W' in Equation 11 may be result values according to any one pattern (filter) among a plurality of Sobel-based slope patterns. That is, C', N', S', E', and W' in Equation 11 can be replaced with gradient values.
- Equation 10 can be changed as follows.
- the P value can be obtained according to (Cg*Cg + midVal) >> bitDepth.
- Cg may be the slope value of the C position sample in FIG. 19(b).
- midVal may be the middle value of bitDepth, and in content where bitDepth is 10 bits, midVal may be 512.
- the P value may be the average value of slope values of reference samples.
- the P value may be the average value of the slope values at locations (C, N, E, S, W) in FIG. 19(b).
- the P value can be obtained according to (meanG*meanG+bitDepth>>1)>>bitdepth. meanG may be the average value of slope values of reference samples.
- luma samples can be converted by applying a downward sampling filter (FIG. 15(a)) to equal the number of chroma samples.
- Equation 12 is a filter-base linear model (FLM) used for downward sampling.
- Equation 12 C is the value of the chroma component sample to be predicted
- L i is the value of the ith restored down-sampled luma component sample located around the chroma component sample to be predicted
- N is the number of luma component samples required to calculate the value of the chroma component sample to be predicted.
- the N value is an integer between 2 and 6 and may be 2 or 6.
- it can be replaced with a gradient value that is the result value for any one of a plurality of Sobel-based gradient patterns.
- Figure 20 is a diagram showing a pattern of a CCCM filter according to an embodiment of the present invention.
- Samples for CCCM may be samples of the patterns in FIGS. 20(a) to 20(e) in addition to the samples of the patterns in FIG. 19(b). That is, the filter for CCCM may additionally include a sample filter of the pattern of FIGS. 20(a) to 20(e) in addition to the sample filter of the pattern of FIG. 19(b).
- the relational expression for obtaining the predicted value (predChromaVal) of the chroma component sample according to each pattern will be described.
- Figure 20(a) shows a sample filter with a horizontal pattern.
- Figure 20(b) shows a sample filter with a vertical pattern.
- Figure 20(c) shows a sample filter with a diagonal pattern.
- Figure 20(d) shows a sample filter with an inverse diagonal pattern.
- Figure 20(e) shows a sample filter with an X-shaped pattern.
- a can be expressed as an input value.
- the P value can be obtained based on the input value (a).
- the B value may be the same as the B value in Equation 10 or the B' value in Equation 11.
- the P value is a non-linear term and can be obtained as follows.
- Each pattern of the CCCM filter can be determined (derived) based on the intra prediction mode of the luma block corresponding to the chroma component sample to be predicted without separate signaling.
- Figure 21 is a diagram showing a chroma component block and a luma component block corresponding to the chroma component block when the chroma format is 4:2:0 according to an embodiment of the present invention.
- Figure 21 shows the division structure of the luma component block and the division structure of the chroma component block when the chroma format is 4:2:0.
- the vertical size between the luma component block and the chroma component block may be 1:1, and the horizontal size may be 2:1. If the chroma format is 4:4:4, the size of the chroma component block and the luma component block may be 1:1.
- the luma component block corresponding to the left CU of the chroma component block in FIG. 21 may be a block composed of TL, TR, BL, and BR as vertices.
- the above-described CCCM can be applied to the chroma component block in FIG. 21.
- the video signal processing device may derive an intra prediction mode at a preset position of the luma component block corresponding to the chroma component block through the chroma component block. If there is no information about the intra prediction mode at the preset position, the preset intra prediction mode may be set. At this time, the preset intra prediction mode may be planar mode or DC mode. Additionally, the intra prediction mode of the chroma component block can be derived through the DIMD method using neighboring samples of the chroma component block.
- Figure 22 is a diagram showing a method of deriving filters corresponding to a plurality of CCCM filters based on the derived intra prediction mode according to an embodiment of the present invention.
- the intra prediction mode can be divided into zones (Zone 1 to Zone 5) divided by reference values. That is, a sample filter of a corresponding pattern can be applied to intra prediction modes corresponding to areas divided by reference values.
- Zone 1 corresponds to intra prediction modes with an index less than or equal to reference value 1
- Zone 2 corresponds to intra prediction modes with an index greater than reference value 1 and less than or equal to reference value 2
- Zone 3 corresponds to intra prediction modes with an index greater than reference value 2.
- Intra prediction modes with indices that are greater than or equal to reference value 3 are applicable
- Zone 4 includes intra prediction modes with indices that are greater than reference value 3 and less than or equal to reference value 4
- Zone 5 is indexes that are greater than reference value 4.
- Intra prediction modes may be applicable.
- Zones including planar mode, DC mode, and intra prediction mode and multiple CCCM sample filters can be mapped (corresponding) one-to-one.
- the one-to-one mapping (correspondence) relationship is explained.
- the mapping relationship between the intra prediction mode and the CCCM sample filter is not limited to mapping 1 to mapping 5 described later, and can be set in various ways.
- the filter corresponding to the PLANAR mode may be a cross-shaped pattern sample filter.
- the filter corresponding to the DC mode may be a sample filter with an X-shaped pattern.
- the filter corresponding to Zone1 may be a sample filter with an inverse diagonal pattern.
- the filter corresponding to Zone2 may be a sample filter with a horizontal pattern.
- the filter corresponding to Zone3 may be a sample filter with a diagonal pattern.
- the filter corresponding to Zone4 may be a sample filter with a vertical pattern.
- the filter corresponding to Zone5 may be a sample filter with a diagonal pattern.
- Filters corresponding to PLANAR mode and DC mode may be sample filters with a cross-shaped pattern.
- the filter corresponding to Zone1 may be a sample filter with an inverse diagonal pattern.
- the filter corresponding to the wideAngle mode of Zone1 may be a sample filter with an X-shaped pattern.
- the filter corresponding to Zone2 may be a sample filter with a horizontal pattern.
- the filter corresponding to Zone3 may be a sample filter with a diagonal pattern.
- the filter corresponding to Zone4 may be a sample filter with a vertical pattern.
- the filter corresponding to Zone5 may be a sample filter with a diagonal pattern.
- the filter corresponding to the extended angle mode of Zone 5 may be a sample filter with an X-shaped pattern.
- the filter corresponding to the PLANAR mode and DC mode may be a sample filter with an X-shaped pattern.
- the filter corresponding to Zone1 may be a sample filter with an inverse diagonal pattern.
- the filter corresponding to the wideAngle mode of Zone1 may be a cross-shaped pattern sample filter.
- the filter corresponding to Zone2 may be a sample filter with a horizontal pattern.
- the filter corresponding to Zone3 may be a sample filter with a diagonal pattern.
- the filter corresponding to Zone4 may be a sample filter with a vertical pattern.
- the filter corresponding to Zone5 may be a sample filter with a diagonal pattern.
- the filter corresponding to the extended angle mode of Zone 5 may be a cross-shaped pattern sample filter.
- the filter corresponding to the PLANAR mode and DC mode may be a cross-shaped pattern sample filter.
- the filter corresponding to Zone1 may be a sample filter with an inverse diagonal pattern.
- the filter corresponding to Zone2 may be a sample filter with a horizontal pattern.
- the filter corresponding to Zone3 may be a sample filter with a diagonal pattern.
- the filter corresponding to Zone4 may be a sample filter with a vertical pattern.
- the filter corresponding to Zone5 may be a sample filter with a diagonal pattern.
- the filter corresponding to the PLANAR mode and DC mode may be a sample filter with an X-shaped pattern.
- the filter corresponding to Zone1 may be a sample filter with an inverse diagonal pattern.
- the filter corresponding to Zone2 may be a sample filter with a horizontal pattern.
- the filter corresponding to Zone3 may be a sample filter with a diagonal pattern.
- the filter corresponding to Zone4 may be a sample filter with a vertical pattern.
- the filter corresponding to Zone5 may be a sample filter with a diagonal pattern.
- Figure 23 is a diagram showing a method of generating a final chroma prediction sample by combining prediction samples of CCCM filters according to an embodiment of the present invention.
- a chroma prediction sample can be obtained using two sample filters. That is, the video signal processing device can obtain the final chroma prediction sample using some of the sample filters of the six patterns described above.
- the video signal processing device can obtain the final chroma prediction sample using some of the sample filters of the six patterns described above.
- FIG. 23 a method of a video signal processing device obtaining a final chroma prediction sample using two sample filters among six pattern sample filters will be described.
- the video signal processing device combines the chroma prediction sample obtained using a cross-shaped sample filter and the chroma prediction sample obtained using any one of the five sample filters described with reference to FIG. 20 to obtain a final chroma prediction sample.
- the final chroma prediction sample can be obtained through Equation 13 or Equation 14. That is, the video signal processing device may obtain a final chroma prediction sample by combining the first chroma prediction sample obtained using the first sample filter and the second chroma prediction sample obtained using the second sample filter, and the final chroma prediction sample may be obtained.
- the current block can be predicted (restored) based on the chroma prediction sample.
- Equations 13 and 14 A is the value of the first chroma prediction sample obtained by the first sample filter, B is the value of the second chroma prediction sample obtained by the second sample filter, W0 is the combination ratio, C may be the value of the final chroma prediction sample.
- W0 is a value between 0 and 1, or between -1 and 0, and can be 0, 0.1, 0.2, ..., 1 or -1, -0.9, -0.8, ..., 0. there is.
- the shift value is 2
- W0 may be the first combination ratio for the first sample filter
- W1 may be the second combination ratio for the second sample filter.
- (W0, W1) may be (1, 3), (3, 1), (2, 2).
- the first sample filter may be a cross-shaped sample filter
- the second sample filter may be any one of the five sample filters described with reference to FIG. 20.
- the first sample filter may be any one of the five sample filters described with reference to FIG. 20, and the second sample filter may be a cross-shaped pattern sample filter.
- Equations 13 and 14 Although two filters are used in Equations 13 and 14, it is not limited to this and three or more filters may be used.
- the number of filters used may be preset, and the combination ratio may vary depending on the number of filters. Below, a signaling method for using the CCCM filter will be described.
- Method 1 To obtain a chroma prediction block, there may be a method of using only one CCCM filter or a method of using two predetermined filters in combination. At this time, there may be signaling as to whether only one CCCM filter is used.
- Method 2 Only two predetermined filters can be used to obtain the chroma prediction block. In this case, separate signaling for the two filters may not be necessary.
- Method 3 To obtain a chroma prediction block, there may be a method of using only one CCCM filter and a method of using a plurality of two predetermined filter combinations. At this time, there may be signaling as to whether only one CCCM filter is used. Additionally, information regarding which filter combination among two predetermined filter combinations should be used may also be signaled.
- Method 4 A plurality of predetermined filter combining methods may be used to obtain a chroma prediction block. Information about which filter combination will be used may be signaled.
- the video signal processing device can obtain a final prediction sample by combining the sample predicted through CCCM and the sample predicted through GLM.
- a video signal processing device can obtain final prediction samples by combining CCCM and CCLM.
- a video signal processing device can obtain the final prediction sample by combining CCLM and GLM.
- the video signal processing device may obtain a final prediction sample by combining at least one of CCCM, GLM, and CCLM with one of the intra prediction modes.
- the intra prediction mode is chroma DM mode, an intra prediction mode corresponding to any one of indices 0, 1, 18, and 50, or an intra prediction mode corresponding to any one of indices 0, 1, 18, 50, and 66. It may be in prediction mode.
- each method can be combined at a predetermined combination ratio.
- the combination ratio may vary depending on whether CCCM or GLM is applied to neighboring blocks of the current block.
- MTS or LFNST or various types of transformation can be applied to the chroma component block to which CCCLM or GLM is applied.
- a preset MTS kernel, LFNST kernel, etc. may be used, or any one kernel from a set of preset MTS kernels may be determined and used based on cost.
- any one kernel from a preset kernel set may be used for conversion of the chroma component block to which CCCLM or GLM is applied.
- an adaptive MTS set or LFNST transformation set may be derived and used based on the prediction mode of the chroma component block or the prediction mode of the luma component block corresponding to the chroma component block.
- a method of determining (derived) a filter to be used among a plurality of CCCM filters based on the derived intra prediction mode can be adaptively performed on a block basis.
- the encoder may signal information about whether a method for deriving a filter to be used among a plurality of CCCM filters based on the intra prediction mode derived for prediction of the current block is used.
- the decoder can parse that information to determine the CCCM filter to be used. If the decoder does not use a method of deriving a filter to be used among a plurality of CCCM filters based on the intra prediction mode derived for prediction of the current block, the decoder parses the information indicating which CCCM filter was used to block the current block.
- a CCCM filter for prediction can be determined.
- Figure 24 is a diagram showing types of conversion kernels according to an embodiment of the present invention.
- the residual signal which is the difference signal between the original signal and the predicted signal generated through inter-screen prediction or intra-screen prediction, has energy distributed throughout the pixel domain, so when the pixel value of the residual signal itself is encoded, compression efficiency is reduced. occurs. Therefore, a process of concentrating energy into the low-frequency region of the frequency domain through conversion coding of the residual signal in the pixel domain is necessary.
- the HEVC (high efficiency video coding) standard mostly uses the efficient DCT-II (discrete cosine transform type-II) when signals are evenly distributed in the pixel domain (when neighboring pixel values are similar), and the predicted 4x4 within-screen
- DCT-II discrete cosine transform type-II
- the residual signal in the pixel domain was converted to the frequency domain by using DST-VII (discrete sine transform type-VII) limited to the block.
- DCT-II conversion it may be suitable for residual signals generated through inter-screen prediction (if energy is evenly distributed in the pixel domain), but in the case of residual signals generated through intra-screen prediction, the Due to the nature of intra-screen prediction using the restored reference sample, the energy of the residual signal may tend to increase as the distance from the reference sample increases, so when only DCT-II conversion is used, high coding efficiency can be achieved. does not exist.
- MTS multiple transform selection
- DCT-II discrete cosine transform type-V
- DCT-VIII discrete cosine transform type-VIII
- DST applied to MTS DCT-II
- DCT and DST can be expressed as functions of cosine and sine, respectively.
- index i represents the index in the frequency domain
- index j is the basis. Indicates the index within the function. That is, as i becomes smaller, it represents a low-frequency basis function, and as i becomes larger, it represents a high-frequency basis function.
- the basis function Ti(j) can represent the j-th element of the i-th row, and since the transformation kernels shown in Figure 26 all have separable characteristics, the horizontal direction with respect to the residual signal Conversion can be performed in the and vertical directions, respectively. That is, when the residual signal block is X and the transformation kernel matrix is T, the transformation for the residual signal X can be expressed as TXT'. At this time, T' means the transpose of the transformation kernel matrix T.
- DCT and DST are in decimal form rather than integer, it is burdensome to implement them as is in a hardware encoder and decoder. Therefore, the decimal type conversion kernel must be approximated to an integer type conversion kernel through scaling and rounding.
- the integer precision of the conversion kernel can be determined as 8-bit or 10-bit, but if the precision is low, coding efficiency may decrease.
- the orthonormal properties of DCT and DST may not be maintained, but the resulting loss of coding efficiency is not significant, so approximating the conversion kernel to an integer form is advantageous in terms of implementing a hardware encoder and decoder.
- IDTR Identity Transform
- identity transformation is a transformation in which the result of transformation is the self before transformation, and is called an identity transformation.
- identity transformation can use a transformation matrix with '1' set at the position where the rows and columns have the same value.
- the identity transformation uses a fixed value other than '1' to equally increase or decrease the value of the input residual signal.
- Figure 25 is a diagram showing the restoration process of a residual signal according to an embodiment of the present invention.
- the video signal processing device performs encoding by additionally performing secondary transformation (LFNST: Low Frequency Non-separable Transform) on the primary transformed coefficient block. Efficiency can also be improved.
- This secondary transformation can be particularly efficient in terms of energy compaction for the predicted residual signal block within the screen, where strong energy is likely to exist in a direction other than the horizontal or vertical direction of the residual signal block.
- Figure 25 is a block diagram showing the process of restoring a residual signal in a decoder that performs secondary transformation.
- the video signal processing device parses syntax elements related to the residual signal from the bitstream and restores the quantization coefficients through inverse binarization.
- the video signal processing device can obtain a transform coefficient by performing inverse quantization on the restored quantization coefficient, and can restore the residual signal block by performing inverse transform on the transform coefficient.
- Inverse transformation can be applied to blocks to which Transform Skip (TS) is not applied, and inverse transformation can be performed in the decoder in the order of secondary inverse transformation and first order inverse transformation.
- the secondary inverse transform may be omitted, and the condition under which the secondary inverse transform can be omitted may be an inter-screen predicted block. Alternatively, the secondary inverse transformation may be omitted depending on the block size condition.
- the restored residual signal contains quantization error, and secondary transformation can reduce the quantization error by changing the energy distribution of the residual signal compared to when only primary transformation is performed.
- Figure 26 is a diagram showing a method of applying LFNST according to an embodiment of the present invention.
- the encoder can first perform forward primary transform on the residual signal block to obtain a primary transformed coefficient block. If the size of the first transformed coefficient block is M 32x96 quadratic transformation (LFNST) can be performed.
- the encoder may perform secondary transformation on samples in the upper-left ROI area of the primary transformed coefficient block for an intra-predicted block with a Min(M,N) value of 8 or more.
- Transform coefficients of the entire transform unit size, including secondary transformed coefficients, may be included in the bitstream and transmitted after quantization.
- the bitstream may include syntax elements related to secondary transformation.
- the bitstream may include information indicating whether secondary transformation is applied to the current block and the transformation kernel.
- the decoder can first parse the quantized transform coefficients from the bitstream and obtain the transform coefficients through de-quantization.
- the decoder can determine whether inverse LFNST is performed on the current block based on syntax elements related to the secondary transformation.
- 16 or 32 transformation coefficients can be input to the inverse secondary transformation, depending on the size of the conversion unit, which is the number of coefficients output from the encoder's secondary transformation. can match.
- the decoder can obtain the first-order transformed coefficients through the product of the vectorized transformation coefficient and the inverse secondary transformation kernel matrix, and the inverse secondary transformation kernel is converted according to the size of the transformation unit, intra mode, and syntax elements indicating the transformation kernel. can be decided.
- the inverse quadratic transformation kernel matrix may be the transpose matrix of the quadratic transformation kernel matrix, and considering the complexity of implementation, the elements of the kernel matrix may be integers expressed with 10-bit or 8-bit accuracy. Since the first-order transformation coefficient obtained through the inverse second-order transformation is in the form of a vector, it can be expressed again as two-dimensional data, which may be dependent on the intra mode. The mapping relationship based on the intra mode applied by the encoder can be equally applied.
- a residual signal can be obtained by performing an inverse primary transform on a transform coefficient block of the entire transform unit size including transform coefficients obtained by performing an inverse secondary transform.
- a scaling process using a bit shift operation may be included between each process of inverse secondary transformation and inverse primary transformation.
- Figure 27 is a diagram showing an LFNST set for each intra prediction mode according to an embodiment of the present invention.
- the LFNST set applied to the transform block may be different for each intra prediction mode. There may be multiple LFNST kernels in one set. The number of kernel candidates for each LFNST set may be 4. The LFNST set can be 35 sets, and each set can be mapped to indices 0 to 34. Intra prediction mode indices [-14 to -1], [67 to 80] corresponding to the extended angle mode may be mapped to LFNST set index 2.
- Figure 28 shows a method of obtaining a predicted value of a chroma sample according to an embodiment of the present invention.
- FIG. 28 shows a method of predicting a chroma sample corresponding to a luma sample using the luma sample described in FIGS. 1 to 27 and restoring a current block using the predicted chroma sample.
- the video signal processing device may predict a chroma component sample corresponding to the luma component sample based on the luma component sample of the current block (S2810).
- the video signal processing device may predict the current block based on the predicted value of the sample of the chroma component (S2820).
- the predicted value of the chroma component sample can be obtained using a linear equation.
- the linear equation may include a term for a gradient value of a sample of the luma component.
- the linear equation may include a term for the sample value of the luma component.
- the linear equation may include a term for the value of a filter of a Sobel based gradient pattern.
- the linear equation may include non-linear terms.
- the linear equation may include 7 terms.
- the linear equation may include a term for the intermediate value of bit depth.
- the linear equation may include a term for a value of a sample of the luma component surrounding the sample of the luma component. At this time, a term for the sample value of the peripheral luma component may be obtained based on a filter of the Sobel based gradient pattern.
- the sample of the peripheral luma component may be a sample of the pattern described in FIGS. 19 and 20.
- the sample of the peripheral luma component may include a sample of the luma component adjacent to the upper side, a sample of the luma component adjacent to the left, a sample of the luma component adjacent to the right, and a sample of the luma component adjacent to the lower side of the luma component sample.
- the sample of the surrounding luma component may include a sample of the luma component adjacent to the left and a sample of the luma component adjacent to the right of the sample of the luma component.
- the sample of the surrounding luma component may include a sample of the luma component adjacent to the top and a sample of the luma component adjacent to the bottom of the sample of the luma component.
- the sample of the surrounding luma component may include a sample of the luma component adjacent to the upper-left side and a sample of the luma component adjacent to the lower-right side of the sample of the luma component.
- the sample of the surrounding luma component may include a sample of the luma component adjacent to the upper-right side and a sample of the luma component adjacent to the lower-left side of the sample of the luma component.
- the sample of the peripheral luma component includes a sample of the luma component adjacent to the upper-left side, a sample of the luma component adjacent to the upper-right side, a sample of the luma component adjacent to the lower-left side, and a luma component adjacent to the lower-right side of the sample of the luma component. Samples may be included.
- the methods described above in this specification may be performed through a processor of a decoder or encoder. Additionally, the encoder can generate a bitstream that is decoded by the methods described above. Additionally, the bitstream generated by the encoder may be stored in a computer-readable non-transitory storage medium (recording medium).
- parsing is not limited to the decoder operation, but can also be interpreted as the act of constructing a bitstream in the encoder. Additionally, this bitstream may be stored and configured in a computer-readable recording medium.
- Embodiments of the present invention described above can be implemented through various means.
- embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.
- the method according to embodiments of the present invention uses one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), and Programmable Logic Devices (PLDs).
- ASICs Application Specific Integrated Circuits
- DSPs Digital Signal Processors
- DSPDs Digital Signal Processing Devices
- PLDs Programmable Logic Devices
- FPGAs Field Programmable Gate Arrays
- processors controllers, microcontrollers, microprocessors, etc.
- the method according to embodiments of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above.
- Software code can be stored in memory and run by a processor.
- the memory may be located inside or outside the processor, and may exchange data with the processor through various known means.
- Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and non-volatile media, removable and non-removable media. Additionally, computer-readable media may include both computer storage media and communication media.
- Computer storage media includes both volatile and non-volatile, removable and non-removable media implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules or other data.
- Communication media typically includes computer readable instructions, data structures or other data of modulated data signals such as program modules, or other transmission mechanisms, and includes any information delivery medium.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Color Television Systems (AREA)
Abstract
비디오 신호 디코딩 장치에 있어서, 프로세서를 포함하며, 상기 프로세서는, 현재 블록의 루마 성분의 샘플에 기초하여 상기 루마 성분의 샘플에 대응되는 크로마 성분의 샘플을 예측하고, 상기 크로마 성분의 샘플의 예측 값에 기초하여 상기 현재 블록을 예측하고, 상기 크로마 성분의 샘플의 예측 값은 선형 수학식(Linear equation)을 이용하여 획득되고, 상기 선형 수학식은 상기 루마 성분의 샘플의 그래디언트(Gradient) 값에 대한 항을 포함할 수 있다.
Description
본 발명은 비디오 신호의 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 비디오 신호를 인코딩하거나 디코딩하는 비디오 신호 처리 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 신호에 대한 압축 부호화는 공간적인 상관관계, 시간적인 상관관계, 확률적인 상관관계 등을 고려하여 잉여 정보를 제거함으로써 이루어진다. 그러나 최근의 다양한 미디어 및 데이터 전송 매체의 발전으로 인해, 더욱 고효율의 비디오 신호 처리 방법 및 장치가 요구되고 있다.
본 명세서는 비디오 신호 처리 방법 및 이를 위한 장치를 제공하여 비디오 신호의 코딩 효율을 높이기 위한 목적이 있다.
본 명세서는 비디오 신호 처리 방법 및 이를 위한 장치를 제공한다.
본 명세서에 있어서, 비디오 신호 디코딩 장치는, 프로세서를 포함하며, 상기 프로세서는, 현재 블록의 루마 성분의 샘플에 기초하여 상기 루마 성분의 샘플에 대응되는 크로마 성분의 샘플을 예측하고, 상기 크로마 성분의 샘플의 예측 값에 기초하여 상기 현재 블록을 예측하고, 상기 크로마 성분의 샘플의 예측 값은 선형 수학식(Linear equation)을 이용하여 획득되고, 상기 선형 수학식은 상기 루마 성분의 샘플의 그래디언트(Gradient) 값에 대한 항을 포함할 수 있다.
본 명세서에 있어서, 비디오 신호 인코딩 장치는, 프로세서를 포함하며, 상기 프로세서는, 디코딩 방법에 의해 디코딩되는 비트스트림을 획득하고, 상기 디코딩 방법은, 현재 블록의 루마 성분의 샘플에 기초하여 상기 루마 성분의 샘플에 대응되는 크로마 성분의 샘플을 예측하는 단계; 상기 크로마 성분의 샘플의 예측 값에 기초하여 상기 현재 블록을 예측하는 단계를 포함하고, 상기 크로마 성분의 샘플의 예측 값은 선형 수학식(Linear equation)을 이용하여 획득되고, 상기 선형 수학식은 상기 루마 성분의 샘플의 그래디언트(Gradient) 값에 대한 항을 포함할 수 있다.
본 명세서에 있어서, 비트스트림을 저장하는 컴퓨터 판독 가능한 비 일시적 저장 매체의 상기 비트스트림은 디코딩 방법에 의해 디코딩되고, 상기 디코딩 방법은, 현재 블록의 루마 성분의 샘플에 기초하여 상기 루마 성분의 샘플에 대응되는 크로마 성분의 샘플을 예측하는 단계; 상기 크로마 성분의 샘플의 예측 값에 기초하여 상기 현재 블록을 예측하는 단계를 포함하고, 상기 크로마 성분의 샘플의 예측 값은 선형 수학식(Linear equation)을 이용하여 획득되고, 상기 선형 수학식은 상기 루마 성분의 샘플의 그래디언트(Gradient) 값에 대한 항을 포함할 수 있다.
상기 선형 수학식은 상기 루마 성분의 샘플의 값에 대한 항을 포함할 수 있다.
상기 선형 수학식은 소벨 기반 기울기 패턴(sobel based gradient pattern)의 필터의 값에 대한 항을 포함할 수 있다.
상기 선형 수학식은 비-선형 항을 포함할 수 있다.
상기 선형 수학식은 7개의 항을 포함할 수 있다.
상기 선형 수학식은 비트 심도(bitDepth)의 중간 값에 대한 항을 포함할 수 있다.
상기 선형 수학식은 상기 루마 성분의 샘플의 주변 루마 성분의 샘플의 값에 대한 항을 포함할 수 있다.
상기 주변 루마 성분의 샘플은 상기 루마 성분의 샘플의 상측에 인접한 루마 성분의 샘플, 좌측에 인접한 루마 성분의 샘플, 우측에 인접한 루마 성분의 샘플 및 하측에 인접한 루마 성분의 샘플을 포함할 수 있다.
상기 주변 루마 성분의 샘플은 상기 루마 성분의 샘플의 좌측에 인접한 루마 성분의 샘플 및 우측에 인접한 루마 성분의 샘플을 포함할 수 있다.
상기 주변 루마 성분의 샘플은 상기 루마 성분의 샘플의 상측에 인접한 루마 성분의 샘플 및 하측에 인접한 루마 성분의 샘플을 포함할 수 있다.
상기 주변 루마 성분의 샘플은 상기 루마 성분의 샘플의 좌-상측에 인접한 루마 성분의 샘플 및 우-하측에 인접한 루마 성분의 샘플을 포함할 수 있다.
상기 주변 루마 성분의 샘플은 상기 루마 성분의 샘플의 우-상측에 인접한 루마 성분의 샘플 및 좌-하측에 인접한 루마 성분의 샘플을 포함할 수 있다.
상기 주변 루마 성분의 샘플은 상기 루마 성분의 샘플의 좌-상측에 인접한 루마 성분의 샘플, 우-상측에 인접한 루마 성분의 샘플, 좌-하측에 인접한 루마 성분의 샘플 및 우-하측에 인접한 루마 성분의 샘플을 포함할 수 있다.
본 명세서는 효율적으로 비디오 신호를 처리하기 위한 방법을 제공한다.
본 명세서에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치의 개략적인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치의 개략적인 블록도이다.
도 3은 픽쳐 내에서 코딩 트리 유닛이 코딩 유닛들로 분할되는 실시예를 도시한다.
도 4는 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하는 방법의 일 실시예를 도시한다.
도 5 및 도 6은 본 발명의 실시예에 따른 인트라 예측 방법을 더욱 구체적으로 도시한다.
도 7은 인터 예측에서 움직임 후보 리스트를 구성하기 위해 사용되는 주변 블록들의 위치를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 루마 샘플과 크로마 샘플 간 관계를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 Cross-component Linear Model (CCLM) 예측에 필요한 참조 샘플을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 CCLM이 적용되는 모드를 나타낸 도면이다.
도 11은 본 명세서의 일 실시예에 따른 2개의 선형 모델을 사용하는 CCLM 모드를 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 블록의 분할 구조를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 CCLM을 위한 선형 모델을 최적화하는 방법을 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 CCLM을 위한 최적화된 선형 모델의 파라미터 값을 획득하는 방법을 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 그래디언트 선형 모델(Gradient Linear Model, GLM)을 나타낸 도면이다.
도 16은 GLM에 사용되는 15는 GLM에 사용되는 기울기 값을 획득하기 위한 필터를 나타낸 도면이다.
도 17, 18은 본 발명의 일 실시예에 따른 신택스 구조를 나타낸 도면이다.
도 19는 CCCM을 위한 샘플을 나타낸 도면이다.
도 20은 본 발명의 일 실시예에 따른 CCCM 필터의 패턴을 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른 크로마 포맷이 4:2:0인 경우 크로마 성분 블록과 크로마 성분 블록에 대응되는 루마 성분 블록을 나타내 도면이다.
도 22는 본 발명의 일 실시예에 따른 유도된 인트라 예측 모드에 기반하여 복수개의 CCCM 필터에 대응되는 필터를 유도하는 방법을 나타낸 도면이다.
도 23은 본 발명의 일 실시예에 따른 CCCM 필터들의 예측 샘플들을 결합하여 최종 크로마 예측 샘플을 생성하는 방법을 나타낸 도면이다.
도 24는 본 발명의 일 실시예에 따른 변환 커널의 종류를 나타낸 도면이다.
도 25는 본 발명의 일 실시예에 따른 잔차 신호의 복원 과정을 나타낸 도면이다.
도 26은 본 발명의 일 실시예에 따른 LFNST를 적용하는 방법을 나타낸 도면이다.
도 27은 본 발명의 일 실시예에 따른 인트라 예측 모드 별 LFNST 세트를 나타낸 도면이다.
도 28은 본 발명의 일 실시예에 따른 크로마 샘플의 예측 값을 획득하는 방법을 나타낸다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서 'A 및/또는 B'는 'A 또는 B 중 적어도 하나를 포함하는'과 같은 의미로 해석될 수 있다.
본 명세서에서 일부 용어들은 다음과 같이 해석될 수 있다. 코딩은 경우에 따라 인코딩 또는 디코딩으로 해석될 수 있다. 본 명세서에서 비디오 신호의 인코딩(부호화)을 수행하여 비디오 신호 비트스트림을 생성하는 장치는 인코딩 장치 또는 인코더로 지칭되며, 비디오 신호 비트스트림의 디코딩(복호화)을 수행하여 비디오 신호를 복원하는 장치는 디코딩 장치 또는 디코더로 지칭된다. 또한, 본 명세서에서 비디오 신호 처리 장치는 인코더 및 디코더를 모두 포함하는 개념의 용어로 사용된다. 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 포함하는 용어로서, 경우에 따라 의미는 달리 해석될 수 있으므로 본 발명은 이에 한정되지 아니한다. '유닛'은 영상 처리의 기본 단위 또는 픽쳐의 특정 위치를 지칭하는 의미로 사용되며, 휘도(luma) 성분 및 색차(chroma) 성분 중 적어도 하나를 포함하는 이미지 영역을 가리킨다. 또한, '블록'은 휘도 성분 및 색차 성분들(즉, Cb 및 Cr) 중 특정 성분을 포함하는 이미지 영역을 가리킨다. 다만, 실시예에 따라서 '유닛', '블록', '파티션', '신호' 및 '영역' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 '현재 블록'은 현재 부호화를 진행할 예정인 블록을 의미하며, '참조 블록'은 이미 부호화 또는 복호화가 완료된 블록으로 현재 블록에서 참조로 사용되는 블록을 의미한다. 또한, 본 명세서에서 '루마', 'luma', '휘도', 'Y' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 '크로마', 'chroma' '색차', 'Cb 또는 Cr' 등의 용어는 서로 혼용하여 사용될 수 있으며, 색차 성분은 Cb와 Cr 2가지로 나누어지므로 각 색차 성분은 구분되어 사용될 수 있다. 또한, 본 명세서에서 유닛은 코딩 유닛, 예측 유닛, 변환 유닛을 모두 포함하는 개념으로 사용될 수 있다. 픽쳐는 필드 또는 프레임을 가리키며, 실시예에 따라 상기 용어들은 서로 혼용하여 사용될 수 있다. 구체적으로 촬영된 영상이 비월주사식(interlace) 영상일 경우, 하나의 프레임은 홀수(또는 기수, top) 필드와 짝수(또는 우수, bottom) 필드로 분리되어, 각 필드는 하나의 픽쳐 단위로 구성되어 부호화 또는 복호화 될 수 있다. 만일 촬영된 영상이 순차주사(progressive) 영상일 경우, 하나의 프레임이 픽쳐로서 구성되어 부호화 또는 복호화 될 수 있다. 또한, 본 명세서에서 '오차 신호', '레지듀얼 신호', '잔차 신호', '잔여 신호' 및 '차분 신호' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 '인트라 예측 모드', '인트라 예측 방향성 모드', '화면 내 예측 모드' 및 '화면 내 예측 방향성 모드' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 '모션', '움직임' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 '좌측', '좌상측', '상측', '우상측', '우측', '우하측', '하측', '좌하측'은 '좌단', '좌상단', '상단', '우상단', '우단', '우하단', '하단', '좌하단'와 서로 혼용하여 사용될 수 있다. 또한, 원소(element), 멤버(member)는 서로 혼용하여 사용될 수 있다. POC(Picture Order Count)는 픽쳐(또는 프레임)의 시간적 위치 정보를 나타내며, 화면에 출력되는 재생 순서가 될 수 있으며, 픽쳐마다 고유의 POC를 가질 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치(100)의 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 인코딩 장치(100)는 변환부(110), 양자화부(115), 역양자화부(120), 역변환부(125), 필터링부(130), 예측부(150) 및 엔트로피 코딩부(160)를 포함한다.
변환부(110)는 입력 받은 비디오 신호와 예측부(150)에서 생성된 예측 신호의 차이인 레지듀얼 신호를 변환하여 변환 계수 값을 획득한다. 예를 들어, 이산 코사인 변환(Discrete Cosine Transform, DCT), 이산 사인 변환(Discrete Sine Transform, DST) 또는 웨이블릿 변환(Wavelet Transform) 등이 사용될 수 있다. 이산 코사인 변환 및 이산 사인 변환은 입력된 픽쳐 신호를 블록 형태로 나누어 변환을 수행하게 된다. 변환에 있어서 변환 영역 내의 값들의 분포와 특성에 따라서 코딩 효율이 달라질 수 있다. 레지듀얼 블록에 대한 변환에 사용되는 변환 커널은 수직 변환 및 수평 변환의 분리 가능한 특성을 가지는 변환 커널일 수 있다. 이 경우, 레지듀얼 블록에 대한 변환은 수직 변환 및 수평 변환으로 분리되어 수행될 수 있다. 예를 들어, 인코더는 레지듀얼 블록의 수직 방향으로 변환 커널을 적용하여 수직 변환을 수행할 수 있다. 또한, 인코더는 레지듀얼 블록의 수평 방향으로 변환 커널을 적용하여 수평 변환을 수행할 수 있다. 본 개시에서, 변환 커널은 변환 매트릭스, 변환 어레이, 변환 함수, 변환과 같이 레지듀얼 신호의 변환에 사용되는 파라미터 세트를 지칭하는 용어로 사용될 수 있다. 예를 들어, 변환 커널은 복수의 사용 가능한 커널들 중 어느 하나일 수 있다. 또한, 수직 변환 및 수평 변환 각각에 대해 서로 다른 변환 타입에 기반한 변환 커널이 사용될 수도 있다.
변환계수는 블록의 좌상단으로 갈수록 높은 계수가 분포하고, 블록의 우하단으로 갈수록 '0'에 가까운 계수가 분포한다. 현재 블록의 크기가 커질수록 우하단 영역에서 계수 '0'이 많이 존재할 가능성이 있다. 크기가 큰 블록의 변환 복잡도를 감소시키기 위해서, 임의의 좌상단 영역만을 남기고 나머지 영역은 '0'으로 재설정될 수 있다.
또한, 코딩 블록에서 일부 영역에만 오차 신호가 존재할 수 있다. 이 경우, 임의의 일부 영역에 대해서만 변환 과정이 수행될 수 있다. 실시 일 예로, 2Nx2N 크기의 블록에서 첫번째 2NxN 블록에만 오차 신호가 존재할 수 있으며, 첫번째 2NxN블록에만 변환과정이 수행되지만 두번째 2NxN 블록은 변환과정이 수행되지 않고 인코딩 또는 디코딩되지 않을 수 있다. 여기서 N은 임의의 양의 정수가 될 수 있다.
인코더는 변환 계수가 양자화되기 전에 추가적인 변환을 수행할 수 있다. 전술한 변환 방법은 1차 변환(primary transform)으로 지칭되고, 추가적인 변환은 2차 변환(secondary transform)으로 지칭될 수 있다. 2차 변환은 레지듀얼 블록 별로 선택적일 수 있다. 일 실시예에 따라, 인코더는 1차 변환만으로 저주파 영역에 에너지를 집중시키기 어려운 영역에 대해 2차 변환을 수행하여 코딩 효율을 향상시킬 수 있다. 예를 들어, 레지듀얼 값들이 레지듀얼 블록의 수평 또는 수직 방향 이외의 방향에서 크게 나타나는 블록에 대해 2차 변환이 추가로 수행될 수 있다. 2차 변환은 1차 변환과 달리 수직 변환 및 수평 변환으로 분리되어 수행되지 않을 수 있다. 이러한 2차 변환은 저대역 비-분리 변환(Low Frequency Non-Separable Transform, LFNST)으로 지칭될 수 있다.
양자화부(115)는 변환부(110)에서 출력된 변환 계수 값을 양자화한다.
코딩 효율을 높이기 위하여 픽쳐 신호를 그대로 코딩하는 것이 아니라, 예측부(150)를 통해 이미 코딩된 영역을 이용하여 픽쳐를 예측하고, 예측된 픽쳐에 원본 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 더하여 복원 픽쳐를 획득하는 방법이 사용된다. 인코더와 디코더에서 미스매치가 발생되지 않도록 하기 위해, 인코더에서 예측을 수행할 때에는 디코더에서도 사용 가능한 정보를 사용해야 한다. 이를 위해, 인코더에서는 부호화한 현재 블록을 다시 복원하는 과정을 수행한다. 역양자화부(120)에서는 변환 계수 값을 역양자화하고, 역변환부(125)에서는 역양자화된 변환 계수값을 이용하여 레지듀얼 값을 복원한다. 한편, 필터링부(130)는 복원된 픽쳐의 품질 개선 및 부호화 효율 향상을 위한 필터링 연산을 수행한다. 예를 들어, 디블록킹 필터, 샘플 적응적 오프셋(Sample Adaptive Offset, SAO) 및 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 픽쳐는 출력되거나 참조 픽쳐로 이용하기 위하여 복호 픽쳐 버퍼(Decoded Picture Buffer, DPB, 156)에 저장된다.
디블록킹 필터(deblocking filter)는 복원된 픽쳐에서 블록 간의 경계에 생성된 블록 내의 왜곡을 제거하기 위한 필터이다. 인코더는 블록 내의 임의 경계(edge)를 기준으로 몇 개의 열 또는 행에 포함된 픽셀들의 분포를 통해, 해당 경계에 디블록킹 필터를 적용할지 여부를 판단할 수 있다. 블록에 디블록킹 필터를 적용되는 경우, 인코더는 디블록킹 필터링 강도에 따라 긴 필터(Long Filter), 강한 필터(Strong Filter) 또는 약한 필터(Weak Filter)를 적용할 수 있다. 또한, 수평 방향 필터링 및 수직 방향 필터링이 병렬적으로 처리될 수 있다. 샘플 적응적 오프셋(SAO)은 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋을 보정하는데 사용될 수 있다. 인코더는 특정 픽쳐에 대한 오프셋을 보정하기 위하여 영상에 포함된 픽셀을 일정한 수의 영역으로 구분한 후, 오프셋 보정을 수행할 영역을 결정하고, 해당 영역에 오프셋을 적용하는 방법(Band Offset)을 사용할 수 있다. 또는 인코더는 각 픽셀의 에지 정보를 고려하여 오프셋을 적용하는 방법(Edge Offset)을 사용할 수 있다. 적응적 루프 필터(Adaptive Loop Filter, ALF)는 영상에 포함된 픽셀을 소정의 그룹으로 나눈 후, 해당 그룹에 적용될 하나의 필터를 결정하여 그룹마다 차별적으로 필터링을 수행하는 방법이다. ALF를 적용할지 여부에 관련된 정보는 코딩 유닛 단위로 시그널링될 수 있고, 각각의 블록에 따라 적용될 ALF 필터의 모양 및 필터 계수가 달라질 수 있다. 또한, 적용할 대상 블록의 특성에 관계없이 동일한 형태(고정된 형태)의 ALF 필터가 적용될 수도 있다.
예측부(150)는 인트라 예측부(152)와 인터 예측부(154)를 포함한다. 인트라 예측부(152)에서는 현재 픽쳐 내에서 인트라(intra) 예측을 수행하며, 인터 예측부(154)에서는 복호 픽쳐 버퍼(156)에 저장된 참조 픽쳐를 이용하여 현재 픽쳐를 예측하는 인터(inter) 예측을 수행한다. 인트라 예측부(152)는 현재 픽쳐 내의 복원된 영역들로부터 인트라 예측을 수행하여, 인트라 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 인트라 부호화 정보는 인트라 예측 모드, MPM(Most Probable Mode) 플래그, MPM 인덱스, 참조 샘플에 관한 정보 중 적어도 하나를 포함할 수 있다. 인터 예측부(154)는 다시 모션 추정부(154a) 및 모션 보상부(154b)를 포함하여 구성될 수 있다. 모션 추정부(154a)에서는 복원된 참조 픽쳐의 특정 영역을 참조하여 현재 영역과 가장 유사한 부분을 찾고 영역 간의 거리인 모션 벡터 값을 획득한다. 모션 추정부(154a)에서 획득한 참조 영역에 대한 모션 정보(참조 방향 지시 정보(L0 예측, L1 예측, 양방향 예측), 참조 픽쳐 인덱스, 모션 벡터 정보 등) 등을 엔트로피 코딩부(160)로 전달하여 비트스트림에 포함될 수 있도록 한다. 모션 추정부(154a)에서 전달된 모션 정보를 이용하여 모션 보상부(154b)에서는 인터 모션 보상을 수행하여 현재 블록을 위한 예측 블록을 생성한다. 인터 예측부(154)는 참조 영역에 대한 모션 정보를 포함하는 인터 부호화 정보를 엔트로피 코딩부(160)에 전달한다.
추가적인 실시예에 따라, 예측부(150)는 인트라 블록 카피(Intra block copy, IBC) 예측부(미도시)를 포함할 수 있다. IBC 예측부는 현재 픽쳐 내의 복원된 샘플들로부터 IBC 예측을 수행하여, IBC 부호화 정보를 엔트로피 코딩부(160)에 전달한다. IBC 예측부는 현재 픽쳐 내의 특정 영역을 참조하여 현재 영역의 예측에 이용되는 참조 영역을 지시하는 블록 벡터값을 획득한다. IBC 예측부는 획득된 블록 벡터값을 이용하여 IBC 예측을 수행할 수 있다. IBC 예측부는 IBC 부호화 정보를 엔트로피 코딩부(160)로 전달한다. IBC 부호화 정보는 참조 영역의 크기 정보, 블록 벡터 정보(움직임 후보 리스트 내에서 현재 블록의 블록 벡터 예측을 위한 인덱스 정보, 블록 벡터 차분 정보) 중에서 적어도 하나를 포함할 수 있다.
위와 같은 픽쳐 예측이 수행될 경우, 변환부(110)는 원본 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 변환하여 변환 계수 값을 획득한다. 이때, 변환은 픽쳐 내에서 특정 블록 단위로 수행될 수 있으며, 특정 블록의 크기는 기 설정된 범위 내에서 가변할 수 있다. 양자화부(115)는 변환부(110)에서 생성된 변환 계수 값을 양자화하여 양자화된 변환 계수를 엔트로피 코딩부(160)로 전달한다.
상기 2차원 배열 형태의 양자화된 변환 계수는 엔트로피 코딩을 위해 1차원의 배열 형태로 재정렬될 수 있다. 양자화된 변환 계수를 스캐닝하는 방법은 변환 블록의 크기 및 화면 내 예측 모드에 따라 어떠한 스캔 방법이 사용될지 여부가 결정될 수 있다. 실시 일 예로, 대각(Diagonal), 수직(vertical), 수평(horizontal) 스캔이 적용될 수 있다. 이러한 스캔 정보는 블록 단위로 시그널링될 수 있으며, 이미 정해진 규칙에 따라 유도될 수 있다.
엔트로피 코딩부(160)는 양자화된 변환 계수를 나타내는 정보, 인트라 부호화 정보, 및 인터 부호화 정보 등을 엔트로피 코딩하여 비디오 신호 비트스트림을 생성한다. 엔트로피 코딩부(160)에서는 가변 길이 코딩(Variable Length Coding, VLC) 방식과 산술 코딩(arithmetic coding) 방식 등이 사용될 수 있다. 가변 길이 코딩(VLC) 방식은 입력되는 심볼들을 연속적인 코드워드로 변환하는데, 코드워드의 길이는 가변적일 수 있다. 예를 들어, 자주 발생하는 심볼들을 짧은 코드워드로, 자주 발생하지 않은 심볼들은 긴 코드워드로 표현하는 것이다. 가변 길이 코딩 방식으로서 컨텍스트 기반 적응형 가변 길이 코딩(Context-based Adaptive Variable Length Coding, CAVLC) 방식이 사용될 수 있다. 산술 코딩은 각 데이터 심볼들의 확률 분포를 이용하여 연속적인 데이터 심볼들을 하나의 소수로 변환하는데, 산술 코딩은 각 심볼을 표현하기 위하여 필요한 최적의 소수 비트를 얻을 수 있다. 산술 코딩으로서 컨텍스트 기반 적응형 산술 부호화(Context-based Adaptive Binary Arithmetic Code, CABAC)가 이용될 수 있다.
CABAC은 실험을 통해 얻은 확률을 기반으로 생성된 여러 개의 문맥 모델(context model)을 통해 이진 산술 부호화하는 방법이다. 문맥 모델은 컨텍스트 모델이라고 할 수도 있다. 먼저, 심볼이 이진 형태가 아닐 경우, 인코더는 exp-Golomb 등을 사용하여 각 심볼을 이진화한다. 이진화된 0 또는 1은 빈(bin)으로 기술될 수 있다. CABAC 초기화 과정은 문맥 초기화와 산술 코딩 초기화로 구분된다. 문맥 초기화는 각 심볼의 발생 확률을 초기화하는 과정으로, 심볼의 종류, 양자화 파라미터(QP), 슬라이스 타입(I, P, B 인지)에 따라 결정된다. 이러한 초기화 정보를 가지는 문맥 모델은 실험을 통해 얻은 확률 기반 값을 사용할 수 있다. 문맥 모델은 현재 코딩하려는 심볼에 대한 LPS(Least Probable Symbol) 또는 MPS(Most Probable Symbol)의 발생 확률과 0과 1중에서 어떤 빈 값이 MPS에 해당되는지에 대한 정보(valMPS)를 제공한다. 문맥 인덱스(Context index, ctxIdx)를 통해 여러 개의 문맥 모델 중에서 하나가 선택되며, 문맥 인덱스는 현재 부호화할 블록의 정보 또는 주변 블록의 정보를 통해 유도될 수 있다. 문맥 모델에서 선택된 확률 모델을 기반으로 이진 산술 코딩을 위한 초기화가 수행된다. 이진 산술 부호화는 0과 1의 발생 확률을 통해 확률 구간으로 분할한 후, 처리할 빈에 해당하는 확률 구간이 다음에 처리될 빈에 대한 전체 확률 구간이 되는 과정을 통해 부호화가 진행된다. 마지막 빈이 처리된 확률 구간 안의 위치 정보가 출력된다. 단, 확률 구간이 무한정 분할될 수 없으므로, 일정 크기 이내로 줄어들 경우에는 재규격화(renormalization)과정이 수행되어 확률 구간이 넓어지고 해당 위치 정보가 출력된다. 또한, 각 빈이 처리된 후, 처리된 빈의 정보를 통해 다음 처리될 빈에 대한 확률이 새롭게 설정되는 확률 업데이트 과정이 수행될 수 있다.
상기 생성된 비트스트림은 NAL(Network Abstraction Layer) 유닛을 기본 단위로 캡슐화 된다. NAL 유닛은 영상 데이터를 포함하는 VCL(Video Coding Layer) NAL 유닛과 영상 데이터를 디코딩하기 위한 파라미터 정보를 포함하는 non-VCL NAL 유닛으로 구분되며, 다양한 종류의 VCL 또는 non-VCL NAL 유닛이 존재한다. NAL 유닛은 NAL 헤더 정보와 데이터인 RBSP(Raw Byte Sequence Payload)로 구성되며, NAL 헤더 정보에는 RBSP에 대한 요약 정보가 포함된다. VCL NAL 유닛의 RBSP에는 부호화된 정수 개의 코딩 트리 유닛(coding tree unit)을 포함한다. 비디오 디코더에서 비트스트림을 복호화하기 위해서는 먼저 비트스트림을 NAL 유닛 단위로 분리한 후, 분리된 각각의 NAL 유닛을 복호화해야 한다. 한편, 비디오 신호 비트스트림의 복호화를 위해 필요한 정보들은 픽쳐 파라미터 세트(Picture Parameter Set, PPS), 시퀀스 파라미터 세트(Sequence Parameter Set, SPS), 비디오 파라미터 세트(Video Parameter Set, VPS) 등에 포함되어 전송될 수 있다.
한편, 도 1의 블록도는 본 발명의 일 실시예에 따른 인코딩 장치(100)를 나타낸 것으로서, 분리하여 표시된 블록들은 인코딩 장치(100)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 전술한 인코딩 장치(100)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 일 실시예에 따르면, 전술한 인코딩 장치(100)의 각 엘리먼트의 동작은 프로세서(미도시)에 의해 수행될 수 있다.
도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치(200)의 개략적인 블록도이다. 도 2를 참조하면 본 발명의 디코딩 장치(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(225), 필터링부(230) 및 예측부(250)를 포함한다.
엔트로피 디코딩부(210)는 비디오 신호 비트스트림을 엔트로피 디코딩하여, 각 영역에 대한 변환 계수 정보, 인트라 부호화 정보, 인터 부호화 정보 등을 추출한다. 예를 들어, 엔트로피 디코딩부(210)는 비디오 신호 비트스트림으로부터 특정 영역의 변환 계수 정보에 대한 이진화 코드를 획득할 수 있다. 또한, 엔트로피 디코딩부(210)는 이진화 코드를 역 이진화하여 양자화된 변환 계수를 획득한다. 역양자화부(220)는 양자화된 변환 계수를 역양자화하고, 역변환부(225)는 역양자화된 변환 계수를 이용하여 레지듀얼 값을 복원한다. 비디오 신호 처리 장치(200)는 역변환부(225)에서 획득된 레지듀얼 값을 예측부(250)에서 획득된 예측 값과 합산하여 원래의 화소값을 복원한다.
한편, 필터링부(230)는 픽쳐에 대한 필터링을 수행하여 화질을 향상시킨다. 여기에는 블록 왜곡 현상을 감소시키기 위한 디블록킹 필터 및/또는 픽쳐 전체의 왜곡 제거를 위한 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 픽쳐는 출력되거나 다음 픽쳐에 대한 참조 픽쳐로 이용하기 위하여 복호 픽쳐 버퍼(DPB, 256)에 저장된다.
예측부(250)는 인트라 예측부(252) 및 인터 예측부(254)를 포함한다. 예측부(250)는 전술한 엔트로피 디코딩부(210)를 통해 복호화된 부호화 타입, 각 영역에 대한 변환 계수, 인트라/인터 부호화 정보 등을 활용하여 예측 픽쳐를 생성한다. 복호화가 수행되는 현재 블록을 복원하기 위해서, 현재 블록이 포함된 현재 픽쳐 또는 다른 픽쳐들의 복호화된 영역이 이용될 수 있다. 복원에 현재 픽쳐만을 이용하는, 즉 인트라 예측 또는 인트라 BC 예측을 수행하는 픽쳐(또는, 타일/슬라이스)를 인트라 픽쳐 또는 I 픽쳐(또는, 타일/슬라이스), 인트라 예측, 인터 예측 및 인트라 BC 예측을 모두 수행할 수 있는 픽쳐(또는, 타일/슬라이스)를 인터 픽쳐(또는, 타일/슬라이스)라고 한다. 인터 픽쳐(또는, 타일/슬라이스) 중 각 블록의 샘플값들을 예측하기 위하여 최대 하나의 모션 벡터 및 참조 픽쳐 인덱스를 이용하는 픽쳐(또는, 타일/슬라이스)를 예측 픽쳐(predictive picture) 또는 P 픽쳐(또는, 타일/슬라이스)라고 하며, 최대 두 개의 모션 벡터 및 참조 픽쳐 인덱스를 이용하는 픽쳐(또는, 타일/슬라이스)를 쌍예측 픽쳐(Bi-predictive picture) 또는 B 픽쳐(또는, 타일/슬라이스) 라고 한다. 다시 말해서, P 픽쳐(또는, 타일/슬라이스)는 각 블록을 예측하기 위해 최대 하나의 모션 정보 세트를 이용하고, B 픽쳐(또는, 타일/슬라이스)는 각 블록을 예측하기 위해 최대 두 개의 모션 정보 세트를 이용한다. 여기서, 모션 정보 세트는 하나 이상의 모션 벡터와 하나의 참조 픽쳐 인덱스를 포함한다.
인트라 예측부(252)는 인트라 부호화 정보 및 현재 픽쳐 내의 복원된 샘플들을 이용하여 예측 블록을 생성한다. 전술한 바와 같이, 인트라 부호화 정보는 인트라 예측 모드, MPM(Most Probable Mode) 플래그, MPM 인덱스 중 적어도 하나를 포함할 수 있다. 인트라 예측부(252)는 현재 블록의 좌측 및/또는 상측에 위치한 복원된 샘플들을 참조 샘플들로 이용하여 현재 블록의 샘플 값들을 예측한다. 본 개시에서, 복원된 샘플들, 참조 샘플들 및 현재 블록의 샘플들은 픽셀들을 나타낼 수 있다. 또한, 샘플 값(sample value)들은 픽셀 값들을 나타낼 수 있다.
일 실시예에 따르면, 참조 샘플들은 현재 블록의 주변 블록에 포함된 샘플들일 수 있다. 예를 들어, 참조 샘플들은 현재 블록의 좌측 경계에 인접한 샘플들 및/또는 상측 경계에 인접한 샘플들일 수 있다. 또한, 참조 샘플들은 현재 블록의 주변 블록의 샘플들 중 현재 블록의 좌측 경계로부터 기 설정된 거리 이내의 라인 상에 위치하는 샘플들 및/또는 현재 블록의 상측 경계로부터 기 설정된 거리 이내의 라인 상에 위치하는 샘플들일 수 있다. 이때, 현재 블록의 주변 블록은 현재 블록에 인접한 좌측(L) 블록, 상측(A) 블록, 하좌측(Below Left, BL) 블록, 상우측(Above Right, AR) 블록 또는 상좌측(Above Left, AL) 블록 중 적어도 하나를 포함할 수 있다.
인터 예측부(254)는 복호 픽쳐 버퍼(256)에 저장된 참조 픽쳐 및 인터 부호화 정보를 이용하여 예측 블록을 생성한다. 인터 부호화 정보는 참조 블록에 대한 현재 블록의 모션 정보 세트(참조 픽쳐 인덱스, 모션 벡터 정보 등)를 포함할 수 있다. 인터 예측에는 L0 예측, L1 예측 및 쌍예측(Bi-prediction)이 있을 수 있다. L0 예측은 L0 픽쳐 리스트에 포함된 1개의 참조 픽쳐를 이용한 예측이고, L1 예측은 L1 픽쳐 리스트에 포함된 1개의 참조 픽쳐를 이용한 예측을 의미한다. 이를 위해서는 1세트의 모션 정보(예를 들어, 모션 벡터 및 참조 픽쳐 인덱스)가 필요할 수 있다. 쌍예측 방식에서는 최대 2개의 참조 영역을 이용할 수 있는데, 이 2개의 참조 영역은 동일한 참조 픽쳐에 존재할 수도 있고, 서로 다른 픽쳐에 각각 존재할 수도 있다. 즉, 쌍예측 방식에서는 최대 2세트의 모션 정보(예를 들어, 모션 벡터 및 참조 픽쳐 인덱스)가 이용될 수 있는데, 2개의 모션 벡터가 동일한 참조 픽쳐 인덱스에 대응될 수도 있고 서로 다른 참조 픽쳐 인덱스에 대응될 수도 있다. 이때, 참조 픽쳐들은 현재 픽쳐를 기준으로 시간적으로 이전 또는 이후에 위치하는 픽쳐로서, 이미 복원된 완료된 픽쳐가 될 수 있다. 일 실시예에 따라, 쌍예측 방식에서는 사용되는 2개의 참조 영역은 L0 픽쳐 리스트 및 L1 픽쳐 리스트 각각에서 선택된 영역일 수 있다.
인터 예측부(254)는 모션 벡터 및 참조 픽쳐 인덱스를 이용하여 현재 블록의 참조 블록을 획득할 수 있다. 상기 참조 블록은 참조 픽쳐 인덱스에 대응하는 참조 픽쳐 내에 존재한다. 또한, 모션 벡터에 의해서 특정된 블록의 샘플 값 또는 이의 보간(interpolation)된 값이 현재 블록의 예측자(predictor)로 이용될 수 있다. 서브펠(sub-pel) 단위의 픽셀 정확도를 갖는 모션 예측을 위하여 이를 테면, 휘도 신호에 대하여 8-탭 보간 필터가, 색차 신호에 대하여 4-탭 보간 필터가 사용될 수 있다. 다만, 서브펠 단위의 모션 예측을 위한 보간 필터는 이에 한정되지 않는다. 이와 같이 인터 예측부(254)는 이전에 복원된 픽쳐로부터 현재 유닛의 텍스쳐를 예측하는 모션 보상(motion compensation)을 수행한다. 이때, 인터 예측부는 모션 정보 세트를 이용할 수 있다.
추가적인 실시예에 따라, 예측부(250)는 IBC 예측부(미도시)를 포함할 수 있다. IBC 예측부는 현재 픽쳐 내의 복원된 샘플들을 포함하는 특정 영역을 참조하여 현재 영역을 복원할 수 있다. IBC 예측부는 엔트로피 디코딩부(210)로부터 획득된 IBC 부호화 정보를 이용하여 IBC 예측을 수행할 수 있다. IBC 부호화 정보는 블록 벡터 정보를 포함할 수 있다.
상기 인트라 예측부(252) 또는 인터 예측부(254)로부터 출력된 예측값, 및 역변환부(225)로부터 출력된 레지듀얼 값이 더해져서 복원된 비디오 픽쳐가 생성된다. 즉, 비디오 신호 디코딩 장치(200)는 예측부(250)에서 생성된 예측 블록과 역변환부(225)로부터 획득된 레지듀얼을 이용하여 현재 블록을 복원한다.
한편, 도 2의 블록도는 본 발명의 일 실시예에 따른 디코딩 장치(200)를 나타낸 것으로서, 분리하여 표시된 블록들은 디코딩 장치(200)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 전술한 디코딩 장치(200)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 일 실시예에 따르면, 전술한 디코딩 장치(200)의 각 엘리먼트의 동작은 프로세서(미도시)에 의해 수행될 수 있다.
한편, 본 명세서에서 제안된 기술은 인코더와 디코더의 방법 및 장치에 모두 적용 가능한 기술이며, 시그널링과 파싱으로 기술된 부분은 설명의 편의를 위해 기술한 것일 수 있다. 일반적으로 시그널링은 인코더 관점에서 각 신택스(syntax)를 부호화하기 위한 것이고, 파싱은 디코더 관점에서 각 신택스의 해석을 위한 것으로 설명될 수 있다. 즉, 각 신택스는 인코더로부터 비트스트림에 포함되어 시그널링될 수 있으며, 디코더에서는 신택스를 파싱하여 복원과정에서 사용할 수 있다. 이때, 규정된 계층적 구성대로 나열한 각 신택스에 대한 비트의 시퀀스를 비트스트림이라고 할 수 있다.
하나의 픽쳐는 서브 픽쳐(sub-picture), 슬라이스(slice), 타일(tile) 등으로 분할되어 부호화될 수 있다. 서브 픽쳐는 하나 이상의 슬라이스 또는 타일을 포함할 수 있다. 하나의 픽쳐가 여러 개의 슬라이스 또는 타일로 분할되어 부호화되었을 경우, 픽쳐 내의 모든 슬라이스 또는 타일이 디코딩이 완료되어야만 화면에 출력이 가능하다. 반면에, 하나의 픽쳐가 여러 개의 서브 픽쳐로 부호화되었을 경우, 임의의 서브 픽쳐만 디코딩되어 화면에 출력될 수 있다. 슬라이스는 여러 개의 타일 또는 서브 픽쳐를 포함할 수 있다. 또는 타일은 여러 개의 서브 픽쳐 또는 슬라이스를 포함할 수 있다. 서브 픽쳐, 슬라이스, 타일은 서로 독립적으로 인코딩 또는 디코딩이 가능하므로 병렬처리 및 처리 속도 향상에 효과적이다. 하지만, 인접한 다른 서브 픽쳐, 다른 슬라이스, 다른 타일의 부호화된 정보를 이용할 수 없으므로 비트량이 증가되는 단점이 있다. 서브 픽쳐, 슬라이스, 타일은 여러 개의 코딩 트리 유닛(Coding Tree Unit, CTU)으로 분할되어 부호화될 수 있다.
도 3은 픽쳐 내에서 코딩 트리 유닛(Coding Tree Unit, CTU)이 코딩 유닛들(Coding Units, CUs)로 분할되는 실시예를 도시한다. 비디오 신호의 코딩 과정에서, 픽쳐는 코딩 트리 유닛(CTU)들의 시퀀스로 분할될 수 있다. 코딩 트리 유닛은 휘도(luma) 코딩 트리 블록(Coding Tree Block, CTB)와 2개의 색차(chroma) 코딩 트리 블록들, 그리고 그것의 부호화된 신택스(syntax) 정보로 구성될 수 있다. 하나의 코딩 트리 유닛은 하나의 코딩 유닛으로 구성될 수 있으며, 또는 하나의 코딩 트리 유닛은 여러 개의 코딩 유닛으로 분할될 수 있다. 하나의 코딩 유닛은 휘도 코딩 블록(Coding Block, CB)과 2개의 색차 코딩 블록들, 그리고 그것의 부호화된 신택스 정보로 구성될 수 있다. 하나의 코딩 블록은 여러 개의 서브 코딩 블록으로 분할될 수 있다. 하나의 코딩 유닛은 하나의 변환 유닛(Transform Unit, TU)으로 구성될 수 있으며, 또는 하나의 코딩 유닛은 여러 개의 변환 유닛으로 분할될 수 있다. 하나의 변환 유닛은 휘도 변환 블록(Transform Block, TB)과 2개의 색차 변환 블록들, 그리고 그것의 부호화된 신택스 정보로 구성될 수 있다. 코딩 트리 유닛은 복수의 코딩 유닛들로 분할될 수 있다. 코딩 트리 유닛은 분할되지 않고 리프 노드가 될 수도 있다. 이 경우, 코딩 트리 유닛 자체가 코딩 유닛이 될 수 있다.
코딩 유닛은 상기에서 설명한 비디오 신호의 처리 과정, 즉 인트라/인터 예측, 변환, 양자화 및/또는 엔트로피 코딩 등의 과정에서 픽쳐를 처리하기 위한 기본 단위를 가리킨다. 하나의 픽쳐 내에서 코딩 유닛의 크기 및 모양은 일정하지 않을 수 있다. 코딩 유닛은 정사각형 또는 직사각형의 모양을 가질 수 있다. 직사각형 코딩 유닛(또는, 직사각형 블록)은 수직 코딩 유닛(또는, 수직 블록)과 수평 코딩 유닛(또는, 수평 블록)을 포함한다. 본 명세서에서, 수직 블록은 높이가 너비보다 큰 블록이며, 수평 블록은 너비가 높이보다 큰 블록이다. 또한, 본 명세서에서 정사각형이 아닌(non-square) 블록은 직사각형 블록을 가리킬 수 있지만, 본 발명은 이에 한정되지 않는다.
도 3을 참조하면, 코딩 트리 유닛은 먼저 쿼드 트리(Quad Tree, QT) 구조로 분할된다. 즉, 쿼드 트리 구조에서 2NX2N 크기를 가지는 하나의 노드는 NXN 크기를 가지는 네 개의 노드들로 분할될 수 있다. 본 명세서에서 쿼드 트리는 4진(quaternary) 트리로도 지칭될 수 있다. 쿼드 트리 분할은 재귀적으로 수행될 수 있으며, 모든 노드들이 동일한 깊이로 분할될 필요는 없다.
한편, 전술한 쿼드 트리의 리프 노드(leaf node)는 멀티-타입 트리(Multi-Type Tree, MTT) 구조로 더욱 분할될 수 있다. 본 발명의 실시예에 따르면, 멀티 타입 트리 구조에서는 하나의 노드가 수평 또는 수직 분할의 2진(binary, 바이너리) 또는 3진(ternary, 터너리) 트리 구조로 분할될 수 있다. 즉, 멀티-타입 트리 구조에는 수직 바이너리 분할, 수평 바이너리 분할, 수직 터너리 분할 및 수평 터너리 분할의 4가지 분할 구조가 존재한다. 본 발명의 실시예에 따르면, 상기 각 트리 구조에서 노드의 너비 및 높이는 모두 2의 거듭제곱 값을 가질 수 있다. 예를 들어, 바이너리 트리(Binary Tree, BT) 구조에서, 2NX2N 크기의 노드는 수직 바이너리 분할에 의해 2개의 NX2N 노드들로 분할되고, 수평 바이너리 분할에 의해 2개의 2NXN 노드들로 분할될 수 있다. 또한, 터너리 트리(Ternary Tree, TT) 구조에서, 2NX2N 크기의 노드는 수직 터너리 분할에 의해 (N/2)X2N, NX2N 및 (N/2)X2N의 노드들로 분할되고, 수평 터너리 분할에 의해 2NX(N/2), 2NXN 및 2NX(N/2)의 노드들로 분할될 수 있다. 이러한 멀티-타입 트리 분할은 재귀적으로 수행될 수 있다.
멀티-타입 트리의 리프 노드는 코딩 유닛이 될 수 있다. 코딩 유닛이 최대 변환 길이에 비해 크지 않은 경우, 해당 코딩 유닛은 더 이상의 분할 없이 예측 및/또는 변환의 단위로 사용될 수 있다. 일 실시예로서, 현재 코딩 유닛의 너비 또는 높이가 최대 변환 길이보다 큰 경우, 현재 코딩 유닛은 분할에 관한 명시적 시그널링 없이 복수의 변환 유닛으로 분할될 수 있다. 한편, 전술한 쿼드 트리 및 멀티-타입 트리에서 다음의 파라메터들 중 적어도 하나가 사전에 정의되거나 PPS, SPS, VPS 등과 같은 상위 레벨 세트의 RBSP를 통해 전송될 수 있다. 1) CTU 크기: 쿼드 트리의 루트 노드(root node) 크기, 2) 최소 QT 크기(MinQtSize): 허용된 최소 QT 리프 노드 크기, 3) 최대 BT 크기(MaxBtSize): 허용된 최대 BT 루트 노드 크기, 4) 최대 TT 크기(MaxTtSize): 허용된 최대 TT 루트 노드 크기, 5) 최대 MTT 깊이(MaxMttDepth): QT의 리프 노드로부터의 MTT 분할의 최대 허용 깊이, 6) 최소 BT 크기(MinBtSize): 허용된 최소 BT 리프 노드 크기, 7) 최소 TT 크기(MinTtSize): 허용된 최소 TT 리프 노드 크기.
도 4는 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하는 방법의 일 실시예를 도시한다. 전술한 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하기 위해 기 설정된 플래그들이 사용될 수 있다. 도 4를 참조하면, 노드의 분할 여부를 지시하는 플래그 'split_cu_flag', 쿼드 트리 노드의 분할 여부를 지시하는 플래그 'split_qt_flag', 멀티-타입 트리 노드의 분할 방향을 지시하는 플래그 'mtt_split_cu_vertical_flag' 또는 멀티-타입 트리 노드의 분할 모양을 지시하는 플래그 'mtt_split_cu_binary_flag' 중 적어도 하나가 사용될 수 있다.
본 발명의 실시예에 따르면, 현재 노드의 분할 여부를 지시하는 플래그인 'split_cu_flag'가 먼저 시그널링될 수 있다. 'split_cu_flag'의 값이 0인 경우, 현재 노드가 분할되지 않는 것을 나타내며, 현재 노드는 코딩 유닛이 된다. 현재 노드가 코팅 트리 유닛인 경우, 코딩 트리 유닛은 분할되지 않은 하나의 코딩 유닛을 포함한다. 현재 노드가 쿼드 트리 노드 'QT node'인 경우, 현재 노드는 쿼드 트리의 리프 노드 'QT leaf node'이며 코딩 유닛이 된다. 현재 노드가 멀티-타입 트리 노드 'MTT node'인 경우, 현재 노드는 멀티-타입 트리의 리프 노드 'MTT leaf node'이며 코딩 유닛이 된다.
'split_cu_flag'의 값이 1인 경우, 현재 노드는 'split_qt_flag'의 값에 따라 쿼드 트리 또는 멀티-타입 트리의 노드들로 분할될 수 있다. 코딩 트리 유닛은 쿼드 트리의 루트 노드이며, 쿼드 트리 구조로 우선 분할될 수 있다. 쿼드 트리 구조에서는 각각의 노드 'QT node' 별로 'split_qt_flag'가 시그널링된다. 'split_qt_flag'의 값이 1인 경우 해당 노드는 4개의 정사각형 노드들로 분할되며, 'split_qt_flag'의 값이 0인 경우 해당 노드는 쿼드 트리의 리프 노드 'QT leaf node'가 되며, 해당 노드는 멀티-타입 노드들로 분할된다. 본 발명의 실시예에 따르면, 현재 노드의 종류에 따라서 쿼드 트리 분할은 제한될 수 있다. 현재 노드가 코딩 트리 유닛(쿼트 트리의 루트 노드) 또는 쿼트 트리 노드인 경우에 쿼드 트리 분할이 허용될 수 있으며, 현재 노드가 멀티-타입 트리 노드인 경우 쿼트 트리 분할은 허용되지 않을 수 있다. 각각의 쿼드 트리 리프 노드 'QT leaf node'는 멀티-타입 트리 구조로 더 분할될 수 있다. 상술한 바와 같이, 'split_qt_flag'가 0인 경우 현재 노드는 멀티-타입 노드들로 분할될 수 있다. 분할 방향 및 분할 모양을 지시하기 위하여, 'mtt_split_cu_vertical_flag' 및 'mtt_split_cu_binary_flag'가 시그널링될 수 있다. 'mtt_split_cu_vertical_flag'의 값이 1인 경우 노드 'MTT node'의 수직 분할이 지시되며, 'mtt_split_cu_vertical_flag'의 값이 0인 경우 노드 'MTT node'의 수평 분할이 지시된다. 또한, 'mtt_split_cu_binary_flag'의 값이 1인 경우 노드 'MTT node'는 2개의 직사각형 노드들로 분할되며, 'mtt_split_cu_binary_flag'의 값이 0인 경우 노드 'MTT node'는 3개의 직사각형 노드들로 분할된다.
트리 분할 구조는 휘도 블록과 색차 블록이 동일한 형태로 분할될 수 있다. 즉, 색차 블록은 휘도 블록의 분할 형태를 참조하여 색차 블록을 분할할 수 있다. 현재 색차 블록이 임의의 정해진 크기보다 적다면, 휘도 블록이 분할되었더라도 색차 블록은 분할되지 않을 수 있다.
트리 분할 구조는 휘도 블록과 색차 블록이 서로 다른 형태를 가질 수 있다. 이때, 휘도 블록에 대한 분할 정보와 색차 블록에 대한 분할 정보가 각각 시그널링될 수 있다. 또한, 분할 정보 뿐만 아니라 휘도 블록과 색차 블록의 부호화 정보도 다를 수 있다. 실시 일 예로, 휘도 블록과 색차 블록의 인트라 부호화 모드, 움직임 정보에 대한 부호화 정보 등이 적어도 하나 이상 다를 수 있다.
가장 작은 단위로 분할될 노드는 하나의 코딩 블록으로 처리될 수 있다. 현재 블록이 코딩 블록일 경우, 코딩 블록은 여러 개의 서브 블록(서브 코딩 블록)으로 분할될 수 있으며, 각 서브 블록의 예측 정보는 서로 같거나 또는 다를 수 있다. 실시 일 예로, 코딩 유닛이 인트라 모드일 경우, 각 서브 블록의 인트라 예측 모드는 서로 같거나 또는 다를 수 있다. 또한, 코딩 유닛이 인터 모드일 경우, 각 서브 블록의 움직임 정보는 서로 같거나 또는 다를 수 있다. 또한, 각 서브 블록은 서로 독립적으로 인코딩 또는 디코딩이 가능할 수 있다. 각각의 서브 블록은 서브 블록 인덱스(sub-block index, sbIdx)를 통해 구분될 수 있다. 또한 코딩 유닛이 서브 블록으로 분할될 때, 수평 또는 수직 방향으로 분할되거나 사선으로 분할될 수 있다. 인트라 모드에서 현재 코딩 유닛을 수평 또는 수직 방향으로 2개 또는 4개의 서브 블록으로 분할하는 모드를 ISP(Intra Sub Partitions)이라 한다. 인터 모드에서 현재 코딩 블록을 사선으로 분할하는 모드를 GPM(Geometric partitioning mode)이라 한다. GPM모드에서 사선의 위치와 방향은 미리 정해진 각도 테이블을 사용하여 유도하고, 각도 테이블의 인덱스 정보가 시그널링된다.
코딩을 위한 픽쳐 예측(모션 보상)은 더 이상 나누어지지 않는 코딩 유닛(즉 코딩 트리 유닛의 리프 노드)을 대상으로 이루어진다. 이러한 예측을 수행하는 기본 단위를 이하에서는 예측 유닛(prediction unit) 또는 예측 블록(prediction block)이라고 한다.
이하, 본 명세서에서 사용되는 유닛이라는 용어는 예측을 수행하는 기본 단위인 상기 예측 유닛을 대체하는 용어로 사용될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 더욱 광의적으로는 상기 코딩 유닛을 포함하는 개념으로 이해될 수 있다.
도 5 및 도 6은 본 발명의 실시예에 따른 인트라 예측 방법을 더욱 구체적으로 도시한다. 전술한 바와 같이, 인트라 예측부는 현재 블록의 좌측 및/또는 상측에 위치한 복원된 샘플들을 참조 샘플들로 이용하여 현재 블록의 샘플 값들을 예측한다.
먼저, 도 5는 인트라 예측 모드에서 현재 블록의 예측을 위해 사용되는 참조 샘플들의 일 실시예를 도시한다. 일 실시예에 따르면, 참조 샘플들은 현재 블록의 좌측 경계에 인접한 샘플들 및/또는 상측 경계에 인접한 샘플들일 수 있다. 도 5에 도시된 바와 같이, 현재 블록의 크기가 WXH이고 현재 블록에 인접한 단일 참조 라인(line)의 샘플들이 인트라 예측에 사용될 경우, 현재 블록의 좌측 및/또는 상측에 위치한 최대 2W+2H+1개의 주변 샘플들을 사용하여 참조 샘플들이 설정될 수 있다.
한편, 현재 블록의 인트라 예측을 위해 다중 참조 라인의 픽셀들이 사용될 수 있다. 다중 참조 라인은 현재 블록으로부터 기 설정된 범위 이내에 위치한 n개의 라인들로 구성될 수 있다. 일 실시예에 따르면, 인트라 예측을 위해 다중 참조 라인의 픽셀들이 사용될 경우, 참조 픽셀들로 설정될 라인들을 지시하는 별도의 인덱스 정보가 시그널링될 수 있으며, 이를 참조 라인 인덱스라고 명명할 수 있다.
또한, 참조 샘플로 사용될 적어도 일부의 샘플이 아직 복원되지 않은 경우, 인트라 예측부는 참조 샘플 패딩 과정을 수행하여 참조 샘플을 획득할 수 있다. 또한, 인트라 예측부는 인트라 예측의 오차를 줄이기 위해 참조 샘플 필터링 과정을 수행할 수 있다. 즉, 주변 샘플들 및/또는 참조 샘플 패딩 과정에 의해 획득된 참조 샘플들에 필터링을 수행하여 필터링된 참조 샘플들을 획득할 수 있다. 인트라 예측부는 이와 같이 획득된 참조 샘플들을 이용하여 현재 블록의 샘플들을 예측한다. 인트라 예측부는 필터링되지 않은 참조 샘플들 또는 필터링된 참조 샘플들을 이용하여 현재 블록의 샘플들을 예측한다. 본 개시에서, 주변 샘플들은 적어도 하나의 참조 라인 상의 샘플들을 포함할 수 있다. 예를 들어, 주변 샘플들은 현재 블록의 경계에 인접한 라인 상의 인접 샘플들을 포함할 수 있다.
다음으로, 도 6은 인트라 예측에 사용되는 예측 모드들의 일 실시예를 도시한다. 인트라 예측을 위해, 인트라 예측 방향을 지시하는 인트라 예측 모드 정보가 시그널링될 수 있다. 인트라 예측 모드 정보는 인트라 예측 모드 세트를 구성하는 복수의 인트라 예측 모드들 중 어느 하나를 지시한다. 현재 블록이 인트라 예측 블록일 경우, 디코더는 비트스트림으로부터 현재 블록의 인트라 예측 모드 정보를 수신한다. 디코더의 인트라 예측부는 추출된 인트라 예측 모드 정보에 기초하여 현재 블록에 대한 인트라 예측을 수행한다.
본 발명의 실시예에 따르면, 인트라 예측 모드 세트는 인트라 예측에 사용되는 모든 인트라 예측 모드들(예, 총 67개의 인트라 예측 모드들)을 포함할 수 있다. 더욱 구체적으로, 인트라 예측 모드 세트는 평면 모드, DC 모드 및 복수의(예, 65개의) 각도 모드들(즉, 방향 모드들)을 포함할 수 있다. 각각의 인트라 예측 모드는 기 설정된 인덱스(즉, 인트라 예측 모드 인덱스)를 통해 지시될 수 있다. 예를 들어, 도 6에 도시된 바와 같이 인트라 예측 모드 인덱스 0은 평면(planar) 모드를 지시하고, 인트라 예측 모드 인덱스 1은 DC 모드를 지시한다. 또한, 인트라 예측 모드 인덱스 2 내지 66은 서로 다른 각도 모드들을 각각 지시할 수 있다. 각도 모드들은 기 설정된 각도 범위 이내의 서로 다른 각도들을 각각 지시한다. 예를 들어, 각도 모드는 시계 방향으로 45도에서 -135도 사이의 각도 범위(즉, 제1 각도 범위) 이내의 각도를 지시할 수 있다. 상기 각도 모드는 12시 방향을 기준으로 정의될 수 있다. 이때, 인트라 예측 모드 인덱스 2는 수평 대각(Horizontal Diagonal, HDIA) 모드를 지시하고, 인트라 예측 모드 인덱스 18은 수평(Horizontal, HOR) 모드를 지시하고, 인트라 예측 모드 인덱스 34는 대각(Diagonal, DIA) 모드를 지시하고, 인트라 예측 모드 인덱스 50은 수직(Vertical, VER) 모드를 지시하며, 인트라 예측 모드 인덱스 66은 수직 대각(Vertical Diagonal, VDIA) 모드를 지시한다.
한편, 기 설정된 각도 범위는 현재 블록의 모양에 따라 서로 다르게 설정될 수 있다. 예를 들어, 현재 블록이 직사각형 블록일 경우 시계 방향으로 45도를 초과하거나 -135도 미만 각도를 지시하는 광각 모드가 추가적으로 사용될 수 있다. 현재 블록이 수평 블록일 경우, 각도 모드는 시계 방향으로 (45+offset1)도에서 (-135+offset1)도 사이의 각도 범위(즉, 제2 각도 범위) 이내의 각도를 지시할 수 있다. 이때, 제1 각도 범위를 벗어나는 각도 모드 67 내지 76이 추가적으로 사용될 수 있다. 또한, 현재 블록이 수직 블록일 경우, 각도 모드는 시계 방향으로 (45-offset2)도에서 (-135-offset2)도 사이의 각도 범위(즉, 제3 각도 범위) 이내의 각도를 지시할 수 있다. 이때, 제1 각도 범위를 벗어나는 각도 모드 -10 내지 -1이 추가적으로 사용될 수 있다. 본 발명의 실시예에 따르면, offset1 및 offset2의 값은 직사각형 블록의 너비와 높이 간의 비율에 따라 서로 다르게 결정될 수 있다. 또한, offset1 및 offset2는 양수일 수 있다.
본 발명의 추가적인 실시예에 따르면, 인트라 예측 모드 세트를 구성하는 복수의 각도 모드들은 기본 각도 모드와 확장 각도 모드를 포함할 수 있다. 이때, 확장 각도 모드는 기본 각도 모드에 기초하여 결정될 수 있다.
일 실시예에 따르면, 기본 각도 모드는 기존 HEVC(High Efficiency Video Coding) 표준의 인트라 예측에서 사용되는 각도에 대응하는 모드이고, 확장 각도 모드는 차세대 비디오 코덱 표준의 인트라 예측에서 새롭게 추가되는 각도에 대응하는 모드일 수 있다. 더욱 구체적으로, 기본 각도 모드는 인트라 예측 모드 {2, 4, 6, …, 66} 중 어느 하나에 대응하는 각도 모드이고, 확장 각도 모드는 인트라 예측 모드 {3, 5, 7, …, 65} 중 어느 하나에 대응하는 각도 모드일 수 있다. 즉, 확장 각도 모드는 제1 각도 범위 내에서 기본 각도 모드들 사이의 각도 모드일 수 있다. 따라서, 확장 각도 모드가 지시하는 각도는 기본 각도 모드가 지시하는 각도에 기초하여 결정될 수 있다.
다른 실시예에 따르면, 기본 각도 모드는 기 설정된 제1 각도 범위 이내의 각도에 대응하는 모드이고, 확장 각도 모드는 상기 제1 각도 범위를 벗어나는 광각 모드일 수 있다. 즉, 기본 각도 모드는 인트라 예측 모드 {2, 3, 4, …, 66} 중 어느 하나에 대응하는 각도 모드이고, 확장 각도 모드는 인트라 예측 모드 {-14, -13, -12, …, -1} 및 {67, 68, …, 80} 중 어느 하나에 대응하는 각도 모드일 수 있다. 확장 각도 모드가 지시하는 각도는 대응하는 기본 각도 모드가 지시하는 각도의 반대편 각도로 결정될 수 있다. 따라서, 확장 각도 모드가 지시하는 각도는 기본 각도 모드가 지시하는 각도에 기초하여 결정될 수 있다. 한편, 확장 각도 모드들의 개수는 이에 한정되지 않으며, 현재 블록의 크기 및/또는 모양에 따라 추가적인 확장 각도들이 정의될 수 있다. 한편, 인트라 예측 모드 세트에 포함되는 인트라 예측 모드들의 총 개수는 전술한 기본 각도 모드와 확장 각도 모드의 구성에 따라 가변할 수 있다.
상기 실시예에서, 확장 각도 모드들 간의 간격은 대응하는 기본 각도 모드들 간의 간격에 기초하여 설정될 수 있다. 예를 들어, 확장 각도 모드들 {3, 5, 7, …, 65} 간의 간격은 대응하는 기본 각도 모드들 {2, 4, 6, …, 66} 간의 간격에 기초하여 결정될 수 있다. 또한, 확장 각도 모드들 {-14, -13, …, -1} 간의 간격은 대응하는 반대편의 기본 각도 모드들 {53, 53, …, 66} 간의 간격에 기초하여 결정되고, 확장 각도 모드들 {67, 68, …, 80} 간의 간격은 대응하는 반대편의 기본 각도 모드들 {2, 3, 4, …, 15} 간의 간격에 기초하여 결정될 수 있다. 확장 각도 모드들 간의 각도 간격은 대응하는 기본 각도 모드들 간의 각도 간격과 동일하도록 설정될 수 있다. 또한, 인트라 예측 모드 세트에서 확장 각도 모드들의 개수는 기본 각도 모드들의 개수 이하로 설정될 수 있다.
본 발명의 실시예에 따르면, 확장 각도 모드는 기본 각도 모드를 기초로 시그널링될 수 있다. 예를 들어, 광각 모드(즉, 확장 각도 모드)는 제1 각도 범위 이내의 적어도 하나의 각도 모드(즉, 기본 각도 모드)를 대체할 수 있다. 대체되는 기본 각도 모드는 광각 모드의 반대편에 대응하는 각도 모드일 수 있다. 즉, 대체되는 기본 각도 모드는 광각 모드가 지시하는 각도의 반대 방향의 각도에 대응하거나 또는 상기 반대 방향의 각도로부터 기 설정된 오프셋 인덱스만큼 차이 나는 각도에 대응하는 각도 모드이다. 본 발명의 실시예에 따르면, 기 설정된 오프셋 인덱스는 1이다. 대체되는 기본 각도 모드에 대응하는 인트라 예측 모드 인덱스는 광각 모드에 다시 매핑되어 해당 광각 모드를 시그널링할 수 있다. 예를 들어, 광각 모드 {-14, -13, …, -1}은 인트라 예측 모드 인덱스 {52, 53, …, 66}에 의해 각각 시그널링될 수 있고, 광각 모드 {67, 68, …, 80}은 인트라 예측 모드 인덱스 {2, 3, …, 15}에 의해 각각 시그널링될 수 있다. 이와 같이 기본 각도 모드를 위한 인트라 예측 모드 인덱스가 확장 각도 모드를 시그널링하도록 함으로, 각 블록의 인트라 예측에 사용되는 각도 모드들의 구성이 서로 다르더라도 동일한 세트의 인트라 예측 모드 인덱스들이 인트라 예측 모드의 시그널링에 사용될 수 있다. 따라서, 인트라 예측 모드 구성의 변화에 따른 시그널링 오버헤드가 최소화될 수 있다.
한편, 확장 각도 모드의 사용 여부는 현재 블록의 모양 및 크기 중 적어도 하나에 기초하여 결정될 수 있다. 일 실시예에 따르면, 현재 블록의 크기가 기 설정된 크기보다 클 경우 확장 각도 모드가 현재 블록의 인트라 예측을 위해 사용되고, 그렇지 않을 경우 기본 각도 모드만 현재 블록의 인트라 예측을 위해 사용될 수 있다. 다른 실시예에 따르면, 현재 블록이 정사각형이 아닌 블록인 경우 확장 각도 모드가 현재 블록의 인트라 예측을 위해 사용되고, 현재 블록이 정사각형 블록인 경우 기본 각도 모드만 현재 블록의 인트라 예측을 위해 사용될 수 있다.
인트라 예측부는 현재 블록의 인트라 예측 모드 정보에 기초하여, 현재 블록의 인트라 예측에 사용될 참조 샘플들 및/또는 보간된 참조 샘플들을 결정한다. 인트라 예측 모드 인덱스가 특정 각도 모드를 지시할 경우, 현재 블록의 현재 샘플로부터 상기 특정 각도에 대응하는 참조 샘플 또는 보간된 참조 샘플이 현재 픽셀의 예측에 사용된다. 따라서, 인트라 예측 모드에 따라 서로 다른 세트의 참조 샘플들 및/또는 보간된 참조 샘플들이 인트라 예측에 사용될 수 있다. 참조 샘플들 및 인트라 예측 모드 정보를 이용하여 현재 블록의 인트라 예측이 수행되고 나면, 디코더는 역변환부로부터 획득된 현재 블록의 잔차 신호를 현재 블록의 인트라 예측 값과 더하여 현재 블록의 샘플 값들을 복원한다.
인터 예측에 사용되는 움직임(모션) 정보에는 참조 방향 지시 정보(inter_pred_idc), 참조 픽쳐 인덱스(ref_idx_l0, ref_idx_l1), 움직임(모션) 벡터(mvL0, mvL1)이 포함될 수 있다. 참조 방향 지시 정보에 따라 참조 픽쳐 리스트 활용 정보(predFlagL0, predFlagL1)가 설정될 수 있다. 실시 일 예로, L0 참조 픽쳐를 사용하는 단방향 예측인 경우, predFlagL0=1, predFlagL1=0로 설정될 수 있다. L1 참조 픽쳐를 사용하는 단방향 예측인 경우, predFlagL0=0, predFlagL1=1로 설정될 수 있다. L0와 L1 참조 픽쳐를 모두 사용하는 양방향 예측인 경우, predFlagL0=1, predFlagL1=1로 설정될 수 있다.
현재 블록이 코딩 유닛일 경우, 코딩 유닛은 여러 개의 서브 블록으로 분할될 수 있으며, 각 서브 블록의 예측 정보는 서로 같거나 또는 다를 수 있다. 실시 일 예로, 코딩 유닛이 인트라 모드일 경우, 각 서브 블록의 인트라 예측 모드는 서로 같거나 또는 다를 수 있다. 또한, 코딩 유닛이 인터 모드일 경우, 각 서브 블록의 움직임 정보는 서로 같거나 또는 다를 수 있다. 또한, 각 서브 블록은 서로 독립적으로 인코딩 또는 디코딩이 가능할 수 있다. 각각의 서브 블록은 서브 블록 인덱스(sub-block index, sbIdx)를 통해 구분될 수 있다.
현재 블록의 움직임 벡터는 주변 블록의 움직임 벡터와 유사할 가능성이 높다. 따라서, 주변 블록의 움직임 벡터는 움직임 예측 값(motion vector predictor, mvp)으로 사용될 수 있고, 현재 블록의 움직임 벡터는 주변 블록의 움직임 벡터를 이용하여 유도될 수 있다. 또한, 움직임 벡터의 정확성을 높이기 위해서, 인코더에서 원본 영상으로 찾은 현재 블록의 최적의 움직임 벡터와 움직임 예측 값 간의 움직임 벡터의 차이(motion vector difference, mvd)가 시그널링될 수 있다.
움직임 벡터는 다양한 해상도를 가질 수 있으며, 블록 단위로 움직임 벡터의 해상도가 달라질 수 있다. 움직임 벡터 해상도는 정수 단위, 반화소 단위, 1/4 화소 단위, 1/16 화소 단위, 4의 정수 화소 단위 등으로 표현될 수 있다. 스크린 콘텐츠와 같은 영상은 문자와 같은 단순한 그래픽 형태이므로 보간(interpolation) 필터를 적용하지 않아도 되므로, 정수 단위와 4의 정수 화소 단위가 블록 단위 선택적으로 적용될 수 있다. 회전 및 스케일을 표현할 수 있는 어파인(Affine) 모드로 부호화된 블록은 형태의 변화가 심하므로, 정수 단위, 1/4 화소 단위, 1/16 화소 단위가 블록 기반 선택적으로 적용될 수 있다. 블록 단위로 움직임 벡터 해상도를 선택적으로 적용할 지에 대한 여부 정보는 amvr_flag으로 시그널링된다. 만일 적용되는 경우, 어떠한 움직임 벡터 해상도를 현재 블록에 적용할지는 amvr_precision_idx으로 시그널링된다.
양방향 예측이 적용되는 블록의 경우, 가중치 평균을 적용할 때 2개의 예측 블록 간의 가중치를 같거나 또는 다르게 적용할 수 있으며, 가중치에 대한 정보는 bcw_idx를 통해 시그널링된다.
움직임 예측 값의 정확도를 높이기 위해서, 머지(Merge) 또는 AMVP(dvanced motion vector prediction) 방법이 블록 단위 선택적으로 사용될 수 있다. Merge 방법은 현재 블록의 움직임 정보를 현재 블록에 인접한 주변 블록의 움직임 정보와 동일하게 구성하는 방법으로, 동질성을 갖는 움직임 영역에서 움직임 정보가 변화없이 공간적으로 전파됨으로써 움직임 정보의 부호화 효율을 증가시키는 장점이 있다. 반면에 AMVP 방법은 정확한 움직임 정보를 표현하기 위해 L0 및 L1 예측 방향으로 각각 움직임 정보를 예측하고 가장 최적의 움직임 정보를 시그널링하는 방법이다. 디코더는 AMVP 또는 Merge 방법을 통해 현재 블록에 대한 움직임 정보를 유도한 후, 참조 픽쳐(reference picture)에서 유도한 움직임 정보에 위치한 참조 블록을 현재 블록을 위한 예측 블록으로 사용한다.
Merge 또는 AMVP에서 움직임 정보를 유도하는 방법은 현재 블록의 주변 블록으로부터 유도된 움직임 예측 값을 사용하여 움직임 후보 리스트를 구성한 후, 최적의 움직임 후보에 대한 인덱스 정보가 시그널링되는 방법일 수 있다. AMVP의 경우, L0와 L1 각각 움직임 후보 리스트가 유도되므로, L0와 L1 각각에 대한 최적의 움직임 후보 인덱스(mvp_l0_flag, mvp_l1_flag)가 시그널링된다. Merge의 경우, 하나의 움직임 후보 리스트가 유도되므로, 하나의 머지 인덱스(merge_idx)가 시그널링된다. 하나의 코딩 유닛에서 유도되는 움직임 후보 리스트는 다양할 수 있으며, 각 움직임 후보 리스트마다 움직임 후보 인덱스 또는 머지 인덱스가 시그널링될 수 있다. 이때, Merge 모드로 부호화된 블록에서 잔여 블록에 대한 정보가 없는 모드를 머지 스킵(MergeSkip) 모드라고 할 수 있다.
본 명세서의 움직임 후보와 움직임 정보 후보는 서로 동일한 의미일 수 있다. 또한, 본 명세서의 움직임 후보 리스트와 움직임 정보 후보 리스트는 서로 동일한 의미일 수 있다.
SMVD(Symmetric MVD)는 양방향 예측(bi-directional prediction)의 경우에, L0 방향과 L1 방향의 MVD(Motion Vector Difference) 값이 대칭을 이루도록 하여 전송되는 움직임 정보의 비트량을 줄이는 방법이다. L0 방향과 대칭을 이루는 L1 방향의 MVD 정보는 전송되지 않으며, L0 및 L1 방향의 참조 픽쳐 정보도 전송되지 않고 복호화 과정에서 유도될 수 있다.
OBMC(Overlapped Block Motion Compensation)는 블록 간의 움직임 정보가 서로 다른 경우, 주변 블록들의 움직임 정보를 사용하여 현재 블록에 대한 예측 블록들을 생성한 후, 예측 블록들을 가중치 평균하여 현재 블록에 대한 최종 예측 블록을 생성하는 방법이다. 이는 움직임 보상된 영상의 블록 경계에서 발생되는 블록킹 현상을 줄여주는 효과가 있다.
일반적으로 머지 움직임 후보는 움직임의 정확도가 낮다. 이러한 머지 움직임 후보의 정확도를 높이기 위해서, MMVD(Merge mode with MVD) 방법이 사용될 수 있다. MMVD 방법은 몇 개의 움직임 차분 값 후보들 중에서 선택된 하나의 후보를 이용하여 움직임 정보를 보정하는 방법이다. MMVD 방법을 통해 획득되는 움직임 정보의 보정 값에 대한 정보(예를 들어, 움직임 차분 값 후보들 중에서 선택된 하나의 후보를 지시하는 인덱스 등)은 비트스트림에 포함되어 디코더로 전송될 수 있다. 기존의 움직임 정보 차분 값을 비트스트림에 포함하는 것에 비해 움직임 정보의 보정 값에 대한 정보를 비트스트림에 포함함으로써 비트량을 절약할 수 있다.
TM(Template Matching) 방법은 현재 블록의 주변 화소를 통해 템플릿을 구성하여 템플릿과 가장 유사도가 높은 매칭 영역을 찾아서 움직임 정보를 보정하는 방법이다. TM(Template matching)은 부호화되는 비트스트림의 크기를 줄이기 위해서, 움직임 정보를 비트스트림에 포함하지 않고 디코더에서 움직임 예측을 수행하는 방법이다. 이때, 디코더는 원본 영상이 없으므로 이미 복원된 주변 블록을 사용하여 현재 블록에 대한 움직임 정보를 개략적으로 유도할 수 있다.
DMVR(Decoder-side Motion Vector Refinement) 방법은 조금 더 정확한 움직임 정보를 찾기 위해 이미 복원된 참조 영상들의 상관성을 통해 움직임 정보를 보정하는 방법으로써, 현재 블록의 양방향 움직임 정보를 사용하여 2개의 참조 픽쳐의 임의의 정해진 영역 내에서 참조 픽쳐 내의 참조 블록 간의 가장 매칭이 잘되는 지점을 새로운 양방향 움직임으로 사용하는 방법이다. 이러한 DMVR이 수행될 때, 인코더는 하나의 블록 단위에서 DMVR을 수행하여 움직임 정보를 보정한 후, 다시 블록을 서브 블록으로 분할하여 각 서브 블록 단위에서 DMVR을 수행하여 서브 블록의 움직임 정보를 다시 보정할 수 있으며, 이를 MP-DMVR(Multi-pass DMVR)이라 할 수 있다.
LIC(Local Illumination Compensation) 방법은 블록 간의 휘도 변화를 보상하는 방법으로, 현재 블록에 인접한 주변 화소들을 사용하여 선형 모델을 유도한 후, 선형 모델을 통해 현재 블록의 휘도 정보를 보상하는 방법이다.
기존 비디오 부호화 방법들은 상하좌우의 평행 이동만을 고려한 움직임 보상을 수행하기 때문에, 현실에서 일반적으로 접하는 확대, 축소, 회전 등과 같은 움직임 포함하고 있는 비디오들의 부호화 시 부호화 효율이 저하된다. 이러한 확대, 축소, 회전에 대한 움직임을 표현하기 위하여, 4개(회전) 또는 6개(확대, 축소, 회전) 파라미터 모델을 이용하는 Affine 모델 기반 움직임 예측 기술이 적용될 수 있다.
BDOF(Bi-Directional Optical Flow)는 양방향 움직임으로 구성된 블록의 참조 블록으로부터 광-흐름(optical-flow) 기반으로 화소의 변화량을 추정하여 예측 블록을 보정하는데 사용된다. 이러한 VVC의 BDOF에서 유도된 움직임 정보를 이용하여 현재 블록의 움직임을 보정할 수 있다.
PROF(Prediction refinement with optical flow)는 서브 블록 단위 Affine 움직임 예측의 정확도를 픽셀 단위 움직임 예측의 정확도와 유사하도록 개선하기 위한 기술이다. PROF는 BDOF와 유사하게 광-흐름(optical-flow)에 기반하여 서브 블록 단위로 Affine 움직임 보상된 픽셀 값들에 대해 픽셀 단위로 보정 값을 계산하여 최종 예측 신호를 획득하는 기술이다.
CIIP(Combined Inter-/Intra-picture Prediction)방법은 현재 블록에 대한 예측 블록을 생성할 때, 화면 내 예측 방법으로 생성한 예측 블록과 화면 간 예측 방법으로 생성한 예측 블록들을 가중치 평균하여 최종 예측 블록을 생성하는 방법이다.
IBC(Intra Block Copy) 방법은 현재 블록과 가장 유사한 부분을 현재 픽쳐 내의 이미 복원된 영역에서 찾아서, 해당 참조 블록을 현재 블록에 대한 예측 블록으로 사용하는 방법이다. 이때, 현재 블록과 참조 블록 간의 거리인 블록 벡터(Block Vector)와 관련된 정보는 비트스트림에 포함될 수 있다. 디코더는 비스트스림에 포함된 블록 벡터와 관련된 정보를 파싱하여 현재 블록을 위한 블록 벡터를 계산하거나 설정할 수 있다.
BCW(Bi-prediction with CU-level Weights) 방법은 서로 다른 참조 픽쳐로 부터 움직임 보상된 두 개의 예측 블록에 대하여, 평균으로 예측 블록을 생성하지 않고, 블록 단위로 적응적으로 가중치를 적용하여 움직임 보상된 두 개의 예측 블록에 가중치 평균을 수행하는 방법이다.
MHP(Multi-hypothesis prediction) 방법은 화면 간 예측 시 단방향 및 양방향 움직임 정보에 추가적인 움직임 정보를 전송함으로써, 다양한 예측 신호를 통한 가중치 예측을 수행하는 방법이다.
CCLM(Cross-component linear model)은 휘도 신호와 해당 휘도 신호와 동일한 위치에 있는 색차 신호 간의 높은 상관성을 이용하여 선형 모델을 구성한 후, 해당 선형 모델을 통해 색차 신호를 예측하는 방법이다. 현재 블록에 인접한 주변 블록 중에서 복원이 완료된 블록을 사용하여 템플릿을 구성한 후, 템플릿을 통해 선형 모델에 대한 파라미터가 유도된다. 다음으로, 영상 포맷에 따라 선택적으로 색차 블록의 크기에 맞게 복원된 현재 휘도 블록이 다운 샘플링된다. 마지막으로, 다운 샘플링된 휘도 블록과 해당 선형 모델을 이용하여 현재 블록의 색차 블록을 예측한다. 이때, 2개 이상의 선형 모델을 사용하는 방법을 MMLM(Multi-model Linear mode)이라고 한다.
독립 스칼라 양자화(independent scalar quantization)에서, 입력된 계수 tk에 대한 복원된 계수 t'k는 관련된 양자화 인덱스(quantization index) qk에만 의존적이다. 즉, 임의의 복원된 계수에 대한 양자화 인덱스(quantization index)는 다른 복원된 계수들에 대한 양자화 인덱스들과는 다른 값을 가진다. 이때 t'k는 tk에서 양자화 오차가 포함된 값일 수 있으며, 양자화 파라미터에 따라 서로 다르거나 또는 같을 수 있다. 여기서, t'k는 복원된 변환 계수 또는 역양자화된 변환계수라고 명명할 수 있으며, 양자화 인덱스를 양자화된 변환 계수라고 명명할 수도 있다.
균일 복원 양자화(URQ; Uniform Reconstruction Quantizers)에서, 복원된 계수들은 동일한 간격으로 배치되는 특성을 지닌다. 이때 인접하는 두 복원 값들 사이의 거리를 양자화 단계 크기(quantization step size)라고 할 수 있다. 복원된 값 중에는 0을 포함할 수 있으며, 사용 가능한 복원 값들의 전체 집합(set)은 양자화 단계 크기에 따라 고유하게 정의될 수 있다. 양자화 단계 크기는 양자화 파라미터에 따라 달라질 수 있다.
기존 방법에서는 양자화로 인해 허용 가능한 복원된 변환 계수들의 집합(세트)이 감소하며, 이러한 집합의 원소(element)는 유한 개일 수 있다. 이로 인해, 원본 영상과 복원된 영상 간의 평균적인 오차를 최소화하는데 한계가 존재한다. 이러한 평균적인 오차를 최소화하기 위한 방법으로 벡터 양자화(Vector Quantization)를 사용할 수 있다.
비디오 부호화에서 사용되는 간단한 형태의 벡터 양자화 방법에는 부호 데이터 은닉(sign data hiding)이 있다. 이는 인코더에서 0이 아닌 하나의 계수에 대한 부호를 부호화하지 않고, 디코더에서는 해당 계수에 대한 부호를 모든 계수들에 대한 절대값의 합이 짝수인지 또는 홀수인지에 따라 결정하는 방법이다. 이를 위해 인코더에서는 적어도 하나의 계수가 '1'이 증가되거나 또는 감소될 수 있으며, 이는 율-왜곡(rate-distortion)에 대한 비용(Cost) 관점에서 최적이 되도록 적어도 하나의 계수가 선택되어 값이 조정될 수 있다. 실시 일 예로, 양자화 간격의 경계에 가까운 값을 가지는 계수가 선택될 수 있다.
또 다른 벡터 양자화 방법에는 트렐리스 부호화된 양자화(Trellis-Coded Quantization)가 있으며, 비디오 부호화에서는 종속 양자화(dependent quantization)에서 최적화된 양자화 값을 얻기 위한 최적의 경로 탐색 기법으로 활용된다. 블록 단위로, 블록 내 모든 계수들에 대한 양자화 후보들을 트렐리스 그래프에 배치하고, 최적화된 양자화 후보들 간의 최적의 트렐리스 경로를 율-왜곡(rate-distortion)에 대한 비용(Cost)을 고려하여 탐색한다. 구체적으로, 비디오 부호화에 적용된 종속 양자화는 변환 계수에 대한 허용 가능한 복원된 변환 계수들의 집합이 복원 순서에서 현재 변환 계수에 선행하는 변환 계수의 값에 의존하도록 설계될 수 있다. 이때, 여러 개의 양자화기를 변환 계수에 따라 선택적으로 사용하게 함으로써, 원본 영상과 복원된 영상 간의 평균적인 오차를 최소화하여 부호화 효율을 높이는 효과가 있다.
인트라 예측 부호화 기술 중에서 MIP(Matrix Intra Prediction) 방법은 행렬 기반 인트라 예측 방법으로 현재 블록에 인접한 주변 블록의 픽셀로부터 방향성을 가지는 예측 방법과 달리, 주변 블록의 좌측 및 상단의 픽셀들을 미리 정의된 행렬 매트릭스와 오프셋 값을 이용하여 예측 신호를 구하는 방법이다.
현재 블록의 인트라 예측 모드를 유도하기 위해서, 현재 블록에 인접하면서 복원된 임의의 영역인 템플릿(template)을 기반으로, 해당 템플릿의 주변 픽셀을 통해 유도된 템플릿에 대한 인트라 예측 모드가 현재 블록의 복원을 위해 이용할 수 있다. 우선, 디코더는 템플릿에 인접한 주변 픽셀(reference)을 이용하여 템플릿에 대한 예측 템플릿을 생성하고, 이미 복원된 템플릿과 가장 유사한 예측 템플릿을 생성한 인트라 예측 모드를 현재 블록의 복원을 위해 사용할 수 있다. 이러한 방법을 TIMD(Template intra mode derivation)이라고 할 수 있다.
일반적으로 인코더는 예측 블록을 생성하기 위한 예측 모드를 결정하여 결정된 예측 모드에 대한 정보가 포함된 비트스트림을 생성할 수 있다. 디코더는 수신한 비트스트림을 파싱하여 인트라 예측 모드를 설정할 수 있다. 이때, 예측 모드에 대한 정보의 비트량은 전체 비트스트림 크기의 10% 정도일 수 있다. 예측 모드에 대한 정보의 비트량을 감소시키기 위해 인코더는 비트스트림에 인트라 예측 모드에 대한 정보를 포함하지 않을 수 있다. 이에, 디코더는 주변 블록의 특성을 이용하여 현재 블록의 복원을 위한 인트라 예측 모드를 유도(결정)할 수 있고, 유도된 인트라 예측 모드를 이용하여 현재 블록을 복원할 수 있다. 이때, 디코더는 인트라 예측 모드를 유도하기 위해 현재 블록에 인접한 주변 화소(픽셀)들마다 소벨(Sobel) 필터를 가로 및 세로 방향으로 적용하여 방향성 정보를 유추한 후, 해당 방향성 정보를 인트라 예측 모드로 매핑하는 방법을 이용할 수 있다. 디코더가 주변 블록을 이용하여 인트라 예측 모드를 유도하는 방법은 DIMD(Decoder side intra mode derivation)로 기술될 수 있다.
도 7은 인터 예측에서 움직임 후보 리스트를 구성하기 위해 사용되는 주변 블록들의 위치를 나타낸 도면이다.
주변 블록들은 공간적인 위치의 블록이거나 시간적인 위치의 블록일 수 있다. 현재 블록에 공간적으로 인접한 주변 블록은 좌측(Left, A1) 블록, 좌하측(Left Below, A0) 블록, 상측(Above, B1) 블록, 상우측(Above Right, B0) 블록 또는 상좌측(Above Left, B2) 블록 중 적어도 하나가 될 수 있다. 현재 블록에 시간적으로 인접한 주변 블록은 대응되는 픽쳐(Collocated picture)에서 현재 블록의 하우측(bottom Right, BR) 블록의 좌상단 픽셀 위치를 포함하는 블록이 될 수 있다. 상기 현재 블록에 시간적으로 인접한 주변 블록이 인트라 모드로 부호화되거나 상기 현재 블록에 시간적으로 인접한 주변 블록이 사용할 수 없는 위치에 존재하면, 현재 픽쳐에 대응되는 픽쳐(Collocated picture)에서 현재 블록의 가로 및 세로의 중앙(Center, Ctr) 픽셀 위치를 포함하는 블록이 시간적 주변 블록으로 사용될 수 있다. 대응되는 픽쳐에서 유도된 움직임 후보 정보는 TMVP(Temporal Motion Vector Predictor)라 지칭될 수 있다. TMVP는 하나의 블록에서 하나만 유도될 수 있고, 하나의 블록을 여러 개의 서브 블록으로 분할한 후, 각 서브 블록마다 각각의 TMVP 후보가 유도될 수 있다. 서브 블록 단위의 TMVP 유도 방법은 sbTMVP(sub-block Temporal Motion Vector Predictor)로 지칭될 수 있다.
본 명세서에서 설명하는 방법들이 적용될 것인지 여부는 슬라이스 타입 정보 (예, I 슬라이스, P 슬라이스, B 슬라이스 인지 여부), 타일인지 여부, 서브 픽쳐인지 여부, 현재 블록의 크기, 코딩 유닛의 깊이, 현재 블록이 휘도 블록인지 색차 블록인지 여부, 참조 프레임인지 비참조 프레임인지 여부, 참조 순서 및 계층에 따른 시간적인 계층 등에 대한 정보들 중 적어도 어느 하나에 기초하여 결정될 수 있다. 본 명세서에서 설명하는 방법들이 적용될 것인지 여부를 결정하기 위해 사용되는 정보들은 디코더 및 인코더 간 미리 약속된 정보일 수 있다. 또한, 이러한 정보들은 프로파일 및 레벨에 따라 결정되어 있을 수 있다. 이러한 정보들은 변수 값으로 표현될 수 있고, 비트스트림에는 변수 값에 대한 정보가 포함될 수 있다. 즉, 디코더는 비트스트림에 포함된 변수 값에 대한 정보를 파싱하여 상술한 방법들이 적용되는지 여부를 결정할 수 있다. 예를 들어, 코딩 유닛의 가로의 길이 또는 세로의 길이에 기초하여 상술한 방법들이 적용될 것인지 여부가 결정될 수 있다. 가로의 길이 또는 세로의 길이가 32 이상(예, 32, 64, 128 등)이면 상술한 방법들은 적용될 수 있다. 또한 가로의 길이 또는 세로의 길이가 32 보다 작은 경우(예, 2, 4, 8, 16)에 상술한 방법들은 적용될 수 있다. 또한 가로의 길이 또는 세로의 길이가 4 또는 8인 경우 상술한 방법들은 적용될 수 있다.
본 명세서에 있어, 블록은 샘플과 동일한 의미로 사용될 수 있다.
도 8은 본 발명의 일 실시예에 따른 루마 샘플과 크로마 샘플 간 관계를 나타낸 도면이다.
도 8은 수평과 수직 방향에서의 루마 샘플과 크로마 샘플의 위치 관계를 나타낸다. 또한, 도 8은 루마 샘플과 크로마 샘플간 비율 관계를 나타낸다. 도 8의 X는 루마 샘플을 의미하고, O는 크로마 샘플을 의미할 수 있다.
도 8(a)은, 크로마 포맷(루마 샘플과 크로마 샘플간 관계)이 4:2:0 (또는 4:1:1)인 경우, 루마 샘플과 크로마 샘플의 위치를 나타낸다. 루마 샘플 4개당 대응되는 크로마 샘플(Cb, Cr)이 하나씩 존재할 수 있다. 도 8(b)는, 크로마 포맷이 4:2:2인 경우, 루마 샘플과 크로마 샘플의 위치를 나타낸다. 루마 샘플 4개당 대응되는 크로마 샘플은 2개씩 존재할 수 있다. 도 8(c)는, 크로마 포맷이 4:4:4인 경우, 루마 샘플과 크로마 샘플의 위치를 나타낸다. 루마 샘플 4개당 대응되는 크로마 샘플은 4개씩 존재할 수 있다. 루마 샘플 1개당 동일한 위치에 크로마 샘플 1개가 위치할 수 있다.
도 9는 본 발명의 일 실시예에 따른 Cross-component Linear Model (CCLM) 예측에 필요한 참조 샘플을 나타낸 도면이다.
현재 블록에 대응되는 제1 컬러 성분(color component)과 제2 컬러 성분이 존재할 때, 제2 컬러 성분은 제1 컬러 성분에 기초하여 예측 및/또는 복원될 수 있다. 이때, 제1 컬러 성분과 제2 컬러 성분 간 관계에 대한 모델이 사용될 수 있다. 즉, 제1 컬러 성분과 제2 컬러 성분 간 관계에 대한 모델에 기초하여 제1 컬러 성분을 통해 제2 컬러 성분은 예측 및/또는 복원될 수 있다. 제1 컬러 성분과 제2 컬러 성분 간 관계에 대한 모델은 이미 복원된 제1 컬러 성분의 샘플과 이미 복원된 제2 컬러 성분의 샘플로부터 모델링될 수 있다. 이때, 이미 복원된 제1 컬러 성분의 샘플 및 이미 복원된 제2 컬러 성분의 샘플은 현재 블록 주변의 샘플일 수 있다. 제1 컬러 성분과 제2 컬러 성분 간 관계에 대한 모델에 기초하여 이미 복원된 제1 컬러 성분을 이용하여 제2 컬러 성분은 예측 및/또는 복원될 수 있다. 이때, 제1 컬러 성분은 루마 성분이고, 제2 컬러 성분은 크로마 성분일 수 있다. 또한, 디코딩 및 인코딩 순서에 따라 제1 컬러 성분이 크로마 성분이고, 제2 컬러 성분이 루마 성분일 수 있다. 또한, 제1 컬러 성분과 제2 컬러 성분은 Y, U, V 성분 중 어느 하나일 수 있다. 또한, 제1 컬러 성분은 다수의 컬러 성분을 의미할 수 있다.
크로마 인트라 예측을 위해 CCLM 예측이 사용될 수 있다. YUV 4:2:0 시퀀스에 존재하는 크로스 컴포넌트 관계(cross component correlation)가 사용되면 비디오의 압축 성능은 보다 효율적일 수 있다. 크로스 컴포넌트의 중복성을 줄이기 위해 CCLM 예측에 있어 현재 블록의 크로마 샘플(들)은 현재 블록의 복원된 루마 샘플(들)에 기초하여 예측 및/또는 복원될 수 있다. 이때, 후술하는 선형 모델(linear model)이 사용될 수 있다. 본 명세서의 선형 모델은, 선형 방정식, 선형 수학식(Linear equation) 등으로 표현될 수 있다.
수학식 1은 이미 복원된 루마 샘플에 기초하여 크로마 샘플을 복원할 때, 사용되는 선형 모델을 나타낸다.
수학식 1에서 predC(i,j)는 현재 블록의 (i, j) 위치의 크로마 샘플의 예측 값을 의미하고, recL(i,j)는 현재 블록의 (i, j)위치의 이미 복원된 루마 샘플의 값을 의미할 수 있다. 현재 블록의 좌-상단 위치는 (0, 0)일 수 있다.
루마 샘플 밀도보다 크로마 샘플 밀도가 작은 경우(예, YUV 4:2:0 영상), 이미 복원된 루마 샘플은 하향 표본화된 루마 샘플일 수 있다. 하향 표본화는 도 8(c)와 같이 루마 샘플과 크로마 샘플 개수가 1:1이 아닌 경우, 크로마 샘플의 개수에 맞추어 루마 샘플의 개수를 맞추는 과정을 의미할 수 있다. 하향 표본화된 루마 샘플의 값은 6탭 필터(도 15 참조)에 따라 가중 평균이 수행되어 획득될 수 있다. 수학식 1의 파라미터 와 는 현재 블록 주변의 복원된 루마 샘플(또는 햐향 표본화된 루마 샘플)과 크로마 샘플 간 회귀 오류(regression error)를 최소화하기 위한 값일 수 있다. 파라미터 는 수학식 2에 기초하여 파라미터 는 수학식 3에 기초하여 획득될 수 있다.
수학식 2, 3에서 L(n)과 C(n)은 CCLM의 참조 샘플일 수 있다. 또한 위 식에서 L(n)은 모델링(예, 파라미터 와 를 를 획득하는 과정)에 사용되는 복원된 루마 샘플을 의미하고, C(n)은 모델링에 사용되는 복원된 크로마 샘플을 의미할 수 있다. 루마 샘플의 개수와 크로마 샘플의 개수가 다른 경우, 루마 샘플은 하향 표본화되어 사용될 수 있다. L(n) 및 C(n)은 현재 블록 주변(이웃)의 샘플들일 수 있다. N은 L(n)과 C(n) 쌍의 수일 수 있다. 구체적으로 L(n)은 현재 블록의 하향 표본화 된 상단과 좌측의 복원된 루마 샘플을 의미하고, C(n)은 현재 블록의 상단과 좌측의 크로마 샘플을 의미하고, N은 현재 크로마 코딩 블록의 코딩 블록의 가로와 세로의 길이 중 최소 값의 2배를 의미할 수 있다. 비디오 신호 처리 장치(예, 인코더 또는 디코더)는 정사각형 모양이 아닌 압축 블록에 대해서 더 긴 경계(boundary)의 이웃 샘플들을 짧은 경계의 샘플 값과 같은 값을 갖도록 하기 위해 하향 표본화를 할 수 있다. 수학식 2, 3은 파라미터 와 를 획득하기 위한 일 예일 뿐, 파라미터 와 는 상술한 수학식 2, 3이외의 다른 방법으로도 획득될 수 있다.
도 10은 본 발명의 일 실시예에 따른 CCLM이 적용되는 모드를 나타낸 도면이다.
CCLM은 3가지의 참조 샘플의 구성 방법에 따라 다양한 모드(도 10(a) 내지 도 10(c))로 구분될 수 있다. 이때, CCLM은 기본적으로 1개의 선형 모델을 사용하는 모드가 있을 수 있다 (모드 1 내지 모드 3). 또한, CCLM은 2개의 선형 모델을 사용하는 모드가 있을 수 있다(모드 4 내지 모드 6). 2개의 선형 모델을 사용하는 모드를 포함하면, CCLM은 6가지 모드로 구분될 수 있다. 도 10(a)를 참조하면, CCLM을 위한 참조 샘플은 현재 블록의 상측의 참조 블록(샘플)과 좌측의 참조 블록일 수 있다. 도 10(b)를 참조하면, CCLM을 위한 참조 샘플은 현재 블록의 상측의 참조 블록일 수 있다. 도 10(c)를 참조하면, CCLM을 위한 참조 샘플은 현재 블록의 좌측 블록일 수 있다. 도 10(a) 내지 도 10(c)와 같이 구성되는 참조 샘플을 이용하는 CCLM 모드에는 1개 또는 2개의 선형 모델이 사용될 수 있다. 도 10(a)에 따른 참조 샘플을 사용하고 1개의 선형 모델을 사용하는 CCLM 모드(모드 1)는, 비트스트림에 포함되는 신택스 요소에 의해 사용 여부가 지시될 수 있고, 이때 신택스 요소는 LM_CHROMA_IDX로 표현될 수 있다. 도 10(b)에 따른 참조 샘플을 사용하고 1개의 선형 모델을 사용하는 CCLM 모드(모드 2)는, 비트스트림에 포함되는 신택스 요소에 의해 사용 여부가 지시될 수 있고, 이때 신택스 요소는 MDLM_T_IDX로 표현될 수 있다. 도 10(c)에 따른 참조 샘플을 사용하고 2개의 선형 모델을 사용하는 CCLM 모드(모드 3)는, 비트스트림에 포함되는 신택스 요소에 의해 사용 여부가 지시될 수 있고, 이때 신택스 요소는 MDLM_L_IDX로 표현될 수 있다. 또한, 도 10(a)에 따른 참조 샘플을 사용하고 2개의 선형 모델을 사용하는 CCLM 모드(모드 4)는, 비트스트림에 포함되는 신택스 요소에 의해 사용 여부가 지시될 수 있고, 이때 신택스 요소는 MMLM_CHROMA_IDX로 표현될 수 있다. 도 10(b)에 따른 참조 샘플을 사용하고 2개의 선형 모델을 사용하는 CCLM 모드(모드 5)는, 비트스트림에 포함되는 신택스 요소에 의해 사용 여부가 지시될 수 있고, 이때 신택스 요소는 MMLM_T_IDX로 표현될 수 있다. 도 10(c)에 따른 참조 샘플을 사용하고 2개의 선형 모델을 사용하는 CCLM 모드(모드 6)는, 비트스트림에 포함되는 신택스 요소에 의해 사용 여부가 지시될 수 있고, 이때 신택스 요소는 MMLM_L_IDX로 표현될 수 있다. 2개의 선형 모델이 사용되는 경우, 각 선형 모델은 (하향 표본화된) 루마 성분 참조 샘플 값들의 평균 값에 따라 2개의 그룹으로 구분될 때, 각 각 그룹에 대한 선형 모델일 수 있다. 본 명세서에서 크로마 포맷이 4:4:4가 아닌 경우, CCLM을 위한 루마 성분 참조 샘플은 크로마 샘플과 루마 샘플의 비율을 1:1로 맞추기 위해 하향 표본화된 샘플일 수 있다.
도 11은 본 명세서의 일 실시예에 따른 2개의 선형 모델을 사용하는 CCLM 모드를 나타낸 도면이다.
CCLM을 위한 참조 샘플들(루마 성분 또는 크로마 성분)의 평균 값이 선형 모델을 획득하기 위한 임계 값(Threshold)이 될 수 있다. 이때, 임계 값은 하나 이상일 수 있다. 도 11을 참조하면 임계 값을 기준으로 참조 샘플들은 복수의 그룹으로 구분될 수 있고, 비디오 신호 처리 장치는 각 그룹에 따른 선형 모델을 획득할 수 있다. 임계 값은 현재 블록의 이미 복원된 루마 성분 블록에도 적용될 수 있다. 임계 값에 기초하여 획득되는 선형 모델인 수학식 4를 이용하여 크로마 블록의 예측 값인 PredC(i,j)(PredC(x,y))은 획득될 수 있다.
도 11 및 수학식 4를 참조하면 평균 값 미만의 값을 갖는 루마 성분 참조 샘플들에 기초하여 첫번째 선형 모델을 획득할 수 있고, 평균 값 이상의 값을 갖는 루마 성분 참조 샘플들에 기초하여 두번째 선형 모델을 획득할 수 있다. 이때, 첫번째 선형 모델의 파라미터 는 2이고, 는 1일 수 있다. 두번째 선형 모델의 파라미터 는 1/2이고, 는 1일 수 있다.
도 12는 본 발명의 일 실시예에 따른 블록의 분할 구조를 나타낸 도면이다.
도 12(a)는, YUV 4:2:0인 I 슬라이스에서 루마 성분 블록의 QTBT 분할 구조를 나타내고, 도 12(b)는 YUV 4:2:0인 I 슬라이스에서 크로마 QTBT 분할 구조를 나타낸다. 루마 성분 블록과 크로마 성분 블록은 분할 형태에 따라 다른 구조로 분할될 수 있다. 분할 형태가 싱글 트리(single tree)이면, 루마 성분 블록과 크로마 성분 블록은 동일한 구조로 분할될 수 있고, 이때 크로마 성분 블록과 루마 성분 블록은 1:1 대응될 수 있다. 분할 형태가 별도 트리(separate tree)이면, 도 12와 같이 루마 성분 블록과 크로마 성분 블록은 다른 구조로 분할될 수 있고, 이때 크로마 성분 블록과 루마 성분 블록은 1:1 대응되지 않을 수 있다. 도 12(b)의 크로마 블록(회색 음영 부분)과 이에 대응되는 도 12(a)의 루마 블록(회색 음영 부분)은 서로 분할 구조가 상이하다.
루마 성분 블록을 사용하여 크로마 성분 블록을 예측함에 있어, 분할 형태가 싱글 트리이면, 도 12(a)의 좌 상단 위치(TL)에 저장된 루마 성분 블록의 예측 모드가 이용될 수 있고, 별도 트리이면 도 12(b)의 크로마 성분 블록의 왼쪽 블록(회생 음영 부분)에 대응되는 루마 성분 블록의 중심 위치(CR)에 저장된 루마 성분 블록의 예측 모드가 이용될 수 있다.
도 13은 본 발명의 일 실시예에 따른 CCLM을 위한 선형 모델을 최적화하는 방법을 나타낸 도면이다.
도 12(a)는 상술한 수학식 1의 와 를 나타낸 도면이고, 도 12(b)는 선형 모델을 최적화하기 위해 획득되는 와 를 나타내는 도면이다. 최적화하기 위해 획득되는 와 는 각각 수학식 1의 와 를 대체할 수 있고, 선형 모델은 수학식 5와 같을 수 있다.
는 + u 로 획득될 수 있고, 는 -u *yr 로 획득될 수 있다. 이때 u는 -4에서 4 사이의 정수 값으로, 비트스트림에 포함된 신택스 요소에 의해 시그널링되는 값일 수 있다. 또한, u 값은 기 설정된 값일 수 있다. yr은 (하향 표본화 된)루마 성분 참조 샘플의 평균 값(또는 중앙 값, 최빈 값)일 수 있다.
도 14는 본 발명의 일 실시예에 따른 CCLM을 위한 최적화된 선형 모델의 파라미터 값을 획득하는 방법을 나타낸 도면이다.
도 14는 최적화된 선형 모델의 파라미터 값을 획득하기 위한 루마 성분 참조 샘플의 평균 값인 yr을 획득하는 방법을 나타낸다. 이하 yr을 획득하는 방법에 대해 설명한다. 도 14를 참조하면 현재 블록(0 내지 15로 인덱싱된 블록)은 4x4 크기의 블록이고, 참조 샘플은 현재 블록의 상측과 좌측에 인접한 블록들(인덱싱되지 않는 블록)일 수 있다.
i) 도 14(a)를 참조하면, 현재 블록의 크기가 4x4이고 크로마 포맷이 4:4:4인 경우, 비디오 신호 처리 장치는 참조 샘플과 이미 복원된 루마 성분 샘플과의 유사성에 기초하여, 이미 복원된 루마 성분 샘플 전체(현재 블록 내 참조 샘플 전체, 즉 인덱스 0 내지 15의 샘플)에 대해 평균 값으로 yr을 획득할 수 있다.
ii) 도 14(b)를 참조하면, 현재 블록의 크기가 4x4이고 크로마 포맷이 4:4:4인 경우, 비디오 신호 처리 장치는 참조 샘플과 복원된 루마 샘플과의 유사성에 기초하여, 이미 복원된 루마 샘플들 중 일부의 샘플들의 평균 값으로 yr을 획득할 수 있다. 이때, 일부의 샘플들은 기 설정된 위치의 샘플들일 수 있다. 기 설정된 위치의 샘플들은 현재 블록의 상측 경계 및 좌측 경계를 포함하는 위치의 샘플들(즉, 인덱스 0 내지 4, 8, 12의 샘플)일 수 있다.
iii) 도 14(c)를 참조하면, 현재 블록의 크기가 4x4이고 크로마 포맷이 4:4:4인 경우, 참조 샘플과 복원된 루마 샘플과의 유사성에 기초하여, 이미 복원된 루마 성분 샘플들은 위치를 기준으로 일정 크기로 분류되고, 비디오 신호 처리 장치는 분류된 샘플들의 평균값으로 yr을 획득할 수 있다. 인덱스 0, 1, 4, 5의 샘플들, 인덱스 2, 3, 6, 7의 샘플들, 인덱스 8, 9, 12, 13의 샘플들, 인덱스 10, 11, 14, 15의 샘플들로 분류될 수 있다.
비디오 신호 처리 장치는 i) 내지 iii)을 통해 평균 값(yr)을 회득할 수 있다. 또한 비디오 신호 처리 장치는 yr과 참조 샘플들의 평균 값을 이용하여 새로운 값을 획득할 수 있고, 새로운 값은 yr을 대체할 수 있다. i) 내지 iii)의 평균 값은 중앙 값 또는 최빈 값으로 대체될 수 있다.
도 15는 본 발명의 일 실시예에 따른 그래디언트 선형 모델(Gradient Linear Model, GLM)을 나타낸 도면이다.
도 15(a)는 크로마 포맷이 4:4:4:가 아닌 경우 사용되는 하향 표본화 필터의 가중치 값을 나타낸다. 도 15(c)의 오른쪽 도면과 같이 현재 블록의 크기는 8x8일 수 있고, 크로마 포맷은 4:2:0일 수 있다. 비디오 신호 처리 장치는 도 15(c)의 현재 코딩 블록의 상측에 위치한 참조 샘플들(151) 6개의 값과 6개의 값 각각에 대응되는 필터 가중치 값을 곱하고, 이들의 평균 값을 획득할 수 있다. 이때, 하향 표본화된 루마 샘플들은 도 15(c)의 왼쪽 블록일 수 있다. 하향 표본화된 각 루마 샘플의 위치당 한 개의 크로마 샘플이 위치할 수 있고, 1:1 대응될 수 있다. 상술한 방법을 통해 비디오 신호 처리 장치는 하향 표본화 된 루마 샘플들을 획득할 수 있다.
이하에서는 루마 샘플의 기울기(Gradient) 값에 기초한 GLM 선형 모델을 획득하고, GLM 선형 모델을 이용하여 현재 블록의 크로마 샘플의 예측 값(C(i,j))을 획득하는 방법에 대해 설명한다.
GLM 선형 모델은 조건에 따라 현재 블록 별로 수학식 6 또는 수학식 7로 설정될 수 있다. 상기 조건은 코스트(cost) 값에 기초한 조건일 수 있다.
수학식 6, 7의 와 는 상술한 수학식 1의 CCLM 선형 모델의 값과 동일하고, G(i,j)은 이미 복원된 루마 샘플들에 대응되는 기울기 값일 수 있다. rec'L(i,j)는 하향 표본화된 루마 샘플의 값일 수 있다.
수학식 6은 수학식 8로, 수학식 7은 수학식 9로 대체될 수도 있다.
수학식 8의 B는 컨텐츠의 비트심도(bitdepth)의 중간 값이고, chromaMean은 크로마 성분 참조 샘플들의 평균 값일 수 있다. 수학식 9의 midValue는 컨텐츠의 비트심도(bitdepth)의 중간 값으로, Bitdepth가 10-bit인 경우 512일 수 있다. 또한, midValue는 각 크로마 성분 참조 샘플의 평균 값일 수도 있다. 수학식 8, 9의 는 예측될 크로마 성분 샘플 주변에 위치한 i번째로 이미 복원된 하향 표본화 된 루마 샘플 값에 대응되는 계수일 수 있다.
기울기 값을 획득하기 위한 필터는 소벨 기반 기울기 패턴(Sobel based gradient pattern)으로 기술될 수 있다. 기울기 값을 획득하기 위한 필터는 복수 개일 수 있다. 도 15(b)는 기울기 값을 획득하기 위한 복수 개의 필터 중 하나를 예시한다. GLM 선형 모델은 크로마 성분 Cb, Cr 샘플에 각각 독립적으로 적용될 수 있다. 이때, GLM 선형 모델이 각 크로마 성분에 적용되는지 여부는 비트스트림에 포함된 신택스 요소(플래그)에 의해 시그널링될 수 있다. 또한, GLM 선형 모델이 각 크로마 성분 샘플에 적용되는 경우, GLM 선형 모델을 위한 필터(복수 개의 소벨 기반 기울기 패턴) 중 하나를 지시하는 신택스 요소가 비트스트림에 포함되어 시그널링될 수 있다. 하나의 필터를 지시하는 신택스 요소는 glm 인덱스로 기술될 수 있다.
GLM은 CCLM의 상술한 6가지 모드에서 동작 하거나 특정 모드로만 동작하도록 제한될 수 있다. 이때 특정 모드는 LM_CHROMA_IDX, MDLM_L_IDX, MDLM_T_IDX 일 수 있다. 또한, GLM은 특정 인트라 루마 예측 모드 중 일부에는 적용되지 않을 수 있다. 예를 들어, 방향성이 없는 DC 모드, 평면(Planar) 모드 전부 또는 일부에는 GLM이 적용되지 않을 수 있다. 또한, 인트라 루마 예측 모드가 방향성이 없는 DC 모드, 평면 모드, MIP 모드 중 어느 하나인 경우, GLM은 적용되지 않을 수 있다. 이때, GLM이 적용되는지 여부를 나타내는 신택스 요소(플래그)의 값은 0으로 설정될 수 있다. GLM에서도 2개의 선형 모델이 사용될 수 있다. 이하에서는 GLM 동작 방법, 동작 조건에 대해 설명한다.
GLM이 적용되기 위한 조건은 다음과 같다.
(조건) 크로마 모드==MMLM_CHROMA_IDX || 크로마 모드==MMLM_L_IDX || 크로마 모드==MMLM_T_IDX) && (루마 블록의 가로 크기 * 루마 블록의 세로 크기 >= 기준 값1)
기준 값1은 양의 정수로, 16, 32, 64, 128등일 수 있다. 상기 조건1에서 루마 블록의 가로 크기는 크로마 블록의 가로 크기로, 루마 블록의 세로 크기는 크로마 블록의 세로 크기로 대체될 수 있다. 또한, 기준 값1은 크로마 포맷에 기초하여 결정되는 값으로, 8, 16, 32, 64, 128등일 수 있다.
기울기 값을 획득하기 위한 필터는 복수 개일 수 있고, glm 인덱스는 복수 개의 필터들 중 나타내도록 시그널링될 수 있다. 비디오 신호 처리 장치는 비트스트림에 포함된 glm 인덱스를 파싱하여 기울기 값을 획득하기 위한 필터를 결정할 수 있다. 이때, 기울기 값을 획득하기 위한 필터는 4개 또는 8개 또는 16개일 수 있고, glm 인덱스는 4개 또는 8개 또는 16개의 필터 중 어느 하나를 지시할 수 있다. glm 인덱스는 고정된 비트 크기로 시그널링될 수 있다. 또한, 시그널링 복잡도의 감소를 위해 glm 인덱스는 고정된 비트 크기가 아닌 후술하는 방법으로 구성될 수 있다.
i) 비디오 신호 처리 장치는 기준 요소에 기초하여 기울기 값을 획득하기 위한 필터로 사용 가능한 필터 후보들을 재정렬하고, 재정렬된 필터 후보들에 기초하여 glm 인덱스를 시그널링/파싱할 수 있다. 기준 요소는 현재 블록의 루마 예측 모드 또는 코딩 모드(예, Decoder side intra mode derivation(DIMD), Template-based intra mode derivation(TIMD))일 수 있다. 예를 들어, 비디오 신호 처리 장치는 루마 예측 모드를 복수개의 그룹으로 분류하고, 각 그룹별로 사용 빈도가 높은 필터 후보들로 기울기 값을 획득하기 위한 필터 후보들을 재정렬할 수 있다. 재정렬된 후보들 중 사용 빈도가 가장 높은 후보가 가장 낮은 glm 인덱스에 매핑될 수 있고, glm 인덱스는 1 비트 크기로 시그널링될 수 있다. 루마 예측 모드의 인덱스에 기초하여 루마 예측 모드는 복수개의 그룹으로 분류될 수 있다. 이때, 루마 예측 모드는 균등하게(즉, 그룹 당 동일한 개수) 그룹으로 분류되거나, 비균등하게(즉, 그룹 당 동일하지 않은 개수) 그룹으로 분류될 수 있다. 각 그룹에 포함되는 루마 예측 모드들의 인덱스는 연속될 수 있다. 또한, 특정 인덱스를 기준으로 루마 예측 모드는 분류될 수 있다. 예를 들어, 루마 예측 모드는 특정 인덱스 보다 같거나 작은(또는 작은) 인덱스에 대응되는 루마 예측 모드들과 특정 인덱스보다 큰(또는 같거나 큰) 인덱스에 대응되는 루마 예측 모드들로 분류될 수 있다. 이때, 특정 인덱스는 복수 개일 수 있다. 즉, 특정 인덱스가 1개이면 루마 예측 모드는 2개의 그룹으로 분류되고, 특정 인덱스가 2개이면 루마 예측 모드는 3개의 그룹으로 분류되고, 특정 인덱스가 3개이면 루마 예측 모드는 4개의 그룹으로 분류될 수 있다. 이때, 특정 인덱스는 18(수평 방향), 34(대각 방향), 50(수직 방향)일 수 있다. 또한, 무방향성 예측 모드(예, DC 모드, 평면 모드)는 별도의 그룹으로 분류될 수 있다. glm 인덱스는 가변 길이 코드 방식을 사용하여 시그널링될 수 있다. 가변 길이 코드 방식은 할 수 있다. 상기 방식은 절단 단항 이진화(Truncated unary Binarization) 방식일 수 있다. glm 인덱스의 값이 커지게 되면 정보량이 증가하는 문제가 있다. 그러나, 상대적으로 낮은 인덱스의 발생 빈도가 높으면 적은 정보량으로 glm 인덱스를 시그널링할 수 있다. 표 1은 절단 단항 이진화의 구조를 나타낸다. 표 1을 참조하면 인덱스(v)의 값이 커질수록 정보량도 증가할 수 있다.
ii) 비디오 신호 처리 장치는 복수의 기울기 값을 획득하기 위한 필터들 각각에 대한 코스트(cost) 값을 계산하고, 코스트 값에 기초하여 필터들을 재정렬할 수 있다. 비디오 신호 처리 장치는 필터들에 대응되는 코스트 값을 오름 차순으로하여 필터들을 정렬할 수 있다. 코스트 값이 가장 작은 필터가 가장 작은 glm 인덱스에 매핑될 수 있다. 비디오 신호 처리 장치는 재정렬된 필터들 중 어느 하나를 지시하는 glm 인덱스를 시그널링/파싱할 수 있다. 코스트 값은 크로마 성분 참조 샘플들과 현재 블록의 경계에 위치하는 크로마 성분 예측 샘플들에 기초하여 계산될 수 있다. 현재 블록의 경계에 위치하는 크로마 성분 예측 샘플들은 특정 위치의 샘플들일 수 있다.
도 16은 GLM에 사용되는 15는 GLM에 사용되는 기울기 값을 획득하기 위한 필터를 나타낸 도면이다.
구체적으로, 도 16은 GLM에 사용될 수 있는 4개의 소벨 기반 기울기 패턴(Sobel based gradient pattern)들을 나타낸 도면이다. 각 필터의 중앙에 위치한 원은 필터링의 결과 값일 수 있다.
표 2는 GLM에 사용될 수 있는 16개의 소벨 기반 기울기 패턴의 필터 값을 나타낸다.
도 17, 18은 본 발명의 일 실시예에 따른 신택스 구조를 나타낸 도면이다.
구체적으로, 도 17은 시퀀스 파라미트 세트 RBSP에 포함되는 GLM 관련 신택스 요소(플래그)를 나타낸다. 도 17에서 GLM 관련 신택스 요소는 sps_glm_enabled_flag 일 수 있다.
sps_glm_enabled_flag는 기울기 선형 모델 인트라 예측(gradient linear model intra prediction)이 활성화되는지 여부를 나타낼 수 있다. sps_glm_enabled_flag의 값이 1이면 루마 성분으로부터 크로마 성분으로의 기울기 선형 모델 인트라 예측이 CLVS(Coded Layer Video Sequence)에 대해 활성화됨을 나타낸다. sps_glm_enabled_flag의 값이 0이면 루마 성분으로부터 크로마 성분으로의 기울기 선형 모델 인트라 예측이 CLVS(Coded Layer Video Sequence)에 대해 활성화되지 않음을 나타낸다. sps_glm_enabled_flag가 존재하지 않으면 sps_glm_enabled_flag의 값은 0으로 추론될 수 있다(sps_glm_enabled_flag equal to 1 specifies that the gradient linear model intra prediction from luma component to chroma component is enabled for the CLVS. sps_glm_enabled_flag equal to 0 specifies that the glm linear model intra prediction from luma component to chroma component is disabled for the CLVS. When sps_glm_enabled_flag is not present, it is inferred to be equal to 0).
시퀀스 파라미트 세트 RBSP에는 컨볼루젼 크로스-컴포넌트 인트라 예측 모델(Convolutional cross-component intra prediction model, CCCM)관련 신택스 요소가 포함될 수 있다. 도 17에서 CCCM 관련 신택스 요소는 sps_cccm_enabled_flag일 수 있다.
sps_cccm_enabled_flag는 CCCM이 활성화되는지 여부를 나타낼 수 있다. sps_cccm_enabled_flag의 값이 1이면 루마 성분으로부터 크로마 성분으로의 CCCM이 CLVS에 대해 활성화됨을 나타낸다. sps_cccm_enabled_flag의 값이 0이면 루마 성분으로부터 크로마 성분으로의 CCCM이 CLVS에 대해 활성화되지 않음을 나타낸다. sps_cccm_enabled_flag가 존재하지 않으면 sps_cccm_enabled_flag의 값은 0으로 추론될 수 있다(sps_cccm_enabled_flag equal to 1 specifies that the convolutional cross-component intra prediction model from luma component to chroma component is enabled for the CLVS. sps_cccm_enabled_flag equal to 0 specifies that the cccm intra prediction model from luma component to chroma component is disabled for the CLVS. When sps_cccm_enabled_flag is not present, it is inferred to be equal to 0).
이하에서 도 17을 참조하여 sps_glm_enabled_flag이 시그널링/파싱되는 방법에 대해 설명한다.
도 17(a)를 참조하면, sps_glm_enabled_flag는 sps_chroma_format_idc의 값이 0이 아닌 경우 파싱될 수 있다. sps_chroma_format_idc는 크로마 포맷을 나타내는 신택스 요소로, sps_chroma_format_idc의 값이 0이면 크로마 포맷이 monochrome임을 나타낼 수 있다. 즉, 크로마 포맷이 monochrome이 아닌 경우, sps_glm_enabled_flag는 파싱될 수 있다. 도 17(b)를 참조하면, sps_chroma_format_idc의 값이 0이 아니고, sps_cclm_enabled_flag의 값이 1인 경우(즉, 참인 경우) sps_glm_enabled_flag는 파싱될 수 있다. 즉, 크로마 포맷이 monochrome이 아니고, CCLM이 활성화된 경우, sps_glm_enabled_flag는 파싱될 수 있다.
도 17(a)에 따르면, CCLM과 GLM은 독립적으로 동작할 수 있고, 도 17(b)에 따르면, CCLM의 보완 수단으로 GLM이 사용될 수 있다. sps_cccm_enabled_flag도 도 17(a), (b)에서 설명한 조건에 따라 파싱될 수 있다.
도 18은 general_constraint_info() 신택스 구조를 나타낸다. 도 18을 참조하면 general_constraint_info() 신택스 구조에는 glm 관련 제약 신택스 요소(제약 플래그(constraint flag))가 포함될 수 있다. general_constraint_info() 신택스 구조는 profile_tier_level() 신택스 구조에서 호출될 수 있다. profile_tier_level() 신택스 구조는는 시퀀스 파라미터 세트 RBSP 신택스, 비디오 파라미터 세트 RBSP 신택스, Decoding capability information RBSP 신택스에서 호출될 수 있다. general_constraint_info() 신택스 구조에 포함되는 신택스 요소들은 시퀀스 파라미터 세트 RBSP에 포함되는 신택스 요소들을 제약할 수 있다. glm관련 제약 신택스 요소는 no_gci_glm_constraint_flag 일 수 있다.
no_gci_glm_constraint_flag는 sps_glm_enabled_flag의 값을 제약하는 신택스 요소일 수 있다. no_gci_glm_constraint_flag의 값이 1이면 OlsScope내에 존재하는 모든 픽쳐들에 대한 sps_glm_enabled_flag의 값은 0으로 제약될 수 있다. 즉, no_gci_glm_constraint_flag의 값이 1이면 루마 성분으로부터 크로마 성분으로의 기울기 선형 모델 인트라 예측이 CLVS에 대해 활성화되지 않도록 제약될 수 있다. no_gci_glm_constraint_flag의 값이 0이면 sps_glm_enabled_flag의 값은 제약되지 않을 수 있다(no_gci_glm_constraint_flag equal to 1 specifies that sps_glm_enabled_flag for all pictures in OlsInScope shall be equal to 0. gci_no_glm_constraint_flag equal to 0 does not impose such a constraint).
general_constraint_info() 신택스 구조에는 CCCM 관련 제약 신택스 요소가 포함될 수 있다. CCCM 관련 제약 신택스 요소는 no_gci_cccm_constraint_flag일 수 있다.
no_gci_cccm_constraint_flag는 sps_cccm_enabled_flag의 값을 제약하는 신택스 요소일 수 있다. no_gci_cccm_constraint_flag의 값이 1이면 OlsScope내에 존재하는 모든 픽쳐들에 대한 sps_cccm_enabled_flag의 값은 0으로 제약될 수 있다. 즉, no_gci_cccm_constraint_flag의 값이 1이면 루마 성분으로부터 크로마 성분으로의 CCCM이 CLVS에 대해 활성화되지 않도록 제약될 수 있다. no_gci_cccm_constraint_flag의 값이 0이면 sps_cccm_enabled_flag의 값은 제약되지 않을 수 있다(no_gci_cccm_constraint_flag equal to 1 specifies that sps_cccm_enabled_flag for all pictures in OlsInScope shall be equal to 0. gci_no_cccm_constraint_flag equal to 0 does not impose such a constraint).
도 19는 CCCM을 위한 샘플을 나타낸 도면이다.
CCCM은 현재 블록의 크로마 성분 샘플의 값을 획득하기 위한 방법 중 하나로, 여러 형태의 필터에 따라 상기 크로마 샘플에 대응되는 루마 성분 샘플과 상기 루마 성분 샘플의 주변 루마 성분 샘플을 이용하여 상기 크로마 샘플을 예측하는 방법일 수 있다. 즉, 비디오 신호 처리 장치는 현재 블록의 루마 성분의 샘플을 이용하여 상기 루마 성분의 샘플에 대응되는 크로마 성분의 샘플을 예측할 수 있다. 그리고, 비디오 신호 처리 장치는 예측한 크로마 성분의 샘플의 값을 이용하여 현재 블록을 복원할 수 있다.
도 19(a)는 본 발명의 일 실시예에 따른 현재 예측 블록(사선 빗금, 192)에 CCCM을 적용하기 위한 참조 샘플들(수직 빗금, 191)과 십자 모양의 필터가 적용될 때 필요한 사이드(side) 샘플(수평 빗금)들의 위치를 나타낸다. 현재 예측 블록(192)의 크기가 M(너비) x N(높이)이고, 루마 성분 샘플과 크로마 성분 샘플의 개수가 1:1일 때, 참조 샘플들(191)은 현재 예측 블록(192)의 너비의 2배의 크기로 상측 6줄의 2M x 6 크기의 참조 샘플 영역(191-1), 현재 예측 블록(192)의 높이의 2배의 크기로 좌측 6줄의 6 x 2N 크기의 참조 샘플 영역(191-2), 및 현재 예측 블록(192)의 좌-상단의 6 x 6 크기의 참조 샘플 영역(191-3)으로 구성될 수 있다. 즉, 현재 예측 블록(192)의 좌-상단 샘플의 좌표가 (0, 0)일 때, 191-1은 (X1, Y1)일 수 있고, 191-2는 (X2, Y2)일 수 있고, 191-3은 (X3, Y3)일 수 있다. 이때, X1은, 0 내지 2M-1의 값이고, Y1은 -1 내지 -6의 값이고, X2는, -1 내지 -6의 값이고, Y2는 0 내지 2N-1의 값이고, X3, Y3은 -1 내지 -6의 값일 수 있다.
도 19(b)는 본 발명의 일 실시예에 따른 십자 모양 패턴의 샘플을 나타낸다. 본 명세서에서 어떠한 모양 패턴의 샘플은 샘플 필터로 표현될 수 있다. 도 19(b)의 십자 모양 패턴의 샘플 필터가 CCCM에 사용되는 경우, 필터가 적용되는 영역이 참조 샘플 영역을 벗어나는 경우가 있을 수 있다. 참조 샘플 영역을 벗어나는 경우, 추가적으로 필요한 샘플이 사이드 샘플일 수 있다. 도 19(b)의 C 샘플의 위치에 따라 십자 모양 패턴의 샘플 필터가 적용될 때 참조 샘플 이외의 영역이 필요할 수 있다. 이때, 참조 샘플 이외의 영역이 사용 가능하지 않는 경우, 참조 샘플 이외의 영역의 값은 C 샘플의 값으로 패딩되어 사용될 수 있다. 도 19(b)의 C 샘플은 크로마 성분(Cb, Cr) 샘플에 대응되는 루마 샘플이고, N, E, S, W 샘플은 각각 C 샘플에 상, 우, 하, 좌로 인접한 위치의 샘플일 수 있다. CCCM은 크로마 성분 (즉, Cb 성분, Cr 성분)에 대해 각각 적용될 수 있다.
CCCM을 위한 십자 모양 패턴의 샘플 필터가 적용될 때, 크로마 성분 샘플의 예측 값(predChromaVal)은 수학식 10과 같이 계산될 수 있다.
수학식 10의 P 값은 비선형 항(nonlinear term)으로, ( C*C + midVal ) >> bitDepth 와 같이 계산될 수 있다. midValue는 컨텐츠 bitdepth의 중간 값일 수 있고, 각 크로마 성분의 평균 값일 수도 있다. bidDepth는 비트 심도를 의미할 수 있다. bitDepth가 10 비트인 컨텐츠에서 P 값은 (C*C + 512 ) >> 10 로 계산될 수 있다. B 값은 바이어스 항(Bias term)으로 정수 오프셋 값을 의미하고, bitDepth 컨텐츠의 중간 값일 수 있다. 10 비트 컨텐츠인 경우, B 값은 512일 수 있다. 또한, B 값은 크로마 성분 참조 샘플의 평균 값일 수 있다. 또한, B 값은 루마 성분 참조 샘플들의 평균 값과 각 크로마 성분 참조 샘플들의 평균 값의 (절대값) 차이일 수 있다. C, N, S, E, W는 도 19(b)의 위치에 따른 샘플의 값을 의미할 수 있다. 수학식 10의 계수(C0, C1, ..., C6)는 참조 샘플 영역의 루마 성분 샘플 값에 대한 autocorrelation matrix와 크로마 성분 샘플 값에 대한 cross-correlation vector의 MSE(Mean Square Error)값을 최소화하는 값일 수 있다. autocorrelation matrix는 LDL decomposition 또는 Cholesky decomposition을 이용하여 획득될 수 있다. 또한, 수학식 10의 계수(C0, C1, ..., C6)는 후진 대입법(back-substitution)을 사용하여 획득될 수 있다.
수학식 10의 C, N, S, E, W, P는 C', N', S', E', W', P'로 각각 대체될 수 있다. C', N', S', E', W', P'는 다음과 같이 계산될 수 있다.
C' = C - meanY, N' = N - meanY, S' = S - meanY, E' = E - meanY, W' = W - meanY, P' = P - meanNonlinY
meanY는 루마 성분 참조 샘플들의 평균 값일 수 있다. meanNonlinY는 다음과 같이 계산될 수 있다.
meanNonlinY = (meanY * meanY) >> bitdepth 또는 meanNonlinY = (meanY * meanY + bitdepth>>1) >> bitdepth
수학식 10은 수학식 11과 같이 변경될 수 있다.
수학식 11은 수학식 10의 C, N, S, E, W, P, B가 C', N', S', E', W', P', B'로 대체되고 meanChroma가 추가되는 형태일 수 있다. meanChroma는 크로마 성분 참조 샘플들의 평균 값일 수 있다. 수학식 11의 B'는 루마 성분 참조 샘플의 평균 값과 크로마 각 성분 참조 샘플의 평균 값의 (절대 값) 차이일 수 있다.
CCCM을 위해 사용되는 루마 샘플에 따라 수학식 11은 변형될 수 있다. 예를 들어, C, N, S, E, W 중 C, N, S, E만 사용되는 경우, W에 대응되는 항(c4W' )이 제외된 형태로 변형될 수 있다. 또한, B'가 제외된 형태로 변형될 수 있다.
또한, 수학식 11의 C', N', S', E', W'는 복수의 소벨 기반 기울기 패턴 중 어느 하나의 패턴(필터)에 따른 결과 값일 수 있다. 즉, 수학식 11의 C', N', S', E', W'는 기울기(Gradient) 값으로 대체될 수 있다.
또한 수학식 10의 P 값은 다음과 같이 변경될 수 있다.
i) P 값은 ( Cg*Cg + midVal ) >> bitDepth 따라 획득될 수 있다. Cg는 도 19(b)의 C 위치 샘플의 기울기 값일 수 있다. midVal은 bitDepth의 중간 값일 수 있고, bitDepth가 10비트인 컨텐츠에서는 midVal은 512일 수 있다. ii) P 값은 참조 샘플들의 기울기 값들의 평균 값일 수 있다. iii) P 값은 도 19(b)의 위치(C, N, E, S, W)의 기울기 값들의 평균 값일 수 있다. iv) P 값은 (meanG*meanG+bitDepth>>1)>>bitdepth에 따라 획득될 수 있다. meanG는 참조 샘플들의 기울기 값들의 평균 값일 수 있다.
이하 크로마 포맷이 4:2:2인 경우, 크로마 샘플의 개수와 루마 샘플의 개수를 1:1로 맞추기 위한 하향 표본화 과정에 대해 설명한다.
도 15를 통해 설명한 바와 같이, 크로마 샘플의 개수와 동일한 개수를 위해 루마 샘플들은 하향 표본화 필터(도 15(a))를 적용하여 변환될 수 있다.
수학식 12는 하향 표본화를 위해 사용되는 필터 기반 선형 모델(Filter-base Linear Model, FLM)이다.
수학식 12의 C는 예측될 크로마 성분 샘플의 값, Li는 예측될 크로마 성분 샘플 주변에 위치한 i번째 복원된 하향 표본화 된 루마 성분 샘플의 값,는 Li에 대응되는 계수 값으로, 상술한 수학식 10의 계수(C0, C1, ..., C6)를 구하는 방법을 사용하여 획득될 수 있다. 는 오프셋, N은 예측될 크로마 성분 샘플의 값 계산에 필요한 루마 성분 샘플의 개수 일 수 있다. N 값은 2 내지 6 사이의 정수로 2 또는 6일 수 있다. 수학식 12에서 복수의 소벨 기반 기울기 패턴 중 어느 하나의 패턴에 대한 결과 값인 기울기(Gradient) 값으로 대체될 수 있다.
도 20은 본 발명의 일 실시예에 따른 CCCM 필터의 패턴을 나타낸 도면이다.
CCCM을 위한 샘플은 도 19(b)의 패턴의 샘플에 더하여 도 20(a) 내지 도 20(e)의 패턴의 샘플일 수 있다. 즉, CCCM을 위한 필터에는 도 19(b)의 패턴의 샘플 필터에 더하여 도 20(a) 내지 도 20(e)의 패턴의 샘플 필터가 추가적으로 포함될 수 있다. 이하에서 각 패턴에 따라 크로마 성분 샘플의 예측 값(predChromaVal)을 획득하는 관계식에 대해 설명한다.
도 20(a)는 수평 모양 패턴의 샘플 필터를 나타낸다. 수평 모양 패턴의 관계식은 predChromaVal = c0C + c1W + c2E + c3P(C) + c4P(W) + c5P(E) + c6B 일 수 있다.
도 20(b)는 수직 모양 패턴의 샘플 필터를 나타낸다. 수직 모양 패턴의 관계식은 predChromaVal = c0C + c1N + c2S + c3P(C) + c4P(N) + c5P(S) + c6B 일 수 있다.
도 20(c)는 대각 모양 패턴의 샘플 필터를 나타낸다. 대각 모양 패턴의 관계식은 predChromaVal = c0C + c1WN + c2ES + c3P(C) + c4P(WN) + c5P(ES) + c6B 일 수 있다.
도 20(d)는 역대각 모양 패턴의 샘플 필터를 나타낸다. 역대각 모양 패턴의 관계식은 predChromaVal = c0C + c1WS + c2EN + c3P(C) + c4P(ES) + c5P(EN) + c6B 일 수 있다.
도 20(e)는 X자 모양 패턴의 샘플 필터를 나타낸다. 수직 모양 패턴의 관계식은 predChromaVal = c0C + c1WN + c2ES + c3EN + c4WS + c5P(C) + c6B 일 수 있다.
상기 관계식들에서 사용된 P(a)에서 a는 입력 값으로 표현될 수 있다. P 값은 입력 값(a)에 기초하여 획득될 수 있다. B 값은 수학식 10의 B 값 또는 수학식 11의 B' 값과 동일할 수 있다. P 값은 비선형 항으로 다음과 같이 획득될 수 있다.
P = ( 입력 값 * 입력 값 + midVal ) >> bitDepth, 10 비트 컨텐츠의 경우 midVal 값은 512일 수 있다. 또한, P = ( 입력 값 * 입력 값 + 512 ) >> 10 일 수 있다.
CCCM 필터의 각 패턴은 별도의 시그널링 없이 예측될 크로마 성분 샘플에 대응되는 루마 블록의 인트라 예측모드에 기초하여 결정(유도)될 수 있다.
도 21은 본 발명의 일 실시예에 따른 크로마 포맷이 4:2:0인 경우 크로마 성분 블록과 크로마 성분 블록에 대응되는 루마 성분 블록을 나타내 도면이다.
구체적으로 도 21은 크로마 포맷이 4:2:0인 경우 루마 성분 블록의 분할 구조와 크로마 성분 블록의 분할 구조를 나타낸다.
크로마 포맷이 4:2:2인 경우, 루마 성분 블록과 크로마 성분 블록 간 세로 방향의 크기는 1:1이고, 가로 방향의 크기는 2:1일 수 있다. 크로마 포맷이 4:4:4인 경우, 크로마 성분 블록과 루마 성분 블록의 크기는 1:1일 수 있다.
도 21의 크로마 성분 블록의 왼쪽 CU에 대응되는 루마 성분 블록은 TL, TR, BL, BR을 꼭지점으로 구성된 블록일 수 있다. 상술한 CCCM은 도 21의 크로마 성분 블록에 적용될 수 있다. 비디오 신호 처리 장치는 크로마 성분 블록을 통해 크로마 성분 블록에 대응되는 루마 성분 블록의 기 설정된 위치에서의 인트라 예측 모드를 유도할 수 있다. 기 설정된 위치에서의 인트라 예측 모드에 대한 정보가 없는 경우, 기 설정된 인트라 예측 모드로 설정될 수 있다. 이때, 기 설정된 인트라 예측 모드는 평면 모드 또는 DC 모드일 수 있다. 또한, 크로마 성분 블록의 인트라 예측 모드는 크로마 성분 블록의 주변 샘플들을 이용하는 DIMD 방식을 통해 유도될 수 있다.
도 22는 본 발명의 일 실시예에 따른 유도된 인트라 예측 모드에 기반하여 복수개의 CCCM 필터에 대응되는 필터를 유도하는 방법을 나타낸 도면이다.
도 22를 참조하면 기준 값들에 의해 구분되는 영역(Zone 1 내지 Zone 5)으로 인트라 예측 모드는 구분될 수 있다. 즉, 기준 값들에 의해 구분되는 영역에 대응되는 인트라 예측 모드들에는 대응되는 패턴의 샘플 필터가 적용될 수 있다. Zone 1은 기준 값1보다 작거나 같은 인덱스의 인트라 예측 모드들이 해당되고, Zone 2는 기준 값1보다 크고 기준 값2보다 작거나 같은 인덱스의 인트라 예측 모드들이 해당되고, Zone 3는 기준 값2보다 크고 기준 값3보다 작거나 같은 인덱스의 인트라 예측 모드들이 해당되고, Zone 4는 기준 값3보다 크고 기준 값4보다 작거나 같은 인덱스의 인트라 예측 모드들이 해당되고, Zone 5는 기준 값4보다 큰 인덱스의 인트라 예측 모드들이 해당될 수 있다. 평면 모드, DC 모드 및 인트라 예측 모드가 속한 Zone과 복수 개의 CCCM 샘플 필터들은 일대일 매핑(대응)될 수 있다. 이하에서 일대일 매핑(대응)관계에 대해 설명한다. 인트라 예측 모드와 CCCM 샘플 필터 간의 매핑 관계는 후술하는 매핑1 내지 매핑 5에 한정되지 않고 여러 방법으로 설정될 수 있다.
(매핑 1) i) PLANAR 모드에 대응되는 필터는 십자 모양 패턴의 샘플 필터일 수 있다. ii) DC 모드에 대응되는 필터는 X자 모양 패턴의 샘플 필터일 수 있다. iii) Zone1에 대응되는 필터는 역대각 모양 패턴의 샘플 필터일 수 있다. iv) Zone2에 대응되는 필터는 수평 모양 패턴의 샘플 필터일 수 있다. v) Zone3에 대응되는 필터는 대각 모양 패턴의 샘플 필터일 수 있다. vi) Zone4에 대응되는 필터는 수직 모양 패턴의 샘플 필터일 수 있다. vii) Zone5에 대응되는 필터는 대각 모양 패턴의 샘플 필터일 수 있다.
(매핑 2) i) PLANAR 모드와 DC 모드에 대응되는 필터는 십자 모양 패턴의 샘플 필터일 수 있다. ii) Zone1에 대응되는 필터는 역대각 모양 패턴의 샘플 필터일 수 있다. iii) Zone1의 확장 각도(wideAngle) 모드에 대응되는 필터는 X자 모양 패턴의 샘플 필터일 수 있다. iv) Zone2에 대응되는 필터는 수평 모양 패턴의 샘플 필터일 수 있다. v) Zone3에 대응되는 필터는 대각 모양 패턴의 샘플 필터일 수 있다. vi) Zone4에 대응되는 필터는 수직 모양 패턴의 샘플 필터일 수 있다. vii) Zone5에 대응되는 필터는 대각 모양 패턴의 샘플 필터일 수 있다. viii) Zone 5의 확장 각도 모드에 대응되는 필터는 X자 모양 패턴의 샘플 필터일 수 있다.
(매핑 3) i) PLANAR 모드와 DC 모드에 대응되는 필터는 X자 모양 패턴의 샘플 필터일 수 있다. ii) Zone1에 대응되는 필터는 역대각 모양 패턴의 샘플 필터일 수 있다. iii) Zone1의 확장 각도(wideAngle) 모드에 대응되는 필터는 십자 모양 패턴의 샘플 필터일 수 있다. iv) Zone2에 대응되는 필터는 수평 모양 패턴의 샘플 필터일 수 있다. v) Zone3에 대응되는 필터는 대각 모양 패턴의 샘플 필터일 수 있다. vi) Zone4에 대응되는 필터는 수직 모양 패턴의 샘플 필터일 수 있다. vii) Zone5에 대응되는 필터는 대각 모양 패턴의 샘플 필터일 수 있다. viii) Zone 5의 확장 각도 모드에 대응되는 필터는 십자 모양 패턴의 샘플 필터일 수 있다.
(매핑 4) i) PLANAR 모드와 DC 모드에 대응되는 필터는 십자 모양 패턴의 샘플 필터일 수 있다. ii) Zone1에 대응되는 필터는 역대각 모양 패턴의 샘플 필터일 수 있다. iii) Zone2에 대응되는 필터는 수평 모양 패턴의 샘플 필터일 수 있다. iv) Zone3에 대응되는 필터는 대각 모양 패턴의 샘플 필터일 수 있다. v) Zone4에 대응되는 필터는 수직 모양 패턴의 샘플 필터일 수 있다. vi) Zone5에 대응되는 필터는 대각 모양 패턴의 샘플 필터일 수 있다.
(매핑 5) i) PLANAR 모드와 DC 모드에 대응되는 필터는 X자 모양 패턴의 샘플 필터일 수 있다. ii) Zone1에 대응되는 필터는 역대각 모양 패턴의 샘플 필터일 수 있다. iii) Zone2에 대응되는 필터는 수평 모양 패턴의 샘플 필터일 수 있다. iv) Zone3에 대응되는 필터는 대각 모양 패턴의 샘플 필터일 수 있다. v) Zone4에 대응되는 필터는 수직 모양 패턴의 샘플 필터일 수 있다. vi) Zone5에 대응되는 필터는 대각 모양 패턴의 샘플 필터일 수 있다.
도 23은 본 발명의 일 실시예에 따른 CCCM 필터들의 예측 샘플들을 결합하여 최종 크로마 예측 샘플을 생성하는 방법을 나타낸 도면이다.
도 23을 참조하면 크로마 예측 샘플은 2개의 샘플 필터를 이용하여 획득될 수 있다. 즉, 비디오 신호 처리 장치는 상술한 6개의 패턴의 샘플 필터 중 일부를 이용하여 최종 크로마 예측 샘플을 획득할 수 있다. 이하 도 23을 참조하여, 비디오 신호 처리 장치가 6개의 패턴의 샘플 필터 중 2개의 샘플 필터를 이용하여 최종 크로마 예측 샘플을 획득하는 방법에 대해 설명한다.
비디오 신호 처리 장치는 십자 모양 패턴의 샘플 필터를 이용하여 획득되는 크로마 예측 샘플과 도 20을 통해 설명한 5개의 샘플 필터 중 어느 하나를 이용하여 획득되는 크로마 예측 샘플을 결합하여 최종 크로마 예측 샘플을 획득할 수 있다. 이때, 최종 크로마 예측 샘플은 수학식 13 또는 수학식 14를 통해 획득될 수 있다. 즉, 비디오 신호 처리 장치는 제1 샘플 필터를 이용하여 획득되는 제1 크로마 예측 샘플과 제2 샘플 필터를 이용하여 획득되는 제2 크로마 예측 샘플을 결합하여 최종 크로마 예측 샘플을 획득할 수 있고, 최종 크로마 예측 샘플에 기초하여 현재 블록을 예측(복원)할 수 있다.
수학식 13 및 14에서 A는 제1 샘플 필터에 의해 획득되는 제1 크로마 예측 샘플의 값이고, B는 제2 샘플 필터에 이해 획득되는 제2 크로마 예측 샘플의 값이고, W0는 결합 비율이고, C는 최종 크로마 예측 샘플의 값일 수 있다. 수학식 13에서 W0는 0 이상 1 이하의 값 또는 -1 이상 0 이하의 값으로, 0, 0.1, 0.2, ..., 1 또는 -1, -0.9, -0.8, ..., 0 일 수 있다. 수학식 14에서 shift 값은 2이고, W0는 제1 샘플 필터에 대한 제1 결합 비율, W1는 제2 샘플 필터에 대한 제2 결합 비율일 수 있다. 이때, (W0, W1)는 (1, 3), (3, 1), (2, 2)일 수 있다. 수학식 13, 14에서 제1 샘플 필터는 십자 모양 패턴의 샘플 필터일 수 있고, 제2 샘플 필터는 도 20을 통해 설명한 5개의 샘플 필터 중 어느 하나일 수 있다. 반대로, 제1 샘플 필터는 도 20을 통해 설명한 5개의 샘플 필터 중 어느 하나일 수 있고, 제2 샘플 필터는 십자 모양 패턴의 샘플 필터일 수 있다.
수학식 13, 14에서 2개의 필터가 사용되지만, 이에 한정되지 않고 3개 이상의 필터가 사용될 수 있다. 사용되는 필터의 개수는 미리 설정되어 있을 수 있고, 필터의 개수에 따라 결합 비율은 달라질 수 있다. 이하에서, CCCM 필터를 사용하는 방법에 대한 시그널링 방법을 설명한다.
방법 1: 크로마 예측 블록을 획득하기 위해 1개의 CCCM 필터만 사용하는 방법과 미리 정해진 2개의 필터를 결합하여 사용하는 방법이 있을 수 있다. 이때, 1개의 CCCM 필터만 사용하는지 여부에 대한 시그널링이 존재할 수 있다.
방법 2: 크로마 예측 블록을 획득하기 위해 미리 정해진 2개의 필터만 사용될 수 있다. 이때에는 2개의 필터에 대한 별도의 시그널링이 필요하지 않을 수 있다.
방법 3: 크로마 예측 블록을 획득하기 위해 1개의 CCCM 필터만 사용하는 방법과 복수 개의 미리 정해진 2개의 필터 결합을 사용하는 방법이 있을 수 있다. 이때, 1개의 CCCM 필터만 사용하는지 여부에 대한 시그널링이 존재할 수 있다. 또한, 복수 개의 미리 정해진 2개의 필터 결합 중 어떠한 필터 결합이 사용되어야 하는지에 대한 정보도 시그널링될 수 있다.
방법4: 크로마 예측 블록을 획득하기 위해 복수 개의 미리 정해진 필터 결합 방법이 사용될 수 있다. 어떠한 필터 결합이 사용될지에 대한 정보가 시그널링될 수 있다.
또한, 비디오 신호 처리 장치는 CCCM을 통해 예측된 샘플과 GLM으로 예측된 샘플을 결합하여 최종 예측 샘플을 획득할 수 있다. 비디오 신호 처리 장치는 CCCM과 CCLM을 결합하여 최종 예측 샘플을 획득할 수 있다. 비디오 신호 처리 장치는 CCLM과 GLM을 결합하여 최종 예측 샘플을 획득할 수 있다. 비디오 신호 처리 장치는 CCCM, GLM, CCLM 중 적어도 어느 하나와 인트라 예측 모드 중 어느 하나를 결합하여 최종 예측 샘플을 획득할 수 있다. 이때, 인트라 예측 모드는 크로마 DM 모드이거나 인덱스 0, 1, 18, 50 중 어느 하나의 인덱스에 대응되는 인트라 예측 모드이거나, 인덱스 0, 1, 18, 50, 66 중 어느 하나의 인덱스에 대응되는 인트라 예측 모드일 수 있다. 복수의 방법(CCCM, GLM, CCLM, 인트라 예측 모드 등)이 결합되어 최종 예측 샘플이 예측되는 경우, 각 방법마다 미리 정해진 결합 비율로 결합될 수 있다. 또는 현재 블록의 주변 블록에 CCCM 또는 GLM이 적용되는지 여부에 따라 결합 비율이 달라질 수 있다.
CCCLM 또는 GLM이 적용된 크로마 성분 블록은 MTS 또는 LFNST 또는 다양한 형태의 변환이 적용될 수 있다. CCCLM 또는 GLM이 적용된 크로마 성분 블록의 변환을 위해 기설정된 MTS 커널, LFNST 커널 등이 사용되거나 기 설정된 MTS 커널 세트 중 어느 하나의 커널이 코스트에 기초하여 결정되어 사용될 수 있다. 또한, CCCLM 또는 GLM이 적용된 크로마 성분 블록에 LFNST가 사용되는 경우, CCCLM 또는 GLM이 적용된 크로마 성분 블록의 변환을 위해 기 설정된 커널 세트 중 어느 하나의 커널이 사용될 수 있다. CCCLM 또는 GLM이 적용된 크로마 성분 블록의 변환을 위해 혹은 크로마 성분 블록의 예측 모드 또는 크로마 성분 블록에 대응되는 루마 성분 블록의 예측 모드에 기초하여 적응적 MTS 세트 또는 LFNST 변환 세트가 유도되어 사용될 수 있다.
유도된 인트라 예측 모드에 기초하여 복수 개의 CCCM 필터 중 사용되는 필터를 결정(유도)하는 방밥은 블록 단위로 적응적으로 수행될 수 있다. 인코더는 현재 블록의 예측을 위해 유도된 인트라 예측 모드에 기초한 복수 개의 CCCM 필터 중 사용되는 필터를 유도하는 방법이 사용되는지 여부에 대한 정보를 시그널링할 수 있다. 디코더는 해당 정보를 파싱하여 사용되는 CCCM 필터를 결정할 수 있다. 만일 디코더에서 현재 블록의 예측을 위해 유도된 인트라 예측 모드에 기초한 복수 개의 CCCM 필터 중 사용되는 필터를 유도하는 방법이 사용되지 않는 경우, 디코더는 어떠한 CCCM 필터가 사용되었는지를 나타내는 정보를 파싱하여 현재 블록의 예측을 위한 CCCM 필터를 결정할 수 있다.
도 24는 본 발명의 일 실시예에 따른 변환 커널의 종류를 나타낸 도면이다.
원본 신호와 화면간 예측 또는 화면내 예측을 통해 생성한 예측 신호의 차이 신호인 잔차 신호는 픽셀 도메인 전 영역에 에너지가 분산되어 있으므로, 잔차 신호의 픽셀 값 자체를 부호화할 경우, 압축 효율이 떨어지는 문제가 발생한다. 따라서 픽셀 도메인의 잔차 신호를 변환 부호화를 통해 주파수 도메인의 저주파 영역으로 에너지를 집중시키는 과정이 필요하다.
HEVC (high efficiency video coding) 표준에서는 신호가 픽셀 도메인에서 고르게 분포하는 경우(이웃하는 픽셀 값이 유사한 경우)에 효율적인 DCT-II (discrete cosine transform type-II)를 대부분 사용하고, 화면내 예측된 4x4 블록에만 DST-VII (discrete sine transform type-VII)을 한정적으로 사용하여 픽셀 도메인의 잔차 신호를 주파수 영역으로 변환하였다. DCT-II 변환의 경우, 화면간 예측을 통해 생성한 잔차 신호 (픽셀 도메인에서 에너지가 고르게 분포하는 경우)에 적합할 수 있으나, 화면내 예측을 통해 생성한 잔차 신호의 경우, 현재 부호화 유닛 주변의 복원된 참조 샘플을 사용하여 예측하는 화면내 예측의 특성 상, 참조 샘플과 멀어질수록 잔차 신호의 에너지가 증가하는 경향을 보일 수 있으므로 DCT-II 변환만을 사용하는 경우, 높은 부호화 효율을 달성할 수 없다.
MTS (multiple transform selection)은 예측 방법에 따라 여러 개의 기 설정된 변환 커널 중 적응적으로 변환 커널을 선택하는 변환 기법으로, 어떤 예측 방법을 사용하였는지에 따라 잔차 신호의 픽셀 도메인에서의 패턴 (수평 방향으로 신호의 특성, 수직 방향으로 신호의 특성)이 달라지기 때문에, 단순히 DCT-II만을 사용했을 때 보다 높은 부호화 효율을 기대할 수 있다. 도 24는 MTS에서 사용하는 변환 커널의 정의를 도시한 도면으로, MTS에 적용되는 DCT-II, DCT-V (discrete cosine transform type-V), DCT-VIII (discrete cosine transform type-VIII), DST-I (discrete sine transform type-I), DST-VII 커널의 수식을 나타낸 것이다. DCT와 DST는 각각 cosine, sine의 함수로 표현이 가능하며, 샘플 수 N에 대한 변환 커널의 기저 함수를 Ti(j)로 표현할 경우, 인덱스 i는 주파수 도메인에서의 인덱스를 나타내며, 인덱스 j는 기저 함수 내의 인덱스를 나타낸다. 즉, i가 작아질수록 저주파 기저 함수를 나타내며, i가 커질수록 고주파 기저 함수를 나타낸다. 기저 함수 Ti(j)는 2차원 행렬로 표현했을 때, i 번째 행의 j 번째 요소를 나타낼 수 있으며, 도 26에 도시한 변환 커널은 모두 분리 가능한 특성을 가지고 있으므로, 잔차 신호 X에 대하여 가로 방향과 세로 방향에 각각 변환을 수행할 수 있다. 즉, 잔차 신호 블록을 X라 하고, 변환 커널 행렬을 T라 했을 때, 잔차 신호 X에 대한 변환은 TXT'으로 나타낼 수 있다. 이때, T'는 변환 커널 행렬 T의 전치행렬 (transpose)를 의미한다.
DCT와 DST는 정수가 아닌 소수 형태이므로, 이를 그대로 하드웨어 부호화기, 복호화기에 구현하기에는 부담이 따른다. 따라서 소수 형태의 변환 커널에 scaling과 rounding을 통해 정수 형태의 변환 커널로 근사화 시켜야 한다. 변환 커널의 정수 정밀도는 8-bit 또는 10-bit로 결정될 수 있으나, 정밀도가 떨어질 경우, 부호화 효율이 감소할 수 있다. 근사화에 따라 DCT와 DST의 정규 직교 (orthonormal) 성질은 유지되지 않을 수 있으나, 이에 따른 부호화 효율 손실이 크지 않으므로, 변환 커널을 정수 형태로 근사화 시키는 것이 하드웨어 부호화기, 복호화기 구현 측면에서 유리하다.
IDTR(Identity Transform)은 변환의 결과가 변환 전의 자기 자신이 나오는 변환으로, 항등 변환이라고 한다. 일반적으로 항등 변환은 행과 열이 동일한 값을 가지는 위치에 '1'이 설정된 변환 매트릭스가 사용될 수 있다. 하지만, 여기서 항등 변환은 '1'값이 아닌 임의의 고정된 값을 사용하여, 입력된 잔차 신호의 값을 동일하게 높이거나 줄이는데 사용한다.
도 25는 본 발명의 일 실시예에 따른 잔차 신호의 복원 과정을 나타낸 도면이다.
원본 신호와 예측 신호의 차이인 잔차 신호는 예측 방법에 따라 신호의 에너지 분포가 변하는 특성을 보이므로, 변환 커널이 MTS와 같이 예측 방법에 따라 적응적으로 선택되는 경우 부호화 효율이 향상될 수 있다. 또한, MTS 또는 DCT-II 커널만을 사용하는 변환을 1차 변환이라고 하였을 때, 비디오 신호 처리 장치는 1차 변환된 계수 블록에 추가적으로 2차 변환 (LFNST: Low Frequency Non-separable Transform)을 수행하여 부호화 효율을 향상시킬 수도 있다. 이러한 2차 변환은 특히 잔차 신호 블록의 수평 또는 수직 방향이 아닌 방향으로 강한 에너지가 존재할 가능성이 높은 화면내 예측된 잔차 신호 블록에 대한 에너지 압축(energy compaction)면에서 효율적일 수 있다. 도 25는 2차 변환을 수행하는 복호화기에서 잔차 신호를 복원하는 과정을 도시한 블록도이다. 먼저, 비디오 신호 처리 장치는 비트스트림으로부터 잔차 신호와 관련된 신택스 요소를 파싱하고 역 이진화를 통해 양자화 계수를 복원한다. 비디오 신호 처리 장치는 복원된 양자화 계수에 역 양자화를 수행하여 변환 계수를 획득할 수 있으며, 변환 계수에 역 변환을 수행하여 잔차 신호 블록을 복원할 수 있다. 역 변환은 변환 생략 (Transform Skip, TS)이 적용되지 않는 블록에 적용될 수 있으며, 역 변환은 복호화기에서 2차 역 변환, 1차 역 변환 순으로 수행될 수 있다. 이때, 2차 역 변환은 생략될 수도 있으며, 2차 역 변환이 생략될 수 있는 조건은 화면간 예측된 블록일 수 있다. 또는 블록 크기 조건에 따라 2차 역 변환이 생략될 수 있다. 복원된 잔차 신호는 양자화 오차가 포함된 것으로, 2차 변환은 잔차 신호의 에너지 분포를 변화시킴으로써 1차 변환만을 수행했을 때보다 양자화 오차를 줄일 수 있다.
도 26은 본 발명의 일 실시예에 따른 LFNST를 적용하는 방법을 나타낸 도면이다.
도 26을 참조하면 인코더는 먼저 잔차 신호 블록에 대하여 1차 변환 (Forward Primary Transform)을 수행하여 1차 변환된 계수 블록을 얻을 수 있다. 1차 변환된 계수 블록의 크기가 M x N이면, 인코더는 min(M,N)의 값이 16인 인트라 예측된 블록에 대하여, 1차 변환된 계수 블록의 좌-상단 ROI 영역의 샘플들에 32x96 2차 변환 (LFNST)을 수행할 수 있다. 인코더는 Min(M,N)의 값이 8 이상인 인트라 예측된 블록에 대해, 1차 변환된 계수 블록의 좌-상단 ROI 영역의 샘플들에 2차 변환을 수행할 수 있다.
2차 변환된 계수들을 포함하는 전체 변환 유닛 크기의 변환 계수들 은 양자화 (Quantization) 이후, 비트스트림에 포함되어 전송될 수 있다. 비트스트 림은 2차 변환과 관련된 신택스 요소를 포함할 수 있다. 구체적으로, 비트스트림은 현재 블록에 2차 변환이 적용되는지의 여부와 변환 커널을 지시하는 정보를 포함할 수 있다.
디코더는 먼저, 비트스트림으로부터 양자화된 변환 계수들을 파싱할 수 있고, 역-양자화 (De-quantization)를 통해 변환 계수들을 획득할 수 있다. 디코더는 2차 변환과 관련된 신택스 요소에 기초하여 현재 블록에 역 2차 변환 (Inverse LFNST)이 수행되는지 여부를 결정할 수 있다. 현재 변환 유닛에 역 2차 변환이 적용되는 경우, 변환 유닛의 사이즈에 따라 16개 또는 32개의 변환 계수가 역 2차 변환의 입력이 될 수 있으며, 이는 인코더의 2차 변환에서 출력되는 계수의 개수와 일치할 수 있다. 디코더는 벡터화된 변환 계수와 역 2차 변환 커널 매트릭스의 곱을 통해 1차 변환된 계수를 획득할 수 있으며, 역 2차 변환 커널은 변환 유닛의 사이즈, 인트라 모드, 변환 커널을 지시하는 신택스 요소에 따라 결정될 수 있다. 역 2차 변환 커 널 행렬은 2차 변환 커널 행렬의 전치 행렬일 수 있으며, 구현의 복잡도를 고려하 여 커널 행렬의 원소는 10-bit 또는 8-bit 정확도로 표현되는 정수일 수 있다. 역 2차 변환을 통해 획득한 1차 변환 계수는 벡터 형태이므로, 이를 다시 2차원 형태의 데이터로 표현할 수 있으며, 이는 인트라 모드에 의존적일 수 있다. 인코더에서 적용한 인트라 모드에 기반하는 매핑 관계를 동일하게 적용할 수 있다.
역 2차 변환을 수행하여 획득한 변환 계수를 포함하는 전체 변환 유닛 사이즈의 변환 계수 블록에 대하여 역 1차 변환 (Inverse Primary Transform)을 수행하여 잔차 신호를 획득할 수 있다. 역 2차 변환, 역 1차 변환 각각의 과정 사이에 비트 쉬프트 연산을 이용한 스케일링 과정이 포함될 수도 있다.
도 27은 본 발명의 일 실시예에 따른 인트라 예측 모드 별 LFNST 세트를 나타낸 도면이다.
변환 블록에 적용되는 LFNST 세트는 인트라 예측 모드별로 다를 수 있다. 하나의 세트에는 복수개의 LFNST 커널들이 있을 수 있다. LFNST 세트 별 커널 후보의 개수는 4개 일 수 있다. LFNST 세트는 35가지의 세트일 수 있고, 각 세트는 인덱스 0 부터 34까지 각각에 매핑될 수 있다. 확장 각도 모드에 해당하는 인트라 예측 모드 인덱스 [-14 내지 -1], [67 내지 80]는 LFNST 세트 인덱스 2에 매핑될 수 있다.
도 28은 본 발명의 일 실시예에 따른 크로마 샘플의 예측 값을 획득하는 방법을 나타낸다.
도 28은 도 1 내지 도 27을 통해 설명한 루마 샘플을 통해 루마 샘플과 대응되는 크로마 샘플을 예측하고, 예측된 크로마 샘플을 이용하여 현재 블록을 복원하는 방법을 나타낸다.
도 28을 참조하면, 비디오 신호 처리 장치는 현재 블록의 루마 성분의 샘플에 기초하여 상기 루마 성분의 샘플에 대응되는 크로마 성분의 샘플을 예측할 수 있다 (S2810). 비디오 신호 처리 장치는 상기 크로마 성분의 샘플의 예측 값에 기초하여 상기 현재 블록을 예측할 수 있다(S2820). 상기 크로마 성분의 샘플의 예측 값은 선형 수학식(Linear equation)을 이용하여 획득될 수 있다. 상기 선형 수학식은 상기 루마 성분의 샘플의 그래디언트(Gradient) 값에 대한 항을 포함할 수 있다.
상기 선형 수학식은 상기 루마 성분의 샘플의 값에 대한 항을 포함할 수 있다.
상기 선형 수학식은 소벨 기반 기울기 패턴(sobel based gradient pattern)의 필터의 값에 대한 항을 포함할 수 있다. 상기 선형 수학식은 비-선형 항을 포함할 수 있다. 상기 선형 수학식은 7개의 항을 포함할 수 있다. 상기 선형 수학식은 비트 심도(bitDepth)의 중간 값에 대한 항을 포함할 수 있다. 상기 선형 수학식은 상기 루마 성분의 샘플의 주변 루마 성분의 샘플의 값에 대한 항을 포함할 수 있다. 이때, 상기 주변 루마 성분의 샘플의 값에 대한 항은 상기 소벨 기반 기울기 패턴(sobel based gradient pattern)의 필터에 기초하여 획득될 수 있다.
상기 주변 루마 성분의 샘플은 도 19 및 도 20에서 설명한 패턴의 샘플일 수 있다. 상기 주변 루마 성분의 샘플은 상기 루마 성분의 샘플의 상측에 인접한 루마 성분의 샘플, 좌측에 인접한 루마 성분의 샘플, 우측에 인접한 루마 성분의 샘플 및 하측에 인접한 루마 성분의 샘플을 포함할 수 있다. 상기 주변 루마 성분의 샘플은 상기 루마 성분의 샘플의 좌측에 인접한 루마 성분의 샘플 및 우측에 인접한 루마 성분의 샘플을 포함할 수 있다. 상기 주변 루마 성분의 샘플은 상기 루마 성분의 샘플의 상측에 인접한 루마 성분의 샘플 및 하측에 인접한 루마 성분의 샘플을 포함할 수 있다. 상기 주변 루마 성분의 샘플은 상기 루마 성분의 샘플의 좌-상측에 인접한 루마 성분의 샘플 및 우-하측에 인접한 루마 성분의 샘플을 포함할 수 있다. 상기 주변 루마 성분의 샘플은 상기 루마 성분의 샘플의 우-상측에 인접한 루마 성분의 샘플 및 좌-하측에 인접한 루마 성분의 샘플을 포함할 수 있다. 상기 주변 루마 성분의 샘플은 상기 루마 성분의 샘플의 좌-상측에 인접한 루마 성분의 샘플, 우-상측에 인접한 루마 성분의 샘플, 좌-하측에 인접한 루마 성분의 샘플 및 우-하측에 인접한 루마 성분의 샘플을 포함할 수 있다.
본 명세서에서 상술한 방법들은 디코더 또는 인코더의 프로세서를 통해 수행될 수 있다. 또한, 인코더는 상술한 방법들에 의해 디코딩되는 비트스트림을 생성할 수 있다. 또한, 인코더가 생성한 비트스트림은 컴퓨터 판독 가능한 비 일시적 저장 매체(기록 매체)에 저장될 수 있다.
본 명세서는 주로 디코더 관점에서 기술되었으나 인코더에서도 동일하게 동작될 수 있다. 본 명세서의 파싱이라는 용어는 비트스트림으로부터 정보를 획득하는 과정을 중점으로하여 설명되었으나 인코더 측면에서는 비트스트림에 해당 정보를 구성하는 것으로 해석될 수 있다. 따라서 파싱이라는 용어는 디코더 동작으로만 한정되지 않고 인코더에서는 비트스트림을 구성하는 행위로까지 해석될 수 있다. 또한, 이러한 비트스트림은 컴퓨터 판독 가능한 기록 매체에 저장되어 구성될 수 있다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 프로세서의 내부 또는 외부에 위치할 수 있으며, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고받을 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아는 것으로 해석해야 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (20)
- 비디오 신호 디코딩 장치에 있어서,프로세서를 포함하며,상기 프로세서는,현재 블록의 루마 성분의 샘플에 기초하여 상기 루마 성분의 샘플에 대응되는 크로마 성분의 샘플을 예측하고,상기 크로마 성분의 샘플의 예측 값에 기초하여 상기 현재 블록을 예측하고,상기 크로마 성분의 샘플의 예측 값은 선형 수학식(Linear equation)을 이용하여 획득되고,상기 선형 수학식은 상기 루마 성분의 샘플의 그래디언트(Gradient) 값에 대한 항을 포함하는, 디코딩 장치.
- 제 1항에 있어서,상기 선형 수학식은 상기 루마 성분의 샘플의 값에 대한 항을 포함하는, 디코딩 장치.
- 제 1항에 있어서,상기 선형 수학식은 소벨 기반 기울기 패턴(sobel based gradient pattern)의 필터의 값에 대한 항을 포함하는, 디코딩 장치.
- 제 1항에 있어서,상기 선형 수학식은 비-선형 항을 포함하는, 디코딩 장치.
- 제 1항에 있어서,상기 선형 수학식은 7개의 항을 포함하는, 디코딩 장치.
- 제 1항에 있어서,상기 선형 수학식은 비트 심도(bitDepth)의 중간 값에 대한 항을 포함하는, 디코딩 장치.
- 제 3항에 있어서,상기 선형 수학식은 상기 루마 성분의 샘플의 주변 루마 성분의 샘플의 값에 대한 항을 포함하는, 디코딩 장치.
- 제 7항에 있어서,상기 주변 루마 성분의 샘플은 상기 루마 성분의 샘플의 상측에 인접한 루마 성분의 샘플, 좌측에 인접한 루마 성분의 샘플, 우측에 인접한 루마 성분의 샘플 및 하측에 인접한 루마 성분의 샘플을 포함하는, 디코딩 장치.
- 제 7항에 있어서,상기 주변 루마 성분의 샘플은 상기 루마 성분의 샘플의 좌측에 인접한 루마 성분의 샘플 및 우측에 인접한 루마 성분의 샘플을 포함하는, 디코딩 장치.
- 제 7항에 있어서,상기 주변 루마 성분의 샘플은 상기 루마 성분의 샘플의 상측에 인접한 루마 성분의 샘플 및 하측에 인접한 루마 성분의 샘플을 포함하는, 디코딩 장치.
- 제 7항에 있어서,상기 주변 루마 성분의 샘플은 상기 루마 성분의 샘플의 좌-상측에 인접한 루마 성분의 샘플 및 우-하측에 인접한 루마 성분의 샘플을 포함하는, 디코딩 장치.
- 제 7항에 있어서,상기 주변 루마 성분의 샘플은 상기 루마 성분의 샘플의 우-상측에 인접한 루마 성분의 샘플 및 좌-하측에 인접한 루마 성분의 샘플을 포함하는, 디코딩 장치.
- 제 7항에 있어서,상기 주변 루마 성분의 샘플은 상기 루마 성분의 샘플의 좌-상측에 인접한 루마 성분의 샘플, 우-상측에 인접한 루마 성분의 샘플, 좌-하측에 인접한 루마 성분의 샘플 및 우-하측에 인접한 루마 성분의 샘플을 포함하는, 디코딩 장치.
- 비디오 신호 인코딩 장치에 있어서,프로세서를 포함하며,상기 프로세서는,디코딩 방법에 의해 디코딩되는 비트스트림을 획득하고,상기 디코딩 방법은,현재 블록의 루마 성분의 샘플에 기초하여 상기 루마 성분의 샘플에 대응되는 크로마 성분의 샘플을 예측하는 단계;상기 크로마 성분의 샘플의 예측 값에 기초하여 상기 현재 블록을 예측하는 단계를 포함하고,상기 크로마 성분의 샘플의 예측 값은 선형 수학식(Linear equation)을 이용하여 획득되고,상기 선형 수학식은 상기 루마 성분의 샘플의 그래디언트(Gradient) 값에 대한 항을 포함하는, 인코딩 장치.
- 제 14항에 있어서,상기 선형 수학식은 상기 루마 성분의 샘플의 값에 대한 항을 포함하는, 인코딩 장치.
- 제 14항에 있어서,상기 선형 수학식은 소벨 기반 기울기 패턴(sobel based gradient pattern)의 필터의 값에 대한 항을 포함하는, 인코딩 장치.
- 제 14항에 있어서,상기 선형 수학식은 비트 심도(bitDepth)의 중간 값에 대한 항을 포함하는, 인코딩 장치.
- 제 16항에 있어서,상기 선형 수학식은 상기 루마 성분의 샘플의 주변 루마 성분의 샘플의 값에 대한 항을 포함하는, 인코딩 장치.
- 제 18항에 있어서,상기 주변 루마 성분의 샘플은 상기 루마 성분의 샘플의 상측에 인접한 루마 성분의 샘플, 좌측에 인접한 루마 성분의 샘플, 우측에 인접한 루마 성분의 샘플 및 하측에 인접한 루마 성분의 샘플을 포함하는, 인코딩 장치.
- 비트스트림을 저장하는 컴퓨터 판독 가능한 비 일시적 저장 매체에 있어서, 상기 비트스트림은 디코딩 방법에 의해 디코딩되고,상기 디코딩 방법은,현재 블록의 루마 성분의 샘플에 기초하여 상기 루마 성분의 샘플에 대응되는 크로마 성분의 샘플을 예측하는 단계;상기 크로마 성분의 샘플의 예측 값에 기초하여 상기 현재 블록을 예측하는 단계를 포함하고,상기 크로마 성분의 샘플의 예측 값은 선형 수학식(Linear equation)을 이용하여 획득되고,상기 선형 수학식은 상기 루마 성분의 샘플의 그래디언트(Gradient) 값에 대한 항을 포함하는, 비 일시적 저장 매체.
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2022-0084057 | 2022-07-07 | ||
KR20220084057 | 2022-07-07 | ||
KR10-2022-0086574 | 2022-07-13 | ||
KR20220086574 | 2022-07-13 | ||
KR10-2022-0138759 | 2022-10-25 | ||
KR20220138759 | 2022-10-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024010430A1 true WO2024010430A1 (ko) | 2024-01-11 |
Family
ID=89453813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2023/009711 WO2024010430A1 (ko) | 2022-07-07 | 2023-07-07 | 선형 모델을 이용한 비디오 신호 처리 방법 및 이를 위한 장치 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024010430A1 (ko) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200123809A (ko) * | 2018-02-23 | 2020-10-30 | 캐논 가부시끼가이샤 | 선형 컴포넌트 샘플 예측을 위한 새로운 샘플 세트들 및 새로운 다운-샘플링 방식들 |
KR20210096672A (ko) * | 2018-12-07 | 2021-08-05 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 교차-컴포넌트 선형 모델 파라미터들의 계산을 위한 견고성을 향상시키기 위한 인코더, 디코더 및 방법들 |
-
2023
- 2023-07-07 WO PCT/KR2023/009711 patent/WO2024010430A1/ko unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200123809A (ko) * | 2018-02-23 | 2020-10-30 | 캐논 가부시끼가이샤 | 선형 컴포넌트 샘플 예측을 위한 새로운 샘플 세트들 및 새로운 다운-샘플링 방식들 |
KR20210096672A (ko) * | 2018-12-07 | 2021-08-05 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 교차-컴포넌트 선형 모델 파라미터들의 계산을 위한 견고성을 향상시키기 위한 인코더, 디코더 및 방법들 |
Non-Patent Citations (3)
Title |
---|
C.-W. KUO (KWAI), X. XIU, N. YAN, H.-J. JHU, W. CHEN, H. GAO, X. WANG (KWAI): "AHG12: Enhanced CCLM", 26. JVET MEETING; 20220420 - 20220429; TELECONFERENCE; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), 25 April 2022 (2022-04-25), XP030301030 * |
P. ASTOLA, J. LAINEMA, R. G. YOUVALARI, A. AMINLOU, K. PANUSOPONE (NOKIA): "AHG12: Convolutional cross-component model (CCCM) for intra prediction", 26. JVET MEETING; 20220420 - 20220429; TELECONFERENCE; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), 13 April 2022 (2022-04-13), XP030300831 * |
X. LI (ALIBABA-INC), Y. YE (ALIBABA-INC), R.-L. LIAO (ALIBABA-INC), J. CHEN (ALIBABA): "EE2-related: CCLM with non-linear term", 27. JVET MEETING; 20220713 - 20220722; TELECONFERENCE; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), 6 July 2022 (2022-07-06), XP030302896 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021015523A1 (ko) | 비디오 신호 처리 방법 및 장치 | |
WO2017222325A1 (ko) | 비디오 신호 처리 방법 및 장치 | |
WO2017043949A1 (ko) | 비디오 신호 처리 방법 및 장치 | |
WO2019117634A1 (ko) | 2차 변환에 기반한 영상 코딩 방법 및 그 장치 | |
WO2018062788A1 (ko) | 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 | |
WO2019066524A1 (ko) | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 | |
WO2018066958A1 (ko) | 비디오 신호 처리 방법 및 장치 | |
WO2018044089A1 (ko) | 비디오 신호 처리 방법 및 장치 | |
WO2018105759A1 (ko) | 영상 부호화/복호화 방법 및 이를 위한 장치 | |
WO2018056701A1 (ko) | 비디오 신호 처리 방법 및 장치 | |
WO2018062950A1 (ko) | 영상 처리 방법 및 이를 위한 장치 | |
WO2020076142A1 (ko) | 교차성분 선형 모델을 이용한 비디오 신호 처리 방법 및 장치 | |
WO2017030270A1 (ko) | 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 | |
WO2021118309A1 (ko) | 비디오 신호 처리 방법 및 장치 | |
WO2024010430A1 (ko) | 선형 모델을 이용한 비디오 신호 처리 방법 및 이를 위한 장치 | |
WO2017043730A1 (ko) | 영상의 부호화/복호화 방법 및 이를 위한 장치 | |
WO2023055220A1 (ko) | 참조 픽쳐를 기초로 인트라 예측 모드를 결정하는 비디오 신호 처리 방법 및 이를 위한 장치 | |
WO2024058637A1 (ko) | 비디오 신호 처리 방법 및 이를 위한 장치 | |
WO2024053987A1 (ko) | 기하학적 분할을 이용하는 비디오 신호 처리 방법 및 이를 위한 장치 | |
WO2023080691A1 (ko) | 비디오 신호 처리 방법 및 이를 위한 장치 | |
WO2024085656A1 (ko) | 비디오 신호 처리 방법 및 이를 위한 장치 | |
WO2023033617A1 (ko) | Lic(local illumination compensation) 모드를 이용한 비디오 신호 처리 방법 및 이를 위한 장치 | |
WO2023182781A1 (ko) | 템플릿 매칭에 기초한 비디오 신호 처리 방법 및 이를 위한 장치 | |
WO2023140635A1 (ko) | 경계 밖 블록을 이용하는 비디오 신호 처리 방법 및 이를 위한 장치 | |
WO2024039209A1 (ko) | 비디오 신호 처리 방법 및 이를 위한 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23835896 Country of ref document: EP Kind code of ref document: A1 |