WO2012070857A2 - 영상 정보의 시그널링 방법 및 이를 이용한 영상 정보의 복호화 방법 - Google Patents

영상 정보의 시그널링 방법 및 이를 이용한 영상 정보의 복호화 방법 Download PDF

Info

Publication number
WO2012070857A2
WO2012070857A2 PCT/KR2011/008949 KR2011008949W WO2012070857A2 WO 2012070857 A2 WO2012070857 A2 WO 2012070857A2 KR 2011008949 W KR2011008949 W KR 2011008949W WO 2012070857 A2 WO2012070857 A2 WO 2012070857A2
Authority
WO
WIPO (PCT)
Prior art keywords
mode
prediction
information
current block
merge
Prior art date
Application number
PCT/KR2011/008949
Other languages
English (en)
French (fr)
Other versions
WO2012070857A3 (ko
Inventor
임재현
박승욱
김정선
전용준
박준영
전병문
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EP23217279.1A priority Critical patent/EP4319166A3/en
Priority to JP2013540890A priority patent/JP6006226B2/ja
Priority to KR1020147017420A priority patent/KR101783824B1/ko
Priority to HUE19191494A priority patent/HUE056945T2/hu
Priority to ES11843220T priority patent/ES2765023T3/es
Priority to EP19191494.4A priority patent/EP3595303B1/en
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP21188381.4A priority patent/EP3923579B1/en
Priority to PL19191494T priority patent/PL3595303T3/pl
Priority to KR1020177027224A priority patent/KR101872178B1/ko
Priority to KR1020147006402A priority patent/KR101478959B1/ko
Priority to DK11843220.2T priority patent/DK2645715T3/da
Priority to MX2013005754A priority patent/MX2013005754A/es
Priority to KR1020197033743A priority patent/KR102146117B1/ko
Priority to EP22208097.0A priority patent/EP4156684B1/en
Priority to PL11843220T priority patent/PL2645715T3/pl
Priority to CN201180056699.8A priority patent/CN103229507B/zh
Priority to KR1020197014309A priority patent/KR102047507B1/ko
Priority to KR1020227005976A priority patent/KR102483459B1/ko
Priority to EP11843220.2A priority patent/EP2645715B1/en
Priority to KR1020137002967A priority patent/KR101505755B1/ko
Priority to KR1020207023364A priority patent/KR102257335B1/ko
Priority to KR1020217015403A priority patent/KR102367972B1/ko
Priority to KR1020187017567A priority patent/KR101981711B1/ko
Publication of WO2012070857A2 publication Critical patent/WO2012070857A2/ko
Publication of WO2012070857A3 publication Critical patent/WO2012070857A3/ko
Priority to US13/753,850 priority patent/US9661324B2/en
Priority to US15/601,573 priority patent/US10080021B2/en
Priority to US16/133,204 priority patent/US10687063B2/en
Priority to US16/882,045 priority patent/US10972736B2/en
Priority to US17/190,146 priority patent/US11284081B2/en
Priority to US17/681,661 priority patent/US20220182640A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Definitions

  • the present invention relates to image information compression technology, and more particularly, to a signaling method of information about a prediction mode and a decoding method of image information using the same.
  • High-efficiency image compression technology can be used to effectively transmit, store, and reproduce high-resolution, high-quality video information.
  • inter prediction and intra prediction may be used.
  • the pixel value of the current picture is predicted by referring to information of another picture
  • the intra prediction method the pixel value is used by using the correlation between pixels in the same picture. To predict.
  • CABAC Context-based Adaptive Binary Arithmetic Coding
  • CAVLC Context-based Adaptive Variable Length Coding
  • CABAC selects a probability model for each syntax element according to the context, changes the probability of the probability model through internal statistics, and performs compression using arithmetic coding.
  • CAVLC Variable Length Coding
  • An object of the present invention is to provide a signaling method and apparatus that can reduce transmission overhead.
  • An object of the present invention is to provide a method and apparatus for signaling information about a prediction type applied to a current block through joint coding.
  • Another object of the present invention is to provide a method and apparatus for determining a signaling order in consideration of occurrence frequency for each prediction type.
  • Another object of the present invention is to provide a method and apparatus for allocating a codeword for a prediction type in consideration of the occurrence frequency for each prediction type.
  • Another object of the present invention is to provide a method and apparatus for adapting a codeword for a prediction type in consideration of the occurrence frequency for each prediction type.
  • the present invention also aims to provide a method and apparatus for effectively selecting the Most Probable Mode (MPM) in order to increase the compression efficiency and increase the prediction effect.
  • MPM Most Probable Mode
  • An embodiment of the present invention is a signaling method of video information, comprising: performing prediction on a current block and signaling information of a prediction type applied to the current block, wherein the signaling step includes: Information elements constituting the information of the prediction type may be jointly coded for signaling.
  • the information elements may include information about prediction mode and information about partition size.
  • the information elements may further include at least one of information on whether a block is divided and information on a slice type.
  • a short codeword can be allocated to a prediction type having a high selection ratio.
  • the predetermined prediction type may be a skip mode.
  • the predetermined prediction type may be a skip mode and a merge mode, and whether a skip mode is applied to the current block is preferentially signaled, and an inter prediction mode is applied to the current block. If signaled, it may be signaled whether a merge mode is applied to the current block.
  • a short codeword can be allocated to a prediction type having a high selection ratio.
  • Another embodiment of the present invention is a method of decoding image information, the method comprising: receiving information, performing a prediction on a current block based on the received information, and restoring a current block based on the performed prediction And information elements constituting a prediction type applied to the current block may be joint coded in the received information.
  • the information elements may include information about prediction mode and information about partition size.
  • the information elements may further include at least one of information on whether a block is divided and information on a slice type.
  • a short codeword may be assigned to a prediction type having a high occurrence rate among the prediction types.
  • the predetermined prediction type may be a skip mode and a merge mode, and whether to apply the skip mode is preferentially received and when it is received that the inter prediction mode is applied to the current block. Whether or not the merge mode is applied to the current block may be received.
  • overhead can be reduced when signaling information about prediction.
  • the overhead of signaling can be reduced by joint coding information on the prediction type applied to the current block.
  • the transmission efficiency can be improved by determining the signaling order or assigning a codeword in consideration of the occurrence frequency for each prediction type.
  • the compression efficiency can be increased and the prediction effect can be enhanced.
  • FIG. 1 is a block diagram schematically illustrating an image encoding apparatus (encoder) according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating an image decoder according to an embodiment of the present invention.
  • FIG. 3 schematically illustrates an example of a method for signaling information about prediction when merge is performed in a coding unit unit.
  • FIG. 4 is a diagram schematically showing the frequency of occurrence of each prediction type.
  • FIG. 5 is a diagram schematically illustrating an example of a method for signaling by an encoder in a system to which the present invention is applied.
  • FIG. 6 is a diagram schematically illustrating another example of a method for signaling by an encoder in a system to which the present invention is applied.
  • FIG. 7 and 8 are diagrams schematically illustrating another example of a method for signaling by an encoder in a system to which the present invention is applied.
  • FIG. 9 schematically illustrates an example of a method of signaling information about prediction when merge is performed even in a prediction unit unit.
  • FIG. 10 is a diagram schematically illustrating a frequency of occurrence of each prediction type when the merge mode is applied in units of prediction units.
  • FIG. 11 is a diagram schematically illustrating an example of a method for signaling by an encoder in a system to which the present invention is applied.
  • FIG. 12 is a diagram schematically illustrating another example of a method for signaling by an encoder in a system to which the present invention is applied.
  • FIG. 13 is a diagram schematically illustrating another example of a method for signaling by an encoder in a system to which the present invention is applied.
  • 15 is a diagram illustrating a prediction mode decoding process of a decoding process.
  • FIG. 16 is a diagram schematically illustrating an example of a method of signaling a prediction mode and partition information through joint coding.
  • FIG. 17 is a diagram schematically illustrating an example in which a waste of bits occurs because a codeword assigned to a split mode is long.
  • FIG. 18 is a diagram schematically illustrating an example of adaptation initialization in which a split mode is an initialization target and a maximum coding unit is an initialization unit in a system to which the present invention is applied.
  • 19 is a diagram schematically illustrating a method of codeword adaptation.
  • FIG. 20 is a diagram schematically illustrating an example of a peripheral reference block for adaptation in a system to which the present invention is applied.
  • 21 is a view schematically illustrating an embodiment of a method of changing adaptation in a system to which the present invention is applied.
  • 22 is a diagram schematically illustrating an example of an intra prediction method for a current block.
  • FIG. 23 is a diagram schematically illustrating an example of a method of determining an MPM when some of the MPM candidates are valid in a system to which the present invention is applied.
  • 24 is a diagram schematically illustrating extension of an MPM candidate in a system to which the present invention is applied.
  • 25 is a flowchart schematically illustrating an operation of an encoder in a system to which the present invention is applied.
  • 26 is a diagram schematically illustrating an operation of a decoder in a system to which the present invention is applied.
  • each of the components in the drawings described in the present invention are shown independently for the convenience of the description of the different characteristic functions in the image encoding / decoding apparatus, each component is implemented by separate hardware or separate software It does not mean to be.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • the image encoding apparatus 100 may include a picture splitter 105, a predictor 110, a transformer 115, a quantizer 120, a realigner 125, and an entropy encoder 130. , An inverse quantization unit 135, an inverse transform unit 140, a filter unit 145, and a memory 150.
  • the picture dividing unit 105 may divide the input picture into at least one processing unit.
  • the processing unit may be a prediction unit (hereinafter referred to as a PU), a transform unit (hereinafter referred to as a TU), or a coding unit (hereinafter referred to as "CU"). May be used).
  • the predictor 110 includes an inter prediction unit for performing inter prediction and an intra prediction unit for performing intra prediction.
  • the prediction unit 110 generates a prediction block by performing prediction on the processing unit of the picture in the picture division unit 105.
  • the processing unit of the picture in the prediction unit 110 may be a CU, a TU, or a PU.
  • the processing unit in which the prediction is performed may differ from the processing unit in which the prediction method and the details are determined.
  • the method of prediction and the prediction mode may be determined in units of PUs, and the prediction may be performed in units of TUs.
  • a prediction block may be generated by performing prediction based on information of at least one picture of a previous picture and / or a subsequent picture of the current picture.
  • a prediction block may be generated by performing prediction based on pixel information in a current picture.
  • a reference picture may be selected for a PU and a reference block having the same size as that of the PU may be selected in integer pixel samples. Subsequently, a residual block with the current PU is minimized and a prediction block with a minimum motion vector size is generated.
  • a skip mode a merge mode, a motion vector prediction (MVP), and the like can be used.
  • the prediction block may be generated in sub-integer sample units such as 1/2 pixel sample unit and 1/4 pixel sample unit.
  • the motion vector may also be expressed in units of integer pixels or less.
  • the luminance pixel may be expressed in units of 1/4 pixels
  • the chrominance pixel may be expressed in units of 1/8 pixels.
  • Information such as an index of a reference picture, a motion vector (ex. Motion Vector Predictor), and a residual signal selected through inter prediction is entropy coded and transmitted to a decoder.
  • a prediction mode may be determined in units of PUs, and prediction may be performed in units of PUs.
  • a prediction mode may be determined in units of PUs, and intra prediction may be performed in units of TUs.
  • a prediction mode may have 33 directional prediction modes and at least two non-directional modes.
  • the non-directional mode may include a DC prediction mode and a planner mode (Planar mode).
  • a prediction block may be generated after applying an adaptive intra smoothing (AIS) filter to a reference pixel according to a prediction mode.
  • AIS adaptive intra smoothing
  • the type of AIS filter applied to the reference pixel may be different.
  • the prediction may be performed by interpolating the reference pixel in units of 1/8 pixels according to the prediction mode of the current block.
  • the PU may have various sizes / shapes, for example, the PU may have a size of 2N ⁇ 2N, 2N ⁇ N, N ⁇ 2N, or N ⁇ N in case of inter-picture prediction.
  • the PU may have a size of 2N ⁇ 2N or N ⁇ N (where N is an integer).
  • the N ⁇ N size PU may be set to apply only in a specific case.
  • the NxN PU may be used only for the minimum size coding unit, or only for intra prediction.
  • a PU having a size of N ⁇ mN, mN ⁇ N, 2N ⁇ mN, or mN ⁇ 2N (m ⁇ 1) may be further defined and used.
  • the residual value (the residual block or the residual signal) between the generated prediction block and the original block is input to the converter 115.
  • prediction mode information and motion vector information used for prediction are encoded by the entropy encoder 130 along with the residual value and transmitted to the decoder.
  • the transformer 115 performs transform on the residual block in transform units and generates transform coefficients.
  • the transform unit in the converter 115 may be a TU and may have a quad tree structure. In this case, the size of the transform unit may be determined within a range of a predetermined maximum and minimum size.
  • the transform unit 115 may convert the residual block using a discrete cosine transform (DCT) and / or a discrete sine transform (DST).
  • DCT discrete cosine transform
  • DST discrete sine transform
  • the quantizer 120 may generate quantization coefficients by quantizing the residual values transformed by the converter 115.
  • the value calculated by the quantization unit 120 is provided to the inverse quantization unit 135 and the reordering unit 125.
  • the reordering unit 125 rearranges the quantization coefficients provided from the quantization unit 120. By rearranging the quantization coefficients, the efficiency of encoding in the entropy encoder 130 may be increased.
  • the reordering unit 125 may rearrange the quantization coefficients in the form of a two-dimensional block into a one-dimensional vector form through a coefficient scanning method.
  • the reordering unit 125 may increase the entropy coding efficiency of the entropy encoder 130 by changing the order of coefficient scanning based on probabilistic statistics of coefficients transmitted from the quantization unit.
  • the entropy encoder 130 may perform entropy encoding on the quantized coefficients rearranged by the reordering unit 125.
  • Entropy encoding may use, for example, an encoding method such as Exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), or Context-Adaptive Binary Arithmetic Coding (CABAC).
  • CABAC Context-Adaptive Binary Arithmetic Coding
  • the entropy encoder 130 may include quantization coefficient information, block type information, prediction mode information, partition unit information, PU information, transmission unit information, motion vector information, and the like of the CUs received from the reordering unit 125 and the prediction unit 110.
  • Various information such as reference picture information, interpolation information of a block, and filtering information may be encoded.
  • the entropy encoder 130 may apply a constant change to a transmitted parameter set or syntax.
  • the inverse quantization unit 135 inverse quantizes the quantized values in the quantization unit 120, and the inverse transformer 140 inversely transforms the inverse quantized values in the inverse quantization unit 135.
  • the residual values generated by the inverse quantizer 135 and the inverse transformer 140 may be combined with the prediction block predicted by the predictor 110 to generate a reconstructed block.
  • the filter unit 145 may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) to the reconstructed picture.
  • ALF adaptive loop filter
  • SAO sample adaptive offset
  • the deblocking filter may remove block distortion generated at the boundary between blocks in the reconstructed picture.
  • the adaptive loop filter may perform filtering based on a value obtained by comparing the reconstructed image with the original image after the block is filtered through the deblocking filter. ALF may be performed only when high efficiency is applied.
  • the SAO restores the offset difference from the original image on a pixel-by-pixel basis for the residual block to which the deblocking filter is applied, and is applied in the form of a band offset and an edge offset.
  • the filter unit 145 may not apply filtering to the reconstructed block used for inter prediction.
  • the memory 150 may store the reconstructed block or the picture calculated by the filter unit 145.
  • the reconstructed block or picture stored in the memory 150 may be provided to the predictor 110 that performs inter prediction.
  • the image decoder 200 includes an entropy decoder 210, a reordering unit 215, an inverse quantizer 220, an inverse transformer 225, a predictor 230, and a filter 235.
  • Memory 240 may be included.
  • the input bit stream may be decoded according to a procedure in which image information is processed by the image encoder.
  • VLC variable length coding
  • 'VLC' variable length coding
  • the entropy decoder 210 also uses a VLC table used in the encoder. Entropy decoding can be performed by implementing the same VLC table.
  • CABAC CABAC is used to perform entropy encoding in the image encoder
  • CABAC CABAC correspondingly.
  • Information for generating the prediction block among the information decoded by the entropy decoder 210 may be provided to the predictor 230, and a residual value of which entropy decoding is performed by the entropy decoder may be input to the reordering unit 215. .
  • the reordering unit 215 may reorder the entropy-decoded bit stream by the entropy decoding unit 210 based on the reordering method in the image encoder.
  • the reordering unit 215 may reorder the coefficients expressed in the form of a one-dimensional vector by restoring the coefficients in the form of a two-dimensional block.
  • the reordering unit 215 may be realigned by receiving information related to coefficient scanning performed by the encoder and performing reverse scanning based on the scanning order performed by the corresponding encoder.
  • the inverse quantization unit 220 may perform inverse quantization based on the quantization parameter provided by the encoder and the coefficient values of the rearranged block.
  • the inverse transform unit 225 may perform inverse DCT and / or inverse DST on DCT and DST performed by the transform unit of the encoder with respect to the quantization result performed by the image encoder.
  • the inverse transform may be performed based on a transmission unit determined by the encoder or a division unit of an image.
  • the DCT and / or the DST may be selectively performed according to a plurality of pieces of information, such as a prediction method, a size and a prediction direction of the current block, and the inverse transformer 225 of the decoder is performed by the transformer of the encoder.
  • Inverse transformation may be performed based on the transformation information.
  • the prediction unit 230 may generate the prediction block based on the prediction block generation related information provided by the entropy decoder 210 and previously decoded blocks and / or picture information provided by the memory 240.
  • the reconstruction block may be generated using the prediction block generated by the predictor 230 and the residual block provided by the inverse transform unit 225.
  • intra prediction may be performed to generate a prediction block based on pixel information in the current picture.
  • the inter-screen for the current PU based on information included in at least one of a previous picture or a subsequent picture of the current picture. You can make predictions.
  • motion information required for inter-prediction prediction of the current PU provided by the image encoder for example, a motion vector, a reference picture index, and the like, may be derived in response to a skip flag, a merge flag, and the like received from the encoder.
  • the reconstructed block and / or picture may be provided to the filter unit 235.
  • the filter unit 235 applies deblocking filtering, sample adaptive offset (SAO), and / or adaptive loop filtering to the reconstructed block and / or picture.
  • the memory 240 may store the reconstructed picture or block to use as a reference picture or reference block and provide the reconstructed picture to the output unit.
  • information about the prediction for example, information about the prediction mode and the partition
  • Signaling of the information about the prediction may be performed in various ways. For example, when information about a prediction is signaled, the neighboring block adjacent to the current block (hereinafter, 'a neighboring block adjacent to the current block' is referred to as a 'neighbor block' for convenience of description) in the prediction of the current block.
  • Information about a mode using the motion information as the motion information of the current block may be signaled first.
  • a method of using motion information of a neighboring block as motion information of a current block there is a method of using a skip mode, a direct mode, and a merge mode. Since all three modes use the motion information of the neighboring block as the motion of the current block, the motion information is not directly transmitted. However, in the skip mode, the residual information may not be transmitted, whereas in the direct mode and the merge mode, the residual information may be transmitted. In this case, in the skip mode and the merge mode, information indicating which motion block information is used as the motion information of the current block may be transmitted.
  • a method of using (merge) skip mode and merge mode may be considered.
  • the (merge) skip mode a predetermined block is selected from candidate blocks around the current block, and motion information of the selected block is used as motion information of the current block, but no residual signal is transmitted.
  • the skip mode as in the case of the (merge) skip mode, a predetermined block is selected from candidate blocks around the current block, and the motion information of the selected block is used as the motion information of the current block, but the residual information is transmitted.
  • the residual information may be information about a pixel value difference between the prediction block generated based on the reference block indicated by the motion information of the selected block and the current block.
  • the motion information of the current block can be predicted using the motion information of the neighboring block.
  • the encoder signals motion vector difference information indicating a difference between the motion vector of the current block and the motion vector of the neighboring block to the decoder, and the decoder determines the motion information of the current block based on the motion information of the neighboring block and the motion vector difference information. Can be predicted.
  • the encoder When using the skip mode, the direct mode, or the merge mode, if the three modes do not correspond, the encoder signals the partition information to the decoder together with the prediction mode of the current block.
  • the encoder In the merge mode, the encoder does not signal the prediction mode and partition information of the current block to the decoder if the merge mode is performed in the coding unit unit, but if the merge mode is performed in the prediction unit unit, the encoder predicts the current block. Send mode and partition information to the decoder.
  • the encoder may cause the decoder to signal partition information together with the prediction mode of the current block. Even in the merge mode, the encoder does not signal the prediction mode and the partition information of the current block to the decoder if the merge mode is performed in the coding unit unit, but if the merge mode is performed in the prediction unit unit, the encoder predicts the current block. Mode and partition information can be signaled to the decoder.
  • the encoder may cause the decoder to signal the prediction mode and the partition information for the current block.
  • FIG. 3 schematically illustrates an example of a method of signaling information about prediction when a merge mode is performed in a coding unit unit.
  • a case of using ⁇ skip mode, direct mode, merge mode ⁇ as a mode using motion information of a neighboring block as motion information of a current block is described as an example.
  • whether skip mode is applied to the current block may be indicated by skip_flag, and whether merge mode is applied may be indicated by merge_flag.
  • whether the direct mode is applied to the current block may be indicated through information such as direct_mode_signaling.
  • prediction modes other than skip mode, merge mode, and direct mode are applied, the prediction mode and partition information may be indicated through information such as pred_mode_partition_signaling.
  • a skip flag skip_flag determines whether a prediction mode of a current block is a skip mode. For example, when the value of the skip-flag is 1, it may be determined that the skip mode is applied to the current block. If the value of skip_flag is 0, it is determined through the merge flag merge_flag whether the prediction mode of the current block is the merge mode. For example, when the value of merge_flag is 1, it may be determined that merge mode is applied to the current block. If the value of Merge_flag is 0, it may be determined whether the prediction mode of the current block is the direct mode through signaling (direct_mode_signaling) indicating whether the direct mode.
  • direct_mode_signaling signaling
  • the prediction mode and the partition of the current block may be determined through the information (pred_mode_partition_signaling) indicating the prediction mode and the partition of the current block.
  • the information about the prediction mode and the partition for example, the partition size of the current block may be jointly coded and signaled at one time.
  • the prediction mode may include an intra mode and an inter mode.
  • the partition size may be 2Nx2N, NxN (N is the number of samples), etc. for the intra prediction mode, and 2Nx2N, 2NxN, Nx2N, NxN, 2NxnU, 2NxnD, nLx2N, nRx2N (where 0 is 0) for the inter prediction mode.
  • ⁇ n ⁇ 1 and U, D, L, and R are integers representing the number of samples.
  • the prediction type that can be represented as pred_mode_partition_signaling is any one of ⁇ 2Nx2N, NxN ⁇ partitions as intra prediction mode or ⁇ 2Nx2N, 2NxN, Nx2N, NxN, 2NxnU, 2NxnD, nLx2N as inter prediction mode.
  • nRx2N ⁇ can be indicated.
  • information about a prediction type including information about a prediction mode and a partition may be transmitted before and after signaling other information.
  • the information about the prediction type may be signaled after the slice type (slice_type) of the current block is signaled.
  • the slice type information may indicate an I slice
  • the prediction mode of the current block is an inter
  • the slice type information may indicate a B or P slice.
  • the I slice refers to a slice decoded using only intra prediction
  • the B slice refers to a slice decoded using inter prediction or intra prediction using two motion vectors and a reference index at most.
  • the P slice refers to a slice decoded using inter prediction or intra prediction using at least one motion vector and a reference index.
  • the decoder can determine whether 2Nx2N intra mode is indicated or 2Nx2N inter mode is indicated.
  • information about a prediction mode using motion information of a neighboring block as motion information of a current block such as ⁇ skip mode, direct mode, merge mode ⁇ or ⁇ (merge) skip mode, merge mode ⁇ , etc.
  • Signaling may be performed separately without performing joint coding and information on other prediction types.
  • the merge information is jointly coded with other information for the merge having a high occurrence frequency in consideration of the occurrence frequency.
  • Merge with low occurrence frequency may be separately signaled without joint coding with other information.
  • CU merge merging in units of coding units
  • PU merge merged in units of prediction units
  • the information on whether or not may be transmitted separately without joint coding such as intra / inter prediction and partition information.
  • Table 1 shows an example of joint coding the prediction mode and the partition information of the current block according to the example shown in FIG.
  • the inter prediction mode has a partition of ⁇ 2Nx2N, 2NxN, Nx2N, NxN ⁇ is described as an example for convenience of description among the above-described prediction types.
  • an encoder may indicate which prediction mode is applied to a current block and a partition size of the current block through a codeword by joint coding.
  • codewords may be allocated in consideration of the occurrence frequency of each prediction type. Can be.
  • FIG. 4 is a diagram schematically showing the frequency of occurrence of each prediction type.
  • skip mode merge mode, and direct in the case of each environment, that is, random access high efficiency (RAHE), low delay high efficiency (LDHE), random access low complexity (RALC), and low delay low complexity (LDLC)
  • RAHE random access high efficiency
  • LDHE low delay high efficiency
  • RALC random access low complexity
  • LDLC low delay low complexity
  • the frequency distribution of the skip and merge modes is prominent, and in the direct mode, the frequency of occurrence is less than that of the 2N ⁇ 2N inter mode. Therefore, in this case, it may be more efficient to signal information indicating whether 2N ⁇ 2N inter mode is applied than to signal information indicating whether direct mode is applied in the signaling sequence shown in FIG. 3.
  • ⁇ skip mode, direct mode, merge mode ⁇ is used as a prediction mode that uses motion information of a neighboring block as motion information of a current block, and measures occurrence frequency of 2Nx2N, 2NxN, Nx2N, and NxN among partition sizes.
  • ⁇ (merge) skip mode, merge mode ⁇ and / or using all partition sizes the frequency of occurrence of each prediction mode and partition size may be considered, and the order of signaling based on this may be considered. Can be adjusted.
  • FIG. 5 is a diagram schematically illustrating an example of a method for signaling by an encoder in a system to which the present invention is applied.
  • ⁇ skip mode, direct mode, merge mode ⁇ is used as a prediction mode using motion information of a neighboring block as motion information of a current block.
  • a merge mode is applied in units of coding units. It demonstrates as follows. Therefore, whether merge mode is applied or not for each partition size smaller than the coding unit is not signaled.
  • prediction mode / partition size having a higher selection rate (frequency of occurrence) than the direct mode. Therefore, it may be advantageous in terms of transmission overhead to signal the first decision whether to apply another prediction mode (prediction mode / partition size) having a high selection ratio.
  • mode A when a prediction mode / partition size having a higher frequency of occurrence than the direct mode is called mode A, information on whether mode A is applied may be transmitted first than information on whether direct mode is applied.
  • the encoder signals information on whether mode A is applied before information on whether direct mode is applied. Specifically, the encoder first signals information (skip_flag) indicating whether the skip mode is applied to the current block. If the skip mode is not applied, the encoder signals information (merge_flag) indicating whether the merge mode is applied. When the mode is not applied, information (modeA_flag) indicating whether mode A is applied is signaled.
  • the encoder If mode A is not applied, the encoder signals the direct mode along with information indicating which of the remaining prediction modes / partition sizes is applied to the current block. That is, the encoder signals information (pred_mode_partition_signaling) indicating which prediction type is applied to the current block in addition to the skip mode, the merge mode, and the mode A.
  • Table 2 is an example of a joint coding table in which a codeword is allocated to prediction type information according to the example of FIG. 5.
  • Table 2 for convenience of description, the case where the inter prediction mode has a partition of ⁇ 2Nx2N, 2NxN, Nx2N, NxN ⁇ and the merge mode is applied in units of coding units will be described as an example.
  • mode A is a 2Nx2N inter mode. Accordingly, the 2N ⁇ 2N inter mode is signaled first without using the joint coding table, and whether direct mode is applied is signaled using the joint coding table along with other prediction types.
  • a codeword may be allocated to the prediction type in consideration of the occurrence frequency of the prediction type.
  • Table 3 shows an example of a joint coding table in which codewords are allocated in consideration of the occurrence frequency of each prediction type.
  • the inter prediction mode has a partition of ⁇ 2Nx2N, 2NxN, Nx2N, NxN ⁇ and the merge mode is applied in units of coding units will be described as an example.
  • the frequency of occurrence of Nx2N is higher than 2NxN for convenience of explanation.
  • the codewords allocated to the 2NxN inter mode and the Nx2N inter mode are changed in consideration of the frequency of occurrence of the prediction type. Specifically, assuming that the occurrence frequency of the 2NxN inter mode is lower than the occurrence frequency of the Nx2N inter mode, in the case of the Nx2N inter mode showing more occurrence frequency, a shorter codeword (01) is assigned and the occurrence frequency is lower. In the case of the 2N ⁇ N inter mode, a longer codeword 001 is allocated.
  • the occurrence frequency of the prediction type may be reflected in both signaling order and codeword assignment.
  • Table 4 is an example of a joint coding table for a case where a signaling order is adjusted and a codeword is allocated in consideration of a prediction type occurrence frequency.
  • Table 4 an example in which the inter prediction mode has a partition of ⁇ 2Nx2N, 2NxN, Nx2N, NxN ⁇ and the merge mode is applied in units of coding units will be described as an example.
  • whether a prediction mode is applied to a predetermined prediction mode among the prediction modes using the motion information of the neighboring block as the motion information of the current block is separately signaled, and information on whether the other prediction type is applied is signaled through joint coding.
  • skip mode and merge mode may be signaled separately, and whether direct mode is applied or not may be signaled through joint coding along with whether other prediction types are applied. Whether skip mode and direct mode are applied may be signaled separately, and whether merge mode is applied or not may be signaled through joint coding along with whether other prediction types are applied. Alternatively, whether merge mode and direct mode are applied may be signaled separately, and whether skip mode is applied may be signaled through joint coding along with whether other prediction types are applied.
  • Table 5 shows an example of a joint coding table used for signaling whether or not a predetermined prediction mode is applied among prediction modes using motion information of a neighboring block as motion information of a current block.
  • Table 5 describes an example in which ⁇ skip mode, direct mode, merge mode ⁇ is used, and whether direct mode is applied or not is signaled through joint coding along with whether other prediction types are applied.
  • the inter prediction mode has a partition of ⁇ 2Nx2N, 2NxN, Nx2N, NxN ⁇ and the merge mode is applied in units of coding units will be described as an example.
  • the encoder may indicate the prediction type for the current block by transmitting a codeword corresponding to the prediction type applied to the current block.
  • the encoder may allocate a codeword according to the frequency of occurrence of each prediction type.
  • Table 6 is an example of a joint coding table for allocating codewords in consideration of the occurrence frequency, assuming that the 2N ⁇ 2N inter mode is more frequently generated than the direct mode.
  • the codeword 1 smaller than the codeword 01 in the direct mode is allocated to the 2N ⁇ 2N inter mode with a higher frequency of occurrence.
  • Table 7 shows an example of allocating codewords in consideration of the frequency of occurrence, assuming that the frequency of occurrence of 2NxN inter mode is lower than that of Nx2N inter mode.
  • a codeword (1) smaller than the codeword (01) of the direct mode is allocated to the 2Nx2N inter mode with a higher frequency, and the codeword (0001) for the 2NxN inter mode is assigned to the Nx2N inter mode.
  • a smaller codeword 001 is assigned.
  • FIG. 6 is a diagram schematically illustrating another example of a method for signaling by an encoder in a system to which the present invention is applied.
  • a direct mode is not applied as a prediction mode using motion information of a neighboring block as motion information of a current block, that is, ⁇ (merge) skip mode
  • merge mode ⁇ is used, and a merge mode is applied in a coding unit unit.
  • the case will be described as an example. Therefore, whether merge mode is applied or not for each partition size smaller than the coding unit is not signaled.
  • the prediction type may be signaled in the same manner as when using ⁇ skip mode, direct mode, merge mode ⁇ .
  • modeA_flag information on whether mode A is applied
  • Table 8 is an example of a joint coding table in which a codeword is assigned to prediction type information according to the example of FIG. 6.
  • Table 8 a case where the inter prediction mode has a partition of ⁇ 2Nx2N, 2NxN, Nx2N, NxN ⁇ and the merge mode is applied in units of coding units will be described as an example.
  • the most frequently occurring prediction type that is, the mode A is the 2Nx2N inter mode, among the inter prediction modes having partition sizes of 2Nx2N, 2NxN, Nx2N, and NxN. Therefore, whether 2Nx2N inter mode is applied or not is transmitted in advance through separate signaling.
  • a codeword may be allocated to the prediction type in consideration of the occurrence frequency (selection ratio).
  • Table 9 shows an example of a joint coding table for a case where ⁇ (merge) skip mode, merge mode ⁇ is used and codewords are allocated in consideration of prediction type occurrence frequency.
  • the inter prediction mode has a partition of ⁇ 2Nx2N, 2NxN, Nx2N, NxN ⁇ and the merge mode is applied in units of coding units will be described as an example.
  • the frequency of occurrence of the prediction type may be reflected in both the signaling order and the codeword assignment.
  • Table 10 shows a case of using ⁇ (merge) skip mode, merge mode ⁇ , which is an example of a joint coding table for a case where a signaling order is adjusted and codewords are allocated in consideration of a prediction type occurrence frequency.
  • ⁇ (merge) skip mode, merge mode ⁇ is an example of a joint coding table for a case where a signaling order is adjusted and codewords are allocated in consideration of a prediction type occurrence frequency.
  • the inter prediction mode has a partition of ⁇ 2Nx2N, 2NxN, Nx2N, NxN ⁇ and the merge mode is applied in units of coding units will be described as an example.
  • the occurrence frequency of the 2Nx2N inter mode is the highest among 2Nx2N, 2NxN, Nx2N, and NxN inter modes, and the 2NxN inter mode has a higher occurrence frequency than the Nx2N inter mode. Accordingly, whether to apply the (merge) skip mode, the merge mode, or the 2N ⁇ 2N inter mode is first transmitted through separate signaling. Whether other prediction types are applied is signaled using the joint coding table of Table 10, where a codeword smaller than the codeword (01) of the 2NxN inter mode to the Nx2N inter mode having a higher frequency of occurrence than the 2NxN inter mode is used. 1) is assigned.
  • the direct mode and the merge mode may be integrated.
  • the direct mode and the merge mode are similar to each other in that motion information is derived from a neighboring block and then residual information is transmitted unlike the skip mode.
  • the inter / intra signaled after signaling information on whether the mode in which the direct mode and the merge mode are integrated (hereinafter referred to as the 'integrated mode' for convenience of explanation) is signaled. It is possible to reduce signaling overhead of information on whether the mode is applied. Even when applying the unified mode, adjustment of signaling order, allocation of codewords, and the like may be performed as described above.
  • FIG. 7 and 8 are diagrams schematically illustrating another example of a method for signaling by an encoder in a system to which the present invention is applied.
  • an integrated mode is used, but a merge mode will be described as an example in which a unit is applied in a coding unit. Therefore, whether merge mode is applied or not for each partition size smaller than the coding unit is not signaled.
  • FIG. 7 illustrates a case where it is assumed that mode A is the prediction type having the highest occurrence frequency among the remaining prediction types except for the skip mode. Therefore, the encoder signals whether mode A is applied when skip mode is not applied, and when the mode A is not applied, joint coding indicates which prediction type among remaining prediction types (including prediction mode / partition size) is to be applied. Signaling is performed using (pred_mode_partition_signaling).
  • Table 11 is a joint coding table according to the example of FIG.
  • the 2Nx2N inter mode is determined as the mode A, separately signaled whether the 2Nx2N inter mode is applied, and whether the unified mode is applied or not is applied to other prediction types. Signaling may also be made using joint coding with the types.
  • Table 12 is a joint coding table according to the example of FIG. 8.
  • the 2Nx2N inter mode is mode A. Therefore, whether to apply the 2Nx2N inter mode may be separately signaled in advance.
  • a codeword may be allocated in consideration of occurrence frequency (selection ratio) for each prediction type.
  • Table 13 shows an example of a joint coding table for a case of using a unified mode and assigning a codeword in consideration of a frequency of occurrence of a prediction type.
  • the inter prediction mode has a partition of ⁇ 2Nx2N, 2NxN, Nx2N, NxN ⁇ and the merge mode is applied in units of coding units will be described as an example.
  • an order of signaling may be formed as shown in FIG. 8 and codewords may be allocated as shown in Table 13.
  • Table 14 shows an example of a joint coding table for a case of using the unified mode and adjusting the order of signaling and allocating codewords in consideration of a frequency of occurrence of a prediction type.
  • the inter prediction mode has a partition of ⁇ 2Nx2N, 2NxN, Nx2N, NxN ⁇ and the merge mode is applied in units of coding units will be described as an example.
  • the prediction mode corresponding to the mode A of FIG. 8 is the 2Nx2N inter mode, and the occurrence frequency of the Nx2N inter mode is higher than that of the 2NxN inter mode. Therefore, after signaling whether to apply the unified mode, if the unified mode is not applied, whether to apply the 2N ⁇ 2N inter mode is signaled through separate signaling. In addition, the codeword 1 shorter than the codeword 01 allocated to the 2NxN inter mode is allocated to the Nx2N inter mode.
  • pred_mode_partition_signaling it is possible to signal (pred_mode_partition_signaling) at once through joint coding which prediction type is applied to prediction types other than the skip mode. That is, a codeword may be allocated to each prediction type including the unified mode, and the codeword corresponding to the applied prediction type may be signaled.
  • Table 15 shows a joint coding table used to transmit information of prediction types (prediction mode, partition size, etc.) applied to the current block by allocating codewords for each prediction type other than the skip mode when using the integrated mode. An example of the schematic is shown.
  • the encoder allocates a codeword to each prediction mode, i.e., integrated mode (merge / direct mode), 2Nx2N, NxN intra mode, 2Nx2N, 2NxN, Nx2N, and NxN inter mode, respectively, and is applied to the current block.
  • the codeword of the prediction type may be transmitted.
  • the encoder may allocate the codeword in consideration of the occurrence frequency (selection ratio) for each prediction type.
  • Table 16 shows an example of allocating codewords in consideration of the occurrence frequency of each prediction type in the example of Table 15.
  • the frequency of occurrence of the Nx2N inter mode is higher than the frequency of occurrence of the 2NxN inter mode. Therefore, in the example of Table 16, compared to the example of Table 15, the codeword 001 shorter than the codeword 0001 for the 2NxN inter mode is allocated to the Nx2N inter mode.
  • Table 17 shows an example of a joint coding table that can be used for signaling a prediction block for the current block when all partitions of 2Nx2N, 2NxN, Nx2N, NxN, 2NxnU, 2NxnD, nLx2N, and nRx2N are considered.
  • each partition size of intra mode and each partition size of inter mode may be indicated through a prediction type. Therefore, by joint coding the prediction mode and the partition size, the prediction type for the current block can be signaled at once. In this case, as described above, the codeword may be allocated in consideration of the occurrence frequency for each prediction type.
  • additional information as described above may be signaled before signaling of each prediction type.
  • prediction types may be distinguished based on these additional information. For example, in the case of an I slice, if the prediction type has a value of 0, 2Nx2N intra mode may be indicated. In case of a B or P slice, the prediction type may have a value of 0, may indicate 2Nx2N inter mode. .
  • each prediction type may be distinguished by assigning different codewords to prediction types having different prediction modes / partitions.
  • the merge mode may be applied in the prediction unit unit.
  • the above-described content of the present invention is applied as it is to the case where merge mode is performed in units of prediction units. can do.
  • FIG. 9 schematically illustrates an example of a method of signaling information about prediction when a merge mode is performed even in a prediction unit unit.
  • ⁇ skip mode, direct mode, merge mode ⁇ is used as a mode using motion information of a neighboring block as motion information of a current block is described as an example.
  • the skip mode and the direct mode when the skip mode and the direct mode are not applied, it indicates which inter prediction mode and partition are applied to the current block and signals whether the corresponding partition is merged. Whether the skip mode and the direct mode are applied is signaled separately, and when the skip mode and the direct mode are not applied, which prediction mode / partition is to be applied is jointly signaled by information about the division of the prediction mode and the partition size. Whether to apply the merge mode for each partition of the inter prediction is indicated through the merge mode, wherein the inter prediction mode performed when the merge mode is not applied is referred to as a normal inter mode for convenience of description.
  • Table 18 shows an example of joint encoding the prediction mode and the partition information of the current block according to the example shown in FIG.
  • Table 18 a case where the inter prediction mode has a partition of ⁇ 2Nx2N, 2NxN, Nx2N, NxN ⁇ is described as an example for convenience of description.
  • the encoder may indicate to the decoder by signaling a codeword the prediction type applied to the current block.
  • codewords may be allocated in consideration of the occurrence frequency of each prediction type. Can be.
  • FIG. 10 is a diagram schematically illustrating a frequency of occurrence of each prediction type when the merge mode is applied in units of prediction units.
  • distribution of each partition size of skip mode, merge mode, direct mode, intra mode, and each partition size of inter mode is shown in the case of RAHE, LDHE, RALC, and LDLC.
  • the frequency distribution of the skip mode is prominent, and in the direct mode, the frequency of occurrence is less than that of the 2N ⁇ 2N inter mode. Accordingly, in this case, it may be more efficient to signal information indicating whether the 2N ⁇ 2N inter mode is applied than to signal information indicating whether the direct mode is applied in the signaling sequence shown in FIG. 9.
  • ⁇ skip mode, direct mode, merge mode ⁇ is used, and the frequency of occurrence of 2Nx2N, 2NxN, Nx2N, and NxN among the partition sizes is measured, whereas ⁇ (merge) skip mode, merge mode ⁇ is used. And / or the same, even when using all the partition size, it is possible to consider the frequency of occurrence of each prediction mode and partition size, it is possible to adjust the order of signaling based on this.
  • FIG. 11 is a diagram schematically illustrating an example of a method for signaling by an encoder in a system to which the present invention is applied.
  • ⁇ skip mode, direct mode, merge mode ⁇ is used as a prediction mode using motion information of a neighboring block as motion information of a current block.
  • prediction mode / partition size having a higher selection rate (frequency of occurrence) than the direct mode. Therefore, it may be advantageous in terms of transmission overhead to signal the first decision whether to apply another prediction mode (prediction mode / partition size) having a high selection ratio.
  • the prediction mode / partition size having a higher frequency of occurrence than the direct mode is mode A
  • information on whether mode A is applied may be transmitted first than information on whether direct mode is applied.
  • the encoder signals information on whether mode A is applied or not before information on whether direct mode is applied.
  • the encoder first signals information skip_flag indicating whether the skip mode is applied to the current block, and signals information modeA_flag indicating whether mode A is applied when the skip mode is not applied.
  • the encoder If mode A is not applied, the encoder signals the direct mode along with information indicating pred_mode_partition_signaling indicating which of the remaining prediction modes / partition sizes is applied to the current block.
  • Table 19 is an example of a joint coding table in which a codeword is allocated to prediction type information according to the example of FIG. 11.
  • Table 19 a case where the inter prediction mode has a partition of ⁇ 2Nx2N, 2NxN, Nx2N, NxN ⁇ will be described as an example for convenience of description.
  • mode A is a 2Nx2N inter mode. Accordingly, the 2N ⁇ 2N inter mode is signaled first without using the joint coding table, and whether direct mode is applied is signaled using the joint coding table along with other prediction types.
  • a codeword may be allocated to the prediction type in consideration of the occurrence frequency of the prediction type.
  • Table 20 shows a joint coding table in which codewords are allocated in consideration of occurrence frequencies of prediction types.
  • Table 20 a case where it is assumed that the inter prediction mode has a partition of ⁇ 2Nx2N, 2NxN, Nx2N, NxN ⁇ will be described as an example.
  • the occurrence frequency of Nx2N is higher than 2NxN for convenience of explanation.
  • the codewords allocated to the 2NxN inter mode and the Nx2N inter mode are changed in consideration of the frequency of occurrence of the prediction type. Specifically, assuming that the occurrence frequency of the 2NxN inter mode is lower than the occurrence frequency of the Nx2N inter mode, in the case of the Nx2N inter mode showing more occurrence frequency, a shorter codeword (01) is assigned and the occurrence frequency is lower. In the case of the 2N ⁇ N inter mode, a longer codeword 001 may be allocated.
  • the occurrence frequency of the prediction type may be reflected in both signaling order and codeword assignment.
  • Table 21 is an example of a joint coding table for a case in which signaling order is adjusted and codewords are allocated in consideration of a prediction type occurrence frequency.
  • Table 21 a case of having a partition of ⁇ 2Nx2N, 2NxN, Nx2N, NxN ⁇ in the inter prediction mode will be described as an example for convenience of description.
  • whether a predetermined prediction mode is used is separately signaled among the prediction modes that use the motion information of the neighboring block as the motion information of the current block, and then Information on whether the other prediction type is applied may be signaled through joint coding. For example, whether skip mode is applied in advance of ⁇ skip mode, direct mode, merge mode ⁇ or ⁇ (merge) skip mode, merge mode ⁇ is separately signaled in advance, and whether direct mode or merge mode is applied is applied is applied to the remaining prediction types. In addition, it can be signaled using joint coding.
  • Table 22 illustrates a case where ⁇ skip mode, direct mode, merge mode ⁇ is used, and whether direct mode is applied or not is signaled through joint coding along with whether other prediction types are applied. Specifically, whether to apply one of the prediction types to the direct mode and the inter mode / intra mode is signaled first through the codewords assigned to the prediction type including the direct mode, instead of signaling the flag first. Also in Table 21, a case of having a partition of ⁇ 2Nx2N, 2NxN, Nx2N, NxN ⁇ in the inter prediction mode will be described as an example for convenience of description.
  • the encoder may indicate a prediction type for the current block by transmitting a codeword corresponding to the prediction type applied to the current block.
  • the encoder may allocate a codeword according to the frequency of occurrence of each prediction type.
  • Table 23 is an example of a joint coding table for allocating codewords in consideration of the occurrence frequency, assuming that the 2N ⁇ 2N inter mode is more frequently generated than the direct mode.
  • the codeword 1 smaller than the codeword 01 of the direct mode is allocated to the 2N ⁇ 2N inter mode with a higher frequency of occurrence.
  • Table 24 shows an example of allocating codewords in consideration of the occurrence frequency, assuming that the occurrence frequency of the 2NxN inter mode is lower than that of the Nx2N inter mode.
  • a codeword 1 smaller than the codeword 01 of the direct mode is allocated to the 2Nx2N inter mode in which the occurrence frequency is higher, and the codeword (0001) for the 2NxN inter mode is assigned to the Nx2N inter mode.
  • a smaller codeword 001 is assigned.
  • the merge mode may be applied in units of prediction units, and thus may signal (merge_flag) whether the merge mode is applied to the current block after signaling that mode A is applied. . Even if the inter prediction mode other than the direct mode is indicated through Tables 19 to 24, it may be signaled whether the merge mode is applied to the current block. In addition, when the selection ratio of a particular merge mode is high, mode A itself may be set as a merge mode.
  • FIG. 12 is a diagram schematically illustrating another example of a method for signaling by an encoder in a system to which the present invention is applied.
  • a direct mode is not applied as a prediction mode using motion information of a neighboring block as motion information of a current block, that is, ⁇ (merge) skip mode and merge mode ⁇ are used, and a merge mode is applied in a prediction unit unit.
  • ⁇ (merge) skip mode and merge mode ⁇ are used, and a merge mode is applied in a prediction unit unit.
  • the embodiment of FIG. 12 When the embodiment of FIG. 12 is compared with the case of FIG. 9 or 11, the number of information on whether to apply a prediction mode using motion information of a neighboring block as motion information of the current block is reduced by one. Thus, if the direct mode is removed in the case of FIG. 9 or FIG. 10, overhead may be reduced when signaling information about inter / intra modes later.
  • the prediction type may be signaled in the same manner as when using ⁇ skip mode, direct mode, merge mode ⁇ .
  • modeA_flag information on whether mode A is applied May be signaled before information on whether other prediction types (2N ⁇ 2N inter mode,..., N ⁇ N intra mode) are applied. If there is no application of mode A, whether or not another prediction type (2Nx2N inter mode, ..., NxN intra mode) is applied may be signaled through joint coding.
  • Table 25 is an example of a joint coding table in which a codeword is allocated to prediction type information according to the example of FIG. 12.
  • Table 25 a case where the inter prediction mode has a partition of ⁇ 2Nx2N, 2NxN, Nx2N, NxN ⁇ will be described as an example for convenience of description.
  • the most frequently occurring prediction type that is, the mode A is the 2Nx2N inter mode, among the inter prediction modes having partition sizes of 2Nx2N, 2NxN, Nx2N, and NxN. Therefore, whether 2Nx2N inter mode is applied or not is transmitted in advance through separate signaling.
  • the codeword may be allocated to the prediction type in consideration of the occurrence frequency (selection ratio), in addition to determining the transmission order in consideration of the occurrence frequency of the prediction type.
  • Table 26 shows a case of using ⁇ (merge) skip mode and merge mode ⁇ , which is an example of a joint coding table for a case where codewords are allocated in consideration of a prediction type occurrence frequency.
  • ⁇ (merge) skip mode and merge mode ⁇ is an example of a joint coding table for a case where codewords are allocated in consideration of a prediction type occurrence frequency.
  • the inter prediction mode has a partition of ⁇ 2Nx2N, 2NxN, Nx2N, NxN ⁇ will be described as an example for convenience of description.
  • the occurrence frequency of the prediction type may be reflected in both the signaling order and the codeword assignment.
  • Table 27 is a case of using ⁇ (merge) skip mode, merge mode ⁇ , which is an example of a joint coding table for a case in which the signaling order is adjusted and codewords are allocated in consideration of prediction type occurrence frequency.
  • ⁇ (merge) skip mode, merge mode ⁇ is an example of a joint coding table for a case in which the signaling order is adjusted and codewords are allocated in consideration of prediction type occurrence frequency.
  • the inter prediction mode has a partition of ⁇ 2Nx2N, 2NxN, Nx2N, NxN ⁇ will be described as an example for convenience of description.
  • the occurrence frequency of the 2Nx2N inter mode is the highest among 2Nx2N, 2NxN, Nx2N, and NxN inter modes, and the 2NxN inter mode is more frequent than the Nx2N inter mode. Therefore, whether to apply the (merge) skip mode, the merge mode, or the 2N ⁇ 2N inter mode may be delivered through separate signaling. Whether other prediction types are applied is signaled using the joint coding table of Table 27, where a codeword smaller than the codeword (01) of the 2NxN inter mode to the Nx2N inter mode having a higher frequency of occurrence than the 2NxN inter mode is used. 1) is assigned.
  • the merge mode since the merge mode may be applied in units of prediction units, it may be separately signaled (merge_flag) whether the merge mode is applied to the current block. For example, when it is signaled which inter prediction mode / partition is applied to the current block through Tables 25 to 27, it may be signaled whether the merge mode is applied to the current block. In addition, when the selection ratio of a particular merge mode is high, mode A itself may be set as a merge mode.
  • the integrated mode as described above may be used by integrating the direct mode and the merge mode.
  • the direct mode and the merge mode are similar to each other in that motion information is derived from a neighboring block and then residual information is transmitted unlike the skip mode.
  • the integrated mode it is possible to reduce the signaling overhead of information about whether to apply the skip mode and the inter / intra mode other than the integrated mode. Even when applying the unified mode, adjustment of signaling order, allocation of codewords, and the like may be performed as described above.
  • FIG. 13 is a diagram schematically illustrating another example of a method for signaling by an encoder in a system to which the present invention is applied.
  • the unified mode is used, but the merge mode will be described as an example of applying the prediction unit.
  • mode A is the prediction type having the highest occurrence frequency among the remaining prediction types except for the skip mode.
  • the mode A may be an integrated mode.
  • the encoder signals whether mode A is applied, and when mode A is not applied, the encoder signals (pred_mode_partition_signaling) which prediction type is applied among the remaining prediction types. .
  • Table 28 is a joint coding table according to the example of FIG.
  • the present invention is not limited thereto.
  • the 2Nx2N inter mode is determined as the mode A, separately signaled whether the 2Nx2N inter mode is applied, and whether the unified mode is applied or not is applied to other prediction types. Signaling may also be made using joint coding with the types.
  • codewords can be allocated in consideration of the occurrence frequency (selection ratio) for each prediction type, in addition to adjusting the signaling order.
  • Table 29 shows an example of a joint coding table for a case of using a unified mode and assigning a codeword in consideration of a frequency of occurrence of a prediction type.
  • Table 29 a case of having a partition of ⁇ 2Nx2N, 2NxN, Nx2N, NxN ⁇ in the inter prediction mode is described as an example for convenience of description.
  • a codeword may be allocated to each prediction type including the unified mode, and a codeword corresponding to the applied prediction type may be signaled.
  • Table 30 shows a joint coding table used to transmit information of a prediction type (prediction mode, partition size, etc.) applied to the current block by allocating a codeword for each prediction type other than the skip mode when using the integrated mode.
  • a prediction type prediction mode, partition size, etc.
  • the coder allocates a codeword to each prediction mode, that is, integrated mode (merge / direct mode), 2Nx2N, NxN intra mode, 2Nx2N, 2NxN, Nx2N, and NxN inter mode, and is applied to the current block.
  • the codeword of the prediction type may be transmitted.
  • the encoder may allocate the codeword in consideration of the occurrence frequency (selection ratio) for each prediction type.
  • Table 31 shows an example of allocating codewords in consideration of the occurrence frequency of each prediction type in the example of Table 30.
  • the frequency of occurrence of the Nx2N inter mode is higher than the frequency of occurrence of the 2NxN inter mode. Therefore, in the example of Table 31, the codeword 001 shorter than the codeword 0001 for the 2NxN inter mode is allocated to the Nx2N inter mode as compared with the example of Table 30.
  • the merge mode is applied in units of prediction units. Therefore, in case of adjusting the signaling order (Tables 28 and 31) or in case of considering the integrated mode including the merge mode equally with other prediction types (Table 30), the inter prediction mode / When the partition size is applied to the current block, whether merge mode is separately applied does not need to be signaled. On the other hand, when prediction information is signaled through Table 29, which is a case where codeword allocation is performed in consideration of the frequency of occurrence without adjusting the signaling order, it is signaled that any one of the inter prediction modes / partition sizes is applied to the current block. Later, information (merge_flag) regarding whether merge mode is applied to the current block may be signaled subsequently.
  • Table 32 shows an example of a joint coding table that can be used for signaling of a prediction block for a current block when all partitions of 2Nx2N, 2NxN, Nx2N, NxN, 2NxnU, 2NxnD, nLx2N, and nRx2N are considered.
  • each partition size of the intra mode and each partition size of the inter mode may be indicated through the prediction type. Therefore, by joint coding the prediction mode and the partition size, the prediction type for the current block can be signaled at once. In this case, as described above, the codeword may be allocated in consideration of the occurrence frequency for each prediction type.
  • prediction types Prior to signaling of each prediction type, additional information as described above, for example, information on whether a slice type or division may be signaled may be signaled.
  • prediction types may be distinguished based on these additional information. For example, in the case of an I slice, if the prediction type has a value of 0, 2Nx2N intra mode may be indicated. In case of a B or P slice, the prediction type may have a value of 0, may indicate 2Nx2N inter mode. .
  • each prediction type may be distinguished by assigning different codewords to prediction types having different prediction modes / partitions.
  • the transmission scheme may be improved by modifying a signaling scheme method for the prediction mode in the inter slice.
  • the prediction mode and the partition type for the inter slice may be joint coded by a binary type codeword.
  • the information about the prediction such as the prediction mode and the partition (size)
  • the prediction type may further include information on whether to split and a slice type.
  • the codewords indicating the prediction type may be rearranged according to a portion of each prediction mode, that is, a frequency of occurrence (selection frequency).
  • the prediction mode and partition type may be transmitted through a predetermined syntax element. For example, as described above, whether the skip mode is applied may be signaled through a skip flag skip_flag. In addition, whether the merge mode is applied may be signaled through the merge flag (merge_flag), whether the direct mode may be signaled through the direct mode flag (direct_flag), and whether the integrated mode of the direct mode and the merge mode is applied or not. Whether to apply may be signaled through the merge mode flag merge_direct_flag.
  • the prediction mode and partition size of the current block may be separately signaled.
  • Table 33 schematically shows an example of signaling a prediction mode and a partition type (partition size) at a coding unit level (coding unit parameter set).
  • the prediction mode, the partition information, etc. may be signaled by joint coding and transmitting a corresponding codeword.
  • the prediction mode and the partition type (size) may be signaled using separate syntax elements.
  • the prediction mode is indicated by pred_mode
  • the partition size of the inter mode can be indicated by inter_partitioning_idc.
  • pred_mode_partition_signaling may be referred to in the sense of signaling including prediction mode and partition information, and the signaling signaled as information including information such as prediction mode and partition mode is called a prediction type. You can also simply call the element pred_type.
  • pred_mode_partition_signaling or pred_type related information (prediction mode, partition size, etc.) may be signaled by specifying one codeword by joint coding.
  • Table 34 schematically shows an example of the above-described codeword.
  • the codewords for each prediction mode have different lengths.
  • the length of each codeword is approximately proportional to the absolute value of the log value of the probability of occurrence. Therefore, to increase the coding efficiency, it is better to use the shortest codeword for the most frequent symbols.
  • the coding efficiency can be increased without increasing the complexity of encoding / decoding.
  • FIG. 4 As an example of measuring the probability of occurrence for each prediction type (prediction mode), FIG. 4 has been described above.
  • the 2Nx2N inter mode has a larger portion than the direct mode
  • the Nx2N inter mode has a larger portion than the 2NxN inter mode. Accordingly, the codewords for the 2Nx2N inter mode and the direct mode may be switched according to the frequency of occurrence, that is, the portion, and the codewords for the Nx2N inter mode and the 2NxN inter mode may be exchanged with each other.
  • Table 35 rearranges the codewords for each prediction type in Table 34 as described above.
  • a codeword of 0 is assigned to a prediction type to be signaled separately and distinguished first. Then, codewords are allocated to the remaining prediction types again to indicate which prediction type is applied at a time. Descriptions regarding this are not significantly different from those described with reference to FIGS. 5 to 8.
  • FIG. 3 illustrates an example in which the merge mode is applied in units of coding units as described above.
  • FIG. 9 is described above. In the example of FIG. 9, as described above, whether the merge mode is applied to each partition of the inter mode may be signaled.
  • FIGS. 11 to 13 illustrates potions (frequency) of each prediction type when merge mode is applied in units of prediction units. Even when the merge mode is applied in units of prediction units, the signaling order for each prediction type may be adjusted or a codeword may be allocated in consideration of the frequency of occurrence, as described above with reference to FIGS. 11 to 13.
  • FIG. 14 schematically illustrates an example of a decoding process.
  • the prediction data is subjected to a prediction mode decoding process and a MC (Motion Compensation) predictor generation process.
  • Coefficient data is subjected to a coefficient data decoding process and a residual data generation process.
  • the final decoded image is then generated.
  • FIG. 15 is a diagram illustrating a prediction mode decoding process illustrated in FIG. 14.
  • ⁇ (merge) skip mode and merge mode ⁇ is applied as a prediction mode using motion information of a neighboring block as motion information of a current block is described as an example.
  • Signaling as mode information in relation to the prediction in the inter slice includes information on whether to split, information on whether skip mode is applied, information on whether merge mode is applied, and prediction type of inter mode / intra mode. Information may be included. Information about which prediction type of inter mode / intra mode is applied can be divided into four types (2Nx2N, NxN, 2NxN, Nx2N) according to partition size in the inter mode, and in partition mode in the intra mode. Therefore, it can be divided into two (2Nx2N, NxN). Of course, in the case of the inter mode, as described above, it may further have a partition size of 2NxnU, 2NxnD, nLx2N, nRx2N.
  • the decoder divides a coding unit according to the split flag (flat_flag), and then applies a skip mode according to the skip flag.
  • the prediction type to be applied to the current block is determined based on information indicating the prediction type (eg, mode_and_partition).
  • the inter prediction mode it may be determined whether the merge mode is applied on a prediction unit basis through the merge flag.
  • the NxN partition size may be present only when the size of the current coding unit is minimum regardless of whether the mode is inter mode or intra mode.
  • all prediction types including information about a prediction mode and a partition may be signaled using joint coding.
  • FIG. 16 is a diagram schematically illustrating an example of a method of signaling a prediction mode and partition information through joint coding.
  • Table 36 shows an initial codeword allocated at the time of joint coding as an example of the joint coding table according to the example of FIG. 15.
  • Such adaptation may be independently performed for each depth of each block. In other words, adaptation may be performed independently according to the size of the coding unit.
  • the compression effect may be further enhanced by changing the range of joint coding.
  • the joint coding targets are split, skip mode, 2Nx2N merge mode, 2Nx2N inter mode, 2NxN inter mode, Nx2N inter mode, NxN inter mode, Whether to apply 2Nx2N intra mode or whether to apply NxN intra mode.
  • whether 2NxN merge mode is applied, whether Nx2N merge mode is applied, or whether NxN merge mode is applied may be a target of joint coding.
  • the signaling method according to FIG. 16 increases compression efficiency through codeword adaptation (or switching) after joint coding.
  • split_flag whether or not splitting is performed, the signal is signaled at the front end when the joint coding is not performed, so that it can be processed as an information amount of 1 bit.
  • Value can use the smallest amount of information (shortest codeword).
  • the position of information indicating whether to split (for information convenience, referred to as information indicating split mode) is pushed back to make longer codes. It is placed at the position where the word is assigned. Therefore, if a split mode is selected later, a waste of bits may occur.
  • FIG. 17 is a diagram schematically illustrating an example of a case where a bit of waste occurs due to a long codeword assigned to a split mode.
  • a codeword of 1 is initially assigned to a split mode, but when a skip mode is selected, the position of the skip mode and the position of the split mode are switched.
  • the 2N ⁇ 2N merge mode is selected again, the position of the split mode is switched with the position of the 2N ⁇ 2N merge mode.
  • the split flag split_flag
  • Whether or not to split may be signaled using a flag, and joint coding may be applied by adding information or mode to the remaining modes.
  • Joint coding may be applied to the split mode and the skip mode, and joint coding may be applied to the remaining modes separately from the split mode and the skip mode.
  • the merge mode to be joint coded may be a merge flag (merge_flag), or may be a specific mode such as a 2N ⁇ 2N merge mode.
  • merge_flag merge flag
  • the merge flag is used to determine whether the merge mode is applied, and when the intra mode is selected, the MOST flag (mpm_flag) in the merge flag is selected. ) Can be used to determine whether the mpm value is applied.
  • a change in the joint coding range may be adaptively applied.
  • the above-described methods of applying joint coding by changing the target range are adaptively applied to units such as depth / block / slice / frame / GOP (group of picture), and the like.
  • Applicable As an example of a method of adaptively applying a change in the joint coding range, the following methods may be considered.
  • codeword for each joint coding may be changed for a unit such as depth / block / slice / frame / GOP.
  • methods such as signaling additional information for each application unit, determining whether to apply using surrounding information, or determining whether to apply based on statistical values may be used.
  • the information of the previous slice / frame is applied to the current slice / prime, or the cumulative statistical information of the plurality of previous slices / frames is applied to the current slice / prime.
  • the method may be applied to a frame or to apply cumulative statistical information of some or all of the blocks decoded before the current block in the same slicer / frame to the current slice / frame.
  • any one of the elements of the joint coding may be the object of initialization, all of the elements of the joint coding may be the object of initialization, and only some of the plurality of elements of the joint coding are the object of initialization. You can also do
  • the unit of initialization may be a coding unit or may be a largest coding unit (LCU). Also, a slice, a frame, a GOP, or the like may be used as an initialization unit.
  • LCU largest coding unit
  • a slice, a frame, a GOP, or the like may be used as an initialization unit.
  • the case where the joint coding element which is the object of initialization is set to the split mode, and the unit of initialization is made into the largest coding unit can be considered.
  • the largest coding unit may be the largest size among the coding units, and may set the depth of the maximum coding unit to zero.
  • the maximum coding unit is divided into four, the depth increases, and recursively into multiple sub-coding units (sub-CU) within the maximum coding unit, that is, the sub-coding unit is converted back into several sub-coding units. By dividing, it can be divided up to a predetermined depth.
  • FIG. 18 is a diagram schematically illustrating an example of adaptation initialization in which a split mode is an initialization target and a maximum coding unit is an initialization unit in a system to which the present invention is applied.
  • the adaptation continues in the initial state. For example, for the first target block, if the skip mode is selected, the split mode may be switched with the skip mode. Subsequently, if the 2N ⁇ 2N merge mode is selected for the next target block, the split mode may be switched back to the 2N ⁇ 2N merge mode. Again, if the 2N ⁇ 2N inter mode is selected for the next target block, the split mode is switched to the 2N ⁇ 2N inter mode.
  • the split mode When the block in which the prediction mode is selected is moved while crossing the boundary of the largest coding unit, the split mode is initialized. Therefore, the position of the split mode is moved to the position corresponding to the codeword '1' which is the first position, and the positions of the other modes are adjusted one by one.
  • codewords are adapted for every signaling for the prediction mode by a raster scan order. You can modify this to increase the compression effect.
  • 19 is a diagram schematically illustrating a method of codeword adaptation.
  • 19 (a) schematically illustrates a method of adapting a codeword according to a raster scan order as in the current method.
  • the adaptation result is accumulated, which affects the coding of the next block.
  • the encoding performance of the current block can be further improved by referring to the tendency of neighboring blocks rather than the tendency that has accumulated continuously.
  • the trend of the block A or the block C, which is the neighboring block may be referred to rather than the trend accumulated to the block C in the encoding of the block D. This is because block D has a high probability of having characteristics similar to block A or block C, which is a neighboring block.
  • the adaptation method can be changed as follows.
  • the result of the adaptation is accumulated, but the neighboring block may be referred to to determine whether or not to adapt.
  • the neighboring block may be referred to to determine whether or not to adapt the adaptation.
  • the adaptation can be performed with different criteria. For example, the adaptation may be performed while accumulating the result in the split mode, and the adaptation may be performed by referring to the neighboring blocks for the other modes.
  • the adaptation may be performed based on the identity of the neighboring block, the size of the current block, and the type of the mode. In this case, the degree of adaptation may be changed according to the number of neighboring blocks having the same type of mode.
  • FIG. 20 is a diagram schematically illustrating an example of a peripheral reference block for adaptation in a system to which the present invention is applied.
  • Peripheral blocks referenced for adaptation may be set as shown in the example of FIG. 20.
  • neighboring blocks may be selectively referred to in units of a largest coding unit (LCU).
  • LCU largest coding unit
  • FIG. 7B neighboring blocks may be selectively referred to in units of coding units (CUs).
  • the neighboring block may include not only spatial neighboring blocks (A, B, C, D, etc.) but also temporal neighboring blocks (Col LCU, Col CU).
  • the coding unit may refer to the neighboring partition in units of more divided partitions.
  • the maximum coding unit (LCU) or the coding unit (CU) may include a plurality of partitions of different types. Therefore, when referring to the neighboring block, it is possible to refer only to the case of having the same type of coding unit size or partition, or to refer whether or not to have the same type of coding unit size or partition.
  • priority or weight may be given according to the position of the reference block.
  • the current maximum coding unit or the current coding unit refers to the block A first, and references the neighboring block in a manner that refers to the block B when the block A is not available. You can do that.
  • 21 is a view schematically illustrating an embodiment of a method of changing adaptation in a system to which the present invention is applied.
  • FIG. 21A schematically illustrates an embodiment in which adaptation is applied in units of a largest coding unit. Therefore, in the example of FIG. 21A, an initial codeword can be adapted to each prediction partition belonging to the largest coding units A and B.
  • the adapted codeword mapping table joint coding table
  • LCU current largest coding unit
  • 21 (b) also schematically illustrates an embodiment in which adaptation is applied in units of a largest coding unit.
  • an initial codeword is adapted to each prediction partition belonging to the largest coding units A and B, but is independently performed according to the coding unit size. Therefore, a plurality of codeword mapping tables are used in accordance with the coding unit size.
  • the adapted codeword is used to encode each prediction partition belonging to the current largest coding unit, but when a adaptation is performed, a plurality of codeword mapping tables independently generated according to the coding unit size are used. do. Therefore, when the coded unit belonging to the current largest coding unit is encoded using the codeword mapping table, a codeword mapping table determined for each coding unit size can be used. For example, in the example of FIG. 21B, a codeword mapping table adapted to a region c having the same size for the region a may be used, and a codeword mapping table adapted to the region d having the same size for the region b. Can be used.
  • the method for signaling mainly based on the inter prediction mode has been described, but as can be seen in the joint coding table and the like described above, the signaling is performed in the intra mode when the prediction is performed.
  • FIG. 22 is a diagram schematically illustrating an example of an intra prediction method for a current block.
  • intra modes of the left block 2220 and the upper block 2230 may be checked.
  • the encoder may then signal a flag indicating whether the intra mode of the current block is MPM. If the flag is set then the intra mode of the current block is MPM. When the intra mode of the current block is not the MPM, information of mode B indicating the intra mode of the current block may be signaled.
  • mode B is used as an intra mode for the current block. If mode B ⁇ MPM, use the mode of mode B + 1 as the intra mode for the current block. This is because the case in which the intra mode of the current block is MPM has already been signaled before, and thus it does not need to be considered in this case.
  • the MPM may be inferred into the DC prediction mode in this case.
  • a method of determining the MPM to increase the compression efficiency may be considered.
  • the MPM when an invalid candidate is currently included in an MPM candidate (eg, an upper block, a left block, etc.), the MPM is determined as the DC mode. In some cases, however, if some of the MPM candidates are valid, the intra prediction mode of the valid candidates may be used as the MPM of the current block.
  • FIG. 23 is a diagram schematically illustrating an example of a method of determining an MPM when some of the MPM candidates are valid in a system to which the present invention is applied.
  • the case where the current block is located at the boundary of the frame 2310 is described.
  • the MPM of the current block 2320 may be set to the mode of the left block 2340.
  • the MPM of the current block 2350 may be set to the mode of the upper block 2360.
  • MPM min (intra mode of the left block, intra mode of the upper block).
  • setting the minimum mode to MPM among candidates is effective in terms of signaling overhead, but it is difficult to accurately reflect the intra prediction mode of the current block.
  • a method of setting the MPM of the current block as an average of the intra mode of the upper block and the intra mode of the left block may be considered. Since the MPM is derived as an integer value and corresponds to the intra prediction mode, if the average of the intra mode of the upper block and the intra mode of the left block is not an integer, rounding is applied to round or round the value below the decimal point. You may.
  • the MPM of the current block becomes mode 6 as (4 + 8) / 2.
  • the MPM of the current block becomes (3 + 6) / 2 as 4.5, which is rounded up to the MPM of the current block. May be set to mode 5, or the MPM of the current block may be set to mode 4 by rounding down.
  • Such a change of the MPM determination method may be adaptively applied in units of blocks, slices, or frames.
  • the intra prediction mode of the upper block and the intra prediction mode of the left block are currently used as MPM candidates.
  • the accuracy of prediction can be increased.
  • the MPM code for the current block 2400 may be represented by an intra prediction mode of a left-above block, an intra prediction mode of a right-above block, and a left-below block. It may be extended to an intra prediction mode of, an intra prediction mode of an upper block, an intra prediction mode of a left block, and an intra prediction mode of a temporal neighboring block col.
  • the temporal neighboring block indicates a block at the same position as the current block in a frame or slice encoded in time before the current frame or slice.
  • the extension of the MPM candidate block can be adaptively applied in units of blocks, slices, or frames.
  • the method of determining the MPM may be considered to be variously expanded.
  • the MPM determination method it may be considered to use at least one of the following methods.
  • MPM mim (MPM candidates). According to the method, the minimum mode may be selected as the MPM of the current block among the MPM candidates.
  • MPM average (MPM candidates). According to the method, it is possible to select the average of the MPM candidates as the MPM of the current block. In this case, when the average of the MPM candidates is not an integer, rounding may be applied as described above.
  • MPM median (MPM candidates). According to the present invention, the median of the MPM candidates can be selected as the MPM of the current block.
  • MPM mode (MPM candidates).
  • the most frequently selected or generated candidate among the MPM candidates may be the MPM of the current block.
  • Changing the MPM determination method based on the extended MPM candidates can be adaptively applied on a block, slice, or frame basis.
  • 25 is a flowchart schematically illustrating an operation of an encoder in a system to which the present invention is applied.
  • the encoder performs prediction on the current block (S2510).
  • the encoder may apply intra prediction or inter prediction to the current block.
  • the prediction may be performed in consideration of the partition size, slice type, etc. of the current block.
  • the encoder entropy encodes the prediction result of the current block (S2520).
  • entropy encoding may use a method such as CABAC or CAVLC. Codewords may be allocated in consideration of the occurrence frequency of each prediction mode or prediction type.
  • the encoder signals entropy encoded information (S2520).
  • a method of signaling information about a prediction mode a method of signaling whether a specific prediction mode / prediction type is applied using separate information, for example, a flag may be used, and each element included in the prediction type may be used. After joint coding at once, it may signal which prediction mode is applied among several prediction modes.
  • 26 is a diagram schematically illustrating an operation of a decoder in a system to which the present invention is applied.
  • the decoder receives information from an encoder (S2610).
  • Information received from the encoder may be included in the bitstream and transmitted, and may include information about prediction of the current block.
  • the decoder may perform entropy decoding to extract necessary information (S2620).
  • the decoder may determine which prediction type / prediction mode is applied to the current block based on the extracted codeword.
  • the extracted codeword may be allocated in consideration of the occurrence frequency of the prediction type / prediction mode.
  • the signaling order of the transmitted information may also be determined in consideration of the occurrence frequency of the prediction mode / prediction type.
  • the information about the prediction mode / prediction type is jointly coded with each element constituting the information of the prediction mode / prediction type to allocate a codeword, among which corresponds to the prediction mode / prediction type applied to the current block.
  • the codeword may be transmitted. Details are as described above.
  • the decoder performs prediction on the current block (S2630).
  • the decoder performs prediction according to the prediction mode / prediction type determined in the previous step to be applied to the current block.
  • the decoder reconstructs the image of the current block based on the predicted result (S2640).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 예측 모드(prediction mode)에 관한 정보의 시그널링 방법과 이를 이용한 영상 정보의 복호화 방법에 관한 것으로서, 본 발명에 따른 예측 모드 정보의 시그널링 방법은 영상 정보의 시그널링 방법으로서, 현재 블록에 대한 예측을 수행하는 단계 및 상기 현재 블록에 적용한 예측 타입의 정보를 시그널링 하는 단계를 포함하며, 상기 시그널링 단계에서는, 상기 예측 타입의 정보를 구성하는 정보 요소들을 조인트 코딩하여 시그널링할 수 있으며, 본 발명에 의하면 예측에 관한 정보를 시그널링 할 때 오버헤드를 줄일 수 있다.

Description

영상 정보의 시그널링 방법 및 이를 이용한 영상 정보의 복호화 방법
본 발명은 영상 정보 압축 기술에 관한 것으로서, 더 구체적으로는 예측 모드(prediction mode)에 관한 정보의 시그널링 방법과 이를 이용한 영상 정보의 복호화 방법에 관한 것이다.
최근, 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 하지만, 영상의 고해상도, 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다. 따라서 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우, 정보의 전송 비용과 저장 비용이 증가하게 된다.
고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술을 이용할 수 있다.
영상 압축의 효율을 높이기 위해, 화면 간 예측과 화면 내 예측을 이용할 수 있다. 화면 간 예측(inter prediction) 방법에서는 다른 픽처의 정보를 참조하여 현재 픽처(picture)의 화소값을 예측하며, 화면 내 예측 방법(intra prediction)에서는 동일한 픽처 내에서 화소 간 연관 관계를 이용하여 화소값을 예측한다.
한편, 엔트로피 코딩의 방법으로서 CABAC(Context-based Adaptive Binary Arithmetic Coding)을 적용하는 방법과 CAVLC(Context-based Adaptive Variable Length Coding)를 적용하는 방법이 있다.
CABAC은 콘택스트에 따라서 각 신택스 엘리먼트(element)에 대한 확률 모델을 선택하고, 내부적인 통계를 통해 확률 모델의 확률을 변경하며, 산술 코딩을 이용해서 압축을 수행한다. 엔트로피 코딩 모드로서 CAVLC가 사용되는 경우에는, 각 신택스 엘리먼트에 대해 소정의 VLC(Variable Length Coding) 테이블을 이용하여 부호화를 수행한다.
본 발명은 전송 오버헤드를 줄일 수 있는 시그널링 방법 및 장치를 제공하는 것을 목적으로한다.
본 발명은 현재 블록에 적용되는 예측 타입에 관한 정보를 조인트 코딩을 통해 시그널링하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 또한, 예측 타입별 발생 빈도를 고려하여 시그널링 순서를 정하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 또한, 예측 타입별 발생 빈도를 고려하여 예측 타입에 대한 코드워드를 할당하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 또한, 예측 타입별 발생 빈도를 고려하여 예측 타입에 대한 코드워드를 어댑테이션(adaptation)하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 또한, 압축 효율을 증가시키고 예측 효과를 높이기 위해 MPM(Most Probable Mode)를 효과적으로 선택하는 방법 및 장치를 제공하는 것을 목적으로 한다.
(1) 본 발명의 일 실시형태는 영상 정보의 시그널링 방법으로서, 현재 블록에 대한 예측을 수행하는 단계 및 상기 현재 블록에 적용한 예측 타입의 정보를 시그널링 하는 단계를 포함하며, 상기 시그널링 단계에서는, 상기 예측 타입의 정보를 구성하는 정보 요소들을 조인트 코딩하여 시그널링할 수 있다.
(2) (1)에서, 상기 정보 요소들은 예측 모드에 관한 정보 및 파티션 사이즈에 관한 정보를 포함할 수 있다.
(3) (2)에서, 상기 정보 요소들은 블록의 분할 여부에 관한 정보 및 슬라이스 타입에 관한 정보 중 적어도 하나를 더 포함할 수 있다.
(4) (1)에서, 상기 조인트 코딩을 통해서, 선택 비율이 높은 예측 타입에 짧은 코드워드를 할당할 수 있다.
(5) (1)에서, 상기 현재 블록에 적용 가능한 예측 타입 중 소정의 예측 타입의 적용 여부는 각각 플래그를 이용하여 별도로 시그널링할 수 있다.
(6) (5)에서, 상기 소정의 예측 타입은 스킵 모드일 수 있다.
(7) (5)에서, 상기 소정의 예측 타입은 스킵 모드 및 머지 모드일 수 있으며, 상기 현재 블록에 대한 스킵 모드의 적용 여부는 우선적으로 시그널링하고, 상기 현재 블록에 인터 예측 모드가 적용되는 것이 시그널링 되는 경우에 상기 현재 블록에 대한 머지 모드의 적용 여부를 시그널링하도록 할 수 있다.
(8) (5)에서, 상기 조인트 코딩을 통해서, 선택 비율이 높은 예측 타입에 짧은 코드워드를 할당할 수 있다.
(9) 본 발명의 다른 실시 형태는 영상 정보의 복호화 방법으로서, 정보를 수신하는 단계, 상기 수신한 정보를 기반으로 현재 블록에 대한 예측을 수행하는 단계 및 수행된 예측을 기반으로 현재 블록을 복원하는 단계를 포함하며, 상기 수신된 정보에는 상기 현재 블록에 적용된 예측 타입을 구성하는 정보 요소들이 조인트 코딩되어 있을 수 있다.
(10) (9)에서, 상기 정보 요소들은 예측 모드에 관한 정보 및 파티션 사이즈에 관한 정보를 포함할 수 있다.
(11) (10)에서, 상기 정보 요소들은 블록의 분할 여부에 관한 정보 및 슬라이스 타입에 관한 정보 중 적어도 하나를 더 포함할 수 있다.
(12) (9)에서, 상기 조인트 코딩에 의해, 상기 예측 타입 중 발생 비율이 높은 예측 타입에는 짧은 코드워드가 할당되어 있을 수 있다.
(13) (9)에서, 상기 현재 블록에 적용 가능한 예측 타입 중 소정의 예측 타입의 적용 여부는 각각 플래그를 이용한 별도의 정보로 수신될 수 있다.
(14) (13)에서, 상기 소정의 예측 타입은 스킵 모드 및 머지 모드일 수 있으며, 상기 스킵 모드의 적용 여부는 우선적으로 수신되고, 상기 현재 블록에 인터 예측 모드가 적용되는 것이 수신된 경우에 상기 현재 블록에 대한 머지 모드의 적용 여부가 수신되도록 할 수 있다.
본 발명에 의하면, 예측에 관한 정보를 시그널링하는 경우에 오버헤드를 줄일 수 있다.
본 발명에 의하면, 현재 블록에 적용되는 예측 타입에 관한 정보를 조인트 코딩함으로써, 시그널링의 오버헤드를 줄일 수 있다.
본 발명에 의하면, 예측 타입별 발생 빈도를 고려하여 시그널링 순서를 정하거나, 코드워드를 할당함으로써, 전송 효율을 높일 수 있다.
본 발명에 의하면, 예측 타입별 발생 빈도를 고려하여 예측 타입에 대한 코드워드를 어댑테이션(adaptation)함으로써, 전송 오버헤드를 줄이고 전송 비트량을 감소시킬 수 있다.
본 발명에 의하면, MPM(Most Probable Mode)를 효과적으로 선택함으로써, 압축 효율을 증가시키고 예측 효과를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치(부호화기)를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화기를 개략적으로 나타낸 블록도이다.
도 3은 부호화 유닛 단위에서 머지가 수행되는 경우에 예측에 관한 정보를 시그널링하는 방법의 일 예를 개략적으로 도시한 것이다.
도 4는 각 예측 타입의 발생 빈도를 개략적으로 나타낸 도면이다.
도 5는 본 발명이 적용되는 시스템에서 부호화기가 시그널링하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 6은 본 발명이 적용되는 시스템에서 부호화기가 시그널링하는 방법의 다른 예를 개략적으로 설명하는 도면이다.
도 7과 도 8은 본 발명이 적용되는 시스템에서 부호화기가 시그널링하는 방법의 다른 예를 개략적으로 설명하는 도면이다.
도 9는 예측 유닛 단위에서도 머지가 수행되는 경우에 예측에 관한 정보를 시그널링하는 방법의 일 예를 개략적으로 도시한 것이다.
도 10은 예측 유닛 단위로 머지 모드를 적용하는 경우에 각 예측 타입의 발생 빈도를 개략적으로 나타낸 도면이다.
도 11은 본 발명이 적용되는 시스템에서 부호화기가 시그널링하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 12는 본 발명이 적용되는 시스템에서 부호화기가 시그널링하는 방법의 다른 예를 개략적으로 설명하는 도면이다.
도 13은 본 발명이 적용되는 시스템에서 부호화기가 시그널링하는 방법의 다른 예를 개략적으로 설명하는 도면이다.
도 14는 복호화 과정의 일 예를 개략적으로 나타낸 것이다.
도 15는 복호화 과정 중 예측 모드 복호화 과정을 설명하는 도면이다.
도 16은 예측 모드와 파티션 정보 등을 조인트 코딩을 통해 시그널링하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 17은 분할 모드에 할당되는 코드워드가 길어져서 비트의 낭비가 발생하는 경우의 예를 개략적으로 설명하는 도면이다.
도 18은 본 발명이 적용되는 시스템에서 분할 모드를 초기화의 대상으로 하고, 최대 부호화 유닛을 초기화 단위로 하는 어댑테이션 초기화의 예를 개략적으로 설명하는 도면이다.
도 19는 코드워드 어댑테이션의 방법을 개략적을 설명하는 도면이다.
도 20은 본 발명이 적용되는 시스템에서 어댑테이션을 위한 주변 참조 블록의 예를 개략적으로 설명하는 도면이다.
도 21은 본 발명이 적용되는 시스템에서 어댑테이션을 변경하는 방법에 대한 실시예를 개략적으로 설명하는 도면이다.
도 22는 현재 블록에 대한 인트라 예측 방법의 일 예를 개략적으로 설명하는 도면이다.
도 23은 본 발명이 적용되는 시스템에서 MPM 후보 중 일부가 유효한 경우에 MPM을 결정하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 24는 본 발명이 적용되는 시스템에서 MPM 후보의 확장을 개략적으로 설명하는 도면이다.
도 25는 본 발명이 적용되는 시스템에서 부호화기의 동작을 개략적으로 설명하는 순서도이다.
도 26은 본 발명이 적용되는 시스템에서 복호화기의 동작을 개략적으로 설명하는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 영상 부호화/복호화 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치(부호화기)를 개략적으로 도시한 블록도이다. 도 1을 참조하면, 영상 부호화 장치(100)는 픽처 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 부호화부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 구비한다.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 단위로 분할할 수 있다. 이때, 처리 단위는 예측 유닛(Prediction Unit, 이하 ‘PU’라 함)일 수도 있고, 변환 유닛(Transform Unit, 이하 ‘TU’라 함)일 수도 있으며, 코딩 유닛(Coding Unit, 이하 ‘CU’라 함)일 수도 있다.
예측부(110)는 후술하는 바와 같이, 화면 간 예측을 수행하는 화면 간 예측부와 화면 내 예측을 수행하는 화면 내 예측부를 포함한다. 예측부(110)는, 픽처 분할부(105)에서 픽처의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성한다. 예측부(110)에서 픽처의 처리 단위는 CU일 수도 있고, TU일 수도 있고, PU일 수도 있다. 또한, 해당 처리 단위에 대하여 실시되는 예측이 화면 간 예측인지 화면 내 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)를 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 PU 단위로 결정되고, 예측의 수행은 TU 단위로 수행될 수도 있다.
화면 간 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 화면 내 예측을 통해서는 현재 픽처 내의 화소 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
화면 간 예측에서는 PU에 대하여, 참조 픽처를 선택하고 PU와 동일한 크기의 참조 블록을 정수 화소 샘플 단위로 선택할 수 있다. 이어서, 현재 PU와의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되는 예측 블록을 생성한다. 화면 내 예측의 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 등을 이용할 수 있다. 예측 블록은 1/2 화소 샘플 단위와 1/4 화소 샘플 단위와 같이 정수 이하 샘플 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 화소 이하의 단위로 표현될 수 있다. 예컨대 휘도 화소에 대해서는 1/4 화소 단위로, 색차 화소에 대해서는 1/8 화소 단위로 표현될 수 있다.
화면 간 예측을 통해 선택된 참조 픽처의 인덱스, 움직임 벡터(ex. Motion Vector Predictor), 레지듀얼 신호 등의 정보는 엔트로피 부호화되어 복호화기에 전달된다.
화면 내 예측을 수행하는 경우에는, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수 있다. 또한, PU 단위로 예측 모드가 정해지고 TU 단위로 화면 내 예측이 수행될 수도 있다.
화면 내 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비방향성 모드는 DC 예측 모드 및 플레너 모드(Planar 모드)을 포함할 수 있다.
화면 내 예측에서는 예측 모드에 따라 참조 화소에 AIS(Adaptive Intra Smoothing) 필터를 적용한 후 예측 블록을 생성할 수 있다. 참조 화소에 적용되는 AIS 필터의 종류는 상이할 수 있다. 또한, 화면 내 예측에서는 현재 블록의 예측 모드에 따라 참조 화소를 1/8 화소 단위로 보간하여 예측을 수행할 수 있다.
PU는 다양한 사이즈/형태를 가질 수 있으며, 예컨대 화면 간 예측의 경우에 PU는 2N×2N, 2N×N, N×2N, 또는 N×N 등의 크기를 가질 수 있다. 화면 내 예측의 경우에 PU는 2N×2N 또는 N×N (N은 정수) 등의 크기를 가질 수 있다. 이때, N×N 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 코딩 유닛에 대해서만 NxN의 PU를 이용하도록 정하거나 화면 내 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN, mN×N, 2N×mN 또는 mN×2N (m<1) 등의 크기를 가지는 PU를 더 정의하여 사용할 수도 있다.
생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(115)로 입력된다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 부호화부(130)에서 부호화되어 복호화기에 전달된다.
변환부(115)는 변환 단위로 레지듀얼 블록에 대한 변환을 수행하고 변환 계수를 생성한다. 변환부(115)에서의 변환 단위는 TU일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다. 이때, 변환 단위의 크기는 소정의 최대 및 최소 크기의 범위 내에서 정해질 수 있다. 변환부(115)는 레지듀얼 블록을 DCT(Discrete Cosine Transform) 및/또는 DST(Discrete Sine Transform)를 이용하여 변환할 수 있다.
양자화부(120)는 변환부(115)에서 변환된 레지듀얼 값들을 양자화하여 양자화 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공된다.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화 계수를 재정렬한다. 양자화 계수를 재정렬함으로써 엔트로피 부호화부(130)에서의 부호화의 효율을 높일 수 있다. 재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화 계수들을 1차원의 벡터 형태로 재정렬할 수 있다. 재정렬부(125)에서는 양자화부에서 전송된 계수들의 확률적인 통계를 기반으로 계수 스캔닝의 순서를 변경함으로써 엔트로피 부호화부(130)에서의 엔트로피 부호화 효율을 높일 수도 있다.
엔트로피 부호화부(130)는 재정렬부(125)에 의해 재정렬된 양자화 계수들에 대한 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화에는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다. 엔트로피 부호화부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 CU의 양자화 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, PU 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽처 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 부호화할 수 있다.
또한, 엔트로피 부호화부(130)는 필요한 경우에, 전송하는 파라미터 셋 또는 신택스에 일정한 변경을 가할 수도 있다.
역양자화부(135)는 양자화부(120)에서 양자화된 값들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환한다. 역양자화부(135) 및 역변환부(140)에서 생성된 레지듀얼 값은 예측부(110)에서 예측된 예측 블록과 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다.
필터부(145)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 화소 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
한편, 화면 간 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽처를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽처는 화면 간 예측을 수행하는 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화기를 개략적으로 나타낸 블록도이다. 도 2를 참조하면, 영상 복호화기(200)는 엔트로피 복호화부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)를 포함할 수 있다.
영상 부호화기에서 영상 비트 스트림이 입력된 경우, 입력된 비트 스트림은 영상 부호화기에서 영상 정보가 처리된 절차에 따라서 복호화될 수 있다.
예컨대, 영상 부호화기에서 엔트로피 부호화를 수행하기 위해 CAVLC 등의 가변 길이 부호화(Variable Length Coding: VLC, 이하 ‘VLC’ 라 함)가 사용된 경우에, 엔트로피 복호화부(210)도 부호화기에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 복호화를 수행할 수 있다. 또한, 영상 부호화기에서 엔트로피 부호화를 수행하기 위해 CABAC을 이용한 경우에, 엔트로피 복호화부(210)는 이에 대응하여 CABAC을 이용한 엔트로피 복호화를 수행할 수 있다.
엔트로피 복호화부(210)에서 복호화된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고 엔트로피 복호화부에서 엔트로피 복호화가 수행된 레지듀얼 값은 재정렬부(215)로 입력될 수 있다.
재정렬부(215)는 엔트로피 복호화부(210)에서 엔트로피 복호화된 비트 스트림을 영상 부호화기에서 재정렬한 방법을 기초로 재정렬할 수 있다. 재정렬부(215)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)는 부호화기에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 해당 부호화부에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통해 재정렬을 수행할 수 있다.
역양자화부(220)는 부호화기에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 영상 부호화기에서 수행된 양자화 결과에 대해, 부호화기의 변환부가 수행한 DCT 및 DST에 대해 역DCT 및/또는 역DST를 수행할 수 있다. 역변환은 부호화기에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 부호화기의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 복호화기의 역변환부(225)는 부호화기의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예측부(230)는 엔트로피 복호화부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 복호화된 블록 및/또는 픽처 정보를 기초로 예측 블록을 생성할 수 있다. 복원 블록은 예측부(230)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용해 생성될 수 있다. 현재 PU에 대한 예측 모드가 인트라 예측(intra prediction) 모드(화면 내 예측 모드)인 경우에, 현재 픽처 내의 화소 정보를 기초로 예측 블록을 생성하는 화면 내 예측을 수행할 수 있다.
현재 PU에 대한 예측 모드가 인터 예측(inter prediction) 모드(화면 간 예측 모드)인 경우에, 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 PU에 대한 화면 간 예측을 수행할 수 있다. 이때, 영상 부호화기에서 제공된 현재 PU의 화면 간 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 부호화기로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.
복원된 블록 및/또는 픽처는 필터부(235)로 제공될 수 있다. 필터부(235)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 적응적 루프 필터링 등을 적용한다.
메모리(240)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽처를 출력부로 제공할 수 있다.

한편, 부호화기에서 예측이 수행되면, 예측에 관한 정보, 예컨대 예측 모드와 파티션에 관한 정보 등이 복호화기에 시그널링된다. 예측에 관한 정보의 시그널링은 다양한 방법으로 수행될 수 있다. 예컨대, 예측에 관한 정보가 시그널링될 때, 현재 블록의 예측에 현재 블록에 인접한 주변 블록(이하, ‘현재 블록에 인접한 주변 블록’을 설명의 편의를 위해 ‘주변(neighbor) 블록’이라 함)의 움직임 정보를 현재 블록의 움직임 정보로 사용하는 모드에 관한 정보가 먼저 시그널링되도록 할 수 있다.
주변 블록의 움직임 정보를 현재 블록의 움직임 정보로서 이용하는 방법으로 스킵 모드, 다이렉트 모드, 머지 모드를 이용하는 방법이 있다. 세 모드 모두 주변 블록의 움직임 정보를 현재 블록의 움직임로 이용하기 때문에, 움직임 정보를 직접적으로 전송하지는 않는다. 다만, 스킵 모드에서는 레지듀얼 정보를 전송하지 않는 반면에 다이렉트 모드와 머지 모드에서는 레지듀얼 정보를 전송할 수 있다. 이때, 스킵 모드와 머지 모드에서는 어떤 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로서 이용할 것인지를 지시하는 정보를 전송할 수 있다.
현재 블록의 예측에 주변 블록의 정보를 이용하는 또 다른 방법으로서, (머지) 스킵 모드와 머지 모드를 이용하는 방법을 고려할 수도 있다. (머지) 스킵 모드에서는 현재 블록 주변의 후보 블록들 중에서 소정의 블록을 선택하고, 선택된 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용하되, 레지듀얼 신호도 전송하지 않는다. 스킵 모드에서는, (머지) 스킵 모드의 경우와 마찬가지로, 현재 블록 주변의 후보 블록들 중에서 소정의 블록을 선택하고, 선택된 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용하되, 레지듀얼 정보를 전송한다. 이때, 레지듀얼 정보는 선택된 블록의 움직임 정보가 지시하는 참조 블록을 기반으로 생성된 예측 블록과 현재 블록의 화소값 차이에 관한 정보일 수 있다. (머지) 스킵 모드 또는 머지 모드를 적용하는 경우에는 현재 블록이 어떤 후보 블록의 움직임 정보를 이용하는지를 지시하는 정보를 전송할 수 있다.
주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 사용하지 않는 경우에도, 현재 블록의 움직임 정보를 주변 블록의 움직임 정보를 이용해서 예측할 수 있다. 예컨대, 부호화기는 현재 블록의 움직임 벡터와 주변 블록의 움직임 벡터의 차이를 나타내는 움직임 벡터 차이 정보를 복호화기에 시그널링하고, 복호화기는 주변 블록의 움직임 정보와 상기 움직임 벡터 차이 정보를 기반으로 현재 블록의 움직임 정보를 예측하도록 할 수 있다.
스킵 모드, 다이렉트 모드, 머지 모드를 이용할 때, 상기 세 모드에 해당하지 않으면, 부호화기는 현재 블록의 예측 모드와 함께 파티션 정보를 복호화기에 시그널링한다. 머지 모드에 있어서, 부호화 유닛 단위에서 머지 모드가 수행되는 경우라면 부호화기는 현재 블록의 예측 모드와 파티션 정보를 복호화기에 시그널링하지 않지만, 예측 유닛 단위에서 머지 모드가 수행되는 경우라면 부호화기는 현재 블록의 예측 모드와 파티션 정보를 복호화기에 전송한다.
(머지) 스킵 모드와 머지 모드를 이용하는 경우에도, 스킵 모드, 다이렉트 모드, 머지 모드를 이용하는 경우와 동일하게 처리될 수 있다. 예컨대, (머지) 스킵 모드와 머지 모드에 해당하지 않으면, 부호화기는 현재 블록의 예측 모드와 함께 파티션 정보를 복호화기에 시그널링하도록 할 수 있다. 머지 모드에 있어서도, 부호화 유닛 단위에서 머지 모드가 수행되는 경우라면 부호화기는 현재 블록의 예측 모드와 파티션 정보를 복호화기에 시그널링하지 않지만, 예측 유닛 단위에서 머지 모드가 수행되는 경우라면 부호화기는 현재 블록의 예측 모드와 파티션 정보를 복호화기에 시그널링 하도록 할 수 있다.
따라서, 부호화 유닛 단위에서 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용하는 경우가 아니라면, 부호화기가 현재 블록에 대한 예측 모드와 파티션 정보를 복호화기에 시그널링 하도록 할 수 있다.

도 3은 부호화 유닛 단위에서 머지 모드가 수행되는 경우에 예측에 관한 정보를 시그널링하는 방법의 일 예를 개략적으로 도시한 것이다. 도 3에서는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 사용하는 모드로서, {스킵 모드, 다이렉트 모드, 머지 모드}를 사용하는 경우를 예로서 설명하고 있다.
도 3을 참조하면, 현재 블록에 스킵 모드가 적용되는지는 skip_flag에 의해 지시될 수 있고, 머지 모드가 적용되는지는 merge_flag에 의해 지시될 수 있다. 또한, 현재 블록에 다이렉트 모드가 적용되는지는 direct_mode_signaling 과 같은 정보를 통해서 지시될 수 있다. 스킵 모드, 머지 모드, 다이렉트 모드 이외의 예측 모드가 적용되는 경우에는 pred_mode_partition_signaling과 같은 정보를 통해서 예측 모드와 파티션 정보가 지시되도록 할 수 있다.
도 3의 예에서는 먼저 스킵 플래그(skip_flag)에 의해 현재 블록의 예측 모드가 스킵 모드인지가 결정된다. 예컨대, skip-flag의 값이 1이면, 현재 블록에 스킵 모드가 적용되는 것으로 결정할 수 있다. skip_flag의 값이 0이면, 머지 플래그(merge_flag)를 통해서 현재 블록의 예측 모드가 머지 모드인지가 결정된다. 예컨대, merge_flag의 값이 1이면, 현재 블록에 머지 모드가 적용되는 것으로 결정할 수 있다. Merge_flag의 값이 0이면, 다이렉트 모드인지를 지시하는 시그널링(direct_mode_signaling)을 통해서 현재 블록의 예측 모드가 다이렉트 모드인지가 결정될 수 있다. 예컨대, direct_mode_signaling의 값이 1이면, 현재 블록에 다이렉트 모드가 적용되는 것으로 결정할 수 있다. direct_mode_signaling의 값이 0이면, 현재 블록의 예측 모드와 파티션을 지시하는 정보(pred_mode_partition_signaling)를 통해서 현재 블록의 예측 모드와 파티션이 결정될 수 있다. 이때, 현재 블록의 예측 모드와 파티션에 관한 정보(예컨대, 파티션 사이즈)는 한번에 조인트 부호화(joint coding)되어 시그널링 될 수 있다.
예측 모드와 파티션 사이즈 등과 같은 예측에 관한 정보, 즉 예측 타입은 상술한 바와 같이 조인트 코딩되어 시그널링될 수 있다. 예측 모드는 인트라 모드와 인터 모드를 포함할 수 있다. 파티션 사이즈는 인트라 예측 모드에 대하여, 2Nx2N, NxN (N은 샘플의 개수) 등이 있을 수 있고, 인터 예측 모드에 대하여는, 2Nx2N, 2NxN, Nx2N, NxN, 2NxnU, 2NxnD, nLx2N, nRx2N (여기서, 0<n<1이며, U, D, L, R은 샘플의 개수를 나타내는 정수) 등이 있을 수 있다.
따라서, pred_mode_partition_signaling로 나타낼 수 있는 예측 타입(prediction type)은 인트라 예측 모드로서 {2Nx2N, NxN} 중 어느 하나의 파티션을 가지는지 또는 인터 예측 모드로서 {2Nx2N, 2NxN, Nx2N, NxN, 2NxnU, 2NxnD, nLx2N, nRx2N} 중 어느 하나의 파티션을 가지는지를 지시할 수 있다.
한편, 예측 모드와 파티션에 관한 정보를 포함하는 예측 타입에 관한 정보는 그 외 다른 정보의 시그널링을 전후하여 전송될 수 있다.
예컨대, 예측 타입에 관한 정보는 현재 블록의 슬라이스 타입(slice_type)이 시그널링된 후에 시그널링될 수 있다. 현재 블록의 예측 모드가 인트라 모드인 경우에, 슬라이스 타입 정보는 I 슬라이스를 지시할 수 있고, 현재 블록의 예측 모드가 인터인 경우에, 슬라이스 타입 정보는 B 혹은 P 슬라이스를 지시할 수 있다. 여기서, I 슬라이스는 인트라 예측만을 이용하여 복호화되는 슬라이스를 의미하며, B 슬라이스는 많아야(at most) 2 개의 움직임 벡터와 참조 인덱스를 이용하는 인터 예측 혹은 인트라 예측을 이용하여 복호화되는 슬라이스를 의미한다. P 슬라이스는 많아야 하나의 움직임 벡터와 참조 인덱스를 이용하는 인터 예측 혹은 인트라 예측을 이용하여 복호화되는 슬라이스를 의미한다.
또한, 예측 타입에 관한 정보는 현재 블록의 분할 여부(IntraSplitFlag)가 시그널링된 뒤에 시그널링 될 수도 있다. 예컨대, 예측 타입에 관한 정보가 부호화 유닛에 관한 파라미터로서 전송되는 경우라면, 분할되지 않았다는 정보(IntraSplitFlag=0)를 전송하거나 분할되었다는 정보(IntraSplitFlag=1)를 전송하고, 그 뒤에 예측 타입에 관한 정보를 전송할 수도 있다.
따라서, 예측 모드 혹은 파티션 사이즈 중 적어도 하나가 동일한 예측 타입에 대하여 동일한 인덱스 혹은 코드워드가 할당되더라도, 미리 전송된 슬라이스 타입 및/또는 분할 정보에 기반해서 어떤 예측 타입이 지시되는지를 특정할 수도 있다. 예컨대, 2Nx2N 인트라 모드와 2Nx2N 인터 모드에 동일한 인덱스 혹은 코드워드가 할당되더라도, 인트라 모드의 경우에는 슬라이스 타입이 I 슬라이스인 것이 미리 시그널링 되고 인터 모드의 경우에는 슬라이스 타입이 P 또는 B 슬라이스인 것이 미리 시그널링되므로, 복호화기는 2Nx2N 인트라 모드가 지시된 것인지 혹은 2Nx2N 인터 모드가 지시된 것인지를 판별할 수 있다.

한편, 상술한 바와 같이, {스킵 모드, 다이렉트 모드, 머지 모드} 혹은 {(머지) 스킵 모드, 머지 모드} 등과 같이 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 사용하는 예측 모드에 관한 정보를 다른 예측 타입에 관한 정보와 조인트 코딩을 하지 않고 별도로 시그널링할 수 있다.
더 나아가, 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용하는 모드 중 머지 모드의 경우에는, 발생 빈도를 고려하여 발생 빈도가 높은 머지에 대해서는 머지 여부에 관한 정보를 다른 정보들과 조인트 코딩하고, 발생 빈도가 낮은 머지에 대해서는 다른 정보와 조인트 코딩하지 않고 별도로 시그널링하도록 할 수도 있다. 예컨대, 부호화 유닛 단위로 머지하는 경우(CU 머지)에만, 머지 여부에 관한 정보를 인트라/인터 예측 여부 및 파티션 정보 등과 조인트 코딩하여 시그널링하고, 예측 유닛 단위로 머지하는 경우(PU 머지)에는, 머지 여부에 관한 정보를 인트라/인터 예측 여부 및 파티션 정보 등과 조인트 코딩하지 않고 별도로 전송되도록 할 수도 있다. 이하, 부호화 유닛 단위로 머지하는 경우와 예측 유닛 단위로도 머지하는 경우를 나누어 설명한다.

표 1은 도 3에 도시된 예에 따라서 현재 블록의 예측 모드와 파티션 정보를 조인트 부호화하는 일 예를 나타낸 것이다. 표 1에서는, 상술한 예측 타입 중 설명의 편의를 위하여 인터 예측 모드가 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션을 가지는 경우를 예로서 설명하고 있다.
<표 1>
Figure PCTKR2011008949-appb-I000001
표 1을 참조하면, 부호화기는 조인트 코딩에 의한 코드워드를 통해서 현재 블록에 어떤 예측 모드가 적용되며, 현재 블록의 파티션 사이즈가 어떠한지를 지시할 수 있다.

한편, 도 3 및 표 1과 같이 소정의 모드에 관한 정보를 먼저 시그널링하고, 이어서 예측 모드와 파티션 사이즈에 관한 정보를 시그널링하는 경우에, 각 예측 타입별 발생 빈도를 고려하여 코드워드를 할당하도록 할 수 있다.

도 4는 각 예측 타입의 발생 빈도를 개략적으로 나타낸 도면이다. 도 4에서는, 각각의 환경, 즉 RAHE(Random Access High Efficiency), LDHE(Low Delay High Efficiency), RALC(Random Access Low Complexity), LDLC(Low Delay Low Complexity)의 경우에 스킵 모드, 머지 모드, 다이렉트 모드, 인트라 모드의 각 파티션 사이즈, 인터 모드의 각 파티션 사이즈에 대한 분포를 나타내고 있다.
도 4를 참조하면, 스킵과 머지 모드의 빈도 분포가 두드러지며, 다이렉트 모드의 경우는 2Nx2N 인터 모드보다 발생 빈도가 적다. 따라서, 이 경우에는 도 3에 도시된 시그널링의 순서에서 다이렉트 모드가 적용되는지 여부를 나타내는 정보를 시그널링하는 것보다 2Nx2N 인터 모드가 적용되는지 여부를 나타내는 정보를 먼저 시그널링하는 것이 더 효율적일 수 있다.
도 4의 예에서는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용하는 예측 모드로서 {스킵 모드, 다이렉트 모드, 머지 모드}를 사용하고, 파티션 사이즈 중 2Nx2N, 2NxN, Nx2N, NxN의 발생 빈도를 측정하였으나, {(머지) 스킵 모드, 머지 모드}를 사용하는 경우 및/또는 모든 파티션 사이즈를 사용하는 경우에도 동일하게, 각 예측 모드 및 파티션 사이즈의 발생 빈도를 고려할 수 있으며, 이를 기반으로 시그널링의 순서를 조정할 수 있다.

도 5는 본 발명이 적용되는 시스템에서 부호화기가 시그널링하는 방법의 일 예를 개략적으로 설명하는 도면이다. 도 5에서는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용하는 예측 모드로서 {스킵 모드, 다이렉트 모드, 머지 모드}를 사용하며, 도 3과 마찬가지로, 머지 모드가 부호화 유닛 단위에서 적용되는 경우를 예로서 설명한다. 따라서, 부호화 유닛보다 작은 파티션 사이즈별로 머지 모드의 적용 여부가 시그널링 되지는 않는다.
도 4를 참조하면, 다이렉트 모드보다 더 높은 선택 비율(발생 빈도)를 가지는 예측 모드/파티션 사이즈가 존재할 수 있다. 따라서, 선택 비율이 높은 다른 예측 모드(예측 모드/파티션 사이즈)의 적용 여부가 먼저 판단되도록 시그널링 하는 것이 전송 오버헤드 측면에서 유리할 수 있다.
예컨대, 다이렉트 모드보다 더 높은 발생 빈도를 가지는 예측 모드/파티션 사이즈를 모드 A라고 할 때, 다이렉트 모드의 적용 여부에 관한 정보보다 모드 A의 적용 여부에 관한 정보를 먼저 전송하도록 수 있다.
도 5의 예에서는 부호화기가 모드 A의 적용 여부에 관한 정보를 다이렉트 모드의 적용 여부에 관한 정보보다 먼저 시그널링한다. 구체적으로, 부호화기는 현재 블록에 스킵 모드가 적용되는지 여부를 나타내는 정보(skip_flag)를 먼저 시그널링하고, 스킵 모드가 적용되지 않는 경우에는 머지 모드가 적용되는지 여부를 나타내는 정보(merge_flag)를 시그널링하며, 머지 모드가 적용되지 않는 경우에는 모드 A가 적용되는지 여부를 나타내는 정보(modeA_flag)를 시그널링한다.
모드 A가 적용되지 않는 경우에, 부호화기는 다이렉트 모드와 함께 나머지 예측 모드/파티션 사이즈 중 어느 것이 현재 블록에 적용되는지를 지시하는 정보를 시그널링한다. 즉, 부호화기는 스킵 모드, 머지 모드, 모드 A 외에 어떤 예측 타입이 현재 블록에 적용되는지를 지시하는 정보(pred_mode_partition_signaling)를 시그널링한다.

표 2는 도 5의 예에 따라서 예측 타입 정보에 코드워드를 할당한 조인트 코딩 테이블의 일 예이다. 표 2에서는, 설명의 편의를 위하여 인터 예측 모드가 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션을 가지며 머지 모드가 부호화 유닛 단위에서 적용되는 경우를 예로서 설명한다.
<표 2>
Figure PCTKR2011008949-appb-I000002
표 2의 예에서는, 설명의 편의를 위해, 모드 A가 2Nx2N 인터 모드라고 가정한다. 따라서, 2Nx2N 인터 모드는 조인트 코딩 테이블을 이용하지 않고 먼저 시그널링되며, 다이렉트 모드의 적용 여부는 다른 예측 타입들과 함께 조인트 코딩 테이블을 이용하여 시그널링된다.

이때, 도 5의 예와 같이 예측 타입의 발생 빈도를 고려하여 전송 순서를 변경하는 것과 별개로, 예측 타입의 발생 빈도를 고려하여 예측 타입에 코드워드를 할당하도록 할 수도 있다.
표 3은 예측 타입별 발생 빈도를 고려하여 코드워드를 할당한 조인트 코딩 테이블의 한 예를 나타낸 것이다. 표 3에서는, 상술한 예측 타입 중 설명의 편의를 위하여 인터 예측 모드가 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션을 가지며 머지 모드가 부호화 유닛 단위에서 적용되는 경우를 예로서 설명한다.
<표 3>
Figure PCTKR2011008949-appb-I000003
표 3의 예에서는 설명의 편의를 위해 2NxN 보다 Nx2N의 발생 빈도가 더 높다고 가정한다. 표 1의 경우와 비교할 때, 표 3의 경우에는 예측 타입의 발생 빈도를 고려하여 2NxN 인터 모드와 Nx2N 인터 모드에 할당되는 코드워드를 변경한다. 구체적으로, 2NxN 인터 모드의 발생 빈도가 Nx2N 인터 모드의 발생 빈도보다 낮다고 가정할 때, 더 많은 발생 빈도를 보이는 Nx2N 인터 모드의 경우에는 더 짧은 코드워드(01)를 할당하고, 발생 빈도가 더 낮은 2NxN 인터 모드의 경우에는 더 긴 코드워드(001)을 할당한다.

이때, 예측 타입의 발생 빈도를 시그널링 순서와 코드워드 할당에 모두 반영할 수도 있다.
표 4는 예측 타입 발생 빈도를 고려하여 시그널링 순서를 조정하고 코드워드를 할당한 경우에 대한 조인트 코딩 테이블의 일 예이다. 표 4에서는, 상술한 예측 타입 중 설명의 편의를 위하여 인터 예측 모드가 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션을 가지며 머지 모드가 부호화 유닛 단위에서 적용되는 경우를 예로서 설명한다.
<표 4>
Figure PCTKR2011008949-appb-I000004
표 4의 예에서는 설명의 편의를 위해, 다이렉트 모드보다 2Nx2N 인터 모드의 발생 빈도가 더 높고, 2NxN 보다 Nx2N의 발생 빈도가 더 높다고 가정한다. 따라서, 2Nx2N 인터 모드의 적용 여부는 다이렉트 모드의 적용 여부보다 먼저 별도의 시그널링을 통해 전달된다. 다이렉트 모드의 적용 여부는 다른 예측 타입과 함께 표 4의 조인트 코딩 테이블을 이용하여 시그널링 되며, 이때, 2NxN 인터 모드보다 더 높은 발생 빈도를 가지는 Nx2N 인터 모드에 2NxN 인터 모드의 코드워드(001)보다 더 작은 코드워드(01)가 할당된다.

한편, 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용하는 예측 모드 중 소정의 예측 모드에 대해서는 그 적용 여부를 먼저 별도로 시그널링하고, 그 외의 예측 타입의 적용 여부에 관한 정보는 조인트 코딩을 통해서 시그널링 되도록 할 수도 있다. 따라서, 스킵 모드의 적용 여부를 별도로 시그널링하고 머지 모드와 다이렉트 모드의 적용 여부를 다른 예측 타입의 적용 여부와 함께 조인트 코딩을 통해서 시그널링 할 수 있다. 혹은 머지 모드의 적용 여부를 별도로 시그널링하고 스킵 모드와 다이렉트 모드의 적용 여부를 다른 예측 타입의 적용 여부와 함께 조인트 코딩을 통해서 시그널링 할 수도 있다. 마찬가지로, 다이렉트 모드의 적용 여부를 별도로 시그널링하고 스킵 모드와 머지 모드의 적용 여부를 다른 예측 타입의 적용 여부와 함께 조인트 코딩을 통해서 시그널링 할 수도 있다.
또한, 스킵 모드와 머지 모드의 적용 여부를 별도로 시그널링하고 다이렉트 모드의 적용 여부를 다른 예측 타입의 적용 여부와 함께 조인트 코딩을 통해서 시그널링 할 수 있다. 스킵 모드와 다이렉트 모드의 적용 여부를 별도로 시그널링하고 머지 모드의 적용 여부를 다른 예측 타입의 적용 여부와 함께 조인트 코딩을 통해서 시그널링 할 수 있다. 혹은 머지 모드와 다이렉트 모드의 적용 여부를 별도로 시그널링하고 스킵 모드의 적용 여부를 다른 예측 타입의 적용 여부와 함께 조인트 코딩을 통해서 시그널링 할 수 있다.
{스킵 모드, 다이렉트 모드, 머지 모드} 대신 {스킵 머지 모드, 머지 모드}를 사용하는 경우에도, 스킵 머지 모드의 적용 여부를 별도로 시그널링하고 머지 모드의 적용 여부를 다른 예측 타입의 적용 여부와 함께 조인트 코딩을 통해서 시그널링 할 수 있다. 혹은 머지 모드의 적용 여부를 별도로 시그널링하고 (머지) 스킵 모드의 적용 여부를 다른 예측 타입의 적용 여부와 함께 조인트 코딩을 통해서 시그널링 할 수 있다.
표 5는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 사용하는 예측 모드들 중 소정의 예측 모드의 적용 여부와 다른 예측 타입의 적용 여부를 시그널링하는데 이용되는 조인트 코딩 테이블의 일 예를 나타낸 것이다. 표 5에서는 {스킵 모드, 다이렉트 모드, 머지 모드}를 사용하는 경우로서, 다이렉트 모드의 적용 여부가 다른 예측 타입들의 적용 여부와 함께 조인트 코딩을 통해서 시그널링 되는 예를 설명한다. 표 5에서도, 상술한 예측 타입 중 설명의 편의를 위하여 인터 예측 모드가 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션을 가지며 머지 모드가 부호화 유닛 단위에서 적용되는 경우를 예로서 설명한다.
<표 5>
Figure PCTKR2011008949-appb-I000005
표 5에 따르면, 부호화기는 현재 블록에 적용된 예측 타입을 대응하는 코드워드를 전송함으로써 현재 블록에 대한 예측 타입을 지시할 수 있다.
이때, 부호화기는 각 예측 타입의 발생 빈도에 따라서 코드워드를 할당할 수도 있다.
표 6은 2Nx2N 인터 모드가 다이렉트 모드보다 발생 빈도가 높다고 가정할 때, 발생 빈도를 고려하여 코드워드를 할당하는 조인트 코딩 테이블의 일 예이다.
<표 6>
Figure PCTKR2011008949-appb-I000006
표 6을 참조하면, 발생 빈도가 더 높은 2Nx2N 인터 모드에 다이렉트 모드의 코드워드(01)보다 더 작은 코드워드(1)가 할당된다.
표 7은 인터 모드 중 2NxN 인터 모드의 발생 빈도가 Nx2N 인터 모드의 발생 빈도보다 낮다고 가정할 때, 발생 빈도를 고려하여 코드워드를 할당하는 예를 나타낸 것이다.
<표 7>
Figure PCTKR2011008949-appb-I000007
표 7을 참조하면, 발생 빈도가 더 높은 2Nx2N 인터 모드에 다이렉트 모드의 코드워드(01)보다 더 작은 코드워드(1)가 할당되며, Nx2N 인터 모드에는 2NxN 인터 모드에 대한 코드워드(0001)보다 더 작은 코드워드(001)가 할당된다.

도 6은 본 발명이 적용되는 시스템에서 부호화기가 시그널링하는 방법의 다른 예를 개략적으로 설명하는 도면이다. 도 6에서는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용하는 예측 모드로서 다이렉트 모드가 적용되지 않는 경우, 즉 {(머지) 스킵 모드, 머지 모드}를 사용하며 머지 모드가 부호화 유닛 단위에서 적용되는 경우를 예로서 설명한다. 따라서, 부호화 유닛보다 작은 파티션 사이즈별로 머지 모드의 적용 여부가 시그널링 되지는 않는다.
도 6의 실시예를 도 3 또는 도 5의 경우와 비교하면, 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 사용하는 예측 모드의 적용 여부에 관한 정보의 수가 하나 줄어들게 된다. 즉, 도 3 또는 도 5의 경우에서, 다이렉트 모드가 없는 경우와 같다고 할 수 있다. 도 3 또는 도 5의 경우에서 다이렉트 모드를 제거한다면, 이후에 시그널링 되는 인터/인트라 모드들에 대한 시그널링 오버헤드가 감소하게 된다고 볼 수 있다. 따라서, 도 6의 경우와 같이 (머지) 스킵 모드와 머지 모드를 사용하는 경우에는 도 3 또는 도 5의 경우와 비교할 때, 시그널링 오버헤드를 줄일 수 있다.
{(머지) 스킵 모드, 머지 모드}를 사용하는 경우에도, {스킵 모드, 다이렉트 모드, 머지 모드}를 사용하는 경우와 동일한 방식으로 예측 타입을 시그널링 할 수 있다. 예컨대, 도 6의 예에서도, (머지) 스킵 모드와 머지 모드 이외의 예측 타입 중에서 선택 비율(발생 빈도)이 높은 예측 모드 혹은 예측 타입을 모드 A라고 하면, 모드 A의 적용 여부에 관한 정보(modeA_flag)의 시그널링을 다른 예측 타입(2Nx2N 인터 모드, …, NxN 인트라 모드)의 적용 여부에 관한 정보보다 먼저 시그널링할 수 있다. 그리고, 모드 A의 적용이 없는 경우에는 다른 예측 타입 (2Nx2N 인터 모드, …, NxN 인트라 모드)의 적용 여부를 조인트 코딩을 통해서 시그널링 할 수 있다.
표 8은 도 6의 예에 따라서 예측 타입 정보에 코드워드를 할당한 조인트 코딩 테이블의 일 예이다. 표 8에서는, 설명의 편의를 위하여 인터 예측 모드가 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션을 가지며 머지 모드가 부호화 유닛 단위에서 적용되는 경우를 예로서 설명한다.
<표 8>
Figure PCTKR2011008949-appb-I000008
표 8의 예에서는 설명의 편의를 위해서, 2Nx2N, 2NxN, Nx2N, NxN의 파티션 사이즈를 가지는 인터 예측 모드 중에서 가장 발생 빈도가 높은 예측 타입, 즉 모드 A가 2Nx2N 인터 모드라고 가정한다. 따라서, 2Nx2N 인터 모드의 적용 여부는 별도의 시그널링을 통해서 미리 전송된다.

이때, 도 6의 예와 같이 예측 타입의 발생 빈도를 고려하여 전송 순서를 정하는 것과 별개로, 발생 빈도(선택 비율)를 고려하여 예측 타입에 코드워드를 할당하도록 할 수도 있다.

표 9는, {(머지) 스킵 모드, 머지 모드}를 사용하는 경우로서, 예측 타입 발생 빈도를 고려하여 코드워드를 할당한 경우에 대한 조인트 코딩 테이블의 일 예이다. 표 9에서는, 설명의 편의를 위하여 인터 예측 모드가 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션을 가지며 머지 모드가 부호화 유닛 단위에서 적용되는 경우를 예로서 설명한다.
<표 9>
Figure PCTKR2011008949-appb-I000009
표 9에서는, Nx2N 인터 모드의 발생 빈도가 2NxN 인터 모드의 발생 빈도보다 높은 경우를 가정하여, Nx2N 인터 모드에 더 짧은 코드워드를 할당하고 있다.

또한, {(머지) 스킵 모드, 머지 모드}를 사용하는 경우에도, 예측 타입의 발생 빈도를 시그널링 순서와 코드워드 할당에 모두 반영할 수 있다.
표 10은 {(머지) 스킵 모드, 머지 모드}를 사용하는 경우로서, 예측 타입 발생 빈도를 고려하여 시그널링 순서를 조정하고 코드워드를 할당한 경우에 대한 조인트 코딩 테이블의 일 예이다. 표 10에서는, 상술한 예측 타입 중 설명의 편의를 위하여 인터 예측 모드가 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션을 가지며 머지 모드가 부호화 유닛 단위에서 적용되는 경우를 예로서 설명한다.
<표 10>
Figure PCTKR2011008949-appb-I000010
표 10의 예에서는 설명의 편의를 위해, 2Nx2N 인터 모드의 발생 빈도가 2Nx2N, 2NxN, Nx2N, NxN 인터 모드들 중에서 가장 높으며, 2NxN 인터 모드는 Nx2N 인터 모드보다 발생 빈도가 높다고 가정한다. 따라서, (머지) 스킵 모드, 머지 모드, 2Nx2N 인터 모드의 적용 여부는 먼저 별도의 시그널링을 통해 전달된다. 다른 예측 타입들의 적용 여부는 표 10의 조인트 코딩 테이블을 이용하여 시그널링 되며, 이때, 2NxN 인터 모드보다 더 높은 발생 빈도를 가지는 Nx2N 인터 모드에 2NxN 인터 모드의 코드워드(01)보다 더 작은 코드워드(1)가 할당된다.

한편, 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용하는 예측 모드들로서, {스킵 모드, 다이렉트 모드, 머지 모드}를 사용하는 경우에 다이렉트 모드와 머지 모드를 통합하여 이용할 수도 있다. 다이렉트 모드와 머지 모드는 움직임 정보를 주변 블록으로부터 유도한 뒤, 스킵 모드와 달리 레지듀얼 정보를 전송한다는 점에서 서로 유사하다. 다이렉트 모드와 머지 모드를 통합하는 경우에는 다이렉트 모드와 머지 모드를 통합한 모드(이하, 설명의 편의를 위해 ‘통합 모드’라 함)의 적용 여부에 관한 정보를 시그널링한 후에 시그널링 되는, 인터/인트라 모드의 적용 여부에 관한 정보의 시그널링 오버헤드를 줄일 수 있게 된다. 통합 모드를 적용하는 경우에도, 시그널링 순서의 조정, 코드워드의 할당 조정 등을 앞서 설명한 바와 동일하게 수행할 수 있다.

도 7과 도 8은 본 발명이 적용되는 시스템에서 부호화기가 시그널링하는 방법의 다른 예를 개략적으로 설명하는 도면이다. 도 7과 도 8에서는 통합 모드를 사용하되, 머지 모드는 부호화 유닛 단위에서 적용되는 경우를 예로서 설명한다. 따라서, 부호화 유닛보다 작은 파티션 사이즈별로 머지 모드의 적용 여부가 시그널링 되지는 않는다.
도 7의 예에서는 스킵 모드의 적용 여부를 시그널링 한 후에, 스킵 모드를 적용하지 않는 경우에는 나머지 예측 타입들 중에서 가장 발생 빈도가 높은 예측 타입을 적용 여부를 우선적으로 시그널링 한다.
도 7에서는 모드 A가 스킵 모드를 제외한 나머지 예측 타입들 중에서 가장 높은 발생 빈도를 가지는 예측 타입이라고 가정한 경우를 예시하고 있다. 따라서, 부호화기는 스킵 모드를 적용하지 않는 경우에는 모드 A의 적용 여부를 시그널링 하며, 모드 A를 적용하지 않는 경우에는 나머지 예측 타입(예측 모드/파티션 사이즈 포함) 중 어떤 예측 타입이 적용될 것인지를 조인트 코딩을 이용하여 시그널링(pred_mode_partition_signaling)한다.
표 11은 도 7의 예에 따른 조인트 코딩 테이블이다.
<표 11>
Figure PCTKR2011008949-appb-I000011
도 7과 표 11의 예에서는, 스킵 모드의 적용 여부가 시그널링된 후, 스킵 모드가 적용되지 않는 경우에는, 가장 높은 발생 빈도를 가지는 예측 타입으로서 통합 모드의 적용 여부를 시그널링 한다. 통합 모드가 적용되지 않는 경우에는, 표 11과 같이, 나머지 예측 타입들의 예측 모드와 파티션 등에 관한 정보를 조인트 코딩한 결과를 이용하여 어떤 예측 타입이 적용되는지를 시그널링한다. 한편, 도7과 표 11의 예에서는 스킵 모드를 제외하고 가장 높은 발생 빈도를 가지는 예측 타입이 통합 모드인 경우를 예시했지만, 이는 설명의 편의를 위한 예시로서 본 발명은 이에 한정되지 않는다. 예컨대, 2Nx2N 인터 모드의 발생 빈도가 통합 모드보다 더 높은 경우에는 2Nx2N 인터 모드를 모드 A로 결정하고, 2Nx2N 인터 모드의 적용 여부를 별도로 미리 시그널링한 후, 통합 모드의 적용 여부를 다른 예측 타입들의 적용 타입들과 함께 조인트 코딩을 이용하여 시그널링하도록 할 수도 있다.
도 8에서는 도 7과 달리, 스킵 모드가 적용되지 않는 경우에, 통합 모드의 적용 여부를 별도로 미리 시그널링(merge_direct_flag) 하며, 통합 모드가 적용되지 않는 경우에, 다른 예측 타입들 중 가장 발생 빈도가 높은 예측 타입(모드 A)의 적용 여부를 별도로 미리 시그널링(modeA_flag) 하는 방법을 예시하고 있다. 모드 A가 적용되지 않는 경우에는 도 7과 같이 다른 예측 모드들 중에서 어떤 예측 모드가 적용되는지를 조인트 코딩을 이용하여 시그널링(pred_mode_partition_signaling)한다.
표 12는 도 8의 예에 따른 조인트 코딩 테이블이다.
<표 12>
Figure PCTKR2011008949-appb-I000012
표 12의 예에서는 설명의 편의를 위해, 2Nx2N 인터 모드가 모드 A라고 가정한다. 따라서, 2Nx2N 인터 모드의 적용 여부는 별도로 미리 시그널링 될 수 있다.

한편, 앞서 설명한 바와 같이, 시그널링 순서를 조정하는 것과는 별도로 조인트 코딩을 수행하는 경우에, 예측 타입별 발생 빈도(선택 비율)에 고려하여 코드워드를 할당할 수 있다.
표 13은 통합 모드를 사용하는 경우로서, 예측 타입의 발생 빈도를 고려하여 코드워드를 할당한 경우에 대한 조인트 코딩 테이블의 일 예이다. 표 13에서는, 상술한 예측 타입 중 설명의 편의를 위하여 인터 예측 모드가 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션을 가지며 머지 모드가 부호화 유닛 단위에서 적용되는 경우를 예로서 설명한다.
<표 13>
Figure PCTKR2011008949-appb-I000013
표 13에서는 Nx2N 인터 모드의 발생 빈도가 2NxN 인터 모드의 발생 빈도보다 높은 경우를 예로서 설명한다. 따라서, 표 13의 예에서는 Nx2N 인터 모드에 대하여 2NxN 인터 모드에 할당된 코드워드(001)보다 더 짧은 코드워드(01)를 할당하고 있다.

더 나아가, 예측 타입별 발생 빈도를 고려하여, 도 8과 같이 시그널링의 순서를 조성하고, 표 13과 같이 코드워드를 할당할 수도 있다.
표 14는 통합 모드를 사용하는 경우로서, 예측 타입의 발생 빈도를 고려하여 시그널링의 순서를 조정하고 코드워드를 할당하는 경우에 대한 조인트 코딩 테이블의 일 예이다. 표 14에서는, 상술한 예측 타입 중 설명의 편의를 위하여 인터 예측 모드가 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션을 가지며 머지 모드가 부호화 유닛 단위에서 적용되는 경우를 예로서 설명한다.
<표 14>
Figure PCTKR2011008949-appb-I000014
표 14의 예에서는 설명의 편의를 위해, 도 8의 모드 A에 해당하는 예측 모드가 2Nx2N 인터 모드이며, Nx2N 인터 모드의 발생 빈도가 2NxN 인터 모드의 발생 빈도보다 높다고 가정한다. 따라서, 통합 모드의 적용 여부에 대한 시그널링 후에, 통합 모드가 적용되지 않는 경우에, 2Nx2N 인터 모드의 적용 여부는 별도의 시그널링을 통해서 시그널링된다. 또한, Nx2N 인터 모드에는 2NxN 인터 모드에 할당된 코드워드(01)보다 더 짧은 코드워드(1)가 할당된다.

또한, 통합 모드를 사용하는 경우에도, 스킵 모드 이외의 예측 타입들에 대해서는 어떤 예측 타입이 적용되는지를 조인트 코딩을 통해서 한번에 시그널링(pred_mode_partition_signaling)할 수도 있다. 즉, 통합 모드를 포함하는 각 예측 타입 각각에 대하여 코드워드를 할당하고, 적용되는 예측 타입에 대응하는 코드워드를 시그널링하도록 할 수 있다.
표 15는 통합 모드를 사용하는 경우로서, 스킵 모드 이외의 예측 타입 각각에 대하여 코드워드를 할당하여 현재 블록에 적용되는 예측 타입(예측 모드, 파티션 사이즈 등)의 정보를 전송하는데 이용되는 조인트 코딩 테이블의 일 예를 개략적으로 나타낸 것이다.
<표 15>
Figure PCTKR2011008949-appb-I000015
표 15에서는, 설명의 편의를 위하여 인터 예측 모드가 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션을 가지며 머지 모드가 부호화 유닛 단위에서 적용되는 경우를 예로서 설명하고 있다. 표 15를 참조하면, 부호화기는 각 예측 모드, 즉 통합 모드(머지/다이렉트 모드), 2Nx2N, NxN 인트라 모드, 2Nx2N, 2NxN, Nx2N, NxN 인터 모드 각각에 코드워드를 할당하고, 현재 블록에 적용되는 예측 타입의 코드워드를 전송할 수 있다.
이때, 부호화기는 예측 타입별 발생 빈도(선택 비율)을 고려하여 코드워드를 할당할 수도 있다.
표 16은 표 15의 예에서 예측 타입별 발생 빈도를 고려하여 코드워드를 할당하는 일 예를 나타낸 것이다.
<표 16>
Figure PCTKR2011008949-appb-I000016
표 16의 예에서는 설명의 편의를 위해서, Nx2N 인터 모드의 발생 빈도가 2NxN 인터모드의 발생 빈도보다 높다고 가정한다. 따라서, 표 16의 예에서는 표 15의 예와 비교할 때, Nx2N 인터 모드에 대해서 2NxN 인터 모드에 대한 코드워드(0001)보다 더 짧은 코드워드(001)를 할당하고 있다.

지금까지는 설명의 편의를 위해서, 인터 모드에 대하여 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션만이 적용되는 경우를 예로서 설명하였으나, 인터 모드에 대한 전체 파티션을 고려하여, 현재 블록에 대한 예측 타입을 시그널링할 수도 있다.
표 17은 2Nx2N, 2NxN, Nx2N, NxN, 2NxnU, 2NxnD, nLx2N, nRx2N의 파티션을 모두 고려하는 경우에 현재 블록에 대한 예측 블록의 시그널링에 이용될 수 있는 조인트 코딩 테이블의 일 예를 나타낸 것이다.
<표 17>
Figure PCTKR2011008949-appb-I000017
표 17을 참조하면, 인트라 모드의 각 파티션 사이즈와 인터 모드의 각 파티션 사이즈를 예측 타입을 통해서 지시할 수 있다. 따라서, 예측 모드와 파티션 사이즈를 조인트 코딩하여 현재 블록에 대한 예측 타입을 한번에 시그널링 할 수 있다. 이때, 상술한 바와 같이, 예측 타입별로 발생 빈도를 고려하여 코드워드를 할당할 수도 있다.
한편, 표 17의 예에서 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로서 그대로 이용하는 예측 모드의 경우, 예컨대, {스킵 모드, 다이렉트 모드, 머지 모드} 혹은 {(머지) 스킵 모드, 머지 모드}의 경우에는 해당 모드의 적용 여부를 다른 조건에 의해 추정하거나(infer), 미리 별도의 시그널링을 통해 적용 여부를 전송할 수도 있다. 또한, 표 17의 예에서, 머지 모드가 상술한 다른 예들과 같이 부호화 유닛 단위에서 적용되는 경우를 가정한 것으로서, 각 파티션 별로 다시 머지 모드의 적용 여부를 시그널링하지는 않는다.
아울러, 각 예측 타입의 시그널링에 앞서 상술한 바와 같은 추가 정보, 예컨대 슬라이스 타입 혹은 분할 여부에 관한 정보가 시그널링될 수도 있다. 이 경우에, 이들 추가 정보를 기반으로 예측 타입이 구별되도록 할 수도 있다. 예를 들어, I 슬라이스의 경우에 예측 타입이 0의 값을 가지면 2Nx2N 인트라 모드를 지시하고, B 혹은 P 슬라이스의 경우에 예측 타입이 0의 값을 가지면, 2Nx2N 인터 모드를 지시하는 것으로 할 수도 있다.
또한, 서로 다른 예측 모드/파티션을 가지는 예측 타입에 대하여 서로 다른 코드워드를 할당함으로써, 각 예측 타입을 구별할 수도 있다.
한편, 지금까지는 머지 모드가 부호화 유닛 단위에서 적용되는 경우를 설명하였으나, 머지 모드는 예측 유닛 단위에서 적용될 수도 있다. 예컨대, 지금까지 설명한 각 예의 경우에 있어서, 인터 예측 모드의 각 파티션에 대하여 머지 모드가 적용되는지를 시그널링함으로써, 예측 유닛 단위로도 머지 모드가 수행되는 경우에 대하여 상술한 본 발명의 내용을 그대로 적용할 수 있다.

이하, 예측 유닛 단위로도 머지 모드가 수행되는 경우에 본 발명의 적용 방법을 구체적으로 설명한다.

도 9는 예측 유닛 단위에서도 머지 모드가 수행되는 경우에 예측에 관한 정보를 시그널링하는 방법의 일 예를 개략적으로 도시한 것이다. 도 9에서는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 사용하는 모드로서, {스킵 모드, 다이렉트 모드, 머지 모드}를 사용하는 경우를 예로서 설명하고 있다.
도 9의 예에서는 도 3의 예와 달리, 스킵 모드와 다이렉트 모드가 적용되지 않는경우에, 현재 블록에 어떤 인터 예측 모드와 파티션이 적용되는지를 지시하고, 해당 파티션이 머지되는지를 시그널링한다. 스킵 모드와 다이렉트 모드의 적용 여부는 별도로 미리 시그널링하며, 스킵 모드와 다이렉트 모드가 적용되지 않는 경우에 어떤 예측 모드/파티션이 적용될 것인지는 예측 모드의 구분과 파티션 사이즈에 관한 정보를 조인트 코딩하여 시그널링한다. 인터 예측의 파티션별로 머지 모드를 적용할 것인지는 머지 모드를 통해서 지시되며, 이때 머지 모드가 적용되지 않는 경우에 수행되는 인터 예측 모드를 설명의 편의를 위해 정상 인터 모드(normal inter mode)라고 한다.

표 18은 도 9에 도시된 예에 따라서 현재 블록의 예측 모드와 파티션 정보를 조인트 부호화하는 일 예를 나타낸 것이다. 표 18에서는, 설명의 편의를 위하여 인터 예측 모드가 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션을 가지는 경우를 예로서 설명하고 있다.
<표 18>
Figure PCTKR2011008949-appb-I000018
표 18을 참조하면, 부호화기는 현재 블록에 적용되는 예측 타입을 코드워드를 시그널링함으로써 복호화기에 지시할 수 있다.

한편, 도 9 및 표 18과 같이 소정의 모드에 관한 정보를 먼저 시그널링하고, 이어서 예측 모드와 파티션 사이즈에 관한 정보를 시그널링하는 경우에, 각 예측 타입별 발생 빈도를 고려하여 코드워드를 할당하도록 할 수 있다.

도 10은 예측 유닛 단위로 머지 모드를 적용하는 경우에 각 예측 타입의 발생 빈도를 개략적으로 나타낸 도면이다. 도 10에서는, RAHE, LDHE, RALC, LDLC의 경우에 스킵 모드, 머지 모드, 다이렉트 모드, 인트라 모드의 각 파티션 사이즈, 인터 모드의 각 파티션 사이즈에 대한 분포를 나타내고 있다.
도 10을 참조하면, 스킵 모드의 빈도 분포가 두드러지며, 다이렉트 모드의 경우는 2Nx2N 인터 모드보다 발생 빈도가 적다. 따라서, 이 경우에는 도 9에 도시된 시그널링의 순서에서 다이렉트 모드가 적용되는지 여부를 나타내는 정보를 시그널링하는 것보다 2Nx2N 인터 모드가 적용되는지 여부를 나타내는 정보를 먼저 시그널링하는 것이 더 효율적일 수 있다.
도 10의 예에서는 {스킵 모드, 다이렉트 모드, 머지 모드}를 사용하고, 파티션 사이즈 중 2Nx2N, 2NxN, Nx2N, NxN의 발생 빈도를 측정하였으나, {(머지) 스킵 모드, 머지 모드}를 사용하는 경우 및/또는 모든 파티션 사이즈를 사용하는 경우에도 동일하게, 각 예측 모드 및 파티션 사이즈의 발생 빈도를 고려할 수 있으며, 이를 기반으로 시그널링의 순서를 조정할 수 있다.

도 11은 본 발명이 적용되는 시스템에서 부호화기가 시그널링하는 방법의 일 예를 개략적으로 설명하는 도면이다. 도 11에서는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용하는 예측 모드로서 {스킵 모드, 다이렉트 모드, 머지 모드}를 사용한다.
도 10을 참조하면, 다이렉트 모드보다 더 높은 선택 비율(발생 빈도)를 가지는 예측 모드/파티션 사이즈가 존재할 수 있다. 따라서, 선택 비율이 높은 다른 예측 모드(예측 모드/파티션 사이즈)의 적용 여부가 먼저 판단되도록 시그널링 하는 것이 전송 오버헤드 측면에서 유리할 수 있다.
예컨대, 다이렉트 모드보다 더 높은 발생 빈도를 가지는 예측 모드/파티션 사이즈를 모드 A라고 하면, 다이렉트 모드의 적용 여부에 관한 정보보다 모드 A의 적용 여부에 관한 정보를 먼저 전송하도록 수 있다.
따라서, 도 11의 예에서는 부호화기가 모드 A의 적용 여부에 관한 정보를 다이렉트 모드의 적용 여부에 관한 정보보다 먼저 시그널링한다. 구체적으로, 부호화기는 현재 블록에 스킵 모드가 적용되는지 여부를 나타내는 정보(skip_flag)를 먼저 시그널링하고, 스킵 모드가 적용되지 않는 경우에는 모드 A가 적용되는지 여부를 나타내는 정보(modeA_flag)를 시그널링한다.
모드 A가 적용되지 않는 경우에, 부호화기는 다이렉트 모드와 함께 나머지 예측 모드/파티션 사이즈 중 어느 것이 현재 블록에 적용되는지를 지시하는 정보를 지시하는 정보(pred_mode_partition_signaling)를 시그널링한다.

표 19는 도 11의 예에 따라서 예측 타입 정보에 코드워드를 할당한 조인트 코딩 테이블의 일 예이다. 표 19에서는, 설명의 편의를 위하여 인터 예측 모드가 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션을 가지는 경우를 예로서 설명한다.
<표 19>
Figure PCTKR2011008949-appb-I000019
표 19의 예에서는, 설명의 편의를 위해, 모드 A가 2Nx2N 인터 모드라고 가정한다. 따라서, 2Nx2N 인터 모드는 조인트 코딩 테이블을 이용하지 않고 먼저 시그널링되며, 다이렉트 모드의 적용 여부는 다른 예측 타입들과 함께 조인트 코딩 테이블을 이용하여 시그널링된다.

한편, 도 11의 예와 같이 예측 타입의 발생 빈도를 고려하여 전송 순서를 변경하는 것과 별개로, 예측 타입의 발생 빈도를 고려하여 예측 타입에 코드워드를 할당하도록 할 수도 있다.
표 20은 예측 타입별 발생 빈도를 고려하여 코드워드를 할당한 조인트 코딩 테이블을 나타낸다. 표 20에서는 설명의 편의를 위하여 인터 예측 모드가 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션을 가진다고 가정한 경우를 예로서 설명한다.
<표 20>
Figure PCTKR2011008949-appb-I000020
표 20의 예에서는 설명의 편의를 위해 2NxN 보다 Nx2N의 발생 빈도가 더 높다고 가정한다. 표 20의 경우에는 예측 타입의 발생 빈도를 고려하여 2NxN 인터 모드와 Nx2N 인터 모드에 할당되는 코드워드를 변경한다. 구체적으로, 2NxN 인터 모드의 발생 빈도가 Nx2N 인터 모드의 발생 빈도보다 낮다고 가정할 때, 더 많은 발생 빈도를 보이는 Nx2N 인터 모드의 경우에는 더 짧은 코드워드(01)를 할당하고, 발생 빈도가 더 낮은 2NxN 인터 모드의 경우에는 더 긴 코드워드(001)을 할당할 수 있다.

이때, 예측 타입의 발생 빈도를 시그널링 순서와 코드워드 할당에 모두 반영할 수도 있다.
표 21은 예측 타입 발생 빈도를 고려하여 시그널링 순서를 조정하고 코드워드를 할당한 경우에 대한 조인트 코딩 테이블의 일 예이다. 표 21에서는, 설명의 편의를 위하여 인터 예측 모드에서 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션을 가지는 경우를 예로서 설명한다.
<표 21>
Figure PCTKR2011008949-appb-I000021
표 21의 예에서는 설명의 편의를 위해, 다이렉트 모드보다 2Nx2N 인터 모드의 발생 빈도가 더 높고, 2NxN 보다 Nx2N의 발생 빈도가 더 높다고 가정한다. 따라서, 2Nx2N 인터 모드의 적용 여부는 다이렉트 모드의 적용 여부보다 먼저 별도의 시그널링을 통해 전달된다. 다이렉트 모드의 적용 여부는 다른 예측 타입과 함께 표 21의 조인트 코딩 테이블을 이용하여 시그널링 되며, 이때, 2NxN 인터 모드보다 더 높은 발생 빈도를 가지는 Nx2N 인터 모드에 2NxN 인터 모드의 코드워드(001)보다 더 작은 코드워드(01)가 할당된다.

한편, 앞서 설명한 바와 같이, 예측 유닛 단위로 머지 모드를 수행하는 경우에도 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용하는 예측 모드 중 소정의 예측 모드에 대해서는 그 적용 여부를 먼저 별도로 시그널링하고, 그 외의 예측 타입의 적용 여부에 관한 정보는 조인트 코딩을 통해서 시그널링 되도록 할 수 있다. 예컨대, {스킵 모드, 다이렉트 모드, 머지 모드} 혹은 {(머지) 스킵 모드, 머지 모드} 중 스킵 모드의 적용 여부를 별도로 미리 시그널링하고, 다이렉트 모드 혹은 머지 모드의 적용 여부는 나머지 예측 타입의 적용 여부와 함께 조인트 코딩을 이용해서 시그널링 하도록 할 수 있다.

표 22는 {스킵 모드, 다이렉트 모드, 머지 모드}를 사용하는 경우로서, 다이렉트 모드의 적용 여부가 다른 예측 타입들의 적용 여부와 함께 조인트 코딩을 통해서 시그널링 되는 예를 설명한다. 구체적으로, 다이렉트 모드와 인터 모드/인트라 모드에 대한 예측 타입 중 어느 하나의 적용 여부를 플래그를 통해서 먼저 시그널링하는 것이 아니라, 다이렉트 모드를 포함한 예측 타입에 할당된 코드워드를 통해서 한번에 구분하여 시그널링한다. 표 21에서도, 설명의 편의를 위하여 인터 예측 모드에서 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션을 가지는 경우를 예로서 설명한다.
<표 22>
Figure PCTKR2011008949-appb-I000022
표 22에 따르면, 부호화기는 현재 블록에 적용된 예측 타입에 대응하는 코드워드를 전송함으로써 현재 블록에 대한 예측 타입을 지시할 수 있다.
이때, 부호화기는 각 예측 타입의 발생 빈도에 따라서 코드워드를 할당할 수도 있다.
표 23은 2Nx2N 인터 모드가 다이렉트 모드보다 발생 빈도가 높다고 가정할 때, 발생 빈도를 고려하여 코드워드를 할당하는 조인트 코딩 테이블의 일 예이다.
<표 23>
Figure PCTKR2011008949-appb-I000023
표 23을 참조하면, 발생 빈도가 더 높은 2Nx2N 인터 모드에 다이렉트 모드의 코드워드(01)보다 더 작은 코드워드(1)가 할당된다.
또한, 표 24는 인터 모드 중 2NxN 인터 모드의 발생 빈도가 Nx2N 인터 모드의 발생 빈도보다 낮다고 가정할 때, 발생 빈도를 고려하여 코드워드를 할당하는 예를 나타낸 것이다.
<표 24>
Figure PCTKR2011008949-appb-I000024
표 24을 참조하면, 발생 빈도가 더 높은 2Nx2N 인터 모드에 다이렉트 모드의 코드워드(01)보다 더 작은 코드워드(1)가 할당되며, Nx2N 인터 모드에는 2NxN 인터 모드에 대한 코드워드(0001)보다 더 작은 코드워드(001)가 할당된다.

상술한 도 11과 표 19 내지 표 24의 예에서, 머지 모드가 예측 유닛 단위로 적용될 수 있으므로, 모드 A가 적용되는 것으로 시그널링한 후에 현재 블록에 머지 모드가 적용되는지를 시그널링(merge_flag)할 수도 있다. 표 19 내지 표 24를 통해서 다이렉트 모드가 아닌 인터 예측 모드가 지시된 경우에도 현재 블록에 머지 모드가 적용되는지를 시그널링할 수도 있다. 또한, 특정한 머지 모드의 선택 비율이 높은 경우에는 모드 A 자체를 머지 모드로 설정할 수도 있다.

도 12는 본 발명이 적용되는 시스템에서 부호화기가 시그널링하는 방법의 다른 예를 개략적으로 설명하는 도면이다. 도 12에서는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용하는 예측 모드로서 다이렉트 모드가 적용되지 않는 경우, 즉 {(머지) 스킵 모드, 머지 모드}를 사용하며 머지 모드가 예측 유닛 단위에서 적용되는 경우를 예로서 설명한다.
도 12의 실시예를 도 9 또는 도 11의 경우와 비교하면, 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 사용하는 예측 모드의 적용 여부에 관한 정보의 수가 하나 줄어들게 된다. 이렇게 도 9 또는 도 10의 경우에서 다이렉트 모드를 제거한다면, 이후에 인터/인트라 모드들에 대한 정보를 시그널링할 때 오버헤드를 감소할 수 있다.
{(머지) 스킵 모드, 머지 모드}를 사용하는 경우에도, {스킵 모드, 다이렉트 모드, 머지 모드}를 사용하는 경우와 동일한 방식으로 예측 타입을 시그널링 할 수 있다. 예컨대, 도 12의 예에서도, (머지) 스킵 모드 이외의 예측 타입 중에서 선택 비율(발생 빈도)이 높은 예측 모드 혹은 예측 타입을 모드 A라고 하면, 모드 A의 적용 여부에 관한 정보(modeA_flag)의 시그널링을 다른 예측 타입(2Nx2N 인터 모드, …, NxN 인트라 모드)의 적용 여부에 관한 정보보다 먼저 시그널링할 수 있다. 그리고, 모드 A의 적용이 없는 경우에는 다른 예측 타입 (2Nx2N 인터 모드, …, NxN 인트라 모드)의 적용 여부를 조인트 코딩을 통해서 시그널링 할 수 있다.
표 25는 도 12의 예에 따라서 예측 타입 정보에 코드워드를 할당한 조인트 코딩 테이블의 일 예이다. 표 25에서는, 설명의 편의를 위하여 인터 예측 모드가 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션을 가지는 경우를 예로서 설명한다.
<표 25>
Figure PCTKR2011008949-appb-I000025
표 25의 예에서는 설명의 편의를 위해서, 2Nx2N, 2NxN, Nx2N, NxN의 파티션 사이즈를 가지는 인터 예측 모드 중에서 가장 발생 빈도가 높은 예측 타입, 즉 모드 A가 2Nx2N 인터 모드라고 가정한다. 따라서, 2Nx2N 인터 모드의 적용 여부는 별도의 시그널링을 통해서 미리 전송된다.

이때, 도 12의 예와 같이 예측 타입의 발생 빈도를 고려하여 전송 순서를 정하는 것과 별개로, 발생 빈도(선택 비율)를 고려하여 예측 타입에 코드워드를 할당하도록 할 수도 있다.

표 26은 {(머지) 스킵 모드, 머지 모드}를 사용하는 경우로서, 예측 타입 발생 빈도를 고려하여 코드워드를 할당한 경우에 대한 조인트 코딩 테이블의 일 예이다. 표 26에서는 설명의 편의를 위하여 인터 예측 모드가 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션을 가지는 경우를 예로서 설명한다.
<표 26>
Figure PCTKR2011008949-appb-I000026
표 26에서는, Nx2N 인터 모드의 발생 빈도가 2NxN 인터 모드의 발생 빈도보다 높다고 가정한다. 따라서, Nx2N 인터 모드에 2NxN 인터 모드에 대한 코드워드(001)보다 더 짧은 코드워드(01)를 할당하고 있다.

또한, {(머지) 스킵 모드, 머지 모드}를 사용하는 경우에도, 예측 타입의 발생 빈도를 시그널링 순서와 코드워드 할당에 모두 반영할 수 있다.
표 27은 {(머지) 스킵 모드, 머지 모드}를 사용하는 경우로서, 예측 타입 발생 빈도를 고려하여 시그널링 순서를 조정하고 코드워드를 할당한 경우에 대한 조인트 코딩 테이블의 일 예이다. 표 27에서는, 설명의 편의를 위하여 인터 예측 모드가 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션을 가지는 경우를 예로서 설명한다.
<표 27>
Figure PCTKR2011008949-appb-I000027
표 27의 예에서는 설명의 편의를 위해, 2Nx2N 인터 모드의 발생 빈도가 2Nx2N, 2NxN, Nx2N, NxN 인터 모드들 중에서 가장 높으며, 2NxN 인터 모드는 Nx2N 인터 모드보다 발생 빈도가 높다고 가정한다. 따라서, (머지) 스킵 모드, 머지 모드, 2Nx2N 인터 모드의 적용 여부는 별도의 시그널링을 통해 전달될 수 있다. 다른 예측 타입들의 적용 여부는 표 27의 조인트 코딩 테이블을 이용하여 시그널링 되며, 이때, 2NxN 인터 모드보다 더 높은 발생 빈도를 가지는 Nx2N 인터 모드에 2NxN 인터 모드의 코드워드(01)보다 더 작은 코드워드(1)가 할당된다.

상술한 도 12와 표 25 내지 표 27의 예에서, 머지 모드가 예측 유닛 단위로 적용될 수 있으므로, 현재 블록에 머지 모드가 적용되는지를 별도로 시그널링(merge_flag)할 수도 있다. 예컨대, 표 25 내지 표 27을 통해서 현재 블록에 어떤 인터 예측 모드/파티션이 적용되는지가 시그널링 된 경우에 현재 블록에 머지 모드가 적용되는지가 시그널링될 수도 있다. 또한, 특정한 머지 모드의 선택 비율이 높은 경우에는 모드 A 자체를 머지 모드로 설정할 수도 있다.

한편, 예측 유닛 단위로 머지 모드가 적용되는 경우에도, {스킵 모드, 다이렉트 모드, 머지 모드}를 사용하는 경우에 다이렉트 모드와 머지 모드를 통합하여 앞서 설명한 바와 같은 통합 모드를 이용할 수 있다. 다이렉트 모드와 머지 모드는 움직임 정보를 주변 블록으로부터 유도한 뒤, 스킵 모드와 달리 레지듀얼 정보를 전송한다는 점에서 서로 유사하다. 통합 모드를 이용하면, 스킵 모드와 통합 모드 외 인터/인트라 모드의 적용 여부에 관한 정보의 시그널링 오버헤드를 줄일 수 있게 된다. 통합 모드를 적용하는 경우에도, 시그널링 순서의 조정, 코드워드의 할당 조정 등을 앞서 설명한 바와 동일하게 수행할 수 있다.
도 13은 본 발명이 적용되는 시스템에서 부호화기가 시그널링하는 방법의 다른 예를 개략적으로 설명하는 도면이다. 도 13에서는 통합 모드를 사용하되, 머지 모드는 예측 유닛 단위에서 적용되는 경우를 예로서 설명한다.
도 13의 예에서는 스킵 모드의 적용 여부를 시그널링 한 후에, 스킵 모드를 적용하지 않는 경우에는 나머지 예측 타입들 중에서 가장 발생 빈도가 높은 예측 타입을 적용 여부를 우선적으로 시그널링 한다. 즉, 도 13에서는 모드 A가 스킵 모드를 제외한 나머지 예측 타입들 중에서 가장 높은 발생 빈도를 가지는 예측 타입이라고 가정한다. 이때, 모드 A는 통합 모드일 수도 있다.
따라서, 부호화기는 스킵 모드를 적용하지 않는 경우에는 모드 A의 적용 여부를 시그널링 하며, 모드 A를 적용하지 않는 경우에는 나머지 예측 타입 중 어떤 예측 타입이 적용될 것인지를 조인트 코딩을 이용하여 시그널링(pred_mode_partition_signaling)한다.
표 28은 도 13의 예에 따른 조인트 코딩 테이블이다.
<표 28>
Figure PCTKR2011008949-appb-I000028
도 7과 표 11의 예에서는 스킵 모드를 제외하고 가장 높은 발생 빈도를 가지는 예측 타입이 통합 모드인 경우를 예시했지만, 이는 설명의 편의를 위한 예시로서 본 발명은 이에 한정되지 않는다. 예컨대, 2Nx2N 인터 모드의 발생 빈도가 통합 모드보다 더 높은 경우에는 2Nx2N 인터 모드를 모드 A로 결정하고, 2Nx2N 인터 모드의 적용 여부를 별도로 미리 시그널링한 후, 통합 모드의 적용 여부를 다른 예측 타입들의 적용 타입들과 함께 조인트 코딩을 이용하여 시그널링하도록 할 수도 있다.

한편, 통합 모드를 이용하는 경우에도, 시그널링 순서를 조정하는 것과는 별도로예측 타입별 발생 빈도(선택 비율)에 고려하여 코드워드를 할당할 수 있다.
표 29는 통합 모드를 사용하는 경우로서, 예측 타입의 발생 빈도를 고려하여 코드워드를 할당한 경우에 대한 조인트 코딩 테이블의 일 예이다. 표 29에서는, 설명의 편의를 위하여 인터 예측 모드에서 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션을 가지는 경우를 예로서 설명한다.
<표 29>
Figure PCTKR2011008949-appb-I000029
표 29에서는 Nx2N 인터 모드의 발생 빈도가 2NxN 인터 모드의 발생 빈도보다 높은 경우를 예로서 설명한다. 따라서, 표 29의 예에서는 Nx2N 인터 모드에 대하여 2NxN 인터 모드에 할당된 코드워드(001)보다 더 짧은 코드워드(01)를 할당하고 있다.

통합 모드를 적용하는 경우에도, 통합 모드를 포함하는 각 예측 타입 각각에 대하여 코드워드를 할당하고, 적용되는 예측 타입에 대응하는 코드워드를 시그널링하도록 할 수 있다.
표 30은 통합 모드를 사용하는 경우로서, 스킵 모드 이외의 예측 타입 각각에 대하여 코드워드를 할당하여 현재 블록에 적용되는 예측 타입(예측 모드, 파티션 사이즈 등)의 정보를 전송하는데 이용되는 조인트 코딩 테이블의 일 예를 개략적으로 나타낸 것이다.
<표 30>
Figure PCTKR2011008949-appb-I000030
표 30에서는, 설명의 편의를 위하여 인터 예측 모드에서 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션을 가지는 경우를 예로서 설명하고 있다. 표 30을 참조하면, 부호화기는 각 예측 모드, 즉 통합 모드(머지/다이렉트 모드), 2Nx2N, NxN 인트라 모드, 2Nx2N, 2NxN, Nx2N, NxN 인터 모드 각각에 코드워드를 할당하고, 현재 블록에 적용되는 예측 타입의 코드워드를 전송할 수 있다.
이때, 부호화기는 예측 타입별 발생 빈도(선택 비율)을 고려하여 코드워드를 할당할 수도 있다. 표 31은 표 30의 예에서 예측 타입별 발생 빈도를 고려하여 코드워드를 할당하는 일 예를 나타낸 것이다.
<표 31>
Figure PCTKR2011008949-appb-I000031
표 31의 예에서는 설명의 편의를 위해서, Nx2N 인터 모드의 발생 빈도가 2NxN 인터모드의 발생 빈도보다 높다고 가정한다. 따라서, 표 31의 예에서는 표 30의 예와 비교할 때, Nx2N 인터 모드에 대해서 2NxN 인터 모드에 대한 코드워드(0001)보다 더 짧은 코드워드(001)를 할당하고 있다.

한편, 표 28 내지 표 31의 경우에는 예측 유닛 단위로 머지 모드가 적용된다. 따라서, 시그널링 순서를 조정하는 경우(표 28, 표 31)나 머지 모드를 포함하는 통합 모드를 다른 예측 타입과 동등하게 고려하는 경우(표 30)의 경우에는 스킵 모드, 통합 모드 외에 인터 예측 모드/파티션 사이즈가 현재 블록에 적용되는 경우에 별도로 머지 모드의 적용 여부가 시그널링 되지 않아도 된다. 반면에, 시그널링 순서의 조정없이 발생 빈도를 고려하여 코드워드 할당을 하는 경우인 표 29를 통해서 예측 정보가 시그널링 되는 경우에는, 인터 예측 모드/파티션 사이즈 중 어느 하나가 현재 블록에 적용되는 것으로 시그널링된 후에, 현재 블록에 머지 모드가 적용되는지에 관한 정보(merge_flag)가 뒤이어 시그널링될 수 있다.

지금까지는 설명의 편의를 위해서, 인터 모드에 대하여 {2Nx2N, 2NxN, Nx2N, NxN}의 파티션만이 적용되는 경우를 예로서 설명하였으나, 인터 모드에 대한 전체 파티션을 고려하여, 현재 블록에 대한 예측 타입을 시그널링할 수도 있다.
표 32는 2Nx2N, 2NxN, Nx2N, NxN, 2NxnU, 2NxnD, nLx2N, nRx2N의 파티션을 모두 고려하는 경우에 현재 블록에 대한 예측 블록의 시그널링에 이용될 수 있는 조인트 코딩 테이블의 일 예를 나타낸 것이다.
<표 32>
Figure PCTKR2011008949-appb-I000032
표 32를 참조하면, 인트라 모드의 각 파티션 사이즈와 인터 모드의 각 파티션 사이즈를 예측 타입을 통해서 지시할 수 있다. 따라서, 예측 모드와 파티션 사이즈를 조인트 코딩하여 현재 블록에 대한 예측 타입을 한번에 시그널링 할 수 있다. 이때, 상술한 바와 같이, 예측 타입별로 발생 빈도를 고려하여 코드워드를 할당할 수도 있다.
한편, 표 32의 예에서 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로서 그대로 이용하는 예측 모드의 경우, 예컨대, {스킵 모드, 다이렉트 모드, 머지 모드} 혹은 {(머지) 스킵 모드, 머지 모드}의 경우에는 해당 모드의 적용 여부를 다른 조건에 의해 추정하거나(infer), 미리 별도의 시그널링을 통해 적용 여부를 전송할 수도 있다. 또한, 표 32는 머지 모드가 상술한 다른 예들과 같이 예측 유닛 단위에서 적용되는 경우를 가정한 것으로서, 각 파티션 별로 다시 머지 모드의 적용 여부가 시그널링 될 수 있다.
따라서, 표 17의 경우와 표 32의 경우를 함께 적용하여, 부호화 유닛 단위에서 머지 여부를 별도의 시그널링으로 전송할 수도 있고, 부호화 유닛 단위에서 머지 모드가 적용되지 않는 경우에는, 표 32와 같이 현재 블록에 대한 예측 타입을 시그널링 하면서, 혹은 시그널링 한 후에 파티션(예측 유닛) 단위로 머지 모드의 적용 여부(merge_flag)를 시그널링할 수 있다.
각 예측 타입의 시그널링에 앞서 상술한 바와 같은 추가 정보, 예컨대 슬라이스 타입 혹은 분할 여부에 관한 정보가 시그널링될 수도 있다. 이 경우에, 이들 추가 정보를 기반으로 예측 타입이 구별되도록 할 수도 있다. 예를 들어, I 슬라이스의 경우에 예측 타입이 0의 값을 가지면 2Nx2N 인트라 모드를 지시하고, B 혹은 P 슬라이스의 경우에 예측 타입이 0의 값을 가지면, 2Nx2N 인터 모드를 지시하는 것으로 할 수도 있다.
또한, 서로 다른 예측 모드/파티션을 가지는 예측 타입에 대하여 서로 다른 코드워드를 할당함으로써, 각 예측 타입을 구별할 수도 있다.

상술한 바와 같이, 인터 슬라이스에서 예측 모드에 대한 시그널링 스킴(scheme) 방법을 수정하여 전송 효율을 높일 수 있다. 예컨대, 인터 슬라이스에 대한 예측 모드와 파티션 타입을 유너리 타입(unary-type)의 코드워드로 조인트 코딩할 수 있다. 이때, 상술한 바와 같이, 예측 모드, 파티션 (사이즈)과 같이 예측에 관한 정보를 예측 타입이라고 할 수 있다. 예측 타입은 예측 모드, 파티션 (사이즈) 외에도, 분할 여부와 슬라이스 타입 등에 관한 정보를 더 포함할 수도 있다.
각 예측 모드의 포션(portion) 즉, 발생 빈도(선택 빈도)에 따라서 예측 타입을 나타내는 코드워드를 재정렬(rearrange)할 수도 있다.
예측 모드와 파티션 타입(파티션 사이즈)는 소정의 신택스 요소(syntax element)를 통해서 전송될 수 있다. 예컨대, 상술한 바와 같이, 스킵 모드의 적용 여부는 스킵 플래그(skip_flag)를 통해서 시그널링 될 수 있다. 또한, 머지 모드의 적용 여부는 머지 플래그(merge_flag)를 통해서 시그널링 될 수 있으며, 다이렉트 모드의 적용 여부는 다이렉트 모드 플래그(direct_flag)를 통해서 시그널링 될 수 있고, 다이렉트 모드와 머지 모드의 통합 모드의 적용 여부는 통합 모드 플래그(merge_direct_flag)를 통해서 적용 여부가 시그널링 될 수 있다.
한편, 별도의 플래그 등으로 시그널링 되는 예측 모드들이 현재 블록에 적용되지 않는 경우에는, 현재 블록의 예측 모드와 파티션 사이즈 등을 별도로 시그널링 할 수 있다.
표 33은 부호화 유닛 레벨(부호화 유닛 파라미터 셋)에서 예측 모드와 파티션 타입(파티션 사이즈)를 시그널링하는 예를 개략적으로 나타낸 것이다.
<표 33>
Figure PCTKR2011008949-appb-I000033
표 33의 예에서는 예측 모드, 파티션 정보 등을 조인트 코딩하고 대응하는 코드워드를 전송하는 방식으로 시그널링 될 수 있다. 이때 표 33의 예처럼, 예측 모드와 파티션 타입(사이즈)를 별개의 신택스 요소를 이용하여 시그널링할 수 있다. 표 33에서 예측 모드는 pred_mode에 의해 지시되며, 인터 모드의 파티션 사이즈는 inter_partitioning_idc에 의해 지시될 수 있다.
한편, 앞서 설명에 이용한 바와 같이, 예측 모드와 파티션 정보를 포함하는 시그널링이라는 의미에서 pred_mode_partition_signaling 라고 명명할 수도 있고, 예측 모드와 파티션 모드 등의 정보를 포함하는 정보를 예측 타입이라 명한 것처럼, 시그널링되는 신택스 요소를 단순히 pred_type라고 명할 수도 있다. pred_mode_partition_signaling 이나 pred_type의 경우에는 관련된 정보(예측 모드, 파티션 사이즈 등)가 조인트 코딩에 의해 하나의 코드워드로 특정되어 시그널링 될 수 있다.
표 34는 상술한 코드워드의 일 예를 개략적으로 나타낸 것이다.
<표 34>
Figure PCTKR2011008949-appb-I000034
각각의 예측 모드에 대한 시그널링 방법으로 도 3에 도시된 시그널링 순서를 이용하는 경우에는, 상술한 바와 같이 스킵 모드, 머지 모드, 다이렉트 모드의 적용 여부가 순서대로 시그널링 되고, 이들 예측 모드가 적용되지 않는 경우에 나머지 예측 타입 중에서 어떤 예측 타입이 적용되는지가 조인트 코딩을 이용하여 시그널링된다. 이에 관해서는 도 3에 관해서 이미 설명한 바와 같다.
한편, 표 34를 고려하면, 각 예측 모드에 대한 코드워드는 서로 다른 길이를 가지는데, 소스 코딩 이론에 의하면 각 코드워드의 길이는 발생 확률의 로그 값의 절대값에 대략적으로 비례한다. 따라서, 부호화 효율을 높이려면, 가장 빈번한 심볼이 가장 짧은 코드워드를 사용하는 것이 좋다.
따라서, 표 34의 코드워드를 예측 타입에 따른 발생 빈도를 고려하여 재정렬함으로써, 부호화/복호화의 복잡도 증가 없이 부호화 효율을 높일 수 있다.
예측 타입(예측 모드)별 발생 확률을 측정한 예로서, 도 4를 앞서 설명한 바가 있다. 도 4의 예에 대해서는 앞서 설명한 바와 같이, 전체 예측 타입을 발생 횟수에 있어서 2Nx2N 인터 모드가 다이렉트 모드보다 포션(portion)이 크고, Nx2N 인터 모드가 2NxN 인터 모드보다 포션이 크다. 따라서, 발생 빈도, 즉 포션에 따라서 2Nx2N 인터 모드와 다이렉트 모드에 대한 코드워드를 서로 맞바꾸고(switching), Nx2N 인터 모드와 2NxN 인터 모드에 대한 코드워드를 서로 맞바꿀 수 있다.
표 35는 표 34에서 각 예측 타입에 대한 코드워드를 상술한 바와 같이 재정렬한 것이다.
<표 35>
Figure PCTKR2011008949-appb-I000035
표 34와 표 35에서는 별도로 시그널링할 예측 타입에 대해서 0의 코드워드를 할당하여 우선적으로 구분해 낸다. 그 뒤 나머지 예측 타입들에 대하여 재차 코드워드를 할당하여 한번에 어떤 예측 타입이 적용되는지를 지시하고 있다. 이에 관해 설명한 내용은 도 5 내지 도 8에서 설명한 내용과 크게 다르지 않다.
도 3의 예는 상술한 바와 같이 부호화 유닛 단위로 머지 모드가 적용되는 예이다. 예측 유닛 단위로 머지 모드가 적용되는 예로서, 앞서 설명한 도 9가 있다. 도 9의 예에서는 앞서 설명한 바와 같이, 인터 모드의 파티션 별로 머지 모드 적용 여부가 시그널링 될 수 있다.
도 10은 예측 유닛 단위로 머지 모드가 적용되는 경우에, 각 예측 타입의 포션(발생 빈도)를 나타낸 것이었다. 이렇게 예측 유닛 단위로 머지 모드가 적용되는 경우에도, 발생 빈도를 고려하여 예측 타입별 시그널링 순서를 조정하거나 코드워드를 할당할 수 있으며, 이에 관해서는 도 11 내지 도 13 등에서 이미 설명한 바와 같다.

한편, 도 14는 복호화 과정의 일 예를 개략적으로 나타낸 것이다. 도 14를 참조하면, 예측 데이터는 예측 모드 복호화 과정과 MC(Motion Compensation) 프레딕터(predictor) 생성 과정을 거치게 된다. 계수 데이터(coefficient data)는 계수 데이터 복호화 과정과 레지듀얼 데이터 생성 과정을 거치게 된다. 이어서 최종적으로 복호화된 이미지가 생성된다.
도 15는 도 14에 도시된 예측 모드 복호화 과정을 설명하는 도면이다. 도 15에서는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용하는 예측 모드로서 {(머지) 스킵 모드, 머지 모드}를 적용하는 경우를 예로서 설명하고 있다.
인터 슬라이스에서 예측과 관련하여 모드에 관한 정보로서 시그널링 되는 것은 분할 여부에 관한 정보, 스킵 모드 적용 여부에 관한 정보, 머지 모드 적용 여부에 관한 정보, 인터 모드/인트라 모드의 예측 타입 중 어느 것이 적용되는지에 관한 정보 등이 있을 수 있다. 인터 모드/인트라 모드의 예측 타입 중 어느 것이 적용되는지에 관한 정보는 인터 모드의 경우에 파티션 사이즈에 따라서 4 가지(2Nx2N, NxN, 2NxN, Nx2N)로 나뉠 수 있고, 인트라 모드의 경우에는 파티션 사이즈에 따라서 2 가지(2Nx2N, NxN)로 나뉠 수 있다. 물론 인터 모드의 경우에는 앞서 설명한 바와 같이, 2NxnU, 2NxnD, nLx2N, nRx2N의 파티션 사이즈를 더 가질 수 있다.
예측 모드 복호화 과정에서, 복호화기는 스플릿 플래그(split_flag)가 지시하는 바에 따라서 부호화 유닛을 분할하며, 이어서, 스킵 플래그에 따라서 스킵 모드를 적용한다. 스킵 모드가 적용되지 않는 경우에는 예측 타입을 지시하는 정보(예컨대, mode_and_partition)에 기반해서 현재 블록에 적용할 예측 타입을 결정한다. 이때, 인터 예측 모드가 적용된다면, 머지 플래그를 통해서 예측 유닛 단위로 머지 모드의 적용 여부를 결정할 수 있다. 또한, NxN 파티션 사이즈의 경우는 인터 모드인지 인트라 모드인지에 상관없이 현재 부호화 유닛의 사이즈가 최소(minimum)인 경우에만 존재하도록 할 수 있다.
이때, 압축 효율을 높이기 위해서, 예측 모드와 파티션에 관한 정보를 포함하는 모든 예측 타입을 대하여 조인트 코딩을 이용하여 시그널링할 수 있다.
도 16은 예측 모드와 파티션 정보 등을 조인트 코딩을 통해 시그널링하는 방법의 일 예를 개략적으로 설명하는 도면이다. 도 16을 참조하면, 표 36은 도 15의 예에 따른 조인트 코딩 테이블의 일 예로서, 조인트 코딩시 할당되는 초기 코드워드를 나타낸 것이다.
<표 36>
Figure PCTKR2011008949-appb-I000036
표 36의 테이블을 초기 상태(initial state)로 해서, 매 시그널링마다 해당 블록에 적용되는 것으로 선택된 모드(예측 타입)를 표 36의 테이블에서 바로 위에 있는 모드와 스위칭(switching 혹은 adaptation)함으로써, 특정 모드(예측 타입)에 대한 선택 비율이 증가하면, 이를 반영하여 선택 비율이 증가하는 모드에 더 짧은 코드워드가 할당되도록 할 수 있다. 자주 선택되는 모드에 짧은 코드워드가 할당됨으로써, 압축 효율을 높일 수 있다.
이런 어댑테이션(adaptation)은 각 블록의 깊이(depth)별로 독립적으로 이루어질 수 있다. 다시 말하면, 부호화 유닛의 사이즈에 따라서 독립적으로 어댑테이션이 수행될 수 있다.

이때, 조인트 코딩의 범위를 변경하여 압축 효과를 더 높일 수 있다. 앞서 설명한 내용에서 조인트 코딩의 대상은 분할(split) 여부, 스킵 모드 적용 여부, 2Nx2N 머지 모드 적용 여부, 2Nx2N 인터 모드 적용 여부, 2NxN 인터 모드 적용 여부, Nx2N 인터 모드 적용 여부, NxN 인터 모드 적용 여부, 2Nx2N 인트라 모드 적용 여부, NxN 인트라 모드 적용 여부 등이다. 이외에, 2NxN 머지 모드 적용 여부, Nx2N 머지 모드 적용 여부, NxN 머지 모드 적용 여부 등도 조인트 코딩의 대상이 될 수 있다.
도 16에 따른 시그널링 방법은 조인트 코딩 후 코드워드 어댑테이션(혹은 스위칭)을 통해서 압축 효율을 높이고 있다. 하지만, 조인트 코딩을 하지 않을 때는 고정적으로 적은 정보량만으로 시그널링되던 요소(element)에 대하여 어댑테이션 과정에서 코드워드가 스위칭 됨으로써 더 많은 정보량을 전송해야 하는 경우가 생길 수 있다. 예컨대, 분할 여부에 관한 정보(split_flag)의 경우에는, 조인트 코딩을 하지 않는 경우에는 가장 앞 단에서 시그널링됨으로써, 1 비트의 정보량으로 처리할 수 있었고, 조인트 코딩을 하더라도, 표 36과 같이 초기(initial) 값은 가장 작은 정보량(가장 짧은 코드워드)를 사용할 수 있다. 하지만, 코딩 과정에서 스킵 모드 혹은 2Nx2N 머지 모드 등이 연속적으로 많이 선택되게 되면, 분할 여부를 지시하는 정보(설명의 편의를 위해, 분할 모드를 지시하는 정보라 함)의 위치는 뒤로 밀려서 더 긴 코드워드가 할당되는 위치에 놓이게 된다. 따라서, 나중에 분할 모드가 선택되면 비트의 낭비가 발생할 수 있다.
도 17은 이와 같이 분할 모드에 할당되는 코드워드가 길어져서 비트의 낭비가 발생하는 경우의 예를 개략적으로 설명하는 도면이다. 도 17을 참조하면, 초기에 분할(split) 모드에는 1의 코드워드가 할당되지만, 스킵 모드가 선택되면 스킵 모드의 위치와 분할 모드의 위치가 스위칭된다. 다시 2Nx2N 머지 모드가 선택되면, 분할 모드의 위치는 2Nx2N 머지 모드의 위치와 스위칭 된다. 이때, 현재 블록에 대하여 분할 모드가 선택되게 되면, 분할 모드의 위치에 할당된 코드워드는 ‘001’이므로, 분할 모드의 적용 여부를 지시하는 분할 플래그(split_flag)가 3 비트의 크기로 시그널링 되게 된다.
따라서, 조인트 코딩을 적용하는 모드의 범위를 수정하여 압축 효율을 높이는 방법을 고려할 수 있다.

조인트 코딩의 범위를 변경
조인트 코딩의 범위를 변경하는 다양한 방법으로서, 아래와 같은 방법을 고려할 수 있다.
(1) 분할 여부는 플래그를 이용하여 시그널링 하고, 나머지 모드들에 대해서는 상술한 바와 같이 조인트 코딩을 이용하도록 할 수 있다.
(2) 분할 여부는 플래그를 이용하여 시그널링 하고, 나머지 모드들에 대해서는 정보 혹은 모드를 추가하여 조인트 코딩을 적용하도록 할 수 있다.
(3) 분할 모드와 스킵 모드에 대해서 조인트 코딩을 적용하고, 나머지 모드들에 대해서는 분할 모드와 스킵 모드와는 별도로 조인트 코딩을 적용하도록 할 수 있다.
(4) 분할 모드, 스킵 모드, 머지 모드에 대해서 조인트 코딩을 적용하고, 너머지 모드들에 대해서는 분할 모드, 스킵 모드, 머지 모드와는 별도로 조인트 코딩을 적용하도록 할 수 있다. 이때, 조인트 코딩되는 머지 모드는 머지 플래그(merge_flag)일 수도 있고, 2Nx2N 머지 모드와 같이 특정한 모드일 수도 있다. 또한, 머지 플래그가 조인트 코딩의 대상이 되는 경우, 나중에 인터 모드가 선택되면 머지 플래그를 머지 모드의 적용 여부를 판단하는데 이용하고, 인트라 모드가 선택되면 머지 플래그에서 MPM(Most Probable Mode) 플래그(mpm_flag)를 추정하여 mpm 값의 적용 여부 판단에 이용할 수 있다.

한편, 조인트 코딩 범위의 변경을 적응적으로 적용할 수도 있다. 예컨대, 대상 범위를 변경하여 조인트 코딩을 적용하는 상술한 방법들을 깊이(depth)/블록(block)/슬라이스(slice)/프레임(frame)/GOP(Group of Picture) 등의 단위에 대해 적응적으로 적용할 수 있다. 조인트 코딩 범위의 변경을 적응적으로 적용하는 방법의 예로서, 아래와 같은 방법들을 고려할 수 있다.
(1) 조인트 코딩의 각 적용 단위별로 추가적인 정보를 시그널링하도록 할 수 있다.
(2) 주변 정보를 이용하여 적용 여부를 결정하도록 할 수 있다.
(3) 통계적 수치를 바탕으로 적용 여부를 결정한다. 예컨대, 이전의 슬라이스/프레임의 정보를 현재 슬라이스/프라임에 적용하도록 할 수 있다. 또한, 복수의 이전 슬라이스/프레임에 대한 누적 통계 정보를 현재 슬라이스/프레임에 적용하도록 할 수 있다. 동일 슬라이서/프레임에서 현재 블록 전까지 복호화된 블록들 중 일부 혹은 전부의 누적 통계 정보를 현재 슬라이스/프레임에 적용하도록 할 수 있다.
(4) 부호화 유닛 사이즈가 최소인 경우(CU size=minimum)와 그렇지 않은 경우에 대해서 서로 다른 조인트 코딩 범위를 적용하도록 할 수 있다.

또한, 각 조인트 코딩에 대해서 코드워드를 변경할 수도 있다. 예컨대, 특정 조인트 코딩의 대상들에 대한 코드워드를 깊이/블록/슬라이스/프레임/GOP 등의 단위에 대해 적응적으로 변경하도록 할 수 있다. 또한, 적응적인 적용을 위해 각 적용 단위별로 추가적인 정보를 시그널링하거나, 주변 정보를 이용하여 적용 여부를 결정하거나, 통계적 수치를 바탕으로 적용 여부를 결정하는 등의 방법을 사용할 수도 있다.
이때, 통계적 수치를 바탕으로 적용 여부를 결정하는 방법으로서 상술한 바와 같이, 이전의 슬라이스/프레임의 정보를 현재 슬라이스/프라임에 적용하거나, 복수의 이전 슬라이스/프레임에 대한 누적 통계 정보를 현재 슬라이스/프레임에 적용하거나, 동일 슬라이서/프레임에서 현재 블록 전까지 복호화된 블록들 중 일부 혹은 전부의 누적 통계 정보를 현재 슬라이스/프레임에 적용하는 방법을 사용할 수 있다.
또한, 각 조인트 코딩에 대하여 코드워드를 변경하는 경우에도, 부호화 유닛 사이즈가 최소인 경우와 그렇지 않은 경우에 서로 다른 어댑테이션을 적용할 수 있다.

조인트 코딩 대상에 대한 어댑테이션의 초기화
상술한 조인트 코딩의 범위를 변경하는 방법의 대안으로, 조인트 코딩과 그 대상에 대한 어댑테이션을 진행하다가 특정 단위별로 어댑테이션을 중지하고 초기화하는 방법을 고려할 수 있다.
이때, 조인트 코딩의 요소(element)들 중 어느 하나를 초기화의 대상으로 할 수도 있고, 조인트 코딩의 요소들 전부를 초기화의 대상으로 할 수도 있으며, 조인트 코딩의 요소 중 복수의 일부 요소만을 초기화의 대상으로 할 수도 있다.
또한, 초기화의 단위는 부호화 유닛일 수도 있고, 최대 부호화 유닛(LCU: Largest Coding Unit)일 수도 있다. 또한, 슬라이스, 프레임, GOP 등을 초기화의 단위로 이용할 수도 있다.

어댑테이션 초기화의 한 예로서, 초기화의 대상이 되는 조인트 코딩 요소를 분할 모드(split mode)로 하고, 초기화의 단위를 최대 부호화 유닛으로 하는 경우를 생각할 수 있다.
이때, 최대 부호화 유닛(LCU: Largest Coding Unit)은 부호화 단위 중 가장 큰 사이즈(maximum size)로서, 최대 부호화 유닛의 깊이(depth)를 0으로 설정할 수 있다. 최대 부호화 유닛이 4 등분될 때마다 깊이가 증가하게 되며, 최대 부호화 유닛 내에서 여러 개의 서브 부호화 유닛(sub-CU)로 리커시브(recursive)하게, 즉 서브 부호화 유닛이 다시 여러 개의 서브 부호화 유닛으로 나뉘는 방식을 통해 소정의 깊이까지 나뉘어 갈 수 있다.

도 18은 본 발명이 적용되는 시스템에서 분할 모드를 초기화의 대상으로 하고, 최대 부호화 유닛을 초기화 단위로 하는 어댑테이션 초기화의 예를 개략적으로 설명하는 도면이다. 도 18을 참조하면, 초기 상태에서 어댑테이션이 계속하여 진행된다. 예컨대, 첫 번째 대상 블록에 대하여, 스킵 모드가 선택되면, 분할 모드는 스킵 모드와 스위칭 될 수 있다. 이어서, 다음 대상 블록에 대해서 2Nx2N 머지 모드가 선택되면, 분할 모드는 다시 2Nx2N 머지 모드와 스위칭 될 수 있다. 다시, 다음 대상 블록에 대해서 2Nx2N 인터 모드가 선택되면, 분할 모드는 2Nx2N 인터 모드와 스위칭된다. 이렇게 예측 모드가 선택되는 블록을 이동하다가 최대 부호화 유닛의 경계를 지나게 되면, 분할 모드를 초기화 한다. 따라서, 분할 모드의 위치는 제일 처음의 위치인 코드워드 ‘1’에 대응하는 위치로 이동하고, 다른 모드들의 위치가 하나씩 아래로 조정된다.

어댑테이션 방법의 변경
현재는 래스터 스캔 오더(raster scan order)에 의해 예측 모드에 대한 매 시그널링마다 코드워드의 어댑테이션을 수행하고 있다. 이를 수정하여 압축 효과를 높일 수 있다.
도 19는 코드워드 어댑테이션의 방법을 개략적을 설명하는 도면이다. 도 19(a)에서는 현재의 방식처럼 래스터 스캔 오더에 따라 코드워드를 어댑테이션 하는 방법을 개략적으로 나타내고 있다. 도 19(a)의 예에서는, 어댑테이션 결과가 누적되어 그 다음 블록의 부호화에 영향을 미친다.
하지만, 경우에 따라서는 계속 누적되어온 경향보다도, 주변 블록의 경향을 참조함으로써 현재 블록의 부호화 성능을 더 높일 수 있다. 본 발명이 적용되는 시스템에서는 도 19(b)에서와 같이, 블록 D의 부호화에 블록 C까지 누적된 경향보다 주변의 블록인 블록 A나 블록 C의 경향을 참조할 수 있다. 블록 D가 주변 블록인 블록 A나 블록 C와 유사한 특성을 가질 확률이 높기 때문이다.

따라서, 아래와 같이 어댑테이션 방법을 변경할 수 있다.
(1) 어댑테이션의 결과는 누적하되, 주변 블록을 참조하여 어댑테이션 여부와 방법을 결정하도록 할 수 있다.
(2) 어댑테이션 결과를 누적하지 않고, 주변 블록을 참조하여 어댑테이션 여부와 방법을 결정하도록 할 수 있다.
(3) 모드에 따라서 서로 다른 기준을 가지고 어댑테이션을 수행하도록 할 수 있다. 예컨대, 분할 모드에 대해서는 결과를 누적하며 어댑테이션을 수행하고, 다른 모드에 대해서는 주변 블록을 참조하여 어댑테이션을 수행하도록 할 수 있다.
(4) 주변 블록과 현재 블록의 크기, 모드의 종류에 대한 동일성을 기준으로 어댑테이션을 수행할 수 있다. 이때, 모드의 종류가 동일한 주변 블록의 수에 따라서 어댑테이션의 정도를 변경하도록 할 수도 있다.

도 20은 본 발명이 적용되는 시스템에서 어댑테이션을 위한 주변 참조 블록의 예를 개략적으로 설명하는 도면이다. 어댑테이션을 위해 참조하는 주변의 블록은 도 20의 예와 같이 설정할 수 있다.
예컨대, 도 7(a)와 같이, 최대 부호화 유닛(LCU: Largest Coding Unit) 단위로 주변 블록을 선택적으로 참조하게 할 수 있다. 또한, 도 7(b)와 같이, 부호화 유닛(CU) 단위로 주변 블록을 선택적으로 참조하게 할 수도 있다. 이때, 주변 블록은 공간적 주변 블록(A, B, C, D 등)뿐만 아니라, 시간적 주변 블록(Col LCU, Col CU)를 포함할 수 있다.
또한, 부호화 유닛에서 더 분할된 파티션 단위로 주변 파티션을 참조하도록 할 수 있다.

최대 부호화 유닛(LCU)이나 부호화 유닛(CU)은 서로 다른 종류의 복수의 파티션을 포함할 수 있다. 따라서, 주변 블록을 참조할 때, 동일한 종류의 부호화 유닛 사이즈나 파티션을 가지는 경우만 참조하도록 하거나, 동일한 종류의 부호화 유닛 사이즈나 파티션을 가지는지 여부와는 무관하게 참조하도록 할 수 있다.

아울러, 주변 블록을 참조할 때는, 참조 블록의 위치에 따라서 우선 순위나 가중치를 둘 수 있다. 예를 들어, 도 20의 경우에, 현재 최대 부호화 유닛 혹은 현재 부호화 유닛은 블록 A를 먼저 참조하고, 블록 A가 이용될 수 없는(not available) 경우에 블록 B를 참조하는 식으로 주변 블록을 참조하도록 할 수 있다.

도 21은 본 발명이 적용되는 시스템에서 어댑테이션을 변경하는 방법에 대한 실시예를 개략적으로 설명하는 도면이다.
도 21(a)는 최대 부호화 유닛 단위로 어댑테디션을 적용하는 실시예를 개략적으로 나타낸 것이다. 따라서, 도 21(a)의 예에서는, 최대 부호화 유닛 A와 B에 속하는 각 예측 파티션(prediction partition)에 대해서 초기 코드워드를 어댑테이션할 수 있다. 이때, 어댑테이션된 코드워드 매핑 테이블(조인트 코딩 테이블)은 현재 최대 부호화 유닛(LCU)에 속하는 각 예측 파티션을 부호화하는데 이용될 수 있다.
도 21(b) 역시 최대 부호화 유닛 단위로 어댑테이션을 적용하는 실시예를 개략적으로 나타낸 것이다. 도 21(b)의 예에서는, 최대 부호화 유닛 A와 B에 속한 각 예측 파티션에 대하여 초기 코드워드를 어댑테이션하되, 부호화 유닛 사이즈에 따라서 독립적으로 어댑테이션을 수행한다. 따라서, 부호화 유닛 사이즈에 따라서 복수의 코드워드 매핑 테이블을 사용한다.
도 21(b)의 예에서는 어댑테이션된 코드워드를 현재 최대 부호화 유닛에 속한 각 예측 파티션을 부호화하는데 사용하되, 어댑테이션을 수행할 때 부호화 유닛 사이즈에 따라서 독립적으로 생성한 복수의 코드워드 매핑 테이블을 사용한다. 따라서, 현재 최대 부호화 유닛에 속하는 부호하 유닛을 코드워드 매핑 테이블을 이용하여 부호화하는 경우에는, 부호화 유닛 사이즈별로 정해진 코드워드 매핑 테이블을 이용할 수 있다. 예컨대, 도 21(b)의 예에서, a 영역에 대해서는 동일한 사이즈를 가지는 c 영역에서 어댑테이션된 코드워드 매핑 테이블을 이용할 수 있고, b 영역에 대해서는 동일한 사이즈를 가지는 d 영역에서 어댑테이션된 코드워드 매핑 테이블을 이용할 수 있다.

한편, 지금까지는 인터 예측 모드를 위주로 시그널링하는 방법에 대하여 설명하였으나, 상술한 조인트 코딩 테이블 등에서도 볼 수 있듯이, 예측이 수행되는 경우에 인트라 모드에 대해서도 시그널링이 수행된다.
도 22는 현재 블록에 대한 인트라 예측 방법의 일 예를 개략적으로 설명하는 도면이다. 도 22를 참조하면, 현재 블록(2210)에 대한 인트라 예측을 위해, 좌측 블록(2220)과 상측 블록(2230)의 인트라 모드를 확인할 수 있다. 이때, 현재 블록의 MPM(Most Probable Mode)를 좌측 블록(2220)의 모드와 우측 블록(2230)의 모드 중 더 작은 모드로 결정할 수 있다(MPM=min(상측 인트라 모드, 좌측 인트라 모드)).
이어서, 부호화기는 현재 블록의 인트라 모드가 MPM인지를 나타내는 플래그를 시그널링할 수 있다. 만약 플래그가 설정되면 현재 블록의 인트라 모드는 MPM이 된다. 현재 블록의 인트라 모드가 MPM이 아닌 경우에는, 현재 블록의 인트라 모드를 나타내는 모드 B의 정보를 시그널링할 수 있다.
만약 모드 B < MPM 이면, 모드 B를 그대로 현재 블록에 대한 인트라 모드로 사용한다. 만약 모드 B ≥ MPM 이면, 모드 B+1의 모드를 현재 블록에 대한 인트라 모드로 사용한다. 왜냐하면, 현재 블록의 인트라 모드가 MPM인 경우는 앞서 이미 시그널링되었으므로, 이 경우에는 고려하지 않아도 되기 때문이다.
또한, MPM 후보 중에 유효하지 않은(not valid) 후보가 포함되어 있다면, 해당 경우에 대해서는 MPM을 DC 예측 모드로 추정(infer)할 수 있다. 하지만, 이 경우에 단순히 MPM을 DC 예측 모드로 추정하지 않고, 압축 효율을 높일 수 있도록 MPM을 결정하는 방법을 고려할 수 있다.

MPM 후보 중 일부는 유효 한(valid) 경우에 대한 MPM 결정
상술한 바와 같이, 현재는 MPM 후보(예컨대, 상측 블록, 좌측 블록 등) 중에 유효 하지 않은 후보가 포함된 경우에는 MPM을 DC 모드로 결정한다. 하지만, 경우에 따라서는, MPM 후보 중 일부가 유효하면, 유효한 후보의 인트라 예측 모드를 현재 블록의 MPM으로 이용할 수 있다.
도 23은 본 발명이 적용되는 시스템에서 MPM 후보 중 일부가 유효한 경우에 MPM을 결정하는 방법의 일 예를 개략적으로 설명하는 도면이다. 도 23의 예에서는, 현재 블록이 프레임(2310) 경계에 위치하는 경우를 설명하고 있다.
도 23의 예에서, 현재 블록이 A(2320)라고 가정하면, 현재 블록(2320)의 상측 블록(2330)은 유효하지 않지만, 좌측 블록(2340)은 유효하다. 따라서, 현재 블록(2320)의 MPM을 좌측 블록(2340)의 모드로 설정할 수 있다.
도 23의 예에서, 현재 블록이 B(2350)이라고 가정하면, 현재 블록(2350)의 좌측 블록(2370)은 유효하지 않지만, 상측 블록(2360)은 유효하다. 따라서, 현재 블록(2350)의 MPM을 상측 블록(2360)의 모드로 설정할 수 있다.

MPM 결정 방법의 변경
상술한 바와 같이, 현재는 MPM = min(좌측 블록의 인트라 모드, 상측 블록의 인트라 모드)로서 결정하고 있다. 하지만, 후보들 중에서 최소 모드(minimum mode)를 MPM으로 설정하는 것은 시그널링 오버헤드 측면에서는 효과가 있으나, 현재 블록의 인트라 예측 모드를 정확하게 반영하기 어렵다.
따라서, 현재 블록의 MPM을 상측 블록의 인트라 모드와 좌측 블록의 인트라 모드의 평균으로 설정하는 방법을 고려할 수 있다. MPM이 정수의 값으로 도출되어 인트라 예측 모드에 대응하여야 하므로, 상측 블록의 인트라 모드와 좌측 블록의 인트라 모드의 평균이 정수가 아닌 경우에는 라운딩(rounding)을 적용하여 소수점 이하의 값을 올림하거나 버림할 수도 있다.
예컨대, 상측 블록의 인트라 모드가 4이고 좌측 블록의 인트라 모드가 8인 경우를 가정하면, 현재 블록의 MPM은 (4+8)/2로서 모드 6이 된다.
또한, 상측 블록의 인트라 모드가 3이고, 좌측 블록의 인트라 모드가 6인 경우를 가정하면, 현재 블록의 MPM은 (3+6)/2로서 4.5가 되는데, 라운딩으로 올림을 취하여 현재 블록의 MPM을 모드 5로 할 수도 있고, 라운딩으로 내림을 취하여 현재 블록의 MPM을 모드 4로 할 수도 있다.
이와 같은 MPM 결정 방법의 변경은 블록, 슬라이스 혹은 프레임 단위로 적응적인 적용이 가능하다.

MPM 후보의 확장
설명한 바와 같이, 현재는 MPM 후보로서 상측 블록의 인트라 예측 모드와 좌측 블록의 인트라 예측 모드를 이용하고 있다. 이에 대하여, MPM 후보를 더 확장함으로써, 예측의 정확도를 높일 수 있다.
도 24는 본 발명이 적용되는 시스템에서 MPM 후보의 확장을 개략적으로 설명하는 도면이다. 도 24를 참조하면, 현재 블록(2400)에 대한 MPM 부호를 좌상측(left-above) 블록의 인트라 예측 모드, 우상측(right-above) 블록의 인트라 예측 모드, 좌하측(left-below) 블록의 인트라 예측 모드, 상측 블록(above)의 인트라 예측 모드, 좌측 블록(left)의 인트라 예측 모드, 시간적 주변 블록(col)의 인트라 예측 모드로 확장할 수 있다.
여기서, 시간적 주변 블록은 현재 프레임 또는 슬라이스보다 시간적으로 이전에 부호화된 프레임 또는 슬라이스에서 현재 블록과 동일한 위치에 있는 블록을 나타낸다.
이런 MPM 후보 블록의 확장은 블록, 슬라이스 혹은 프레임 단위로 적응적인 적용이 가능하다.

MPM 후보의 확장 및 MPM 결정 방법의 변경
앞서 설명한 바와 같이, MPM 후보가 확장되면, MPM을 결정하는 방법 역시 다양하게확장하는 것을 고려할 수 있다. 예컨대, MPM 결정 방법으로서, 아래와 같은 방법들 중 적어도 하나를 이용하는 것을 고려할 수 있다.
(1) MPM = mim(MPM 후보들). 본 방법에 따르면, MPM 후보들 중에서 최소 모드를 현재 블록의 MPM으로 선택할 수 있다.
(2) MPM = average(MPM 후보들). 본 방법에 따르면, MPM 후보들의 평균을 현재 블록의 MPM으로 선택할 수 있다. 이 경우, MPM 후보들의 평균이 정수가 아닌 경우에는 상술한 바와 같이 라운딩을 적용할 수 있다.
(3) MPM = median(MPM 후보들). 본 발명에 따르면, MPM 후보들의 미디안을 현재 블록의 MPM으로 선택할 수 있다.
(4) MPM = 최빈값(MPM 후보들). 본 발명에 따르면, MPM 후보들 중에서 가장 빈번하게 선택되거나 발생되는 후보를 현재 블록의 MPM으로 할 수 있다.
이렇게 확장된 MPM 후보들을 기반으로 MPM 결정 방법을 변경하는 것은 블록, 슬라이스 혹은 프레임 단위로 적응적인 적용이 가능하다.


도 25는 본 발명이 적용되는 시스템에서 부호화기의 동작을 개략적으로 설명하는 순서도이다.
도 25를 참조하면, 부호화기는 현재 블록에 대한 예측을 수행한다(S2510). 부호화기는 현재 블록에 대하여 인트라 예측 혹은 인터 예측을 적용할 수 있다. 예측은 현재 블록의 파티션 사이즈, 슬라이스 타입 등을 고려하여 수행될 수 있다.
이어서, 부호화기는 현재 블록의 예측 결과를 엔트로피 부호화한다(S2520). 엔트로피 부호화에는 상술한 바와 같이, CABAC, CAVLC 등의 방법을 이용할 수 있으며, 각 예측 모드 혹은 예측 타입의 발생 빈도를 고려하여 코드워드를 할당할 수도 있다.
부호화기는 엔트로피 부호화된 정보를 시그널링한다(S2520). 예측 모드에 관한 정보를 시그널링하는 방법으로서, 특정 예측 모드/예측 타입의 적용 여부를 별도의 정보, 예컨대 플래그를 이용하여 시그널링하는 방법이 이용될 수도 있고, 예측 타입에 포함되는 각 요소(element)를 한번에 조인트 코딩한 뒤, 여러 예측 모드 중에서 어떤 예측 모드가 적용되는지를 시그널링할 수도 있다.
예측 타입/예측 모드의 발생 빈도를 고려하여 코드워드를 할당하는 방법 및 예측에 관한 정보를 시그널링하는 방법의 구체적인 내용은 상술한 바와 같다.

도 26은 본 발명이 적용되는 시스템에서 복호화기의 동작을 개략적으로 설명하는 도면이다.
도 26을 참조하면, 복호화기는 부호화기로부터 정보를 수신한다(S2610). 부호화기로부터 수신하는 정보는 비트스트림에 포함되어 전달될 수 있으며, 현재 블록의 예측에 관한 정보를 포함한다.
이어서, 복호화기는 엔트로피 복호화를 수행하여 필요한 정보를 추출할 수 있다(S2620). 복호화기는 추출한 코드워드를 기반으로, 현재 블록에 어떤 예측 타입/예측 모드가 적용되었는지를 결정할 수 있다. 추출된 코드워드는 상술한 바와 같이, 예측 타입/예측 모드의 발생 빈도를 고려하여 할당되어 있을 수 있다. 전송된 정보의 시그널링 순서 역시 예측 모드/예측 타입의 발생 빈도를 고려하여 정해져 있을 수 있다. 또한, 예측 모드/예측 타입에 관한 정보는 예측 모드/예측 타입의 정보를 구성하는 각 요소들(elements)을 조인트 코딩하여 코드워드를 할당하고, 그 중 현재 블록에 적용된 예측 모드/예측 타입에 대응하는 코드워드가 전송된 것일 수도 있다. 구체적인 내용은 상술한 바와 같다.
복호화기는 현재 블록에 대한 예측을 수행한다(S2630). 복호화기는 이전 단계에서 현재 블록에 적용된 것으로 결정된 예측 모드/예측 타입에 따라서 예측을 수행한다.
복호화기는 예측된 결과를 기반으로 현재 블록의 영상을 복원한다(S2640).


상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
지금까지 본 발명에 관한 설명에서 일 구성 요소가 타 구성 요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 상기 일 다른 구성 요소가 상기 타 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 두 구성 요소 사이에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 일 구성 요소가 타 구성 요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 두 구성 요소 사이에 다른 구성요소가 존재하지 않는 것으로 이해되어야 한다.

Claims (14)

  1. 현재 블록에 대한 예측을 수행하는 단계; 및
    상기 현재 블록에 적용한 예측 타입의 정보를 시그널링 하는 단계를 포함하며,
    상기 시그널링 단계에서는,
    상기 예측 타입의 정보를 구성하는 정보 요소들을 조인트 코딩하여 시그널링하는 것을 특징으로 하는 영상 정보의 시그널링 방법.
  2. 제1항에 있어서, 상기 정보 요소들은 예측 모드에 관한 정보 및 파티션 사이즈에 관한 정보를 포함하는 것을 특징으로 하는 영상 정보의 시그널링 방법.
  3. 제2항에 있어서, 상기 정보 요소들은 블록의 분할 여부에 관한 정보 및 슬라이스 타입에 관한 정보 중 적어도 하나를 더 포함하는 것을 특징으로 하는 영상 정보의 시그널링 방법.
  4. 제1항에 있어서, 상기 조인트 코딩을 통해서, 선택 비율이 높은 예측 타입에 짧은 코드워드를 할당하는 것을 특징으로 하는 영상 정보의 시그널링 방법.
  5. 제1항에 있어서, 상기 현재 블록에 적용 가능한 예측 타입 중 소정의 예측 타입의 적용 여부는 각각 플래그를 이용하여 별도로 시그널링하는 것을 특징으로 하는 영상 정보의 시그널링 방법.
  6. 제5항에 있어서, 상기 소정의 예측 타입은 스킵 모드인 것을 특징으로 하는 영상 정보의 시그널링 방법.
  7. 제5항에 있어서, 상기 소정의 예측 타입은 스킵 모드 및 머지 모드이며,
    상기 현재 블록에 대한 스킵 모드의 적용 여부는 우선적으로 시그널링 하고,
    상기 현재 블록에 인터 예측 모드가 적용되는 것이 시그널링 되는 경우에 상기 현재 블록에 대한 머지 모드의 적용 여부를 시그널링하는 것을 특징으로 하는 영상 정보의 시그널링 방법.
  8. 제5항에 있어서, 상기 조인트 코딩을 통해서, 선택 비율이 높은 예측 타입에 짧은 코드워드를 할당하는 것을 특징으로 하는 영상 정보의 시그널링 방법.
  9. 정보를 수신하는 단계;
    상기 수신한 정보를 기반으로 현재 블록에 대한 예측을 수행하는 단계; 및
    수행된 예측을 기반으로 현재 블록을 복원하는 단계를 포함하며,
    상기 수신된 정보에는 상기 현재 블록에 적용된 예측 타입을 구성하는 정보 요소들이 조인트 코딩되어 있는 것을 특징으로 하는 영상 정보의 복호화 방법.
  10. 제9항에 있어서, 상기 정보 요소들은 예측 모드에 관한 정보 및 파티션 사이즈에 관한 정보를 포함하는 것을 특징으로 하는 영상 정보의 복호화 방법.
  11. 제10항에 있어서, 상기 정보 요소들은 블록의 분할 여부에 관한 정보 및 슬라이스 타입에 관한 정보 중 적어도 하나를 더 포함하는 것을 특징으로 하는 영상 정보의 복호화 방법.
  12. 제9항에 있어서, 상기 조인트 코딩에 의해서, 상기 예측 타입 중 발생 비율이 높은 예측 타입에는 짧은 코드워드가 할당되어 있는 것을 특징으로 하는 영상 정보의 복호화 방법.
  13. 제9항에 있어서, 상기 현재 블록에 적용 가능한 예측 타입 중 소정의 예측 타입의 적용 여부는 각각 플래그를 이용한 별도의 정보로 수신되는 것을 특징으로 하는 영상 정보의 복호화 방법.
  14. 제13항에 있어서, 상기 소정의 예측 타입은 스킵 모드 및 머지 모드이며,
    상기 스킵 모드의 적용 여부는 우선적으로 수신되고,
    상기 현재 블록에 인터 예측 모드가 적용되는 것이 수신된 경우에 상기 현재 블록에 대한 머지 모드의 적용 여부가 수신되는 것을 특징으로 하는 영상 정보의 복호화 방법.
PCT/KR2011/008949 2010-11-25 2011-11-23 영상 정보의 시그널링 방법 및 이를 이용한 영상 정보의 복호화 방법 WO2012070857A2 (ko)

Priority Applications (29)

Application Number Priority Date Filing Date Title
KR1020217015403A KR102367972B1 (ko) 2010-11-25 2011-11-23 영상 정보의 시그널링 방법 및 이를 이용한 영상 정보의 복호화 방법
KR1020147017420A KR101783824B1 (ko) 2010-11-25 2011-11-23 영상 정보의 시그널링 방법 및 이를 이용한 영상 정보의 복호화 방법
HUE19191494A HUE056945T2 (hu) 2010-11-25 2011-11-23 Képinformáció dekódolási eljárás, dekódoló berendezés, képinformáció kódolási eljárás, kódoló berendezés és adathordozó
ES11843220T ES2765023T3 (es) 2010-11-25 2011-11-23 Método para señalizar información de imagen y método para decodificar información de imagen usándolo
EP19191494.4A EP3595303B1 (en) 2010-11-25 2011-11-23 Method for decoding image information, decoding apparatus, method for encoding image information, encoding apparatus and storage medium
CN201180056699.8A CN103229507B (zh) 2010-11-25 2011-11-23 使用信号通知图像信息的方法和使用该方法来解码图像信息的方法
EP21188381.4A EP3923579B1 (en) 2010-11-25 2011-11-23 Method for signaling image information and method for decoding image information using same
PL19191494T PL3595303T3 (pl) 2010-11-25 2011-11-23 Sposób dekodowania informacji o obrazie, urządzenie dekodujące, sposób kodowania informacji o obrazie, urządzenie kodujące i nośnik pamięci
KR1020177027224A KR101872178B1 (ko) 2010-11-25 2011-11-23 영상 정보의 시그널링 방법 및 이를 이용한 영상 정보의 복호화 방법
KR1020147006402A KR101478959B1 (ko) 2010-11-25 2011-11-23 영상 정보의 시그널링 방법 및 이를 이용한 영상 정보의 복호화 방법
DK11843220.2T DK2645715T3 (da) 2010-11-25 2011-11-23 Fremgangsmåde til signalering af billedinformation og fremgangsmåde til dekodning af billedinformation ved brug af denne
MX2013005754A MX2013005754A (es) 2010-11-25 2011-11-23 Metodo para señalizar informacion de imagen, y metodo para decodificar informacion de imagen utilizando el mismo.
KR1020197033743A KR102146117B1 (ko) 2010-11-25 2011-11-23 영상 정보의 시그널링 방법 및 이를 이용한 영상 정보의 복호화 방법
EP22208097.0A EP4156684B1 (en) 2010-11-25 2011-11-23 Video decoding method, video encoding method, storage medium
PL11843220T PL2645715T3 (pl) 2010-11-25 2011-11-23 Sposób sygnalizacji informacji o obrazie i wykorzystujący go sposób dekodowania informacji o obrazie
EP23217279.1A EP4319166A3 (en) 2010-11-25 2011-11-23 Method offor signaling image information, and method offor decoding image information using same
KR1020197014309A KR102047507B1 (ko) 2010-11-25 2011-11-23 영상 정보의 시그널링 방법 및 이를 이용한 영상 정보의 복호화 방법
KR1020227005976A KR102483459B1 (ko) 2010-11-25 2011-11-23 영상 정보의 시그널링 방법 및 이를 이용한 영상 정보의 복호화 방법
EP11843220.2A EP2645715B1 (en) 2010-11-25 2011-11-23 Method for signaling image information, and method for decoding image information using same
KR1020137002967A KR101505755B1 (ko) 2010-11-25 2011-11-23 영상 정보의 시그널링 방법 및 이를 이용한 영상 정보의 복호화 방법
KR1020207023364A KR102257335B1 (ko) 2010-11-25 2011-11-23 영상 정보의 시그널링 방법 및 이를 이용한 영상 정보의 복호화 방법
JP2013540890A JP6006226B2 (ja) 2010-11-25 2011-11-23 映像情報のシグナリング方法及び映像情報のシグナリング方法を用いた映像情報の復号化方法
KR1020187017567A KR101981711B1 (ko) 2010-11-25 2011-11-23 영상 정보의 시그널링 방법 및 이를 이용한 영상 정보의 복호화 방법
US13/753,850 US9661324B2 (en) 2010-11-25 2013-01-30 Method for signaling image information, and method for decoding image information using same
US15/601,573 US10080021B2 (en) 2010-11-25 2017-05-22 Method for signaling image information, and method for decoding image information using same
US16/133,204 US10687063B2 (en) 2010-11-25 2018-09-17 Method for signaling image information, and method for decoding image information using same
US16/882,045 US10972736B2 (en) 2010-11-25 2020-05-22 Method for signaling image information, and method for decoding image information using same
US17/190,146 US11284081B2 (en) 2010-11-25 2021-03-02 Method for signaling image information, and method for decoding image information using same
US17/681,661 US20220182640A1 (en) 2010-11-25 2022-02-25 Method for signaling image information, and method for decoding image information using same

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US41726510P 2010-11-25 2010-11-25
US61/417,265 2010-11-25
US41887610P 2010-12-02 2010-12-02
US61/418,876 2010-12-02
US42119310P 2010-12-08 2010-12-08
US61/421,193 2010-12-08
US201161432601P 2011-01-14 2011-01-14
US61/432,601 2011-01-14
US201161441655P 2011-02-11 2011-02-11
US61/441,655 2011-02-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/753,850 Continuation US9661324B2 (en) 2010-11-25 2013-01-30 Method for signaling image information, and method for decoding image information using same

Publications (2)

Publication Number Publication Date
WO2012070857A2 true WO2012070857A2 (ko) 2012-05-31
WO2012070857A3 WO2012070857A3 (ko) 2012-07-19

Family

ID=46146295

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/008949 WO2012070857A2 (ko) 2010-11-25 2011-11-23 영상 정보의 시그널링 방법 및 이를 이용한 영상 정보의 복호화 방법

Country Status (15)

Country Link
US (4) US9661324B2 (ko)
EP (5) EP4319166A3 (ko)
JP (6) JP6006226B2 (ko)
KR (10) KR101783824B1 (ko)
CN (5) CN107801036B (ko)
DK (1) DK2645715T3 (ko)
ES (3) ES2765023T3 (ko)
FI (2) FI3923579T3 (ko)
HR (1) HRP20230292T1 (ko)
HU (2) HUE056945T2 (ko)
MX (1) MX2013005754A (ko)
PL (4) PL4156684T3 (ko)
PT (2) PT3595303T (ko)
SI (3) SI3923579T1 (ko)
WO (1) WO2012070857A2 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984521A (zh) * 2012-12-12 2013-03-20 四川大学 基于时域相关性的高性能视频编码帧间模式判决方法
US10264280B2 (en) 2011-06-09 2019-04-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
US10542290B2 (en) 2012-06-27 2020-01-21 Sun Patent Trust Image decoding method and image decoding apparatus for sample adaptive offset information
CN110786011A (zh) * 2017-06-26 2020-02-11 松下电器(美国)知识产权公司 编码装置、解码装置、编码方法和解码方法
TWI687091B (zh) * 2012-06-11 2020-03-01 南韓商三星電子股份有限公司 視訊解碼方法
US10812800B2 (en) 2012-06-08 2020-10-20 Sun Patent Trust Arithmetic coding for information related to sample adaptive offset processing

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100792568B1 (ko) * 2006-08-21 2008-01-09 현대자동차주식회사 자동차용 다목적 거치대
CN103385002A (zh) * 2010-02-17 2013-11-06 韩国电子通信研究院 用于对超高清图像进行编码的装置及其方法、以及解码装置及其方法
SI3907999T1 (sl) * 2010-09-02 2024-02-29 Lg Electronics, Inc. Inter napoved
EP4270957A3 (en) 2010-11-04 2024-06-19 GE Video Compression, LLC Picture coding supporting block merging and skip mode
KR101824241B1 (ko) * 2011-01-11 2018-03-14 에스케이 텔레콤주식회사 인트라 부가정보 부호화/복호화 장치 및 방법
JP5982734B2 (ja) * 2011-03-11 2016-08-31 ソニー株式会社 画像処理装置および方法
US10536701B2 (en) 2011-07-01 2020-01-14 Qualcomm Incorporated Video coding using adaptive motion vector resolution
US20130016769A1 (en) 2011-07-17 2013-01-17 Qualcomm Incorporated Signaling picture size in video coding
PL3474551T3 (pl) * 2011-09-22 2022-07-04 Lg Electronics Inc. Sposób predykcji międzyobrazowej wykonywany przez urządzenie dekodujące, sposób kodowania wideo wykonywany przez urządzenie kodujące i odczytywalny przez dekoder nośnik zapisu przechowujący zakodowaną informację wideo.
US10542286B2 (en) * 2012-12-19 2020-01-21 ARRIS Enterprise LLC Multi-layer video encoder/decoder with base layer intra mode used for enhancement layer intra mode prediction
CA3050482C (en) * 2013-11-14 2021-02-16 Hfi Innovation Inc. Method of video coding using prediction based on intra picture block copy
US20180176559A1 (en) * 2014-03-19 2018-06-21 Samsung Electronics Co., Ltd. Method for performing filtering at partition boundary of block related to 3d image
US9924183B2 (en) * 2014-03-20 2018-03-20 Nanjing Yuyan Information Technology Ltd. Fast HEVC transcoding
KR20160004946A (ko) * 2014-07-03 2016-01-13 주식회사 케이티 다시점 비디오 신호 처리 방법 및 장치
WO2016178485A1 (ko) * 2015-05-05 2016-11-10 엘지전자 주식회사 영상 코딩 시스템에서 코딩 유닛 처리 방법 및 장치
CN104902271B (zh) * 2015-05-15 2017-12-29 腾讯科技(北京)有限公司 预测模式选择方法及装置
US10841593B2 (en) * 2015-06-18 2020-11-17 Qualcomm Incorporated Intra prediction and intra mode coding
US11463689B2 (en) 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
WO2017131475A1 (ko) * 2016-01-27 2017-08-03 한국전자통신연구원 예측을 사용하는 비디오의 부호화 및 복호화를 위한 방법 및 장치
US10547854B2 (en) * 2016-05-13 2020-01-28 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
US10506228B2 (en) 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
US10785477B2 (en) 2016-10-06 2020-09-22 Lg Electronics Inc. Method for processing video on basis of inter prediction mode and apparatus therefor
KR20180045530A (ko) * 2016-10-26 2018-05-04 디지털인사이트 주식회사 임의의 블록 분할을 사용하는 비디오 코딩 방법 및 장치
WO2018128222A1 (ko) * 2017-01-03 2018-07-12 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
CN117425006A (zh) * 2017-03-22 2024-01-19 韩国电子通信研究院 使用参考块的预测方法和装置
WO2018181252A1 (en) * 2017-03-28 2018-10-04 Panasonic Intellectual Property Corporation Of America Encoding apparatus, decoding apparatus, encoding method, and decoding method
KR102604775B1 (ko) * 2017-11-09 2023-11-21 삼성전자주식회사 움직임 정보의 부호화 장치 및 방법, 및 복호화 장치 및 방법
US10805629B2 (en) 2018-02-17 2020-10-13 Google Llc Video compression through motion warping using learning-based motion segmentation
US11303929B2 (en) 2018-04-02 2022-04-12 Lg Electronics Inc. Image coding method using lookup table for intra prediction mode and apparatus therefor
US11277644B2 (en) 2018-07-02 2022-03-15 Qualcomm Incorporated Combining mode dependent intra smoothing (MDIS) with intra interpolation filter switching
US11303885B2 (en) 2018-10-25 2022-04-12 Qualcomm Incorporated Wide-angle intra prediction smoothing and interpolation
EP3893505A4 (en) * 2018-12-27 2022-05-11 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR DETERMINING PREDICTION MODE, ENCODING DEVICE AND DECODING DEVICE
CN111385572B (zh) 2018-12-27 2023-06-02 华为技术有限公司 预测模式确定方法、装置及编码设备和解码设备
EP3975563A4 (en) * 2019-06-13 2023-01-18 LG Electronics Inc. INTERPREDICTION IN A VIDEO OR IMAGE CODING SYSTEM
JP2022536425A (ja) * 2019-06-13 2022-08-16 エルジー エレクトロニクス インコーポレイティド 双予測基盤映像/ビデオコーディング方法及び装置
WO2020256487A1 (ko) * 2019-06-19 2020-12-24 엘지전자 주식회사 움직임 예측에 기반한 영상 코딩 방법 및 장치
CN114270824A (zh) * 2019-06-19 2022-04-01 Lg 电子株式会社 用于基于帧间预测编译图像的方法和装置
CN113411592B (zh) * 2019-06-21 2022-03-29 杭州海康威视数字技术股份有限公司 预测模式的解码、编码方法及装置
EP3989583A4 (en) * 2019-06-23 2023-06-14 LG Electronics Inc. METHOD AND SIGNALING DEVICE FOR MERGING DATA SYNTAX IN A VIDEO/IMAGE CODING SYSTEM
WO2020262929A1 (ko) * 2019-06-23 2020-12-30 엘지전자 주식회사 비디오/영상 코딩 시스템에서 신택스 시그널링 방법 및 장치
EP3989584A4 (en) * 2019-06-23 2023-06-14 LG Electronics Inc. METHOD AND APPARATUS FOR REMOVING REDUNDANT SYNTAX FROM MIXED DATA SYNTAX
US20230049298A1 (en) * 2019-12-31 2023-02-16 Lg Electronics Inc. Image encoding/decoding method and apparatus for performing prediction on basis of reconfigured prediction mode type of leaf node, and bitstream transmission method
KR20230100677A (ko) * 2021-12-28 2023-07-05 주식회사 케이티 비디오 신호 부호화/복호화 방법, 그리고 비트스트림을 저장한 기록 매체

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2118118C (en) * 1993-03-24 2004-02-24 Motoki Kato Method for coding and decoding motion vectors and apparatus therefor
DE19735607A1 (de) 1997-08-15 1999-02-18 Bosch Gmbh Robert Verfahren zur Aufbereitung eines Datenstromes für die objektbasierte Codierung von Bewegtfortbildern
KR100533437B1 (ko) * 1998-08-26 2005-12-06 소니 가부시끼 가이샤 비디오 데이터 처리 장치, 비디오 데이터 부호화 장치 및 그 방법
US7801215B2 (en) * 2001-07-24 2010-09-21 Sasken Communication Technologies Limited Motion estimation technique for digital video encoding applications
EP2373035B1 (en) * 2001-11-30 2015-11-25 NTT DoCoMo, Inc. Moving picture encoding device, moving picture decoding device, moving picture encoding method, moving picture decoding method, program, and computer readable recording medium storing program
EP1467569A4 (en) * 2002-01-18 2007-11-14 Toshiba Kk METHOD AND APPARATUS FOR ENCODING IMAGES IN MOTION, DECODING METHOD AND APPARATUS
JP2004048522A (ja) * 2002-07-15 2004-02-12 Hitachi Ltd 動画像の符号化方法及び復号化方法
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
KR20060027779A (ko) * 2004-09-23 2006-03-28 엘지전자 주식회사 영상 블록의 시간상 및 공간상 상관관계를 이용한영상신호의 엔코딩 및 디코딩 방법과 장치
JP4763549B2 (ja) * 2006-08-18 2011-08-31 富士通セミコンダクター株式会社 フレーム間予測処理装置、画像符号化装置、及び画像復号化装置
SG140508A1 (en) * 2006-08-31 2008-03-28 St Microelectronics Asia Multimode filter for de-blocking and de-ringing
WO2008056934A1 (en) * 2006-11-07 2008-05-15 Samsung Electronics Co., Ltd. Method of and apparatus for video encoding and decoding based on motion estimation
US8311120B2 (en) * 2006-12-22 2012-11-13 Qualcomm Incorporated Coding mode selection using information of other coding modes
JP5025286B2 (ja) * 2007-02-28 2012-09-12 シャープ株式会社 符号化装置及び復号装置
KR101366241B1 (ko) * 2007-03-28 2014-02-21 삼성전자주식회사 영상 부호화, 복호화 방법 및 장치
US8750377B2 (en) * 2007-04-12 2014-06-10 Thomson Licensing Method and apparatus for context dependent merging for skip-direct modes for video encoding and decoding
US8488672B2 (en) 2007-04-17 2013-07-16 Qualcomm Incorporated Mode uniformity signaling for intra-coding
US8938009B2 (en) * 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
ES2373240T3 (es) 2007-12-20 2012-02-01 Panasonic Corporation Señalización de canal de control usando un campo de señalización común para el formato de transporte y la versión de redundancia.
JP4990927B2 (ja) * 2008-03-28 2012-08-01 三星電子株式会社 動きベクトル情報の符号化/復号化方法及び装置
KR101279573B1 (ko) * 2008-10-31 2013-06-27 에스케이텔레콤 주식회사 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
EP2237557A1 (en) 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
KR101484281B1 (ko) 2010-07-09 2015-01-21 삼성전자주식회사 블록 병합을 이용한 비디오 부호화 방법 및 그 장치, 블록 병합을 이용한 비디오 복호화 방법 및 그 장치
US8885704B2 (en) * 2010-10-01 2014-11-11 Qualcomm Incorporated Coding prediction modes in video coding
US8526495B2 (en) * 2010-11-22 2013-09-03 Mediatek Singapore Pte. Ltd. Apparatus and method of constrained partition size for high efficiency video coding
US9532066B2 (en) * 2011-01-21 2016-12-27 Qualcomm Incorporated Motion vector prediction
TW201246943A (en) * 2011-01-26 2012-11-16 Panasonic Corp Video image encoding method, video image encoding device, video image decoding method, video image decoding device, and video image encoding and decoding device
US20120195366A1 (en) * 2011-02-01 2012-08-02 Mediatek Singapore Pte. Ltd. Method and Apparatus of Adaptive Inter Mode Coding Using Variable Length Codes
WO2012115520A1 (en) 2011-02-25 2012-08-30 Esquisse Schoonhoven Method and device for determining of shearing stress or viscosity

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10264280B2 (en) 2011-06-09 2019-04-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
US10812800B2 (en) 2012-06-08 2020-10-20 Sun Patent Trust Arithmetic coding for information related to sample adaptive offset processing
US11375195B2 (en) 2012-06-08 2022-06-28 Sun Patent Trust Arithmetic coding for information related to sample adaptive offset processing
US11849116B2 (en) 2012-06-08 2023-12-19 Sun Patent Trust Arithmetic coding for information related to sample adaptive offset processing
TWI687091B (zh) * 2012-06-11 2020-03-01 南韓商三星電子股份有限公司 視訊解碼方法
US10609375B2 (en) 2012-06-11 2020-03-31 Samsung Electronics Co., Ltd. Sample adaptive offset (SAO) adjustment method and apparatus and SAO adjustment determination method and apparatus
US10542290B2 (en) 2012-06-27 2020-01-21 Sun Patent Trust Image decoding method and image decoding apparatus for sample adaptive offset information
CN102984521A (zh) * 2012-12-12 2013-03-20 四川大学 基于时域相关性的高性能视频编码帧间模式判决方法
CN110786011A (zh) * 2017-06-26 2020-02-11 松下电器(美国)知识产权公司 编码装置、解码装置、编码方法和解码方法
US10812793B2 (en) 2017-06-26 2020-10-20 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US11350085B2 (en) 2017-06-26 2022-05-31 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US11785209B2 (en) 2017-06-26 2023-10-10 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method

Also Published As

Publication number Publication date
JP6006226B2 (ja) 2016-10-12
WO2012070857A3 (ko) 2012-07-19
CN107801037B (zh) 2020-11-06
ES2939601T3 (es) 2023-04-25
JP2019050590A (ja) 2019-03-28
CN107801035A (zh) 2018-03-13
SI3923579T1 (sl) 2023-04-28
FI4156684T3 (fi) 2024-05-02
CN107801023B (zh) 2020-06-19
PL3595303T3 (pl) 2022-01-31
KR20170118224A (ko) 2017-10-24
EP3595303B1 (en) 2021-08-25
EP4156684B1 (en) 2024-02-14
CN103229507A (zh) 2013-07-31
KR102367972B1 (ko) 2022-02-25
CN103229507B (zh) 2017-09-08
JP7156906B2 (ja) 2022-10-19
KR102257335B1 (ko) 2021-05-27
KR101505755B1 (ko) 2015-03-24
PT3595303T (pt) 2021-11-16
EP4319166A3 (en) 2024-02-28
KR102047507B1 (ko) 2019-12-02
MX2013005754A (es) 2013-08-01
JP2014501090A (ja) 2014-01-16
JP2023001330A (ja) 2023-01-04
JP2017225177A (ja) 2017-12-21
EP2645715A4 (en) 2014-05-28
EP4156684A1 (en) 2023-03-29
EP3595303A1 (en) 2020-01-15
EP4319166A2 (en) 2024-02-07
CN107801035B (zh) 2020-11-03
US20200288137A1 (en) 2020-09-10
ES2898947T3 (es) 2022-03-09
KR102483459B1 (ko) 2022-12-30
FI3923579T3 (fi) 2023-03-22
KR101478959B1 (ko) 2015-01-06
US20190238852A1 (en) 2019-08-01
US20130142259A1 (en) 2013-06-06
JP6429960B2 (ja) 2018-11-28
PT2645715T (pt) 2020-01-29
KR20180073711A (ko) 2018-07-02
KR20190130080A (ko) 2019-11-20
HUE061514T2 (hu) 2023-07-28
KR20220028171A (ko) 2022-03-08
ES2765023T3 (es) 2020-06-05
JP2017017739A (ja) 2017-01-19
PL4156684T3 (pl) 2024-06-10
KR20190057433A (ko) 2019-05-28
US20170332078A1 (en) 2017-11-16
US9661324B2 (en) 2017-05-23
CN107801037A (zh) 2018-03-13
US10080021B2 (en) 2018-09-18
EP3923579B1 (en) 2023-01-04
PL2645715T3 (pl) 2020-04-30
CN107801023A (zh) 2018-03-13
KR101981711B1 (ko) 2019-05-24
EP3923579A1 (en) 2021-12-15
CN107801036A (zh) 2018-03-13
PL3923579T3 (pl) 2023-05-02
HRP20230292T1 (hr) 2023-04-28
US10687063B2 (en) 2020-06-16
SI3595303T1 (sl) 2022-01-31
KR20140099510A (ko) 2014-08-12
SI4156684T1 (sl) 2024-05-31
EP2645715B1 (en) 2019-11-06
KR20140043844A (ko) 2014-04-10
JP2021073806A (ja) 2021-05-13
KR102146117B1 (ko) 2020-08-20
DK2645715T3 (da) 2020-02-17
KR20210062102A (ko) 2021-05-28
JP6200049B2 (ja) 2017-09-20
US10972736B2 (en) 2021-04-06
KR20130038360A (ko) 2013-04-17
JP7177193B2 (ja) 2022-11-22
KR101872178B1 (ko) 2018-06-27
KR20200100854A (ko) 2020-08-26
HUE056945T2 (hu) 2022-03-28
CN107801036B (zh) 2020-11-06
EP2645715A2 (en) 2013-10-02
KR101783824B1 (ko) 2017-10-11

Similar Documents

Publication Publication Date Title
JP7177193B2 (ja) 映像情報のシグナリング方法及び映像情報のシグナリング方法を用いた映像情報の復号化方法
KR20140018873A (ko) 영상 정보 부호화 방법 및 복호화 방법
US20210185322A1 (en) Method for signaling image information, and method for decoding image information using same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11843220

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 20137002967

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2013/005754

Country of ref document: MX

ENP Entry into the national phase

Ref document number: 2013540890

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011843220

Country of ref document: EP