WO2012093898A2 - 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치 - Google Patents

영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치 Download PDF

Info

Publication number
WO2012093898A2
WO2012093898A2 PCT/KR2012/000170 KR2012000170W WO2012093898A2 WO 2012093898 A2 WO2012093898 A2 WO 2012093898A2 KR 2012000170 W KR2012000170 W KR 2012000170W WO 2012093898 A2 WO2012093898 A2 WO 2012093898A2
Authority
WO
WIPO (PCT)
Prior art keywords
block
prediction
current block
reference index
information
Prior art date
Application number
PCT/KR2012/000170
Other languages
English (en)
French (fr)
Other versions
WO2012093898A3 (ko
Inventor
박승욱
임재현
전용준
헨드리헨드리
최영희
성재원
김정선
전병문
박준영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020217026106A priority Critical patent/KR102346666B1/ko
Priority to EP12732289.9A priority patent/EP2663079A4/en
Priority to EP19176192.3A priority patent/EP3554079B1/en
Priority to KR1020217043135A priority patent/KR102390352B1/ko
Priority to KR1020197028512A priority patent/KR102125035B1/ko
Priority to KR1020187035669A priority patent/KR102028522B1/ko
Priority to CN201280004882.8A priority patent/CN103299642B/zh
Priority to KR1020227013265A priority patent/KR102504685B1/ko
Priority to EP22200464.0A priority patent/EP4135329A3/en
Priority to KR1020207017206A priority patent/KR102245790B1/ko
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020137020392A priority patent/KR101929026B1/ko
Priority to KR1020217012098A priority patent/KR102292708B1/ko
Priority to US13/977,144 priority patent/US9924188B2/en
Publication of WO2012093898A2 publication Critical patent/WO2012093898A2/ko
Publication of WO2012093898A3 publication Critical patent/WO2012093898A3/ko
Priority to US14/692,147 priority patent/US9918101B2/en
Priority to US15/883,280 priority patent/US10257535B2/en
Priority to US16/256,533 priority patent/US10715825B2/en
Priority to US16/893,093 priority patent/US11102502B2/en
Priority to US17/377,203 priority patent/US11825110B2/en
Priority to US18/379,344 priority patent/US20240048752A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Definitions

  • the present invention relates to an image compression technique, and more particularly to an inter prediction (inter prediction) technique.
  • inter prediction and intra prediction may be used.
  • a pixel value included in a current picture is predicted from a picture before and / or after in time
  • intra prediction a pixel value included in a current picture is predicted by using pixel information in a current picture. do.
  • weight prediction techniques to prevent deterioration of image quality due to lighting changes and entropy encoding techniques for assigning short codes to symbols with high appearance and long codes for symbols with low appearance Etc. are used for efficient processing of video information.
  • An object of the present invention is to provide a method and apparatus for improving coding efficiency and improving performance in inter prediction.
  • An object of the present invention is to provide a method and apparatus for efficiently deriving motion information of a current block when applying a skip mode of inter prediction.
  • An object of the present invention is to provide a method and apparatus for deriving motion information of a current block, for example, a reference index, based on motion information of a neighboring block when applying a skip mode of inter prediction.
  • An object of the present invention is to provide a method of deriving a reference index of a temporal merge candidate for a current block.
  • An embodiment of the present invention is a video information encoding method, comprising: performing inter prediction on a current block, entropy encoding information on prediction, and signaling the entropy encoded information,
  • a skip mode or a merge mode may be applied to the current block, and a reference index of the current block may be determined based on reference indexes of neighboring blocks of the current block.
  • the transmitted motion information may be a reference index of the current block.
  • the motion information may be transmitted in any one unit among a slice unit, a picture unit, a prediction target block unit, or a coding unit unit.
  • the motion information of the current block may be determined as motion information of any one of neighboring blocks of the current block, and in the signaling step, the motion information of the current block may be determined.
  • the motion information may indicate which block around the current block is motion information.
  • the reference index of the current block may be determined as the smallest reference index by comparing the reference indices of neighboring blocks of the current block.
  • neighboring blocks comparing the reference indexes may be left blocks and upper blocks except corner blocks among neighboring blocks of the current block.
  • Another embodiment of the present invention is a video information decoding method, comprising: entropy decoding received information, performing inter prediction on a current block based on the entropy decoded information, and using the prediction result And reconstructing an image, wherein in the inter prediction step, a skip mode or a merge mode may be applied to the current block, and motion information of the current block may be determined based on motion information of neighboring blocks of the current block. have.
  • the received information may include an indicator indicating which of the neighboring blocks of the current block to use the motion information, and in the prediction step, based on the indicator The motion information of the current block may be determined.
  • the indicator may indicate which block among the neighboring blocks of the current block to use as a reference index of the current block.
  • the reference index indication information may be signaled in any one of a slice unit, a picture unit, a prediction target block unit, or a coding unit unit.
  • the reference index of the temporal merge candidate of the current block may be determined based on available neighboring blocks among the neighboring blocks, and in the inter prediction step, the reference index of the available neighboring blocks is most significant. A small reference index may be determined as the reference index of the temporal merge candidate.
  • peripheral blocks of the current block may be lower left corner blocks, lower left blocks, upper right corner blocks, upper right blocks, and upper left corner blocks of the current block.
  • the reference index of the temporal merge candidate of the current block is a lower left block among the lower left corner block, the lower left block, the upper right corner block, the upper right side block, and the upper left corner block of the current block. Can be specified as a reference index.
  • the availability of the lower left block may be determined, and if the left lower block is not available, the reference index value of the temporal merge candidate may be designated as a predetermined index value.
  • the coding efficiency can be improved by selecting the reference picture effectively.
  • the reference index of the temporal merge candidate can be effectively derived to reduce the complexity and improve the coding efficiency.
  • FIG. 1 is a block diagram schematically illustrating an image encoding apparatus (encoder) according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating an image decoder according to an embodiment of the present invention.
  • FIG. 3 is a diagram schematically illustrating an example of performing inter prediction on a current block using AMVP.
  • FIG. 4 is a diagram schematically illustrating an example of a method of performing AMVP using a specific block.
  • FIG. 5 is a flowchart illustrating an example of a method of deriving a predictive motion vector for a current block in a decoder.
  • FIG. 6 is a diagram schematically illustrating a motion vector of a spatial candidate prediction block with respect to the current prediction block.
  • FIG. 7 is a diagram schematically illustrating a prediction method of a P picture, a B picture, and a GPB.
  • FIG. 8 is a diagram schematically illustrating a problem that may occur when a skip mode is applied with a reference index set to 0. Referring to FIG.
  • FIG. 9 is a diagram schematically illustrating a method of selecting a reference index of a current block from a reference index of a neighboring block according to this embodiment of the present invention.
  • FIG. 11 is a flowchart schematically illustrating an example of an encoder operation in a system to which the present invention is applied.
  • FIG. 12 is a flowchart schematically illustrating an example of an operation of a decoder in a system to which the present invention is applied.
  • each of the components in the drawings described in the present invention are shown independently for the convenience of the description of the different characteristic functions in the image encoding / decoding apparatus, each component is implemented by separate hardware or separate software It does not mean to be.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • the image encoding apparatus 100 may include a picture splitter 105, a predictor 110, a transformer 115, a quantizer 120, a realigner 125, and an entropy encoder 130. , An inverse quantization unit 135, an inverse transform unit 140, a filter unit 145, and a memory 150.
  • the picture dividing unit 105 may divide the input picture into at least one processing unit.
  • the processing unit may be a prediction unit (hereinafter referred to as a PU), a transform unit (hereinafter referred to as a TU), or a coding unit (hereinafter referred to as "CU"). May be used).
  • the prediction unit may be expressed as a prediction block, the transform unit as a transform block, and the coding unit as a coding block.
  • the predictor 110 includes an inter prediction unit for performing inter prediction and an intra prediction unit for performing intra prediction.
  • the prediction unit 110 generates a prediction block by performing prediction on the processing unit of the picture in the picture division unit 105.
  • the processing unit of the picture in the prediction unit 110 may be a CU, a TU, or a PU.
  • the processing unit in which the prediction is performed may differ from the processing unit in which the prediction method and the details are determined.
  • the method of prediction and the prediction mode may be determined in units of PUs, and the prediction may be performed in units of TUs.
  • a prediction block may be generated by performing prediction based on information of at least one picture of a previous picture and / or a subsequent picture of the current picture.
  • a prediction block may be generated by performing prediction based on pixel information in a current picture.
  • a reference picture may be selected for a PU and a reference block having the same size as that of the PU may be selected in integer pixel samples. Subsequently, a residual block with the current PU is minimized and a prediction block with a minimum motion vector size is generated.
  • a skip mode a merge mode, a motion vector prediction (MVP), and the like can be used.
  • the prediction block may be generated in sub-integer sample units such as 1/2 pixel sample unit and 1/4 pixel sample unit.
  • the motion vector may also be expressed in units of integer pixels or less.
  • the luminance pixel may be expressed in units of 1/4 pixels
  • the chrominance pixel may be expressed in units of 1/8 pixels.
  • Information such as an index of a reference picture, a motion vector (ex. Motion Vector Predictor), and a residual signal selected through inter prediction is entropy coded and transmitted to a decoder.
  • a prediction mode may be determined in units of PUs, and prediction may be performed in units of PUs.
  • a prediction mode may be determined in units of PUs, and intra prediction may be performed in units of TUs.
  • a prediction mode may have 33 directional prediction modes and at least two non-directional modes.
  • the non-directional mode may include a DC prediction mode and a planner mode (Planar mode).
  • a prediction block may be generated after applying a filter to a reference sample.
  • whether to apply the filter to the reference sample may be determined according to the intra prediction mode and / or the size of the current block.
  • the current block may be a transform unit on which prediction is performed.
  • using a pixel means using information of the pixel, for example, a pixel value.
  • the expression "use pixel information" or "use pixel value” may simply be referred to as "use pixel.”
  • the specific method of intra prediction is as mentioned later.
  • the PU may have various sizes / shapes, for example, the PU may have a size of 2N ⁇ 2N, 2N ⁇ N, N ⁇ 2N, or N ⁇ N in case of inter-picture prediction.
  • the PU may have a size of 2N ⁇ 2N or N ⁇ N (where N is an integer).
  • the N ⁇ N size PU may be set to apply only in a specific case.
  • the NxN PU may be used only for the minimum size coding unit, or only for intra prediction.
  • a PU having a size of N ⁇ mN, mN ⁇ N, 2N ⁇ mN, or mN ⁇ 2N (m ⁇ 1) may be further defined and used.
  • the residual value (the residual block or the residual signal) between the generated prediction block and the original block is input to the converter 115.
  • prediction mode information and motion vector information used for prediction are encoded by the entropy encoder 130 along with the residual value and transmitted to the decoder.
  • the transformer 115 performs transform on the residual block in transform units and generates transform coefficients.
  • the transform unit in the converter 115 may be a TU and may have a quad tree structure. In this case, the size of the transform unit may be determined within a range of a predetermined maximum and minimum size.
  • the transform unit 115 may convert the residual block using a discrete cosine transform (DCT) and / or a discrete sine transform (DST).
  • DCT discrete cosine transform
  • DST discrete sine transform
  • the quantizer 120 may generate quantization coefficients by quantizing the residual values transformed by the converter 115.
  • the value calculated by the quantization unit 120 is provided to the inverse quantization unit 135 and the reordering unit 125.
  • the reordering unit 125 rearranges the quantization coefficients provided from the quantization unit 120. By rearranging the quantization coefficients, the efficiency of encoding in the entropy encoder 130 may be increased.
  • the reordering unit 125 may rearrange the quantization coefficients in the form of a two-dimensional block into a one-dimensional vector form through a coefficient scanning method.
  • the reordering unit 125 may increase the entropy coding efficiency of the entropy encoder 130 by changing the order of coefficient scanning based on probabilistic statistics of coefficients transmitted from the quantization unit.
  • the entropy encoder 130 may perform entropy encoding on the quantized coefficients rearranged by the reordering unit 125.
  • Entropy encoding may use, for example, an encoding method such as Exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), or Context-Adaptive Binary Arithmetic Coding (CABAC).
  • CABAC Context-Adaptive Binary Arithmetic Coding
  • the entropy encoder 130 may include quantization coefficient information, block type information, prediction mode information, partition unit information, PU information, transmission unit information, motion vector information, and the like of the CUs received from the reordering unit 125 and the prediction unit 110.
  • Various information such as reference picture information, interpolation information of a block, and filtering information may be encoded.
  • the entropy encoder 130 may apply a constant change to a transmitted parameter set or syntax.
  • the inverse quantization unit 135 inverse quantizes the quantized values in the quantization unit 120, and the inverse transformer 140 inversely transforms the inverse quantized values in the inverse quantization unit 135.
  • the residual values generated by the inverse quantizer 135 and the inverse transformer 140 may be combined with the prediction block predicted by the predictor 110 to generate a reconstructed block.
  • the filter unit 145 may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) to the reconstructed picture.
  • ALF adaptive loop filter
  • SAO sample adaptive offset
  • the deblocking filter may remove block distortion generated at the boundary between blocks in the reconstructed picture.
  • the adaptive loop filter may perform filtering based on a value obtained by comparing the reconstructed image with the original image after the block is filtered through the deblocking filter. ALF may be performed only when high efficiency is applied.
  • the SAO restores the offset difference from the original image on a pixel-by-pixel basis for the residual block to which the deblocking filter is applied, and is applied in the form of a band offset and an edge offset.
  • the filter unit 145 may not apply filtering to the reconstructed block used for inter prediction.
  • the memory 150 may store the reconstructed block or the picture calculated by the filter unit 145.
  • the reconstructed block or picture stored in the memory 150 may be provided to the predictor 110 that performs inter prediction.
  • the image decoder 200 includes an entropy decoder 210, a reordering unit 215, an inverse quantizer 220, an inverse transformer 225, a predictor 230, and a filter 235.
  • Memory 240 may be included.
  • the input bit stream may be decoded according to a procedure in which image information is processed by the image encoder.
  • VLC variable length coding
  • 'VLC' variable length coding
  • the entropy decoder 210 also uses a VLC table used in the encoder. Entropy decoding can be performed by implementing the same VLC table.
  • CABAC CABAC is used to perform entropy encoding in the image encoder
  • CABAC CABAC correspondingly.
  • Information for generating the prediction block among the information decoded by the entropy decoder 210 may be provided to the predictor 230, and a residual value of which entropy decoding is performed by the entropy decoder may be input to the reordering unit 215. .
  • the reordering unit 215 may reorder the entropy-decoded bit stream by the entropy decoding unit 210 based on the reordering method in the image encoder.
  • the reordering unit 215 may reorder the coefficients expressed in the form of a one-dimensional vector by restoring the coefficients in the form of a two-dimensional block.
  • the reordering unit 215 may be realigned by receiving information related to coefficient scanning performed by the encoder and performing reverse scanning based on the scanning order performed by the corresponding encoder.
  • the inverse quantization unit 220 may perform inverse quantization based on the quantization parameter provided by the encoder and the coefficient values of the rearranged block.
  • the inverse transform unit 225 may perform inverse DCT and / or inverse DST on DCT and DST performed by the transform unit of the encoder with respect to the quantization result performed by the image encoder.
  • the inverse transform may be performed based on a transmission unit determined by the encoder or a division unit of an image.
  • the DCT and / or the DST may be selectively performed according to a plurality of pieces of information, such as a prediction method, a size and a prediction direction of the current block, and the inverse transformer 225 of the decoder is performed by the transformer of the encoder.
  • Inverse transformation may be performed based on the transformation information.
  • the prediction unit 230 may generate the prediction block based on the prediction block generation related information provided by the entropy decoder 210 and previously decoded blocks and / or picture information provided by the memory 240.
  • the reconstruction block may be generated using the prediction block generated by the predictor 230 and the residual block provided by the inverse transform unit 225.
  • intra prediction may be performed to generate a prediction block based on pixel information in the current picture.
  • the inter-screen for the current PU based on information included in at least one of a previous picture or a subsequent picture of the current picture. You can make predictions.
  • motion information required for inter-prediction prediction of the current PU provided by the image encoder for example, a motion vector, a reference picture index, and the like, may be derived in response to a skip flag, a merge flag, and the like received from the encoder.
  • the reconstructed block and / or picture may be provided to the filter unit 235.
  • the filter unit 235 applies deblocking filtering, sample adaptive offset (SAO), and / or adaptive loop filtering to the reconstructed block and / or picture.
  • the memory 240 may store the reconstructed picture or block to use as a reference picture or reference block and provide the reconstructed picture to the output unit.
  • AMVP advanced MVP
  • MVP Motion Vector Predictor
  • FIG. 3 is a diagram schematically illustrating an example of performing inter prediction on a current block using AMVP.
  • candidate MVPs that can be used as MVPs of the current block 300 may be derived from neighboring blocks.
  • the motion vector mvA can be derived from the set A 310 of blocks to the left of the current block.
  • mvA is a motion vector having the same reference index as the current block 300 among the motion vectors of blocks belonging to the set A 310.
  • the motion vector mvB can then be derived from the set B 320 of blocks above the current block.
  • mvB is a motion vector having the same reference index as the current block 300 among the motion vectors of blocks belonging to the set B 320.
  • the motion vector mvC of the block C at the corner of the current block the motion vector mvA of the set A, and the median mv_median of the motion vector mvB of the set B are derived as shown in Fig. 1.
  • mv_median median (mvA, mvB, mvC)
  • the motion vector to be used as the MVP of the current block may select and use the most efficient motion vector among the derived mvA, mvB, mvC and mv_median and the motion vector mv of the temporal collocated block of the current block.
  • the AMVP may be performed using only a specific block without considering all the blocks of the set A 310 and the set B 320.
  • FIG. 4 is a diagram schematically illustrating an example of a method of performing AMVP using a specific block.
  • the position of a pixel existing in the upper left of the current prediction unit may be defined as (xP, yP), and the width of the current prediction unit may be defined as a variable nPSW and a height nPSH.
  • MinPuSize may be defined as the size of the smallest prediction unit that can be used as the prediction unit to represent the spatial candidate prediction block.
  • a block belonging to the set A for example, a block 410 including a pixel located at (xP-1, yP + nPSH-MinPuSize) from a block 410 including a pixel located at (xP-1, yP) Any one of blocks up to) may be referred to as a left second block.
  • the block including the pixel located at (xP + nPSW, yP-1) may be referred to as the upper first block 430 corresponding to the block C of FIG. 3.
  • blocks belonging to set B for example, blocks 450 located at (xP, yP-1) to blocks 440 including pixels located at (xP + nPSW-MinPuSize, yP-1). Any one of these may be referred to as an upper second block.
  • the block including the pixel located at (xP-MinPuSize, yP-1) may be represented as the upper third block 460 corresponding to the block D of FIG. 3.
  • the spatial candidate prediction block may include a left first block, a left second block, an upper first block, an upper second block, and an upper third block.
  • a block 410 including a pixel located at (xP-1, yP + nPSH-MinPuSize) is used as the left second block, and as an upper second block, (xP + nPSW ⁇ ).
  • Block 440 is used which includes the pixel located at MinPuSize, yP-1).
  • One group including a left first block 400 and a left second block 410 is defined as a first spatial candidate prediction group and includes a top first block 420, a top second block 440, and a top third
  • One group that includes block 460 is defined as a second spatial candidate prediction group.
  • the term spatial candidate prediction block may be used as a term including a block included in the first spatial candidate prediction group and a block included in the second spatial candidate prediction group.
  • the temporal candidate prediction block 470 includes a prediction including a pixel at a position (xP + nPSW, yP + nPSH) in the call-picture of the current prediction block based on the pixel position (xP, yP) in the picture including the current prediction block. If a block or a prediction block containing pixels at (xP + nPSW, yP + nPSH) is not available, the prediction block containing pixels at (xP + nPSW / 2, yP + nPSH / 2) is Can be.
  • each (prediction) block in FIG. 4 may be a prediction unit (PU).
  • FIG. 5 is a flowchart illustrating an example of a method of deriving a predictive motion vector for a current block in a decoder.
  • the method described in the example of FIG. 5 may be performed by a decoder or a specific module of the decoder, for example, a prediction unit.
  • a decoder For convenience of explanation, it is assumed that a subject performing the example of FIG. 5 is a decoder.
  • the decoder may derive the first candidate prediction motion vector (S500).
  • the first candidate prediction motion vector is a candidate prediction motion vector derived from the first spatial candidate prediction group and may be derived based on the first spatial candidate prediction group availability information.
  • the first spatial candidate prediction group may be a left first block and a left second block.
  • the first spatial candidate prediction group availability information may be used to derive the predictive motion vector in the first spatial candidate prediction group.
  • the first spatial candidate prediction group availability information indicates whether at least one motion vector of the motion vectors of the blocks present in the first spatial candidate prediction group is an available candidate prediction motion vector. That is, the first spatial candidate prediction group availability information indicates whether at least one motion vector of the motion vectors of the blocks existing in the first spatial candidate prediction group can be included in the candidate prediction motion vector list of the current prediction block.
  • the decoder may derive the second candidate prediction motion vector (S510).
  • the second candidate prediction motion vector is a candidate prediction motion vector derived from the second spatial candidate prediction group and may be derived based on the second spatial candidate prediction availability information.
  • the second spatial candidate prediction group may be an upper first block, an upper second block, and an upper third block.
  • the second spatial candidate prediction group availability information may be used to calculate a prediction motion vector in the second spatial candidate prediction group.
  • the second spatial candidate prediction group availability information includes at least one motion vector of the motion vectors of the blocks existing in the second spatial candidate prediction group to be included in the candidate prediction motion vector list of the current prediction block. Information that indicates whether it can.
  • the decoder calculates a temporal candidate prediction motion vector (S520).
  • the temporal candidate prediction motion vector is a candidate prediction motion vector derived from the temporal friendly prediction block based on the temporal candidate prediction block availability information.
  • the temporal candidate prediction block availability information is information indicating whether to include the motion vector of the temporal candidate prediction block in the candidate prediction motion vector list of the current prediction block.
  • the candidate prediction motion vector list may include at least one of a motion vector calculated through operations S500 to S520, that is, a first candidate prediction motion vector, a second candidate prediction motion vector, and a temporal candidate prediction motion vector.
  • the decoder may exclude the same candidate prediction motion vectors from the candidate prediction motion vector list (S530). In detail, when the same candidate prediction motion vectors are present in the candidate prediction motion vector list, the decoder removes the remainder except for the candidate prediction motion vector having the highest priority among the same candidate prediction motion vectors from the candidate motion vector list.
  • the candidate prediction motion vector calculated through the candidate prediction motion vector calculation process performed in step S520 in step S500 is the only candidate prediction motion vector list that is not identical through the candidate prediction motion vector identity determination process performed in step S530. Can be included in
  • the decoder may add a zero motion vector to the candidate prediction motion vector list (S540).
  • the decoder may include zero motion vectors in the candidate prediction motion vector list when the candidate prediction motion vectors are not derived as necessary to use the prediction candidate prediction motion vector list.
  • Operation S540 may be integrated in operation S550 described below. In this case, step S540 may not be performed.
  • the decoder may adjust the number of candidate motion vectors (S550). In detail, the decoder determines whether the number of candidate prediction motion vectors included in the current candidate prediction motion vector list is greater than or equal to the maximum number that can be included in the candidate prediction motion vector list.
  • the number of candidate prediction motion vectors that may be included in the candidate prediction motion vector list may be limited to any number. For example, assuming that the maximum number of predicted motion vectors is set to 2, assuming that the candidate predicted motion vectors derived through the candidate predicted motion vector derivation process performed at S500 to S540 are 3, the order of the highest priority motion vectors is 2; Only one candidate prediction motion vector may be included in the candidate prediction motion vector list, and the remaining one vector may be excluded from the candidate motion vector list.
  • the decoder predicts only the candidate prediction motion vectors as many as the maximum candidate prediction motion vectors.
  • the number of candidate prediction motion vectors is adjusted to be included in the motion vector list.
  • the candidate prediction motion vectors as many as the maximum candidate prediction motion vectors are included in the candidate prediction motion vector list in order of high priority, and the remaining candidate prediction motion vectors are included. May use a method of excluding from the candidate predicted motion vector list.
  • the decoder selects the candidate prediction motion vectors as the candidate prediction motion vector list. You can add for example, the zero motion vector may be included as an additional candidate prediction motion vector in the current candidate prediction motion vector list.
  • the added candidate prediction motion vector may be a combination or scaled value of vectors already existing in the candidate prediction motion vector list in addition to the zero motion vector.
  • the decoder may determine the predicted motion vector of the current prediction block (S560). As described above with reference to FIG. 3, the most efficient candidate prediction motion vector among candidate prediction motion vectors included in the candidate prediction motion vector list may be used as a motion vector predictor (mvp) of the current block.
  • mvp motion vector predictor
  • the encoder may transmit information about the most efficient candidate prediction motion vector to the decoder.
  • the decoder may determine the prediction motion vector of the current prediction unit based on the index information of the candidate prediction motion vector transmitted from the encoder.
  • the candidate prediction motion vector index information may indicate which candidate prediction motion vector of the candidate prediction motion vectors of the candidate prediction motion vector list is to be used as the prediction motion vector of the current prediction block.
  • the motion vector information of the current prediction unit may be calculated by adding motion vector difference (mvd) information, which is a difference between the motion vector predictor of the current prediction block and the original motion vector value of the current prediction block. .
  • mvd motion vector difference
  • FIG. 6 is a diagram schematically illustrating a motion vector of a spatial candidate prediction block with respect to the current prediction block.
  • the motion vector of the spatial candidate prediction block calculated from the same reference index and the reference picture list as the current prediction block is referred to as a first motion vector 500.
  • the reference index is an index indicating the reference picture.
  • the motion vector 600 of the spatial candidate prediction block 670 is used. Since the picture pointed to by the j picture and the reference picture list including the j picture are L0, the motion vector of the spatial candidate prediction block 670 and the motion vector of the current prediction block 650 are identical to the same reference picture and the same reference picture list. Have As such, a motion vector derived from the same list with the same reference picture (same reference index) as the current prediction block is referred to as a first motion vector 600.
  • the motion vector of the spatial candidate prediction block 670 having the same reference index as the current prediction block 650 but calculated from a different reference picture list is referred to as a second motion vector 610.
  • the motion vector of the spatial candidate prediction block 670 in the example of FIG. 6 indicates. Since the picture is a j picture and the reference picture list that contains the j picture is L1, the motion vector 610 of the spatial candidate prediction block 670 and the motion vector of the current prediction block 650 have the same reference index (reference picture) but are referenced.
  • the picture lists are different from each other.
  • the motion vector having the same reference index as the current prediction block but derived from a different list is called a second motion vector 610.
  • a motion vector of a spatial candidate prediction block having a different reference index from the current prediction block but derived from the same reference picture list is referred to as a third motion vector 620.
  • the motion vector of the spatial candidate prediction block is scaled based on the reference picture of the current prediction block and included in the candidate prediction motion vector list. Can be.
  • the motion vector of the spatial candidate prediction block 670 derived from a different reference picture list with a different reference index from the current prediction block 650 is called a fourth motion vector 630.
  • the motion vector calculated from the current reference block and the reference index that are different from each other and the different reference picture lists are referred to as a fourth motion vector 630.
  • the reference index (reference picture) is different from the current prediction block 650, the motion vector of the spatial candidate prediction block may be scaled based on the reference picture of the current prediction block and included in the candidate prediction motion vector list.
  • the decoder may search the first motion vector, the second motion vector, the third motion vector, and the fourth motion vector in order with respect to the left first block and the left second block.
  • the decoder may search for the first motion vector and the second motion vector in the left first block, and if not, search the first motion vector and the second motion vector in the left second block.
  • the decoder may search for the first motion vector in the left first block and the left second block in order, and if not, search the second motion vector in the left first block and the left second block in order.
  • the fourth motion vector and the fourth motion vector may be searched for in the same manner with respect to the left first block and the left second block.
  • the first spatial candidate prediction group availability information may be set to 1 (true)
  • the searched motion vector may be included in the candidate prediction motion vector list, and the subsequent search may be terminated.
  • the decoder may search for the first motion vector, the second motion vector, the third motion vector, and the fourth motion vector in the order of the upper first block, the upper second block, and the upper third block.
  • the manner of searching is the same as for the left blocks.
  • the second spatial candidate prediction group availability information is set to 1 (true)
  • the searched motion vector is included in the candidate prediction motion vector list, and the subsequent search may be terminated.
  • scaling is necessary in order to be included in the candidate prediction motion vector list and the number of scaling may be limited. For example, if the set number of times has been used to search for the third motion vector and the fourth motion vector in the left first block and the second block, the search for the third motion vector and the fourth motion vector in the upper blocks will not be performed. Can be.
  • the decoder may include the candidate prediction motion vector derived from the temporal candidate prediction block (Col block) in the candidate prediction motion list.
  • the decoder may remove the other parts of the same candidate prediction motion vectors from the candidate prediction motion list except for the highest priority. Also, the decoder may adjust the number of candidate motion vectors using a zero motion vector or the like.
  • L0 and L1 refer to a reference picture list used for inter prediction according to the picture type.
  • Pictures used for image encoding and decoding may be classified into an I picture, a P picture, and a B picture.
  • the I picture is a picture that is independently encoded in the picture irrespective of the picture before and after, and the prediction in the time direction is not applied, and only the picture information is used for the encoding process.
  • the P picture is a picture that can be encoded by unidirectional inter prediction using one reference picture.
  • a P picture requires one reference picture list, which is referred to as reference picture list 0 (L0).
  • Inter prediction using a reference picture selected from L0 is also called L0 prediction.
  • L0 prediction is mainly used for forward prediction.
  • intra prediction or LO prediction may be performed.
  • a B picture is a picture that can be coded by forward, backward or bidirectional inter prediction using one or more, for example two reference pictures.
  • the B picture requires two reference picture lists, and the two reference picture lists are referred to as reference picture list 0 (L0) and reference picture list 1 (L1), respectively.
  • L0 prediction inter prediction using a reference picture selected from L0
  • L1 prediction is mainly used for forward prediction
  • L1 prediction is mainly used for backward prediction
  • inter prediction using two reference pictures respectively selected from L0 and L1 is also referred to as bi prediction.
  • intra prediction L0 prediction, L1 prediction, or bi prediction may be performed.
  • a picture where L0 and L1 have the same B picture among the B pictures is called a generalized P and B or a generalized B picture.
  • GPB generalized P and B
  • a generalized B picture In the case of GPB, only forward prediction is allowed, and low delay encoding is possible while maintaining high encoding performance.
  • FIG. 7 is a diagram schematically illustrating a prediction method of a P picture, a B picture, and a GPB.
  • POC Picture Order Count
  • the POC means the display order or the time order of the pictures.
  • unidirectional prediction is possible from one reference picture.
  • forward prediction from a past picture in time order on POC
  • backward prediction from a future picture may be performed.
  • the P picture may use only one piece of motion information (motion vector, reference index) for the block to be predicted in one direction.
  • Up to two motion information may be used for a B picture. Therefore, forward prediction may be performed using two past reference pictures for B pictures, backward prediction may be performed using two future reference pictures, and past reference pictures and future reference pictures may be used one by one. Pair prediction may be performed. For a B picture capable of performing pair prediction, two reference picture lists L0 and L1 may be required.
  • prediction may be performed using two or more pieces of motion information on the prediction target block as in the B picture.
  • only forward prediction may be allowed, in which case there is no delay due to backward prediction.
  • the characteristics of the I picture, the P picture, and the B picture may be defined not in a picture unit but in a slice unit.
  • an I slice having a feature of an I picture, a P slice having a feature of a P picture, and a B slice having a feature of a B picture may be defined in a slice unit, and the GPB may be a GPB slice or a generalized B slice in a slice unit. It can be called (Generalized B slice).
  • the skip mode when the skip mode is applied to the current block, decoding is performed on the current block by using the derived prediction motion vector mvp.
  • the motion information of a specific block available among the neighboring reference blocks of the current block is derived and used as the motion information of the current block, and the prediction block is not transmitted. Decode the current block based on.
  • the reference index of the current block may be designated as a predetermined value, for example, zero.
  • TMVP temporal motion vector predictor
  • FIG. 8 schematically illustrates a problem that may occur when TMVP is used in a skip mode with a reference index set to a specific value.
  • reference index 8 illustrates an example in which the reference index is set to a specific value and the skip mode is applied.
  • the reference index indicates reference picture 0.
  • Reference picture 0 indicated by the reference index is brighter when compared with reference picture 1 indicated by reference index 1 and the current picture.
  • the reason why reference picture 0 is brighter may be due to an lighting effect such as a flash when photographing.
  • the reference picture 1 Since the current picture and the reference picture 0 have a large difference in luma components, it may be better to use the reference picture 1 for prediction of the current picture than the reference picture 0 in consideration of coding efficiency.
  • neighboring blocks of the current block are likely to have a reference index indicating reference picture 1. If most of the neighboring blocks indicate reference picture 1, when the skip mode is applied using reference picture 0 for the current block, there are no candidate blocks having the same reference index, so that the zero motion vector or the collocated picture It may be necessary to determine the prediction candidate motion vector mvp for the current block with the block.
  • a method of deriving from the reference indexes of blocks around the current block without applying the reference index as a specific value may be applied.
  • the above problem can be solved by using a method of allocating a reference index distributed around the current block as a reference index for the skip mode. In other words, by tracking the movement tendency of neighboring blocks of the current block, it is possible to determine the reference indices to assign to the skip mode.
  • the reference indices that are distributed in the vicinity of the current block are not designated as zero.
  • the reference index most used for the neighboring blocks of the current block is used as the reference index of the current block.
  • the reference index having the largest number among the reference indices may be used as the reference index of the current block 300.
  • the reference index of block D 340 may be used instead.
  • a reference index having a smaller value may be designated as a reference index of the current block.
  • the reference index having a smaller value may be a reference index having a higher priority.
  • the reference index having a smaller value may be a reference index indicating a reference picture having a lower index in the reference picture list.
  • the median value of the reference indices of the left neighboring blocks of the current block and the median value of the reference indices of the right neighboring blocks of the current block are derived, and the two median values and the current block are derived. Specifies the median value of the reference index of the block located at the corner of as the reference index of the current block.
  • median Median (refidxA1, ..., refidxAN) of refidxAN is called refA.
  • the reference indices refB1,... Of M blocks belonging to the set B 320 are obtained.
  • median Median (refidxB1, ..., refidxBM) of refidxBN is called refidxB.
  • the reference index of the block C 330 is referred to as refC
  • Median (refA, refB, refC) may be designated as the reference index of the current block 300.
  • the reference index of the block D 340 or the reference index of the block E 350 is used as the block C. It may be used instead of the reference index of 330.
  • the reference index of the smallest value among the reference indexes of the neighboring blocks on the top of the current block and the reference index of the smallest value among the reference indexes of the neighboring blocks on the left of the current block are derived, and the smallest of the two reference indexes is derived. Specifies the reference index of the value as the reference index of the current block.
  • the reference index having the smallest value among the reference indices of the blocks belonging to the set A 310 is designated as the reference index refA of the set A, and the reference indexes of the blocks belonging to the set B 320 are included.
  • the reference index having the smallest value is designated as the reference index refB of the set B.
  • a reference index having a smaller value among refA and refB is designated as the reference index of the current block 300.
  • the three block reference indexes at the corner of the current block 300 that is, the reference index refC of the block C 330, the reference index refD of the block D 340, the reference index refE of the block E further includes refA, A reference index having the smallest value among refB, refC, refD, and refE may be designated as the reference index of the current block 300.
  • the encoder transmits a reference index (reference picture index) to be used for the current block to which the skip mode is applied through a slice level or a picture level parameter set.
  • the current block may be a coding unit or a prediction unit.
  • the information about the reference index transmitted by the encoder at the slice level or the picture level may be a value of the reference index itself.
  • the reference index transmitted from the encoder may be a reference index of a block located in the vicinity of the current block. Therefore, the encoder may transmit information about the reference index by transmitting information indicating a neighboring block having the reference index, instead of directly transmitting the value of the reference index.
  • the skip mode may be applied to the current block using the motion information of the block designated by the encoder. For convenience of description, this may be referred to as a method of applying a skip mode by merging the neighboring blocks.
  • the decoder specifies a reference index transmitted from the encoder as a reference index, for blocks to which a skip mode is applied. Since the reference index for the skip mode is transmitted at the slice level or the picture level, the same reference index may be designated for blocks to which the skip mode is applied as blocks belonging to the same slice or the same picture.
  • the decoder derives the predictive motion vector mvp for the current block using the reference index transmitted from the encoder and the AMVP method as described above.
  • the decoder may apply the skip mode to the current block by using the motion information of the indicated block as it is. That is, a method of applying a skip mode by merging to neighboring blocks may be used.
  • the encoder transmits the reference index to be used by the current block to which the skip mode is applied in units of blocks.
  • the block unit in which the reference index is transmitted may be a coding unit or a prediction unit.
  • the information about the reference index transmitted by the encoder at the slice level or the picture level may be a value of the reference index itself.
  • the reference index transmitted from the encoder may be a reference index of a block located in the vicinity of the current block. Therefore, the encoder may transmit information about the reference index by transmitting information indicating a neighboring block having the reference index, instead of directly transmitting the value of the reference index.
  • the skip mode may be applied to the current block using the motion information of the block designated by the encoder. For convenience of description, this may be referred to as a method of applying a skip mode by merging the neighboring blocks.
  • the decoder uses the reference index transmitted by the encoder as the reference index of the current block.
  • the decoder may apply the skip mode to the current block by using the motion information of the indicated block as it is. That is, a method of applying a skip mode by merging to neighboring blocks may be used.
  • a small value is selected and used from the reference indices of neighboring blocks to derive the reference indices for the skip mode applied to the current block.
  • FIG. 9 is a diagram schematically illustrating a method of selecting a reference index of a current block from a reference index of a neighboring block according to this embodiment of the present invention.
  • the reference index of the current block 910 may be determined in consideration of the reference index of the block A 930 and the reference index of the block B 950.
  • block A 930 may be any one of the blocks of set A 920
  • block B 950 may be any one of the blocks of set B 940.
  • the reference index of block A 930 and the reference index of block B 950 may have a value of -1 (not available) with respect to reference picture list L1 when performing forward prediction, and when performing backward prediction.
  • the reference picture list L0 may have a value of -1.
  • the reference picture index values may be ⁇ 1 for both directions prediction.
  • Table 1 shows a reference picture index designated according to the sixth embodiment of reference index designation in the skip mode.
  • Reference indices for the skip mode are obtained for the L0 direction and the L1 direction, respectively, and prediction is performed using the derived reference index.
  • the reference index of the smaller value among the reference index of block A 930 and the reference index of block B 950 is designated as the reference index of the current block.
  • the reference index skip_ref of the skip mode may be derived as shown in Equation 2 using the reference index ref_idx_A of the block A 930 and the reference index ref_idx_B of the block B 950.
  • skip_ref min (skip_ref_A, skip_ref_B)
  • the reference index of the skip mode for the current block may be derived as 0 or may be derived as ⁇ 1.
  • the skip mode may be unidirectional predicted. For example, if the value of the skip mode reference index skip_rel_l0 in the L0 direction is ⁇ 1 and the value of the skip mode reference index in the L1 direction is 0, the skip mode in the L1 direction is applied to the current block.
  • the intra prediction mode when the intra prediction mode is a merge mode for the current block, prediction may be performed by applying motion information (reference index and motion vector) of a predetermined merge candidate to the current block.
  • the merge skip may be applied as described above. This may be referred to simply as merge skip mode.
  • the motion information of the designated candidate block is used as the motion information of the current block.
  • the residual signal for the prediction block is not transmitted.
  • Information indicating whether the merge mode or the merge skip mode is applied may be transmitted from the encoder.
  • a target to be merged by the current block may be indicated on the merge candidate list mergeCandList by an indicator transmitted from the encoder.
  • FIG. 10 schematically illustrates merge candidates in a system to which the present invention is applied.
  • candidates that may be used as motion information of the current block are block A 0 (1010), which is a lower left corner block of the current block.
  • a 1 (1020) is the lower left block of the current block
  • B 0 (1030) is the upper right corner block of the current block
  • B 1 (1040) is the upper right block of the current block
  • Motion information of B 2 1050 and COLs 1050 which are co-located blocks of the current block.
  • a 1 , B 0 , B 1 , B 2, or COL may indicate a block or may indicate motion information.
  • N A 1 , B 0 , B 1 , B 2, or COL
  • 'N' when representing motion information (candidate).
  • the merge candidate list may be indexed in the order of A 1 , B 1 , B 0 , A 0 , B 2 , and COL when the value of the available flag for each candidate is 1 (true). Candidates whose value of the available flag is not 1 may not be included in the merge candidate list.
  • the candidate having the smaller order (higher rank or lower index) among the candidates having the same motion information and the same index You can remove the rest, except
  • the maximum number of candidates that may be included in the merge candidate list may be fixed to a predetermined number.
  • the merge candidate list may include at most five candidates.
  • the index transmitted by the encoder is merged into a candidate indicated by the merge candidate list, and the motion information of the candidate is used as the motion information of the current block.
  • the motion information of the candidate block used as the motion information of the current block may include a prediction flag indicating the usefulness of L1 / L2 in addition to the motion vector and the reference index.
  • the method of deriving A 0 , A 1 , B 0 , B 1 , B 2 is performed by determining the availability of each candidate.
  • block A 0 , block A 1 , block B 0 , block B 1 , and block B 2 are (xP-1, yP + nPSH), (xP-1, yP + nPSH-1), and ( xP + nPSW, yP-1), (xP + nPSW-1, yP-1), and (xP-1, yP-1).
  • the positions of the blocks may be represented by (xN, yN).
  • the candidate is not available in the following cases:
  • the partition type of the current block is PART_2NxN, PART_2NxnU, PART_2NxnD, or PART_Nx2N, PART_nLx2N, PART_nRx2N, the partition index is 1, and the prediction units covering (xN, yN) having partition index 0 have the same motion information. If, the motion information of block N.
  • the partition type of the current block is PART_NxN, the same motion information is allocated to the blocks of 0 and 2 of the partition index, and the blocks of the partition index 1 and the prediction units covering (xN, yN) are the same motion. Motion information of block N, if it has information.
  • the partition type of the current block is PART_NxN, the same motion information is allocated to the block of partition index 0 and the block of 1, and the prediction units covering the block of partition index 2 and (xN, yN) are the same. Motion information of the block N.
  • the value of the availability flag is set to 0, and the element values of the corresponding motion vector are also zero. Set it.
  • the value of the availability flag for the candidate is set to 1, and the motion vector, reference index, and prediction flag of the block (eg, prediction unit) covering (xN, yN) are merged. It is specified in mvLXN, refIdxLXN, and predFlagLXN of the candidate list, respectively.
  • a temporal merge candidate (Col block) may be derived differently from the above-described spatial merge candidate.
  • the motion vector of the temporal merge candidate may be selected at a predetermined position with respect to the block corresponding to the current block in the call picture.
  • the motion vector of the block located at the lower right corner of the block corresponding to the current block may be selected as the motion vector of the temporal merge candidate.
  • the reference index of the temporal merge candidate may be derived based on the reference indexes of neighboring blocks of the current block without using the call picture.
  • a reference index refIdxLXA (X is 0 or 1) may be derived from block A 1 1020 as follows.
  • block A 1 1020 covering the sample position (xP-1, yP + nPSH-1) is available and the prediction mode is not the intra prediction mode (MODE_INTRA), refIdxLX [xP-1, yP + nPSH-1] is allocated.
  • the sample of (xP-1, yP + nPSH-1) may be a luma sample, and block A 1 1020 and the current block that cover the sample position (xP-1, yP + nPSH-1) may be prediction units have.
  • a reference index refIdxLXB (X is 0 or 1) may be derived from B 1 1040 as follows.
  • refIdxLX [xP + nPSW-1 to refIdxLXB , yP-1] is assigned.
  • the sample of (xP + nPSW-1, yP-1) may be a luma sample, and block B 1 1040 and the current block covering the sample position (xP + nPSW-1, yP-1) may be prediction units. have.
  • a reference index refIdxLXC (X is 0 or 1) may be derived from three blocks A 0 1010, B 0 1030, and B 2 1050 of a corner as follows.
  • block B 0 1030 covering the sample position (xP + nPSW, yP-1) is available and the prediction mode is not the intra prediction mode (MODE_INTRA), refIdxLX [xP + nPSW, yP-1 ] Is assigned.
  • the sample of (xP + nPSW, yP-1) may be a luma sample, and the block B 0 1030 and the current block covering the sample position (xP + nPSW, yP-1) may be prediction units.
  • block B 0 is not available or the prediction mode is intra prediction mode
  • block A 0 1010 covering the sample position (xP-1, yP + nPSH) is available and the prediction mode is intra prediction mode.
  • refIdxLX [xP-1, yP + nPSH] is allocated to refIdxLXC.
  • the sample of (xP-1, yP + nPSH) may be a luma sample, and block A 0 1010 and the current block covering the sample position (xP-1, yP + nPSH) may be prediction units.
  • block B 2 1050 covering sample positions (xP-1, yP-1) is available and the prediction mode is intra If it is not the prediction mode MODE_INTRA, refIdxLX [xP-1, yP-1] is allocated to refIdxLXC.
  • the sample of (xP-1, yP-1) may be a luma sample, and block B 2 1050 and the current block covering the sample positions (xP-1, yP-1) may be prediction units.
  • blocks B 0 , A 0 and B 2 are not available or the prediction mode is intra prediction mode, assign a value of -1 to refIdxLXC.
  • the reference index refIdxLX of the temporal merge candidate for the current block may be derived as follows.
  • refIdxLXA is equal to refIdxLXB and refIdxLXB is equal to refIdxLXC, if the value of refIdxLXA is -1 (unavailable), the value of refIdxLX is zero. If refIdxLXA is equal to refIdxLXB and refIdxLXB is equal to refIdxLXC, if the value of refIdxLXA is not -1, refIdxLX becomes refIdxLXA.
  • refIdxLXA and refIdxLXB are the same as other than (1), if the value of refIdxLXA is -1, refIdxLX becomes refIdxLXC.
  • refIdxLXA and refIdxLXB are the same, if the value of refIdxLXA is not -1, refIdxLX becomes refIdxLXA.
  • refIdxLXB and refIdxLXC are the same as not (1) and (2), if the value of refIdxLXB is -1, refIdxLX becomes refIdxLXA.
  • refIdxLXB and refIdxLXC are the same, if the value of refIdxLXB is not -1, refIdxLX becomes refIdxLXB.
  • refIdxLXA and refIdxLXC are the same as those other than (1) to (3), if the value of refIdxLXA is -1, refIdxLX becomes refIdxLXB.
  • refIdxLXA and refIdxLXC are the same, if the value of refIdxLXA is not -1, refIdxLX becomes refIdxLXA.
  • refIdxLX min (refIdxLXA, refIdxLXC).
  • refIdxLXC -1 other than (1) to (6)
  • the reference index refIdxLX of the temporal merge candidate is the reference index selected from the left side of the current block (refIdxLXA), the reference index selected from the upper side of the current block (refIdxLXB), and the first available corner at the corner of the current block. It may be said to be the smallest among the selected reference indices (refIdxLXC).
  • This embodiment provides a method of simply deriving a reference index of a temporal merge candidate for a current block when a merge mode or a merge skip mode is applied to the current block.
  • the reference index of the temporal merge candidate for the current block may be used as a predetermined fixed value.
  • a reference index refIdxLX of a temporal merge candidate may be designated as 0 and used.
  • the reference index refIdxL0 of the reference picture list L0 of the reference indexes of the temporal merge candidates is fixed to 0, and the value of the reference index refIdxL1 of the reference picture list L1 is set to 1.
  • a reference index of a temporal merge candidate for the current block may be determined.
  • the reference index obtained at the corner of the current block except for the reference index obtained at the corner of the current block, only the reference index (refIdxLXA) derived from the left side of the current block and the reference index (refIdxLXB) derived from the upper side of the current block are considered.
  • the smaller of the reference index of block A 1 1020 and the reference index of block B 1 1040 may be determined as the reference index of the temporal merge candidate for the current block.
  • the reference index refIdxLX of the temporal merge candidate may be derived as follows.
  • refIdxLXA When refIdxLXA is equal to refIdxLXB, if the value of refIdxLXA is -1 (unavailable), 0 is assigned as the value of refIdxLX. If refIdxLXA is equal to refIdxLXB, if the value of refIdxLXA is not -1, refIdxLXA is assigned to refIdxLX.
  • refIdxLXA is -1 when not (1)
  • refIdxLXB is assigned to the reference index refIdxLX of the temporal merge candidate.
  • refIdxLXA is assigned to the reference index refIdxLX of the temporal merge candidate.
  • Embodiment 4 the same method as in Embodiment 4 is applied only in case of low delay or when using GPB. Otherwise, 0 is set as the value of the reference index refIdxLX of the temporal merge candidate for the current block. To be determined.
  • refIdxLX is set to zero.
  • refIdxLXA is a reference index of block A 1 1020 and refIdxLXB is a reference index of block B 1 1040. In this case,
  • refIdxLXA is equal to refIdxLXB and the value of refIdxLXA is -1 (unavailable), the value of refIdxLX is set to 0. If refIdxLXA is equal to refIdxLXB and the value of refIdxLXA is not -1, refIdxLXA is assigned to refIdxLX.
  • refIdxLXA if it does not correspond to (1), if the value of refIdxLXA is -1, refIdxLXB is allocated to refIdxLX.
  • refIdxLXB if it does not correspond to (1) and (2), if the value of refIdxLXB is -1, refIdxLXA is allocated to refIdxLX.
  • refIdxLXA a reference index derived from the left side of the current block.
  • refIdxLXA is a reference index of block A 1 1020.
  • refIdxLXA is -1
  • a reference index (refIdxLXB) derived from the upper side of the current block is used as the reference index of the temporal merge candidate.
  • refIdxLXB is a reference index of block B1 1040.
  • refIdxLXB If the value of refIdxLXB is also -1, refIdxLX is set to 0.
  • refIdxLXA is -1 and the value of refIdxLXB is -1, refIdxLX is set to 0.
  • refIdxLXA is -1 and the value of refIdxLXB is not -1, refIdxLX is set to refIdxLXB.
  • refIdxLXA If the value of refIdxLXA is not -1, refIdxLX is set to refIdxLXA.
  • FIG. 11 is a flowchart schematically illustrating an example of an encoder operation in a system to which the present invention is applied.
  • the encoder performs prediction on the current block (S1110).
  • the encoder performs partitioning on the coding unit to perform prediction.
  • the prediction mode for the current block to be predicted is determined, and prediction is performed according to the prediction mode.
  • the prediction mode for the current block may be an intra prediction mode or an inter prediction mode.
  • the prediction mode for the current block is inter prediction, a merge mode, a (merge) skip mode, an AMVP, and the like may be applied to the current block.
  • the motion vector and the reference index of the current block may be determined using neighboring blocks.
  • the reference index may be determined in consideration of motion information of neighboring blocks of the current block.
  • the motion vector and the reference index may be determined based on the motion information of the neighboring blocks of the current block.
  • the decoder performs prediction on the current block based on the determined motion information.
  • the decoder entropy encodes the information on which the prediction is performed (S1120).
  • the decoder entropy encodes information necessary for decoding together with information about prediction.
  • the entropy-encoding information includes motion information on the current block in the skip mode, the merge mode, and the like as described above.
  • the decoder signals the entropy decoded information to the decoder (S1130).
  • FIG. 12 is a flowchart schematically illustrating an example of an operation of a decoder in a system to which the present invention is applied.
  • the decoder receives encoded information (S1210).
  • the information may be entropy encoded from the encoder and delivered in the bitstream.
  • the decoder entropy decodes the received information (S1220).
  • the decoder performs prediction on the current block based on the entropy decoded information (S1230). The decoder performs prediction according to the prediction mode of the current block.
  • the method of deriving motion information for example, a motion vector and a reference index, for the current block is as described above.
  • the decoder reconstructs an image based on the prediction result (S1240).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 정보 부호화 및 복호화에 관한 것으로서, 본 발명에 따른 복호화 방법은 수신한 정보를 엔트로피 복호화하는 단계, 상기 엔트로피 복호화한 정보를 기반으로 현재 블록에 대한 인터 예측을 수행하는 단계 및 상기 예측 결과를 이용하여 영상을 복원하는 단계를 포함하며, 상기 인터 예측 단계에서는, 상기 현재 블록에 대하여 스킵 모드 또는 머지 모드를 적용하고, 상기 현재 블록의 움직임 정보를 상기 현재 블록의 주변 블록의 움직임 정보를 기반으로 결정할 수 있다.

Description

영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
본 발명은 영상 압축 기술에 관한 것으로서, 더 구체적으로는 화면 간 예측(인터 예측) 기술에 관한 것이다.
최근, 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 하지만, 영상의 고해상도, 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다. 따라서 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우, 정보의 전송 비용과 저장 비용이 증가하게 된다. 따라서, 고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술을 이용할 수 있다.
영상 압축의 효율을 높이기 위해, 화면 간 예측과 화면 내 예측을 이용할 수 있다.
인터(inter) 예측에서는 시간적으로 이전 및/또는 이후의 픽처로부터 현재 픽처에 포함된 화소값을 예측하며, 인트라(intra) 예측에서는 현재 픽처 내의 화소 정보를 이용하여 현재 픽처에 포함된 화소값을 예측한다.
인터 예측 및 인트라 예측 외에도, 조명 변화 등에 의한 화질의 열화를 방지하기 위한 가중치 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 영상 정보의 효율적인 처리를 위해 이용되고 있다.
본 발명은 인터 예측에 있어서, 부호화 효율을 높이고 성능을 개선하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 인터 예측의 스킵 모드를 적용하는 경우에, 현재 블록의 움직임 정보를 효율적으로 유도하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 인터 예측의 스킵 모드를 적용하는 경우에, 현재 블록의 움직임 정보, 예컨대 참조 인덱스를 주변 블록의 움직임 정보를 기반으로 유도하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 현재 블록에 대한 시간적 머지 후보의 참조 인덱스를 유도하는 방법을 제공하는 것을 목적으로 한다.
(1) 본 발명의 일 실시형태는 영상 정보 부호화 방법으로서, 현재 블록에 대하여 인터 예측을 수행하는 단계, 예측에 관한 정보를 엔트로피 부호화하는 단계 및 상기 엔트로피 부호화된 정보를 시그널링하는 단계를 포함하며, 상기 예측 단계에서는 상기 현재 블록에 대하여 스킵 모드 또는 머지 모드를 적용하며, 상기 현재 블록의 주변 블록들의 참조 인덱스를 기반으로 상기 현재 블록의 참조 인덱스를 결정할 수 있다.
(2) (1)에서, 제1항에 있어서, 상기 시그널링 단계에서는, 현재 블록의 움직임 정보를 직접 전송할 수 있다.
(3) (2)에서, 상기 전송되는 움직임 정보는 현재 블록의 참조 인덱스일 수 있다.
(4) (2)에서, 상기 움직임 정보는 슬라이스 단위, 픽처 단위, 예측 대상 블록 단위 또는 부호화 유닛 단위 중 어느 한 단위로 전송할 수 있다.
(5) (1)에서, 상기 예측 단계에서는, 상기 현재 블록의 움직임 정보를 상기 현재 블록의 주변 블록들 중 어느 하나의 움직임 정보로 결정할 수 있고, 상기 시그널링 단계에서는, 상기 현재 블록의 움직임 정보의 움직임 정보가 상기 현재 블록 주변의 어느 블록의 움직임 정보인지를 지시할 수 있다.
(6) (1)에서, 상기 예측 단계에서는, 상기 현재 블록의 참조 인덱스를 상기 현재 블록의 주변 블록들의 참조 인덱스들을 비교하여 가장 작은 참조 인덱스로 결정할 수 있다.
(7) (6)에서, 상기 참조 인덱스를 비교하는 주변 블록들은 상기 현재 블록의 주변 블록들 중에서 코너 블록들을 제외한 좌측 블록들 및 상측 블록들일 수 있다.
(8) 본 발명의 다른 실시형태는 영상 정보 복호화 방법으로서, 수신한 정보를 엔트로피 복호화하는 단계, 상기 엔트로피 복호화한 정보를 기반으로 현재 블록에 대한 인터 예측을 수행하는 단계 및 상기 예측 결과를 이용하여 영상을 복원하는 단계를 포함하며, 상기 인터 예측 단계에서는, 상기 현재 블록에 대하여 스킵 모드 또는 머지 모드를 적용하고, 상기 현재 블록의 움직임 정보를 상기 현재 블록의 주변 블록의 움직임 정보를 기반으로 결정할 수 있다.
(9) (8)에서, 상기 수신한 정보는 상기 현재 블록의 주변 블록들 중 어느 블록의 움직임 정보를 이용할 것인지를 지시하는 지시자를 포함할 수 있으며, 상기 예측 단계에서는, 상기 지시자를 기반으로 상기 현재 블록의 움직임 정보를 결정할 수 있다.
(10) (9)에서, 상기 지시자는 상기 현재 블록의 주변 블록들 중에서 어느 블록의 참조 인덱스를 상기 현재 블록의 참조 인덱스로 이용할 것인지를 지시할 수 있다.
(11) (9)에서, 상기 참조 인덱스 지시 정보는 슬라이스 단위, 픽처 단위, 예측 대상 블록 단위 또는 부호화 유닛 단위 중 어느 하나로 시그널링될 수 있다.
(12) (8)에서, 상기 현재 블록의 시간적 머지 후보의 참조 인덱스는 상기 주변 블록들 중에서 가용한 주변 블록들을 기반으로 결정될 수 있으며, 상기 인터 예측 단계에서는 상기 가용한 주변 블록들의 참조 인덱스 중에서 가장 작은 참조 인덱스를 상기 시간적 머지 후보의 참조 인덱스로 결정할 수 있다.
(13) (12)에서, 상기 현재 블록의 주변 블록들은, 상기 현재 블록의 좌하측 코너 블록, 좌하측 블록, 우상측 코너 블록, 우상측 블록, 좌상측 코너 블록일 수 있다.
(14) (8)에서, 상기 현재 블록의 시간적 머지 후보의 참조 인덱스는 상기 현재 블록의 좌하측 코너 블록, 좌하측 블록, 우상측 코너 블록, 우상측 블록, 좌상측 코너 블록 중 좌하측 블록의 참조 인덱스로 지정할 수 있다.
(15) (14)에서, 상기 예측 단계에서는 상기 좌하측 블록의 가용성을 판단하여, 상기 좌하측 블록이 가용하지 않은 경우에 상기 시간적 머지 후보의 참조 인덱스 값을 소정의 인덱스 값으로 지정할 수 있다.
본 발명에 의하면, 인터 예측의 스킵 모드를 적용하는 경우에 참조 픽처를 효과적으로 선택하여 부호화 효율을 높일 수 있다.
본 발명에 의하면, 시간적 머지 후보의 참조 인덱스를 효과적으로 유도하여 복잡도를 줄이고 부호화 효율을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치(부호화기)를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화기를 개략적으로 나타낸 블록도이다.
도 3은 AMVP를 이용하여 현재 블록에 대한 인터 예측을 수행하는 일 예를 개략적으로 설명하는 도면이다.
도 4는 특정한 블록을 이용하여 AMVP를 수행하는 방법에 대한 일 예를 개략적으로 설명하는 도면이다.
도 5는 복호화기에서 현재 블록에 대한 예측 움직임 벡터를 유도하는 방법의 일 예를 나타낸 순서도이다.
도 6은 현재 예측 블록에 대한 공간적 후보 예측 블록의 움직임 벡터를 개략적으로 설명하는 도면이다.
도 7은 P 픽쳐, B 픽쳐 및 GPB의 예측 방법을 개략적으로 설명하는 도면이다.
도 8은 참조 인덱스를 0으로 두고 스킵 모드를 적용하는 경우에 발생할 수 있는 문제점을 개략적으로 설명하는 도면이다.
도 9는 본 발명의 본 실시예에 따라서 주변 블록의 참조 인덱스로부터 현재 블록의 참조 인덱스를 선택하는 방법을 개략적으로 설명하는 도면이다.
도 10은 본 발명이 적용되는 시스템에서 머지 후보들을 개략적으로 설명하는 도면이다.
도 11은 본 발명이 적용되는 시스템에서 부호화기 동작의 일 예를 개략적으로 설명하는 순서도이다.
도 12는 본 발명이 적용되는 시스템에서 복호화기 동작의 일 예를 개략적으로 설명하는 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 영상 부호화/복호화 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치(부호화기)를 개략적으로 도시한 블록도이다. 도 1을 참조하면, 영상 부호화 장치(100)는 픽처 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 부호화부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 구비한다.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 단위로 분할할 수 있다. 이때, 처리 단위는 예측 유닛(Prediction Unit, 이하 ‘PU’라 함)일 수도 있고, 변환 유닛(Transform Unit, 이하 ‘TU’라 함)일 수도 있으며, 코딩 유닛(Coding Unit, 이하 ‘CU’라 함)일 수도 있다. 다만, 본 명세서에서는 설명의 편의를 위해, 예측 유닛을 예측 블록, 변환 유닛을 변환 블록, 부호화 유닛을 부호화 블록으로 표현할 수 있다.
예측부(110)는 후술하는 바와 같이, 화면 간 예측을 수행하는 화면 간 예측부와 화면 내 예측을 수행하는 화면 내 예측부를 포함한다. 예측부(110)는, 픽처 분할부(105)에서 픽처의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성한다. 예측부(110)에서 픽처의 처리 단위는 CU일 수도 있고, TU일 수도 있고, PU일 수도 있다. 또한, 해당 처리 단위에 대하여 실시되는 예측이 화면 간 예측인지 화면 내 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)를 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 PU 단위로 결정되고, 예측의 수행은 TU 단위로 수행될 수도 있다.
화면 간 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 화면 내 예측을 통해서는 현재 픽처 내의 화소 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
화면 간 예측에서는 PU에 대하여, 참조 픽처를 선택하고 PU와 동일한 크기의 참조 블록을 정수 화소 샘플 단위로 선택할 수 있다. 이어서, 현재 PU와의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되는 예측 블록을 생성한다. 화면 내 예측의 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 등을 이용할 수 있다. 예측 블록은 1/2 화소 샘플 단위와 1/4 화소 샘플 단위와 같이 정수 이하 샘플 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 화소 이하의 단위로 표현될 수 있다. 예컨대 휘도 화소에 대해서는 1/4 화소 단위로, 색차 화소에 대해서는 1/8 화소 단위로 표현될 수 있다.
화면 간 예측을 통해 선택된 참조 픽처의 인덱스, 움직임 벡터(ex. Motion Vector Predictor), 레지듀얼 신호 등의 정보는 엔트로피 부호화되어 복호화기에 전달된다.
화면 내 예측을 수행하는 경우에는, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수 있다. 또한, PU 단위로 예측 모드가 정해지고 TU 단위로 화면 내 예측이 수행될 수도 있다.
화면 내 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비방향성 모드는 DC 예측 모드 및 플레너 모드(Planar 모드)을 포함할 수 있다.
화면 내 예측에서는 참조 샘플 에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수 있다. 이때, 현재 블록은 예측이 수행되는 변환 유닛일 수 있다. 한편, 본 명세서에서 픽셀을 이용한다는 것은 해당 픽셀의 정보, 예컨대 픽셀값 등을 이용한다는 것을 의미한다. 다만, 설명의 편의를 위해, ‘픽셀의 정보를 이용한다’ 혹은 ‘픽셀 값을 이용한다’는 표현을 ‘픽셀을 이용한다’고 간단하게 나타낼 수도 있음에 유의한다. 인트라 예측의 구체적인 방법은 후술하는 바와 같다.
PU는 다양한 사이즈/형태를 가질 수 있으며, 예컨대 화면 간 예측의 경우에 PU는 2N×2N, 2N×N, N×2N, 또는 N×N 등의 크기를 가질 수 있다. 화면 내 예측의 경우에 PU는 2N×2N 또는 N×N (N은 정수) 등의 크기를 가질 수 있다. 이때, N×N 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 코딩 유닛에 대해서만 NxN의 PU를 이용하도록 정하거나 화면 내 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN, mN×N, 2N×mN 또는 mN×2N (m<1) 등의 크기를 가지는 PU를 더 정의하여 사용할 수도 있다.
생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(115)로 입력된다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 부호화부(130)에서 부호화되어 복호화기에 전달된다.
변환부(115)는 변환 단위로 레지듀얼 블록에 대한 변환을 수행하고 변환 계수를 생성한다. 변환부(115)에서의 변환 단위는 TU일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다. 이때, 변환 단위의 크기는 소정의 최대 및 최소 크기의 범위 내에서 정해질 수 있다. 변환부(115)는 레지듀얼 블록을 DCT(Discrete Cosine Transform) 및/또는 DST(Discrete Sine Transform)를 이용하여 변환할 수 있다.
양자화부(120)는 변환부(115)에서 변환된 레지듀얼 값들을 양자화하여 양자화 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공된다.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화 계수를 재정렬한다. 양자화 계수를 재정렬함으로써 엔트로피 부호화부(130)에서의 부호화의 효율을 높일 수 있다. 재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화 계수들을 1차원의 벡터 형태로 재정렬할 수 있다. 재정렬부(125)에서는 양자화부에서 전송된 계수들의 확률적인 통계를 기반으로 계수 스캔닝의 순서를 변경함으로써 엔트로피 부호화부(130)에서의 엔트로피 부호화 효율을 높일 수도 있다.
엔트로피 부호화부(130)는 재정렬부(125)에 의해 재정렬된 양자화 계수들에 대한 엔트로피 부호화를 수행할 수 있다. 엔트로피 부호화에는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다. 엔트로피 부호화부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 CU의 양자화 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, PU 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽처 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 부호화할 수 있다.
또한, 엔트로피 부호화부(130)는 필요한 경우에, 전송하는 파라미터 셋 또는 신택스에 일정한 변경을 가할 수도 있다.
역양자화부(135)는 양자화부(120)에서 양자화된 값들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환한다. 역양자화부(135) 및 역변환부(140)에서 생성된 레지듀얼 값은 예측부(110)에서 예측된 예측 블록과 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다.
필터부(145)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 화소 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
한편, 화면 간 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽처를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽처는 화면 간 예측을 수행하는 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화기를 개략적으로 나타낸 블록도이다. 도 2를 참조하면, 영상 복호화기(200)는 엔트로피 복호화부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)를 포함할 수 있다.
영상 부호화기에서 영상 비트 스트림이 입력된 경우, 입력된 비트 스트림은 영상 부호화기에서 영상 정보가 처리된 절차에 따라서 복호화될 수 있다.
예컨대, 영상 부호화기에서 엔트로피 부호화를 수행하기 위해 CAVLC 등의 가변 길이 부호화(Variable Length Coding: VLC, 이하 ‘VLC’ 라 함)가 사용된 경우에, 엔트로피 복호화부(210)도 부호화기에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 복호화를 수행할 수 있다. 또한, 영상 부호화기에서 엔트로피 부호화를 수행하기 위해 CABAC을 이용한 경우에, 엔트로피 복호화부(210)는 이에 대응하여 CABAC을 이용한 엔트로피 복호화를 수행할 수 있다.
엔트로피 복호화부(210)에서 복호화된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고 엔트로피 복호화부에서 엔트로피 복호화가 수행된 레지듀얼 값은 재정렬부(215)로 입력될 수 있다.
재정렬부(215)는 엔트로피 복호화부(210)에서 엔트로피 복호화된 비트 스트림을 영상 부호화기에서 재정렬한 방법을 기초로 재정렬할 수 있다. 재정렬부(215)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)는 부호화기에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 해당 부호화부에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통해 재정렬을 수행할 수 있다.
역양자화부(220)는 부호화기에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 영상 부호화기에서 수행된 양자화 결과에 대해, 부호화기의 변환부가 수행한 DCT 및 DST에 대해 역DCT 및/또는 역DST를 수행할 수 있다. 역변환은 부호화기에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 부호화기의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 복호화기의 역변환부(225)는 부호화기의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예측부(230)는 엔트로피 복호화부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 복호화된 블록 및/또는 픽처 정보를 기초로 예측 블록을 생성할 수 있다. 복원 블록은 예측부(230)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용해 생성될 수 있다. 현재 PU에 대한 예측 모드가 인트라 예측(intra prediction) 모드(화면 내 예측 모드)인 경우에, 현재 픽처 내의 화소 정보를 기초로 예측 블록을 생성하는 화면 내 예측을 수행할 수 있다.
현재 PU에 대한 예측 모드가 인터 예측(inter prediction) 모드(화면 간 예측 모드)인 경우에, 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 PU에 대한 화면 간 예측을 수행할 수 있다. 이때, 영상 부호화기에서 제공된 현재 PU의 화면 간 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 부호화기로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.
복원된 블록 및/또는 픽처는 필터부(235)로 제공될 수 있다. 필터부(235)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 적응적 루프 필터링 등을 적용한다.
메모리(240)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽처를 출력부로 제공할 수 있다.

한편, 인터 예측 모드를 적용하는 경우에, 현재 블록에 대하여 예측하는 방법으로서 AMVP(Advanced MVP)가 있다. AMVP는 종래의 MVP(Motion Vector Predictor)를 개선한 것으로서, 현재 블록의 주변 블록으로부터 인터 예측을 위한 정보를 유도한다.
도 3은 AMVP를 이용하여 현재 블록에 대한 인터 예측을 수행하는 일 예를 개략적으로 설명하는 도면이다. 도 3을 참조하면, 현재 블록(300)의 MVP로 사용할 수 있는 후보 MVP들을 주변 블록으로부터 유도할 수 있다.
예컨대, 현재 블록의 좌측에 있는 블록들의 집합 A(310)로부터 움직임 벡터 mvA를 유도할 수 있다. mvA는 집합 A(310)에 속하는 블록들의 움직임 벡터들 중에서 현재 블록(300)과 동일한 참조 인덱스를 가지는 움직임 벡터이다.
이어서, 현재 블록의 상측에 있는 블록들의 집합 B(320)로부터 움직임 벡터 mvB를 유도할 수 있다. mvB는 집합 B(320)에 속하는 블록들의 움직임 벡터들 중에서 현재 블록(300)과 동일한 참조 인덱스를 가지는 움직임 벡터이다.
이어서, 현재 블록의 코너에 있는 블록 C의 움직임 벡터 mvC, 상기 집합 A의 움직임 벡터 mvA 그리고 상기 집합 B의 움직임 벡터 mvB의 미디언 mv_median을 수 1과 같이 유도한다.
<수 1>
mv_median = median(mvA, mvB, mvC)
현재 블록의 MVP로서 사용할 움직임 벡터는, 상기 유도한 mvA, mvB, mvC 및 mv_median과 현재 블록의 콜 블록(temporal collocated block)의 움직임 벡터(mv) 중에서 가장 효율적인 움직임 벡터를 선택하여 사용할 수 있다.
이때, 집합 A(310)와 집합 B(320)의 블록들 모두를 고려하지 않고 특정한 블록만을 이용하여 AMVP를 수행할 수도 있다.
도 4는 특정한 블록을 이용하여 AMVP를 수행하는 방법에 대한 일 예를 개략적으로 설명하는 도면이다.
도 4의 예에서는, 현재 예측 유닛의 좌측 상단에 존재하는 픽셀의 위치를 (xP, yP)로 정의하고 현재 예측 유닛의 너비를 nPSW, 높이를 nPSH라는 변수로 정의할 수 있다. 또한, 공간적 후보 예측 블록을 표현하기 위해 예측 유닛으로서 사용할 수 있는 가장 작은 예측 유닛의 크기를 MinPuSize는 로 정의할 수 있다.
아울러, 설명의 편의를 위해 현재 예측 블록의 공간적 주변 예측 블록으로서, (xP-1, yP+nPSH)에 존재하는 픽셀을 포함하는 블록을 도 3의 블록 E에 대응하는 좌측 제1 블록(400)이라고 할 수 있다. 또한, 집합 A에 속하는 블록, 예컨데, (xP-1, yP)에 위치하는 픽셀을 포함하는 블록(410)으로부터 (xP-1, yP+nPSH-MinPuSize)에 위치하는 픽셀을 포함하는 블록(410)까지의 블록들 중 어느 하나를 좌측 제2 블록이라고 할 수 있다.
상단에서는 (xP+nPSW, yP-1)에 위치하는 픽셀을 포함하는 블록을 도 3의 블록 C에대응하는 상단 제1 블록(430)이라고 할 수 있다. 또한, 집합 B에 속하는 블록, 예컨대, (xP, yP-1)에 위치하는 블록(450)으로부터 (xP+nPSW-MinPuSize, yP-1)에 위치하는 픽셀을 포함하는 블록(440)까지의 블록들 중 어느 하나를 상단 제2 블록이라고 할 수 있다. 그리고, (xP-MinPuSize, yP-1)에 위치하는 픽셀을 포함하는 블록을 도 3의 블록 D에 대응하는 상단 제3 블록(460)이고 표현할 수 있다.
공간적 후보 예측 블록은 좌측 제1 블록, 좌측 제2 블록, 상단 제1 블록, 상단 제2 블록, 상단 제3 블록을 포함할 수 있다. 여기서는 설명의 편의를 위해, 좌측 제2 블록으로서, (xP-1, yP+nPSH-MinPuSize)에 위치하는 픽셀을 포함하는 블록(410)을 이용하고, 상측 제2 블록으로서, (xP+nPSW-MinPuSize, yP-1)에 위치하는 픽셀을 포함하는 블록(440)을 이용한다.
좌측 제1 블록(400) 및 좌측 제2 블록(410)을 포함하는 하나의 그룹을 제1 공간적 후보 예측 그룹으로 정의하고 상단 제1 블록(420), 상단 제2 블록(440), 상단 제3 블록(460)을 포함하는 하나의 그룹을 제2 공간적 후보 예측 그룹이라고 정의한다. 제1 공간적 후보 예측 그룹에 포함되는 블록과 제2 공간적 후보 예측 그룹에 포함되는 블록를 포함하는 용어로 공간적 후보 예측 블록이라는 용어를 사용할 수 있다.
시간적 후보 예측 블록(470)는 현재 예측 블록을 포함하는 픽처 내의 픽셀 위치(xP, yP)를 기초로 현재 예측 블록의 콜-픽처에서 (xP+nPSW, yP+nPSH) 위치의 픽셀을 포함하는 예측 블록이거나 (xP+nPSW, yP+nPSH) 위치의 픽셀을 포함하는 예측 블록이 가용(available)하지 않은 경우, (xP+nPSW/2, yP+nPSH/2) 위치의 픽셀을 포함하는 예측 블록이 될 수 있다.
도 4에서 개시한 공간적 후보 예측 블록의 위치 및 개수와 시간적 후보 예측 블록의 위치 및 개수는 임의적인 것으로서 본 발명의 본질에서 벗어나지 않는 한 공간적 후보 예측 블록의 위치 및 개수와 시간적 후보 예측 블록의 위치 및 개수는 변할 수 있다. 예컨대, 도 3의 집합 A와 집합 B의 블록들을 모두 혹은 일부 고려할 수 있다. 후보 예측 움직임 벡터 리스트를 구성할 때, 우선적으로 스캔되는 예측 블록의 위치 및 후보 예측 그룹도 변할 수 있다. 또한, 도 4에서 각 (예측) 블록은 예측 유닛(PU)일 수 있다.
도 5는 복호화기에서 현재 블록에 대한 예측 움직임 벡터를 유도하는 방법의 일 예를 나타낸 순서도이다. 도 5의 예에서 설명하는 방법은, 복호화기 또는 복호화기의 특정 모듈, 예컨대 예측부에서 수행될 수 있다. 설명의 편의를 위해, 도 5의 예를 수행하는 주체를 복호화기라고 가정한다.
도 5를 참조하면, 복호화기는 제1 후보 예측 움직임 벡터를 유도할 수 있다(S500). 제1 후보 예측 움직임 벡터는 제1 공간적 후보 예측 그룹에서 유도되는 후보 예측 움직임 벡터로서, 제1 공간적 후보 예측 그룹 가용성 정보에 기반해서 유도될 수 있다.
제1 공간적 후보 예측 그룹은 도 4의 예에서 설명한 바와 같이 좌측 제1 블록, 좌측 제2 블록이 될 수 있다. 제1 공간적 후보 예측 그룹에서 예측 움직임 벡터를 유도하기 위해 제1 공간적 후보 예측 그룹 가용성 정보를 사용할 수 있다. 제1 공간적 후보 예측 그룹 가용성 정보는 제1 공간적 후보 예측 그룹에 존재하는 블록의 움직임 벡터 중 적어도 하나의 움직임 벡터가 가용한(available) 후보 예측 움직임 벡터인지를 지시한다. 즉, 제1 공간적 후보 예측 그룹 가용성 정보는 제1 공간적 후보 예측 그룹에 존재하는 블록의 움직임 벡터 중 적어도 하나의 움직임 벡터가 현재 예측 블록의 후보 예측 움직임 벡터 리스트에 포함될 수 있는지를 지시한다.
복호화기는 제2 후보 예측 움직임 벡터를 유도할 수 있다(S510). 제2 후보 예측 움직임 벡터는 제2 공간적 후보 예측 그룹에서 유도되는 후보 예측 움직임 벡터로서, 제2 공간적 후보 예측 가용성 정보에 기반해서 유도될 수 있다.
제2 공간적 후보 예측 그룹은 전술한 바와 같이 상단 제1 블록, 상단 제2 블록 및 상단 제3 블록이 될 수 있다. 제2 공간적 후보 예측 그룹에서 예측 움직임 벡터를 산출하기 위해 제2 공간적 후보 예측 그룹 가용성 정보를 사용할 수 있다. 제2 공간적 후보 예측 그룹 가용성 정보는 제1 공간적 후보 예측 그룹 가용성 정보와 마찬가지로 제2 공간적 후보 예측 그룹에 존재하는 블록의 움직임 벡터 중 적어도 하나의 움직임 벡터가 현재 예측 블록의 후보 예측 움직임 벡터 리스트에 포함될 수 있는지를 지시하는 정보이다.
복호화기는 시간적 후보 예측 움직임 벡터를 산출한다(S520). 시간적 후보 예측 움직임 벡터는 시간적 후보 예측 블록 가용성 정보에 기반해서, 시간적 우호 예측 블록에서 유도되는 후보 예측 움직임 벡터이다.
시간적 후보 예측 블록 가용성 정보는 시간적 후보 예측 블록의 움직임 벡터를 현재 예측 블록의 후보 예측 움직임 벡터 리스트에 포함할 것인지를 지시하는 정보이다.
후보 예측 움직임 벡터 리스트에는 단계 S500 내지 단계 S520을 통해 산출된 움직임 벡터, 즉, 제1 후보 예측 움직임 벡터, 제2 후보 예측 움직임 벡터, 시간적 후보 예측 움직임 벡터 중 적어도 하나가 포함될 수 있다.
복호화기는 후보 예측 움직임 벡터 리스트에서 동일한 후보 예측 움직임 벡터들을제외시킬 수 있다(S530). 구체적으로, 후보 예측 움직임 벡터 리스트에 동일한 후보 예측 움직임 벡터들이 존재하는 경우, 복호화기는 동일한 후보 예측 움직임 벡터 중에서 우선 순위가 가장 높은 후보 예측 움직임 벡터를 제외한 나머지를 후보 움직임 벡터 리스트에서 제거한다.
단계 S500에서 단계 S520에서 수행되는 후보 예측 움직임 벡터 산출 과정을 통해 산출된 후보 예측 움직임 벡터는 단계 S530에서 수행되는 후보 예측 움직임 벡터 동일성 판단 과정을 통해 동일하지 않은 후보 예측 움직임 벡터만을 후보 예측 움직임 벡터 리스트에 포함시킬 수 있다.
복호화기는 후보 예측 움직임 벡터 리스트에 제로 움직임 벡터(zero motion vector)를 추가할 수 있다(S540). 구체적으로, 복호화기는 예측 후보 예측 움직임 벡터 리스트를 이용하기 위해 필요한 만큼, 후보 예측 움직임 벡터가 유도되지 않는 경우, 제로 움직임 벡터를 후보 예측 움직임 벡터 리스트에 포함시킬 수 있다. S540 단계는 후술하는 S550 단계에서 통합적으로 이루어질 수도 있다. 이 경우, S540 단계는 수행되지 않을 수 있다.
복호화기는 후보 움직임 벡터의 개수를 조정할 수 있다(S550). 구체적으로 복호화기는 현재 후보 예측 움직임 벡터 리스트에 포함되어 있는 후보 예측 움직임 벡터의 개수가 후보 예측 움직임 벡터 리스트에 포함될 수 있는 최대 개수 이상인지 여부를 판단한다.
후보 예측 움직임 벡터 리스트에 포함될 수 있는 후보 예측 움직임 벡터의 개수는 임의의 개수로 제한될 수 있다. 예를 들어, 최대 예측 움직임 벡터 개수가 2 개로 설정된 경우를 가정하고, S500 내지 S540에서 수행되는 후보 예측 움직임 벡터 유도 과정을 통해 유도된 후보 예측 움직임 벡터가 3라고 하면, 우선 순위가 높은 순으로 2개의 후보 예측 움직임 벡터만이 후보 예측 움직임 벡터 리스트에 포함될 수 있고, 나머지 1개의 벡터는 후보 움직임 벡터 리스트에서 제외될 수 있다.
이와 같이 복호화기는, 현재 후보 예측 움직임 벡터 리스트에 포함되어 있는 후보 예측 움직임 벡터의 개수가 후보 예측 움직임 벡터 리스트에 포함될 수 있는 최대 개수 이상인 경우, 최대 후보 예측 움직임 벡터 개수만큼의 후보 예측 움직임 벡터들만 예측 움직임 벡터 리스트에 포함되도록 후보 예측 움직임 벡터의 개수를 조정한다. 이때, 후보 예측 움직임 벡터의 개수를 조정하는 방법의 일 예로서, 우선 순위가 높은 순으로 최대 후보 예측 움직임 벡터 개수만큼의 후보 예측 움직임 벡터를 후보 예측 움직임 벡터 리스트에 포함시키고, 나머지 후보 예측 움직임 벡터는 후보 예측 움직임 벡터 리스트에서 제외시키는 방법을 이용할 수 있다.
현재 후보 예측 움직임 벡터 리스트에 포함되어 있는 후보 예측 움직임 벡터의 개수가 후보 예측 움직임 벡터 리스트에 포함될 수 있는 최대 후보 예측 움직임 벡터의 개수보다 작은 경우, 복호화기는 후보 예측 움직임 벡터를 후보 예측 움직임 벡터 리스트를 추가할 수 있다. 예를 들어, 현재 후보 예측 움직임 벡터 리스트에 제로 움직임 벡터를 추가적인 후보 예측 움직임 벡터로서 포함시킬 수 있다. 추가되는 후보 예측 움직임 벡터는 제로 움직임 벡터 외에도 후보 예측 움직임 벡터 리스트에 이미 존재하는 벡터들의 조합 또는 스케일링된 값이 될 수도 있다.
복호화기는 현재 예측 블록의 예측 움직임 벡터를 결정할 수 있다(S560). 복호화기는 도 3에서 설명한 바와 같이, 후보 예측 움직임 벡터 리스트에 포함된 후보 예측 움직임 벡터들 중에서 가장 효율적인 후보 예측 움직임 벡터를 현재 블록의 예측 움직임 벡터(motion vector predictor: mvp)로 이용할 수 있다.
이때, 가장 효율적인 후보 예측 움직임 벡터에 관한 정보를 부호화기가 복호화기에 전달하도록 할 수 있다. 이 경우, 복호화기는 부호화기로부터 전달된 후보 예측 움직임 벡터의 인덱스 정보에 기반해서 현재 예측 단위의 예측 움직임 벡터를 결정할 수도 있다. 후보 예측 움직임 벡터 인덱스 정보는 후보 예측 움직임 벡터 리스트의 후보 예측 움직임 벡터 중 어떠한 후보 예측 움직임 벡터를 현재 예측 블록의 예측 움직임 벡터로 사용할 것인지를 지시할 수 있다.
현재 예측 블록의 예측 움직임 벡터(motion vector predictor)와 현재 예측 블록의 원래 움직임 벡터값의 차이 정보인 차분 움직임 벡터(motion vector difference: mvd) 정보를 더해서 현재 예측 단위의 움직임 벡터 정보를 산출할 수 있다.
도 6은 현재 예측 블록에 대한 공간적 후보 예측 블록의 움직임 벡터를 개략적으로 설명하는 도면이다.
도 6을 참조하면, 현재 예측 블록과 동일한 참조 인덱스 및 참조 픽처 리스트로부터 산출된 공간적 후보 예측 블록의 움직임 벡터를 제1 움직임 벡터(500)라고 한다. 이때, 참조 인덱스는 참조 픽처를 지시하는 인덱스이다.
도 6의 예에서 현재 예측 블록(650)의 참조 인덱스가 지시하는 참조 픽처가 j 픽처고 j 픽처가 포함된 참조 픽처 리스트가 L0라고 가정하면, 공간적 후보 예측 블록(670)의 움직임 벡터(600)가 지시하는 픽처가 j 픽처고 j 픽처가 포함된 참조 픽처 리스트가 L0이므로, 공간적 후보 예측 블록(670)의 움직임 벡터와 현재 예측 블록(650)의 움직임 벡터는 동일한 참조 픽처 및 동일한 참조 픽처 리스트를 가진다. 이처럼, 현재 예측 블록과 동일한 참조 픽처(동일한 참조 인덱스)를 가지고 동일한 리스트로부터 유도된 움직임 벡터를 제1 움직임 벡터(600)라고 한다.
이에 대하여, 현재 예측 블록(650)과 동일한 참조 인덱스를 가지되 서로 다른 참조 픽처 리스트로부터 산출된 공간적 후보 예측 블록(670)의 움직임 벡터를 제2 움직임 벡터(610)라고 한다.
현재 예측 블록(650)의 참조 인덱스가 지시하는 참조 픽처가 j 픽처고 j 픽처가 포함된 참조 픽처 리스트가 L0라고 가정한다면, 도 6의 예에서 공간적 후보 예측 블록(670)의 움직임 벡터가 지시하는 픽처가 j 픽처고 j 픽처가 포함된 참조 픽처 리스트가 L1이므로 공간적 후보 예측 블록(670)의 움직임 벡터(610)와 현재 예측 블록(650)의 움직임 벡터는 참조 인덱스(참조 픽처)가 동일하지만 참조 픽처 리스트가 서로 상이하다. 이렇게 현재 예측 블록과 동일한 참조 인덱스를 가지지만 서로 다른 리스트로부터 유도된 움직임 벡터를 제2 움직임 벡터(610)라고 한다.
또한, 현재 예측 블록과 서로 다른 참조 인덱스를 가지되 동일한 참조 픽처 리스트로부터 유도된 공간적 후보 예측 블록의 움직임 벡터를 제3 움직임 벡터(620)라고 한다.
현재 예측 단위(650)의 참조 인덱스가 지시하는 참조 픽처가 j 픽처고 j 픽처가 포함된 참조 픽처 리스트가 L0라고 가정한다면, 도 6의 예에서 공간적 후보 예측 블록(670)의 움직임 벡터(620)가 지시하는 픽처가 i 픽처고 i 픽처가 포함된 참조 픽처 리스트가 L0이므로 공간적 후보 예측 블록(670)의 움직임 벡터와 현재 예측 블록(650)의 움직임 벡터는 서로 다른 참조 인덱스를 가지나 참조 픽처 리스트가 동일하다. 이렇듯 현재 예측 블록(650)과 참조 인덱스가 서로 상이하지만, 동일한 리스트로부터 유도된 움직임 벡터를 제3 움직임 벡터(520)라고 한다. 제3 움직임 벡터(620)의 경우 현재 예측 블록과 참조 픽처(참조 인덱스)가 서로 다르므로, 공간적 후보 예측 블록의 움직임 벡터는 현재 예측 블록의 참조 픽처를 기준으로 스케일링되어 후보 예측 움직임 벡터 리스트에 포함될 수 있다.
현재 예측 블록(650)과 서로 다른 참조 인덱스를 가지고 서로 다른 참조 픽처 리스트로부터 유도된 공간적 후보 예측 블록(670)의 움직임 벡터를 제4 움직임 벡터(630)라고 한다.
현재 예측 블록(650)의 참조 인덱스가 지시하는 참조 픽처가 j 픽처고 j 픽처가 포함된 참조 픽처 리스트가 L0라고 가정한다면, 도 6의 예에서 공간적 후보 예측 블록(670)의 움직임 벡터(630)가 지시하는 픽처가 m 픽처고 m 픽처가 포함된 참조 픽처 리스트가 L1이므로 공간적 후보 예측 블록(670)의 움직임 벡터와 현재 예측 블록(650)의 움직임 벡터는 참조 인덱스가 서로 상이하고, 참조 리스트 역시 서로 상이하다. 이렇게 현재 예측 블록과 참조 인덱스가 서로 상이하고, 서로 다른 참조 픽처 리스트로부터 산출된 움직임 벡터를 제4 움직임 벡터(630)라고 한다. 이 경우에도, 참조 인덱스(참조 픽처)가 현재 예측 블록(650)과 상이하므로, 공간적 후보 예측 블록의 움직임 벡터는 현재 예측 블록의 참조 픽처를 기준으로 스케일링되어 후보 예측 움직임 벡터 리스트에 포함될 수 있다.
복호화기는 좌측 제1 블록과 좌측 제2 블록에 대하여 순서대로 제1 움직임 벡터, 제2 움직임 벡터, 제3 움직임 벡터, 제4 움직임 벡터를 검색(search)할 수 있다. 복호화기는 좌측 제1 블록에서 제1 움직임 벡터와 제2 움직임 벡터를 검색하고, 검색되지 않는 경우에 좌측 제2 블록에서 제1 움직임 벡터와 제2 움직임 벡터를 검색할 수 있다. 또한, 복호화기는 좌측 제1 블록과 좌측 제2 블록에서 순서대로 제1 움직임 벡터를 검색하고, 검색되지 않는 경우에 좌측 제1 블록과 좌측 제2 블록에서 순서대로 제2 움직임 벡터를 검색할 수도 있다.
제1 움직임 벡터와 제2 움직임 벡터가 검색되지 않으면, 좌측 제1 블록과 좌측 제2 블록에 대하여 동일한 방식으로 제4 움직임 벡터와 제4 움직임 벡터를 검색할 수 있다.
움직임 벡터가 검색되면, 제1 공간적 후보 예측 그룹 가용성 정보를 1(true)로 설정하고, 검색된 움직임 벡터를 후보 예측 움직임 벡터 리스트에 포함시키며, 이후의 검색을 종료할 수 있다.
복호화기는 상측 제1 블록, 상측 제2 블록, 상측 제3 블록에 대하여 순서대로 제1 움직임 벡터, 제2 움직임 벡터, 제3 움직임 벡터, 제4 움직임 벡터를 검색할 수 있다. 검색의 방식은 좌측 블록들에 대한 경우와 동일하다. 움직임 벡터가 검색되면, 제2 공간적 후보 예측 그룹 가용성 정보를 1(true)로 설정하고, 검색된 움직임 벡터를 후보 예측 움직임 벡터 리스트에 포함시키며, 이후의 검색을 종료할 수 있다.
다만, 제3 움직임 벡터와 제4 움직임 벡터의 경우에는, 후보 예측 움직임 벡터 리스트에 포함시켜 이용하기 위해서 스케일링이 필요하며, 이때, 스케일링의 회수를 제한할 수 있다. 예컨대, 설정된 회수를 좌측 제1 블록과 제2 블록에서 제3 움직임 벡터 및 제4 움직임 벡터를 검색하는데 모두 사용하였다면, 상측 블록들에서 제3 움직임 벡터 및 제4 움직임 벡터에 대한 검색은 수행되지 않을 수 있다.
복호화기는 시간적 후보 예측 블록(Col 블록)에서 유도된 후보 예측 움직임 벡터를 후보 예측 움직임 리스트에 포함시킬 수 있다.
복호화기는 상술한 바와 같이, 후보 예측 움직임 리스트상에 동일한 후보 예측 움직임 벡터가 존재하는 경우에는 동일한 후보 예측 움직임 벡터들 중에서 가장 우선 순위가 높은 것을 제외한 나머지는 후보 예측 움직임 리스트에서 제거할 수 있다. 또한, 복호화기는 제로 움직임 벡터 등을 이용하여 후보 움직임 벡터의 개수를 조정할 수도 있다.
한편, 상술한 내용에서 L0, L1은 픽처 종류에 따라서 인터 예측에 사용되는 참조 픽처 리스트를 말한다.
영상 부호화, 복호화에 사용되는 픽처는 I 픽처(I picture), P 픽처(P picture), B 픽처(B picture)로 분류할 수 있다.
I 픽처는 전후의 화면과는 관계없이 그 화면 내에서 독립적으로 부호화되는 픽처로서, 시간 방향의 예측이 적용되지 않으며, 화면 내 정보만이 부호화 처리에 사용된다.
P 픽처는 하나의 참조 픽처를 이용한 단방향의 인터 예측에 의해 부호화될 수 있는 픽처다. P 픽처에서는 한 개의 참조 픽처 리스트를 필요로 하며, 이를 참조 픽처 리스트 0(reference picture list 0: L0)이라 지칭한다. L0으로부터 선택된 참조 픽처를 사용하는 인터 예측을 L0 예측이라고도 한다. L0 예측은 주로 순방향 예측에 사용된다. P 픽처에서는 인트라 예측 또는 L0 예측이 수행될 수 있다.
B 픽처는 하나 이상, 예를 들어 2 개의 참조 픽처를 이용하여 순방향, 역방향 또는 양 방향 인터 예측에 의해 부호화될 수 있는 픽처다. B 픽처는 두 개의 참조 픽처 리스트를 필요로 하며, 두 개의 참조 픽처 리스트는 각각 참조 픽처 리스트 0(reference picture list 0: L0), 참조 픽처 리스트 1(reference picture list 1: L1)이라 지칭한다. 상술한 바와 같이, L0으로부터 선택된 참조 픽처를 사용하는 인터 예측을 L0 예측이라 하며, L0 예측은 주로 순방향 예측에 사용된다. L1으로부터 선택된 참조 픽처를 사용하는 인터 예측을 L1 예측이라 하며, L1 예측은 주로 역방향 예측에 사용된다. 또한 L0과 L1으로부터 각각 선택된 두 개의 참조 픽처를 사용하는 인터 예측을 쌍 예측(bi prediction)이라고도 한다.
B 픽처에서는 인트라 예측, L0 예측, L1 예측 또는 쌍 예측(Bi prediction)이 수행될 수 있다.
이와 관련하여, B 픽처 중 L0과 L1이 동일한 픽처를 GPB(Generalized P and B) 또는 제너럴라이즈드 B 픽처(Generalized B picture)라고 한다. GPB의 경우는 순방향 예측만 허용되며, 높은 부호화 성능을 유지하면서 낮은 지연(low delay)의 부호화가 가능하다.
도 7은 P 픽쳐, B 픽쳐 및 GPB의 예측 방법을 개략적으로 설명하는 도면이다. 도 7에서, 각 픽쳐들은 POC(Picture Order Count) 순서로 도시되어 있다. POC는 픽처의 표시 순서 또는 시간 순서를 의미한다.
P 픽쳐에 대해서는 하나의 참조 픽처로부터 단방향 예측이 가능하다. 따라서, 도시된 바와 같이, 시간 순서상(POC 상) 과거 픽처로부터의 순방향 예측이 수행될 수도 있고, 미래 픽처로부터의 역방향 예측이 수행될 수도 있다. P 픽처는 단방향으로 예측 대상 블록에 대한 하나의 움직임 정보(움직임 벡터, 참조 인덱스)만을 사용할 수 있다.
B 픽처에 대해서는 최대 두 개의 움직임 정보가 사용될 수 있다. 따라서, B 픽처에 대해서 과거의 두 참조 픽처를 이용하여 순방향 예측을 수행할 수도 있고, 미래의 두 참조 픽처를 이용하여 역방향 예측을 수행할 수도 있으며, 과거의 참조 픽처와 미래의 참조 픽처를 하나씩 이용하여 쌍 예측을 수행할 수도 있다. 쌍 예측을 수행할 수 있는 B 픽처에 대해서는 L0, L1 두 개의 참조 픽쳐 리스트가 필요할 수 있다.
GPB에서는 B 픽처와 마찬가지로 예측 대상 블록에 대해 2개 이상의 움직임 정보를 사용하여 예측이 수행될 수 있다. GPB에서는 순방향 예측만이 허용될 수 있는데, 이 경우 역방향 예측에 따른 지연이 수반되지 않는다.
상기 I 픽처, P 픽처, B 픽처의 특징은 픽처 단위가 아닌 슬라이스 단위로도 정의될 수 있다. 예컨대, 슬라이스 단위에서 I 픽쳐의 특징을 갖는 I 슬라이스, P 픽쳐의 특징을 갖는 P 슬라이스, B 픽쳐의 특징을 갖는 B 슬라이스가 정의될 수 있으며, 슬라이스 단위에서 GPB는 GPB 슬라이스 또는 제너럴라이즈드 B 슬라이스(Generalized B slice)라고 할 수 있다.

한편, 상술한 AMVP 방법에서, 현재 블록에 스킵 모드가 적용되면 유도된 예측 움직임 벡터(mvp)를 사용하여 현재 블록에 대한 복호화를 수행한다. 예컨대, 인터 예측에서 스킵 모드가 적용되면, 현재 블록의 주변 참조 블록 중 가용한 특정 블록의 움직임 정보를 유도하여 현재 블록의 움직임 정보로 사용하며, 예측 블록에 대한 레지듀얼을 전송하지 않고, 예측 블록을 기반으로 현재 블록을 복호화한다.
스킵 모드에서는, 현재 블록의 참조 인덱스를 소정의 값, 예컨대 0으로 지정할 수도 있다. 하지만, 이 경우에 시간적 움직임 벡터 예측자(TMVP: Temporal Motion Vector Predictor)를 사용한다면, 효과적인 예측 결과를 얻기 어렵다.
도 8은 참조 인덱스를 특정 값으로 지정한 채 스킵 모드에서 TMVP를 사용하는 경우에 발생할 수 있는 문제를 개략적으로 설명하고 있다.
도 8에서는, 참조 인덱스를 특정한 값으로 설정하고 스킵 모드를 적용하는 예를 나타내고 있다. 도 8의 예에서, 참조 인덱스는 참조 픽처 0을 지시한다고 가정한다. 참조 인덱스가 지시하는 참조 픽처 0이 참조 인덱스 1이 지시하는 참조 픽처 1 및 현재 픽처와 비교할 때 더 밝다. 참조 픽처 0이 더 밝은 이유는 촬영 시의 플래시와 같은 조명 효과 때문일 수 있다.
현재 픽처와 참조 픽처 0은 루마(luminance) 성분의 차이가 크기 때문에, 부호화 효율을 고려한다면 참조 픽처 0보다 참조 픽처 1을 현재 픽처의 예측에 이용하는 것이 더 좋을 수 있다.
따라서, 도 8의 예에서 현재 블록의 주변 블록들은 참조 픽처 1을 지시하는 참조 인덱스를 가지고 있을 가능성이 많다. 주변 블록의 대부분이 참조 픽처 1을 지시하고 있다면, 현재 블록에 대하여 참조 픽처 0을 이용해서 스킵 모드를 적용할 때, 동일한 참조 인덱스를 가지는 후보 블록이 없어서 제로 움직임 벡터 혹은 콜 픽처(collocated picture)의 블록을 가지고 현재 블록에 대한 예측 후보 움직임 벡터(mvp)를 결정해야 할 수도 있다.
즉, 주변에 더 유사한 움직임 벡터를 가지는 블록이 있음에도, 이와는 다른 정보를 이용해서 스킵 모드를 적용해야 하는 문제가 발생할 수 있다.
따라서, 스킵 모드를 적용할 때, 참조 인덱스를 특정값으로 지정하지 않고 현재 블록 주변의 블록들이 가지는 참조 인덱스로부터 유도하는 방법을 적용할 수 있다. 예컨대, 현재 블록의 주변에 많이 분포하는 참조 인덱스를 스킵 모드에 대한 참조 인덱스로서 할당하는 방법을 이용함으로써 상기 문제를 해결할 수 있다. 다시 말하면, 현재 블록의 주변 블록들의 움직임 경향을 쫓아서, 스킵 모드에 할당할 참조 인데스를 결정할 수 있다.
이하, 본 발명에 따라서 스킵 모드의 참조 인덱스를 할당하는 것에 관한 실시예들을 도면을 참조하여 구체적으로 설명한다.
본 발명이 적용되는 시스템에서는, 상술한 바와 같이 스킵 모드에서 현재 블록에 지정되는 움직임 벡터와 참조 인덱스 중에서, 참조 인덱스를 무조건 0으로 지정하는 것이 아니라, 현재 블록의 주변에 많이 분포하고 있는 참조 인덱스를 현재 블록의 참조 인덱스로 지정한다. 즉, 현재 블록의 주변 블록들 중에서 소정의 블록이 가지는 참조 인덱스를 현재 블록의 참조 인덱스로 이용한다. 이에 관한 구체적인 방법은 아래의 실시예들과 같다.


스킵 모드의 참조 인덱스 지정 에 관한 실시예 1
본 실시예에서는 현재 블록의 주변 블록들에 대하여 가장 많이 이용되는 참조 인덱스를 현재 블록의 참조 인덱스로 이용한다.
예컨대, 도 3을 참조하면, 집합 A(310)에 속하는 블록들의 참조 인덱스들, 집합 B(320)에 속하는 블록들의 참조 인덱스들, 그리고 블록 C(330)의 참조 인덱스, 블록 E(350)의 참조 인덱스 중에서 그 수가 가장 많은 참조 인덱스를 현재 블록(300)의 참조 인덱스로 이용할 수 있다. 이때, 블록 C(330)가 가용하지 않은 경우에는 블록 D(340)의 참조 인덱스를 대신 이용할 수도 있다.
주변 블록에 가장 많이 지정된(가장 많이 이용된) 참조 인덱스가 복수 존재하면, 더 작은 값을 가지는 참조 인덱스를 현재 블록의 참조 인덱스로서 지정할 수 있다. 이때, 더 작은 값을 가지는 참조 인덱스는 더 높은 우선 순위를 가지는 참조 인덱스일 수 있다. 혹은, 더 작은 값을 가지는 참조 인덱스는 참조 픽처 리스트에서 더 낮은 인덱스를 가지는 참조 픽처를 지시하는 참조 인덱스일 수 있다.

스킵 모드의 참조 인덱스 지정에 관한 실시예 2
본 실시예에서는 현재 블록의 좌측 주변 블록들이 가지는 참조 인덱스들에 대한 미디안(median) 값과 현재 블록의 우측 주변 블록들이 가지는 참조 인덱스들에 대한 미디안 값을 유도하고, 이 두 미디언 값과 현재 블록의 코너에 위치하는 블록의 참조 인덱스에 대한 미디언 값을 현재 블록의 참조 인덱스로서 지정한다.
예컨대, 도 3을 참조하면, 집합 A(310)에 속하는 N개의 블록들의 참조 인덱스 refidxA1, …, refidxAN의 미디언 Median(refidxA1, …, refidxAN)을 refA 라고 하자. 또한, 집합 B(320)에 속하는 M개의 블록들의 참조 인덱스 refB1, …, refidxBN의 미디언 Median(refidxB1, …, refidxBM)을 refidxB 라고 하자. 또한, 블록 C(330)의 참조 인덱스를 refC라고 할 때, 현재 블록(300)의 참조 인덱스로서 Median(refA, refB, refC)를 지정할 수 있다.
이때, 실시예 1과 같이, 블록 C(330)가 이용할 수 없는 블록인 경우, 예컨대 인트라 예측 모드의 블록인 경우에는 블록 D(340)의 참조 인덱스 혹은 블록 E(350)의 참조 인덱스를 블록 C(330)의 참조 인덱스 대신 이용할 수 있다.

스킵 모드의 참조 인덱스 지정에 관한 실시예 3
본 실시예에서는 현재 블록의 상단에 있는 주변 블록들의 참조 인덱스 중에서 가장 작은 값의 참조 인덱스와 현재 블록의 좌측에 있는 주변 블록들의 참조 인덱스 중에서 가장 작은 값의 참조 인덱스를 유도하고, 두 참조 인덱스 중에서 작은 값의 참조 인덱스를 현재 블록의 참조 인덱스로 지정한다.
예컨대, 도 3을 참조하면, 집합 A(310)에 속하는 블록들의 참조 인덱스들 중에서 가장 작은 값을 가지는 참조 인덱스를 집합 A의 참조 인덱스 refA로 지정하고, 집합 B(320)에 속하는 블록들의 참조 인덱스들 중에서 가장 작은 값을 가지는 참조 인덱스를 집합 B의 참조 인덱스 refB로 지정한다. 이때, refA와 refB 중에서 더 작은 값을 가지는 참조 인덱스를 현재 블록(300)의 참조 인덱스로 지정한다.
이때, 현재 블록(300)의 코너에 있는 세 블록 참조 인덱스, 즉, 블록 C(330)의 참조 인덱스 refC, 블록 D(340)의 참조 인덱스 refD, 블록 E의 참조 인덱스 refE를 더 포함시켜서 refA, refB, refC, refD, refE 중 가장 작은 값을 가지는 참조 인덱스를 현재 블록(300)의 참조 인덱스로서 지정할 수도 있다.

스킵 모드의 참조 인덱스 지정에 관한 실시예 4
본 실시예에서는 부호화기가 슬라이스 레벨 혹은 픽처 레벨의 파라미터 셋을 통해서, 스킵 모드가 적용되는 현재 블록에 사용할 참조 인덱스(참조 픽처 인덱스)를 전송한다. 이때, 현재 블록은 부호화 유닛일 수도 있고, 예측 유닛일 수도 있다.
부호화기가 슬라이스 레벨 혹은 픽처 레벨로 전송하는 참조 인덱스에 관한 정보는참조 인덱스의 값 자체일 수 있다.
한편, 본 발명에서는 현재 블록의 주변에 많이 분포하는 참조 인덱스를 스킵 모드에 대한 참조 인덱스로서 할당하므로, 부호화기로부터 전송되는 참조 인덱스는 현재 블록의 주변에 위치하는 블록의 참조 인덱스일 수 있다. 따라서, 부호화기는 참조 인덱스의 값을 직접 전송하지 않고, 해당 참조 인덱스를 가지는 주변 블록을 지시하는 정보를 전송하는 방식으로 참조 인덱스에 관한 정보를 전송할 수도 있다. 이 경우에, 부호화기가 지정한 블록의 움직임 벡터까지 현재 블록과 동일하다면, 현재 블록에 대하여 부호화기가 지정한 블록의 움직임 정보를 그대로 사용하여 스킵 모드를 적용하도록 할 수도 있다. 설명의 편의를 위해, 이를 주변 블록에 머지하여 스킵 모드를 적용하는 방식이라고도 할 수 있다.
복호화기는 스킵 모드가 적용되는 블록들에 대하여, 참조 인덱스로서 부호화기로부터 전송된 참조 인덱스를 지정한다. 스킵 모드에 대한 참조 인덱스는 슬라이스 레벨 또는 픽처 레벨에서 전송되므로, 동일한 슬라이스 혹은 동일한 픽처에 속하는 블록들로서 스킵 모드가 적용되는 블록들에 대해서는 동일한 참조 인덱스가 지정될 수 있다. 복호화기는 부호화기로부터 전송된 참조 인덱스와 상술한 바와 같은 AMVP 방법을 이용하여 현재 블록에 대한 예측 움직임 벡터(mvp)를 유도한다. 이때, 상술한 바와 같이, 부호화기로부터 전송되는 참조 인덱스에 관한 정보가 동일한 참조 인덱스를 가지는 주변 블록을 지시하는 방식으로 전달되는 경우에, 지시된 주변 블록의 움직임 벡터가 현재 블록의 움직임 벡터와 동일하다면, 복호화기는 지시된 블록의 움직임 정보를 그대로 사용하는 방식으로 현재 블록에 스킵 모드를 적용할 수도 있다. 즉, 주변 블록에 머지하여 스킵 모드를 적용하는 방식이 이용될 수도 있다.

스킵 모드의 참조 인덱스 지정에 관한 실시예 5
본 실시예에서는 부호화기가 스킵 모드가 적용되는 현재 블록이 사용할 참조 인덱스를 블록 단위로 전송한다. 이때, 참조 인덱스가 전송되는 블록 단위는 부호화 유닛일 수도 있고, 예측 유닛일 수도 있다.
부호화기가 슬라이스 레벨 혹은 픽처 레벨로 전송하는 참조 인덱스에 관한 정보는참조 인덱스의 값 자체일 수 있다.
한편, 본 발명에서는 현재 블록의 주변에 많이 분포하는 참조 인덱스를 스킵 모드에 대한 참조 인덱스로서 할당하므로, 부호화기로부터 전송되는 참조 인덱스는 현재 블록의 주변에 위치하는 블록의 참조 인덱스일 수 있다. 따라서, 부호화기는 참조 인덱스의 값을 직접 전송하지 않고, 해당 참조 인덱스를 가지는 주변 블록을 지시하는 정보를 전송하는 방식으로 참조 인덱스에 관한 정보를 전송할 수도 있다. 이 경우에, 부호화기가 지정한 블록의 움직임 벡터까지 현재 블록과 동일하다면, 현재 블록에 대하여 부호화기가 지정한 블록의 움직임 정보를 그대로 사용하여 스킵 모드를 적용하도록 할 수도 있다. 설명의 편의를 위해, 이를 주변 블록에 머지하여 스킵 모드를 적용하는 방식이라고도 할 수 있다.
복호화기는 스킵 모드를 적용할 때, 부호화기가 전송한 참조 인덱스를 현재 블록의 참조 인덱스로 이용한다. 이때, 상술한 바와 같이, 부호화기로부터 전송되는 참조 인덱스에 관한 정보가 동일한 참조 인덱스를 가지는 주변 블록을 지시하는 방식으로 전달되는 경우에, 지시된 주변 블록의 움직임 벡터가 현재 블록의 움직임 벡터와 동일하다면, 복호화기는 지시된 블록의 움직임 정보를 그대로 사용하는 방식으로 현재 블록에 스킵 모드를 적용할 수도 있다. 즉, 주변 블록에 머지하여 스킵 모드를 적용하는 방식이 이용될 수도 있다.

스킵 모드의 참조 인덱스 지정에 관한 실시예 6
본 실시예에서는 현재 블록에 적용되는 스킵 모드에 대한 참조 인덱스를 유도하기 위해 주변 블록의 참조 인덱스 중에서 작은 값을 선택하여 이용한다.
도 9는 본 발명의 본 실시예에 따라서 주변 블록의 참조 인덱스로부터 현재 블록의 참조 인덱스를 선택하는 방법을 개략적으로 설명하는 도면이다.
도 9를 참조하면, 스킵 모드가 적용될 때, 현재 블록(910)의 참조 인덱스는 블록 A(930)의 참조 인덱스와 블록 B(950)의 참조 인덱스를 고려하여 결정될 수 있다. 도 3을 참조할 때, 블록 A(930)는 집합 A(920)의 블록들 중 어느 하나일 수 있으며, 블록 B(950)는 집합 B(940)의 블록들 중 어느 하나일 수 있다.
블록 A(930)의 참조 인덱스와 블록 B(950)의 참조 인덱스는 순방향 예측을 하는 경우에 참조 픽처 리스트 L1에 대하여 -1(비가용, unavailable)의 값을 가질 수 있고, 역방향 예측을 하는 경우에 참조 픽처 리스트 L0에 대하여 -1의 값을 가질 수 있다. 또한, 블록 A(930) 또는 블록 B(950) 중에서 인트라 모드인 블록의 경우에는, 양 방향 예측에 대해서 참조 픽처 인덱스의 값이 모두 -1이 될 수 있다.
표 1은 스킵 모드의 참조 인덱스 지정에 관한 실시예 6에 따라서 지정되는 참조 픽처 인덱스를 나타낸 것이다.
<표 1>
Figure PCTKR2012000170-appb-I000001
스킵 모드에 대한 참조 인덱스는 L0 방향, L1 방향에 대하여 각각 구해지며, 유도된 참조 인덱스를 이용해서 예측이 진행된다. 기본적으로는 블록 A(930)의 참조 인덱스와 블록 B(950)의 참조 인덱스 중에서 더 작은 값의 참조 인덱스가 현재 블록의 참조 인덱스로 지정된다. 따라서, 스킵 모드의 참조 인덱스(skip_ref)는 블록 A(930)의 참조 인덱스(ref_idx_A)와 블록 B(950)의 참조 인덱스(ref_idx_B)를 이용하여 수식 2와 같이 유도될 수 있다.
<수식 2>
skip_ref_A = (ref_idx_A == -1? 0:ref_idx_A)
skip_ref_B = (ref_idx_B == -1? 0:ref_idx_B)
skip_ref = min(skip_ref_A, skip_ref_B)
다만, 블록 A(930)의 참조 인덱스와 블록 B(950)의 참조 인덱스가 모두 -1인 경우에는 현재 블록에 대한 스킵 모드의 참조 인덱스를 0으로 유도할 수도 있고, -1로 유도할 수도 있다.
스킵 모드의 참조 인덱스를 -1로 유도하면, 스킵 모드이 단방향 예측이 가능하다. 예컨대, L0 방향의 스킵 모드 참조 인덱스 skip_rel_l0의 값이 -1이고, L1 방향의 스킵 모드 참조 인덱스의 값이 0이라면, 현재 블록은 L1 방향의 스킵 모드가 적용된다.

한편, 현재 블록에 대하여 인트라 예측 모드가 머지 모드인 경우에는, 정해진 머지 후보의 움직임 정보(참조 인덱스, 움직임 벡터)를 현재 블록에 적용하는 방식으로 예측이 수행될 수 있다. 또한, 현재 블록에 대한 인트라 예측 모드가 스킵 모드인 경우에도, 상술한 바와 같이 머지 방식의 스킵이 적용될 수 있다. 이를 간략히 머지 스킵 모드라고 할 수 있다.
머지 모드 혹은 머지 스킵 모드에서는 지정된 후보 블록의 움직임 정보를 현재 블록의 움직임 정보로서 이용한다. 머지 스킵 모드에서는 머지 모드와 달리 예측 블록에 대한 레지듀얼 신호가 전송되지 않는다. 머지 모드 또는 머지 스킵 모드가 적용되는지를 지시하는 정보는 부호화기로부터 전송될 수 있다.
현재 블록에 대한 인트라 예측 모드가 머지 모드 혹은 머지 스킵 모드인 경우에, 현재 블록이 머지할 대상은 부호화기로부터 전송되는 지시자에 의해 머지 후보 리스트(mergeCandList)상에서 지시될 수 있다.
도 10은 본 발명이 적용되는 시스템에서 머지 후보들을 개략적으로 설명하는 도면이다. 도 10을 참조하면, 현재 블록(1000)에 대하여 머지 모드/머지 스킵 모드가 적용되는 경우에, 현재 블록의 움직임 정보로서 이용될 수 있는 후보들은 현재 블록의 좌하측 코너 블록인 블록 A0(1010), 현재 블록의 좌하측 블록인 A1(1020), 현재 블록의 우상측 코너 블록인 B0(1030), 현재 블록의 우상측 블록인B1(1040), 현재 블록의 좌상측 코너 블록인 B2(1050) 및 현재 블록의 동일 위치 블록인 COL(1050)들의 움직임 정보이다. 여기서, A1, B0, B1, B2 또는 COL 는 블록을 나타낼 수도 있고, 움직임 정보를 나타낼 수도 있다. 이하, 설명의 편의를 위해, 블록 자체를 나타내는 경우에는 ‘블록 N’(N = A1, B0, B1, B2 또는 COL)으로 나타내고, 움직임 정보(후보)를 나타내는 경우에는 ‘N’(N = A1, B0, B1, B2 또는 COL)으로 나타낸다.
머지 후보 리스트는 각 후보에 대한 가용 플래그의 값이 1(참)일 때, A1, B1, B0, A0, B2, COL의 순서로 인덱싱(indexing)될 수 있다. 가용 플래그의 값이 1이 아닌 후보는 머지 후보 리스트에 포함될 수 없다.
머지 후보 리스트에서 동일한 움직임 정보 및 동일한 참조 인덱스를 가지는 후보가 둘 이상 존재하는 경우에는, 동일한 움직임 정보 및 동일한 인덱스를 가지는 후보들 중에서 더 작은 오더(order)(더 높은 순위 혹은 더 낮은 인덱스)를 갖는 후보를 제외하고 나머지를 제거할 수 있다.
또한, 머지 후보 리스트에 포함될 수 있는 최대 후보의 개수는 소정의 개수로 고정될 수도 있다. 예컨대, 머지 후보 리스트에는 최대 5개의 후보만 포함되도록 할 수 있다.
머지 모드 혹은 머지 스킵 모드가 적용되는 현재 블록은 부호화기가 전송한 인덱스가 머지 후보 리스트에서 지시하는 후보에 머지하며, 해당 후보의 움직임 정보를 현재 블록의 움직임 정보로서 이용한다. 이때, 현재 블록의 움직임 정보로서 이용되는 후보 블록의 움직임 정보는 움직임 벡터, 참조 인덱스 외에도 L1/L2의 유용성을 지시하는 예측 플래그 등을 포함할 수 있다.
머지 후보로서, A0, A1, B0, B1, B2를 유도하는 방법은 각 후보의 가용성을 판단하여 수행된다.
도 10을 참조하면, 블록 A0, 블록 A1, 블록 B0, 블록 B1, 블록 B2는 각각 (xP-1, yP+nPSH), (xP-1, yP+nPSH-1), (xP+nPSW, yP-1), (xP+nPSW-1, yP-1), (xP-1, yP-1)을 커버하는 블록이다. 이때, 설명의 편의를 위해 블록들의 위치를 (xN, yN)으로 나타낼 수 있다.
이때, 공간적 머지 후보 A0, A1, B0, B1, B2에 대하여 다음과 같은 경우에 해당 후보는 가용하지 않다:
(1) A0, A1, B0, B1이 모두 가용한 경우, B2.
(2) 블록 A0, 블록 A1, 블록B0, 블록B1, 블록 B2중에서, 인트라 모드인 블록의 움직임 정보.
(3) 현재 블록의 분할 유형이 PART_2NxN, PART_2NxnU, PART_2NxnD 또는 PART_Nx2N, PART_nLx2N, PART_nRx2N이고, 분할 인덱스가 1이며, 분할 인덱스 0인 위치와 (xN, yN)을 커버하는 예측 유닛들이 동일한 움직임 정보를 가지는 경우, 블록 N의 움직임 정보.
(4) 현재 블록의 분할 유형이 PART_NxN이고, 분할 인덱스 의 0의 블록과 2의 블록에 대하여 동일한 움직임 정보가 할당되고, 분할 인덱스 1의 블록과 (xN, yN)을 커버하는 예측 유닛들이 동일한 움직임 정보를 가지는 경우, 블록 N의 움직임 정보.
(5) 현재 블록의 분할 유형이 PART_NxN이고, 분할 인덱스 0의 블록과 1의 블록에 대하여 동일한 움직임 정보가 할당되고, 분할 인덱스 2의 블록과 (xN, yN)을 커버하는 예측 유닛들이 동일한 움직임 정보를 가지는 경우, 블록 N의 움직임 정보.
공간적 머지 후보 A0, A1, B0, B1, B2 중 상기 (1) 내지 (5) 의 어느 하나에 해당하는 후보에 대해서는 가용성 플래그의 값을 0으로 설정하고, 해당 움직임 벡터의 요소값들도 0으로 설정한다.
(1) 내지 (5)의 경우 외에는 해당 후보에 대한 가용성 플래그의 값을 1로 설정하고, (xN, yN)를 커버하는 블록(예컨대, 예측 유닛)의 움직임 벡터, 참조 인덱스, 예측 플래그를 머지 후보 리스트의 mvLXN, refIdxLXN 및 predFlagLXN에 각각 지정한다.

한편, 머지 모드와 머지 스킵 모드에서 시간적 머지 후보(Col 블록)는 상술한 공간적 머지 후보와 달리 유도될 수 있다. 시간적 머지 후보의 움직임 벡터는 콜 픽처에서 현재 블록에 대응하는 블록에 대하여, 소정의 위치에서 선택될 수 있다.
예컨대, 현재 블록에 대응하는 블록의 우하측 코너에 위치하는 블록의 움직임 벡터를 시간적 머지 후보의 움직임 벡터로 선택할 수 있다.
이와 달리, 시간적 머지 후보의 참조 인덱스는 콜 픽처를 이용하지 않고, 현재 블록의 주변 블록들의 참조 인덱스를 기반으로 유도될 수 있다.
이하, 도면을 참조하여, 본 발명에 따라서 시간적 머지 후보의 참조 인덱스를 유도하는 방법을 구체적으로 설명한다.

시간적 머지 후보 의 참조 인덱스 유도에 관한 실시예 1
도 10을 참조하면, 블록 A1(1020)로부터 참조 인덱스 refIdxLXA(X는 0 또는 1)를 다음과 같이 유도될 수 있다.
샘플 위치 (xP-1, yP+nPSH-1)을 커버하는 블록 A1(1020)이 가용(available)하고, 예측 모드가 인트라 예측 모드(MODE_INTRA)가 아니라면, refIdxLXA에 refIdxLX[xP-1, yP+nPSH-1]이 할당된다. (xP-1, yP+nPSH-1)의 샘플은 루마 샘플일 수 있으며, 샘플 위치 (xP-1, yP+nPSH-1)를 커버하는 블록 A1(1020)와 현재 블록은 예측 유닛일 수 있다.
샘플 위치 (xP-1, yP+nPSH-1)을 커버하는 블록 A1(1020)이 가용(available)하지 않거나, 예측 모드가 인트라 예측 모드(MODE_INTRA)라면, refIdxLXA의 값은 -1이 할당된다.
도 10을 참조하면, B1(1040)로부터 참조 인덱스refIdxLXB(X는 0 또는 1)를 다음과 같이 유도될 수 있다.
샘플 위치 (xP+nPSW-1, yP-1)을 커버하는 블록 B1(1040)이 가용(available)하고, 예측 모드가 인트라 예측 모드(MODE_INTRA)가 아니라면, refIdxLXB에 refIdxLX[xP+nPSW-1, yP-1]이 할당된다. (xP+nPSW-1, yP-1)의 샘플은 루마 샘플일 수 있으며, 샘플 위치 (xP+nPSW-1, yP-1)를 커버하는 블록 B1(1040)와 현재 블록은 예측 유닛일 수 있다.
샘플 위치 (xP+nPSW-1, yP-1)을 커버하는 블록 B1(1040)이 가용(available)하지 않거나, 예측 모드가 인트라 예측 모드(MODE_INTRA)라면, refIdxLXB의 값은 -1이 할당된다.
도 10을 참조하면, 코너의 세 블록 A0(1010), B0(1030), B2(1050)으로부터 참조 인덱스refIdxLXC(X는 0 또는 1)를 다음과 같이 유도될 수 있다.
샘플 위치 (xP+nPSW, yP-1)을 커버하는 블록 B0(1030)이 가용(available)하고, 예측 모드가 인트라 예측 모드(MODE_INTRA)가 아니라면, refIdxLXC에 refIdxLX[xP+nPSW, yP-1]이 할당된다. (xP+nPSW, yP-1)의 샘플은 루마 샘플일 수 있으며, 샘플 위치 (xP+nPSW, yP-1)를 커버하는 블록 B0(1030)과 현재 블록은 예측 유닛일 수 있다.
블록 B0이 가용하지 않거나 예측 모드가 인트라 예측 모드인 경우에, 샘플 위치 (xP-1, yP+nPSH)을 커버하는 블록 A0(1010)이 가용(available)하고, 예측 모드가 인트라 예측 모드(MODE_INTRA)가 아니라면, refIdxLXC에 refIdxLX[xP-1, yP+nPSH]이 할당된다. (xP-1, yP+nPSH)의 샘플은 루마 샘플일 수 있으며, 샘플 위치 (xP-1, yP+nPSH)를 커버하는 블록 A0(1010)과 현재 블록은 예측 유닛일 수 있다.
블록 B0 와 A0가 가용하지 않거나 예측 모드가 인트라 예측 모드인 경우에 샘플 위치 (xP-1, yP-1)을 커버하는 블록 B2(1050)이 가용(available)하고, 예측 모드가 인트라 예측 모드(MODE_INTRA)가 아니라면, refIdxLXC에 refIdxLX[xP-1, yP-1]이 할당된다. (xP-1, yP-1)의 샘플은 루마 샘플일 수 있으며, 샘플 위치 (xP-1, yP-1)를 커버하는 블록 B2(1050)과 현재 블록은 예측 유닛일 수 있다.
블록 B0, A0 및 B2가 가용하지 않거나 예측 모드가 인트라 예측 모드인 경우에는, refIdxLXC에 -1의 값을 할당한다.
이때, 현재 블록에 대한 시간적 머지 후보의 참조 인덱스 refIdxLX는 다음과 같이 유도될 수 있다.
(1) refIdxLXA가 refIdxLXB와 같고, refIdxLXB가 refIdxLXC와 같은 경우에, refIdxLXA의 값이 -1(unavailable)이라면 refIdxLX의 값은 0이 된다. refIdxLXA가 refIdxLXB와 같고, refIdxLXB가 refIdxLXC와 같은 경우에, refIdxLXA의 값이 -1이 아니라면, refIdxLX는 refIdxLXA가 된다.
(2) (1)이 아닌 경우로서 refIdxLXA와 refIdxLXB가 같은 경우에, refIdxLXA의 값이 -1이라면, refIdxLX는 refIdxLXC가 된다. refIdxLXA와 refIdxLXB가 같은 경우에, refIdxLXA의 값이 -1이 아니라면, refIdxLX는 refIdxLXA가 된다.
(3) (1) 및 (2)가 아닌 경우로서 refIdxLXB와 refIdxLXC가 같은 경우에, refIdxLXB의 값이 -1이라면, refIdxLX는 refIdxLXA가 된다. refIdxLXB와 refIdxLXC가 같은 경우에, refIdxLXB의 값이 -1이 아니라면, refIdxLX는 refIdxLXB가 된다.
(4) (1) 내지 (3)이 아닌 경우로서refIdxLXA와 refIdxLXC가 같은 경우에, refIdxLXA의 값이 -1이라면, refIdxLX는 refIdxLXB가 된다. refIdxLXA와 refIdxLXC가 같은 경우에, refIdxLXA의 값이 -1이 아니라면, refIdxLX는 refIdxLXA가 된다.
(5) (1) 내지 (4)가 아닌 경우로서refIdxLXA의 값이 -1이면, refIdxLX는 refIdxLXB와 refIdxLXC 중 더 작은 쪽으로 지정된다. 즉, refIdxLX=min(refIdxLXB, refIdxLXC)가 된다.
(6) (1) 내지 (5)가 아닌 경우로서 refIdxLXB의 값이 -1이면, refIdxLX는 refIdxLXA와 refIdxLXC 중 더 작은 쪽으로 지정된다. 즉, refIdxLX=min(refIdxLXA, refIdxLXC)가 된다.
(7) (1) 내지 (6)이 아닌 경우로서 refIdxLXC의 값이 -1이면, refIdxLX는 refIdxLXA와 refIdxLXB 중 더 작은 쪽으로 지정된다. 즉, refIdxLX=min(refIdxLXA, refIdxLXB)가 된다.
(8) (1) 내지 (7)에 해당하지 않는 경우라면, 시간적 머지 후보의 참조 인덱스 refIdxLX는 refIdxLXA, refIdxLXB, refIdxLXC 중에서 가장 작은 값으로 지정된다. 즉, refIdxLX=min(refIdxLXA, refIdxLXB, refIdxLXC)가 된다.
결국, 본 실시예에서 시간적 머지 후보의 참조 인덱스 refIdxLX는 현재 블록의 좌측에서 선택된 참조 인덱스(refIdxLXA), 현재 블록의 상측에서 선택된 참조 인덱스(refIdxLXB), 현재 블록의 코너에서 첫 번째 가용한(available) 것으로 선택된 참조 인덱스(refIdxLXC) 중에서 가장 작은 것이라고 할 수 있다.

시간적 머지 후보 의 참조 인덱스 유도에 관한 실시예 2
본 실시예는 현재 블록에 머지 모드 혹은 머지 스킵 모드가 적용되는 경우에, 현재 블록에 대한 시간적 머지 후보의 참조 인덱스를 간단하게 유도하는 방법을 제시한다.
본 실시예에서는, 현재 블록에 대한 시간적 머지 후보의 참조 인덱스를 소정의 고정된 값으로 사용할 수 있다. 예컨대, 본 실시예에서는 시간적 머지 후보의 참조 인덱스 refIdxLX를 0으로 지정하여 사용할 수 있다.

시 간적 머지 후보 의 참 조 인덱스 유도에 관한 실시예 3
본 실시예에서는 상기 실시예 2와 달리, 시간적 머지 후보의 참조 인덱스 중 참조 픽처 리스트 L0의 참조 인덱스 refIdxL0을 0으로 고정하고, 참조 픽처 리스트 L1의 참조 인덱스 refIdxL1의 값은 1로 둔다.
따라서, 아래 수식 3과 같이 현재 블록에 대한 시간적 머지 후보의 참조 인덱스가 결정될 수 있다.
<수식 3>
refIdxL0 = 0
refIdxL1 = refIdxL0 + 1 = 1

시간적 머지 후보 의 참조 인덱스 유도에 관한 실시예 4
본 실시예에서는 현재 블록의 코너에서 얻어지는 참조 인덱스를 제외하고, 현재 블록의 좌측에서 유도된 참조 인덱스(refIdxLXA)와 현재 블록의 상측에서 유도된 참조 인덱스(refIdxLXB)만을 고려한다. 예컨대, 도 10을 참조하면, 블록 A1(1020)의 참조 인덱스와 블록 B1(1040)의 참조 인덱스 중에서 더 작은 쪽을 현재 블록에 대한 시간적 머지 후보의 참조 인덱스로 결정할 수 있다.
구체적으로 시간적 머지 후보의 참조 인덱스 refIdxLX는 아래와 같이 유도될 수 있다.
(1) refIdxLXA가 refIdxLXB와 동일한 경우에, refIdxLXA의 값이 -1(unavailable)이라면, refIdxLX의 값으로 0이 할당된다. refIdxLXA가 refIdxLXB와 동일한 경우에, refIdxLXA의 값이 -1이 아니라면, refIdxLX로 refIdxLXA 할당된다.
(2) (1)이 아닌 경우로서 refIdxLXA의 값이 -1이면, refIdxLXB가 시간적 머지 후보의 참조 인덱스 refIdxLX로 할당된다.
(3) (1)과 (2)가 아닌 경우로서, refIdxLXB의 값이 -1이면, refIdxLXA가 시간적 머지 후보의 참조 인덱스 refIdxLX로 할당된다.
(4) (1) 내지 (3)에 해당하지 않는 경우에는, refIdxLXA와 refIdxLXB 중에서 더 작은 참조 인덱스가 시간적 머지 후보의 참조 인덱스 refIdxLX로 할당된다.

시간적 머지 후보 의 참조 인덱스 유도에 관한 실시예 5
본 실시예에서는 낮은 지연(low delay)의 경우 또는 GPB를 사용하는 경우에만 상기 실시예 4와 동일한 방법을 적용하고, 그 외의 경우에는 현재 블록에 대한 시간적 머지 후보의 참조 인덱스 refIdxLX의 값으로 0을 할정한다.
구체적으로, 낮은 지연 조건(혹은 GPB 사용 조건)을 만족하지 않는 경우에, refIdxLX는 0으로 설정된다.
낮은 지연 조건(혹은 GPB) 조건을 만족하는 경우에는 실시예 4와 같이, 현재 블록의 좌측에서 유도된 참조 인덱스(refIdxLXA)와 현재 블록의 상측에서 유도된 참조 인덱스(refIdxLXB)만을 고려한다. 도 10을 참조하면, refIdxLXA는 블록 A1(1020)의 참조 인덱스이고, refIdxLXB는 블록 B1(1040)의 참조 인덱스 이다. 이 경우에,
(1) refIdxLXA가 refIdxLXB와 같고, refIdxLXA의 값이 -1(unavailable)이라면, refIdxLX의 값을 0으로 설정한다. refIdxLXA가 refIdxLXB와 같고, refIdxLXA의 값이 -1이 아니라면, refIdxLXA가 refIdxLX로 할당된다.
(2) (1)에 해당하지 않는 경우에, refIdxLXA의 값이 -1이면, refIdxLXB가 refIdxLX로 할당된다.
(3) (1) 및 (2)에 해당하지 않는 경우에, refIdxLXB의 값이 -1이면, refIdxLXA가 refIdxLX로 할당된다.
(4) (1) 내지 (3)에 해당하지 않는 경우라면, refIdxLXA와 refIdxLXB 중에서 작은 참조 인덱스가 현재 블록에 대한 시간적 머지 후보의 참조 인덱스 refIdxLX로 할당된다.

시간적 머지 후보 의 참조 인덱스 유도에 관한 실시예 6
본 실시예에서는 현재 블록에 대한 시간적 머지 후보의 참조 인덱스로서, 현재 블록의 좌측에서 유도되는 참조 인덱스(refIdxLXA)를 사용한다. 도 10을 참조하면, refIdxLXA는 블록 A1(1020)의 참조 인덱스이다.
만약, refIdxLXA의 값이 -1이면, 현재 블록의 상측에서 유도되는 참조 인덱스(refIdxLXB)를 시간적 머지 후보의 참조 인덱스로서 사용한다. 도 10을 참조하면, refIdxLXB는 블록 B1(1040)의 참조 인덱스이다.
refIdxLXB의 값 역시 -1인 경우에는, refIdxLX를 0으로 설정한다.
즉, (1)refIdxLXA의 값이 -1이고, refIdxLXB의 값이 -1이면, refIdxLX를 0으로 설정한다.
(2) refIdxLXA의 값이 -1이고, refIdxLXB의 값이 -1이 아니면, refIdxLX를 refIdxLXB로 설정한다.
(3) refIdxLXA의 값이 -1이 아니면, refIdxLX를 refIdxLXA로 설정한다.

도 11은 본 발명이 적용되는 시스템에서 부호화기 동작의 일 예를 개략적으로 설명하는 순서도이다.
도 11을 참조하면, 부호화기는 현재 블록에 대한 예측을 수행한다(S1110). 부호화기는 예측을 수행하기 위해 부호화 유닛에 대한 분할을 수행한다. 예측 대상인 현재 블록에 대한 예측 모드를 결정하고, 예측 모드에 따라서 예측을 수행한다.
현재 블록에 대한 예측 모드는 인트라 예측 모드일 수도 있고, 인터 예측 모드일 수도 있다. 현재 블록에 대한 예측 모드가 인터 예측인 경우에, 현재 블록에는 머지 모드, (머지) 스킵 모드, AMVP 등이 적용될 수 있다.
머지 모드 또는 (머지) 스킵 모드가 적용되는 경우에, 현재 블록의 움직임 벡터와 참조 인덱스를 주변 블록을 이용하여 결정할 수 있다.
스킵 모드가 적용되는 경우에, 참조 인덱스는 현재 블록의 주변 블록들의 움직임 정보를 고려하여 결정할 수 있다.
또한, 머지 모드 또는 (머지) 스킵 모드에서 현재 블록이 머지할 수 있는 후보로서 소정의 주변 블록을 특정하여 이용하는 경우에도, 헌재 블록의 주변 블록들의 움직임 정보를 기반으로 움직임 벡터와 참조 인덱스를 결정할 수 있다. 구체적인 방법은 상술한 바와 같다.
복호화기는 결정된 움직임 정보를 기반으로 현재 블록에 대한 예측을 수행한다.
복호화기는 예측을 수행한 정보를 엔트로피 부호화한다(S1120). 복호화기는 예측에 관한 정보와 함께 복호화에 필요한 정보도 엔트로피 부호화한다. 또한, 엔트로피 부호화하는 정보에는, 상술한 바와 같이 스킵 모드, 머지 모드 등에서 현재 블록에 대한 움직임 정보가 포함된다.
복호화기는 엔트로피 복호화한 정보를 복호화기에 시그널링한다(S1130).

도 12는 본 발명이 적용되는 시스템에서 복호화기 동작의 일 예를 개략적으로 설명하는 순서도이다.
도 12를 참조하면, 복호화기는 부호화된 정보를 수신한다(S1210). 정보는 부호화기로부터 엔트로피 부호화되어 비트스트림으로 전달될 수 있다.
복호화기는 수신한 정보를 엔트로피 복호화한다(S1220).
복호화기는 엔트로피 복호화된 정보를 기반으로 현재 블록에 대한 예측을 수행한다(S1230). 복호화기는 현재 블록의 예측 모드에 따라서 예측을 수행한다.
현재 블록의 예측 모드가 인터 예측 모드이며, 스킵 모드가 적용되는 경우에, 현재 블록에 대한 움직임 정보, 예컨대 움직임 벡터와 참조 인덱스를 유도하는 방법은 상술한 바와 같다.
복호화기는 예측 결과를 기반으로 영상을 복원한다(S1240).

상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
지금까지 본 발명에 관한 설명에서 일 구성 요소가 타 구성 요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 상기 일 다른 구성 요소가 상기 타 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 두 구성 요소 사이에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 일 구성 요소가 타 구성 요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 두 구성 요소 사이에 다른 구성요소가 존재하지 않는 것으로 이해되어야 한다.

Claims (15)

  1. 현재 블록에 대하여 인터 예측을 수행하는 단계;
    예측에 관한 정보를 엔트로피 부호화하는 단계; 및
    상기 엔트로피 부호화된 정보를 시그널링하는 단계를 포함하며,
    상기 예측 단계에서는 상기 현재 블록에 대하여 스킵 모드 또는 머지 모드를 적용하며,
    상기 현재 블록의 주변 블록들의 참조 인덱스를 기반으로 상기 현재 블록의 참조 인덱스를 결정하는 것을 특징으로 하는 영상 정보 부호화 방법.
  2. 제1항에 있어서, 상기 시그널링 단계에서는,
    현재 블록의 움직임 정보를 직접 전송하는 것을 특징으로 하는 영상 정보 부호화 방법.
  3. 제2항에 있어서, 상기 전송되는 움직임 정보는 현재 블록의 참조 인덱스인 것을 특징으로 하는 영상 정보 부호화 방법.
  4. 제2항에 있어서, 상기 움직임 정보는 슬라이스 단위, 픽처 단위, 예측 대상 블록 단위 또는 부호화 유닛 단위 중 어느 한 단위로 전송하는 것을 특징으로 하는 영상 정보 부호화 방법.
  5. 제1항에 있어서, 상기 예측 단계에서는,
    상기 현재 블록의 움직임 정보를 상기 현재 블록의 주변 블록들 중 어느 하나의 움직임 정보로 결정하고,
    상기 시그널링 단계에서는,
    상기 현재 블록의 움직임 정보의 움직임 정보가 상기 현재 블록 주변의 어느 블록의 움직임 정보인지를 지시하는 것을 특징으로 하는 영상 정보 부호화 방법.
  6. 제1항에 있어서, 상기 예측 단계에서는,
    상기 현재 블록의 참조 인덱스를 상기 현재 블록의 주변 블록들의 참조 인덱스들을 비교하여 가장 작은 참조 인덱스로 결정하는 것을 특징으로 하는 영상 정보 부호화 방법.
  7. 제6항에 있어서, 상기 참조 인덱스를 비교하는 주변 블록들은 상기 현재 블록의 주변 블록들 중에서 코너 블록들을 제외한 좌측 블록들 및 상측 블록들인 것을 특징으로 하는 영상 정보 부호화 방법.
  8. 수신한 정보를 엔트로피 복호화하는 단계;
    상기 엔트로피 복호화한 정보를 기반으로 현재 블록에 대한 인터 예측을 수행하는 단계; 및
    상기 예측 결과를 이용하여 영상을 복원하는 단계를 포함하며,
    상기 인터 예측 단계에서는,
    상기 현재 블록에 대하여 스킵 모드 또는 머지 모드를 적용하고,
    상기 현재 블록의 움직임 정보를 상기 현재 블록의 주변 블록의 움직임 정보를 기반으로 결정하는 것을 특징으로 하는 영상 정보 복호화 방법.
  9. 제8항에 있어서, 상기 수신한 정보는 상기 현재 블록의 주변 블록들 중 어느 블록의 움직임 정보를 이용할 것인지를 지시하는 지시자를 포함하며,
    상기 예측 단계에서는, 상기 지시자를 기반으로 상기 현재 블록의 움직임 정보를 결정하는 것을 특징으로 하는 영상 정보 복호화 방법.
  10. 제9항에 있어서, 상기 지시자는 상기 현재 블록의 주변 블록들 중에서 어느 블록의 참조 인덱스를 상기 현재 블록의 참조 인덱스로 이용할 것인지를 지시하는 것을 특징으로 하는 영상 정보 복호화 방법.
  11. 제9항에 있어서, 상기 참조 인덱스 지시 정보는 슬라이스 단위, 픽처 단위, 예측 대상 블록 단위 또는 부호화 유닛 단위 중 어느 하나로 시그널링되는 것을 특징으로 하는 영상 정보 복호화 방법.
  12. 제8항에 있어서, 상기 현재 블록의 시간적 머지 후보의 참조 인덱스는 상기 주변 블록들 중에서 가용한 주변 블록들을 기반으로 결정되며,
    상기 인터 예측 단계에서는 상기 가용한 주변 블록들의 참조 인덱스 중에서 가장 작은 참조 인덱스를 상기 시간적 머지 후보의 참조 인덱스로 결정하는 것을 특징으로 하는 영상 정보 복호화 방법.
  13. 제12항에 있어서, 상기 현재 블록의 주변 블록들은,
    상기 현재 블록의 좌하측 코너 블록, 좌하측 블록, 우상측 코너 블록, 우상측 블록, 좌상측 코너 블록인 것을 특징으로 하는 영상 정보 복호화 방법.
  14. 제8항에 있어서, 상기 현재 블록의 시간적 머지 후보의 참조 인덱스는 상기 현재 블록의 좌하측 코너 블록, 좌하측 블록, 우상측 코너 블록, 우상측 블록, 좌상측 코너 블록 중 좌하측 블록의 참조 인덱스로 지정하는 것을 특징으로 하는 영상 정보 복호화 방법.
  15. 제14항에 있어서, 상기 예측 단계에서는
    상기 좌하측 블록의 가용성을 판단하여, 상기 좌하측 블록이 가용하지 않은 경우에 상기 시간적 머지 후보의 참조 인덱스 값을 소정의 인덱스 값으로 지정하는 것을 특징으로 하는 영상 정보 복호화 방법.
PCT/KR2012/000170 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치 WO2012093898A2 (ko)

Priority Applications (19)

Application Number Priority Date Filing Date Title
KR1020137020392A KR101929026B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
EP12732289.9A EP2663079A4 (en) 2011-01-07 2012-01-06 PROCESS FOR CODING AND DECODING IMAGE INFORMATION AND DEVICE THEREFOR
KR1020217043135A KR102390352B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020197028512A KR102125035B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020187035669A KR102028522B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
CN201280004882.8A CN103299642B (zh) 2011-01-07 2012-01-06 编码和解码图像信息的方法和使用该方法的装置
KR1020227013265A KR102504685B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020217012098A KR102292708B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020207017206A KR102245790B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020217026106A KR102346666B1 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
EP19176192.3A EP3554079B1 (en) 2011-01-07 2012-01-06 Method for encoding video information, method of decoding video information and decoding apparatus for decoding video information
EP22200464.0A EP4135329A3 (en) 2011-01-07 2012-01-06 Method for encoding and decoding image information and device using same
US13/977,144 US9924188B2 (en) 2011-01-07 2012-01-06 Method for encoding and decoding image information to determine reference index in skip mode or merge mode and device using same
US14/692,147 US9918101B2 (en) 2011-01-07 2015-04-21 Method for encoding and decoding image information and device using same
US15/883,280 US10257535B2 (en) 2011-01-07 2018-01-30 Method for encoding and decoding image information and device using same
US16/256,533 US10715825B2 (en) 2011-01-07 2019-01-24 Method for encoding and decoding image information and device using same
US16/893,093 US11102502B2 (en) 2011-01-07 2020-06-04 Method for encoding and decoding image information and device using same
US17/377,203 US11825110B2 (en) 2011-01-07 2021-07-15 Method for encoding and decoding image information and device using same
US18/379,344 US20240048752A1 (en) 2011-01-07 2023-10-12 Method for encoding and decoding image information and device using same

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201161430545P 2011-01-07 2011-01-07
US61/430,545 2011-01-07
US201161449699P 2011-03-06 2011-03-06
US61/449,699 2011-03-06
US201161543296P 2011-10-04 2011-10-04
US61/543,296 2011-10-04

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/977,144 A-371-Of-International US9924188B2 (en) 2011-01-07 2012-01-06 Method for encoding and decoding image information to determine reference index in skip mode or merge mode and device using same
US14/692,147 Continuation US9918101B2 (en) 2011-01-07 2015-04-21 Method for encoding and decoding image information and device using same

Publications (2)

Publication Number Publication Date
WO2012093898A2 true WO2012093898A2 (ko) 2012-07-12
WO2012093898A3 WO2012093898A3 (ko) 2012-11-29

Family

ID=46457881

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/000170 WO2012093898A2 (ko) 2011-01-07 2012-01-06 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치

Country Status (10)

Country Link
US (7) US9924188B2 (ko)
EP (3) EP4135329A3 (ko)
KR (8) KR102028522B1 (ko)
CN (4) CN106101723B (ko)
ES (1) ES2930367T3 (ko)
HR (1) HRP20221363T1 (ko)
HU (1) HUE060453T2 (ko)
PL (1) PL3554079T3 (ko)
SI (1) SI3554079T1 (ko)
WO (1) WO2012093898A2 (ko)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9357229B2 (en) 2010-07-28 2016-05-31 Qualcomm Incorporated Coding motion vectors in video coding
US9066102B2 (en) * 2010-11-17 2015-06-23 Qualcomm Incorporated Reference picture list construction for generalized P/B frames in video coding
CN107197257B (zh) 2010-12-08 2020-09-08 Lg 电子株式会社 由编码装置和解码装置执行的内预测方法
US9648334B2 (en) * 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
EP3136727B1 (en) 2011-04-12 2018-06-13 Sun Patent Trust Motion-video coding method and motion-video coding apparatus
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
WO2012164880A1 (ja) 2011-05-27 2012-12-06 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および、画像符号化復号装置
PL2717579T3 (pl) 2011-05-31 2020-07-27 Sun Patent Trust Sposób dekodowania obrazu i urządzenie do dekodowania obrazu
WO2013001749A1 (ja) * 2011-06-29 2013-01-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
MY181718A (en) 2011-06-30 2021-01-05 Sun Patent Trust Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
US9456214B2 (en) 2011-08-03 2016-09-27 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
KR20130030181A (ko) * 2011-09-16 2013-03-26 한국전자통신연구원 움직임 벡터 예측기를 이용한 움직임 벡터 부호화/복호화 방법 및 장치
US9571834B2 (en) * 2011-09-22 2017-02-14 Lg Electronics Inc. Method and apparatus for signaling image information, and decoding method and apparatus using same
WO2013057877A1 (ja) 2011-10-19 2013-04-25 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、および、画像復号装置
US20130343459A1 (en) * 2012-06-22 2013-12-26 Nokia Corporation Method and apparatus for video coding
US9325990B2 (en) * 2012-07-09 2016-04-26 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions
EP2903285A4 (en) * 2012-09-28 2016-06-01 Sharp Kk IMAGE DECODING DEVICE AND IMAGE CODING DEVICE
US10904551B2 (en) * 2013-04-05 2021-01-26 Texas Instruments Incorporated Video coding using intra block copy
AU2013403224B2 (en) 2013-10-14 2018-10-18 Microsoft Technology Licensing, Llc Features of intra block copy prediction mode for video and image coding and decoding
US11109036B2 (en) 2013-10-14 2021-08-31 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
US9432685B2 (en) * 2013-12-06 2016-08-30 Qualcomm Incorporated Scalable implementation for parallel motion estimation regions
KR102353787B1 (ko) * 2014-01-03 2022-01-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
KR102311815B1 (ko) 2014-06-19 2021-10-13 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통합된 인트라 블록 카피 및 인터 예측 모드
JP2017535145A (ja) 2014-09-30 2017-11-24 マイクロソフト テクノロジー ライセンシング，エルエルシー 波面並列処理が可能にされた場合のピクチャ内予測モードに関する規則
US9992512B2 (en) * 2014-10-06 2018-06-05 Mediatek Inc. Method and apparatus for motion vector predictor derivation
WO2017048008A1 (ko) * 2015-09-17 2017-03-23 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
CN117041541A (zh) 2016-04-29 2023-11-10 世宗大学校产学协力团 用于对图像信号进行编码/解码的方法和设备
CN116708782A (zh) 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
KR102563706B1 (ko) * 2016-09-30 2023-08-03 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 인코딩 방법, 비디오 디코딩 방법, 및 단말
CN117528106A (zh) 2016-11-28 2024-02-06 英迪股份有限公司 图像编码方法、图像解码方法及用于传送比特流的方法
CN110024394B (zh) * 2016-11-28 2023-09-01 韩国电子通信研究院 对图像编码/解码的方法和设备及存储比特流的记录介质
US11172203B2 (en) * 2017-08-08 2021-11-09 Mediatek Inc. Intra merge prediction
EP3691273A4 (en) * 2017-09-26 2020-08-19 Panasonic Intellectual Property Corporation of America ENCODING DEVICE, DECODING DEVICE, ENCODING PROCESS AND DECODING PROCESS
CN118175296A (zh) 2017-09-29 2024-06-11 Lx 半导体科技有限公司 图像编码方法、图像解码方法、存储介质和发送方法
WO2019061537A1 (en) * 2017-09-30 2019-04-04 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR DERIVING CANDIDATES FROM TIME MOVEMENT DATA IN VIDEO CODING
CN109922340B (zh) 2017-12-13 2021-10-15 华为技术有限公司 图像编解码方法、装置、***及存储介质
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
WO2019177354A1 (ko) * 2018-03-14 2019-09-19 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN117640961A (zh) * 2018-03-19 2024-03-01 英迪股份有限公司 图像解码方法、图像编码方法和存储比特流的记录介质
WO2020003270A1 (en) * 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Number of motion candidates in a look up table to be checked according to mode
KR20210016054A (ko) 2018-06-30 2021-02-10 김기백 영상 부호화/복호화 방법 및 장치
US20200014931A1 (en) * 2018-07-06 2020-01-09 Mediatek Inc. Methods and Apparatuses of Generating an Average Candidate for Inter Picture Prediction in Video Coding Systems
US11019357B2 (en) * 2018-08-07 2021-05-25 Qualcomm Incorporated Motion vector predictor list generation
CN110876057B (zh) * 2018-08-29 2023-04-18 华为技术有限公司 一种帧间预测的方法及装置
WO2020055169A1 (ko) * 2018-09-11 2020-03-19 김기백 인터 예측을 이용한 영상 부호화/복호화 방법 및 장치
US10958932B2 (en) 2018-09-12 2021-03-23 Qualcomm Incorporated Inter-prediction coding of video data using generated motion vector predictor list including non-adjacent blocks
US11582480B2 (en) * 2018-09-25 2023-02-14 Digitalinsights Inc. Method and device for encoding or decoding image on basis of inter mode
WO2020067679A1 (ko) * 2018-09-29 2020-04-02 엘지전자 주식회사 머지 후보 리스트를 구성하는 방법 및 장치
CN111200735B (zh) * 2018-11-19 2023-03-17 华为技术有限公司 一种帧间预测的方法及装置
CN116708812A (zh) 2018-12-06 2023-09-05 Lg电子株式会社 基于帧间预测处理和编码视频信号的方法和数据发送方法
KR20200083316A (ko) * 2018-12-28 2020-07-08 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020138997A1 (ko) * 2018-12-28 2020-07-02 엘지전자 주식회사 화면간 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치
WO2020141910A1 (ko) * 2019-01-02 2020-07-09 엘지전자 주식회사 화면간 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치
CN111432219B (zh) * 2019-01-09 2023-06-06 华为技术有限公司 一种帧间预测方法及装置
WO2020143292A1 (zh) * 2019-01-09 2020-07-16 华为技术有限公司 一种帧间预测方法及装置
KR20210118952A (ko) 2019-03-12 2021-10-01 엘지전자 주식회사 쌍 예측을 위한 가중치 인덱스 정보를 유도하는 비디오 또는 영상 코딩
CN114258676A (zh) * 2019-06-19 2022-03-29 Lg电子株式会社 当最终无法选择当前块的预测模式时执行帧间预测的图像解码方法及其装置
MX2022000155A (es) * 2019-07-05 2022-02-21 Lg Electronics Inc Metodo de codificacion/decodificacion de imagen y dispositivo para derivar el indice de peso de la prediccion bidireccional, y metodo para transmitir un flujo de bits.

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295614B1 (en) * 2000-09-08 2007-11-13 Cisco Technology, Inc. Methods and apparatus for encoding a video signal
BR0206305A (pt) 2001-11-06 2004-07-13 Matsushita Electric Ind Co Ltd Método de codificação de imagem em movimento e método de decodificação de imagem em movimento
ES2742799T3 (es) 2002-04-19 2020-02-17 Panasonic Ip Corp America Procedimiento de cálculo de vectores de movimiento
US7433526B2 (en) 2002-04-30 2008-10-07 Hewlett-Packard Development Company, L.P. Method for compressing images and image sequences through adaptive partitioning
JP2003324742A (ja) * 2002-05-08 2003-11-14 Hitachi Ltd 画像符号化装置及び画像復号化装置
KR100865034B1 (ko) 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
KR20050026318A (ko) 2003-09-09 2005-03-15 삼성전자주식회사 인트라 스킵 모드를 포함하는 비디오 인코딩_디코딩 장치및 방법
WO2006058921A1 (en) 2004-12-03 2006-06-08 Thomson Licensing Method for scalable video coding
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
CN101449585A (zh) * 2006-03-30 2009-06-03 Lg电子株式会社 用于解码/编码视频信号的方法和装置
CN101072356B (zh) * 2006-05-12 2011-02-09 中国科学院计算技术研究所 一种运动矢量预测方法
EP2106666B1 (en) 2007-01-08 2019-06-12 Nokia Technologies Oy Improved inter-layer prediction for extended spatial scalability in video coding
CN101242530B (zh) * 2007-02-08 2011-06-01 华为技术有限公司 运动估计方法、基于运动估计的多视编解码方法及装置
US20100266042A1 (en) * 2007-03-02 2010-10-21 Han Suh Koo Method and an apparatus for decoding/encoding a video signal
CN101682769B (zh) 2007-04-12 2016-11-09 汤姆森特许公司 用于视频编码和解码的跳过-直接模式的取决于环境的合并的方法和装置
JP2009111691A (ja) * 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
EP2924994B1 (en) 2008-05-07 2016-09-21 LG Electronics, Inc. Method and apparatus for decoding video signal
WO2010041856A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for processing a video signal
KR100930744B1 (ko) * 2009-03-04 2009-12-09 엘지전자 주식회사 모션 벡터 예측 방법
KR101611437B1 (ko) * 2009-10-28 2016-04-26 삼성전자주식회사 복수의 프레임을 참조하여 영상을 부호화, 복호화하는 방법 및 장치
KR20110068792A (ko) * 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
WO2011125211A1 (ja) 2010-04-08 2011-10-13 株式会社 東芝 画像符号化方法及び画像復号化方法
US8665959B2 (en) * 2010-04-12 2014-03-04 Qualcomm Incorporated Block and partition signaling techniques for video coding
KR102595454B1 (ko) 2010-04-13 2023-10-27 지이 비디오 컴프레션, 엘엘씨 평면 간 예측
EP2924995B1 (en) 2010-07-09 2018-09-12 Samsung Electronics Co., Ltd Method for decoding video by using block merging
US9124898B2 (en) 2010-07-12 2015-09-01 Mediatek Inc. Method and apparatus of temporal motion vector prediction
US9813738B2 (en) * 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
EP3703373B1 (en) * 2010-10-08 2024-04-17 GE Video Compression, LLC Picture coding supporting block partitioning and block merging
US9137544B2 (en) * 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
TW201246943A (en) * 2011-01-26 2012-11-16 Panasonic Corp Video image encoding method, video image encoding device, video image decoding method, video image decoding device, and video image encoding and decoding device
US9066110B2 (en) * 2011-03-08 2015-06-23 Texas Instruments Incorporated Parsing friendly and error resilient merge flag coding in video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Also Published As

Publication number Publication date
US20180160137A1 (en) 2018-06-07
US10715825B2 (en) 2020-07-14
CN103299642B (zh) 2016-08-24
KR102292708B1 (ko) 2021-08-23
US20240048752A1 (en) 2024-02-08
KR102245790B1 (ko) 2021-04-28
HUE060453T2 (hu) 2023-03-28
KR20210047973A (ko) 2021-04-30
CN106060563A (zh) 2016-10-26
US20150229947A1 (en) 2015-08-13
SI3554079T1 (sl) 2023-01-31
CN106101723B (zh) 2019-06-14
ES2930367T3 (es) 2022-12-09
KR20180135092A (ko) 2018-12-19
US10257535B2 (en) 2019-04-09
KR102028522B1 (ko) 2019-10-04
EP2663079A2 (en) 2013-11-13
PL3554079T3 (pl) 2023-02-06
KR20220054711A (ko) 2022-05-03
EP3554079A1 (en) 2019-10-16
US20190158869A1 (en) 2019-05-23
KR102504685B1 (ko) 2023-02-28
US9918101B2 (en) 2018-03-13
EP4135329A3 (en) 2023-04-05
WO2012093898A3 (ko) 2012-11-29
US20210344945A1 (en) 2021-11-04
KR20220003161A (ko) 2022-01-07
KR102390352B1 (ko) 2022-04-25
CN106101723A (zh) 2016-11-09
EP4135329A2 (en) 2023-02-15
CN106231339B (zh) 2019-07-09
CN106231339A (zh) 2016-12-14
US20210006817A1 (en) 2021-01-07
KR101929026B1 (ko) 2018-12-13
HRP20221363T1 (hr) 2023-01-06
CN106060563B (zh) 2019-06-21
US20130272404A1 (en) 2013-10-17
KR20200075031A (ko) 2020-06-25
US9924188B2 (en) 2018-03-20
CN106210739A (zh) 2016-12-07
EP2663079A4 (en) 2016-04-06
US11102502B2 (en) 2021-08-24
KR20190112859A (ko) 2019-10-07
KR20140011477A (ko) 2014-01-28
KR20210104935A (ko) 2021-08-25
KR102125035B1 (ko) 2020-06-19
EP3554079B1 (en) 2022-10-19
CN103299642A (zh) 2013-09-11
US11825110B2 (en) 2023-11-21
KR102346666B1 (ko) 2022-01-03

Similar Documents

Publication Publication Date Title
KR102028522B1 (ko) 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
US10848781B2 (en) Method for storing motion information and method for inducing temporal motion vector predictor using same
JP2021052437A (ja) 動きベクトル予測子の選択方法及び動きベクトル予測子の選択方法を利用する装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12732289

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 13977144

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012732289

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20137020392

Country of ref document: KR

Kind code of ref document: A