WO2013141587A1 - Method of inter-layer prediction and apparatus using the same - Google Patents

Method of inter-layer prediction and apparatus using the same Download PDF

Info

Publication number
WO2013141587A1
WO2013141587A1 PCT/KR2013/002264 KR2013002264W WO2013141587A1 WO 2013141587 A1 WO2013141587 A1 WO 2013141587A1 KR 2013002264 W KR2013002264 W KR 2013002264W WO 2013141587 A1 WO2013141587 A1 WO 2013141587A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction mode
prediction
block
mode
layer
Prior art date
Application number
PCT/KR2013/002264
Other languages
French (fr)
Korean (ko)
Inventor
임재현
박승욱
김철근
전병문
전용준
박준영
박내리
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2013141587A1 publication Critical patent/WO2013141587A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Definitions

  • the present invention relates to video compression techniques, and more particularly, to a method and apparatus for performing scalable video coding.
  • video quality of the terminal device can be supported and the network environment is diversified, in general, video of general quality may be used in one environment, but higher quality video may be used in another environment. .
  • a consumer who purchases video content on a mobile terminal can view the same video content on a larger screen and at a higher resolution through a large display in the home.
  • the quality of the image for example, the image quality, the resolution of the image, the size of the image. It is necessary to provide scalability in the frame rate of video and the like. In addition, various image processing methods associated with such scalability should be discussed.
  • An object of the present invention is to provide an inter-layer prediction method for performing intra prediction on a current layer using intra prediction mode information of another layer, and an apparatus using the same.
  • Another object of the present invention is to provide an interlayer prediction method and an apparatus using the same, which can derive an intra prediction mode of a current layer using a plurality of intra prediction modes of another layer.
  • Another object of the present invention is to provide a signaling method and an apparatus using the same when performing intra prediction on a current layer using other layer information.
  • An embodiment of the present invention includes deriving a neighbor prediction mode from a neighboring block adjacent to a current block, deriving a reference prediction mode from a reference block on a reference layer corresponding to the current block, Deriving a candidate intra prediction mode for the current block based on a reference prediction mode.
  • the deriving of the neighboring prediction mode may further include deriving a left prediction mode and an up prediction mode, and deriving an MPM list based on the left prediction mode, the up prediction mode, and the reference prediction mode.
  • Deriving the neighboring prediction mode may include inducing three neighboring prediction modes, and may further include replacing any one of the three neighboring prediction modes with the reference prediction mode.
  • the deriving of the neighbor prediction mode may include deriving three neighbor prediction modes, and may further include deriving an MPM list including the three neighbor prediction modes and the reference prediction mode.
  • deriving the reference prediction mode may derive the reference prediction mode from a prediction mode having the lowest index among the prediction modes of the plurality of PUs, A prediction mode of a PU having a small order may be derived to the reference prediction mode.
  • the deriving of the reference prediction mode may include deriving the reference prediction mode from the most frequent prediction mode among the prediction modes of the plurality of PUs, or refer to the prediction mode of the PU occupying the widest region of the reference block. Can lead to prediction mode.
  • a prediction mode closest to an average of prediction modes of the plurality of PUs may be derived as the reference prediction mode.
  • the signal may be encoded only when the prediction mode of the current block is not derived from a candidate intra prediction mode of the MPM list.
  • intra prediction on the current layer may be performed using intra prediction mode information of another layer.
  • the intra prediction mode of the current layer may be derived by using the plurality of intra prediction modes of another layer to increase the efficiency of inter layer prediction.
  • a signaling method and an apparatus using the same when performing intra prediction on a current layer using different layer information are provided.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus supporting scalability according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating a video decoding apparatus supporting scalability according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating an example of inter-layer prediction in an encoding apparatus and a decoding apparatus that perform scalable coding according to the present invention.
  • FIG. 4 is a diagram illustrating an intra prediction mode for a luminance component.
  • FIG. 5 is a diagram illustrating a current block and neighboring blocks in which intra prediction is performed according to the present invention.
  • FIG. 6 is a diagram for describing a method of deriving a left prediction mode and an up prediction mode from a neighboring block according to the present invention.
  • FIG. 7 is a control flowchart illustrating a method of forming an MPM list when the prediction modes derived from neighboring blocks are the same according to the present invention.
  • FIG. 8 is a control flowchart illustrating a method of forming an MPM list when prediction modes derived from neighboring blocks are different according to the present invention.
  • FIG 9 illustrates a current block and a reference block according to an embodiment of the present invention.
  • FIG. 10 is a control flowchart illustrating a method of performing intra prediction using a prediction mode of a reference block according to an embodiment of the present invention.
  • FIG. 11 is a control flowchart illustrating a method of deriving two candidate intra prediction modes from a neighboring block according to FIG. 10.
  • FIG. 12 is a control flowchart illustrating a method of constructing an MPM list using a reference prediction mode of a reference block according to an embodiment of FIG. 10.
  • 13 and 14 are control flowcharts illustrating a method of performing intra prediction using a prediction mode of a reference block according to another embodiment of the present invention.
  • 15 and 16 are control flowcharts illustrating a method of performing intra prediction using a prediction mode of a reference block according to another embodiment of the present invention.
  • FIG 17 illustrates a reference block according to another embodiment of the present invention.
  • FIG. 18 is a control flowchart illustrating a signaling method of a prediction mode according to an embodiment of the present invention.
  • 19 is a control flowchart illustrating a signaling method of a prediction mode according to another embodiment of the present invention.
  • 20 is a control flowchart illustrating a signaling method of a prediction mode according to another embodiment of the present invention.
  • each of the components in the drawings described in the present invention are shown independently for the convenience of description of the different characteristic functions in the video encoding apparatus / decoding apparatus, each component is a separate hardware or separate software It does not mean that it is implemented.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • input signals may be processed for each layer.
  • the input signals may differ in at least one of resolution, frame rate, bit-depth, color format, and aspect ratio. Can be.
  • scalable coding includes scalable encoding and scalable decoding.
  • prediction between layers is performed by using differences between layers, that is, based on scalability, thereby reducing overlapping transmission / processing of information and increasing compression efficiency.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus supporting scalability according to an embodiment of the present invention.
  • the encoding apparatus 100 includes an encoder 105 for layer 1 and an encoder 135 for layer 0.
  • Layer 0 may be a base layer, a reference layer, or a lower layer
  • layer 1 may be an enhancement layer, a current layer, or an upper layer.
  • the encoding unit 105 of the layer 1 includes a prediction unit 110, a transform / quantization unit 115, a filtering unit 120, a decoded picture buffer (DPB) 125, an entropy coding unit 130, and a MUX (Multiplexer, 165).
  • the encoding unit 135 of the layer 0 includes a prediction unit 140, a transform / quantization unit 145, a filtering unit 150, a DPB 155, and an entropy coding unit 160.
  • the prediction units 110 and 140 may perform inter prediction and intra prediction on the input image.
  • the prediction units 110 and 140 may perform prediction in predetermined processing units.
  • the performing unit of prediction may be a coding unit (CU), a prediction unit (PU), or a transform unit (TU).
  • the prediction units 110 and 140 may determine whether to apply inter prediction or intra prediction in a CU unit, determine a mode of prediction in a PU unit, and perform prediction in a PU unit or a TU unit. have. Prediction performed includes generation of a prediction block and generation of a residual block (residual signal).
  • a prediction block may be generated by performing prediction based on information of at least one picture of a previous picture and / or a subsequent picture of the current picture.
  • prediction blocks may be generated by performing prediction based on pixel information in a current picture.
  • inter prediction there are a skip mode, a merge mode, a motion vector predictor (MVP) mode method, and the like.
  • a reference picture may be selected with respect to the current PU that is a prediction target, and a reference block corresponding to the current PU may be selected within the reference picture.
  • the prediction unit 110 may generate a prediction block based on the reference block.
  • the prediction block may be generated in integer sample units or may be generated in integer or less pixel units.
  • the motion vector may also be expressed in units of integer pixels or units of integer pixels or less.
  • motion information that is, information such as an index of a reference picture, a motion vector, and a residual signal
  • residuals may not be generated, transformed, quantized, or transmitted.
  • the prediction mode may have 33 directional prediction modes and at least two non-directional modes.
  • the non-directional mode may include a DC prediction mode and a planner mode (Planar mode).
  • a prediction block may be generated after applying a filter to a reference sample.
  • the PU may be a block of various sizes / types, for example, in the case of inter prediction, the PU may be a 2N ⁇ 2N block, a 2N ⁇ N block, an N ⁇ 2N block, an N ⁇ N block (N is an integer), or the like.
  • the PU In the case of intra prediction, the PU may be a 2N ⁇ 2N block or an N ⁇ N block (where N is an integer).
  • the PU of the N ⁇ N block size may be set to apply only in a specific case.
  • the NxN block size PU may be used only for the minimum size CU or only for intra prediction.
  • PUs such as N ⁇ mN blocks, mN ⁇ N blocks, 2N ⁇ mN blocks, or mN ⁇ 2N blocks (m ⁇ 1) may be further defined and used.
  • the prediction units 110 and 140 may perform prediction on the layer 1 by using the information of the layer 0.
  • a method of predicting information of a current layer using information of another layer is referred to as inter-layer prediction for convenience of description.
  • Information of the current layer that is predicted using information of another layer may include texture, motion information, unit information, predetermined parameters (eg, filtering parameters, etc.).
  • information of another layer used for prediction for the current layer may include texture, motion information, unit information, and predetermined parameters (eg, filtering parameters).
  • inter-layer motion prediction is also referred to as inter-layer inter prediction.
  • prediction of a current block of layer 1 may be performed using motion information of layer 0 (reference layer or base layer).
  • motion information of a reference layer may be scaled.
  • inter-layer texture prediction is also called inter-layer intra prediction or intra base layer (BL) prediction.
  • Inter layer texture prediction may be applied when a reference block in a reference layer is reconstructed by intra prediction.
  • the texture of the reference block in the reference layer may be used as a prediction value for the current block of the enhancement layer.
  • the texture of the reference block may be scaled by upsampling.
  • inter-layer unit parameter prediction derives unit (CU, PU, and / or TU) information of a base layer and uses it as unit information of an enhancement layer, or based on unit information of a base layer. Unit information may be determined.
  • the unit information may include information at each unit level.
  • information about a partition (CU, PU and / or TU) may include information on transform, information on prediction, and information on coding.
  • information on a PU partition and information on prediction (eg, motion information, information on a prediction mode, etc.) may be included.
  • the information about the TU may include information about a TU partition, information on transform (transform coefficient, transform method, etc.).
  • the unit information may include only the partition information of the processing unit (eg, CU, PU, TU, etc.).
  • inter-layer parameter prediction may derive a parameter used in the base layer to reuse it in the enhancement layer or predict a parameter for the enhancement layer based on the parameter used in the base layer.
  • interlayer prediction As an example of interlayer prediction, interlayer texture prediction, interlayer motion prediction, interlayer unit information prediction, and interlayer parameter prediction have been described. However, the interlayer prediction applicable to the present invention is not limited thereto.
  • the prediction unit may use inter-layer residual prediction, which predicts the residual of the current layer using residual information of another layer as inter-layer prediction, and performs prediction on the current block in the current layer based on the residual layer.
  • the prediction unit is an interlayer prediction interlayer that performs prediction on the current block in the current layer by using a difference (difference image) image between the reconstructed picture of the current layer and the resampled picture of another layer as the interlayer prediction. Differential prediction may also be performed.
  • the prediction unit may use interlayer syntax prediction, which is used to predict or generate a texture of a current block using syntax information of another layer as interlayer prediction.
  • the syntax information of the reference layer used for prediction of the current block may be information about an intra prediction mode, motion information, and the like.
  • inter-layer syntax prediction may be performed by referring to the intra prediction mode from a block to which the intra prediction mode is applied in the reference layer and referring to motion information from the block MV to which the inter prediction mode is applied.
  • the reference layer is a P slice or a B slice
  • the reference block in the slice may be a block to which an intra prediction mode is applied.
  • inter-layer prediction may be performed to generate / predict a texture for the current block by using an intra prediction mode of the reference block among syntax information of the reference layer.
  • the transform / quantization units 115 and 145 may perform transform on the residual block in transform block units to generate transform coefficients and quantize the transform coefficients.
  • the transform block is a block of samples and is a block to which the same transform is applied.
  • the transform block can be a transform unit (TU) and can have a quad tree structure.
  • the transform / quantization units 115 and 145 may generate a 2D array of transform coefficients by performing transform according to the prediction mode applied to the residual block and the size of the block. For example, if intra prediction is applied to a residual block and the block is a 4x4 residual array, the residual block is transformed using a discrete sine transform (DST), otherwise the residual block is transformed into a discrete cosine transform (DCT). Can be converted using.
  • DST discrete sine transform
  • DCT discrete cosine transform
  • the transform / quantization unit 115 and 145 may quantize the transform coefficients to generate quantized transform coefficients.
  • the transform / quantization units 115 and 145 may transfer the quantized transform coefficients to the entropy coding units 130 and 180.
  • the transform / quantization unit 145 may rearrange the two-dimensional array of quantized transform coefficients into one-dimensional arrays according to a predetermined scan order and transfer them to the entropy coding units 130 and 180.
  • the transform / quantizers 115 and 145 may transfer the reconstructed block generated based on the residual and the predictive block to the filtering units 120 and 150 for inter prediction.
  • the transform / quantization units 115 and 145 may skip transform and perform quantization only or omit both transform and quantization as necessary.
  • the transform / quantization unit 115 or 165 may omit the transform for a block having a specific prediction method or a specific size block, or a block of a specific size to which a specific prediction block is applied.
  • the entropy coding units 130 and 160 may perform entropy encoding on the quantized transform coefficients.
  • Entropy encoding may use, for example, an encoding method such as Exponential Golomb, Context-Adaptive Binary Arithmetic Coding (CABAC), or the like.
  • CABAC Context-Adaptive Binary Arithmetic Coding
  • the filtering units 120 and 150 may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) to the reconstructed picture.
  • ALF adaptive loop filter
  • SAO sample adaptive offset
  • the deblocking filter may remove distortion generated at the boundary between blocks in the reconstructed picture.
  • the adaptive loop filter may perform filtering based on a value obtained by comparing the reconstructed image with the original image after the block is filtered through the deblocking filter.
  • the SAO restores the offset difference from the original image on a pixel-by-pixel basis to the residual block to which the deblocking filter is applied, and is applied in the form of a band offset and an edge offset.
  • the filtering units 120 and 150 may apply only the deblocking filter, only the deblocking filter and the ALF, or may apply only the deblocking filter and the SAO without applying all of the deblocking filter, ALF, and SAO.
  • the DPBs 125 and 155 may receive the reconstructed block or the reconstructed picture from the filtering units 120 and 150 and store the received reconstruction picture.
  • the DPBs 125 and 155 may provide a reconstructed block or picture to the predictors 110 and 140 that perform inter prediction.
  • Information output from the entropy coding unit 160 of layer 0 and information output from the entropy coding unit 130 of layer 1 may be multiplexed by the MUX 185 and output as a bitstream.
  • the encoding unit 105 of the layer 1 has been described as including the MUX 165.
  • the MUX is separate from the encoding unit 105 of the layer 1 and the encoding unit 135 of the layer 0. It may be a device or a module of.
  • FIG. 2 is a block diagram illustrating an example of interlayer prediction in an encoding apparatus that performs scalable coding according to the present invention.
  • the decoding apparatus 200 includes a decoder 210 of layer 1 and a decoder 250 of layer 0.
  • Layer 0 may be a base layer, a reference layer, or a lower layer
  • layer 1 may be an enhancement layer, a current layer, or an upper layer.
  • the decoding unit 210 of the layer 1 includes an entropy decoding unit 215, a reordering unit 220, an inverse quantization unit 225, an inverse transform unit 230, a prediction unit 235, a filtering unit 240, and a memory. can do.
  • the decoding unit 250 of the layer 0 may include an entropy decoding unit 255, a reordering unit 260, an inverse quantization unit 265, an inverse transform unit 270, a filtering unit 280, and a memory 285. .
  • the DEMUX 205 may demultiplex the information for each layer and deliver the information to the decoding device for each layer.
  • the entropy decoding units 215 and 255 may perform entropy decoding corresponding to the entropy coding scheme used in the encoding apparatus. For example, when CABAC is used in the encoding apparatus, the entropy decoding units 215 and 255 may also perform entropy decoding using CABAC.
  • Information for generating a prediction block among the information decoded by the entropy decoding units 215 and 255 is provided to the prediction units 235 and 275, and a residual value of which entropy decoding is performed by the entropy decoding units 215 and 255. That is, the quantized transform coefficients may be input to the reordering units 220 and 260.
  • the reordering units 220 and 260 may rearrange the information of the bitstreams entropy decoded by the entropy decoding units 215 and 255, that is, the quantized transform coefficients, based on the reordering method in the encoding apparatus.
  • the reordering units 220 and 260 may rearrange the quantized transform coefficients of the one-dimensional array into the coefficients of the two-dimensional array.
  • the reordering units 220 and 260 may generate a two-dimensional array of coefficients (quantized transform coefficients) by performing scanning based on the prediction mode applied to the current block (transform block) and / or the size of the transform block.
  • the inverse quantizers 225 and 265 may generate transform coefficients by performing inverse quantization based on the quantization parameter provided by the encoding apparatus and the coefficient values of the rearranged block.
  • the inverse transform units 230 and 270 may perform inverse transform on the transform performed by the transform unit of the encoding apparatus.
  • the inverse transform units 230 and 270 may perform inverse DCT and / or inverse DST on a discrete cosine transform (DCT) and a discrete sine transform (DST) performed by an encoding apparatus.
  • DCT discrete cosine transform
  • DST discrete sine transform
  • the DCT and / or DST in the encoding apparatus may be selectively performed according to a plurality of pieces of information, such as a prediction method, a size of a current block, and a prediction direction, and the inverse transformers 230 and 270 of the decoding apparatus may perform transform information performed in the encoding apparatus. Inverse transformation may be performed based on.
  • the inverse transform units 230 and 270 may apply inverse DCT and inverse DST according to a prediction mode / block size.
  • the inverse transformers 230 and 270 may apply an inverse DST to a 4x4 luma block to which intra prediction is applied.
  • the inverse transform units 230 and 270 may fixedly use a specific inverse transform method regardless of the prediction mode / block size.
  • the inverse transform units 330 and 370 may apply only inverse DST to all transform blocks.
  • the inverse transform units 330 and 370 may apply only inverse DCT to all transform blocks.
  • the inverse transformers 230 and 270 may generate a residual or residual block by inversely transforming the transform coefficients or the block of the transform coefficients.
  • the inverse transformers 230 and 270 may also skip the transformation as needed or in accordance with the manner encoded in the encoding apparatus. For example, the inverse transforms 230 and 270 may omit the transform for a block having a specific prediction method or a specific size or a block of a specific size to which a specific prediction block is applied.
  • the prediction units 235 and 275 may perform prediction on the current block based on prediction block generation related information transmitted from the entropy decoding units 215 and 255 and previously decoded blocks and / or picture information provided by the memories 245 and 285.
  • a prediction block can be generated.
  • the prediction units 235 and 275 may perform intra prediction on the current block based on pixel information in the current picture.
  • the prediction units 235 and 275 may perform information on the current block based on information included in at least one of a previous picture or a subsequent picture of the current picture. Inter prediction may be performed. Some or all of the motion information required for inter prediction may be derived from the information received from the encoding apparatus and correspondingly.
  • the prediction block may be a reconstruction block.
  • the prediction unit 235 of layer 1 may perform inter prediction or intra prediction using only information in layer 1, or may perform inter layer prediction using information of another layer (layer 0).
  • the predictor 235 of the layer 1 may perform prediction on the current block by using one of the motion information of the layer 1, the texture information of the layer 1, the unit information of the layer 1, and the parameter information of the layer 1.
  • the prediction unit 235 of the layer 1 may perform prediction on the current block by using a plurality of pieces of information of the motion information of the layer 1, the texture information of the layer 1, the unit information of the layer 1, and the parameter information of the layer 1. have.
  • the predictor 235 of the layer 1 may receive motion information of the layer 1 from the predictor 275 of the layer 0 to perform motion prediction.
  • Inter-layer motion prediction is also called inter-layer inter prediction.
  • inter-layer motion prediction prediction of a current block of a current layer (enhanced layer) may be performed using motion information of a reference layer (base layer).
  • the prediction unit 335 may scale and use motion information of the reference layer when necessary.
  • the predictor 235 of the layer 1 may receive texture information of the layer 1 from the predictor 275 of the layer 0 to perform texture prediction.
  • Texture prediction is also called inter layer intra prediction or intra base layer (BL) prediction. Texture prediction may be applied when the reference block of the reference layer is reconstructed by intra prediction.
  • inter-layer intra prediction the texture of the reference block in the reference layer may be used as a prediction value for the current block of the enhancement layer. In this case, the texture of the reference block may be scaled by upsampling.
  • the predictor 235 of the layer 1 may receive unit parameter information of the layer 1 from the predictor 275 of the layer 0 to perform unit parameter prediction.
  • unit parameter prediction unit (CU, PU, and / or TU) information of the base layer may be used as unit information of the enhancement layer, or unit information of the enhancement layer may be determined based on unit information of the base layer.
  • the predictor 235 of the layer 1 may receive parameter information regarding the filtering of the layer 1 from the predictor 275 of the layer 0 to perform parameter prediction.
  • parameter prediction the parameters used in the base layer can be derived and reused in the enhancement layer, or the parameters for the enhancement layer can be predicted based on the parameters used in the base layer.
  • the adders 290 and 295 may generate reconstruction blocks using the prediction blocks generated by the predictors 235 and 275 and the residual blocks generated by the inverse transformers 230 and 270.
  • the adders 290 and 295 can be viewed as separate units (restore block generation unit) for generating the reconstruction block.
  • Blocks and / or pictures reconstructed by the adders 290 and 295 may be provided to the filtering units 240 and 280.
  • the filtering unit 240 of the layer 1 filters the reconstructed picture by using parameter information transmitted from the predicting unit 235 of the layer 1 and / or the filtering unit 280 of the layer 0. You can also do
  • the filtering unit 240 may apply filtering to or between layers using the parameters predicted from the parameters of the filtering applied in the layer 0.
  • the memories 245 and 285 may store the reconstructed picture or block to use as a reference picture or reference block.
  • the memories 245 and 285 may output the stored reconstructed picture through a predetermined output unit (not shown) or a display (not shown).
  • the reordering unit, the inverse quantization unit, and the inverse transform unit have been described. However, as in the encoding apparatus of FIG. It can also be configured.
  • the prediction unit of layer 1 may be different from the interlayer prediction unit that performs prediction using information of another layer (layer 0). It may also be regarded as including an inter / intra predictor for performing prediction without using the information of).
  • FIG. 3 is a block diagram illustrating an example of inter-layer prediction in an encoding apparatus and a decoding apparatus that perform scalable coding according to the present invention.
  • the predictor 300 of layer 1 includes an inter / intra predictor 340 and an interlayer predictor 350.
  • the prediction unit 300 of the layer 1 may perform interlayer prediction necessary for the prediction of the layer 1 from the information of the layer 0.
  • the interlayer prediction unit 350 may receive interlayer prediction information from the prediction unit 320 and / or the filtering unit 330 of the layer 0 to perform interlayer prediction necessary for the prediction of the layer 1.
  • the inter / intra prediction unit 340 of the layer 1 may perform inter prediction or intra prediction using the information of the layer 1 without using the information of the layer 0.
  • the inter / intra predictor 340 of the layer 1 may perform prediction based on the information of the layer 0 using the information transmitted from the interlayer predictor 350.
  • the filtering unit 310 of the layer 1 may perform the filtering based on the information of the layer 0 or may perform the filtering based on the information of the layer 1.
  • Information of the layer 0 may be transferred from the filtering unit 330 of the layer 0 to the filtering unit 310 of the layer 1, or may be transferred from the interlayer prediction unit 350 of the layer 1 to the filtering unit 310 of the layer 1. It may be.
  • the information transmitted from the layer 0 to the interlayer prediction unit 330 may be at least one of information about a unit parameter of the layer 0, motion information of the layer 0, texture information of the layer 0, and filter parameter information of the layer 0. have.
  • the texture predictor 360 may use the texture of the reference block in the reference layer as a prediction value for the current block of the enhancement layer. In this case, the texture predictor 360 may scale the texture of the reference block by upsampling.
  • the motion predictor 370 may predict the current block of layer 1 (the current layer or the enhancement layer) by using the motion information of the layer 0 (the reference layer or the base layer). In this case, the motion predictor 370 may scale the motion information of the reference layer.
  • the unit information predictor 380 derives unit (CU, PU, and / or TU) information of the base layer and uses the unit information of the enhancement layer based on the unit information of the base layer or uses the unit information of the enhancement layer based on the unit information of the base layer. You can decide.
  • unit (CU, PU, and / or TU) information of the base layer uses the unit information of the enhancement layer based on the unit information of the base layer or uses the unit information of the enhancement layer based on the unit information of the base layer. You can decide.
  • the parameter predictor 390 may derive the parameters used in the base layer to reuse them in the enhancement layer or predict the parameters for the enhancement layer based on the parameters used in the base layer.
  • interlayer prediction As an example of interlayer prediction, interlayer texture prediction, interlayer motion prediction, interlayer unit information prediction, and interlayer parameter prediction have been described. However, the interlayer prediction applicable to the present invention is not limited thereto.
  • the inter-layer prediction unit may further include a sub-prediction unit that performs inter-layer residual prediction, a sub-prediction unit that performs inter-layer syntax prediction, and / or a sub-prediction unit that performs inter-layer difference prediction.
  • the interlayer residual prediction, the interlayer differential prediction, the interlayer syntax prediction, and the like may be performed using a combination of prediction units.
  • the prediction unit 300 may correspond to the prediction unit 110 of FIG. 1, and the filtering unit 310 may include the filtering unit 120 of FIG. 1. It can correspond to.
  • the predictor 320 may correspond to the predictor 140 of FIG. 1
  • the filter 330 may correspond to the filter 150 of FIG. 1.
  • the prediction unit 300 may correspond to the prediction unit 235 of FIG. 2, and the filtering unit 310 is the filtering unit 240 of FIG. 2.
  • the predictor 320 may correspond to the predictor 275 of FIG. 2
  • the filter 330 may correspond to the filter 280 of FIG. 2.
  • inter-layer prediction for predicting information of a current layer using information of another layer may be performed.
  • the current picture of the layer 1 may perform interlayer prediction by using information of the reference picture of the layer 0.
  • Intra prediction generates a prediction block for a current block (hereinafter, referred to as a current block) to be predicted based on the reconstructed pixels in the current layer.
  • FIG. 4 is a diagram illustrating an example of an intra prediction mode.
  • a prediction mode may be largely classified into a directional mode and a non-directional mode according to the direction in which reference pixels used for pixel value prediction are located and a prediction method.
  • 4 shows intra prediction modes for 33 directional prediction modes and at least two non-directional modes.
  • the non-directional mode may include a DC mode and a planer mode.
  • DC mode a single fixed value, for example, the average value of surrounding reconstructed pixel values is used as a prediction value
  • Planer mode vertical interpolation and horizontal use are performed using vertically adjacent pixel values of the current block and horizontally adjacent pixel values.
  • Directional interpolation is performed, and their average value is used as the predicted value.
  • the directional mode is an angular mode and refers to modes indicating a corresponding direction by an angle between a reference pixel located in a predetermined direction and a current pixel, and may include a horizontal mode and a vertical mode.
  • a horizontal mode vertically adjacent pixel values of the current block are used as prediction values of the current block
  • horizontally adjacent pixel values are used as prediction values of the current block.
  • this prediction mode may be specified using a predetermined angle and mode number.
  • a prediction block may be generated after applying a filter to a reference pixel.
  • the prediction mode for the current block may be transmitted with a value indicating the mode itself, but may be derived from information about candidate intra prediction modes that may be the prediction mode of the current block.
  • the candidate intra prediction mode for the current block may be derived using the intra prediction mode of the neighboring block adjacent to the current block, and may be referred to as most probable mode (MPM).
  • MPM most probable mode
  • FIG. 5 is a diagram illustrating a current block and neighboring blocks in which intra prediction is performed according to the present invention.
  • a left peripheral block 520 positioned to the left of the current block 510 and an upper peripheral block 530 positioned above the current block 510 may be used.
  • the sizes of the neighboring blocks 520 and 530 may be the same or different.
  • the MPM is the left prediction mode, the upper prediction mode, It may consist of one prediction mode that does not overlap with the left prediction mode and the top prediction mode.
  • FIG. 6 is a diagram for describing a method of deriving a left prediction mode and an up prediction mode from neighboring blocks.
  • a process of deriving two candidate intra prediction modes from the left neighboring block 520 and the upper neighboring block 530 will be described with reference to FIG. 6.
  • the intra prediction mode of the left neighbor block 520 is derived to the left prediction mode (S602).
  • the specific prediction mode may be set.
  • the specific prediction mode may be a DC mode (S603).
  • the upper neighboring block 530 is valid, the upper neighboring block 530 is a block to which intra prediction is applied, and the upper neighboring block 530 is the current block. If the block 510 is in a coding tree block to which it belongs (S604), the intra prediction mode for the upper neighboring block 530 is derived to the upper prediction mode (S605).
  • the coding block to which the upper neighboring block 530 belongs is not valid and information about the prediction mode does not exist, the upper neighboring block 530 is not a block to which intra prediction is applied, or the upper neighboring block 530 is currently
  • the block 510 is not a block in a coding tree block to which the block 510 belongs (S604), that is, if any one of the three conditions is not satisfied, the upper prediction mode may be derived to a predetermined predetermined prediction mode ( S606).
  • the specific prediction mode may be a DC mode.
  • one additional prediction mode may be further derived to form a candidate mode list, that is, an MPM list.
  • the prediction mode for the current block is in the MPM list. Information about any one of the candidate intra modes may be decoded and encoded. On the other hand, if the prediction mode for the current block cannot be inferred from the intra prediction mode of the neighboring block, the information about the intra prediction mode for the current block may be separately encoded and decoded.
  • FIG. 7 and 8 are control flowcharts illustrating a process of forming an MPM list including three candidate intra prediction modes using the left prediction mode and the up prediction mode derived according to FIG. 6.
  • FIG. 7 illustrates a process of forming an MPM list when the left prediction mode and the up prediction mode are the same
  • FIG. 8 illustrates a process of forming an MPM list when the left prediction mode and the up prediction mode are different.
  • the candidate intra prediction mode indexed first in the MPM list is MPM [0], the second candidate intra prediction mode indexed in MPM [1], and the third candidate intra prediction mode indexed in MPM. Mark as [2].
  • the left prediction mode and the up prediction mode are the same (S701), it is determined whether the left prediction mode is the DC mode or the planar mode (S702).
  • MPM [0] is derived to planar mode
  • MPM [1] is derived to DC mode
  • MPM [2] is derived to vertical mode (S703).
  • MPM [0] is derived to the left prediction mode
  • MPM [1] and MPM [2] are the prediction modes having an angle adjacent to the left prediction mode. Can be induced.
  • MPM [1] may be 4 and MPM [2] may be 6.
  • MPM [1] may be derived as a prediction mode having an adjacent angle such as 25 and MPM [2] is 27.
  • MPM [1] is 9, MPM [2] may be derived in a prediction mode having an adjacent angle such as 11.
  • MPM [1] and MPM [2] may be derived as shown in Equation 1 (S704).
  • MPM [2] 2 + ((Left Prediction Mode -2 +1)% 32)
  • the left prediction mode is the same as the top prediction mode, and the left prediction mode is Planer mode or DC mode
  • MPM [0] is in Planar mode
  • MPM [1] is in DC mode
  • MPM [2] is in Vertical mode.
  • MPM [0] may be derived to the left prediction mode
  • MPM [1] and MPM [2] may be derived to the prediction mode having an angle adjacent to the left prediction mode.
  • MPM [2] can be derived as follows. It is determined whether the MPM [0] and the MPM [1] are in Planar mode (S803), and as a result of the determination, if both the MPM [0] and the MPM [1] are not in the Planar mode, the MPM [2] is induced to the Planar mode ( S804).
  • any one of the MPM [0] and MPM [1] is a planar mode, it is determined whether the MPM [0] and MPM [1] is a DC mode (S805).
  • MPM [2] is induced to DC mode (S806).
  • the MPM [2] may be induced in the vertical mode (S807).
  • MPM [0] and MPM [1] are derived as the left prediction mode and the up prediction mode, and the left prediction mode and the top prediction mode among the planar mode, the DC mode, and the vertical mode. And one not equal to MPM [2].
  • Table 1 schematically illustrates an example of syntax elements that may be applied when encoding and decoding an intra prediction mode of a current block. This syntax element may be applied in a prediction unit (PU) or a coding unit (CU).
  • PU prediction unit
  • CU coding unit
  • the encoding apparatus may encode a prev_intra_luma_pred_flag syntax element indicating whether the intra prediction mode for the current block can be inferred from the intra prediction mode of the neighboring neighboring block, as in the example of Table 1.
  • the encoding apparatus may determine whether the intra prediction mode of the current block 510 is one of the candidate intra prediction modes. That is, the index information of the MPP list is encoded using the mpm_idx syntax element.
  • prev_intra_luma_pred_flag 0 because the intra prediction mode of the current block 510 cannot be inferred from the intra prediction mode of the neighboring neighboring block
  • the encoding apparatus predicts the remaining prediction except the candidate intra prediction mode in the MPM list among the 35 intra prediction modes.
  • Information about the intra prediction mode for the current block 510 among the modes is encoded using the rem_intra_luma_pred_mode syntax element.
  • the decoding apparatus derives a candidate intra prediction mode for the current block 510 to generate an MPM list.
  • the decoding apparatus decodes prev_intra_luma_pred_flag received from the encoding apparatus. If prev_intra_luma_pred_flag is 1, the decoding apparatus determines that the intra prediction mode of the current block 510 may be inferred from the intra prediction mode of the adjacent neighboring block, and decodes mpm_idx. By decoding the mpm_idx, the intra prediction mode of the current block 510 may be derived to the prediction mode of any one of the MPM lists.
  • the intra prediction mode of the current block 510 may be decoded by decoding the rem_intra_luma_pred_mode syntax element. .
  • the MPM list when performing intra prediction of the current block in the current layer, the MPM list may be formed using the prediction mode information in the current layer, but the interleaving mode for deriving the prediction mode of the current block using information of another layer is performed. Layer prediction may be performed.
  • An embodiment of the present invention may generate a texture for a current block by using information about an intra prediction mode among information of a reference picture.
  • FIG. 9 is a diagram illustrating a current block and a reference block according to an embodiment of the present invention.
  • the corresponding part of the reference picture 901 corresponding to the current block 910 of the current picture 900 is shown as a reference block 911.
  • the reference block 911 may be positioned according to a resolution ratio of the current picture 900 and the reference picture 901. That is, the coordinates indicating the position of the current block 910 may correspond to specific coordinates of the reference picture 901 according to the resolution ratio.
  • This reference block 911 may include one prediction unit or may include a plurality of prediction units.
  • FIG. 10 is a control flowchart illustrating a method of performing intra prediction using a prediction mode of a reference block according to an embodiment of the present invention.
  • This embodiment derives two candidate intra prediction modes from adjacent neighboring blocks 920, 930 of the current block 910, and additionally includes three candidate intra prediction modes using the prediction mode applied to the reference block 911. Derived MPM list.
  • the prediction mode applied to the reference block 911 of the reference picture 901 is expressed as a reference prediction mode.
  • the candidate intra prediction modes derived from the neighboring blocks 920 and 930 may be expressed as the neighbor prediction mode by distinguishing the reference prediction mode from the reference prediction mode.
  • two neighboring prediction modes that is, the left prediction mode and the up prediction mode, are derived using information of the neighboring blocks 920 and 930 adjacent to the current block 910 (S1001).
  • the left prediction mode and the up prediction mode are derived from the neighboring blocks 920 and 930. If the left neighbor block 920 is valid and the left neighbor block 920 is a block to which intra prediction is applied, the prediction mode for the left neighbor block 520 is derived to the left prediction mode.
  • the upper neighbor block 930 is valid and information about the prediction mode exists, the upper neighbor block 930 is a block to which intra prediction is applied, and the upper neighbor block 930 is the same coding tree block as the current block 910 ( If the block is within the Coding Tree Block, the prediction mode for the upper neighboring block 530 is derived to the upper prediction mode.
  • the left prediction mode and the up prediction mode may be derived to a predetermined specific prediction mode.
  • Specific prediction modes may be planar mode, DC mode, and vertical mode.
  • the left prediction mode may be derived into any one of the planar mode, the DC mode, and the vertical mode, and the upper prediction mode may be derived into one of the modes different from the left prediction mode of the planar mode, the DC mode, and the vertical mode.
  • MPM [0] is derived to the left prediction mode and MPM [1] is derived to the up prediction mode (S1102).
  • the left prediction mode and the up prediction mode are the same, it is determined whether the left prediction mode is the planar mode (S1103). If the left prediction mode is not the planar mode, MPM [0] is the left prediction mode, and MPM [1 ] Is induced in the planar mode (S1104).
  • the planar mode is an exemplary mode and may be derived to another prediction mode.
  • MPM [0] may be derived to the left prediction mode and MPM [1] may be derived to the DC mode (S1105).
  • the DC mode derived to the MPM [1] is an exemplary prediction mode, and may be derived to a prediction mode other than the DC mode.
  • the present embodiment uses the neighboring blocks 920 and 930 of the current block 910 to derive the MPM [0] and the MPM [1] among the three candidate intra prediction modes.
  • the number of times the left prediction mode and the top prediction mode are configured in the MPM list is subsequently indexed in consideration of the prediction mode of the reference block. It may be.
  • the process returns to FIG. 10 again to form an MPM list including three candidate intra prediction modes using the prediction mode of the reference block 911 (S1002).
  • the prediction mode for the reference block 911 may be decoded or encoded before decoding or encoding for the current layer, and the prediction mode of the reference block 911 derived in this process may be stored in the DPB or memory.
  • the stored reference prediction mode may be used when generating the MPM list of the current block 910.
  • Table 2 shows an example of an MPM list including a reference prediction mode in intra prediction for the current block 910 according to the present invention.
  • the left prediction mode and the up prediction mode indicate the neighbor prediction modes derived from the neighboring blocks 920 and 930 of the current block 910.
  • the topmost candidate may be assigned the smallest index, and the bottommost candidate may be assigned the largest index.
  • the reference prediction mode derived from the reference block 911 may be included in any one of (a) to (c) in the MPM list of Table 1 above.
  • the reference prediction mode may be assigned to the smallest index and included in (a) order of the MPM list, or may be assigned to the largest index and included in (c) order of the MPM list. Or it may be assigned to the middle index and included in the order (b).
  • the condition having such an arbitrary index may be determined according to whether the prediction mode of the left neighboring block derived from the left neighboring block and the upper prediction mode derived from the upper neighboring block are the same. Alternatively, it may be determined according to whether the reference prediction mode is identical to the left prediction mode and the upper prediction mode.
  • step S1002 of constructing an MPM list using the reference prediction mode in detail.
  • the reference prediction mode is the same as either MPM [0] or MPM [1] (S1201)
  • MPM [0] is the left prediction mode
  • MPM [1] is the reference prediction mode
  • MPM [2] is the same.
  • One specific prediction mode such as a planar mode, a DC mode, a vertical mode, and the like may be derived (S1202).
  • MPM [2] will be derived in a mode that is not the same as the left prediction mode and the reference prediction mode.
  • MPM [2] may be derived to reference prediction mode (S1203).
  • the left prediction mode and the up prediction mode for the current block 910 are configured as MPM [0] and MPM [1] in the MPM list, and the reference prediction mode and MPM [0] and MPM [1 ],
  • the reference prediction mode is derived to MPM [1] or MPM [2] in consideration of the sameness.
  • the range of reference information that can be selected by the MPM can be widened.
  • the parsing throughput of the signal is improved by using the same number of candidate intra prediction modes as the MPM list is formed using the left prediction mode and the up prediction mode derived from the neighboring blocks 920 and 930. Can contribute.
  • the MPM may be appropriately selected from the neighboring blocks 920 and 930, such as when there is no encoded information on the prediction mode of the neighboring blocks 920 and 930 or when the neighboring blocks 920 and 930 are not predicted in the intra prediction mode. If it cannot be derived, the reference prediction mode can replace it, so that an efficient MPM candidate can be selected.
  • FIG. 13 is a control flowchart illustrating a method of performing intra prediction using a prediction mode of a reference block according to another embodiment of the present invention.
  • any one of the three candidate intra prediction modes derived from the neighboring blocks 920 and 930 is replaced with the reference prediction mode.
  • three candidate intra prediction modes are derived using the left prediction mode and the up prediction mode (S1301).
  • the process of deriving the candidate intra prediction mode according to the present embodiment is omitted because it overlaps with the method described with reference to FIGS. 6 to 8.
  • any one of the three candidate intra prediction modes is replaced with the reference prediction mode (S1302). That is, any one of the three candidate intra prediction modes is replaced with the reference prediction mode so that the reference prediction mode can be utilized when deriving the prediction mode for the current block 910.
  • FIG. 14 is a control flowchart illustrating a method of replacing a candidate intra prediction of any MPM list with a reference prediction mode according to the present embodiment.
  • the MPM list is maintained as it is (S1402).
  • the index of the candidate intra prediction mode that is the same as the reference prediction mode may be changed in the MPM list. For example, if the candidate intra prediction mode identical to the reference prediction mode was MPM [2], the reference prediction mode may be indexed as MPM [0] or MPM [1] instead of MPM [2].
  • the reference prediction mode may be replaced with any one candidate intra prediction mode constituting the MPM list (S1403).
  • the reference prediction mode may be replaced with the candidate intra prediction mode having the largest value, and may be replaced with the MPM [0] or the candidate intra prediction mode of any one of the MPM [2].
  • the reference prediction mode may include a candidate intra prediction mode derived from a prediction mode derived from the left neighboring block 920 or a specific prediction mode derived from the upper neighboring block 930 when the MPM list is derived. It may be replaced.
  • a candidate intra prediction mode derived to a specific prediction mode such as a DC mode, a planer mode, or a vertical mode, may be replaced with a reference prediction mode.
  • the candidate intra prediction mode having the largest value in the MPM list may be replaced with a mode close to the average value with the reference prediction mode. For example, if the candidate intra prediction mode having the largest value is 5 and the reference prediction mode is 3, the candidate intra prediction mode having the largest value may be replaced with four.
  • an MPM list including three candidate intra prediction modes is generated to derive the prediction mode of the current block 910. If the intra prediction mode of the current block 910 is inferred from the intra prediction mode of the neighboring neighboring block and prev_intra_luma_pred_flag is 1, the encoding apparatus may determine whether the intra prediction mode of the current block 910 is one of the candidate intra prediction modes. That is, the index information of the MPP list is encoded using the mpm_idx syntax element. At this time, the information about mpm_idx is encoded into a 2-bit signal.
  • the decoding apparatus decodes the prev_intra_luma_pred_flag signal received from the encoding apparatus.
  • prev_intra_luma_pred_flag 1
  • the decoding apparatus determines that the intra prediction mode of the current block 910 may be inferred from the intra prediction mode of the neighboring neighboring block, and decodes mpm_idx. Induce the intra prediction mode of the current block 910.
  • Information about mpm_idx to be decoded by the decoding apparatus is also a 2-bit signal.
  • 15 is a control flowchart illustrating a method of performing intra prediction using a prediction mode of a reference block according to another embodiment of the present invention.
  • three candidate intra prediction modes using information of the left neighboring block 920 and the upper neighboring block 930 are derived (S1501), and four candidates are obtained using the prediction mode of the reference block 911.
  • An MPM list including the intra prediction mode is generated (S1502).
  • Table 3 shows an MPM list including a reference prediction mode in intra prediction for the current block 910 according to an example of the present invention.
  • the first to third candidate intra prediction modes indicate three candidate intra prediction modes derived from the neighboring blocks 920 and 930 of the current block 910.
  • the topmost candidate may be assigned the smallest index, and the bottommost candidate may be assigned the largest index.
  • the reference prediction mode derived from the reference block 911 may be included in any one of (a) to (d) in the MPM list of Table 3 above.
  • the reference prediction mode may be assigned to the smallest index and included in (a) order of the MPM list, or may be assigned to the largest index and included in (d) order of the MPM list. Or it may be assigned to an intermediate index and included in the order (b) or (c).
  • the condition having such an arbitrary index may be determined according to whether the prediction mode of the left neighboring block derived from the left neighboring block and the upper prediction mode derived from the upper neighboring block are the same. Alternatively, it may be determined according to whether the reference prediction mode is identical to the left prediction mode and the upper prediction mode.
  • FIG. 16 is a control flowchart for explaining a method of deriving an MPM list having four candidate intra prediction modes including a reference prediction mode.
  • the reference prediction mode may be derived to the fourth candidate MPM, that is, MPM [3] (S1602).
  • the reference prediction mode is the same as any one of the three candidate intra prediction modes included in the MPM list, three candidate intra prediction modes derived from MPM [0], MPM [1], and MPM [2] are Planar. It is determined whether only the mode, the DC mode, and the vertical mode are configured (S1603).
  • the fourth MPM [3] May be set to a specific prediction mode other than planar mode, DC mode, and vertical mode.
  • the specific prediction mode may be induced to the virtual prediction mode, that is, the dummy mode, not the actual prediction mode (1604).
  • MPM [0] may be derived from any one of a planar mode, a DC mode, and a vertical mode that do not overlap with the candidate intra prediction mode induced by the MPM [2] (S1605).
  • an MPM list including four candidate intra prediction modes is generated to predict the prediction mode of the current block 910.
  • the encoding apparatus encodes the intra prediction mode by using the mpm_idx syntax element for information indicating which intra prediction mode of the current block 910 is the candidate intra prediction mode, that is, index information of the MPP list.
  • the information about mpm_idx is encoded into a 2-bit signal.
  • the decoding apparatus decodes prev_intra_luma_pred_flag received from the encoding apparatus. If prev_intra_luma_pred_flag is 1, the decoding apparatus determines that the intra prediction mode of the current block 910 may be inferred from the intra prediction mode of the neighboring neighboring block, and decodes mpm_idx. Information about mpm_idx to be decoded by the decoding apparatus is also a 2-bit signal.
  • the information on the mpm_idx may be a maximum 2 bit signal
  • the same number of bits as the case of using three candidate intra prediction modes may be used when signaling the mpm_idx. That is, even if the prediction mode of the current block 910 is predicted using the four candidate intra prediction modes, bit addition for signaling does not occur.
  • FIG 17 illustrates a reference block according to another embodiment of the present invention.
  • the reference block 1700 is designated according to the resolution ratio of the current picture and the reference picture.
  • the reference block 1700 corresponding to the current block may be a block including a plurality of PUs instead of one PU having one prediction mode. That is, the reference block 1700 may be an area partitioned into a plurality of PUs.
  • the prediction unit may derive the reference prediction mode of the reference block 1700 based on the prediction modes of the plurality of PUs.
  • the reference block 1700 may include a PU having the same size as shown in ⁇ a> of FIG. 17. Alternatively, as illustrated in ⁇ b> of FIG. 17, sizes of PUs included in the reference block 1700 may be different.
  • the plurality of PUs may be ordered from the left / top side to the right / bottom direction of the reference block 1700.
  • the left / top PU is PU 0 1701
  • the right / top PU is PU 1 (PU 2)
  • the left / bottom PU is PU 2 (1703)
  • the right / bottom PU is PU 3 (1704).
  • all six PUs PU0 to PU5 may be included in the reference block 1700.
  • a prediction mode having the lowest index, that is, the smallest value, among the prediction modes of the plurality of PUs may be derived to the prediction mode representing the reference block 1700.
  • the prediction mode of the PU having the lowest order among the plurality of PUs may be derived to the prediction mode representing the reference block 1700. That is, the prediction mode of the PU existing on the starting point of the reference picture that corresponds exactly to the starting point of the current block may be derived into the prediction mode of the reference block 1700, in which case PU 01701 in FIG. It can be derived to the prediction mode representing this reference block 1700.
  • the prediction mode of the PU present at the location of the reference picture corresponding to the coordinate representing the location of the current block may be derived to the prediction mode representing the reference block 1700.
  • the prediction mode of PU0 may be derived to the prediction mode representing the reference block 1700.
  • the most frequent prediction mode may be derived to the prediction mode representing the reference block 1700.
  • the prediction mode for a plurality of PUs includes a planar mode or a DC mode, it is highly likely to be derived into the reference prediction mode in the planar mode or the DC mode.
  • the prediction mode of the PU occupying the shortest region of the reference block 1700 may be It may be derived with derivation in a prediction mode representative of reference block 1700.
  • the prediction mode of PU4 of ⁇ b> will be derived to the prediction mode representing the reference block 1700.
  • an average value of prediction modes of a plurality of PUs may be calculated, and a prediction mode closest to the average value or a prediction mode corresponding to the quotient of the average value may be derived to the prediction mode representing the reference block 1700.
  • the above-described derivation method of the reference prediction mode may be derived by combining or using the methods described as exemplary.
  • the reference prediction mode of the reference block is signaled that the prediction mode of the current block is independent of the candidate intra prediction mode of the MPM list.
  • the encoding apparatus signals that the reference prediction mode of the reference block is the prediction mode of the current block, as shown.
  • Such signaling may be implemented through a flag indicating whether the reference prediction mode of the reference block is the prediction mode of the current block.
  • the encoding apparatus may encode the information about the reference prediction mode into an independent signal and transmit the encoded information to the decoding apparatus (S1802).
  • the decoding apparatus determines whether the reference prediction mode is the prediction mode of the current block through a flag indicating whether the reference prediction mode is the prediction mode of the current block, and if the flag is 1, receives the information about the reference prediction mode. To derive the prediction mode of the current block.
  • 19 is a control flowchart illustrating a signaling method of a prediction mode according to another embodiment of the present invention.
  • the encoding apparatus may encode the reference prediction mode information into an independent signal and transmit it to the decoding apparatus (S1902).
  • signaling that the reference prediction mode of the reference block is the current block prediction mode by using a flag indicating whether to select an intra prediction mode from the candidate intra prediction mode of the current layer or an intra prediction mode of the reference layer. can do.
  • the flag may be transmitted from the encoding device to the decoding device only when the prediction mode for the current block is not selected in the candidate intra prediction mode increment derived from the current picture in order to reduce the amount of transmitted signals.
  • a signal prev_intra_luma_pred_flag indicating whether the prediction mode of the current block can be inferred from the candidate intra prediction mode derived from the current picture may be signaled.
  • the encoding apparatus signals the prediction mode for the current block using mpm_idx syntax elements (S1904).
  • the encoding apparatus signals the prediction mode for the current block by using the rem_intra_luma_pred_mode syntax element (S1905).
  • the decoding apparatus receives a flag indicating whether to select the intra prediction mode from the candidate intra prediction mode of the current layer or the reference prediction mode of the reference layer, and if the flag is 1, decodes the reference prediction mode information to decode the current prediction mode. Deduce the prediction mode for the block.
  • the decoding apparatus decodes a signal indicating whether the prediction mode of the current block can be inferred from the candidate intra prediction mode derived from the current picture.
  • the decoding apparatus decodes the mpm_idx syntax element to derive the prediction mode of the current block, and the prediction mode of the current block is a candidate derived from the current picture. If it is not inferred in the intra prediction mode, the rem_intra_luma_pred_mode syntax element is decoded to derive the prediction mode of the current block.
  • 20 is a control flowchart for explaining encoding and decoding of a prediction mode according to another embodiment of the present invention.
  • the encoding apparatus first signals a flag signal indicating whether the prediction mode of the current block is inferred from the candidate intra prediction mode derived from the current picture.
  • the encoding apparatus signals the prediction mode for the current block using a syntax element such as mpm_idx (S2002).
  • the encoding apparatus may signal a flag indicating whether the prediction mode for the current block can be derived from the reference prediction mode. .
  • the encoding apparatus If the prediction mode for the current block can be derived from the reference prediction mode (S2003), the encoding apparatus signals the reference prediction mode (S2004).
  • the encoding apparatus signals the prediction mode itself using the rem_intra_luma_pred_mode syntax element (S2005).
  • the decoding apparatus receives a flag indicating whether the prediction mode of the current block can be inferred from the candidate intra prediction mode derived from the current picture. Induce.
  • the decoding apparatus receives a flag indicating whether the reference prediction mode of the reference layer is the intra prediction mode of the current block, and if the flag is 1, decodes the reference prediction mode information to derive the prediction mode for the current block. do.
  • the decoding apparatus decodes information about the prediction mode of the current block to derive the prediction mode of the current block.
  • the MPM list may be composed of one candidate intra prediction mode derived from the current picture and two reference prediction modes derived from the reference picture, or from two candidate intra prediction modes and reference pictures derived from the current picture.
  • the MPM list may be constructed with two derived reference prediction modes.
  • an array of samples reconstructed at a specific time point for example, a picture order count (POC) or an access unit (AU)
  • a 'picture for example, a picture order count (POC) or an access unit (AU)
  • the entire sample array reconstructed or reconstructed at a specific time in the decoded and output layer (current layer) may be called a picture and may be distinguished from the reconstructed or reconstructed sample array of the referenced layer.
  • the sample array reconstructed or reconstructed at a specific time point in the referenced layer may be referred to as a representation, a reference layer picture, a reference layer sample array, a reference layer texture, or the like.
  • one decoded picture reconstructed in the current layer may be output for one AU.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

The present invention relates to a method of inter-layer prediction and an apparatus using the same, which includes the steps of: deriving a surrounding prediction mode from a surrounding block adjacent to the present block; deriving a reference prediction mode from a reference block on a reference layer corresponding to the present block; and deriving a candidate of intra prediction mode for the present block based on the surrounding prediction mode and reference prediction mode. Thus, the information of the intra prediction mode of another layer may be used to carry out the intra prediction for the present layer.

Description

인터 레이어 예측 방법 및 이를 이용하는 장치Interlayer prediction method and apparatus using same
본 발명은 비디오 압축 기술에 관한 것으로서 더 구체적으로는 스케일러블 비디오 코딩을 수행하는 방법 및 장치에 관한 것이다.The present invention relates to video compression techniques, and more particularly, to a method and apparatus for performing scalable video coding.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가하고 있다. Recently, the demand for high resolution and high quality images is increasing in various applications. As an image has a high resolution and high quality, the amount of information on the image also increases.
정보량의 증가로 인해 다양한 성능의 장치와 다양한 환경의 네트워크가 등장하고 있다. 다양한 성능의 장치와 다양한 환경의 네트워크가 등장함에 따라서, 동일한 콘텐츠를 다양한 품질로 이용할 수 있게 되었다.As information volume increases, devices with various performances and networks with various environments are emerging. With the emergence of devices of varying performance and networks of different environments, the same content is available in different qualities.
구체적으로, 단말 장치가 지원할 수 있는 품질의 영상이 다양해지고, 구축된 네트워크 환경이 다양해짐으로써, 어떤 환경에서는 일반적인 품질의 영상을 이용하지만, 또 다른 환경에서는 더 높은 품질의 영상을 이용할 수 있게 된다.In detail, as the video quality of the terminal device can be supported and the network environment is diversified, in general, video of general quality may be used in one environment, but higher quality video may be used in another environment. .
예를 들어, 휴대 단말에서 비디오 콘텐츠를 구매한 소비자가 가정 내 대화면의 디스플레이를 통해 동일한 비디오 콘텐츠를 더 큰 화면과 더 높은 해상도로 감상할 수 있게 되는 것이다.For example, a consumer who purchases video content on a mobile terminal can view the same video content on a larger screen and at a higher resolution through a large display in the home.
최근에는 HD(High Definition) 해상도를 가지는 방송이 서비스되면서 많은 사용자들은 이미 고해상도, 고화질의 영상에 익숙해지고 있고, 서비스 제공자와 사용자들은 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)의 서비스에도 관심을 기울이고 있다.In recent years, broadcasts having a high definition (HD) resolution are being serviced, and many users are already accustomed to high resolution and high definition video.Ultra High Definition (UHD) has more than four times the resolution of an HDTV. I am also interested in the services of the company.
따라서, 다양한 환경에서 사용자가 요구하는 영상 서비스를 품질에 따라서 다양하게 제공하기 위해 고용량 비디오에 대한 고효율의 인코딩/디코딩 방법을 기반으로 영상의 품질, 예컨대 영상의 화질, 영상의 해상도, 영상의 크기, 비디오의 프레임 레이트 등에 스케일러빌러티를 제공하는 것이 필요하다. 또한, 이러한 스케일러빌러티에 수반되는 다양한 영상 처리 방법이 논의되어야 한다.Therefore, in order to provide various video services required by users in various environments according to the quality, based on a high-efficiency encoding / decoding method for high-capacity video, the quality of the image, for example, the image quality, the resolution of the image, the size of the image, It is necessary to provide scalability in the frame rate of video and the like. In addition, various image processing methods associated with such scalability should be discussed.
본 발명은 다른 레이어의 인트라 예측 모드 정보를 이용하여 현재 레이어에 대한 인트라 예측을 수행하는 인터 레이어 예측 방법 및 이를 이용하는 장치를 제공하는 것을 목적으로 한다.An object of the present invention is to provide an inter-layer prediction method for performing intra prediction on a current layer using intra prediction mode information of another layer, and an apparatus using the same.
또한, 본 발명은 다른 레이어의 복수의 인트라 예측 모드를 이용하여 현재 레이어의 인트라 예측 모드를 유도할 수 있는 인터 레이어 예측 방법 및 이를 이용하는 장치를 제공하는 것을 목적으로 한다.Another object of the present invention is to provide an interlayer prediction method and an apparatus using the same, which can derive an intra prediction mode of a current layer using a plurality of intra prediction modes of another layer.
또한, 본 발명은 다른 레이어 정보를 이용하여 현재 레이어에 대한 인트라 예측을 수행할 때의 시그널링 방법 및 이를 이용하는 장치를 제공하는 것을 목적으로 한다.Another object of the present invention is to provide a signaling method and an apparatus using the same when performing intra prediction on a current layer using other layer information.
본 발명의 일 실시형태는 현재 블록과 인접한 주변 블록으로부터 주변 예측 모드를 유도하는 단계와, 상기 현재 블록에 대응하는 참조 레이어 상의 참조 블록으로부터 참조 예측 모드를 유도하는 단계와, 상기 주변 예측 모드와 상기 참조 예측 모드에 기초하여 상기 현재 블록에 대한 후보 인트라 예측 모드를 유도하는 단계를 포함할 수 있다.An embodiment of the present invention includes deriving a neighbor prediction mode from a neighboring block adjacent to a current block, deriving a reference prediction mode from a reference block on a reference layer corresponding to the current block, Deriving a candidate intra prediction mode for the current block based on a reference prediction mode.
상기 주변 예측 모드를 유도하는 단계는 왼쪽 예측 모드와 위쪽 예측 모드를 유도하고, 상기 왼쪽 예측 모드, 상기 위쪽 예측 모드 및 상기 참조 예측 모드에 기초하여 MPM 리스트를 유도하는 단계를 더 포함할 수 있다.  The deriving of the neighboring prediction mode may further include deriving a left prediction mode and an up prediction mode, and deriving an MPM list based on the left prediction mode, the up prediction mode, and the reference prediction mode.
상기 주변 예측 모드를 유도하는 단계는 세 개의 주변 예측 모드를 유도하는 것을 포함하고, 상기 세 개의 주변 예측 모드 중 어느 하나를 상기 참조 예측 모드로 교체하는 단계를 더 포함할 수 있다. Deriving the neighboring prediction mode may include inducing three neighboring prediction modes, and may further include replacing any one of the three neighboring prediction modes with the reference prediction mode.
상기 주변 예측 모드를 유도하는 단계는 세 개의 주변 예측 모드를 유도하는 것을 포함하고, 상기 세 개의 주변 예측 모드와 상기 참조 예측 모드로 구성된 MPM 리스트를 유도하는 단계를 더 포함할 수 있다. The deriving of the neighbor prediction mode may include deriving three neighbor prediction modes, and may further include deriving an MPM list including the three neighbor prediction modes and the reference prediction mode.
상기 참조 블록이 복수의 PU를 포함하는 경우, 상기 참조 예측 모드를 유도하는 단계는 상기 복수의 PU의 예측 모드 중 가장 낮은 인덱스를 갖는 예측 모드를 상기 참조 예측 모드를 유도할 수도 있고, 그 중 가장 작은 순서를 갖는 PU의 예측 모드를 상기 참조 예측 모드로 유도할 수도 있다.When the reference block includes a plurality of PUs, deriving the reference prediction mode may derive the reference prediction mode from a prediction mode having the lowest index among the prediction modes of the plurality of PUs, A prediction mode of a PU having a small order may be derived to the reference prediction mode.
또는 상기 참조 예측 모드를 유도하는 단계는 상기 복수의 PU의 예측 모드 중 가장 빈도수가 높은 예측 모드를 상기 참조 예측 모드를 유도하거나 상기 참조 블록의 가장 넓은 영역을 점유하고 있는 PU의 예측 모드를 상기 참조 예측 모드로 유도 할 수 있다. Alternatively, the deriving of the reference prediction mode may include deriving the reference prediction mode from the most frequent prediction mode among the prediction modes of the plurality of PUs, or refer to the prediction mode of the PU occupying the widest region of the reference block. Can lead to prediction mode.
또는 상기 복수의 PU의 예측 모드의 평균값에 가장 인접한 예측 모드를 상기 참조 예측 모드로 유도할 수도 있다. Alternatively, a prediction mode closest to an average of prediction modes of the plurality of PUs may be derived as the reference prediction mode.
상기 주변 예측 모드로 구성된 MPM 리스트를 생성하는 단계와, 상기 현재 블록의 예측 모드를 상기 MPM 리스트의 후보 인트라 예측 모드 로부터 유도할지 상기 참조 예측 모드로부터 유도할지를 나타내는 신호를 부호화 하는 단계를 더 포함할 수도 있다. Generating an MPM list configured with the peripheral prediction mode, and encoding a signal indicating whether the prediction mode of the current block is derived from a candidate intra prediction mode or the reference prediction mode of the MPM list. have.
이 경우, 상기 신호는 상기 현재 블록의 예측 모드가 상기 MPM 리스트의 후보 인트라 예측 모드로부터 유도되지 않는 경우에만 부호화 될 수 있다. In this case, the signal may be encoded only when the prediction mode of the current block is not derived from a candidate intra prediction mode of the MPM list.
본 발명의 일 실시예에 따르면, 다른 레이어의 인트라 예측 모드 정보를 이용하여 현재 레이어에 대한 인트라 예측을 수행할 수 있다. According to an embodiment of the present invention, intra prediction on the current layer may be performed using intra prediction mode information of another layer.
또한, 본 발명의 일 실시예에 따르면 다른 레이어의 복수의 인트라 예측 모드를 이용하여 현재 레이어의 인트라 예측 모드를 유도하여 인터 레이어 예측의 효율을 높일 수 있다. In addition, according to an embodiment of the present invention, the intra prediction mode of the current layer may be derived by using the plurality of intra prediction modes of another layer to increase the efficiency of inter layer prediction.
또한, 본 발명의 다른 실시예에 따르면 다른 레이어 정보를 이용하여 현재 레이어에 대한 인트라 예측을 수행할 때의 시그널링 방법 및 이를 이용하는 장치가 제공된다.According to another embodiment of the present invention, a signaling method and an apparatus using the same when performing intra prediction on a current layer using different layer information are provided.
도 1은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 인코딩 장치를 개략적으로 도시한 블록도이다. 1 is a block diagram schematically illustrating a video encoding apparatus supporting scalability according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 디코딩 장치를 개략적으로 도시한 블록도이다.2 is a block diagram schematically illustrating a video decoding apparatus supporting scalability according to an embodiment of the present invention.
도 3은 본 발명에 따라서 스케일러블 코딩을 수행하는 인코딩 장치와 디코딩장치에서의 인터 레이어 예측에 관한 일 예를 설명하는 블록도이다.3 is a block diagram illustrating an example of inter-layer prediction in an encoding apparatus and a decoding apparatus that perform scalable coding according to the present invention.
도 4는 휘도 성분에 대한 인트라 예측 모드를 도시한 도면이다. 4 is a diagram illustrating an intra prediction mode for a luminance component.
도 5는 본 발명에 따라 인트라 예측이 수행되는 현재 블록과 주변 블록을 도시한 도면이다.5 is a diagram illustrating a current block and neighboring blocks in which intra prediction is performed according to the present invention.
도 6은 본 발명에 따라 주변 블록으로부터 왼쪽 예측 모드와 위쪽 예측 모드를 유도하는 방법을 설명하기 위한 도면이다.6 is a diagram for describing a method of deriving a left prediction mode and an up prediction mode from a neighboring block according to the present invention.
도 7은 본 발명에 따라 주변 블록으로부터 유도한 예측 모드가 동일한 경우 MPM 리스트를 형성하는 방법을 설명하기 위한 제어 흐름도이다. 7 is a control flowchart illustrating a method of forming an MPM list when the prediction modes derived from neighboring blocks are the same according to the present invention.
도 8은 본 발명에 따라 주변 블록으로부터 유도한 예측 모드가 상이한 경우 MPM 리스트를 형성하는 방법을 설명하기 위한 제어 흐름도이다.8 is a control flowchart illustrating a method of forming an MPM list when prediction modes derived from neighboring blocks are different according to the present invention.
도 9는 본 발명의 일 실시예에 따른 현재 블록과 참조 블록을 도시한 도면이다.9 illustrates a current block and a reference block according to an embodiment of the present invention.
도 10은 본 발명의 일 실시예에 따라 참조 블록의 예측 모드를 이용하여 인트라 예측을 수행하는 방법을 설명하기 위한 제어 흐름도이다. 10 is a control flowchart illustrating a method of performing intra prediction using a prediction mode of a reference block according to an embodiment of the present invention.
도 11은 도 10에 따라 주변 블록으로부터 두 개의 후보 인트라 예측 모드를 유도하는 방법을 설명하기 위한 제어 흐름도이다.FIG. 11 is a control flowchart illustrating a method of deriving two candidate intra prediction modes from a neighboring block according to FIG. 10.
도 12는 도 10의 일 실시예에 따라 참조 블록의 참조 예측 모드를 이용하여 MPM 리스트를 구성하는 방법을 설명하기 위한 제어 흐름도이다.FIG. 12 is a control flowchart illustrating a method of constructing an MPM list using a reference prediction mode of a reference block according to an embodiment of FIG. 10.
도 13 및 도 14는 본 발명의 다른 실시예에 따라 참조 블록의 예측 모드를 이용하여 인트라 예측을 수행하는 방법을 설명하기 위한 제어 흐름도이다.13 and 14 are control flowcharts illustrating a method of performing intra prediction using a prediction mode of a reference block according to another embodiment of the present invention.
도 15 및 도 16은 본 발명의 또 다른 실시예에 따라 참조 블록의 예측 모드를 이용하여 인트라 예측을 수행하는 방법을 설명하기 위한 제어 흐름도이다.15 and 16 are control flowcharts illustrating a method of performing intra prediction using a prediction mode of a reference block according to another embodiment of the present invention.
도 17은 본 발명의 또 다른 실시예에 따른 참조 블록을 도시한 도면이다. 17 illustrates a reference block according to another embodiment of the present invention.
도 18은 본 발명의 일 실시예에 따른 예측 모드의 시그널링 방법을 설명하기 위한 제어 흐름도이다. 18 is a control flowchart illustrating a signaling method of a prediction mode according to an embodiment of the present invention.
도 19는 본 발명의 다른 실시예에 따른 예측 모드의 시그널링 방법을 설명하기 위한 제어 흐름도이다.19 is a control flowchart illustrating a signaling method of a prediction mode according to another embodiment of the present invention.
도 20은 본 발명의 또 다른 실시예에 따른 예측 모드의 시그널링 방법을 설명하기 위한 제어 흐름도이다.20 is a control flowchart illustrating a signaling method of a prediction mode according to another embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.As the present invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the invention to the specific embodiments. The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the spirit of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this specification, terms such as "comprise" or "have" are intended to indicate that there is a feature, number, step, action, component, part, or combination thereof described on the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 비디오 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.On the other hand, each of the components in the drawings described in the present invention are shown independently for the convenience of description of the different characteristic functions in the video encoding apparatus / decoding apparatus, each component is a separate hardware or separate software It does not mean that it is implemented. For example, two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations. Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention. Hereinafter, the same reference numerals are used for the same components in the drawings, and redundant description of the same components is omitted.
스케일러빌러티를 지원하는 비디오 코딩 방법(이하, ‘스케일러블 코딩’이라 함)에서는 입력 신호들을 레이어 별로 처리할 수 있다. 레이어에 따라서 입력 신호(입력 영상)들은 해상도(resolution), 프레임 레이트(frame rate), 비트 뎁스(bit-depth), 컬러 포맷(color format), 애스팩트 율(aspect ratio) 중 적어도 하나가 상이할 수 있다.In a video coding method supporting scalability (hereinafter, referred to as 'scalable coding'), input signals may be processed for each layer. Depending on the layer, the input signals (input images) may differ in at least one of resolution, frame rate, bit-depth, color format, and aspect ratio. Can be.
본 명세서에서, 스케일러블 코딩이라 함은 스케일러블 인코딩과 스케일러블 디코딩을 포함한다.In the present specification, scalable coding includes scalable encoding and scalable decoding.
스케일러블 인코딩/디코딩에서는 레이어 간의 차이를 이용하여, 즉 스케일러빌러티에 기반하여, 레이어 간의 예측을 수행함으로써 정보의 중복 전송/처리를 줄이고 압축 효율을 높일 수 있다.In scalable encoding / decoding, prediction between layers is performed by using differences between layers, that is, based on scalability, thereby reducing overlapping transmission / processing of information and increasing compression efficiency.
도 1은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.  1 is a block diagram schematically illustrating a video encoding apparatus supporting scalability according to an embodiment of the present invention.
도 1을 참조하면, 인코딩 장치(100)는 레이어 1에 대한 인코딩부(105)와 레이어 0에 대한 인코딩부(135)를 포함한다. Referring to FIG. 1, the encoding apparatus 100 includes an encoder 105 for layer 1 and an encoder 135 for layer 0.
레이어 0은 베이스 레이어, 참조 레이어 혹은 하위 레이어일 수 있으며, 레이어 1은 인핸스먼트 레이어, 현재 레이어 혹은 상위 레이어일 수 있다. Layer 0 may be a base layer, a reference layer, or a lower layer, and layer 1 may be an enhancement layer, a current layer, or an upper layer.
레이어 1의 인코딩부(105)는 예측부(110), 변환/양자화부(115), 필터링부(120), DPB(Decoded Picture Buffer, 125), 엔트로피 코딩부(130), 및 MUX(Multiplexer, 165)를 포함한다.The encoding unit 105 of the layer 1 includes a prediction unit 110, a transform / quantization unit 115, a filtering unit 120, a decoded picture buffer (DPB) 125, an entropy coding unit 130, and a MUX (Multiplexer, 165).
레이어 0의 인코딩부(135)는 예측부(140), 변환/양자화부(145), 필터링부(150), DPB(155) 및 엔트로피 코딩부(160)를 포함한다.The encoding unit 135 of the layer 0 includes a prediction unit 140, a transform / quantization unit 145, a filtering unit 150, a DPB 155, and an entropy coding unit 160.
예측부(110, 140)는 입력된 영상에 대하여 인터 예측과 인트라 예측을 수행할 수 있다. 예측부(110, 140)는 소정의 처리 단위로 예측을 수행할 수 있다. 예측의 수행 단위는 코딩 유닛(Coding Unit: CU)일 수도 있고, 예측 유닛(Prediction Unit: PU)일 수도 있으며, 변환 유닛(Transform Unit: TU)일 수도 있다. The prediction units 110 and 140 may perform inter prediction and intra prediction on the input image. The prediction units 110 and 140 may perform prediction in predetermined processing units. The performing unit of prediction may be a coding unit (CU), a prediction unit (PU), or a transform unit (TU).
예컨대, 예측부(110, 140)는 CU 단위로 인터 예측을 적용할 것인지 인트라 예측을 적용할 것인지를 결정하고, PU 단위로 예측의 모드를 결정하며, PU 단위 혹은 TU 단위로 예측을 수행할 수도 있다. 수행되는 예측은 예측 블록의 생성과 레지듀얼 블록(레지듀얼 신호)의 생성을 포함한다.For example, the prediction units 110 and 140 may determine whether to apply inter prediction or intra prediction in a CU unit, determine a mode of prediction in a PU unit, and perform prediction in a PU unit or a TU unit. have. Prediction performed includes generation of a prediction block and generation of a residual block (residual signal).
인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.Through inter prediction, a prediction block may be generated by performing prediction based on information of at least one picture of a previous picture and / or a subsequent picture of the current picture. Through intra prediction, prediction blocks may be generated by performing prediction based on pixel information in a current picture.
인터 예측의 모드 또는 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predictor) 모드 방법 등이 있다. 인터 예측에서는 예측 대상인 현재 PU에 대하여 참조 픽처를 선택하고, 참조 픽처 내에서 현재 PU에 대응하는 참조 블록을 선택할 수 있다. 예측부(110)는 참조 블록을 기반으로 예측 블록을 생성할 수 있다.As a mode or method of inter prediction, there are a skip mode, a merge mode, a motion vector predictor (MVP) mode method, and the like. In inter prediction, a reference picture may be selected with respect to the current PU that is a prediction target, and a reference block corresponding to the current PU may be selected within the reference picture. The prediction unit 110 may generate a prediction block based on the reference block.
예측 블록은 정수 샘플 단위로 생성될 수도 있고, 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 단위 혹은 정수 픽셀 이하의 단위로 표현될 수 있다.The prediction block may be generated in integer sample units or may be generated in integer or less pixel units. In this case, the motion vector may also be expressed in units of integer pixels or units of integer pixels or less.
인터 예측에 있어서 움직임 정보 즉, 참조 픽처의 인덱스, 움직임 벡터, 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다. 스킵 모드가 적용되는 경우에는 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.In inter prediction, motion information, that is, information such as an index of a reference picture, a motion vector, and a residual signal, is entropy encoded and transmitted to a decoding apparatus. When the skip mode is applied, residuals may not be generated, transformed, quantized, or transmitted.
인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 두 개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다. 인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수도 있다.In intra prediction, the prediction mode may have 33 directional prediction modes and at least two non-directional modes. The non-directional mode may include a DC prediction mode and a planner mode (Planar mode). In intra prediction, a prediction block may be generated after applying a filter to a reference sample.
PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N 블록, 2N×N 블록, N×2N 블록, 또는 N×N 블록 (N은 정수) 등일 수 있다. 인트라 예측의 경우에 PU는 2N×2N 블록 또는 N×N 블록 (N은 정수) 등일 수 있다. 이때, N×N 블록 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN 블록, mN×N 블록, 2N×mN 블록 또는 mN×2N 블록 (m<1) 등의 PU를 더 정의하여 사용할 수도 있다.The PU may be a block of various sizes / types, for example, in the case of inter prediction, the PU may be a 2N × 2N block, a 2N × N block, an N × 2N block, an N × N block (N is an integer), or the like. In the case of intra prediction, the PU may be a 2N × 2N block or an N × N block (where N is an integer). In this case, the PU of the N × N block size may be set to apply only in a specific case. For example, the NxN block size PU may be used only for the minimum size CU or only for intra prediction. In addition to the above-described PUs, PUs such as N × mN blocks, mN × N blocks, 2N × mN blocks, or mN × 2N blocks (m <1) may be further defined and used.
또한, 예측부(110, 140)는 레이어 0의 정보를 이용하여 레이어 1에 대한 예측을 수행할 수 있다. 본 명세서에서는 다른 레이어의 정보를 이용하여 현재 레이어의 정보를 예측하는 방법을, 설명의 편의를 위해, 인터 레이어 예측이라고 한다.In addition, the prediction units 110 and 140 may perform prediction on the layer 1 by using the information of the layer 0. In the present specification, a method of predicting information of a current layer using information of another layer is referred to as inter-layer prediction for convenience of description.
다른 레이어의 정보를 이용하여 예측되는 (즉, 인터 레이어 예측에 의해 예측되는) 현재 레이어의 정보로는 텍스처, 움직임 정보, 유닛 정보, 소정의 파라미터(예컨대, 필터링 파라미터 등) 등이 있을 수 있다.Information of the current layer that is predicted using information of another layer (ie, predicted by inter-layer prediction) may include texture, motion information, unit information, predetermined parameters (eg, filtering parameters, etc.).
또한, 현재 레이어에 대한 예측에 이용되는 (즉, 인터 레이어 예측에 이용되는) 다른 레이어의 정보로는 텍스처, 움직임 정보, 유닛 정보, 소정의 파라미터(예컨대, 필터링 파라미터 등)이 있을 수 있다.In addition, information of another layer used for prediction for the current layer (ie, used for inter-layer prediction) may include texture, motion information, unit information, and predetermined parameters (eg, filtering parameters).
인터 레이어 예측의 일 예로서, 인터 레이어 움직임 예측은 인터 레이어 인터 예측이라고도 한다. 인터 레이어 인터 예측에 의하면, 레이어 0 (참조 레이어 혹은 베이스 레이어)의 움직임 정보를 이용하여 레이어 1 (현재 레이어 혹은 인핸스먼트 레이어)의 현재 블록에 대한 예측을 수행할 수 있다.As an example of inter-layer prediction, inter-layer motion prediction is also referred to as inter-layer inter prediction. According to inter-layer inter prediction, prediction of a current block of layer 1 (current layer or enhancement layer) may be performed using motion information of layer 0 (reference layer or base layer).
인터 레이어 인터 예측을 적용하는 경우에는, 참조 레이어의 움직임 정보를 스케일링 할 수도 있다. In case of applying inter-layer inter prediction, motion information of a reference layer may be scaled.
인터 레이어 예측의 또 다른 예로서 인터 레이어 텍스쳐 예측은 인터 레이어 인트라 예측 혹은 인트라 BL(Base Layer) 예측이라고도 불린다. 인터 레이어 텍스처 예측은 참조 레이어 내 참조 블록이 인트라 예측에 의해 복원된 경우에 적용될 수 있다.As another example of inter-layer prediction, inter-layer texture prediction is also called inter-layer intra prediction or intra base layer (BL) prediction. Inter layer texture prediction may be applied when a reference block in a reference layer is reconstructed by intra prediction.
인터 레이어 인트라 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.In inter-layer intra prediction, the texture of the reference block in the reference layer may be used as a prediction value for the current block of the enhancement layer. In this case, the texture of the reference block may be scaled by upsampling.
인터 레이어 예측의 다른 예인 인터 레이어 유닛 파라미터 예측에서는 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보를 유도하여 인핸스먼트 레이어의 유닛 정보로 사용하거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보를 결정할 수 있다.In another example of inter-layer prediction, inter-layer unit parameter prediction derives unit (CU, PU, and / or TU) information of a base layer and uses it as unit information of an enhancement layer, or based on unit information of a base layer. Unit information may be determined.
또한, 유닛 정보는 각 유닛 레벨에서의 정보를 포함할 수 있다. 예컨대, CU 정보의 경우, 파티션(CU, PU 및 또는 TU)에 관한 정보, 변환에 관한 정보, 예측에 대한 정보, 코딩에 대한 정보를 포함할 수 있다. PU 정보의 경우, PU 파티션에 관한 정보, 예측에 관한 정보(예컨대, 움직임 정보, 예측 모드에 관한 정보 등) 등을 포함할 수 있다. TU에 관한 정보는 TU 파티션에 관한 정보, 변환에 관한 정보(변환 계수, 변환 방법 등) 등을 포함할 수 있다.In addition, the unit information may include information at each unit level. For example, in the case of CU information, information about a partition (CU, PU and / or TU) may include information on transform, information on prediction, and information on coding. In the case of PU information, information on a PU partition and information on prediction (eg, motion information, information on a prediction mode, etc.) may be included. The information about the TU may include information about a TU partition, information on transform (transform coefficient, transform method, etc.).
또한, 유닛 정보는 처리 단위(예컨대, CU, PU, TU 등)의 분할 정보만을 포함할 수도 있다.In addition, the unit information may include only the partition information of the processing unit (eg, CU, PU, TU, etc.).
인터 레이어 예측의 또 다른 예인 인터 레이어 파라미터 예측에서는 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하도록 하거나 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.In another example of inter-layer prediction, inter-layer parameter prediction may derive a parameter used in the base layer to reuse it in the enhancement layer or predict a parameter for the enhancement layer based on the parameter used in the base layer.
여기서는 인터 레이어 예측의 예로서, 인터 레이어 텍스처 예측, 인터 레이어 움직임 예측, 인터 레이어 유닛 정보 예측, 인터 레이어 파라미터 예측을 설명하였으나, 본 발명에서 적용할 수 있는 인터 레이어 예측은 이에 한정되지 않는다.As an example of interlayer prediction, interlayer texture prediction, interlayer motion prediction, interlayer unit information prediction, and interlayer parameter prediction have been described. However, the interlayer prediction applicable to the present invention is not limited thereto.
예컨대, 예측부는 인터 레이어 예측으로서 다른 레이어의 레지듀얼 정보를 이용하여 현재 레이어의 레지듀얼을 예측하고 이를 기반으로 현재 레이어 내 현재 블록에 대한 예측을 수행하는 인터 레이어 레지듀얼 예측을 이용할 수도 있다.For example, the prediction unit may use inter-layer residual prediction, which predicts the residual of the current layer using residual information of another layer as inter-layer prediction, and performs prediction on the current block in the current layer based on the residual layer.
또한, 예측부는 인터 레이어 예측으로서 현재 레이어의 복원 픽처와 다른 레이어의 복원 픽처를 업샘플링 혹은 다운샘플링한 영상 간의 차분 (차분 영상) 영상을 이용하여 현재 레이어 내 현재 블록에 대한 예측을 수행하는 인터 레이어 차분 예측을 수행할 수도 있다.In addition, the prediction unit is an interlayer prediction interlayer that performs prediction on the current block in the current layer by using a difference (difference image) image between the reconstructed picture of the current layer and the resampled picture of another layer as the interlayer prediction. Differential prediction may also be performed.
또한, 예측부는 인터 레이어 예측으로, 다른 레이어의 신택스 정보를 이용하여 현재 블록의 텍스처를 예측하거나 생성하는 인터 레이어 신택스 예측을 이용할 수도 있다. 이때, 현재 블록의 예측에 이용하는 참조 레이어의 신택스 정보는 인트라 예측 모드에 관한 정보, 움직임 정보 등일 수 있다.In addition, the prediction unit may use interlayer syntax prediction, which is used to predict or generate a texture of a current block using syntax information of another layer as interlayer prediction. In this case, the syntax information of the reference layer used for prediction of the current block may be information about an intra prediction mode, motion information, and the like.
이 때, 참조 레이어에서 인트라 예측 모드가 적용된 블록(intra)으로부터는 인트라 예측 모드를 참조하고, 인터 예측 모드가 적용된 블록(MV)으로부터는 움직임 정보를 참조하여 인터 레이어 신택스 예측을 수행할 수 있다.In this case, inter-layer syntax prediction may be performed by referring to the intra prediction mode from a block to which the intra prediction mode is applied in the reference layer and referring to motion information from the block MV to which the inter prediction mode is applied.
예를 들면, 참조 레이어가 P 슬라이스나 B 슬라이스이지만, 슬라이스 내에 참조 블록은 인트라 예측 모드가 적용된 블록일 수 있다. 이런 경우 인터 레이어 신택스 예측을 적용하면, 참조 레이어의 신택스 정보 중 참조 블록의 인트라 예측 모드를 이용하여 현재 블록에 대한 텍스처를 생성/ 예측하는 인터 레이어 예측을 수행할 수 있다.For example, although the reference layer is a P slice or a B slice, the reference block in the slice may be a block to which an intra prediction mode is applied. In this case, when inter-layer syntax prediction is applied, inter-layer prediction may be performed to generate / predict a texture for the current block by using an intra prediction mode of the reference block among syntax information of the reference layer.
변환/양자화부(115, 145)는 변환 블록 단위로 레지듀얼 블록에 대한 변환을 수행하여 변환 계수를 생성하고, 변환 계수를 양자화 할 수 있다. The transform / quantization units 115 and 145 may perform transform on the residual block in transform block units to generate transform coefficients and quantize the transform coefficients.
변환 블록은 샘플들의 사각형 블록으로서 동일한 변환이 적용되는 블록이다. 변환 블록은 변환 유닛(TU)일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다. The transform block is a block of samples and is a block to which the same transform is applied. The transform block can be a transform unit (TU) and can have a quad tree structure.
변환/양자화부(115, 145)는 레지듀얼 블록에 적용된 예측 모드와 블록의 크기에 따라서 변환을 수행해서 변환 계수들의 2차원 어레이를 생성할 수 있다. 예컨대, 레지듀얼 블록에 인트라 예측이 적용되었고 블록이 4x4의 레지듀얼 배열이라면, 레지듀얼 블록을 DST(Discrete Sine Transform)를 이용하여 변환하고, 그 외의 경우라면 레지듀얼 블록을 DCT(Discrete Cosine Transform)를 이용하여 변환할 수 있다. The transform / quantization units 115 and 145 may generate a 2D array of transform coefficients by performing transform according to the prediction mode applied to the residual block and the size of the block. For example, if intra prediction is applied to a residual block and the block is a 4x4 residual array, the residual block is transformed using a discrete sine transform (DST), otherwise the residual block is transformed into a discrete cosine transform (DCT). Can be converted using.
변환/양자화부(115, 145)는 변환 계수들을 양자화하여 양자화된 변환 계수를 생성할 수 있다. The transform / quantization unit 115 and 145 may quantize the transform coefficients to generate quantized transform coefficients.
변환/양자화부(115, 145)는 양자화된 변환 계수를 엔트로피 코딩부(130, 180)로 전달할 수 있다. 이때, 변환/양자화부(145)는 양자화된 변환 계수의 2차원 어레이를 소정의 스캔 순서에 따라 1차원 어레이로 재정렬하여 엔트로피 코딩부(130, 180)로 전달할 수도 있다. 또한, 변환/양자화부(115, 145)는 인터 예측을 위해, 레지듀얼과 예측 블록을 기반으로 생성된 복원 블록을 변환/양자화하지 않고, 필터링부(120, 150)에 전달할 수 있다. The transform / quantization units 115 and 145 may transfer the quantized transform coefficients to the entropy coding units 130 and 180. In this case, the transform / quantization unit 145 may rearrange the two-dimensional array of quantized transform coefficients into one-dimensional arrays according to a predetermined scan order and transfer them to the entropy coding units 130 and 180. In addition, the transform / quantizers 115 and 145 may transfer the reconstructed block generated based on the residual and the predictive block to the filtering units 120 and 150 for inter prediction.
한편, 변환/양자화부(115, 145)는 필요에 따라서, 변환을 생략(skip)하고 양자화만 수행하거나 변환과 양자화를 모두 생략할 수도 있다. 예컨대, 변환/양자화부(115, 165)는 특정한 예측 방법이 적용되거나 특정 크기를 갖는 블록, 혹은 특정 예측 블록이 적용된 특정한 크기의 블록에 대하여 변환을 생략할 수도 있다.Meanwhile, the transform / quantization units 115 and 145 may skip transform and perform quantization only or omit both transform and quantization as necessary. For example, the transform / quantization unit 115 or 165 may omit the transform for a block having a specific prediction method or a specific size block, or a block of a specific size to which a specific prediction block is applied.
엔트로피 코딩부(130, 160)는 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다. The entropy coding units 130 and 160 may perform entropy encoding on the quantized transform coefficients. Entropy encoding may use, for example, an encoding method such as Exponential Golomb, Context-Adaptive Binary Arithmetic Coding (CABAC), or the like.
필터링부(120, 150)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다. The filtering units 120 and 150 may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) to the reconstructed picture.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다. The deblocking filter may remove distortion generated at the boundary between blocks in the reconstructed picture. The adaptive loop filter (ALF) may perform filtering based on a value obtained by comparing the reconstructed image with the original image after the block is filtered through the deblocking filter. The SAO restores the offset difference from the original image on a pixel-by-pixel basis to the residual block to which the deblocking filter is applied, and is applied in the form of a band offset and an edge offset.
필터링부(120, 150)는 디블록킹 필터, ALF, SAO를 모두 적용하지 않고 디블록킹 필터만 적용하거나 디블록킹 필터와 ALF만 적용하거나 디블록킹 필터와 SAO만을 적용할 수도 있다. The filtering units 120 and 150 may apply only the deblocking filter, only the deblocking filter and the ALF, or may apply only the deblocking filter and the SAO without applying all of the deblocking filter, ALF, and SAO.
DPB(125, 155)는 필터링부(120, 150)로부터 복원 블록 또는 복원 픽처를 전달받아 저장할 수 있다. DPB(125, 155)는 복원 블록 또는 픽처를 인터 예측을 수행하는 예측부(110, 140)에 제공할 수 있다. The DPBs 125 and 155 may receive the reconstructed block or the reconstructed picture from the filtering units 120 and 150 and store the received reconstruction picture. The DPBs 125 and 155 may provide a reconstructed block or picture to the predictors 110 and 140 that perform inter prediction.
레이어 0의 엔트로피 코딩부(160)에서 출력되는 정보와 레이어 1의 엔트로피 코딩부(130)에서 출력되는 정보는 MUX(185)에서 멀티플렉싱되어 비트스트림으로 출력될 수 있다.Information output from the entropy coding unit 160 of layer 0 and information output from the entropy coding unit 130 of layer 1 may be multiplexed by the MUX 185 and output as a bitstream.
한편, 여기서는 설명의 편의를 위해, 레이어 1의 인코딩부(105)가 MUX(165)를 포함하는 것으로 설명하였으나, MUX는 레이어 1의 인코딩부(105) 및 레이어 0의 인코딩부(135)와는 별도의 장치 혹은 모듈일 수 있다.Meanwhile, for the convenience of description, the encoding unit 105 of the layer 1 has been described as including the MUX 165. However, the MUX is separate from the encoding unit 105 of the layer 1 and the encoding unit 135 of the layer 0. It may be a device or a module of.
도 2는 본 발명에 따라서 스케일러블 코딩을 수행하는 인코딩 장치에서의 인터 레이어 예측에 관한 일 예를 설명하는 블록도이다.2 is a block diagram illustrating an example of interlayer prediction in an encoding apparatus that performs scalable coding according to the present invention.
도 2를 참조하면, 디코딩 장치(200)는 레이어 1의 디코딩부(210)와 레이어 0의 디코딩부(250)를 포함한다.Referring to FIG. 2, the decoding apparatus 200 includes a decoder 210 of layer 1 and a decoder 250 of layer 0.
레이어 0은 베이스 레이어, 참조 레이어 혹은 하위 레이어일 수 있으며, 레이어 1은 인핸스먼트 레이어, 현재 레이어 혹은 상위 레이어일 수 있다. Layer 0 may be a base layer, a reference layer, or a lower layer, and layer 1 may be an enhancement layer, a current layer, or an upper layer.
레이어 1의 디코딩부(210)는 엔트로피 디코딩부(215), 재정렬부(220), 역양자화부(225), 역변환부(230), 예측부(235), 필터링부(240), 메모리를 포함할 수 있다.The decoding unit 210 of the layer 1 includes an entropy decoding unit 215, a reordering unit 220, an inverse quantization unit 225, an inverse transform unit 230, a prediction unit 235, a filtering unit 240, and a memory. can do.
레이어 0의 디코딩부(250)는 엔트로피 디코딩부(255), 재정렬부(260), 역양자화부(265), 역변환부(270), 필터링부(280), 메모리(285)를 포함할 수 있다.The decoding unit 250 of the layer 0 may include an entropy decoding unit 255, a reordering unit 260, an inverse quantization unit 265, an inverse transform unit 270, a filtering unit 280, and a memory 285. .
인코딩 장치로부터 영상 정보를 포함하는 비트스트림이 전송되면, DEMUX(205)는 레이어별로 정보를 디멀티플렉싱하여 각 레이어별 디코딩 장치로 전달할 수 있다.When the bitstream including the image information is transmitted from the encoding device, the DEMUX 205 may demultiplex the information for each layer and deliver the information to the decoding device for each layer.
엔트로피 디코딩부(215, 255)는 인코딩 장치에서 사용한 엔트로피 코딩 방식에 대응하여 엔트로피 디코딩을 수행할 수 있다. 예컨대, 인코딩 장치에서 CABAC이 사용된 경우에, 엔트로피 디코딩부(215, 255)도 CABAC을 이용하여 엔트로피 디코딩을 수행할 수 있다.The entropy decoding units 215 and 255 may perform entropy decoding corresponding to the entropy coding scheme used in the encoding apparatus. For example, when CABAC is used in the encoding apparatus, the entropy decoding units 215 and 255 may also perform entropy decoding using CABAC.
엔트로피 디코딩부(215, 255)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(235, 275)로 제공되고, 엔트로피 디코딩부(215, 255)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(220, 260)로 입력될 수 있다.Information for generating a prediction block among the information decoded by the entropy decoding units 215 and 255 is provided to the prediction units 235 and 275, and a residual value of which entropy decoding is performed by the entropy decoding units 215 and 255. That is, the quantized transform coefficients may be input to the reordering units 220 and 260.
재정렬부(220, 260)는 엔트로피 디코딩부(215, 255)에서 엔트로피 디코딩된 비트스트림의 정보, 즉 양자화된 변환 계수를 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다.The reordering units 220 and 260 may rearrange the information of the bitstreams entropy decoded by the entropy decoding units 215 and 255, that is, the quantized transform coefficients, based on the reordering method in the encoding apparatus.
예컨대, 재정렬부(220, 260)는 1차원 어레이의 양자화된 변환 계수들을 다시 2차원 어레이의 계수들로 재정렬할 수 있다. 재정렬부(220, 260)는 현재 블록(변환 블록)에 적용된 예측 모드 및/또는 변환 블록의 크기를 기반으로 스캐닝을 수행하여 계수(양자화된 변환 계수)들의 2차원 어레이를 생성할 수 있다.For example, the reordering units 220 and 260 may rearrange the quantized transform coefficients of the one-dimensional array into the coefficients of the two-dimensional array. The reordering units 220 and 260 may generate a two-dimensional array of coefficients (quantized transform coefficients) by performing scanning based on the prediction mode applied to the current block (transform block) and / or the size of the transform block.
역양자화부(225, 265)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행하여 변환 계수들을 생성할 수 있다.The inverse quantizers 225 and 265 may generate transform coefficients by performing inverse quantization based on the quantization parameter provided by the encoding apparatus and the coefficient values of the rearranged block.
역변환부(230, 270)는 변환 계수들에 대하여 인코딩 장치의 변환부가 수행한 변환에 대한 역변환을 수행할 수 있다. 역변환부(230, 270)는 인코딩 장치에서 수행된 DCT(Discrete Cosine Transform) 및 DST(Discrete Sine Transform)에 대해 역DCT 및/또는 역DST를 수행할 수 있다.The inverse transform units 230 and 270 may perform inverse transform on the transform performed by the transform unit of the encoding apparatus. The inverse transform units 230 and 270 may perform inverse DCT and / or inverse DST on a discrete cosine transform (DCT) and a discrete sine transform (DST) performed by an encoding apparatus.
인코딩 장치에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(230, 270)는 인코딩 장치에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.The DCT and / or DST in the encoding apparatus may be selectively performed according to a plurality of pieces of information, such as a prediction method, a size of a current block, and a prediction direction, and the inverse transformers 230 and 270 of the decoding apparatus may perform transform information performed in the encoding apparatus. Inverse transformation may be performed based on.
예컨대, 역변환부(230, 270)은 예측 모드/블록 크기에 따라서 역DCT와 역DST를 적용할 수 있다. 가령, 역변환부(230, 270)은 인트라 예측이 적용된 4x4 루마 블록에 대해서 역DST를 적용할 수도 있다.For example, the inverse transform units 230 and 270 may apply inverse DCT and inverse DST according to a prediction mode / block size. For example, the inverse transformers 230 and 270 may apply an inverse DST to a 4x4 luma block to which intra prediction is applied.
또한, 역변환부(230, 270)는 예측 모드/블록 크기에 상관 없이, 특정 역변환 방법을 고정적으로 사용할 수도 있다. 예컨대, 역변환부(330, 370)는 모든 변환 블록에 역DST만을 적용할 수 있다. 또한, 역변환부(330, 370)는 모든 변환 블록에 역DCT만을 적용할 수도 있다.In addition, the inverse transform units 230 and 270 may fixedly use a specific inverse transform method regardless of the prediction mode / block size. For example, the inverse transform units 330 and 370 may apply only inverse DST to all transform blocks. In addition, the inverse transform units 330 and 370 may apply only inverse DCT to all transform blocks.
역변환부(230, 270)는 변환 계수들 혹은 변환 계수의 블록을 역변환하여 레지듀얼 혹은 레지듀얼 블록을 생성할 수 있다.The inverse transformers 230 and 270 may generate a residual or residual block by inversely transforming the transform coefficients or the block of the transform coefficients.
역변환부(230, 270)는 또한, 필요에 따라서 혹은 인코딩 장치에서 인코딩된 방식에 따라서, 변환을 생략(skip) 할 수도 있다. 예컨대, 역변환(230, 270)는 특정한 예측 방법이 적용되거나 특정 크기를 갖는 블록, 혹은 특정 예측 블록이 적용된 특정한 크기의 블록에 대하여 변환을 생략할 수도 있다.The inverse transformers 230 and 270 may also skip the transformation as needed or in accordance with the manner encoded in the encoding apparatus. For example, the inverse transforms 230 and 270 may omit the transform for a block having a specific prediction method or a specific size or a block of a specific size to which a specific prediction block is applied.
예측부(235, 275)는 엔트로피 디코딩부(215, 255)로부터 전달된 예측 블록 생성 관련 정보와 메모리(245, 285)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 현재 블록에 대한 예측 블록을 생성할 수 있다.The prediction units 235 and 275 may perform prediction on the current block based on prediction block generation related information transmitted from the entropy decoding units 215 and 255 and previously decoded blocks and / or picture information provided by the memories 245 and 285. A prediction block can be generated.
현재 블록에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 예측부(235, 275)는 현재 픽처 내의 픽셀 정보를 기초로 현재 블록에 대한 인트라 예측을 수행할 수 있다.When the prediction mode for the current block is an intra prediction mode, the prediction units 235 and 275 may perform intra prediction on the current block based on pixel information in the current picture.
현재 블록에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 예측부(235, 275)는 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 블록에 대한 인터 예측을 수행할 수 있다. 인터 예측에 필요한 움직임 정보의 일부 또는 전부는 인코딩 장치로부터 수신한 정보를 확인하고, 이에 대응하여 유도될 수 있다.When the prediction mode for the current block is the inter prediction mode, the prediction units 235 and 275 may perform information on the current block based on information included in at least one of a previous picture or a subsequent picture of the current picture. Inter prediction may be performed. Some or all of the motion information required for inter prediction may be derived from the information received from the encoding apparatus and correspondingly.
인터 예측의 모드로서 스킵 모드가 적용되는 경우에는 인코딩 장치로부터 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.When the skip mode is applied as the mode of inter prediction, residual is not transmitted from the encoding apparatus, and the prediction block may be a reconstruction block.
한편, 레이어 1의 예측부(235)는 레이어 1 내의 정보만을 이용하여 인터 예측 또는 인트라 예측을 수행할 수도 있고, 다른 레이어(레이어 0)의 정보를 이용하여 인터 레이어 예측을 수행할 수도 있다.Meanwhile, the prediction unit 235 of layer 1 may perform inter prediction or intra prediction using only information in layer 1, or may perform inter layer prediction using information of another layer (layer 0).
예컨대, 레이어 1의 예측부(235)는 레이어 1의 움직임 정보, 레이어 1의 텍스처 정보, 레이어 1의 유닛 정보, 레이어 1의 파라미터 정보 중 하나를 이용하여 현재 블록에 대한 예측을 수행할 수 있다. 또한, 레이어 1의 예측부(235)는 레이어 1의 움직임 정보, 레이어 1의 텍스처 정보, 레이어 1의 유닛 정보, 레이어 1의 파라미터 정보 중 복수의 정보를 이용하여 현재 블록에 대한 예측을 수행할 수도 있다.For example, the predictor 235 of the layer 1 may perform prediction on the current block by using one of the motion information of the layer 1, the texture information of the layer 1, the unit information of the layer 1, and the parameter information of the layer 1. In addition, the prediction unit 235 of the layer 1 may perform prediction on the current block by using a plurality of pieces of information of the motion information of the layer 1, the texture information of the layer 1, the unit information of the layer 1, and the parameter information of the layer 1. have.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 1의 움직임 정보를 전달받아서 움직임 예측을 수행할 수 있다. 인터 레이어 움직임 예측을 인터 레이어 인터 예측이라고도 한다. 인터 레이어 움직임 예측에 의해, 참조 레이어(베이스 레이어)의 움직임 정보를 이용하여 현재 레이어(인핸스먼트 레이어)의 현재 블록에 대한 예측이 수행될 수 있다. 예측부(335)는 필요한 경우에, 참조 레이어의 움직임 정보를 스케일링 하여 이용할 수도 있다.The predictor 235 of the layer 1 may receive motion information of the layer 1 from the predictor 275 of the layer 0 to perform motion prediction. Inter-layer motion prediction is also called inter-layer inter prediction. By inter-layer motion prediction, prediction of a current block of a current layer (enhanced layer) may be performed using motion information of a reference layer (base layer). The prediction unit 335 may scale and use motion information of the reference layer when necessary.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 1의 텍스처 정보를 전달받아서 텍스처 예측을 수행할 수 있다. 텍스처 예측은 인터 레이어 인트라 예측 혹은 인트라 BL(Base Layer) 예측이라고도 불린다. 텍스처 예측은 참조 레이어의 참조 블록이 인트라 예측에 의해 복원된 경우에 적용될 수 있다. 인터 레이어 인트라 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.The predictor 235 of the layer 1 may receive texture information of the layer 1 from the predictor 275 of the layer 0 to perform texture prediction. Texture prediction is also called inter layer intra prediction or intra base layer (BL) prediction. Texture prediction may be applied when the reference block of the reference layer is reconstructed by intra prediction. In inter-layer intra prediction, the texture of the reference block in the reference layer may be used as a prediction value for the current block of the enhancement layer. In this case, the texture of the reference block may be scaled by upsampling.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 1의 유닛 파라미터 정보를 전달받아서 유닛 파라미터 예측을 수행할 수 있다. 유닛 파라미터 예측에 의해, 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보가 인핸스먼트 레이어의 유닛 정보로 사용되거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보가 결정될 수 있다.The predictor 235 of the layer 1 may receive unit parameter information of the layer 1 from the predictor 275 of the layer 0 to perform unit parameter prediction. By unit parameter prediction, unit (CU, PU, and / or TU) information of the base layer may be used as unit information of the enhancement layer, or unit information of the enhancement layer may be determined based on unit information of the base layer.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 1의 필터링에 관한 파라미터 정보를 전달받아서 파라미터 예측을 수행할 수도 있다. 파라미터 예측에 의해, 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하거나, 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.The predictor 235 of the layer 1 may receive parameter information regarding the filtering of the layer 1 from the predictor 275 of the layer 0 to perform parameter prediction. By parameter prediction, the parameters used in the base layer can be derived and reused in the enhancement layer, or the parameters for the enhancement layer can be predicted based on the parameters used in the base layer.
가산기(290, 295)는 예측부(235, 275)에서 생성된 예측 블록과 역변환부(230, 270)에서 생성된 레지듀얼 블록을 이용해 복원 블록을 생성할 수 있다. 이 경우, 가산기(290, 295)를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다.The adders 290 and 295 may generate reconstruction blocks using the prediction blocks generated by the predictors 235 and 275 and the residual blocks generated by the inverse transformers 230 and 270. In this case, the adders 290 and 295 can be viewed as separate units (restore block generation unit) for generating the reconstruction block.
가산기(290, 295)에서 복원된 블록 및/또는 픽처는 필터링부(240, 280)로 제공될 수 있다.Blocks and / or pictures reconstructed by the adders 290 and 295 may be provided to the filtering units 240 and 280.
도 2의 예를 참조하면, 레이어 1의 필터링부(240)는 레이어 1의 예측부(235) 및/또는 레이어 0의 필터링부(280)으로부터 전달되는 파라미터 정보를 이용하여 복원된 픽처에 대한 필터링을 수행할 수도 있다. 예컨대, 레이어 1에서 필터링부(240)는 레이어 0에서 적용된 필터링의 파라미터로부터 예측된 파라미터를 이용하여 레이어 1에 대한 혹은 레이어 간의 필터링을 적용할 수 있다.Referring to the example of FIG. 2, the filtering unit 240 of the layer 1 filters the reconstructed picture by using parameter information transmitted from the predicting unit 235 of the layer 1 and / or the filtering unit 280 of the layer 0. You can also do For example, in layer 1, the filtering unit 240 may apply filtering to or between layers using the parameters predicted from the parameters of the filtering applied in the layer 0.
메모리(245, 285)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있다. 메모리(245, 285)는 저장된 복원 픽처를 소정의 출력부(미도시) 혹은 디스플레이(미도시)를 통해 출력할 수도 있다.The memories 245 and 285 may store the reconstructed picture or block to use as a reference picture or reference block. The memories 245 and 285 may output the stored reconstructed picture through a predetermined output unit (not shown) or a display (not shown).
도 2의 예에서는 재정렬부, 역양자화부, 역변환부 등으로 나누어 설명하였으나, 도 1의 인코딩 장치에서와 같이, 역양자화/역변환부의 한 모듈에서 재정렬, 역양자화, 역변환을 순서대로 수행하도록 디코딩 장치를 구성할 수도 있다.In the example of FIG. 2, the reordering unit, the inverse quantization unit, and the inverse transform unit have been described. However, as in the encoding apparatus of FIG. It can also be configured.
도 1 및 도 2의 예에서는 예측부로 설명하였으나, 발명의 이해를 돕기 위해, 레이어 1의 예측부는 다른 레이어(레이어 0)의 정보를 이용하여 예측을 수행하는 인터 레이어 예측부와 다른 레이어(레이어 0)의 정보를 이용하지 않고 예측을 수행하는 인터/인트라 예측부를 포함하는 것으로 볼 수도 있다.In the example of FIGS. 1 and 2, the prediction unit has been described, but for better understanding, the prediction unit of layer 1 may be different from the interlayer prediction unit that performs prediction using information of another layer (layer 0). It may also be regarded as including an inter / intra predictor for performing prediction without using the information of).
도 3은 본 발명에 따라서 스케일러블 코딩을 수행하는 인코딩 장치와 디코딩 장치에서의 레이어 간 예측에 관한 일 예를 설명하는 블록도이다.3 is a block diagram illustrating an example of inter-layer prediction in an encoding apparatus and a decoding apparatus that perform scalable coding according to the present invention.
도 3을 참조하면, 레이어 1의 예측부(300)는 인터/인트라 예측부(340) 및 인터 레이어 예측부(350)를 포함한다.Referring to FIG. 3, the predictor 300 of layer 1 includes an inter / intra predictor 340 and an interlayer predictor 350.
레이어 1의 예측부(300)는 레이어 0의 정보로부터 레이어 1의 예측에 필요한 인터 레이어 예측을 수행할 수 있다.The prediction unit 300 of the layer 1 may perform interlayer prediction necessary for the prediction of the layer 1 from the information of the layer 0.
예컨대, 인터 레이어 예측부(350)는 레이어 0의 예측부(320) 및/또는 필터링부(330)로부터 레이어 0의 정보를 전달받아 레이어 1의 예측에 필요한 인터 레이어 예측을 수행할 수 있다.For example, the interlayer prediction unit 350 may receive interlayer prediction information from the prediction unit 320 and / or the filtering unit 330 of the layer 0 to perform interlayer prediction necessary for the prediction of the layer 1.
레이어 1의 인터/인트라 예측부(340)는, 레이어 0의 정보를 이용하지 않고, 레이어 1의 정보를 이용하여 인터 예측 혹은 인트라 예측을 수행할 수 있다.The inter / intra prediction unit 340 of the layer 1 may perform inter prediction or intra prediction using the information of the layer 1 without using the information of the layer 0.
또한, 레이어 1의 인터/인트라 예측부(340)는, 인터 레이어 예측부(350)로부터 전달된 정보를 이용하여, 레이어 0의 정보에 기반한 예측을 수행할 수도 있다.In addition, the inter / intra predictor 340 of the layer 1 may perform prediction based on the information of the layer 0 using the information transmitted from the interlayer predictor 350.
아울러, 레이어 1의 필터링부(310)는 레이어 0의 정보에 기반하여 필터링을 수행할 수도 있고, 레이어 1의 정보에 기반하여 필터링을 수행할 수도 있다. 레이어 0의 정보는 레이어 0의 필터링부(330)로부터 레이어 1의 필터링부(310)에 전달될 수도 있고, 레이어 1의 인터 레이어 예측부(350)로부터 레이어 1의 필터링부(310)에 전달될 수도 있다.In addition, the filtering unit 310 of the layer 1 may perform the filtering based on the information of the layer 0 or may perform the filtering based on the information of the layer 1. Information of the layer 0 may be transferred from the filtering unit 330 of the layer 0 to the filtering unit 310 of the layer 1, or may be transferred from the interlayer prediction unit 350 of the layer 1 to the filtering unit 310 of the layer 1. It may be.
한편, 레이어 0으로부터 인터 레이어 예측부(330)로 전달되는 정보로는 레이어 0의 유닛 파라미터에 관한 정보, 레이어 0의 움직임 정보, 레이어 0의 텍스처 정보, 레이어 0의 필터 파라미터 정보 중 적어도 하나일 수 있다.The information transmitted from the layer 0 to the interlayer prediction unit 330 may be at least one of information about a unit parameter of the layer 0, motion information of the layer 0, texture information of the layer 0, and filter parameter information of the layer 0. have.
설명의 편의를 위해, 인터 레이어 예측부(350) 내에서 각 인터 레이어 정보를 예측하는 서브 예측부를 가정하자.For convenience of explanation, assume a sub-prediction unit that predicts each inter-layer information in the inter-layer prediction unit 350.
텍스처 예측부(360)는, 참조 레이어의 참조 블록이 인트라 예측에 의해 복원된 경우에, 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 텍스처 예측부(360)는 참조 블록의 텍스처를 업샘플링에 의해 스케일링할 수 있다.When the reference block of the reference layer is reconstructed by intra prediction, the texture predictor 360 may use the texture of the reference block in the reference layer as a prediction value for the current block of the enhancement layer. In this case, the texture predictor 360 may scale the texture of the reference block by upsampling.
움직임 예측부(370)는 레이어 0 (참조 레이어 혹은 베이스 레이어)의 움직임 정보를 이용하여 레이어 1 (현재 레이어 혹은 인핸스먼트 레이어)의 현재 블록에 대한 예측을 수행할 수 있다. 이때, 움직임 예측부(370)는 참조 레이어의 움직임 정보를 스케일링 할 수도 있다. The motion predictor 370 may predict the current block of layer 1 (the current layer or the enhancement layer) by using the motion information of the layer 0 (the reference layer or the base layer). In this case, the motion predictor 370 may scale the motion information of the reference layer.
유닛 정보 예측부(380)는 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보를 유도하여 인핸스먼트 레이어의 유닛 정보로 사용하거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보를 결정할 수 있다. The unit information predictor 380 derives unit (CU, PU, and / or TU) information of the base layer and uses the unit information of the enhancement layer based on the unit information of the base layer or uses the unit information of the enhancement layer based on the unit information of the base layer. You can decide.
파라미터 예측부(390)는 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하도록 하거나 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.The parameter predictor 390 may derive the parameters used in the base layer to reuse them in the enhancement layer or predict the parameters for the enhancement layer based on the parameters used in the base layer.
여기서는 인터 레이어 예측의 예로서, 인터 레이어 텍스처 예측, 인터 레이어 움직임 예측, 인터 레이어 유닛 정보 예측, 인터 레이어 파라미터 예측을 설명하였으나, 본 발명에서 적용할 수 있는 인터 레이어 예측은 이에 한정되지 않는다. As an example of interlayer prediction, interlayer texture prediction, interlayer motion prediction, interlayer unit information prediction, and interlayer parameter prediction have been described. However, the interlayer prediction applicable to the present invention is not limited thereto.
예컨대, 인터 레이어 예측부는 인터 레이어 레지듀얼 예측을 수행하는 서브 예측부, 인터 레이어 신택스 예측을 수행하는 서브 예측부 및/또는 인터 레이어 차분 예측을 수행하는 서브 예측부를 더 포함할 수도 있고, 상술한 서브 예측부들의 조합으로 인터 레이어 레지듀얼 예측, 인터 레이어 차분 예측, 인터 레이어 신택스 예측 등을 수행할 수도 있다.For example, the inter-layer prediction unit may further include a sub-prediction unit that performs inter-layer residual prediction, a sub-prediction unit that performs inter-layer syntax prediction, and / or a sub-prediction unit that performs inter-layer difference prediction. The interlayer residual prediction, the interlayer differential prediction, the interlayer syntax prediction, and the like may be performed using a combination of prediction units.
도 3의 구성이 인코딩 장치의 구성이라고 할 때, 레이어 1에서, 예측부(300)는 도 1의 예측부(110)에 대응할 수 있고, 필터링부(310)는 도 1의 필터링부(120)에 대응할 수 있다. 레이어 0에서, 예측부(320)는 도 1의 예측부(140)에 대응할 수 있고, 필터링부(330)는 도 1의 필터링부(150)에 대응할 수 있다.When the configuration of FIG. 3 is a configuration of an encoding apparatus, in layer 1, the prediction unit 300 may correspond to the prediction unit 110 of FIG. 1, and the filtering unit 310 may include the filtering unit 120 of FIG. 1. It can correspond to. In layer 0, the predictor 320 may correspond to the predictor 140 of FIG. 1, and the filter 330 may correspond to the filter 150 of FIG. 1.
또한, 도 3의 구성이 디코딩 장치의 구성이라고 한다면, 레이어 1에서, 예측부(300)는 도 2의 예측부(235)에 대응할 수 있고, 필터링부(310)는 도 2의 필터링부(240)에 대응할 수 있다. 레이어 0에서, 예측부(320)는 도 2의 예측부(275)에 대응할 수 있고, 필터링부(330)는 도 2의 필터링부(280)에 대응할 수 있다.In addition, if the configuration of FIG. 3 is a configuration of a decoding apparatus, in layer 1, the prediction unit 300 may correspond to the prediction unit 235 of FIG. 2, and the filtering unit 310 is the filtering unit 240 of FIG. 2. ) Can be used. In layer 0, the predictor 320 may correspond to the predictor 275 of FIG. 2, and the filter 330 may correspond to the filter 280 of FIG. 2.
이처럼, 스케일러블 비디오 코딩에서는 다른 레이어의 정보를 이용하여 현재 레이어의 정보를 예측하는 인터 레이어 예측이 수행될 수 있다.As described above, in scalable video coding, inter-layer prediction for predicting information of a current layer using information of another layer may be performed.
이하에서는 레이어 1, 즉 현재 레이어에서 수행될 수 있는 인트라 예측에 대하여 도면을 참조하여 구체적으로 설명한다.Hereinafter, intra prediction that may be performed in layer 1, that is, the current layer, will be described in detail with reference to the accompanying drawings.
레이어 1의 현재 픽처는 레이어 0의 참조 픽처의 정보를 이용하여 인터 레이어 예측을 수행할 수 있다. 인트라 예측을 통해서는 현재 레이어 내 복원된 픽셀을 기초로 예측의 대상이 되는 현재 블록(이하, 현재 블록)에 대한 예측 블록을 생성한다. The current picture of the layer 1 may perform interlayer prediction by using information of the reference picture of the layer 0. Intra prediction generates a prediction block for a current block (hereinafter, referred to as a current block) to be predicted based on the reconstructed pixels in the current layer.
도 4는 인트라 예측 모드의 일 예를 도시한 도면이다. 4 is a diagram illustrating an example of an intra prediction mode.
인트라 예측에서 예측 모드는 픽셀값 예측에 사용되는 참조 픽셀들이 위치한 방향 및 예측 방식에 따라 크게 방향성 모드와 비방향성 모드로 구분할 수 있다. 도 4에는 33개의 방향성 예측 모드와 적어도 두 개 이상의 비방향성 모드에 대한 인트라 예측 모드가 도시되어 있다. In intra prediction, a prediction mode may be largely classified into a directional mode and a non-directional mode according to the direction in which reference pixels used for pixel value prediction are located and a prediction method. 4 shows intra prediction modes for 33 directional prediction modes and at least two non-directional modes.
비방향성 모드는 DC 모드와 Planer 모드를 포함할 수 있다. DC 모드에서는 고정된 하나의 값, 예를 들어 주위의 복원된 픽셀값의 평균값을 예측값으로 이용하고, Planer 모드에서는 현재 블록의 수직으로 인접한 픽셀값와 수평으로 인접한 픽셀값들을 이용하여 수직 방향 보간 및 수평 방향 보간을 수행하고, 이들의 평균값을 예측값으로 이용한다.The non-directional mode may include a DC mode and a planer mode. In DC mode, a single fixed value, for example, the average value of surrounding reconstructed pixel values is used as a prediction value, and in Planer mode, vertical interpolation and horizontal use are performed using vertically adjacent pixel values of the current block and horizontally adjacent pixel values. Directional interpolation is performed, and their average value is used as the predicted value.
방향성 모드는 Angular 모드로써 기설정된 방향에 위치한 참조 픽셀과 현재 픽셀 간의 각도로 해당 방향을 나타내는 모드들을 의미하며, 수평 모드 및 수직 모드를 포함할 수 있다. 수직 모드는 현재 블록의 수직으로 인접한 픽셀값을 현재 블록의 예측값으로, 수평 모드는 수평으로 인접한 픽셀값을 현재 블록의 예측값으로 이용한다. The directional mode is an angular mode and refers to modes indicating a corresponding direction by an angle between a reference pixel located in a predetermined direction and a current pixel, and may include a horizontal mode and a vertical mode. In the vertical mode, vertically adjacent pixel values of the current block are used as prediction values of the current block, and in the horizontal mode, horizontally adjacent pixel values are used as prediction values of the current block.
설명의 편의를 위하여, 이러한 예측 모드는 정해진 각도 및 모드 번호를 사용하여 특정할 수 있다. 인트라 예측에서는 참조 픽셀에 필터를 적용한 후 예측 블록을 생성할 수도 있다.For convenience of description, this prediction mode may be specified using a predetermined angle and mode number. In intra prediction, a prediction block may be generated after applying a filter to a reference pixel.
현재 블록에 대한 예측 모드는 그 모드를 나타내는 값 자체로 전송될 수도 있으나, 현재 블록의 예측 모드가 될 수 있는 후보 인트라 예측 모드들에 대한 정보로부터 유도될 수도 있다. The prediction mode for the current block may be transmitted with a value indicating the mode itself, but may be derived from information about candidate intra prediction modes that may be the prediction mode of the current block.
현재 블록에 대한 후보 인트라 예측 모드는 현재 블록에 인접한 주변 블록의 인트라 예측 모드를 이용하여 유도될 수 있으며, MPM(most probable mode)라 칭할 수 있다.The candidate intra prediction mode for the current block may be derived using the intra prediction mode of the neighboring block adjacent to the current block, and may be referred to as most probable mode (MPM).
도 5는 본 발명에 따라 인트라 예측이 수행되는 현재 블록과 주변 블록을 도시한 도면이다. 현재 블록(510)의 MPM을 유도하기 위하여 현재 블록(510)의 왼쪽에 위치하는 왼쪽 주변 블록(520)과 현재 블록(510)의 위쪽에 위치하는 위쪽 주변 블록(530)이 이용될 수 있다. 이 때, 주변 블록(520, 530)의 크기는 서로 같을 수도 있고 다를 수도 있다. 5 is a diagram illustrating a current block and neighboring blocks in which intra prediction is performed according to the present invention. In order to derive the MPM of the current block 510, a left peripheral block 520 positioned to the left of the current block 510 and an upper peripheral block 530 positioned above the current block 510 may be used. In this case, the sizes of the neighboring blocks 520 and 530 may be the same or different.
왼쪽 주변 블록(520)으로부터 유도된 후보 인트라 예측 모드를 왼쪽 예측 모드라 하고, 위쪽 주변 블록(530)으로부터 유도된 후보 인트라 예측 모드를 위쪽 예측 모드라고 하면, MPM은 왼쪽 예측 모드와 위쪽 예측 모드, 왼쪽 예측 모드 및 위쪽 예측 모드와 와 중복되지 않는 1개의 예측 모드로 구성될 수 있다. If the candidate intra prediction mode derived from the left neighboring block 520 is referred to as the left prediction mode, and the candidate intra prediction mode derived from the upper neighboring block 530 is called the upper prediction mode, the MPM is the left prediction mode, the upper prediction mode, It may consist of one prediction mode that does not overlap with the left prediction mode and the top prediction mode.
도 6은 주변 블록으로부터 왼쪽 예측 모드와 위쪽 예측 모드를 유도하는 방법을 설명하기 위한 도면이다. 이하, 도 6을 참조하여 왼쪽 주변 블록(520)과 위쪽 주변 블록(530)으로부터 두 개의 후보 인트라 예측 모드를 유도하는 과정을 설명하면 다음과 같다. 6 is a diagram for describing a method of deriving a left prediction mode and an up prediction mode from neighboring blocks. Hereinafter, a process of deriving two candidate intra prediction modes from the left neighboring block 520 and the upper neighboring block 530 will be described with reference to FIG. 6.
만약, 왼쪽 주변 블록(520)이 유효하고, 왼쪽 주변 블록(520)이 인트라 예측이 적용된 블록이면(S601), 왼쪽 주변 블록(520)의 인트라 예측 모드가 왼쪽 예측 모드로 유도된다(S602). If the left neighbor block 520 is valid and the left neighbor block 520 is a block to which intra prediction is applied (S601), the intra prediction mode of the left neighbor block 520 is derived to the left prediction mode (S602).
하지만, 왼쪽 주변 블록(520)의 예측 모드에 대한 정보가 존재하지 않거나 왼쪽 주변 블록(520)이 인트라 예측이 적용된 블록이 아니면, 즉, 두 가지 조건 중 어느 하나라도 만족하지 못하면 왼쪽 예측 모드는 기설정된 특정 예측 모드로 정해질 수 있다. 특정 예측 모드는 DC 모드 일 수 있다(S603).However, if the information about the prediction mode of the left neighboring block 520 does not exist or the left neighboring block 520 is not a block to which intra prediction is applied, that is, if either of the two conditions is not satisfied, the left prediction mode is pre-existed. The specific prediction mode may be set. The specific prediction mode may be a DC mode (S603).
다음으로, 위쪽 주변 블록(530)에 대한 예측 모드를 유도하기 위하여 위쪽 주변 블록(530)이 유효하고, 위쪽 주변 블록(530)이 인트라 예측이 적용된 블록이고, 위쪽 주변 블록(530)이 현재 블록(510)이 속한 코딩 트리 블록(Coding Tree Block) 내에 있는 블록이면(S604), 위쪽 주변 블록(530)에 대한 인트라 예측 모드가 위쪽 예측 모드로 유도된다(S605).Next, in order to derive the prediction mode for the upper neighboring block 530, the upper neighboring block 530 is valid, the upper neighboring block 530 is a block to which intra prediction is applied, and the upper neighboring block 530 is the current block. If the block 510 is in a coding tree block to which it belongs (S604), the intra prediction mode for the upper neighboring block 530 is derived to the upper prediction mode (S605).
반면, 위쪽 주변 블록(530)이 속하는 코딩 블록이 유효하지 않고 예측 모드에 대한 정보가 존재하지 않거나, 위쪽 주변 블록(530)이 인트라 예측이 적용된 블록이 아니거나, 위쪽 주변 블록(530)이 현재 블록(510)이 속하는 코딩 트리 블록(Coding Tree Block) 내에 있는 블록이 아니라면(S604), 즉 세 가지 조건 중 어느 하나라도 만족하지 못하면, 위쪽 예측 모드는 기설정된 특정 예측 모드로 유도될 수 있다(S606). 이때 특정 예측 모드는 DC 모드 일 수 있다.On the other hand, the coding block to which the upper neighboring block 530 belongs is not valid and information about the prediction mode does not exist, the upper neighboring block 530 is not a block to which intra prediction is applied, or the upper neighboring block 530 is currently If the block 510 is not a block in a coding tree block to which the block 510 belongs (S604), that is, if any one of the three conditions is not satisfied, the upper prediction mode may be derived to a predetermined predetermined prediction mode ( S606). In this case, the specific prediction mode may be a DC mode.
이와 같이, 주변 블록(520, 530)으로부터 두 개의 후보 예측 모드가 유도되면, 추가적으로 하나의 예측 모드를 더 유도하여 후보 모드 리스트, 즉 MPM 리스트를 형성할 수 있다.As such, when two candidate prediction modes are derived from the neighboring blocks 520 and 530, one additional prediction mode may be further derived to form a candidate mode list, that is, an MPM list.
만약, 현재 블록에 대한 인트라 예측 모드가 주변 블록의 인트라 예측 모드로부터 유추될 수 있다면, 즉 MPM 리스트에 있는 후보 인트라 예측 모드 중 어느 하나를 이용할 수 있다면, 현재 블록에 대한 예측 모드는 MPM 리스트에 있는 후보 인트라 모드 중 어느 하나에 대한 정보로 디코딩 및 인코딩 될 수 있다. 반면, 현재 블록에 대한 예측 모드가 주변 블록의 인트라 예측 모드로부터 유추될 수 없다면 현재 블록에 대한 인트라 예측 모드에 대한 정보는 별도로 인코딩 및 디코딩 될 수 있다.If the intra prediction mode for the current block can be inferred from the intra prediction mode of the neighboring block, that is, if any one of the candidate intra prediction modes in the MPM list is available, the prediction mode for the current block is in the MPM list. Information about any one of the candidate intra modes may be decoded and encoded. On the other hand, if the prediction mode for the current block cannot be inferred from the intra prediction mode of the neighboring block, the information about the intra prediction mode for the current block may be separately encoded and decoded.
도 7 및 도 8은 도 6에 따라 유도된 왼쪽 예측 모드와 위쪽 예측 모드를 이용하여 3개의 후보 인트라 예측 모드로 구성된 MPM 리스트를 형성하는 과정을 설명하기 위한 제어 흐름도이다. 도 7은 왼쪽 예측 모드와 위쪽 예측 모드가 동일한 경우 MPM 리스트를 형성하는 과정이고, 도 8은 왼쪽 예측 모드와 위쪽 예측 모드가 서로 다른 경우 MPM 리스트를 형성하는 과정에 대한 흐름도이다. 7 and 8 are control flowcharts illustrating a process of forming an MPM list including three candidate intra prediction modes using the left prediction mode and the up prediction mode derived according to FIG. 6. FIG. 7 illustrates a process of forming an MPM list when the left prediction mode and the up prediction mode are the same, and FIG. 8 illustrates a process of forming an MPM list when the left prediction mode and the up prediction mode are different.
설명의 편의상, 이하에서는 MPM 리스트 중 첫 번째로 인덱스 되는 후보 인트라 예측 모드를 MPM[0], 두 번째로 인덱스 되는 후보 인트라 예측 모드를 MPM[1], 세 번째로 인덱스 되는 후보 인트라 예측 모드를 MPM[2]로 표시한다.For convenience of explanation, hereinafter, the candidate intra prediction mode indexed first in the MPM list is MPM [0], the second candidate intra prediction mode indexed in MPM [1], and the third candidate intra prediction mode indexed in MPM. Mark as [2].
왼쪽 예측 모드와 위쪽 예측 모드가 같으면(S701), 왼쪽 예측 모드가 DC 모드인지 또는 Planar 모드 인지 여부를 판단한다(S702). If the left prediction mode and the up prediction mode are the same (S701), it is determined whether the left prediction mode is the DC mode or the planar mode (S702).
왼쪽 예측 모드가 DC 모드 또는 Planar 모드이면 MPM[0]은 Planar 모드로 유도되고, MPM[1]은 DC 모드, MPM[2]는 수직 모드로 유도된다(S703). If the left prediction mode is DC mode or planar mode, MPM [0] is derived to planar mode, MPM [1] is derived to DC mode, and MPM [2] is derived to vertical mode (S703).
만약, 왼쪽 예측 모드가 DC 모드 또는 Planar 모드가 아니면(S702), MPM[0]은 왼쪽 예측 모드로 유도되고, MPM[1] 및 MPM[2]는 왼쪽 예측 모드와 인접한 각도를 갖는 예측 모드로 유도될 수 있다. 예를 들어, 왼쪽 예측 모드가 5이면, MPM[1]은 4, MPM[2]는 6으로 유도될 수 있다. 또한, 왼쪽 예측 모드가 수직 모드이면 MPM[1]은 25, MPM[2]은 27과 같이 인접한 각도를 갖는 예측 모드로 유도될 수 있고, 왼쪽 예측 모드가 수평 모드이면 MPM[1]은 9, MPM[2]은 11과 같이 인접한 각도를 갖는 예측 모드로 유도될 수 있다.If the left prediction mode is not the DC mode or the planar mode (S702), MPM [0] is derived to the left prediction mode, and MPM [1] and MPM [2] are the prediction modes having an angle adjacent to the left prediction mode. Can be induced. For example, if the left prediction mode is 5, MPM [1] may be 4 and MPM [2] may be 6. In addition, if the left prediction mode is a vertical mode, MPM [1] may be derived as a prediction mode having an adjacent angle such as 25 and MPM [2] is 27. If the left prediction mode is a horizontal mode, MPM [1] is 9, MPM [2] may be derived in a prediction mode having an adjacent angle such as 11.
한편, 경계에 존재하는 예측 모드에 대한 인접한 예측 모드 중 일부는 인접한 각도를 가지면서도 도 4에서 허용되는 예측 모드로 표현이 가능해야 한다. 이러한 점을 고려하여 MPM[1] 및 MPM[2]는 수식 1과 같이 유도될 수 있다(S704).Meanwhile, some of the adjacent prediction modes with respect to the prediction mode existing at the boundary should be able to be represented by the prediction modes allowed in FIG. 4 while having adjacent angles. In consideration of this point, MPM [1] and MPM [2] may be derived as shown in Equation 1 (S704).
<수식 1><Equation 1>
MPM[1]= 2 + ((왼쪽 예측 모드 + 29) % 32)MPM [1] = 2 + ((Left Prediction Mode + 29)% 32)
MPM[2]= 2 + ((왼쪽 예측 모드 -2 +1) % 32)MPM [2] = 2 + ((Left Prediction Mode -2 +1)% 32)
정리하면, 왼쪽 예측 모드와 위쪽 예측 모드가 같고, 왼쪽 예측 모드가 Planer 모드 또는 DC 모드 이면, MPM[0]은 Planar 모드, MPM[1]은 DC 모드, MPM[2]는 수직 모드로 유도되며, 왼쪽 예측 모드가 Planer 모드 또는 DC 모드가 아니면 MPM[0]는 왼쪽 예측 모드로 유도되고, MPM[1]과 MPM[2]는 왼쪽 예측 모드와 인접한 각도를 갖는 예측 모드로 유도될 수 있다.In summary, if the left prediction mode is the same as the top prediction mode, and the left prediction mode is Planer mode or DC mode, MPM [0] is in Planar mode, MPM [1] is in DC mode, and MPM [2] is in Vertical mode. If the left prediction mode is not a planer mode or a DC mode, MPM [0] may be derived to the left prediction mode, and MPM [1] and MPM [2] may be derived to the prediction mode having an angle adjacent to the left prediction mode.
도 8과 같이, 왼쪽 예측 모드와 위쪽 예측 모드가 다른 경우(S801), MPM[0]은 왼쪽 예측 모드로 유도되고, MPM[1]은 위쪽 예측 모드로 유도된다(S802). As shown in FIG. 8, when the left prediction mode and the upper prediction mode are different (S801), MPM [0] is derived to the left prediction mode, and MPM [1] is derived to the upper prediction mode (S802).
MPM[2]은 다음과 같이 유도될 수 있다. MPM[0]과 MPM[1]이 Planar모드인지를 판단하고(S803), 판단 결과, MPM[0]과 MPM[1]이 모두 Planar 모드가 아니면, MPM[2]은 Planar 모드로 유도된다(S804). MPM [2] can be derived as follows. It is determined whether the MPM [0] and the MPM [1] are in Planar mode (S803), and as a result of the determination, if both the MPM [0] and the MPM [1] are not in the Planar mode, the MPM [2] is induced to the Planar mode ( S804).
반면, MPM[0]과 MPM[1] 중 어느 하나가 Planar 모드이면, MPM[0]과 MPM[1]이 DC 모드인지 여부를 판단한다(S805). On the other hand, if any one of the MPM [0] and MPM [1] is a planar mode, it is determined whether the MPM [0] and MPM [1] is a DC mode (S805).
MPM[0]과 MPM[1] 모두가 DC 모드가 아니면, MPM[2]는 DC 모드로 유도된다(S806).If both MPM [0] and MPM [1] are not in DC mode, MPM [2] is induced to DC mode (S806).
마지막으로, MPM[0]과 MPM[1]이 Planar 모드와 DC 모드로 구성되어 있는 경우, MPM[2]는 수직 모드로 유도될 수 있다(S807). Finally, when the MPM [0] and the MPM [1] are configured in the planar mode and the DC mode, the MPM [2] may be induced in the vertical mode (S807).
정리하면, 왼쪽 예측 모드와 위쪽 예측 모드가 같지 않으면 MPM[0]과 MPM[1]를 왼쪽 예측 모드와 위쪽 예측 모드로 유도하고, Planar 모드, DC 모드, 수직 모드 중 왼쪽 예측 모드 및 위쪽 예측 모드와 동일하지 않는 하나를 MPM[2]로 유도한다. In summary, if the left prediction mode and the upper prediction mode are not the same, MPM [0] and MPM [1] are derived as the left prediction mode and the up prediction mode, and the left prediction mode and the top prediction mode among the planar mode, the DC mode, and the vertical mode. And one not equal to MPM [2].
표 1은 현재 블록의 인트라 예측 모드를 부호화 및 복호화하는 경우, 적용될 수 있는 신택스 요소의 일 예를 개략적으로 나타낸 것이다. 이러한 신택스 요소는 예측 단위(PU) 또는 코딩 단위(CU) 에서 적용될 수 있다. Table 1 schematically illustrates an example of syntax elements that may be applied when encoding and decoding an intra prediction mode of a current block. This syntax element may be applied in a prediction unit (PU) or a coding unit (CU).
표 1
Figure PCTKR2013002264-appb-T000001
Table 1
Figure PCTKR2013002264-appb-T000001
인코딩 장치는 표 1의 예와 같이 현재 블록에 대한 인트라 예측 모드가 인접한 주변 블록의 인트라 예측 모드로부터 유추될 수 있는지 여부를 나타내는 prev_intra_luma_pred_flag 구문 요소를 부호화할 수 있다. The encoding apparatus may encode a prev_intra_luma_pred_flag syntax element indicating whether the intra prediction mode for the current block can be inferred from the intra prediction mode of the neighboring neighboring block, as in the example of Table 1.
만약, 현재 블록(510)의 인트라 예측 모드가 인접한 주변 블록의 인트라 예측 모드로부터 유추되어 prev_intra_luma_pred_flag 가 1이면, 인코딩 장치는 현재 블록(510)의 인트라 예측 모드가 후보 인트라 예측 모드 중 어느 것인지를 나타내는 정보, 즉 MPP 리스트의 인덱스 정보를 mpm_idx 구문 요소를 이용하여 인코딩한다. If the intra prediction mode of the current block 510 is inferred from the intra prediction mode of the neighboring neighboring block and prev_intra_luma_pred_flag is 1, the encoding apparatus may determine whether the intra prediction mode of the current block 510 is one of the candidate intra prediction modes. That is, the index information of the MPP list is encoded using the mpm_idx syntax element.
반면, 현재 블록(510)의 인트라 예측 모드가 인접한 주변 블록의 인트라 예측 모드로부터 유추될 수 없어 prev_intra_luma_pred_flag가 0이면, 인코딩 장치는 35개의 인트라 예측 모드 중 MPM 리스트에 있는 후보 인트라 예측 모드를 제외한 나머지 예측 모드 중에서 현재 블록(510)에 대한 인트라 예측 모드에 대한 정보를 rem_intra_luma_pred_mode 구문요소를 이용하여 인코딩한다.On the other hand, if prev_intra_luma_pred_flag is 0 because the intra prediction mode of the current block 510 cannot be inferred from the intra prediction mode of the neighboring neighboring block, the encoding apparatus predicts the remaining prediction except the candidate intra prediction mode in the MPM list among the 35 intra prediction modes. Information about the intra prediction mode for the current block 510 among the modes is encoded using the rem_intra_luma_pred_mode syntax element.
역으로, 디코딩 장치는 현재 블록(510)이 인트라 예측이 적용된 블록이면, 현재 블록(510)에 대한 후보 인트라 예측 모드를 유도하여 MPM 리스트를 생성한다. 디코딩 장치는 인코딩 장치로부터 수신된 prev_intra_luma_pred_flag를 디코딩하여, prev_intra_luma_pred_flag가 1이면 현재 블록(510)의 인트라 예측 모드가 인접한 주변 블록의 인트라 예측 모드로부터 유추될 수 있는 것으로 판단하고, mpm_idx를 디코딩한다. mpm_idx를 디코딩함으로써 현재 블록(510)의 인트라 예측 모드를 MPM 리스트 중 어느 하나의 예측 모드로 유도할 수 있다. Conversely, if the current block 510 is a block to which intra prediction is applied, the decoding apparatus derives a candidate intra prediction mode for the current block 510 to generate an MPM list. The decoding apparatus decodes prev_intra_luma_pred_flag received from the encoding apparatus. If prev_intra_luma_pred_flag is 1, the decoding apparatus determines that the intra prediction mode of the current block 510 may be inferred from the intra prediction mode of the adjacent neighboring block, and decodes mpm_idx. By decoding the mpm_idx, the intra prediction mode of the current block 510 may be derived to the prediction mode of any one of the MPM lists.
만약, prev_intra_luma_pred_flag가 0으로 현재 블록(510)의 인트라 예측 모드를 인접한 주변 블록의 인트라 예측 모드로부터 유추할 수 없는 경우, rem_intra_luma_pred_mode 구문요소를 디코딩하여 현재 블록(510)의 인트라 예측 모드를 유도할 수 있다.If prev_intra_luma_pred_flag is 0 and the intra prediction mode of the current block 510 cannot be inferred from the intra prediction mode of the adjacent neighboring block, the intra prediction mode of the current block 510 may be decoded by decoding the rem_intra_luma_pred_mode syntax element. .
상술한 바와 같이, 현재 레이어 내 현재 블록의 인트라 예측을 수행할 때 현재 레이어 내의 예측 모드 정보를 이용하여 MPM 리스트를 형성할 수도 있지만, 다른 레이어의 정보를 이용하여 현재 블록의 예측 모드를 유도하는 인터 레이어 예측을 수행할 수도 있다. As described above, when performing intra prediction of the current block in the current layer, the MPM list may be formed using the prediction mode information in the current layer, but the interleaving mode for deriving the prediction mode of the current block using information of another layer is performed. Layer prediction may be performed.
본 발명의 일 실시예는 참조 픽처의 정보 중 인트라 예측 모드에 대한 정보를 이용하여 현재 블록에 대한 텍스처를 생성할 수 있다.An embodiment of the present invention may generate a texture for a current block by using information about an intra prediction mode among information of a reference picture.
도 9는 본 발명의 일 실시예에 따라 현재 블록과 참조 블록을 도시한 도면이다. 설명의 편의를 위하여 현재 픽처(900)의 현재 블록(910)에 대응하는 참조 픽처(901)의 해당 부분을 참조 블록(911)로 나타낸다. 9 is a diagram illustrating a current block and a reference block according to an embodiment of the present invention. For convenience of explanation, the corresponding part of the reference picture 901 corresponding to the current block 910 of the current picture 900 is shown as a reference block 911.
참조 블록(911)은 현재 픽처(900)와 참조 픽처(901)의 해상도 비율에 따라 그 위치가 정해질 수 있다. 즉, 현재 블록(910)의 위치를 나타내는 좌표는 해상도 비율에 따라 참조 픽처(901)의 특정 좌표에 대응할 수 있다. 이런 참조 블록(911)은 하나의 예측 단위를 포함할 수도 있고, 복수의 예측 단위를 포함할 수도 있다. The reference block 911 may be positioned according to a resolution ratio of the current picture 900 and the reference picture 901. That is, the coordinates indicating the position of the current block 910 may correspond to specific coordinates of the reference picture 901 according to the resolution ratio. This reference block 911 may include one prediction unit or may include a plurality of prediction units.
도 10은 본 발명의 일 실시예에 따라 참조 블록의 예측 모드를 이용하여 인트라 예측을 수행하는 방법을 설명하기 위한 제어 흐름도이다. 10 is a control flowchart illustrating a method of performing intra prediction using a prediction mode of a reference block according to an embodiment of the present invention.
본 실시예는 현재 블록(910)의 인접한 주변 블록(920, 930)으로부터 두 개의 후보 인트라 예측 모드를 유도하고, 추가적으로 참조 블록(911)에 적용된 예측 모드를 이용하여 3개의 후보 인트라 예측 모드를 포함하는 MPM 리스트를 유도한다. 이하, 참조 픽처(901)의 참조 블록(911)에 적용된 예측 모드를 참조 예측 모드로 표현한다. 또한, 주변 블록(920, 930)으로부터 유도된 후보 인트라 예측 모드를 참조 예측 모드와 구별하여 주변 예측 모드로 표현할 수 있다.This embodiment derives two candidate intra prediction modes from adjacent neighboring blocks 920, 930 of the current block 910, and additionally includes three candidate intra prediction modes using the prediction mode applied to the reference block 911. Derived MPM list. Hereinafter, the prediction mode applied to the reference block 911 of the reference picture 901 is expressed as a reference prediction mode. In addition, the candidate intra prediction modes derived from the neighboring blocks 920 and 930 may be expressed as the neighbor prediction mode by distinguishing the reference prediction mode from the reference prediction mode.
우선, 현재 블록(910)에 인접한 주변 블록(920, 930)의 정보를 이용하여 두 개의 주변 예측 모드, 즉 왼쪽 예측 모드와 위쪽 예측 모드가 유도된다(S1001). First, two neighboring prediction modes, that is, the left prediction mode and the up prediction mode, are derived using information of the neighboring blocks 920 and 930 adjacent to the current block 910 (S1001).
현재 블록(910)에 인접한 주변 블록(920, 930)의 정보를 이용하여 두 개의 후보 인트라 예측 모드를 유도하는 과정(S1001)을 도 11을 참조하여 구체적으로 살펴보면 다음과 같다. A process of deriving two candidate intra prediction modes using the information of the neighboring blocks 920 and 930 adjacent to the current block 910 will now be described in detail with reference to FIG. 11.
먼저, 주변 블록(920, 930)로부터 왼쪽 예측 모드와 위쪽 예측 모드를 유도한다. 왼쪽 주변 블록(920)이 유효하고, 왼쪽 주변 블록(920)이 인트라 예측이 적용된 블록이면, 왼쪽 주변 블록(520)에 대한 예측 모드가 왼쪽 예측 모드로 유도된다. First, the left prediction mode and the up prediction mode are derived from the neighboring blocks 920 and 930. If the left neighbor block 920 is valid and the left neighbor block 920 is a block to which intra prediction is applied, the prediction mode for the left neighbor block 520 is derived to the left prediction mode.
위쪽 주변 블록(930)이 유효하고 예측 모드에 대한 정보가 존재하고, 위쪽 주변 블록(930)이 인트라 예측이 적용된 블록이고, 위쪽 주변 블록(930)이 현재 블록(910)과 동일한 코딩 트리 블록(Coding Tree Block) 내에 있는 블록이면 위쪽 주변 블록(530)에 대한 예측 모드가 위쪽 예측 모드로 유도된다.The upper neighbor block 930 is valid and information about the prediction mode exists, the upper neighbor block 930 is a block to which intra prediction is applied, and the upper neighbor block 930 is the same coding tree block as the current block 910 ( If the block is within the Coding Tree Block, the prediction mode for the upper neighboring block 530 is derived to the upper prediction mode.
왼쪽 주변 블록(920)과 위쪽 주변 블록(930)이 상기 조건 중 어느 하나라도 만족하지 못하면, 왼쪽 예측 모드와 위쪽 예측 모드는 기설정된 특정 예측 모드로 유도될 수 있다. 특정 예측 모드는 Planar 모드, DC 모드 및 수직 모드 일 수 있다. 왼쪽 예측 모드는 Planar 모드, DC 모드 및 수직 모드 중 어느 하나로 유도되고, 위쪽 예측 모드는 Planar 모드, DC 모드 및 수직 모드 중 왼쪽 예측 모드와 다른 모드 중 하나로 유도될 수 있다.If the left neighboring block 920 and the upper neighboring block 930 do not satisfy any of the above conditions, the left prediction mode and the up prediction mode may be derived to a predetermined specific prediction mode. Specific prediction modes may be planar mode, DC mode, and vertical mode. The left prediction mode may be derived into any one of the planar mode, the DC mode, and the vertical mode, and the upper prediction mode may be derived into one of the modes different from the left prediction mode of the planar mode, the DC mode, and the vertical mode.
이렇게 유도된 왼쪽 예측 모드와 위쪽 예측 모드가 서로 동일하지 않으면(S1101), MPM[0]은 왼쪽 예측 모드로, MPM[1]은 위쪽 예측 모드로 유도된다(S1102).If the derived left prediction mode and the up prediction mode are not identical to each other (S1101), MPM [0] is derived to the left prediction mode and MPM [1] is derived to the up prediction mode (S1102).
하지만, 왼쪽 예측 모드와 위쪽 예측 모드가 서로 동일하면, 왼쪽 예측 모드 가 Planar 모드인지 여부를 판단하고(S1103), 왼쪽 예측 모드가 Planar 모드가 아니면 MPM[0]은 왼쪽 예측 모드로, MPM[1]은 Planar 모드로 유도된다(S1104). However, if the left prediction mode and the up prediction mode are the same, it is determined whether the left prediction mode is the planar mode (S1103). If the left prediction mode is not the planar mode, MPM [0] is the left prediction mode, and MPM [1 ] Is induced in the planar mode (S1104).
왼쪽 예측 모드가 Planar 모드인지 여부를 판단하는 과정에서, Planar 모드는 예시적인 모드이며 다른 예측 모드로 유도되는 것도 가능하다. In the process of determining whether the left prediction mode is the planar mode, the planar mode is an exemplary mode and may be derived to another prediction mode.
한편, 왼쪽 예측 모드가 Planar 모드라면, MPM[0]은 왼쪽 예측 모드로, MPM[1]는 DC 모드로 유도될 수 있다(S1105). MPM[1]으로 유도되는 DC 모드는 예시적인 예측 모드이며, DC 모드 외 다른 예측 모드로 유도되는 것도 가능하다. On the other hand, if the left prediction mode is the planar mode, MPM [0] may be derived to the left prediction mode and MPM [1] may be derived to the DC mode (S1105). The DC mode derived to the MPM [1] is an exemplary prediction mode, and may be derived to a prediction mode other than the DC mode.
이와 같이, 본 실시예는 현재 블록(910)의 주변 블록(920, 930)을 사용하여 세 개의 후보 인트라 예측 모드 중 MPM[0]와 MPM[1]를 유도한다. As such, the present embodiment uses the neighboring blocks 920 and 930 of the current block 910 to derive the MPM [0] and the MPM [1] among the three candidate intra prediction modes.
한편, MPM 리스트에 포함될 수 있는 두 개의 후보 인트라 예측 모드가 유도되면, 왼쪽 예측 모드와 위쪽 예측 모드가 MPM 리스트에서 몇 번째로 구성될 지에 대한 것은 참조 블록의 예측 모드를 고려하여 후속적으로 인덱싱될 수도 있다. Meanwhile, when two candidate intra prediction modes that can be included in the MPM list are derived, the number of times the left prediction mode and the top prediction mode are configured in the MPM list is subsequently indexed in consideration of the prediction mode of the reference block. It may be.
왼쪽 예측 모드와 위쪽 예측 모드가 유도되면, 다시 도 10으로 돌아가서, 참조 블록(911)의 예측 모드를 이용하여 3개의 후보 인트라 예측 모드를 포함하는 MPM 리스트를 구성한다(S1002).When the left prediction mode and the up prediction mode are derived, the process returns to FIG. 10 again to form an MPM list including three candidate intra prediction modes using the prediction mode of the reference block 911 (S1002).
참조 블록(911)에 대한 예측 모드는 현재 레이어에 대한 디코딩 또는 인코딩 이전에 디코딩 또는 인코딩될 수 있고, 이 과정에서 유도된 참조 블록(911)의 예측 모드는 DPB 또는 메모리에 저장될 수 있다. 저장된 참조 예측 모드는 현재 블록(910)의 MPM 리스트 생성 시 사용될 수 있다. The prediction mode for the reference block 911 may be decoded or encoded before decoding or encoding for the current layer, and the prediction mode of the reference block 911 derived in this process may be stored in the DPB or memory. The stored reference prediction mode may be used when generating the MPM list of the current block 910.
표 2는 본 발명에 따라서, 현재 블록(910)에 대한 인트라 예측 시, 참조 예측 모드를 포함하여 구성되는 MPM 리스트의 예를 나타낸 것이다. Table 2 shows an example of an MPM list including a reference prediction mode in intra prediction for the current block 910 according to the present invention.
표 2
Figure PCTKR2013002264-appb-T000002
TABLE 2
Figure PCTKR2013002264-appb-T000002
표 2에서 왼쪽 예측 모드와 위쪽 예측 모드는 현재 블록(910)의 주변 블록(920, 930)으로부터 유도된 주변 예측 모드를 나타낸다. In Table 2, the left prediction mode and the up prediction mode indicate the neighbor prediction modes derived from the neighboring blocks 920 and 930 of the current block 910.
표 2에서 가장 위에 위치하는 후보에는 가장 작은 값의 인덱스가 할당될 수 있고, 가장 아래에 위치하는 후보에는 가장 큰 값의 인덱스가 할당될 수 있다.In Table 2, the topmost candidate may be assigned the smallest index, and the bottommost candidate may be assigned the largest index.
참조 블록(911)으로부터 유도된 참조 예측 모드는 상기 표 1의 MPM 리스트에서 (a) 내지 (c) 중의 어느 한 순서에 포함될 수 있다. The reference prediction mode derived from the reference block 911 may be included in any one of (a) to (c) in the MPM list of Table 1 above.
참조 예측 모드는 가장 작은 인덱스에 할당되어 MPM 리스트의 (a) 순서에 포함될 수도 있고, 가장 큰 인덱스에 할당되어 MPM 리스트의 (c) 순서에 포함될 수도 있다. 또는 가운데 인덱스에 할당되어 (b) 순서에 포함될 수도 있다.The reference prediction mode may be assigned to the smallest index and included in (a) order of the MPM list, or may be assigned to the largest index and included in (c) order of the MPM list. Or it may be assigned to the middle index and included in the order (b).
이러한 임의적인 인덱스를 갖는 조건은 왼쪽 주변 블록으로부터 유도한 왼쪽 주변 블록의 예측 모드와 위쪽 주변 블록으로부터 유도한 위쪽 예측 모드의 동일성 여부에 따라 결정될 수 있다. 또는 참조 예측 모드와 왼쪽 예측 모드 및 위쪽 예측 모드와의 동일성 여부에 따라 결정될 수도 있다.The condition having such an arbitrary index may be determined according to whether the prediction mode of the left neighboring block derived from the left neighboring block and the upper prediction mode derived from the upper neighboring block are the same. Alternatively, it may be determined according to whether the reference prediction mode is identical to the left prediction mode and the upper prediction mode.
도 12는 참조 예측 모드를 이용하여 MPM 리스트를 구성하는 단계 S1002의 일 례를 구체적으로 설명하기 위한 제어 흐름도이다. 12 is a control flowchart for describing an example of step S1002 of constructing an MPM list using the reference prediction mode in detail.
우선, 참조 예측 모드가 MPM[0] 및 MPM[1] 중 어느 하나와 동일하면(S1201), MPM[0]은 왼쪽 예측 모드로, MPM[1]은 참조 예측 모드로, MPM[2]는 Planar 모드, DC 모드, 수직 모드 등과 같은 하나의 특정 예측 모드로 유도될 수 있다(S1202). First, if the reference prediction mode is the same as either MPM [0] or MPM [1] (S1201), MPM [0] is the left prediction mode, MPM [1] is the reference prediction mode, and MPM [2] is the same. One specific prediction mode such as a planar mode, a DC mode, a vertical mode, and the like may be derived (S1202).
MPM[2]는 왼쪽 예측 모드 및 참조 예측 모드와 동일하지 않은 모드로 유도될 것이다. MPM [2] will be derived in a mode that is not the same as the left prediction mode and the reference prediction mode.
한편, 참조 예측 모드가 MPM[0]와 MPM[1] 중 어느 하나 것과도 동일하지 않은 다른 예측 모드이면, MPM[2]는 참조 예측 모드로 유도될 수 있다(S1203). On the other hand, if the reference prediction mode is another prediction mode that is not the same as either MPM [0] or MPM [1], MPM [2] may be derived to reference prediction mode (S1203).
본 실시예를 정리하면, 현재 블록(910)에 대한 왼쪽 예측 모드와 위쪽 예측 모드를 MPM 리스트의 MPM[0]과 MPM[1]로 구성하고, 참조 예측 모드와 MPM[0] 및MPM[1]의 동일성을 고려하여 참조 예측 모드를 MPM[1] 또는 MPM[2]로 유도한다.In summary, the left prediction mode and the up prediction mode for the current block 910 are configured as MPM [0] and MPM [1] in the MPM list, and the reference prediction mode and MPM [0] and MPM [1 ], The reference prediction mode is derived to MPM [1] or MPM [2] in consideration of the sameness.
이와 같이, 현재 블록(910)의 예측 모드를 유도하는 과정에 참조 픽처(901)의 정보를 이용함으로써 MPM으로 선택할 수 있는 참조 정보의 범위를 넓힐 수 있다. As such, by using the information of the reference picture 901 in the process of deriving the prediction mode of the current block 910, the range of reference information that can be selected by the MPM can be widened.
또한, 주변 블록(920, 930)으로부터 유도한 왼쪽 예측 모드와 위쪽 예측 모드를 이용하여 MPM 리스트를 형성할 때와 동일한 수의 후보 인트라 예측 모드를 사용함으로써 신호의 파싱 효율(parsing throughput)을 향상시키는데 기여할 수 있다.In addition, the parsing throughput of the signal is improved by using the same number of candidate intra prediction modes as the MPM list is formed using the left prediction mode and the up prediction mode derived from the neighboring blocks 920 and 930. Can contribute.
또한, 주변 블록(920, 930)의 예측 모드에 대한 부호화된 정보가 존재하지 않거나 주변 블록(920, 930)이 인트라 예측 모드로 예측되지 않은 경우와 같이 주변 블록(920, 930)으로부터 적절하게 MPM을 유도할 수 없는 경우 참조 예측 모드가 이를 대체할 수 있기 때문에 효율적인 MPM 후보의 선택이 가능하다.In addition, the MPM may be appropriately selected from the neighboring blocks 920 and 930, such as when there is no encoded information on the prediction mode of the neighboring blocks 920 and 930 or when the neighboring blocks 920 and 930 are not predicted in the intra prediction mode. If it cannot be derived, the reference prediction mode can replace it, so that an efficient MPM candidate can be selected.
도 13은 본 발명의 다른 실시예에 따라 참조 블록의 예측 모드를 이용하여 인트라 예측을 수행하는 방법을 설명하기 위한 제어 흐름도이다. 본 실시예에서는 주변 블록(920, 930)으로부터 유도한 세 개의 후보 인트라 예측 모드 중 어느 하나를 참조 예측 모드로 대체한다.13 is a control flowchart illustrating a method of performing intra prediction using a prediction mode of a reference block according to another embodiment of the present invention. In this embodiment, any one of the three candidate intra prediction modes derived from the neighboring blocks 920 and 930 is replaced with the reference prediction mode.
도시된 바와 같이, 우선 왼쪽 예측 모드와 위쪽 예측 모드를 이용하여 세 개의 후보 인트라 예측 모드가 유도된다(S1301). 본 실시예에 따라 후보 인트라 예측 모드를 유도하는 과정은 도 6 내지 도 8을 참조하여 설명된 방법과 중복되므로 생략한다. As shown, first, three candidate intra prediction modes are derived using the left prediction mode and the up prediction mode (S1301). The process of deriving the candidate intra prediction mode according to the present embodiment is omitted because it overlaps with the method described with reference to FIGS. 6 to 8.
그런 후, 세 개의 후보 인트라 예측 모드 중 어느 하나가 참조 예측 모드로 교체된다(S1302). 즉, 세 개의 후보 인트라 예측 모드 중 어느 하나가 참조 예측 모드로 대체됨으로써 참조 예측 모드는 현재 블록(910)에 대한 예측 모드를 유도할 때 활용될 수 있다. Then, any one of the three candidate intra prediction modes is replaced with the reference prediction mode (S1302). That is, any one of the three candidate intra prediction modes is replaced with the reference prediction mode so that the reference prediction mode can be utilized when deriving the prediction mode for the current block 910.
도 14는 본 실시예에 따라 MPM 리스트 중 어느 하나의 후보 인트라 예측를 참조 예측 모드로 대체하는 방법을 설명하기 위한 제어 흐름도이다. 14 is a control flowchart illustrating a method of replacing a candidate intra prediction of any MPM list with a reference prediction mode according to the present embodiment.
우선, 참조 블록(911)로부터 유도된 참조 예측 모드가 MPM 리스트를 구성하는세 개의 후보 인트라 예측 모드 중 어느 하나와 같은지 여부가 판단된다(S1401).First, it is determined whether the reference prediction mode derived from the reference block 911 is equal to any one of the three candidate intra prediction modes constituting the MPM list (S1401).
판단 결과, 참조 예측 모드가 세 개의 후보 인트라 예측 모드 중 어느 하나와 동일하면, MPM 리스트는 그대로 유지된다(S1402). As a result of the determination, if the reference prediction mode is the same as any one of the three candidate intra prediction modes, the MPM list is maintained as it is (S1402).
추가적으로, 참조 예측 모드와 동일한 후보 인트라 예측 모드의 인덱스는 MPM 리스트 내에서 변경될 수 있다. 예를 들어, 참조 예측 모드와 동일한 후보 인트라 예측 모드가 MPM[2] 였을 경우, 참조 예측 모드는 MPM[2]가 아닌 MPM[0] 또는 MPM[1]로 인덱스 될 수 있다. In addition, the index of the candidate intra prediction mode that is the same as the reference prediction mode may be changed in the MPM list. For example, if the candidate intra prediction mode identical to the reference prediction mode was MPM [2], the reference prediction mode may be indexed as MPM [0] or MPM [1] instead of MPM [2].
한편, 참조 예측 모드가 MPM 리스트에 포함되어 있는 후보 인트라 예측 모드 중 어느 하나와도 동일하지 않으면, 참조 예측 모드는 MPM 리스트를 구성하는 어느 하나의 후보 인트라 예측 모드와 교체될 수 있다(S1403). On the other hand, if the reference prediction mode is not the same as any of the candidate intra prediction modes included in the MPM list, the reference prediction mode may be replaced with any one candidate intra prediction mode constituting the MPM list (S1403).
참조 예측 모드는 가장 큰 값을 갖는 후보 인트라 예측 모드와 교체될 수도 있고, MPM[0]과 교체되거나, MPM[2] 중 어느 하나의 후보 인트라 예측 모드와 교체될 수도 있다. The reference prediction mode may be replaced with the candidate intra prediction mode having the largest value, and may be replaced with the MPM [0] or the candidate intra prediction mode of any one of the MPM [2].
또는, 참조 예측 모드는 MPM 리스트를 유도할 때 왼쪽 주변 블록(920)으로부터 유도된 예측 모드 또는 위쪽 주변 블록(930)으로부터 유도된 예측 모드가 아닌 기설정된 특정 예측 모드로 유도된 후보 인트라 예측 모드와 교체될 수도 있다. 예를 들어, DC 모드, Planer 모드 또는 수직 모드와 같이 특정 예측 모드로 유도된 후보 인트라 예측 모드가 참조 예측 모드로 교체될 수 있다.Alternatively, the reference prediction mode may include a candidate intra prediction mode derived from a prediction mode derived from the left neighboring block 920 or a specific prediction mode derived from the upper neighboring block 930 when the MPM list is derived. It may be replaced. For example, a candidate intra prediction mode derived to a specific prediction mode, such as a DC mode, a planer mode, or a vertical mode, may be replaced with a reference prediction mode.
또는, MPM 리스트 중 가장 큰 값을 갖는 후보 인트라 예측 모드는 참조 예측 모드와의 평균값에 가까운 모드로 교체될 수도 있다. 예를 들어, 가장 큰 값을 갖는 후보 인트라 예측 모드가 5이고, 참조 예측 모드가 3이면, 가장 큰 값을 갖는 후보 인트라 예측 모드는 4로 교체될 수 있다.Alternatively, the candidate intra prediction mode having the largest value in the MPM list may be replaced with a mode close to the average value with the reference prediction mode. For example, if the candidate intra prediction mode having the largest value is 5 and the reference prediction mode is 3, the candidate intra prediction mode having the largest value may be replaced with four.
도 10 내지 도 14에 설명된 실시예에 따르면 현재 블록(910)의 예측 모드를 유도하기 위하여 세 개의 후보 인트라 예측 모드를 포함하는 MPM 리스트가 생성된다. 만약, 현재 블록(910)의 인트라 예측 모드가 인접한 주변 블록의 인트라 예측 모드로부터 유추되어 prev_intra_luma_pred_flag 가 1이면, 인코딩 장치는 현재 블록(910)의 인트라 예측 모드가 후보 인트라 예측 모드 중 어느 것인지를 나타내는 정보, 즉 MPP 리스트의 인덱스 정보를 mpm_idx 구문 요소를 이용하여 부호화한다. 이 때 mpm_idx에 대한 정보는 2bit 신호로 인코딩 된다. According to the embodiment described with reference to FIGS. 10-14, an MPM list including three candidate intra prediction modes is generated to derive the prediction mode of the current block 910. If the intra prediction mode of the current block 910 is inferred from the intra prediction mode of the neighboring neighboring block and prev_intra_luma_pred_flag is 1, the encoding apparatus may determine whether the intra prediction mode of the current block 910 is one of the candidate intra prediction modes. That is, the index information of the MPP list is encoded using the mpm_idx syntax element. At this time, the information about mpm_idx is encoded into a 2-bit signal.
또한, 디코딩 장치는 인코딩 장치로부터 수신된 prev_intra_luma_pred_flag 신호를 디코딩하여, prev_intra_luma_pred_flag가 1이면 현재 블록(910)의 인트라 예측 모드가 인접한 주변 블록의 인트라 예측 모드로부터 유추될 수 있는 것으로 판단하고, mpm_idx를 디코딩하여 현재 블록(910)의 인트라 예측 모드를 유도한다. 디코딩 장치가 디코딩할 mpm_idx에 대한 정보 역시 2bit 신호이다. In addition, the decoding apparatus decodes the prev_intra_luma_pred_flag signal received from the encoding apparatus. When prev_intra_luma_pred_flag is 1, the decoding apparatus determines that the intra prediction mode of the current block 910 may be inferred from the intra prediction mode of the neighboring neighboring block, and decodes mpm_idx. Induce the intra prediction mode of the current block 910. Information about mpm_idx to be decoded by the decoding apparatus is also a 2-bit signal.
도 15는 본 발명의 또 다른 실시예에 따라 참조 블록의 예측 모드를 이용하여 인트라 예측을 수행하는 방법을 설명하기 위한 제어 흐름도이다.15 is a control flowchart illustrating a method of performing intra prediction using a prediction mode of a reference block according to another embodiment of the present invention.
본 실시예에 따르면, 왼쪽 주변 블록(920)와 위쪽 주변 블록(930)의 정보를 이용한 세 개의 후보 인트라 예측 모드가 유도되고(S1501), 참조 블록(911)의 예측 모드를 이용하여 네 개의 후보 인트라 예측 모드를 포함하는 MPM 리스트가 생성된다(S1502).According to the present embodiment, three candidate intra prediction modes using information of the left neighboring block 920 and the upper neighboring block 930 are derived (S1501), and four candidates are obtained using the prediction mode of the reference block 911. An MPM list including the intra prediction mode is generated (S1502).
도 6 내지 8에 설명된 방법을 통하여 세 개의 후보 인트라 예측 모드를 유도하고, 참조 예측 모드를 포함하는 새로운 MPM 리스트를 생성함으로써 현재 블록(910)의 예측 모드를 유도하기 위한 MPM 후보 수를 확장하면서도 기존 방식으로 유도한 MPM을 교체하거나 변형하지 않을 수 있다. 즉, MPM 리스트에 포함되는 후보 예측 모드의 수가 증가하였기 때문에 현재 블록(910)의 예측 모드가 MPM 리스트에 포함될 가능성이 높아질 수 있다. By extending the three candidate intra prediction modes and generating a new MPM list including the reference prediction modes through the method described with reference to FIGS. 6 to 8, while extending the number of MPM candidates for deriving the prediction mode of the current block 910 It is not possible to replace or modify the MPM derived in the conventional way. That is, since the number of candidate prediction modes included in the MPM list has increased, the possibility that the prediction mode of the current block 910 is included in the MPM list may increase.
표 3는 본 발명의 일 예에 따라서, 현재 블록(910)에 대한 인트라 예측 시, 참조 예측 모드를 포함하여 구성되는 MPM 리스트를 나타낸 것이다. Table 3 shows an MPM list including a reference prediction mode in intra prediction for the current block 910 according to an example of the present invention.
표 3
Figure PCTKR2013002264-appb-T000003
TABLE 3
Figure PCTKR2013002264-appb-T000003
표 3에서 첫 번째 내지 세 번째 후보 인트라 예측 모드는 현재 블록(910)의 주변 블록(920, 930)으로부터 유도된 세 개의 후보 인트라 예측 모드를 나타낸다.In Table 3, the first to third candidate intra prediction modes indicate three candidate intra prediction modes derived from the neighboring blocks 920 and 930 of the current block 910.
표 3에서 가장 위에 위치하는 후보에는 가장 작은 값의 인덱스가 할당될 수 있고, 가장 아래에 위치하는 후보에는 가장 큰 값의 인덱스가 할당될 수 있다.In Table 3, the topmost candidate may be assigned the smallest index, and the bottommost candidate may be assigned the largest index.
참조 블록(911)으로부터 유도된 참조 예측 모드는 상기 표 3의 MPM 리스트에서 (a) 내지 (d) 중의 어느 한 순서에 포함될 수 있다. The reference prediction mode derived from the reference block 911 may be included in any one of (a) to (d) in the MPM list of Table 3 above.
참조 예측 모드는 가장 작은 인덱스에 할당되어 MPM 리스트의 (a) 순서에 포함될 수도 있고, 가장 큰 인덱스에 할당되어 MPM 리스트의 (d) 순서에 포함될 수도 있다. 또는 중간 인덱스에 할당되어 (b) 또는 (c) 순서에 포함될 수도 있다.The reference prediction mode may be assigned to the smallest index and included in (a) order of the MPM list, or may be assigned to the largest index and included in (d) order of the MPM list. Or it may be assigned to an intermediate index and included in the order (b) or (c).
이러한 임의적인 인덱스를 갖는 조건은 왼쪽 주변 블록으로부터 유도한 왼쪽 주변 블록의 예측 모드와 위쪽 주변 블록으로부터 유도한 위쪽 예측 모드의 동일성 여부에 따라 결정될 수 있다. 또는 참조 예측 모드와 왼쪽 예측 모드 및 위쪽 예측 모드와의 동일성 여부에 따라 결정될 수도 있다.The condition having such an arbitrary index may be determined according to whether the prediction mode of the left neighboring block derived from the left neighboring block and the upper prediction mode derived from the upper neighboring block are the same. Alternatively, it may be determined according to whether the reference prediction mode is identical to the left prediction mode and the upper prediction mode.
도 16은 참조 예측 모드를 포함하는 네 개의 후보 인트라 예측 모드를 갖는 MPM 리스트를 유도하는 방법을 예시적으로 설명하기 위한 제어 흐름도이다. FIG. 16 is a control flowchart for explaining a method of deriving an MPM list having four candidate intra prediction modes including a reference prediction mode.
우선, 참조 블록(911)로부터 유도된 참조 예측 모드가 세 개의 후보 인트라 예측 모드와 동일한지 여부가 판단된다(S1601).First, it is determined whether the reference prediction mode derived from the reference block 911 is the same as the three candidate intra prediction modes (S1601).
판단 결과, 참조 예측 모드가 세 개의 후보 인트라 예측 모드 중 어느 하나와도 동일하지 않으면, 참조 예측 모드는 네 번째 후보 MPM, 즉 MPM[3]으로 유도될 수 있다(S1602). As a result of the determination, if the reference prediction mode is not the same as any of the three candidate intra prediction modes, the reference prediction mode may be derived to the fourth candidate MPM, that is, MPM [3] (S1602).
만약, 참조 예측 모드가 MPM 리스트에 포함되어 있는 세 개의 후보 인트라 예측 모드 중 어느 하나와 동일하면, MPM[0], MPM[1], MPM[2]로 유도된 세 개의 후보 인트라 예측 모드가 Planar 모드, DC 모드, 수직 모드만으로 구성되었는지 여부가 판단된다(S1603). If the reference prediction mode is the same as any one of the three candidate intra prediction modes included in the MPM list, three candidate intra prediction modes derived from MPM [0], MPM [1], and MPM [2] are Planar. It is determined whether only the mode, the DC mode, and the vertical mode are configured (S1603).
참조 예측 모드를 포함하는 MPM[0], MPM[1], MPM[2]로 유도된 후보 인트라 예측 모드가 모두 Planar 모드, DC 모드, 수직 모드 중 어느 하나와 동일하다면, 네 번째 MPM[3]는 Planar 모드, DC 모드, 수직 모드가 아닌 다른 특정 예측 모드로 설정될 수 있다. 이 경우, 특정 예측 모드는 실제 예측 모드가 아닌 가상의 예측 모드, 즉 더미 모드로 유도될 수 있다(1604).If the candidate intra prediction modes derived from MPM [0], MPM [1], and MPM [2] including the reference prediction modes are all the same as either Planar mode, DC mode, or vertical mode, then the fourth MPM [3] May be set to a specific prediction mode other than planar mode, DC mode, and vertical mode. In this case, the specific prediction mode may be induced to the virtual prediction mode, that is, the dummy mode, not the actual prediction mode (1604).
하지만, MPM[0], MPM[1], MPM[2]로 유도된 참조 예측 모드가 Planar 모드, DC 모드, 수직 모드만으로 구성된 것이 아니라면, 네 번째 MPM[3]는 MPM[0], MPM[1], MPM[2]로 유도된 후보 인트라 예측 모드와 중복되지 않는 Planar 모드, DC 모드, 수직 모드 중 어느 하나로 유도될 수 있다(S1605).However, if the reference prediction mode induced by MPM [0], MPM [1], MPM [2] is not composed of only Planar mode, DC mode, and vertical mode, then the fourth MPM [3] is MPM [0], MPM [ 1] may be derived from any one of a planar mode, a DC mode, and a vertical mode that do not overlap with the candidate intra prediction mode induced by the MPM [2] (S1605).
본 발명의 일 예에 따르면 현재 블록(910)의 예측 모드를 예측하기 위하여 네 개의 후보 인트라 예측 모드를 포함하는 MPM 리스트가 생성된다. 인코딩 장치는 현재 블록(910)의 인트라 예측 모드가 후보 인트라 예측 모드 중 어느 것인지를 나타내는 정보, 즉 MPP 리스트의 인덱스 정보를 mpm_idx 구문 요소를 이용하여 인트라 예측 모드를 부호화한다. 이 때 mpm_idx에 대한 정보는 2bit 신호로 인코딩 된다. According to an example of the present invention, an MPM list including four candidate intra prediction modes is generated to predict the prediction mode of the current block 910. The encoding apparatus encodes the intra prediction mode by using the mpm_idx syntax element for information indicating which intra prediction mode of the current block 910 is the candidate intra prediction mode, that is, index information of the MPP list. At this time, the information about mpm_idx is encoded into a 2-bit signal.
또한, 디코딩 장치는 인코딩 장치로부터 수신된 prev_intra_luma_pred_flag를 디코딩하여, prev_intra_luma_pred_flag가 1이면 현재 블록(910)의 인트라 예측 모드가 인접한 주변 블록의 인트라 예측 모드로부터 유추될 수 있는 것으로 판단하고, mpm_idx를 디코딩 한다. 디코딩 장치가 디코딩할 mpm_idx에 대한 정보 역시 2bit 신호이다. In addition, the decoding apparatus decodes prev_intra_luma_pred_flag received from the encoding apparatus. If prev_intra_luma_pred_flag is 1, the decoding apparatus determines that the intra prediction mode of the current block 910 may be inferred from the intra prediction mode of the neighboring neighboring block, and decodes mpm_idx. Information about mpm_idx to be decoded by the decoding apparatus is also a 2-bit signal.
이처럼, 본 실시예에 따른 mpm_idx에 대한 정보는 최대 2 bit 신호일 수 있기 때문에 mpm_idx을 시그널링 할 때 세 개의 후보 인트라 예측 모드를 이용하는 경우와 동일한 비트수가 사용될 수 있다. 즉, 네 개의 후보 인트라 예측 모드를 이용하여 현재 블록(910)의 예측 모드를 예측하더라도 시그널링을 위한 비트 추가는 발생하지 않는다.As such, since the information on the mpm_idx according to the present embodiment may be a maximum 2 bit signal, the same number of bits as the case of using three candidate intra prediction modes may be used when signaling the mpm_idx. That is, even if the prediction mode of the current block 910 is predicted using the four candidate intra prediction modes, bit addition for signaling does not occur.
도 17은 본 발명의 또 다른 실시예에 따른 참조 블록을 도시한 도면이다. 17 illustrates a reference block according to another embodiment of the present invention.
상기 설명된 실시예와 같이 현재 블록에 대한 예측 모드를 유도하기 하여 참조 블록(1700)의 참조 예측 모드를 이용하는 경우 참조 블록(1700)은 현재 픽처와 참조 픽처의 해상도 비율에 따라 그 영역이 지정된다. 이 경우, 현재 블록에 대응하는 참조 블록(1700)이 하나의 예측 모드를 갖는 하나의 PU가 아닌, 복수의 PU를 포함하는 블록 일 수 있다. 즉, 참조 블록(1700)은 복수의 PU로 파티셔닝 된 영역일 수 있다. When using the reference prediction mode of the reference block 1700 by deriving the prediction mode for the current block as in the above-described embodiment, the reference block 1700 is designated according to the resolution ratio of the current picture and the reference picture. . In this case, the reference block 1700 corresponding to the current block may be a block including a plurality of PUs instead of one PU having one prediction mode. That is, the reference block 1700 may be an area partitioned into a plurality of PUs.
이 경우, 본 실시예에 따른 예측부는 복수의 PU의 예측 모드에 기초하여 참조 블록(1700)의 참조 예측 모드를 유도할 수 있다.In this case, the prediction unit according to the present embodiment may derive the reference prediction mode of the reference block 1700 based on the prediction modes of the plurality of PUs.
참조 블록(1700)은 도 17의 <a>와 같이 동일한 크기의 PU를 포함할 수도 있다. 또는 도 17의 <b>와 같이 참조 블록(1700)에 포함되는 PU의 크기가 서로 다를 수도 있다. The reference block 1700 may include a PU having the same size as shown in <a> of FIG. 17. Alternatively, as illustrated in <b> of FIG. 17, sizes of PUs included in the reference block 1700 may be different.
설명의 편의를 위하여 복수의 PU는 참조 블록(1700)의 좌측/상단으로부터 우측/하단 방향으로 그 순서가 정해질 수 있다. <a>의 경우, 좌측/상단 PU는 PU 0(1701), 우측/상단 PU 는 PU 1(PU 2), 좌측/하단 PU는 PU 2(1703), 우측/하단 PU는 PU 3(1704)로 오더링 될 수 있다. <b>의 경우도 유사하게 오더링하면 모두 6개의 PU(PU0 내지 PU5)가 참조 블록(1700)에 포함될 수 있다. For convenience of description, the plurality of PUs may be ordered from the left / top side to the right / bottom direction of the reference block 1700. For <a>, the left / top PU is PU 0 1701, the right / top PU is PU 1 (PU 2), the left / bottom PU is PU 2 (1703), and the right / bottom PU is PU 3 (1704). Can be ordered as Similarly, in case of <b>, all six PUs PU0 to PU5 may be included in the reference block 1700.
복수의 PU 의 예측 모드 중 가장 낮은 인덱스를 갖는, 즉 가장 작은 값의 예측 모드가 참조 블록(1700)을 대표하는 예측 모드로 유도될 수 있다. A prediction mode having the lowest index, that is, the smallest value, among the prediction modes of the plurality of PUs may be derived to the prediction mode representing the reference block 1700.
또는, 복수의 PU 중 가장 낮은 순서를 갖는 PU의 예측 모드가 참조 블록(1700)을 대표하는 예측 모드로 유도될 수 있다. 즉, 현재 블록의 시작점과 정확히 대응되는 참조 픽처의 시작점 위에 존재하는 PU의 예측 모드가 참조 블록(1700)의 예측 모드로 유도될 수 있으며, 이 경우 도 17의 <a>에서 PU 0(1701)이 참조 블록(1700)을 대표하는 예측 모드로 유도될 수 있다. Alternatively, the prediction mode of the PU having the lowest order among the plurality of PUs may be derived to the prediction mode representing the reference block 1700. That is, the prediction mode of the PU existing on the starting point of the reference picture that corresponds exactly to the starting point of the current block may be derived into the prediction mode of the reference block 1700, in which case PU 01701 in FIG. It can be derived to the prediction mode representing this reference block 1700.
또는, 현재 블록의 위치를 대표하는 좌표에 대응하는 참조 픽처의 위치에 존재하는 PU의 예측 모드가 참조 블록(1700)을 대표하는 예측 모드로 유도될 수 있다. 예를 들어 현재 블록의 위치를 최상단/최좌측의 좌표로 나타내는 경우, PU0의 예측 모드가 참조 블록(1700)을 대표하는 예측 모드로 유도될 수 있다.Alternatively, the prediction mode of the PU present at the location of the reference picture corresponding to the coordinate representing the location of the current block may be derived to the prediction mode representing the reference block 1700. For example, when the position of the current block is represented by the uppermost / leftmost coordinates, the prediction mode of PU0 may be derived to the prediction mode representing the reference block 1700.
또한, 가장 빈도수가 높은 예측 모드가 참조 블록(1700)을 대표하는 예측 모드로 유도될 수도 있다. 예를 들어 복수의 PU에 대한 예측 모드가 Planar 모드 또는 DC 모드를 포함하는 경우, Planar 모드 또는 DC 모드로 참조 예측 모드로 유도될 가능성이 높다.In addition, the most frequent prediction mode may be derived to the prediction mode representing the reference block 1700. For example, when the prediction mode for a plurality of PUs includes a planar mode or a DC mode, it is highly likely to be derived into the reference prediction mode in the planar mode or the DC mode.
또 다른 일 예에 따르면, 도 17의 <b>와 같이 참조 블록(1700)에 포함되는 PU의 크기가 서로 동일하지 않는 경우, 참조 블록(1700)의 가장 넒은 영역을 점유하는 PU의 예측 모드가 참조 블록(1700)을 대표하는 예측 모드로 유도로 유도될 수도 있다. 이 경우, <b>의 PU4의 예측 모드가 참조 블록(1700)을 대표하는 예측 모드로 유도 될 것이다.According to another example, when the sizes of the PUs included in the reference block 1700 are not equal to each other as shown in FIG. 17B, the prediction mode of the PU occupying the shortest region of the reference block 1700 may be It may be derived with derivation in a prediction mode representative of reference block 1700. In this case, the prediction mode of PU4 of <b> will be derived to the prediction mode representing the reference block 1700.
또한 다른 예로, 복수의 PU 의 예측 모드의 평균값이 연산되고, 평균값에 가장 인접한 예측 모드 또는 평균값의 몫에 대응하는 예측 모드가 참조 블록(1700)을 대표하는 예측 모드로 유도될 수도 있다.As another example, an average value of prediction modes of a plurality of PUs may be calculated, and a prediction mode closest to the average value or a prediction mode corresponding to the quotient of the average value may be derived to the prediction mode representing the reference block 1700.
상술한 참조 예측 모드의 유도 방법은 예시적인 것으로 기술된 방법들을 조합하거나 이용하여 참조 예측 모드가 유도될 수도 있다. The above-described derivation method of the reference prediction mode may be derived by combining or using the methods described as exemplary.
도 18은 본 발명의 일 실시예에 따른 예측 모드의 시그널링 방법을 설명하기 위한 제어 흐름도이다. 본 실시예에서는 MPM 리스트의 후보 인트라 예측 모드와 독립적으로 참조 블록의 참조 예측 모드가 현재 블록의 예측 모드임이 시그널링 된다. 18 is a control flowchart illustrating a signaling method of a prediction mode according to an embodiment of the present invention. In the present embodiment, the reference prediction mode of the reference block is signaled that the prediction mode of the current block is independent of the candidate intra prediction mode of the MPM list.
참조 블록의 참조 예측 모드가 현재 블록의 예측 모드이면 인코딩 장치는 도시된 바와 같이, 참조 블록의 참조 예측 모드가 현재 블록의 예측 모드임을 시그널링 한다(S1801). If the reference prediction mode of the reference block is the prediction mode of the current block, the encoding apparatus signals that the reference prediction mode of the reference block is the prediction mode of the current block, as shown.
이러한 시그널링은 참조 블록의 참조 예측 모드가 현재 블록의 예측 모드인지 여부를 알려주는 플래그(flag)를 통하여 구현될 수 있다. Such signaling may be implemented through a flag indicating whether the reference prediction mode of the reference block is the prediction mode of the current block.
인코딩 장치는 상기 플래그 전송 후 참조 예측 모드에 대한 정보를 독립적인 신호로 인코딩하여 디코딩 장치로 전송할 수 있다(S1802).After transmitting the flag, the encoding apparatus may encode the information about the reference prediction mode into an independent signal and transmit the encoded information to the decoding apparatus (S1802).
디코딩 장치는 참조 예측 모드가 현재 블록의 예측 모드인지 여부를 알려주는 플래그(flag)를 통하여 참조 예측 모드가 현재 블록의 예측 모드인지 여부를 확인한 뒤, 플래그가 1이면 참조 예측 모드에 대한 정보를 수신하여 현재 블록의 예측 모드를 유도할 수 있다. The decoding apparatus determines whether the reference prediction mode is the prediction mode of the current block through a flag indicating whether the reference prediction mode is the prediction mode of the current block, and if the flag is 1, receives the information about the reference prediction mode. To derive the prediction mode of the current block.
도 19는 본 발명의 다른 실시예에 따른 예측 모드의 시그널링 방법을 설명하기 위한 제어 흐름도이다.19 is a control flowchart illustrating a signaling method of a prediction mode according to another embodiment of the present invention.
참조 블록의 참조 예측 모드가 현재 블록의 예측 모드이면(S1901), 인코딩 장치는 참조 예측 모드 정보를 독립적인 신호로 인코딩하여 디코딩 장치로 전송할 수 있다(S1902). 이 때, 현재 레이어의 후보 인트라 예측 모드로부터 인트라 예측 모드를 선택할 것인지, 참조 레이어의 참조 예측 모드를 인트라 예측 모드로 선택할 것인지를 나타내는 플래그를 이용하여 참조 블록의 참조 예측 모드가 현재 블록 예측 모드임을 시그널링 할 수 있다. If the reference prediction mode of the reference block is the prediction mode of the current block (S1901), the encoding apparatus may encode the reference prediction mode information into an independent signal and transmit it to the decoding apparatus (S1902). In this case, signaling that the reference prediction mode of the reference block is the current block prediction mode by using a flag indicating whether to select an intra prediction mode from the candidate intra prediction mode of the current layer or an intra prediction mode of the reference layer. can do.
상기 플래그는 전송되는 신호량을 줄이기 위하여 현재 블록에 대한 예측 모드가 현재 픽처에서 유도된 후보 인트라 예측 모드 증에서 선택되지 않은 경우에만 인코딩 장치로부터 디코딩 장치로 전송될 수 있다.The flag may be transmitted from the encoding device to the decoding device only when the prediction mode for the current block is not selected in the candidate intra prediction mode increment derived from the current picture in order to reduce the amount of transmitted signals.
참조 블록의 참조 예측 모드가 현재 블록의 예측 모드가 아니면(S1901), 현재 블록의 예측 모드가 현재 픽처에서 유도한 후보 인트라 예측 모드에서 유추될 수 있는지를 나타내는 신호(prev_intra_luma_pred_flag)가 시그널링 될 수 있다. If the reference prediction mode of the reference block is not the prediction mode of the current block (S1901), a signal prev_intra_luma_pred_flag indicating whether the prediction mode of the current block can be inferred from the candidate intra prediction mode derived from the current picture may be signaled.
현재 블록의 예측 모드가 현재 픽처에서 유도한 후보 인트라 예측 모드에서 유추되면(S1903), 인코딩 장치는 현재 블록에 대한 예측 모드를 mpm_idx 구문요소를 이용하여 시그널링 한다(S1904).If the prediction mode of the current block is inferred from the candidate intra prediction mode derived from the current picture (S1903), the encoding apparatus signals the prediction mode for the current block using mpm_idx syntax elements (S1904).
만약, 현재 블록의 예측 모드가 현재 픽처에서 유도한 후보 인트라 예측 모드에서 유추되지 않으면(S1903), 인코딩 장치는 rem_intra_luma_pred_mode 구문요소를 이용하여 현재 블록에 대한 예측모드 자체를 시그널링 한다(S1905).If the prediction mode of the current block is not inferred in the candidate intra prediction mode derived from the current picture (S1903), the encoding apparatus signals the prediction mode for the current block by using the rem_intra_luma_pred_mode syntax element (S1905).
디코딩 장치는 현재 레이어의 후보 인트라 예측 모드로부터 인트라 예측 모드를 선택할 것인지, 참조 레이어의 참조 예측 모드를 인트라 예측 모드로 선택할 것인지를 나타내는 플래그를 수신하고, 플래그가 1이면 참조 예측 모드 정보를 디코딩하여 현재 블록에 대한 예측 모드를 유도한다. The decoding apparatus receives a flag indicating whether to select the intra prediction mode from the candidate intra prediction mode of the current layer or the reference prediction mode of the reference layer, and if the flag is 1, decodes the reference prediction mode information to decode the current prediction mode. Deduce the prediction mode for the block.
참조 블록의 참조 예측 모드가 현재 블록의 예측 모드가 아니어서 플래그가 0이면, 디코딩 장치는 현재 블록의 예측 모드가 현재 픽처에서 유도한 후보 인트라 예측 모드에서 유추될 수 있는지를 나타내는 신호를 디코딩 한다. If the flag is 0 because the reference prediction mode of the reference block is not the prediction mode of the current block, the decoding apparatus decodes a signal indicating whether the prediction mode of the current block can be inferred from the candidate intra prediction mode derived from the current picture.
현재 블록의 예측 모드가 현재 픽처에서 유도한 후보 인트라 예측 모드에서 유추되는 경우, 디코딩 장치는 mpm_idx 구문요소를 디코딩 하여 현재 블록의 예측 모드를 유도하고, 현재 블록의 예측 모드가 현재 픽처에서 유도한 후보 인트라 예측 모드에서 유추되지 않는 경우 rem_intra_luma_pred_mode 구문요소를 디코딩 하여 현재 블록의 예측 모드를 유도한다.If the prediction mode of the current block is inferred from the candidate intra prediction mode derived from the current picture, the decoding apparatus decodes the mpm_idx syntax element to derive the prediction mode of the current block, and the prediction mode of the current block is a candidate derived from the current picture. If it is not inferred in the intra prediction mode, the rem_intra_luma_pred_mode syntax element is decoded to derive the prediction mode of the current block.
도 20은 본 발명의 또 다른 실시예에 따른 예측 모드의 부호화 및 복호화를 설명하기 위한 제어 흐름도이다. 20 is a control flowchart for explaining encoding and decoding of a prediction mode according to another embodiment of the present invention.
본 실시예에 따르면, 인코딩 장치는 현재 블록의 예측 모드가 현재 픽처에서 유도한 후보 인트라 예측 모드로부터 유추되는지 여부를 나타내는 플래그 신호를 먼저 시그널링 한다. According to the present embodiment, the encoding apparatus first signals a flag signal indicating whether the prediction mode of the current block is inferred from the candidate intra prediction mode derived from the current picture.
현재 블록의 예측 모드가 현재 픽처에서 유도한 후보 인트라 예측 모드로부터 유추되어 플래그가 1이면(S2001), 인코딩 장치는 현재 블록에 대한 예측 모드를 mpm_idx 와 같은 구문요소를 이용하여 시그널링 한다(S2002).If the prediction mode of the current block is inferred from the candidate intra prediction mode derived from the current picture and the flag is 1 (S2001), the encoding apparatus signals the prediction mode for the current block using a syntax element such as mpm_idx (S2002).
현재 블록의 예측 모드가 현재 픽처에서 유도한 후보 인트라 예측 모드로부터 유추되지 않아 플래그 0이면, 인코딩 장치는 현재 블록에 대한 예측 모드가 참조 예측 모드로부터 유도될 수 있는지 여부를 나타내는 플래그를 시그널링 할 수 있다. If the prediction mode of the current block is not inferred from the candidate intra prediction mode derived from the current picture and the flag is 0, the encoding apparatus may signal a flag indicating whether the prediction mode for the current block can be derived from the reference prediction mode. .
현재 블록에 대한 예측 모드가 참조 예측 모드로부터 유도될 수 있다면(S2003), 인코딩 장치는 참조 예측 모드를 시그널링 한다(S2004).If the prediction mode for the current block can be derived from the reference prediction mode (S2003), the encoding apparatus signals the reference prediction mode (S2004).
반면, 현재 블록에 대한 예측 모드가 참조 예측 모드로부터 유도될 수 없다면(S2003), 인코딩 장치는 rem_intra_luma_pred_mode 구문요소를 이용하여 예측모드 자체를 시그널링 한다(S2005).On the other hand, if the prediction mode for the current block cannot be derived from the reference prediction mode (S2003), the encoding apparatus signals the prediction mode itself using the rem_intra_luma_pred_mode syntax element (S2005).
역으로, 디코딩 장치는 현재 블록의 예측 모드가 현재 픽처에서 유도한 후보 인트라 예측 모드에서 유추될 수 있는지를 나타내는 플래그를 수신하고, 플래그가 1이면, mpm_idx 구문요소를 디코딩 하여 현재 블록의 예측 모드를 유도한다.Conversely, the decoding apparatus receives a flag indicating whether the prediction mode of the current block can be inferred from the candidate intra prediction mode derived from the current picture. Induce.
만약 플래그가 0이면, 디코딩 장치는 참조 레이어의 참조 예측 모드가 현재 블록의 인트라 예측 모드인지 여부를 나타내는 플래그를 수신하고, 플래그가 1이면 참조 예측 모드 정보를 디코딩하여 현재 블록에 대한 예측 모드를 유도한다. If the flag is 0, the decoding apparatus receives a flag indicating whether the reference prediction mode of the reference layer is the intra prediction mode of the current block, and if the flag is 1, decodes the reference prediction mode information to derive the prediction mode for the current block. do.
참조 블록의 참조 예측 모드가 현재 블록의 예측 모드가 아니어서 플래그가 0이면, 디코딩 장치는 현재 블록의 예측 모드에 대한 정보를 디코딩하여 현재 블록의 예측 모드를 유도한다. If the flag is 0 because the reference prediction mode of the reference block is not the prediction mode of the current block, the decoding apparatus decodes information about the prediction mode of the current block to derive the prediction mode of the current block.
본 발명의 다른 실시예에 따르면, 두 개 이상의 참조 예측 모드 정보를 유도하는 것도 가능하다. 예를 들어 현재 픽처에서 유도한 하나의 후보 인트라 예측 모드와 참조 픽처로부터 유도한 두 개의 참조 예측 모드로 MPM 리스트를 구성할 수도 있고, 또는 현재 픽처에서 유도한 두 개의 후보 인트라 예측 모드와 참조 픽처로부터 유도한 두 개의 참조 예측 모드로 MPM 리스트를 구성할 수도 있을 것이다. According to another embodiment of the present invention, it is also possible to derive two or more pieces of reference prediction mode information. For example, the MPM list may be composed of one candidate intra prediction mode derived from the current picture and two reference prediction modes derived from the reference picture, or from two candidate intra prediction modes and reference pictures derived from the current picture. The MPM list may be constructed with two derived reference prediction modes.
본 명세서에서는 설명의 편의를 위해, 스케일러블 비디오 코딩이 지원되는 멀티 레이어 구조에서 각 레이어별로 특정 시점(예컨대, POC(Picture Order Count) 혹은 AU(Access Unit))에 복원되는 샘플들의 어레이를 ‘픽처’라고 표현하였다. 이와 관련하여, 디코딩 되어 출력되는 레이어(현재 레이어)에서 특정 시점에 복원된 혹은 복원되는 전체 샘플 어레이를 픽처라고 하여, 참조되는 레이어의 복원된 혹은 복원되는 샘플 어레이와 구분할 수도 있다. 참조되는 레이어에서 특정 시점에 복원된 혹은 복원되는 샘플 어레이는 리프리젠테이션(representation), 참조 레이어 픽처, 참조 레이어 샘플 어레이, 참조 레이어 텍스처 등으로 칭할 수도 있다. 이 경우, 하나의 AU에 대해서는 현재 레이어에서 복원된 하나의 디코딩(인코딩)된 픽처가 출력될 수 있다.In the present specification, for convenience of description, an array of samples reconstructed at a specific time point (for example, a picture order count (POC) or an access unit (AU)) for each layer in a multi-layer structure in which scalable video coding is supported is referred to as a 'picture. ' In this regard, the entire sample array reconstructed or reconstructed at a specific time in the decoded and output layer (current layer) may be called a picture and may be distinguished from the reconstructed or reconstructed sample array of the referenced layer. The sample array reconstructed or reconstructed at a specific time point in the referenced layer may be referred to as a representation, a reference layer picture, a reference layer sample array, a reference layer texture, or the like. In this case, one decoded picture reconstructed in the current layer may be output for one AU.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함할 수 있으므로 각 실시예의 조합 역시 본 발명의 일 실시예로서 이해되어야 할 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다. In the exemplary system described above, the methods are described based on a flowchart as a series of steps or blocks, but the invention is not limited to the order of steps, and certain steps may occur in a different order or concurrently with other steps than those described above. Can be. In addition, since the above-described embodiments may include examples of various aspects, a combination of each embodiment should also be understood as an embodiment of the present invention. Accordingly, it is intended that the present invention cover all other replacements, modifications and variations that fall within the scope of the following claims.

Claims (15)

  1. 현재 블록과 인접한 주변 블록으로부터 주변 예측 모드를 유도하는 단계와;Deriving a neighboring prediction mode from a neighboring block adjacent to the current block;
    상기 현재 블록에 대응하는 참조 레이어 상의 참조 블록으로부터 참조 예측 모드를 유도하는 단계와; Deriving a reference prediction mode from a reference block on a reference layer corresponding to the current block;
    상기 주변 예측 모드와 상기 참조 예측 모드에 기초하여 상기 현재 블록에 대한 후보 인트라 예측 모드를 유도하는 단계를 포함하는 것을 특징으로 하는 인터 레이어 예측 방법.Deriving a candidate intra prediction mode for the current block based on the neighbor prediction mode and the reference prediction mode.
  2. 제1항에 있어서,The method of claim 1,
    상기 주변 예측 모드를 유도하는 단계는 왼쪽 예측 모드와 위쪽 예측 모드를 유도하고,Deriving the neighboring prediction mode is derived from the left prediction mode and the upper prediction mode,
    상기 왼쪽 예측 모드, 상기 위쪽 예측 모드 및 상기 참조 예측 모드에 기초하여 MPM 리스트를 유도하는 단계를 더 포함하는 것을 특징으로 하는 인터 레이어 예측 방법.And deriving an MPM list based on the left prediction mode, the up prediction mode, and the reference prediction mode.
  3. 제2항에 있어서,The method of claim 2,
    상기 참조 예측 모드는 상기 MPM 리스트의 첫 번째 후보 인트라 예측 모드 및 마지막 후보 인트라 예측 모드 중 어느 하나로 유도되는 것을 특징으로 하는 인터 레이어 예측 방법.The reference prediction mode is derived from any one of the first candidate intra prediction mode and the last candidate intra prediction mode of the MPM list.
  4. 제1항에 있어서,The method of claim 1,
    상기 주변 예측 모드를 유도하는 단계는 세 개의 주변 예측 모드를 유도하는 것을 포함하고, Deriving the surrounding prediction mode comprises deriving three surrounding prediction modes,
    상기 세 개의 주변 예측 모드 중 어느 하나를 상기 참조 예측 모드로 교체하는 단계를 더 포함하는 것을 특징으로 하는 인터 레이어 예측 방법.And replacing any one of the three neighboring prediction modes with the reference prediction mode.
  5. 제4항에 있어서,The method of claim 4, wherein
    상기 세 개의 주변 예측 모드로 구성된 MPM 리스트를 유도하는 단계와;Deriving an MPM list consisting of the three peripheral prediction modes;
    상기 참조 예측 모드를 상기 MPM 리스트의 첫 번째 후보 인트라 예측 모드, 상기 MPM 리스트의 마지막 후보 인트라 예측 모드, 가장 큰 값의 후보 인트라 예측 모드 중 어느 하나와 교체하는 단계를 더 포함하는 것을 특징으로 하는 인터 레이어 예측 방법.Replacing the reference prediction mode with any one of a first candidate intra prediction mode of the MPM list, a last candidate intra prediction mode of the MPM list, and a candidate intra prediction mode having a largest value. Layer prediction method.
  6. 제1항에 있어서,The method of claim 1,
    상기 주변 예측 모드를 유도하는 단계는 세 개의 주변 예측 모드를 유도하는 것을 포함하고,Deriving the surrounding prediction mode comprises deriving three surrounding prediction modes,
    상기 세 개의 주변 예측 모드와 상기 참조 예측 모드로 구성된 MPM 리스트를 유도하는 단계를 더 포함하는 것을 특징으로 하는 인터 레이어 예측 방법.And deriving an MPM list comprising the three neighboring prediction modes and the reference prediction mode.
  7. 제6항에 있어서,The method of claim 6,
    상기 참조 예측 모드는 상기 MPM 리스트의 첫 번째 후보 인트라 예측 모드 및 마지막 후보 인트라 예측 모드 중 어느 하나로 유도되는 것을 특징으로 하는 인터 레이어 예측 방법.The reference prediction mode is derived from any one of the first candidate intra prediction mode and the last candidate intra prediction mode of the MPM list.
  8. 제1항에 있어서,The method of claim 1,
    상기 참조 블록이 복수의 PU를 포함하는 경우,If the reference block includes a plurality of PUs,
    상기 참조 예측 모드를 유도하는 단계는 상기 복수의 PU의 예측 모드 중 가장 낮은 인덱스를 갖는 예측 모드를 상기 참조 예측 모드를 유도하는 것을 특징으로 하는 인터 레이어 예측 방법.The deriving of the reference prediction mode may include deriving the reference prediction mode from a prediction mode having the lowest index among the prediction modes of the plurality of PUs.
  9. 제1항에 있어서,The method of claim 1,
    상기 참조 블록이 복수의 PU를 포함하는 경우, 상기 복수의 PU를 소정의 순서로 오더링하고, If the reference block includes a plurality of PUs, order the plurality of PUs in a predetermined order,
    상기 참조 예측 모드를 유도하는 단계는 그 중 가장 작은 순서를 갖는 PU의 예측 모드를 상기 참조 예측 모드로 유도하는 것을 특징으로 하는 인터 레이어 예측 방법.The deriving of the reference prediction mode comprises inducing the prediction mode of the PU having the smallest order as the reference prediction mode.
  10. 제1항에 있어서,The method of claim 1,
    상기 참조 블록이 복수의 PU를 포함하는 경우,If the reference block includes a plurality of PUs,
    상기 참조 예측 모드를 유도하는 단계는 상기 현재 블록을 나타내는 좌표에 대응하는 위치에 존재하는 PU의 예측 모드를 상기 참조 예측 모드로 유도하는 것을 특징으로 하는 인터 레이어 예측 방법.The deriving of the reference prediction mode may include deriving a prediction mode of a PU existing at a position corresponding to a coordinate representing the current block, to the reference prediction mode.
  11. 제1항에 있어서,The method of claim 1,
    상기 참조 블록이 복수의 PU를 포함하는 경우,If the reference block includes a plurality of PUs,
    상기 참조 예측 모드를 유도하는 단계는 상기 복수의 PU의 예측 모드 중 가장 빈도수가 높은 예측 모드를 상기 참조 예측 모드를 유도하는 것을 특징으로 하는 인터 레이어 예측 방법.The deriving of the reference prediction mode may include deriving the reference prediction mode from a prediction mode having the highest frequency among prediction modes of the plurality of PUs.
  12. 제1항에 있어서,The method of claim 1,
    상기 참조 블록이 복수의 PU를 포함하는 경우,If the reference block includes a plurality of PUs,
    상기 참조 블록의 가장 넓은 영역을 점유하고 있는 PU의 예측 모드를 상기 참조 예측 모드로 유도하는 것을 특징으로 하는 인터 레이어 예측 방법.And a prediction mode of a PU occupying the widest region of the reference block is derived as the reference prediction mode.
  13. 제1항에 있어서,The method of claim 1,
    상기 참조 블록이 복수의 PU를 포함하는 경우,If the reference block includes a plurality of PUs,
    상기 복수의 PU의 예측 모드의 평균값에 가장 인접한 예측 모드를 상기 참조 예측 모드로 유도하는 것을 특징으로 하는 인터 레이어 예측 방법.And a prediction mode closest to an average of prediction modes of the plurality of PUs is derived as the reference prediction mode.
  14. 제1항에 있어서,The method of claim 1,
    상기 주변 예측 모드로 구성된 MPM 리스트를 생성하는 단계와;Generating an MPM list composed of the surrounding prediction modes;
    상기 현재 블록의 예측 모드를 상기 MPM 리스트의 후보 인트라 예측 모드 로부터 유도할지 상기 참조 예측 모드로부터 유도할지를 나타내는 신호를 부호화 하는 단계를 더 포함하는 것을 특징으로 하는 인터 레이어 예측 방법.And encoding a signal indicating whether a prediction mode of the current block is derived from a candidate intra prediction mode of the MPM list or from the reference prediction mode.
  15. 제14항에 있어서,The method of claim 14,
    상기 신호는 상기 현재 블록의 예측 모드가 상기 MPM 리스트의 후보 인트라 예측 모드로부터 유도되지 않는 경우 부호화 되는 것을 특징으로 하는 인터 레이어 예측 방법.The signal is encoded when the prediction mode of the current block is not derived from the candidate intra prediction mode of the MPM list.
PCT/KR2013/002264 2012-03-20 2013-03-20 Method of inter-layer prediction and apparatus using the same WO2013141587A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261613479P 2012-03-20 2012-03-20
US61/613,479 2012-03-20

Publications (1)

Publication Number Publication Date
WO2013141587A1 true WO2013141587A1 (en) 2013-09-26

Family

ID=49222970

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/002264 WO2013141587A1 (en) 2012-03-20 2013-03-20 Method of inter-layer prediction and apparatus using the same

Country Status (1)

Country Link
WO (1) WO2013141587A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278236A (en) * 2015-08-28 2022-11-01 株式会社Kt Method and non-transitory computer readable medium for decoding or encoding an image

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007104117A (en) * 2005-09-30 2007-04-19 Seiko Epson Corp Image processing apparatus and program for allowing computer to execute image processing method
KR20110019855A (en) * 2009-08-21 2011-03-02 에스케이 텔레콤주식회사 Apparatus and method for intra prediction mode coding using variable length code, and recording medium therefor
KR20110073263A (en) * 2009-12-21 2011-06-29 한국전자통신연구원 Method and apparatus for encoding and decoding for intra prediction
US20110292994A1 (en) * 2010-05-30 2011-12-01 Lg Electronics Inc. Enhanced intra prediction mode signaling

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007104117A (en) * 2005-09-30 2007-04-19 Seiko Epson Corp Image processing apparatus and program for allowing computer to execute image processing method
KR20110019855A (en) * 2009-08-21 2011-03-02 에스케이 텔레콤주식회사 Apparatus and method for intra prediction mode coding using variable length code, and recording medium therefor
KR20110073263A (en) * 2009-12-21 2011-06-29 한국전자통신연구원 Method and apparatus for encoding and decoding for intra prediction
US20110292994A1 (en) * 2010-05-30 2011-12-01 Lg Electronics Inc. Enhanced intra prediction mode signaling

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KIM, DAE-YEON ET AL.: "A new method for estimating Intra prediction mode in H. 264/AVC", 2008 IMAGE PROCESSING AND IMAGE UNDERSTANDING WORKSHOP., 20 February 2008 (2008-02-20) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278236A (en) * 2015-08-28 2022-11-01 株式会社Kt Method and non-transitory computer readable medium for decoding or encoding an image

Similar Documents

Publication Publication Date Title
WO2019103564A1 (en) Image decoding method and apparatus based on inter prediction in image coding system
WO2019164031A1 (en) Image decoding method and apparatus according to block division structure in image coding system
WO2019107916A1 (en) Image decoding method and apparatus based on inter-prediction in image coding system
WO2020166897A1 (en) Dmvr-based inter-prediction method and device
WO2017026681A1 (en) Inter prediction method and apparatus in video coding system
WO2019117634A1 (en) Image coding method on basis of secondary transform and device therefor
WO2020171444A1 (en) Dmvr-based inter-prediction method and device
WO2014003519A1 (en) Method and apparatus for encoding scalable video, and method and apparatus for decoding scalable video
WO2020184848A1 (en) Dmvr-based inter-prediction method and device
WO2014010943A1 (en) Method and device for encoding/decoding image
WO2019194514A1 (en) Image processing method based on inter prediction mode, and device therefor
WO2014038906A1 (en) Image decoding method and apparatus using same
WO2018105759A1 (en) Image encoding/decoding method and apparatus therefor
WO2020184847A1 (en) Inter-prediction method and device based on dmvr and bdof
WO2019235822A1 (en) Method and device for processing video signal by using affine motion prediction
WO2019216714A1 (en) Method for processing image on basis of inter-prediction mode and apparatus therefor
WO2015060614A1 (en) Method and device for encoding/decoding multi-layer video signal
WO2017150823A1 (en) Video signal encoding/decoding method and apparatus for same
WO2020017785A1 (en) Image decoding method using intra prediction related information in image coding system and apparatus therefor
WO2015099398A1 (en) Method and apparatus for encoding/decoding multilayer video signal
WO2015037920A1 (en) Method and apparatus for encoding/decoding scalable video signal
WO2013168952A1 (en) Inter-layer prediction method and apparatus using same
WO2020256482A1 (en) Transform-based image coding method and device therefor
WO2020130581A1 (en) Method for coding image on basis of secondary transform and device therefor
WO2023132556A1 (en) Image encoding/decoding method and device, and recording medium on which bitstream is stored

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13763745

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13763745

Country of ref document: EP

Kind code of ref document: A1