WO2012173440A2 - Method for coding and decoding scalable video and apparatus using same - Google Patents

Method for coding and decoding scalable video and apparatus using same Download PDF

Info

Publication number
WO2012173440A2
WO2012173440A2 PCT/KR2012/004778 KR2012004778W WO2012173440A2 WO 2012173440 A2 WO2012173440 A2 WO 2012173440A2 KR 2012004778 W KR2012004778 W KR 2012004778W WO 2012173440 A2 WO2012173440 A2 WO 2012173440A2
Authority
WO
WIPO (PCT)
Prior art keywords
layer
prediction
picture
information
block
Prior art date
Application number
PCT/KR2012/004778
Other languages
French (fr)
Korean (ko)
Other versions
WO2012173440A3 (en
Inventor
이하현
강정원
최진수
김진웅
심동규
최효민
남정학
Original Assignee
한국전자통신연구원
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 광운대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to US14/125,974 priority Critical patent/US9686544B2/en
Priority claimed from KR1020120064635A external-priority patent/KR20130000334A/en
Publication of WO2012173440A2 publication Critical patent/WO2012173440A2/en
Publication of WO2012173440A3 publication Critical patent/WO2012173440A3/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to the processing of video information, and more particularly, to a video encoding method and a video decoding method using scalable video coding (SVC, hereinafter referred to as "SVC") and an apparatus using the same.
  • SVC scalable video coding
  • the supporting performance is also diversified by device.
  • the network in which information is transmitted is also diversified not only in the external structure such as wired and wireless networks, but also in functions such as the type of information to be transmitted, the amount and speed of information.
  • the user selects a terminal and a network to be used according to a desired function, and the spectrum of terminals and networks provided by the enterprise to the user is also diversified.
  • Ultra High Definition which has four times the resolution of HDTV
  • HDTV High Definition
  • an inter prediction technique for predicting a pixel value included in a current picture from a previous and / or subsequent picture in time, another pixel included in the current picture using pixel information in the current picture
  • An intra prediction technique for predicting a value an entropy encoding technique for allocating a short sign to a high frequency symbol and a long code to a low frequency symbol may be used.
  • the quality, size, frame, etc. of the supported image need to be diversified accordingly.
  • One technical object of the present invention is to provide a method and apparatus capable of efficiently performing video encoding and video decoding
  • Another technical object of the present invention is to provide a method and apparatus capable of providing various video services in various environments.
  • Another technical object of the present invention is to provide a method and apparatus capable of video service having various image quality, resolution, size, and / or frame rate while bringing a gain of bit rate compared to the same transmission (simulcast).
  • An embodiment of the present invention is an interlayer prediction method, comprising: determining whether to apply interlayer prediction to an enhancement layer and generalizing generated from information of a reference layer when applying interlayer prediction. Performing prediction on a current block of an enhancement layer based on reference information, wherein the reference layer information includes encoding information and a register of a reference block corresponding to the current block of the enhancement layer in the reference layer. It may be dual information.
  • whether to apply interlayer prediction to an enhancement layer may be determined based on flag information indicating interlayer prediction.
  • the encoding information includes motion vector information, reference picture information, motion vector predictor candidate information, merge candidate information, and intra for the block corresponding to the current block of the enhancement layer in the reference layer. It may include at least one of the prediction modes.
  • the generalized reference information is a generalized reference picture generated based on the decoded picture of the reference layer, and in the step of performing prediction on the current block of the enhancement layer, the generalization Used reference picture can be used as a reference picture of the current block.
  • the generalized reference picture may be included in a reference picture list for the current block of the enhancement layer and used as a reference picture for the current block of the enhancement layer.
  • the generalized reference picture may be an enhancement based on a difference between the enhancement layer and pictures of the reference layer.
  • the generalized reference picture is based on a decoded picture of the base layer, a picture upsampled from a decoded picture of the base layer, a decoded picture of the base layer, and the residual information.
  • the picture may be a picture generated by up-sampling a picture generated based on the generated picture or the decoded picture of the base layer and the residual information.
  • the generalized reference information is a generalized reference block generated based on the decoded picture of the reference layer, and in the step of performing prediction on the current block of the enhancement layer, the generalization The referred reference block may be used as a prediction block for the current block of the enhancement layer.
  • the generalized reference block may be an enhancement based on a difference between the enhancement layer and pictures of the reference layer.
  • the generalized reference information is a generalized reference picture generated based on the encoding information from the reference layer, and in the step of performing prediction on the current block of the enhancement layer, the generalization Can be used as a reference picture for the current block of the enhancement layer.
  • the generalized reference picture may be included in a reference picture list for the current block of the enhancement layer and used as a reference picture for the current block of the enhancement layer.
  • the generalized reference picture may be an enhancement based on a difference between the enhancement layer and pictures of the reference layer.
  • the generalized reference picture is based on a decoded picture of the base layer, a picture upsampled from a decoded picture of the base layer, a decoded picture of the base layer and the residual information.
  • the picture may be a picture generated by up-sampling a picture generated based on the generated picture or the decoded picture of the base layer and the residual information.
  • the generalized reference information is a generalized reference block generated based on the encoding information from the reference layer, and in the step of performing prediction on the current block of the enhancement layer, the generalization The referred reference block may be used as a prediction block for the current block of the enhancement layer.
  • the generalized reference block may be an enhancement based on a difference between the enhancement layer and pictures of the reference layer.
  • the generalized reference block is obtained by applying an intra prediction mode applied to the reference block in the reference layer to the reference block in the enhancement layer. It may be generated based on the prediction block.
  • the generalized reference block is obtained by applying an intra prediction mode applied to the reference block in the reference layer to the reference block in the enhancement layer. It may be generated based on the prediction block and the residual information.
  • Another embodiment of the present invention is a scalable encoding apparatus, comprising: a base layer encoder for performing prediction on an input image of a base layer, an enhancement layer encoding unit for performing prediction on an input image of an enhancement layer, and And an interlayer prediction unit configured to generate generalized reference information for performing prediction on an input image of the enhancement layer.
  • the interlayer prediction unit is configured to decode the base layer from the decoded information.
  • Generalized reference information is generated, and the enhancement layer encoding unit may perform prediction on the current block of the enhancement layer based on the generalized reference information.
  • Another embodiment of the present invention is a scalable decoding apparatus, comprising: a base layer decoder for predicting an image of a base layer, an enhancement layer decoder for predicting an image of an enhancement layer, and An interlayer prediction unit is configured to generate generalized reference information for performing prediction on an image of an enhancement layer. When interlayer prediction is applied, the interlayer prediction unit is generalized from decoded information of the base layer. The reference information is generated, and the enhancement layer decoding unit may perform prediction on the current block of the enhancement layer based on the generalized reference information.
  • various video services can be provided in terms of time, space, and / or image quality according to various needs or purposes of use of a user.
  • scalable video coding capable of providing various services in various environments can be efficiently performed.
  • the present invention it is possible to provide a video service having various image quality, resolution, size, and / or frame rate while bringing a gain of a bit rate compared to the same transmission (simulcast).
  • FIG. 1 is a block diagram illustrating a basic configuration of an encoding apparatus according to an embodiment.
  • FIG. 2 is a block diagram illustrating a basic configuration according to an embodiment of a decoding apparatus.
  • FIG 3 schematically illustrates an example of an intra prediction mode.
  • FIG. 4 is a diagram schematically illustrating an example of transcoding by single layer encoding.
  • FIG. 5 is a diagram schematically illustrating an example in which scalable video encoding using multilayer encoding is used as an example using SVC.
  • FIG. 6 is a diagram schematically illustrating an example of an encoding apparatus employing SVC.
  • FIG. 7 is a diagram schematically illustrating an example of a decoding apparatus employing SVC.
  • FIG. 8 is a diagram schematically illustrating a multilayer encoding apparatus for performing interlayer prediction according to the present invention.
  • FIG. 9 is a diagram schematically illustrating a multilayer encoding apparatus for performing interlayer prediction according to the present invention.
  • FIG. 10 is a diagram schematically illustrating a multilayer encoding apparatus for performing interlayer prediction according to the present invention.
  • FIG. 11 is a diagram schematically illustrating a multilayer decoding apparatus for performing interlayer prediction according to the present invention.
  • FIG. 12 is a diagram schematically illustrating a multilayer decoding apparatus for performing interlayer prediction according to the present invention.
  • FIG. 13 is a diagram schematically illustrating a multilayer decoding apparatus for performing interlayer prediction according to the present invention.
  • FIG. 14 is a diagram schematically illustrating an example of a configuration of a reference picture generation unit generalized in an interlayer prediction unit to which the present invention is applied.
  • 15 is a diagram schematically illustrating an example of a configuration of a generalized reference block generator in an interlayer prediction unit to which the present invention is applied.
  • 16 is a flow chart schematically illustrating interlayer prediction performed in accordance with the present invention.
  • first and second may be used to describe various configurations, but the configurations are not limited by the terms. The terms are used to distinguish one configuration from another.
  • first configuration may be referred to as the second configuration, and similarly, the second configuration may also be referred to as the first configuration.
  • each component shown in the embodiments of the present invention are independently shown to represent different characteristic functions, and do not mean that each component is made of separate hardware or one software component unit.
  • each component is listed as a component for convenience of description, and at least two of the components may form one component, or one component may be divided into a plurality of components to perform a function.
  • the integrated and separated embodiments of each component are also included in the scope of the present invention without departing from the spirit of the present invention.
  • FIG. 1 is a block diagram illustrating a basic configuration of an encoding apparatus according to an embodiment.
  • the encoding apparatus 100 may include an inter prediction unit 110, an intra prediction unit 120, a switch 125, a subtractor 130, a transform unit 135, a quantization unit 140, and entropy encoding.
  • the unit 150 includes an inverse quantization unit 160, an inverse transform unit 170, an adder 175, a filter unit 180, and a picture buffer 190.
  • the encoding apparatus 100 may encode the input image in an intra mode or an inter mode and output a bitstream. In the intra mode, the switch 125 is switched to intra, and in the inter mode, the switch 125 is switched to inter. The encoding apparatus 100 may generate a prediction block for the input block of the input image and then encode the difference between the input block and the prediction block.
  • the intra predictor 120 may generate a prediction block by performing spatial prediction using pixel values of blocks that are already encoded around the current block.
  • the inter prediction unit 110 may obtain a motion vector by searching for a region corresponding to an input block in a reference image stored in the picture buffer 190 during a motion prediction process.
  • the inter prediction unit 110 may generate a prediction block by performing motion compensation using the motion vector and the reference image stored in the picture buffer 190.
  • the subtractor 130 may generate a residual block by the difference between the input block and the generated prediction block.
  • the transformer 135 may perform a transform on the residual block and output a transform coefficient.
  • the quantization unit 140 may output the quantized coefficient by quantizing the input transform coefficient according to the quantization parameter.
  • the entropy encoding unit 150 may output a bitstream by entropy encoding the quantized coefficients according to a probability distribution based on values calculated by the quantization unit 140 or encoding parameter values calculated in the encoding process. Can be.
  • the quantized coefficients may be inversely quantized by the inverse quantizer 160 and inversely transformed by the inverse transformer 170.
  • the inverse quantized and inverse transformed coefficients are added to the prediction block through the adder 175 and a reconstruction block can be generated.
  • the reconstruction block passes through the filter unit 180, and the filter unit 180 applies at least one or more of a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) to the reconstruction block or the reconstruction picture. can do.
  • the reconstructed block that has passed through the filter unit 180 may be stored in the picture buffer 190.
  • FIG. 2 is a block diagram illustrating a basic configuration according to an embodiment of a decoding apparatus.
  • the decoding apparatus 200 includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 230, an intra prediction unit 240, an inter prediction unit 250, and a filter unit 260. ) And picture buffer 270.
  • the decoding apparatus 200 may receive the bitstream output from the encoding apparatus, decode the intra mode or the inter mode, and output a reconstructed image, that is, a reconstructed image.
  • the switch In the intra mode, the switch may be switched to intra, and in the inter mode, the switch may be switched to inter.
  • the decoding apparatus 200 may obtain a residual block reconstructed from the received bitstream, generate a prediction block, and then add the reconstructed residual block and the prediction block to generate a reconstructed block, that is, a reconstruction block. .
  • the entropy decoding unit 210 entropy decodes the input bitstream according to the probability distribution. By entropy decoding, quantized (transform) coefficients can be generated.
  • the quantized coefficient is inversely quantized by the inverse quantizer 220 and inversely transformed by the inverse transformer 230, and as a result of the inverse quantization / inverse transformation of the quantized coefficient, a reconstructed residual block may be generated.
  • the intra predictor 240 may generate a prediction block by performing spatial prediction using pixel values of blocks that are already encoded around the current block.
  • the inter predictor 250 may generate a predictive block by performing motion compensation using a motion vector and a reference image stored in the picture buffer 270.
  • the reconstructed residual block and the prediction block are added through the adder 255, and the added block passes through the filter unit 260.
  • the filter unit 260 may apply at least one of the deblocking filter, SAO, and ALF to the reconstructed block or the reconstructed picture.
  • the filter unit 260 outputs a reconstructed image, that is, a reconstructed image.
  • the reconstructed image may be stored in the picture buffer 270 to be used for inter prediction.
  • the encoding apparatus and the decoding apparatus perform prediction on the current block for video encoding / decoding.
  • the prediction may be performed in the encoding unit / decoding device, specifically, the prediction unit of the encoding device / decoding device.
  • the prediction unit of the encoding apparatus may include, for example, the inter predictor 110 and the intra predictor 120 of FIG. 1.
  • the prediction unit of the decoding apparatus may include, for example, the intra predictor 240 and the inter predictor 250 of FIG. 2.
  • the prediction unit performs prediction for the current block based on pixels (reference samples) in the previously encoded current picture according to the intra prediction mode of the current block. can do.
  • the prediction unit may perform intra prediction to generate a prediction block for the current block from the reference sample.
  • the prediction mode may have 33 directional prediction modes and at least two non-directional modes.
  • 33 directional prediction modes from prediction mode 2 to prediction mode 34 are shown.
  • the non-directional mode may include a DC prediction mode, a planar mode, and the like.
  • a prediction block may be generated after applying a filter to a reference sample.
  • whether to apply the filter to the reference sample may be determined according to the intra prediction mode and / or the size of the current block.
  • the prediction unit sets at least one of a previous picture or a next picture of the current picture as a reference picture, and performs prediction on the current block based on the reference picture.
  • An image used for prediction of the current block is called a reference picture or a reference frame.
  • the region in the reference picture may be represented using a reference picture index refIdx, a motion vector, etc. indicating the reference picture.
  • the prediction unit may generate a prediction block for the current block by selecting the reference picture and the reference block corresponding to the current block in the reference picture.
  • the prediction unit may generate the prediction block such that the residual signal with the current block is minimized and the size of the motion vector is also minimized.
  • information of neighboring blocks of the current block may be used.
  • the prediction block for the current block may be generated based on the information of the neighboring block through a skip mode, a merge mode, an advanced motion vector prediction (AMVP), and the like.
  • AMVP advanced motion vector prediction
  • the prediction unit of the decoding apparatus may identify and derive motion information required for inter prediction of the current block, for example, a skip flag, a merge flag, and the like received from the encoding apparatus.
  • the processing unit in which the prediction is performed and the processing unit in which the prediction method and the details are determined may be different from each other.
  • a prediction mode may be determined in units of PUs, and prediction may be performed in units of PUs, or a prediction mode may be determined in units of PUs, and intra prediction may be performed in units of TUs.
  • a reference picture list may be configured of pictures used for prediction, and the reference picture index may indicate a specific reference picture in the reference picture list.
  • a P picture is a picture that can be encoded / decoded using inter prediction or intra prediction using at least one motion vector and reference picture index to predict the sample value of each block.
  • a B picture is a picture that can be encoded / decoded using inter prediction or intra prediction using at least two motion vectors and reference picture indices to predict the sample value of each block.
  • I pictures to which intra prediction is applied.
  • the prediction unit may use information of the neighboring block as it is in the current block. Therefore, in the skip mode, the encoding apparatus does not transmit syntax information such as residual to the decoding apparatus other than the information indicating which block motion information to use as the motion information of the current block.
  • the prediction unit may generate the prediction block for the current block using the motion information of the neighboring block as it is.
  • the encoding apparatus may transmit information on whether the merge mode is applied, information on which block motion information to use, residual information, and the like, to the decoding apparatus.
  • the decoding apparatus may reconstruct the current block by adding the prediction block and the residual transmitted from the encoding apparatus.
  • the encoding apparatus predicts the motion vector of the current block by using the motion information of the neighboring blocks, (1) information on which motion block of the neighboring block is used, and (2) the motion vector of the current block.
  • the difference between the predicted motion vectors, (3) a reference picture index indicating the reference picture, and the like may be transmitted to the decoding apparatus.
  • the decoding apparatus may predict the motion vector of the current block using the motion information of the neighboring block, and may derive the motion vector for the current block using the residual received from the encoding apparatus.
  • the decoding apparatus may generate a prediction block for the current block based on the derived motion vector and the reference picture index information received from the encoding apparatus.
  • SVC Scalable Video Coding
  • a sub bitstream capable of reproducing a valid video image may also be configured by a portion of the video bitstream.
  • the sub bitstream is an elementary stream for the corresponding content, and the sub bitstream may reconstruct an image having a lower quality, a smaller size, and / or a lower frame rate than an image reconstructed by the entire bitstream.
  • FIG. 4 is a diagram schematically illustrating an example of transcoding by single layer encoding.
  • Single layer encoding refers to encoding of a video sequence that does not provide a scalability function.
  • the original content 410 is single-layer encoded from each encoder / transcoder according to quality and resolution and transmitted to each terminal.
  • high quality content is transmitted from the high quality encoder / transcoder 420
  • low quality content is transmitted from the low quality encoder / transcoder 430
  • low resolution content is sent.
  • Terminal 1 450 which receives and uses high quality content, may be a TV device such as an HD TV or a UHD TV.
  • the terminal 2 460 which receives and uses low quality content may have a smaller screen than a TV or a low specification PC having a slower information processing speed than a TV.
  • the terminal 3 470 that receives and uses the content having a lower resolution may be a mobile phone with a small screen. It is a matter of course that the content different from the above example can be received and used according to the performance of each terminal.
  • the encoded bitstream may include a plurality of layers.
  • Scalable encoding allows the decoder to selectively decode only a portion of the encoded bitstream.
  • the coded bitstream may be arranged in a plurality of layers, and may include a base base layer and one or more enhancement layers.
  • FIG. 5 is a diagram schematically illustrating an example of transcoding in which scalable video encoding using multilayer encoding is used as an example using SVC.
  • Multilayer encoding provides scalability by encoding multiple layers of video sequences.
  • a layer having the lowest or most basic quality video data is also called a base layer.
  • a layer having higher quality video data is also called an enhancement layer.
  • Temporal scalability is scalability with respect to frame rate.
  • Spatial scalability is scalability with respect to picture size or resolution.
  • qualitative scalability may be related to fidelity of an image.
  • original content 510 is encoded by scalable encoder 520.
  • the scalable encoder 520 supports the temporal, spatial and qualitative scalability described above.
  • the scalable encoder 520 encodes the original content 510 to generate a multi-layer bitstream 530.
  • the multi-layer is composed of a base layer including basic image information and an enhancement layer including information about an image having improved quality (accuracy, size, and / or frame rate, etc.) than the base layer. Can be.
  • the decoding apparatus of the terminal receives the base layer and decodes the image, the basic image is decoded. For example, images of basic size, basic quality and / or basic frame rate are decoded.
  • the decoding device of the terminal When the decoding device of the terminal receives and decodes the enhancement layer together with the base layer, it may decode a larger size, better quality and / or higher frame rate. For example, when spatial scalability is supported, when the decoding apparatus of the terminal receives and decodes the enhancement layer together with the base layer, it may obtain a higher resolution image or a larger size image. When temporal scalability is supported, when the decoding apparatus of the terminal receives and decodes the enhancement layer together with the base layer, an image having a high frame rate may be obtained. When qualitative scalability is supported, when the decoding device of the terminal receives and decodes the enhancement layer together with the base layer, it is possible to obtain a high fidelity image.
  • the scalable encoder 520 outputs a bitstream 530 arranged in a plurality of layers (layer 1, layer 2, and layer 3).
  • the extractor 540 extracts and transmits a required layer from the bitstream 530 according to a request of each terminal or network.
  • the terminal 3 570 may receive and decode a stream composed of only layer 1 which is a base layer.
  • the terminal 2 560 and the terminal 3 550 are terminals capable of processing a high quality image such as a TV or a PC
  • the terminal 2 560 and the terminal 1 550 may be configured according to the supported performance or desired image type. Accordingly, at least one of the enhancement layers (layer 2 and layer 3) may be received and decoded together with the base layer (layer 1).
  • inter layer prediction A method of determining or predicting a data value of an enhancement layer using a lower layer (reference layer) is called inter layer prediction.
  • the layer on which the prediction is based is called a reference layer.
  • information of an enhancement layer is predicted using the information of a lower layer such as a base layer to the maximum. Therefore, the amount of information transmitted or processed for the prediction of the enhancement layer can be greatly reduced.
  • the information of the reconstructed lower layer may be upsampled and used to restore the information of the upper layer, for example, the enhancement layer.
  • Interlayer prediction methods include interlayer texture prediction, interlayer motion prediction, interlayer residual prediction, and the like.
  • the SVC encoding apparatus 600 includes a base layer encoder 630, an inter-layer prediction unit 650, and an enhancement layer encoder 670.
  • Video streams 610 and 620 for encoding the corresponding layer are input to the base layer encoder 630 and the enhancement layer encoder 670.
  • a low resolution video stream 610 is input to the base layer encoder 630, and a high resolution video stream 620 is input to the enhancement layer encoder 670.
  • the base layer encoder 630 may perform encoding on the base layer by the encoding method described with reference to FIG. 1.
  • the encoding information performed by the base layer encoder 630 is transferred 640 to the interlayer prediction unit 650.
  • the inter-layer predictor 650 may upsample the video information reconstructed by the base layer encoder 630 and transfer the sampled information to the enhancement layer encoder 670.
  • the interlayer prediction unit 650 may perform deblocking filtering on the video reconstructed by the base layer encoder 630 and transmit the deblocking filtering to the enhancement layer encoder 670.
  • the information of the base layer transmitted through the interlayer prediction unit 650 may be a pixel value to be used for intra prediction when the block referred to in the base layer is intra predicted, and when the block referred to in the base layer is inter predicted. May be motion information and residual information to be used for inter prediction.
  • the enhancement layer encoder 670 may also encode the enhancement layer using the encoding method described with reference to FIG. 1. However, the enhancement layer encoder 670 may encode the enhancement layer based on the high resolution video sequence information and the base layer information transmitted from the interlayer prediction unit 650.
  • Upsampling based on the information of the base layer may be performed by the enhancement layer encoder 670 or may be performed by the interlayer prediction unit 650.
  • the video stream input to the base layer encoder 630 is a low resolution video stream and is a high resolution video stream input to the enhancement layer encoder 670.
  • the present invention is not limited thereto, and the video stream input to the base layer encoder 630 is a high quality video stream with respect to resolution, reliability, and / or frame rate, and the video stream input to the enhancement layer encoder 670. May be a low or basic quality video stream in terms of resolution, reliability and / or frame rate, and the like.
  • the SVC decoding apparatus 700 includes a base layer decoder 740, an interlayer prediction unit 760, and an enhancement layer decoder 780.
  • the bit stream 710 transmitted from the encoding apparatus is a bit stream for the base layer decoder 740 and a high resolution as a bit stream for the enhancement layer decoder 780 and a bit stream 720 having low resolution video information.
  • Bit streams 720 and 730 for decoding the corresponding layer are input to the base layer decoder 740 and the enhancement layer decoder 780, respectively. That is, a bit stream 720 for a low resolution video is input to the base layer decoder 740, and a bit stream 730 for a high resolution video is input to the enhancement layer decoder 780.
  • the base layer decoder 740 may perform decoding on the base layer by the decoding method described with reference to FIG. 2.
  • the base layer video information reconstructed by the base layer decoder 740 is transferred 750 to the interlayer prediction unit 760.
  • the interlayer prediction unit 760 may upsample the video information reconstructed by the base layer decoder 740 and transfer the information to the enhancement layer decoder 780. In this case, the interlayer prediction unit 760 may perform deblocking filtering on the video reconstructed by the base layer decoder 740 and transmit the deblocking filtering to the enhancement layer decoder 780.
  • the information of the base layer transmitted through the interlayer prediction unit 760 may be a pixel value to be used for intra prediction when the block referred to in the base layer is intra predicted, and when the block referred to in the base layer is inter predicted. May be motion information and residual information to be used for inter prediction.
  • the enhancement layer decoder 780 may also decode the base layer by the decoding method described with reference to FIG. 2. However, the enhancement layer decoder 780 may decode the enhancement layer based on the base layer information and the high resolution video sequence information transmitted from the interlayer prediction unit 760.
  • Upsampling based on the information of the base layer may be performed by the enhancement layer decoder 780 or may be performed by the interlayer prediction unit 760.
  • bitstream input to the base layer decoder 740 is a low resolution bitstream, and the bitstream of the high resolution input to the enhancement layer decoder 780 has been described.
  • the present invention is not limited thereto, and the bitstream input to the base layer decoder 740 is a bitstream of high quality in terms of resolution, reliability, and / or frame rate, and the bitstream input to the enhancement layer decoder 780. May be a low quality or basic quality bitstream with respect to resolution, reliability and / or frame rate.
  • the encoding device and the decoding device for the high layer may perform encoding and decoding on the high layer based on the information on the low layer.
  • FIG. 6 and 7 illustrate that single information is transmitted as information transmitted from the base layer encoder and the base layer decoder to the interlayer prediction unit and information transmitted from the interlayer predictor to the enhancement layer encoder and the enhancement layer decoder. .
  • This is for convenience of description, and in the case of FIG. 6, corresponding scalability among processing units supporting specific scalability in the base layer encoder, the inter layer prediction unit, and the enhancement layer encoder according to the supported scalability.
  • Information to support the can be delivered. For example, a unit that transmits and receives information for processing temporal scalability and processes spatial scalability between units that process temporal scalability in the base layer encoder, the inter-layer predictor, and the enhancement layer encoder of FIG. 6.
  • Transmitting and receiving information for processing spatial scalability, and information for processing qualitative scalability is transmitted and received between the units. Some or all of the pieces of information may be transmitted to a unit for collecting or integrating the information, and the pieces of information may be transmitted together or separately from a unit for collecting or integrating the information.
  • information for supporting the scalability may be transferred between units supporting a particular scalability in the base layer decoder-inter layer predictor-enhanced layer decoder.
  • Transmitting and receiving information for processing spatial scalability, and information for processing qualitative scalability is transmitted and received between the units.
  • Some or all of the pieces of information may be transmitted to a unit for collecting or integrating the information, and the pieces of information may be transmitted together or separately from a unit for collecting or integrating the information.
  • inter-layer prediction includes a single loop prediction method and a multi loop prediction method.
  • the encoding device / decoding device does not completely decode the referenceable layers among the lower layers except for the current layer to be decoded in decoding the encoded bit stream of the multilayer.
  • the encoding device / decoding device includes encoding information (motion information, intra mode information), and encoding information of a lower layer (reference layer) that can be referenced for decoding a decoding target block (current block) or a decoding target picture (current picture) of the current layer. Only signals (residual information) are decoded and used.
  • the encoding information decoded for reference may include motion information such as a motion vector (MV), a reference picture index, a motion information prediction candidate index, a motion information integration candidate index, and / or an intra prediction mode. .
  • the encoding device / decoding device completely decodes referenceable layers among lower layers, including the current layer to be decoded, in decoding the encoded bit string of the multilayer.
  • the encoding device / decoding device completely decodes the referenceable lower layers based on texture information obtained by fully decoding the reference layer (s), and decoded block (current block) or decoded picture of the current layer based on the decoded information. Decode (the current picture).
  • the complexity is greatly increased because the entire referenceable lower layers are reconstructed to perform prediction on the current layer.
  • inter-layer prediction may be performed by decoding encoding information of a co-located block of a current block located in a lower layer (reference layer).
  • reference layer a layer located in a lower layer
  • interlayer prediction is performed on the current layer using only constant encoding information (motion vector, reference picture index, AMVP candidate index, merge candidate index, intra prediction mode, etc.) and the residual signal.
  • motion information of a co-located block in a picture corresponding to the current picture in the reference layer without performing motion estimation (ME) on the current block may be performed based on (motion vector, residual information, reference picture index, AMVP candidate index, merge candidate index, etc.).
  • the encoding apparatus may select the best mode in consideration of the RDO.
  • 8 is a diagram schematically illustrating a multilayer encoding apparatus for performing interlayer prediction according to the present invention. 8 illustrates an example of an encoding apparatus for a base layer in a multilayer encoding apparatus.
  • the unit 880 and the picture buffer 890 may serve as components of the encoding apparatus as described with reference to FIG. 1.
  • the converter 810 may DST or DCT the difference value of the pixel predicted from the input image and the inter predictor 820 or the intra predictor 830, that is, a residual signal.
  • the quantization unit 840 quantizes a difference value of the DST or DCT transformed pixel, that is, a residual signal (residual block).
  • the inverse quantization unit 850 dequantizes the quantized value from the quantization unit 840 again.
  • the inverse transform unit 860 inversely transforms the inverse quantized value by IDCT (Inverse DCT) or IDST (Inverse DST).
  • the entropy encoding unit 870 entropy encodes the quantized value from the quantization unit 840 using CABAC or CAVLC.
  • the inter prediction unit 820 performs prediction (inter prediction) on the current block based on the reference picture stored in the picture buffer 890 when the encoding apparatus 800 performs encoding in the inter mode.
  • the intra prediction unit 830 performs prediction (intra prediction) on the current block based on neighboring blocks in the current picture. Details of inter prediction performed by the inter prediction unit and intra prediction performed by the intra prediction unit have been described with reference to FIG. 1.
  • the picture buffer 890 stores the decoded image
  • the filter unit 880 may apply an in-loop filter to the image before storing the image in the picture buffer 890.
  • the image information processed by the encoding apparatus 800 for the base layer is transmitted to the interlayer prediction unit.
  • the image information a output from the intra predictor 830, the image information c output from the inter predictor 820, and the inverse transform information d from the inverse transform unit 860 are transferred to the interlayer predictor. do.
  • the decoded and reconstructed image information b may be transmitted to the interlayer prediction unit after at least one of the in-loop filters (deblocking filter, SAO, ALF, etc.) is applied through the filter unit 880. In this case, the image information b may be transmitted to the interlayer prediction unit without passing through the in-loop filter.
  • 9 is a diagram schematically illustrating a multilayer encoding apparatus for performing interlayer prediction according to the present invention. 9 illustrates an example of an interlayer prediction unit in a multilayer encoding apparatus.
  • the interlayer predictor 900 includes a generalized reference picture generator 910, a generalized reference block generator 920, and a predictor 925.
  • the predictor 925 includes a texture predictor 930, a spatial enlarger 940, a motion predictor 950, a scale enlarger 960, a residual predictor 970, and a spatial enlarger 980. do.
  • the image information (a, b, c, d) shown in FIG. 9 as the information input to the interlayer prediction unit 900 is information transmitted from the base layer encoding apparatus and the image information (a, b, C, d).
  • the interlayer prediction unit generates prediction information required for interlayer prediction based on input information a, b, c, d.
  • the texture predictor 930 may decode the textures of the reference layer blocks corresponding to the encoding target block of the enhancement layer (current layer) through texture prediction based on the image information b transmitted from the base layer encoding apparatus. Information can be obtained. Texture prediction is a process of obtaining a pixel value from a block of a reference layer (base layer) corresponding to a current block of an enhancement layer (current layer).
  • the spatial enlarger 940 may enlarge (eg, upsample) the decoded texture information of the reference layer blocks obtained by the texture predictor 930 according to the size of the enhancement layer (current layer).
  • the motion predictor 950 may obtain motion information and intra prediction modes of reference layer blocks corresponding to the encoding target block of the enhancement layer (current layer) based on the information c transmitted from the base layer encoding apparatus. .
  • the scale enlarger 960 may adjust the motion information of the reference layer blocks obtained by the motion predictor 950 in correspondence with an enhancement layer (current layer). For example, the motion vector obtained by the motion predictor 950 may be scaled according to the size of the enhancement layer.
  • the AMVP candidate or the merge candidate may be mapped to the corresponding AMVP candidate or the merge candidate in the enhancement layer.
  • the residual prediction unit 970 may obtain residual information of reference layer blocks corresponding to the encoding target block of the enhancement layer (current layer) based on the image information d transmitted from the base layer encoding apparatus.
  • the spatial enlarger 980 may enlarge (eg, upsample) the residual information of the reference layer acquired by the residual predictor 970 according to the size of the enhancement layer.
  • the generalized reference picture generator 910 may include the image information of the base layer generated from the predictor 925, the image information of the decoded base layer transferred from the picture buffer of the base layer encoding apparatus, and the enhancement layer encoding apparatus.
  • a generalized reference picture is generated based on the image information (1) of the decoded enhancement layer transmitted from the picture buffer of.
  • the predictor 925 transmits texture information, motion information, intra prediction mode information, and residual information obtained from the base layer to the generalized reference picture generator 910.
  • the generalized reference block generator 920 may generate a generalized reference based on the image information of the base layer generated by the predictor 925 and the image information a of the decoded base layer transferred from the picture buffer of the base layer encoding apparatus. Create a block. As described above, the predictor 925 transmits texture information, motion information, intra prediction mode information, and residual information obtained from the base layer to the generalized reference block generator 920.
  • the information transmitted to the generalized reference picture generator 910 and the generalized reference block generator 920 may be scaled or enlarged according to characteristics of the enhancement layer.
  • the generalized reference picture or the generalized reference block may be generated by reflecting the slice type of the reference layer.
  • the generalized reference picture generator or the generalized reference block generator may generate a texture reconstructing the reference layer.
  • the generalized reference picture generator or the generalized reference block generator may use the motion information and the reference images of the enhancement layer to perform a prediction signal. Can be generated.
  • the generalized reference picture generator or the generalized reference block generator may perform intra prediction using the corresponding intra prediction mode.
  • the reconstructed samples of the inter predicted block in the enhancement layer (current layer) may be used as peripheral reference samples used for intra prediction.
  • the prediction signals thus generated may be used as generalized reference pictures / blocks.
  • the up-sampled residual signal of the reference layer may be added to the generated prediction signals and used as a generalized reference picture or reference block.
  • the generalized reference picture in the case of applying the single loop scheme in inter-layer prediction is the encoding target of the motion information of the reference layer and the enhancement layer (current layer) when the reference layer is a P slice or a B slice.
  • the picture is composed of prediction signals obtained through motion compensation from reference pictures for the picture.
  • the reference block is the same prediction mode as the intra prediction mode applied to the corresponding block in the reference layer (1) peripheral prediction signals of the reference block obtained through the motion compensation. It may be included as a reference sample or (2) in the enhancement layer to construct a generalized reference picture through intra prediction using neighboring samples of the reference sample as a reference sample.
  • a picture obtained by further performing picture enhancement on a picture composed of the prediction signals may be used as a generalized reference picture.
  • a signal obtained by adding residual information of a reference layer to a prediction signal obtained through motion compensation may be used as a generalized reference picture.
  • picture enhancement may be performed on a picture composed of the prediction signals or a picture composed of signals obtained by adding residual information to the prediction signal and used as a generalized reference picture.
  • a texture signal obtained from the reference layer may be used as a generalized reference picture.
  • a signal obtained by performing picture enhancement on a texture signal obtained from a reference layer may be used as a generalized reference picture.
  • the generalized reference picture may be added to the reference picture list for the current encoding target picture (block) of the enhancement layer (current layer) and used for inter prediction of the encoding target picture (block).
  • the generalized reference picture may not be added to the reference picture list, but may be designated and used as a reference picture for the encoding target picture (block) of the enhancement layer (current layer).
  • the generalized reference block when the single loop method is applied in the inter-layer prediction when the reference layer is a P slice or a B slice, the motion information of the reference layer and the encoding target picture of the enhancement layer (current layer) A block composed of prediction signals obtained through motion compensation from a reference picture.
  • the reference block if there is an intra predicted reference block in the reference layer, the reference block is the same prediction mode as the intra prediction mode applied to the corresponding block in the reference layer (1) peripheral prediction signals of the reference block obtained through the motion compensation. It may be included as a reference sample or (2) in the enhancement layer to construct a generalized reference block through intra prediction using neighboring samples of the reference sample as a reference sample.
  • a block obtained by further performing picture enhancement on a block composed of the prediction signals may be used as a generalized reference picture.
  • a block obtained by adding residual information of a reference layer to a prediction signal obtained through motion compensation may be used as a generalized reference block.
  • a block consisting of the prediction signals or a block obtained by adding residual information to the prediction signal may be a generalized reference block.
  • the texture signal obtained from the reference layer may be used as a generalized reference block.
  • a signal obtained by performing picture enhancement on a texture signal obtained from a reference layer may be used as a generalized reference block.
  • the generalized reference block may be used as a prediction signal for the encoding target block of the enhancement layer (current layer).
  • the generalized reference block generator 920 may obtain a N ⁇ N size block generated from a picture of a decoded reference layer as a generalized reference block when the size of an encoding target block of the current layer is N ⁇ N.
  • the encoding apparatus of the enhancement layer may encode a difference (residual signal) from the original block of the enhancement layer by using the generalized reference block as a prediction block for the current block.
  • Generalized reference picture information (2) generated by the generalized reference picture generator 910 and generalized reference block information (3, 4) generated by the generalized reference block generator 920 are transmitted to the enhancement layer encoding apparatus. Delivered.
  • the generalized reference block information 3 and 4 output from the generalized reference block generator 920 may be the same information.
  • FIG. 10 is a diagram schematically illustrating a multilayer encoding apparatus for performing interlayer prediction according to the present invention.
  • FIG. 10 illustrates an example of an enhancement layer encoding apparatus in a multilayer encoding apparatus.
  • the enhancement layer encoding apparatus 1000 may include a transformer 1010, an intra predictor 1020, an inter predictor 1030, a quantizer 1040, an inverse quantizer 1050, an inverse transform unit 1060, and a filter unit. 1070, a picture buffer 1080, and an entropy encoding unit 1090.
  • the entropy encoding unit 1090 may serve as each component in the encoding apparatus as described with reference to FIG. 8.
  • the transformer 1010 may DST or DCT the difference value of the pixel predicted from the input image and the inter predictor 820 or the intra predictor 830, that is, a residual signal.
  • the input image input to the enhancement layer encoding apparatus 1000 is information about an image having a higher image quality, a larger size, a higher resolution, and / or a higher frame rate than the input image input to the base layer encoding apparatus 800.
  • the video stream may be a video stream composed of part or all of the entire video stream.
  • the quantization unit 1040 quantizes the difference value of the DST or DCT transformed pixel, that is, a residual signal (residual block).
  • the inverse quantization unit 1050 inversely quantizes the quantized value from the quantization unit 1040.
  • the inverse transform unit 1060 inversely converts the inverse quantized value by IDCT (Inverse DCT) or IDST (Inverse DST).
  • the entropy encoding unit 1090 entropy encodes the quantized value from the quantization unit 1040 using CABAC or CAVLC.
  • the picture buffer 1080 stores the decoded image, and the filter unit 1070 may apply an in-loop filter to the image before storing the image in the picture buffer 880.
  • the intra prediction unit 1020 performs prediction (intra prediction) on the current block based on neighboring blocks in the current picture when the encoding apparatus 800 performs encoding in the intra mode.
  • the inter prediction unit 1030 performs prediction (inter prediction) on the current block based on the reference picture when the encoding apparatus 1000 performs encoding in the inter mode. Details of inter prediction performed by the inter prediction unit and intra prediction performed by the intra prediction unit have been described with reference to FIG. 1.
  • image information processed by an encoding apparatus for a base layer is transmitted to the encoding apparatus 1000 for an enhancement layer through an interlayer prediction unit.
  • information (2) about the generalized reference picture generated from the generalized reference picture generation unit of the interlayer prediction unit is transferred to the picture buffer 1080.
  • Information (3) and (4) about the generalized reference block generated from the generalized reference block generator of the interlayer prediction unit are transmitted to the intra predictor 1020 and the inter predictor 1030.
  • the intra prediction unit 1020 may use the image information 3 of the base layer transmitted from the inter layer prediction unit as a prediction signal for the current block of the enhancement layer. In addition, the intra prediction unit 1020 may perform intra prediction on the current block of the enhancement layer by using the peripheral reference samples of the enhancement layer.
  • the inter predictor 1030 may use the image information 4 of the base layer transmitted from the inter layer predictor as a prediction signal for the current block of the enhancement layer.
  • the inter predictor 1030 may also perform motion prediction using the image information 2 of the base layer stored in the picture buffer 1080.
  • the inter prediction unit 1030 that performs inter prediction on the input image of the enhancement layer and the intra prediction unit 1030 that performs intra prediction on the input image of the enhancement layer in the encoding apparatus 1000 of the enhancement layer.
  • the encoding apparatus of the enhancement layer includes a prediction unit separate from the inter prediction unit 1030 and / or the intra prediction unit 1120, and the information (3 and 4) transmitted by the separate prediction unit from the inter layer prediction unit. It may also be able to perform the prediction based on.
  • the information inputted to the inter prediction unit 1030, the intra prediction unit 1020, and a separate prediction unit and the output information may be provided with a switch to be selected.
  • 11 is a diagram schematically illustrating a multilayer decoding apparatus for performing interlayer prediction according to the present invention. 11 illustrates an example of a base layer decoding apparatus in the multilayer decoding apparatus.
  • the base layer decoding apparatus 1100 may include an entropy decoding unit 1110, an inverse quantization unit 1120, an inverse transform unit 1130, a filter unit 1140, a picture buffer 1150, and an inter prediction unit ( 1160, an intra predictor 1170.
  • the entropy decoding unit 1110, the inverse quantization unit 1120, the inverse transform unit 1130, the filter unit 1140, the picture buffer 1150, the inter prediction unit 1160, and the intra prediction unit 1170 are described with reference to FIG. 2. It can serve as each component in the decoding device as shown.
  • the entropy decoding unit 1110 may receive the bitstream and perform entropy decoding by a method such as CABAC, CAVLC, or the like.
  • the inverse quantization unit 1120 may inverse quantize the quantized transform coefficients obtained from the entropy decoding unit 1110.
  • the inverse transform unit 1130 performs inverse quantization according to a transform method applied to the quantized transform coefficients. For example, if the quantized transform coefficients are due to DCT, inverse quantization may be performed using IDCT. If the quantized transform coefficients are due to DST, inverse quantization may be performed using IDST.
  • the picture buffer unit 1150 stores the decoded image information, and the filter unit 1140 may apply an in-loop filter to the reconstructed image (picture) before being stored in the picture buffer 1150.
  • the inter prediction unit 1160 performs inter prediction based on a reference picture stored in the picture buffer unit 1150 when the decoding apparatus 1100 performs inter prediction on the current block.
  • the intra prediction unit 1170 performs intra prediction on the current block based on information of neighboring blocks. Details of inter prediction and intra prediction are as described above.
  • image information processed by the decoding apparatus 1100 for the base layer is transmitted to the interlayer prediction unit.
  • the image information output from the intra prediction unit 1170, the image information output from the inter prediction unit 1160, and the information inversely transformed by the inverse transformer 1130 are transferred to the interlayer prediction unit. do.
  • the decoded and reconstructed image information e may be transmitted to the interlayer prediction unit after at least one of in-loop filters (deblocking filter, SAO, ALF, etc.) is applied from the filter unit 880. In this case, the image information e may be transmitted to the interlayer prediction unit without passing through the in-loop filter.
  • in-loop filters deblocking filter, SAO, ALF, etc.
  • FIG. 12 is a diagram schematically illustrating a multilayer decoding apparatus for performing interlayer prediction according to the present invention.
  • FIG. 12 illustrates an example of an interlayer prediction unit in a multilayer decoding apparatus.
  • the interlayer prediction unit 1200 of the multilayer decoding apparatus includes a generalized reference block generator 1210, a generalized reference picture generator 1220, and a predictor 1225.
  • the predictor 1225 includes a texture predictor 1230, a spatial enlarger 1240, a motion predictor 1250, a scale enlarger 1260, a residual predictor 1270, and a spatial enlarger 1280. do.
  • the image information e, f, g, h shown in FIG. 12 as the information input to the interlayer predictor 1200 is information transmitted from the base layer decoding apparatus, and the image information e, f, G, h).
  • the interlayer prediction unit generates prediction information necessary for interlayer prediction based on the input information e, f, g, and h.
  • the texture predictor 1230 may decode the textures of the reference layer blocks corresponding to the decoding target block of the enhancement layer (current layer) through texture prediction based on the image information e transmitted from the base layer decoding apparatus. Information can be obtained. Texture prediction is a process of obtaining a pixel value from a block of a reference layer (base layer) corresponding to a current block of an enhancement layer (current layer).
  • the spatial enlarger 1240 may enlarge (eg, upsample) the decoded texture information of the reference layer blocks obtained by the texture predictor 1230 according to the size of the enhancement layer (current layer).
  • the motion predictor 1250 may acquire the motion information and the intra prediction mode of the reference layer blocks corresponding to the decoding target block of the enhancement layer (current layer) based on the information f transmitted from the base layer decoding apparatus. .
  • the scale enlarger 1260 may adjust the motion information of the reference layer blocks obtained by the motion predictor 1250 in correspondence with an enhancement layer (current layer). For example, the motion vector obtained by the motion predictor 1250 may be scaled according to the size of the enhancement layer.
  • the AMVP candidate or the merge candidate may be mapped to the corresponding AMVP candidate or the merge candidate in the enhancement layer.
  • the residual prediction unit 1270 may obtain residual information of reference layer blocks corresponding to the decoding target block of the enhancement layer (current layer) based on the image information g received from the base layer decoding apparatus.
  • the spatial enlarger 1280 may enlarge (eg, upsample) the residual information of the reference layer acquired by the residual predictor 1270 according to the size of the enhancement layer.
  • the generalized reference block generator 1210 may generate a generalized reference based on the image information of the base layer generated by the predictor 1225 and the image information (h) of the decoded base layer transferred from the picture buffer of the base layer decoding apparatus. Create a block. As described above, the predictor 1225 transmits texture information, motion information, intra prediction mode information, and residual information obtained from the base layer to the generalized reference block generator 1210.
  • the generalized reference picture generator 1220 may include the image information of the base layer generated from the predictor 1225, the image information of the decoded base layer transferred from the picture buffer of the base layer decoding apparatus, and the enhancement layer decoding apparatus.
  • a generalized reference picture is generated based on the image information (8) of the decoded enhancement layer transmitted from the picture buffer of.
  • the predictor 1225 transfers texture information, motion information, intra prediction mode information, and residual information obtained from the base layer to the generalized reference picture generator 1220.
  • the information transmitted to the generalized reference picture generator 1220 and the generalized reference block generator 1210 may be scaled or enlarged according to the characteristics of the enhancement layer.
  • the generalized reference picture or the generalized reference block may be generated by reflecting the slice type of the reference layer.
  • the generalized reference picture generator or the generalized reference block generator may generate a texture reconstructing the reference layer.
  • the generalized reference picture generator or the generalized reference block generator may use the motion information and the reference images of the enhancement layer to perform a prediction signal. Can be generated.
  • the generalized reference picture generator or the generalized reference block generator may perform intra prediction using the corresponding intra prediction mode.
  • the reconstructed samples of the inter predicted block in the enhancement layer (current layer) may be used as peripheral reference samples used for intra prediction.
  • the prediction signals thus generated may be used as generalized reference pictures / blocks.
  • the up-sampled residual signal of the reference layer may be added to the generated prediction signals and used as a generalized reference picture or reference block.
  • the generalized reference block in the case where a single loop is applied in inter-layer prediction when the reference layer is a P slice or a B slice, motion information of the reference layer and a decoding target picture of the enhancement layer (current layer) Is a block composed of prediction signals obtained through motion compensation from a reference picture.
  • the reference block if there is an intra predicted reference block in the reference layer, the reference block is the same prediction mode as the intra prediction mode applied to the corresponding block in the reference layer (1) peripheral prediction signals of the reference block obtained through the motion compensation. It may be included as a reference sample or (2) in the enhancement layer to construct a generalized reference block through intra prediction using neighboring samples of the reference sample as a reference sample.
  • a block obtained by further performing picture enhancement on a block composed of the prediction signals may be used as a generalized reference picture.
  • a block obtained by adding residual information of a reference layer to a prediction signal obtained through motion compensation may be used as a generalized reference block.
  • a block consisting of the prediction signals or a block obtained by adding residual information to the prediction signal may be a generalized reference block.
  • the texture signal obtained from the reference layer may be used as a generalized reference block.
  • a signal obtained by performing picture enhancement on a texture signal obtained from a reference layer may be used as a generalized reference block.
  • the generalized reference block may be used as a prediction signal for a decoding target block of an enhancement layer (current layer). have. If the size of the decoding target block of the current layer is N ⁇ N, the generalized reference block generator 920 may obtain a block of size N ⁇ N generated from the picture of the decoded reference layer as the generalized reference block.
  • the decoding device of the enhancement layer may reconstruct the original block of the enhancement layer by adding the residual signal and the generalized reference block.
  • the generalized reference picture generator 1220 may include the image information of the base layer generated from the predictor 1225, the image information of the decoded base layer transferred from the picture buffer of the base layer decoding apparatus, and the enhancement layer decoding apparatus.
  • a generalized reference picture is generated based on the image information (8) of the decoded enhancement layer transmitted from the picture buffer of.
  • the predictor 1225 performs texture information of the base layer interpolated through the spatial enlarger 1240, motion information of the base layer scaled through the scale enlarger 1260, and the spatial enlarger 1280.
  • the residual information of the interpolated base layer is transmitted to the generalized reference picture generator 1220.
  • the generalized reference picture is used for motion information of the reference layer and the decoding target picture of the enhancement layer (the current layer).
  • the picture is composed of prediction signals obtained through motion compensation from reference pictures.
  • the reference block is the same prediction mode as the intra prediction mode applied to the corresponding block in the reference layer (1) peripheral prediction signals of the reference block obtained through the motion compensation. It may be included as a reference sample or (2) in the enhancement layer to construct a generalized reference picture through intra prediction using neighboring samples of the reference sample as a reference sample.
  • a picture obtained by further performing picture enhancement on a picture including the prediction signals may be a generalized reference picture.
  • a signal obtained by adding residual information of a reference layer to a prediction signal obtained through motion compensation may be used as a generalized reference picture.
  • picture enhancement may be performed on a picture composed of the prediction signals or a picture composed of signals obtained by adding residual information to the prediction signal and used as a generalized reference picture.
  • a texture signal obtained from the reference layer may be used as a generalized reference picture.
  • a signal obtained by performing picture enhancement on a texture signal obtained from a reference layer may be used as a generalized reference picture.
  • the generalized reference picture may be added to the reference picture list for the current encoding target picture (block) of the enhancement layer (current layer) and used for inter prediction of the encoding target picture (block).
  • the generalized reference picture may not be added to the reference picture list but may be designated and used as a reference picture for the encoding target picture (block) of the enhancement layer (current layer).
  • the generated generalized reference picture information (7) and the generalized reference block information (5, 6) generated by the generalized reference block generator 1210 are transmitted to the enhancement layer decoding apparatus.
  • FIG. 13 is a diagram schematically illustrating a multilayer decoding apparatus for performing interlayer prediction according to the present invention.
  • FIG. 13 illustrates an example of an enhancement layer decoding apparatus in the multilayer decoding apparatus.
  • the enhancement layer decoding apparatus 1300 may include an entropy decoding unit 1310, an inverse quantization unit 1320, an inverse transform unit 1330, a filter unit 1340, a picture buffer 1350, and an inter prediction unit. 1360, an intra predictor 1370.
  • the entropy decoding unit 1310, the inverse quantization unit 1320, the inverse transform unit 1330, the filter unit 1340, the picture buffer 1350, the inter prediction unit 1360, and the intra prediction unit 1370 are also described with reference to FIG. 2. It can serve as each component in the decoding device as shown.
  • the entropy decoding unit 1310 may receive the bitstream and perform entropy decoding by a method such as CABAC, CAVLC, or the like.
  • the bitstream input to the enhancement decoding apparatus 1300 is information about an image having a higher image quality, a larger size, a higher resolution, and / or a higher frame rate than the bitstream input to the base layer decoding apparatus. It may be a bitstream composed of part or all of the stream.
  • the inverse quantization unit 1320 may inverse quantize the quantized transform coefficients obtained from the entropy decoding unit 1310.
  • the inverse transform unit 1330 performs inverse quantization according to a transform method applied to the quantized transform coefficients. For example, if the quantized transform coefficients are due to DCT, inverse quantization may be performed using IDCT. If the quantized transform coefficients are due to DST, inverse quantization may be performed using IDST.
  • the picture buffer unit 1350 stores the decoded image information, and the filter unit 1340 may apply the in-loop filter to the reconstructed image (picture) before being stored in the picture buffer 1350.
  • the inter prediction unit 1360 performs inter prediction based on a reference picture stored in the picture buffer unit 1350 when the decoding apparatus 1300 performs inter prediction on the current block.
  • the intra prediction unit 1370 performs intra prediction on the current block based on information of neighboring blocks. Details of inter prediction and intra prediction are as described above.
  • image information processed by the decoding apparatus 1100 for the base layer is transmitted to the enhancement layer decoding apparatus 1300 through the interlayer prediction unit 1200.
  • information 7 about the generalized reference picture generated from the generalized reference picture generator of the interlayer prediction unit is transferred to the picture buffer 1350.
  • information (5, 6) about the generalized reference block generated from the generalized reference block generator of the interlayer prediction unit is transmitted to the intra predictor 1370 and the inter predictor 1360.
  • the intra predictor 1370 may use image information 5 of the base layer transmitted from the interlayer predictor as a prediction signal for the current block of the enhancement layer.
  • the intra predictor 1370 may perform intra prediction on the current block of the enhancement layer by using the peripheral reference samples of the enhancement layer. Whether to use the generalized reference block or to perform intra prediction in the current layer may be determined based on the indication or information transmitted from the encoding apparatus.
  • the inter predictor 1030 may use the image information 6 of the base layer transmitted from the inter layer predictor as a prediction signal for the current block of the enhancement layer.
  • the inter prediction unit 1360 may also perform motion prediction using the image information (7) of the base layer stored in the picture buffer 1350. Based on the information, whether to perform prediction on the current block may be predetermined between the encoding apparatus and the decoding apparatus, or may be indicated from the encoding apparatus.
  • the inter prediction unit 1360 that performs inter prediction on the input image of the enhancement layer and the intra prediction unit 1370 that performs intra prediction on the input image of the enhancement layer is performed by the decoding apparatus 1300 of the enhancement layer.
  • the decoding apparatus of the enhancement layer includes a prediction unit separate from the inter prediction unit 1360 and / or the intra prediction unit 1357, and the information (5, 6) transmitted by the separate prediction unit from the inter layer prediction unit. It may also be able to perform the prediction based on.
  • the information inputted to the inter prediction unit 1360, the intra prediction unit 1370, and a separate prediction unit and the output information may be provided with a switch to be selected.
  • FIG. 14 is a diagram schematically illustrating an example of a configuration of a reference picture generation unit generalized in an interlayer prediction unit to which the present invention is applied.
  • the generalized reference picture generator 1400 includes a motion compensator 1410 and a picture enhancer 1420.
  • the motion compensator 1410 receives encoding information and residual information of the base layer (reference layer) from the inter-layer prediction unit 925 of FIG. 9 and 1225 of FIG. 12.
  • the encoding information may include motion information of the base layer when the base layer is a B slice or a P slice.
  • the encoding information may include intra prediction mode information of the base layer when the base layer is a P slice or a B slice.
  • the motion compensator 1410 moves about the current block in the base layer (reference layer), which corresponds to the current block in the enhancement layer. Receives information and residual information, and performs motion compensation.
  • the motion information and the residual information of the base layer input to the motion compensator 1410 may be input by being scaled or enlarged (upsampled) by the interlayer predictor.
  • the motion compensator 1410 may perform motion compensation by receiving an intra prediction mode of the base layer in addition to the motion information. As described above, when a block of the base layer (reference layer) is intra predicted, the motion compensator 1410 may perform intra prediction on the block using the intra prediction mode. In this case, the reconstructed sample of the inter predicted block in the enhancement layer (current layer) is used as the peripheral reference samples used for intra prediction from the picture buffer 1430, or as the neighboring block sample of the intra predicted block. In the process of generating a picture, a sample of a motion compensated block may be used.
  • the picture enhancer 1420 may match the picture output from the motion compensator 1410 to the same or similar to the input source picture of the enhancement layer (current layer). You can perform the process (picture enhancement) to make it work.
  • the picture enhancement unit 1420 may receive a motion-compensated picture and perform picture enhancement on the input image information (texture information) based on the image information stored in the picture buffer 1430 of the enhancement layer. . Also, the picture enhancement unit 1420 receives image information (texture information) of the base layer and image information stored in the picture buffer 1430 of the enhancement layer, and is based on the image information stored in the picture buffer 1430 of the enhancement layer. As a result, picture enhancement may be performed on the input image information (texture information).
  • the image information stored in the picture buffer 1430 of the enhancement layer that is the basis of the picture enhancement may be an original image of the enhancement layer.
  • the picture enhancement unit 1420 may apply at least one of an adaptive loop filter (ALF) and a sample adaptive offset (SAO) to the input image information (texture information).
  • ALF adaptive loop filter
  • SAO sample adaptive offset
  • a picture enhancement method and a filter coefficient applied to the picture enhancement unit 1420 may be determined and signaled by the encoding apparatus.
  • 15 is a diagram schematically illustrating an example of a configuration of a generalized reference block generator in an interlayer prediction unit to which the present invention is applied.
  • the generalized reference block generator 1500 includes a motion compensator 1510 and a picture enhancer 1520.
  • the motion compensator 1510 receives encoding information and residual information of the base layer (reference layer) from the inter-layer prediction unit 925 of FIG. 9 and 1225 of FIG. 12.
  • the encoding information may include motion information of the base layer when the base layer is a B slice or a P slice.
  • the encoding information may include intra prediction mode information of the base layer when the base layer is a P slice or a B slice.
  • the motion compensator 1510 moves about the current block in the base layer (reference layer), which corresponds to the current block in the enhancement layer. Receives information and residual information, and performs motion compensation.
  • the motion information and the residual information of the base layer input to the motion compensator 1510 may be input by being scaled or enlarged (upsampled) by the interlayer predictor.
  • the motion compensator 1510 may also receive the intra prediction mode of the base layer to perform motion compensation. As described above, when a block of the base layer (reference layer) is intra predicted, the motion compensator 1510 may perform intra prediction on the block using the intra prediction mode. In this case, the reconstructed sample of the inter predicted block in the enhancement layer (current layer) is used as the peripheral reference samples used for intra prediction from the picture buffer 1530, or as the neighboring block sample of the intra predicted block. In the process of generating a picture, a sample of a motion compensated block may be used.
  • the picture enhancer 1520 may match a block output from the motion compensator 1510 to the input original block of the enhancement layer (current layer). You can perform the process (picture enhancement) to make it work.
  • the picture enhancement unit 1520 may receive a motion compensated block and perform picture enhancement on the input image information (texture information) based on the image information stored in the picture buffer 1530 of the enhancement layer. . Also, the picture enhancement unit 1520 receives the image information (texture information) of the base layer and the image information stored in the picture buffer 1530 of the enhancement layer, and based on the image information stored in the picture buffer 1530 of the enhancement layer. As a result, picture enhancement may be performed on the input image information (texture information).
  • the image information stored in the picture buffer 1530 of the enhancement layer that is the basis of the picture enhancement may be an original image of the enhancement layer.
  • the picture enhancement unit 1520 may apply at least one of an adaptive loop filter (ALF) and a sample adaptive offset (SAO) to the input image information (texture information).
  • ALF adaptive loop filter
  • SAO sample adaptive offset
  • a picture enhancement method and a filter coefficient applied to the picture enhancement unit 1520 may be determined and signaled by the encoding apparatus.
  • the picture reconstructed by the picture enhancement unit 1520 is transferred to the inter prediction unit 1540 or the intra prediction unit 1550 of the enhancement layer, as described with reference to FIGS. 12 and 13.
  • 16 is a flow chart schematically illustrating interlayer prediction performed in accordance with the present invention.
  • the multilayer encoding apparatus and the multilayer decoding apparatus (hereinafter, the 'encoding apparatus / decoding apparatus') determine the prediction method for the current block of the enhancement layer.
  • the encoding device / decoding device determines whether to perform inter-layer prediction on the current block of the enhancement layer (S1610).
  • the encoding apparatus may determine whether to perform inter-layer prediction or single-layer prediction in the enhancement layer in consideration of RDO and / or data transmission cost.
  • the encoding apparatus may transmit a flag indicating whether to perform interlayer prediction or single layer prediction to the decoding apparatus.
  • the decoding apparatus may determine whether to perform inter-layer prediction or single-layer prediction on the current block of the enhancement layer as indicated by a flag received from the encoding apparatus. For example, if the flag indicating whether to perform interlayer prediction is interLayerPred_flag, when the value of interLayerPred_flag is 1, the decoding apparatus performs interlayer prediction, and when the value of interLayerPred_flag is 0, the decoding apparatus performs single layer prediction. It can also be done. Although a flag having a value of 1 indicates interlayer prediction, a flag having a value of 0 may be set to indicate interlayer prediction.
  • the prediction block may be performed in the enhancement layer with respect to the current block of the enhancement layer (S1620).
  • the slice type including the current block of the enhancement layer is an intra-slice (I-slice)
  • prediction may be performed on the current block by performing intra prediction.
  • an example of the intra prediction mode applicable to the current block of the enhancement layer is as described with reference to FIG. 3.
  • the encoding device / decoding device may perform intra prediction on the enhancement layer using one of a directional prediction mode and a non-directional prediction mode as shown in FIG. 3, and generate a prediction block.
  • the encoding device transmits information about the intra prediction mode to be used for the current block of the enhancement layer to the decoding device, and the decoding device predicts the current block of the enhancement layer according to the intra prediction mode indicated by the information received from the encoding device. Can be performed.
  • the encoding device / decoding device has the same enhancement.
  • Inter prediction may be performed on the current block based on reference pictures in the layer.
  • the encoding device / decoding device may perform inter prediction on the current block by using any one of an inter prediction method such as a skip mode, a merge mode, and an AMVP. Can be.
  • the encoding apparatus transmits information about the inter prediction method to be used for the current block of the enhancement layer to the decoding apparatus, and the decoding apparatus determines the current block of the enhancement layer according to the inter prediction method indicated by the information received from the encoding apparatus. You can make predictions.
  • the encoding device / decoding device predicts the current block of the enhancement layer based on the generalized reference picture or the generalized reference block generated from the information of the reference layer (base layer). It may be performed (S1630).
  • the inter-layer prediction method performed at this time may be different according to the slice type of the enhancement layer.
  • the interlayer prediction performed in the encoding device / decoding device is as follows:
  • the slice type of the enhancement layer or the slice type of the base layer is intra slice (I-slice) and inter layer prediction is applied
  • the encoding device / decoding device may perform prediction on the current block of the enhancement layer based on the generalized reference picture or the generalized reference block generated using the decoded picture information of the reference layer (base layer).
  • the decoded picture of the reference layer is up-sampled according to the picture size of the enhancement layer to generalize the reference picture.
  • a generalized reference block may be generated. Upsampling may be performed, for example, in the interlayer prediction unit as described with reference to FIG. 9 or 12.
  • Upsampling may be performed using at least one of a fixed filter using a fixed filter coefficient, an adaptive filter that adaptively varies filter coefficients according to slices, pictures, and blocks.
  • the encoding device / decoding device uses a generalized reference picture (upsampled decoding of the reference layer).
  • a reference picture list for a current block of an enhancement layer including a picture or a decoded picture that is not upsampled.
  • the encoding device / decoding device may perform inter prediction on the current block of the enhancement layer by using the generalized reference picture included in the reference picture list of the current block of the enhancement layer as the reference picture.
  • an inter prediction method such as AMVP, merge mode, and skip mode may be used as described above.
  • the generalized reference picture is added to the current picture of the enhancement layer without adding the generalized reference picture (upsampled decoded picture or non-upsampled decoded picture of the reference layer) to the reference picture list. It may be used as a reference picture for the block.
  • the encoding apparatus may transmit information indicating the generalized reference picture as the reference picture for the current block to the decoding apparatus.
  • the decoding apparatus may perform inter prediction on the current block of the enhancement layer using the generalized reference picture. have.
  • the generalized reference picture is described as an upsampled decoded picture or an unsampled decoded picture of the reference layer.
  • a picture enhancement is performed on the decoded picture of the base layer. May be performed to generate a generalized reference picture.
  • Picture enhancement is a method of minimizing the error between the decoded picture and the original picture used as the reference picture as described above.
  • the picture enhancement can be said to minimize the error between the generalized reference picture and the original picture generated based on the reference layer.
  • the original picture refers to a picture input to the encoding device of the enhancement layer.
  • the encoding apparatus calculates filter coefficients capable of minimizing an error between an original picture and a generalized reference picture, and then has the filter coefficients in an upsampled decoded picture or an unsampled decoded picture obtained from a reference layer. Filters may be applied to generate generalized reference pictures.
  • the encoding apparatus may also transmit information about the calculated filter coefficients to the decoding apparatus.
  • the decoding apparatus may generate a generalized reference picture by applying a filter having a filter coefficient received from the encoding apparatus to an upsampled decoded picture or an unsampled decoded picture obtained from the reference layer.
  • the encoding device / decoding device is based on the decoded picture of the base layer (reference layer).
  • Prediction signals (prediction blocks) for the current block of the enhancement layer may be obtained from the generalized reference block generated as follows.
  • upsampling may be performed on the decoded picture obtained from the reference layer. Upsampling may be performed, for example, in the interlayer prediction unit as described with reference to FIG. 9 or 12.
  • Upsampling may be performed using at least one of a fixed filter using a fixed filter coefficient, an adaptive filter that adaptively varies filter coefficients according to slices, pictures, and blocks.
  • pixel values obtained from generalized reference blocks of the reference layer (base layer) corresponding to the current block of the enhancement layer may be used as prediction signals (prediction blocks) for the current block of the enhancement layer.
  • the generalized reference block may be a block obtained by upsampling a decoded picture obtained from a reference layer (base layer) or may be a block obtained without upsampling.
  • the current block of the enhancement layer may be encoded / decoded in various block sizes according to the quad tree structure.
  • the current block of the enhancement layer may be encoded / decoded, predicted, or transformed in any one of CU, PU, and TU.
  • the generalized reference block may be composed of pixels of the reference layer (base layer) to correspond to the current block size of the enhancement layer, or may be upsampled to correspond to the current block size of the enhancement layer.
  • Picture enhancement may be further performed on the decoded image obtained from the reference layer (base layer) so that the generalized reference block may be closer to the original of the encoding / decoding target block (current block) of the enhancement layer.
  • the picture enhancement may be referred to as minimization of an error between the generalized reference block generated based on the reference layer and the current block (original block) of the enhancement layer.
  • the encoding apparatus calculates filter coefficients that can minimize the error between the original picture and the generalized reference block, and then applies the filter coefficients to an upsampled decoded block or an unsampled decoding block obtained from a reference layer.
  • a generalized reference block can be generated by applying a filter having.
  • the encoding apparatus may also transmit information about the calculated filter coefficients to the decoding apparatus.
  • the decoding apparatus may generate a generalized reference block by applying a filter having a filter coefficient received from the encoding apparatus to an upsampled decoding block or an unsampled decoding block obtained from the reference layer.
  • the slice type of the enhancement layer or the slice type of the base layer is inter slice (P-slice, B-slice, etc.) and inter layer prediction is applied
  • the encoding device / decoding device may perform prediction on the current block of the enhancement layer based on the generalized reference picture or the generalized reference block generated by using encoding information and residual information of the reference layer (base layer). .
  • the encoding information obtainable from the reference layer includes motion information such as a motion vector, a reference picture index, an AMVP candidate index, a merge candidate index, and intra prediction mode information.
  • the encoding device / decoding device may upsample the motion information obtained from the reference layer to match the picture size of the enhancement layer. Can be.
  • the encoding device / decoding device may encode encoding information and residuals of the reference layer (base layer). Prediction of an encoding or decoding target block (current block) of the enhancement layer may be performed based on the generalized reference picture generated using the information.
  • the encoding device / decoding device Based on the motion information obtained from the reference layer and the prediction block generated through motion compensation using the reference pictures in the enhancement layer, the encoding device / decoding device generates a generalized reference picture for the current block of the enhancement layer. Can be generated.
  • prediction signals generated by using the intra prediction mode applied to the reference block and the surrounding samples that are already reconstructed (motion compensated) are used. It can be used as a generalized reference picture. In this case, the picture generated by adding the residual signal of the reference layer to the prediction signal may be used as a generalized reference picture.
  • the picture size of the reference layer (base layer) is different from the picture size of the enhancement layer, after up-sampling the prediction signals (prediction block) and / or the residual signals (residual block) of the reference layer Generalized reference pictures may be generated.
  • inter-layer prediction may be performed on the current block of the enhancement layer.
  • the generalized reference picture included in the reference picture list may be used as a reference picture when inter prediction is performed on the current block of the enhancement layer.
  • the prediction of the current block of the enhancement layer may be performed by using the inter prediction method such as the above-described AMVP, merge mode, and skip mode.
  • a predetermined reference picture may be replaced with a generalized reference picture in the reference picture list for the current block of the enhancement layer.
  • the generalized reference picture may simply be added to the reference picture list for the current block of the enhancement layer.
  • the generalized reference picture may be used as a reference picture for the current block of the enhancement layer without adding the generalized reference picture to the reference picture list.
  • the encoding apparatus may transmit information indicating the generalized reference picture as the reference picture for the current block to the decoding apparatus.
  • the decoding apparatus may perform inter prediction on the current block of the enhancement layer using the generalized reference picture. have.
  • the encoding apparatus calculates filter coefficients capable of minimizing an error between an original picture and a generalized reference picture, and then has the filter coefficients in an upsampled decoded picture or an unsampled decoded picture obtained from a reference layer. Filters may be applied to generate generalized reference pictures.
  • the encoding apparatus may also transmit information about the calculated filter coefficients to the decoding apparatus.
  • the decoding apparatus may generate a generalized reference picture by applying a filter having a filter coefficient received from the encoding apparatus to an upsampled decoded picture or an unsampled decoded picture obtained from the reference layer.
  • the encoding device / decoding device may encode encoding information and residuals of the reference layer (base layer). Prediction signals (prediction blocks) for the encoding or decoding target block (current block) of the enhancement layer may be obtained from the generalized reference block generated using the information.
  • the encoding device / decoding device may generate a generalized reference block using prediction signals (prediction blocks) obtained by performing motion compensation based on motion information obtained from a reference layer (base layer) and reference pictures in the enhancement layer.
  • prediction signals prediction blocks
  • prediction signals generated by using an intra prediction mode applied to the reference block and surrounding samples that are already reconstructed (motion compensated) are used. It can be used as a generalized reference block. In this case, the picture generated by adding the residual signal of the reference layer to the prediction signal may be used as a generalized reference picture.
  • the encoding device / decoding device may additionally perform picture enhancement.
  • the encoding apparatus calculates filter coefficients that can minimize the error between the original picture and the generalized reference block, and then applies the filter coefficients to an upsampled decoded block or an unsampled decoding block obtained from a reference layer.
  • a generalized reference block can be generated by applying a filter having.
  • the encoding apparatus may also transmit information about the calculated filter coefficients to the decoding apparatus.
  • the decoding apparatus may generate a generalized reference block by applying a filter having a filter coefficient received from the encoding apparatus to an upsampled decoding block or an unsampled decoding block obtained from the reference layer.
  • the encoding device / decoding device may use the generalized reference block as a prediction block for the current block of the enhancement layer.
  • the encoding device / decoding device may reconstruct or encode the current picture of the enhancement layer based on a result of the single layer prediction or the inter-layer prediction for the current block of the enhancement layer (S1650).
  • the encoding apparatus may transform, quantize, and entropy encode a residual block (residual signal) generated based on a prediction result and transmit the same to the decoding apparatus.
  • the encoding apparatus may multiplex and transmit a bitstream output from the base layer encoding apparatus and the enhancement layer encoding apparatus using a multiplexer.
  • the decoding apparatus also, as described above, is a high definition, high resolution, large size and / or high frame supported by the enhancement layer based on the prediction block (prediction signal) and the residual block (residual signal) generated by the prediction. It is possible to reconstruct a picture (or video) at a rate.
  • the bitstream input to the encoding apparatus may be divided into a base layer and an enhancement layer by a demultiplexer, and input to the base layer encoding apparatus and the enhancement layer encoding apparatus, respectively.
  • an encoding or decoding target layer may be inter-layer predicted using at least one of layers lower than itself as a reference layer, or may be single-layer predicted within an encoding or decoding target layer.
  • the information obtained from the lower layer in order to perform the SVC has been described as upsampling with respect to the size. However, this is for convenience of description. Enhancement may be equally performed for image quality, resolution, and frame rate as well as picture size.
  • the generalized reference picture and the generalized reference block may be used together for inter-layer prediction, or only one may be used.
  • the encoding apparatus and the decoding apparatus may have only the necessary configuration of the generalized reference block generator and the generalized reference picture generator.
  • the methods are described based on a flowchart as a series of steps or blocks, but the present invention is not limited to the order of the steps, and some steps may be in a different order than the above-described steps or It can happen at the same time.
  • the above-described embodiments include examples of various aspects. For example, a combination of each embodiment will also be understood as one embodiment of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

The present invention relates to a method and an apparatus for interlayer prediction, and the method for interlayer prediction, according to the present invention, comprises the steps of: deciding whether to apply an interlayer prediction to an enhancement layer; and performing a prediction on a current block of the enhancement layer based on reference information that is generalized and generated from a reference picture, which is decoded, of a reference layer, when the interlayer prediction is applied, wherein the reference layer information can be encoding information of a reference block , which corresponds to a current block of the enhancement layer, from the reference layer, and residual information.

Description

스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치Scalable video coding and decoding method and apparatus using same
본 발명은 영상 정보의 처리에 관한 것으로서, 더 구체적으로는 스케일러블 비디오 코딩(Scalable Video Coding: SVC, 이하 ‘SVC’라 함)을 이용한 비디오 인코딩 방법 및 비디오 디코딩 방법과 이들을 이용한 장치에 관한 것이다.The present invention relates to the processing of video information, and more particularly, to a video encoding method and a video decoding method using scalable video coding (SVC, hereinafter referred to as "SVC") and an apparatus using the same.
최근 멀티미디어(multimedia) 환경이 구축되면서, 다양한 단말과 네트워크가 이용되고 있으며, 이에 따른 사용자 요구도 다변화하고 있다. Recently, as a multimedia environment is established, various terminals and networks are used, and user demands are diversifying accordingly.
예컨대, 단말의 성능과 컴퓨팅 능력(computing ability)가 다양해짐에 따라서 지원하는 성능도 기기별로 다양해지고 있다. 또한 정보가 전송되는 네트워크 역시 유무선 네트워크와 같은 외형적인 구조뿐만 아니라, 전송하는 정보의 형태, 정보량과 속도 등 기능별로도 다양해지고 있다. 사용자는 원하는 기능에 따라서 사용할 단말과 네트워크를 선택하며, 사용자에게 기업이 제공하는 단말과 네트워크의 스펙트럼도 다양해지고 있다.For example, as the performance and computing ability of the terminal are diversified, the supporting performance is also diversified by device. In addition, the network in which information is transmitted is also diversified not only in the external structure such as wired and wireless networks, but also in functions such as the type of information to be transmitted, the amount and speed of information. The user selects a terminal and a network to be used according to a desired function, and the spectrum of terminals and networks provided by the enterprise to the user is also diversified.
이와 관련하여, 최근 HD(High Definition) 해상도를 가지는 방송이 국내뿐만 아니라 세계적으로 확대되어 서비스되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있다. 이에 따라서 많은 영상 서비스 관련 기관들이 차세대 영상 기기에 대한 개발에 박차를 가하고 있다. In this regard, as a broadcast having a high definition (HD) resolution has been expanded and serviced not only in Korea but also in the world, many users are getting used to high resolution and high quality images. Accordingly, many video service related organizations are speeding up the development of next generation video equipment.
또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상을 압축하여 처리하는 기술에 대한 요구는 더 높아지고 있다.In addition, as interest in Ultra High Definition (UHD), which has four times the resolution of HDTV, is increasing along with HDTV, the demand for technology for compressing and processing higher resolution and higher quality images is increasing.
영상을 압축하여 처리하기 위해, 시간적으로 이전 및/또는 이후의 픽처로부터 현재 픽처에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽처 내의 화소 정보를 이용하여 현재 픽처에 포함된 다른 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 인코딩 기술 등이 사용될 수 있다.In order to compress and process an image, an inter prediction technique for predicting a pixel value included in a current picture from a previous and / or subsequent picture in time, another pixel included in the current picture using pixel information in the current picture An intra prediction technique for predicting a value, an entropy encoding technique for allocating a short sign to a high frequency symbol and a long code to a low frequency symbol may be used.
상술한 바와 같이, 지원하는 기능이 상이한 각 단말과 네트워크 그리고 다변화된 사용자 요구를 고려할 때, 지원되는 영상의 품질, 크기, 프레임 등도 이에 따라 다변화될 필요가 있다.As described above, in consideration of respective terminals and networks having different supporting functions and diversified user demands, the quality, size, frame, etc. of the supported image need to be diversified accordingly.
이와 같이, 이종의 통신망과 다양한 기능/종류의 단말로 인해, 영상의 화질, 해상도, 크기, 프레임 레이트 등을 다양하게 지원하는 스케일러빌러티(scalability)은 비디오 포맷의 중요한 기능이 되고 있다.As such, due to heterogeneous communication networks and terminals of various functions / types, scalability that variously supports image quality, resolution, size, frame rate, etc., has become an important function of a video format.
따라서, 고효율의 비디오 부호화 방법을 기반으로 다양한 환경에서 사용자가 요구하는 서비스를 제공하기 위해 시간, 공간, 화질 등의 측면에서 효율적인 비디오 인코딩과 디코딩이 가능하도록 스케일러빌러티 기능을 제공하는 것이 필요하다.Accordingly, it is necessary to provide a scalability function to enable efficient video encoding and decoding in terms of time, space, and quality in order to provide a service required by a user in various environments based on a highly efficient video encoding method.
본 발명의 일 기술적 목적은 비디오 인코딩 및 비디오 디코딩을 효율적으로 수행할 수 있는 방법 및 장치를 제공하는 것이다,One technical object of the present invention is to provide a method and apparatus capable of efficiently performing video encoding and video decoding,
본 발명의 다른 기술적 목적은 다양한 환경에서 다양한 비디오 서비스를 제공할 수 있는 방법 및 장치를 제공하는 것이다,Another technical object of the present invention is to provide a method and apparatus capable of providing various video services in various environments.
본 발명의 또다른 기술적 목적은 이용자의 요구 또는 목적에 따라서 시간, 공간 및/또는 화질의 측면에서 다양한 비디오 서비스가 가능한 방법 및 장치를 제공하는 것이다.It is another technical object of the present invention to provide a method and apparatus capable of various video services in terms of time, space and / or picture quality according to a user's request or purpose.
본 발명의 또다른 기술적 목적은 동일 전송(simulcast)과 대비하여 비트율의 이득을 가져오면서 다양한 화질, 해상도, 사이즈 및/또는 프레임 레이트 등을 가지는 비디오 서비스가 가능한 방법 및 장치를 제공하는 것이다.Another technical object of the present invention is to provide a method and apparatus capable of video service having various image quality, resolution, size, and / or frame rate while bringing a gain of bit rate compared to the same transmission (simulcast).
(1) 본 발명의 일 실시형태는 인터 레이어 예측 방법으로서, 인핸스먼트 레이어에 인터 레이어 예측을 적용할 것인지를 결정하는 단계 및 인터레이어 예측을 적용하는 경우에, 참조 레이어의 정보로부터 생성한 일반화된 참조 정보를 기반으로 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 단계를 포함하며, 상기 참조 레이어의 정보는, 상기 참조 레이어에서 상기 인핸스먼트 레이어의 현재 블록에 대응하는 참조 블록의 부호화 정보 및 레지듀얼 정보일 수 있다. (1) An embodiment of the present invention is an interlayer prediction method, comprising: determining whether to apply interlayer prediction to an enhancement layer and generalizing generated from information of a reference layer when applying interlayer prediction. Performing prediction on a current block of an enhancement layer based on reference information, wherein the reference layer information includes encoding information and a register of a reference block corresponding to the current block of the enhancement layer in the reference layer. It may be dual information.
(2) (1)에서, 인핸스먼트 레이어에 인터 레이어 예측을 적용할 것인지는 인터 레이어 예측을 지시하는 플래그 정보를 기반으로 결정될 수 있다.(2) In (1), whether to apply interlayer prediction to an enhancement layer may be determined based on flag information indicating interlayer prediction.
(3) (1)에서, 상기 부호화 정보는, 상기 참조 레이어에서 상기 인핸스먼트 레이어의 현재 블록에 대응하는 블록에 대한 움직임 벡터 정보, 참조 픽처 정보, 움직임 벡터 예측자 후보 정보, 머지 후보 정보, 인트라 예측 모드 중 적어도 하나를 포함할 수 있다.(3) In (1), the encoding information includes motion vector information, reference picture information, motion vector predictor candidate information, merge candidate information, and intra for the block corresponding to the current block of the enhancement layer in the reference layer. It may include at least one of the prediction modes.
(4) (1)에서, 상기 일반화된 참조 정보는 상기 참조 레이어의 디코딩된 픽처를 기반으로 생성된 일반화된 참조 픽처이며, 상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 단계에서는, 상기 일반화된 참조 픽처를 상기 현재 블록의 참조 픽처로서 이용할 수 있다.(4) In (1), the generalized reference information is a generalized reference picture generated based on the decoded picture of the reference layer, and in the step of performing prediction on the current block of the enhancement layer, the generalization Used reference picture can be used as a reference picture of the current block.
(5) (4)에서, 상기 일반화된 참조 픽처는, 상기 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처 리스트에 포함되어 상기 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처로서 이용될 수 있다.(5) In (4), the generalized reference picture may be included in a reference picture list for the current block of the enhancement layer and used as a reference picture for the current block of the enhancement layer.
(6) (4)에서, 상기 일반화된 참조 픽처는, 상기 인핸스먼트 레이어와 상기 참조 레이어의 픽처들 사이의 차이에 기반한 인핸스먼트가 적용된 것일 수 있다.(6) In (4), the generalized reference picture may be an enhancement based on a difference between the enhancement layer and pictures of the reference layer.
(7) (4)에서, 상기 일반화된 참조 픽처는, 상기 베이스 레이어의 디코딩된 픽처, 상기 베이스 레이어의 디코딩된 픽처를 업샘플링한 픽처, 상기 베이스 레이어의 디코딩된 픽처와 상기 레지듀얼 정보를 기반으로 생성된 픽처 또는 상기 베이스 레이어의 디코딩된 픽처와 상기 레지듀얼 정보를 기반으로 생성된 픽처를 업샘플링한 픽처일 수 있다.(7) In (4), the generalized reference picture is based on a decoded picture of the base layer, a picture upsampled from a decoded picture of the base layer, a decoded picture of the base layer, and the residual information. The picture may be a picture generated by up-sampling a picture generated based on the generated picture or the decoded picture of the base layer and the residual information.
(8) (1)에서, 상기 일반화된 참조 정보는 상기 참조 레이어의 디코딩된 픽처를 기반으로 생성된 일반화된 참조 블록이며, 상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 단계에서는, 상기 일반화된 참조 블록을 상기 인핸스먼트 레이어의 현재 블록에 대한 예측 블록으로 할 수 있다.(8) In (1), the generalized reference information is a generalized reference block generated based on the decoded picture of the reference layer, and in the step of performing prediction on the current block of the enhancement layer, the generalization The referred reference block may be used as a prediction block for the current block of the enhancement layer.
(9) (8)에 있어서, 상기 일반화된 참조 블록은, 상기 인핸스먼트 레이어와 상기 참조 레이어의 픽처들 사이의 차이에 기반한 인핸스먼트가 적용된 것일 수 있다.(9) In (8), the generalized reference block may be an enhancement based on a difference between the enhancement layer and pictures of the reference layer.
(10) (1)에서, 상기 일반화된 참조 정보는 상기 참조 레이어로부터 상기 부호화 정보를 기반으로 생성된 일반화된 참조 픽처이며, 상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 단계에서는, 상기 일반화된 참조 픽처를 상기 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처로서 이용할 수 있다. (10) In (1), the generalized reference information is a generalized reference picture generated based on the encoding information from the reference layer, and in the step of performing prediction on the current block of the enhancement layer, the generalization Can be used as a reference picture for the current block of the enhancement layer.
(11) (10)에서, 상기 일반화된 참조 픽처는, 상기 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처 리스트에 포함되어 상기 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처로서 이용될 수 있다. (11) In (10), the generalized reference picture may be included in a reference picture list for the current block of the enhancement layer and used as a reference picture for the current block of the enhancement layer.
(12) (10)에서, 상기 일반화된 참조 픽처는, 상기 인핸스먼트 레이어와 상기 참조 레이어의 픽처들 사이의 차이에 기반한 인핸스먼트가 적용된 것일 수 있다.(12) In (10), the generalized reference picture may be an enhancement based on a difference between the enhancement layer and pictures of the reference layer.
(13) (10)에서, 상기 일반화된 참조 픽처는, 상기 베이스 레이어의 디코딩된 픽처, 상기 베이스 레이어의 디코딩된 픽처를 업샘플링한 픽처, 상기 베이스 레이어의 디코딩된 픽처와 상기 레지듀얼 정보를 기반으로 생성된 픽처 또는 상기 베이스 레이어의 디코딩된 픽처와 상기 레지듀얼 정보를 기반으로 생성된 픽처를 업샘플링한 픽처일 수 있다.(13) In (10), the generalized reference picture is based on a decoded picture of the base layer, a picture upsampled from a decoded picture of the base layer, a decoded picture of the base layer and the residual information. The picture may be a picture generated by up-sampling a picture generated based on the generated picture or the decoded picture of the base layer and the residual information.
(14) (1)에서, 상기 일반화된 참조 정보는 상기 참조 레이어로부터 상기 부호화 정보를 기반으로 생성된 일반화된 참조 블록이며, 상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 단계에서는, 상기 일반화된 참조 블록을 상기 인핸스먼트 레이어의 현재 블록에 대한 예측 블록으로 할 수 있다.(14) In (1), the generalized reference information is a generalized reference block generated based on the encoding information from the reference layer, and in the step of performing prediction on the current block of the enhancement layer, the generalization The referred reference block may be used as a prediction block for the current block of the enhancement layer.
(15) (14)에서, 상기 일반화된 참조 블록은, 상기 인핸스먼트 레이어와 상기 참조 레이어의 픽처들 사이의 차이에 기반한 인핸스먼트가 적용된 것일 수 있다.(15) In (14), the generalized reference block may be an enhancement based on a difference between the enhancement layer and pictures of the reference layer.
(16) (14)에서, 상기 참조 블록이 인트라 예측된 경우에, 상기 일반화된 참조 블록은, 상기 참조 레이어에서 상기 참조 블록에 적용된 인트라 예측 모드를 상기 인핸스먼트 레이어에서 상기 참조 블록에 적용하여 얻은 예측 블록을 기반으로 생성될 수 있다.(16) In (14), when the reference block is intra predicted, the generalized reference block is obtained by applying an intra prediction mode applied to the reference block in the reference layer to the reference block in the enhancement layer. It may be generated based on the prediction block.
(17) (14)에서, 상기 참조 블록이 인트라 예측된 경우에, 상기 일반화된 참조 블록은, 상기 참조 레이어에서 상기 참조 블록에 적용된 인트라 예측 모드를 상기 인핸스먼트 레이어에서 상기 참조 블록에 적용하여 얻은 예측 블록과 상기 레지듀얼 정보를 기반으로 생성될 수 있다.(17) In (14), when the reference block is intra predicted, the generalized reference block is obtained by applying an intra prediction mode applied to the reference block in the reference layer to the reference block in the enhancement layer. It may be generated based on the prediction block and the residual information.
(18) 본 발명의 다른 실시형태는 스케일러블 인코딩 장치로서, 베이스 레이어의 입력 영상에 대한 예측을 수행하는 베이스 레이어 인코딩부, 인핸스먼트 레이어의 입력 영상에 대한 예측을 수행하는 인핸스먼트 레이어 인코딩부 및 상기 인핸스먼트 레이어의 입력 영상에 대한 예측을 수행하기 위한 일반화된 참조 정보를 생성하는 인터 레이어 예측부를 포함하며, 인터레이어 예측을 적용하는 경우에, 상기 인터 레이어 예측부는 상기 베이스 레이어의 디코딩된 정보로부터 일반화된 참조 정보를 생성하며, 상기 인핸스먼트 레이어 인코딩부는 상기 일반화된 참조 정보를 기반으로 상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행할 수 있다.(18) Another embodiment of the present invention is a scalable encoding apparatus, comprising: a base layer encoder for performing prediction on an input image of a base layer, an enhancement layer encoding unit for performing prediction on an input image of an enhancement layer, and And an interlayer prediction unit configured to generate generalized reference information for performing prediction on an input image of the enhancement layer. In the case of applying interlayer prediction, the interlayer prediction unit is configured to decode the base layer from the decoded information. Generalized reference information is generated, and the enhancement layer encoding unit may perform prediction on the current block of the enhancement layer based on the generalized reference information.
(19) 본 발명의 또 다른 실시형태는 스케일러블 디코딩 장치로서, 베이스 레이어의 영상에 대한 예측을 수행하는 베이스 레이어 디코딩부, 인핸스먼트 레이어의 영상에 대한 예측을 수행하는 인핸스먼트 레이어 디코딩부 및 상기 인핸스먼트 레이어의 영상에 대한 예측을 수행하기 위한 일반화된 참조 정보를 생성하는 인터 레이어 예측부를 포함하며, 인터 레이어 예측을 적용하는 경우에, 상기 인터 레이어 예측부는 상기 베이스 레이어의 디코딩된 정보로부터 일반화된 참조 정보를 생성하며, 상기 인핸스먼트 레이어 디코딩부는 상기 일반화된 참조 정보를 기반으로 상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행할 수 있다.(19) Another embodiment of the present invention is a scalable decoding apparatus, comprising: a base layer decoder for predicting an image of a base layer, an enhancement layer decoder for predicting an image of an enhancement layer, and An interlayer prediction unit is configured to generate generalized reference information for performing prediction on an image of an enhancement layer. When interlayer prediction is applied, the interlayer prediction unit is generalized from decoded information of the base layer. The reference information is generated, and the enhancement layer decoding unit may perform prediction on the current block of the enhancement layer based on the generalized reference information.
본 발명에 의하면, 다양한 환경에서 다양한 비디오 서비스를 효율적으로 제공할 수 있다.According to the present invention, various video services can be efficiently provided in various environments.
본 발명에 의하면, 이용자의 다양한 요구 또는 이용 목적에 따라서 시간, 공간 및/또는 화질의 측면에서 다양한 비디오 서비스를 제공할 수 있다.According to the present invention, various video services can be provided in terms of time, space, and / or image quality according to various needs or purposes of use of a user.
본 발명에 의하면, 다양한 환경에서 다양한 서비스를 제공할 수 있는 스케일러블 비디오 코딩(Scalable Video Coding)을 효율적으로 수행할 수 있다.According to the present invention, scalable video coding capable of providing various services in various environments can be efficiently performed.
본 발명에 의하면, 동일 전송(simulcast)과 대비하여 비트율의 이득을 가져오면서 다양한 화질, 해상도, 사이즈 및/또는 프레임 레이트 등을 가지는 비디오 서비스를 제공할 수 있다.According to the present invention, it is possible to provide a video service having various image quality, resolution, size, and / or frame rate while bringing a gain of a bit rate compared to the same transmission (simulcast).
도 1은 인코딩 장치의 일 실시예에 따른 기본 구성을 나타내는 블록도이다. 1 is a block diagram illustrating a basic configuration of an encoding apparatus according to an embodiment.
도 2는 디코딩 장치의 일 실시예에 따른 기본 구성을 나타내는 블록도이다. 2 is a block diagram illustrating a basic configuration according to an embodiment of a decoding apparatus.
도 3은 인트라 예측 모드의 일 예를 개략적으로 나타낸 것이다. 3 schematically illustrates an example of an intra prediction mode.
도 4는 싱글 레이어(single layer) 인코딩에 의한 트랜스코딩(transcodig)의 일 예를 개략적으로 설명하는 도면이다. FIG. 4 is a diagram schematically illustrating an example of transcoding by single layer encoding.
도 5는 SVC를 채용한 예로서 멀티 레이어 인코딩에 의한 스케일러블 비디오 부호화가 이용되는 일 예를 개략적으로 설명하는 도면이다. FIG. 5 is a diagram schematically illustrating an example in which scalable video encoding using multilayer encoding is used as an example using SVC.
도 6은 SVC를 적용하는 인코딩 장치의 일 예를 개략적으로 설명하는 도면이다. 6 is a diagram schematically illustrating an example of an encoding apparatus employing SVC.
도 7은 SVC를 적용하는 디코딩 장치의 일 예를 개략적으로 설명하는 도면이다. 7 is a diagram schematically illustrating an example of a decoding apparatus employing SVC.
도 8은 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 인코딩 장치에 관하여 개략적으로 설명하는 도면이다. 8 is a diagram schematically illustrating a multilayer encoding apparatus for performing interlayer prediction according to the present invention.
도 9는 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 인코딩 장치에 관하여 개략적으로 설명하는 도면이다.9 is a diagram schematically illustrating a multilayer encoding apparatus for performing interlayer prediction according to the present invention.
도 10은 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 인코딩 장치에 관하여 개략적으로 설명하는 도면이다. 10 is a diagram schematically illustrating a multilayer encoding apparatus for performing interlayer prediction according to the present invention.
도 11은 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 디코딩 장치에 관하여 개략적으로 설명하는 도면이다. 11 is a diagram schematically illustrating a multilayer decoding apparatus for performing interlayer prediction according to the present invention.
도 12는 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 디코딩 장치에 관하여 개략적으로 설명하는 도면이다. 12 is a diagram schematically illustrating a multilayer decoding apparatus for performing interlayer prediction according to the present invention.
도 13은 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 디코딩 장치에 관하여 개략적으로 설명하는 도면이다. FIG. 13 is a diagram schematically illustrating a multilayer decoding apparatus for performing interlayer prediction according to the present invention.
도 14는 본 발명이 적용되는 인터 레이어 예측부에서 일반화된 참조 픽처 생성부의 구성에 관한 일 예를 개략적으로 설명하는 도면이다. 14 is a diagram schematically illustrating an example of a configuration of a reference picture generation unit generalized in an interlayer prediction unit to which the present invention is applied.
도 15는 본 발명이 적용되는 인터 레이어 예측부에서 일반화된 참조 블록 생성부의 구성에 관한 일 예를 개략적으로 설명하는 도면이다. 15 is a diagram schematically illustrating an example of a configuration of a generalized reference block generator in an interlayer prediction unit to which the present invention is applied.
도 16은 본 발명에 따라서 수행되는 인터 레이어 예측을 개략적으로 설명하는 플로우 차트이다.16 is a flow chart schematically illustrating interlayer prediction performed in accordance with the present invention.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 해당 설명을 생략할 수도 있다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In describing the embodiments of the present specification, when it is determined that a detailed description of a related well-known configuration or function may obscure the gist of the present specification, the description may be omitted.
본 명세서에서 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다. When a component is referred to herein as being “connected” or “connected” to another component, it may mean that it is directly connected to or connected to that other component, or another component in between. It may also mean that an element exists. In addition, the description "includes" a specific configuration in this specification does not exclude a configuration other than the configuration, it means that additional configuration may be included in the scope of the technical spirit of the present invention or the present invention.
제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.Terms such as first and second may be used to describe various configurations, but the configurations are not limited by the terms. The terms are used to distinguish one configuration from another. For example, without departing from the scope of the present invention, the first configuration may be referred to as the second configuration, and similarly, the second configuration may also be referred to as the first configuration.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.In addition, the components shown in the embodiments of the present invention are independently shown to represent different characteristic functions, and do not mean that each component is made of separate hardware or one software component unit. In other words, each component is listed as a component for convenience of description, and at least two of the components may form one component, or one component may be divided into a plurality of components to perform a function. The integrated and separated embodiments of each component are also included in the scope of the present invention without departing from the spirit of the present invention.
도 1은 인코딩 장치의 일 실시예에 따른 기본 구성을 나타내는 블록도이다. 1 is a block diagram illustrating a basic configuration of an encoding apparatus according to an embodiment.
도 1을 참조하면, 인코딩 장치(100)는 인터 예측부(110), 인트라 예측부(120), 스위치(125), 감산기(130), 변환부(135), 양자화부(140), 엔트로피 인코딩부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 픽처 버퍼(190)를 포함한다.Referring to FIG. 1, the encoding apparatus 100 may include an inter prediction unit 110, an intra prediction unit 120, a switch 125, a subtractor 130, a transform unit 135, a quantization unit 140, and entropy encoding. The unit 150 includes an inverse quantization unit 160, an inverse transform unit 170, an adder 175, a filter unit 180, and a picture buffer 190.
인코딩 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 인코딩을 수행하고 비트스트림(bitstream)을 출력할 수 있다. 인트라 모드인 경우 스위치(125)가 인트라로 전환되고, 인터 모드인 경우 스위치(125)가 인터로 전환된다. 인코딩 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분을 인코딩할 수 있다.The encoding apparatus 100 may encode the input image in an intra mode or an inter mode and output a bitstream. In the intra mode, the switch 125 is switched to intra, and in the inter mode, the switch 125 is switched to inter. The encoding apparatus 100 may generate a prediction block for the input block of the input image and then encode the difference between the input block and the prediction block.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 인코딩된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.In the intra mode, the intra predictor 120 may generate a prediction block by performing spatial prediction using pixel values of blocks that are already encoded around the current block.
인터 모드인 경우, 인터 예측부(110)는, 움직임 예측 과정에서 픽처 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록에 대응하는 영역을 찾아 움직임 벡터를 구할 수 있다. 인터 예측부(110)는 움직임 벡터와 픽처 버퍼(190)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. In the inter mode, the inter prediction unit 110 may obtain a motion vector by searching for a region corresponding to an input block in a reference image stored in the picture buffer 190 during a motion prediction process. The inter prediction unit 110 may generate a prediction block by performing motion compensation using the motion vector and the reference image stored in the picture buffer 190.
감산기(130)는 입력 블록과 생성된 예측 블록의 차분에 의해 레지듀얼 블록(residual block)을 생성할 수 있다. 변환부(135)는 레지듀얼 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다. The subtractor 130 may generate a residual block by the difference between the input block and the generated prediction block. The transformer 135 may perform a transform on the residual block and output a transform coefficient. The quantization unit 140 may output the quantized coefficient by quantizing the input transform coefficient according to the quantization parameter.
엔트로피 인코딩부(150)는, 양자화부(140)에서 산출된 값들 또는 인코딩 과정에서 산출된 인코딩 파라미터 값 등을 기초로, 양자화된 계수를 확률 분포에 따라 엔트로피 인코딩하여 비트스트림(bitstream)을 출력할 수 있다. The entropy encoding unit 150 may output a bitstream by entropy encoding the quantized coefficients according to a probability distribution based on values calculated by the quantization unit 140 or encoding parameter values calculated in the encoding process. Can be.
양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성될 수 있다. The quantized coefficients may be inversely quantized by the inverse quantizer 160 and inversely transformed by the inverse transformer 170. The inverse quantized and inverse transformed coefficients are added to the prediction block through the adder 175 and a reconstruction block can be generated.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)를 거친 복원 블록은 픽처 버퍼(190)에 저장될 수 있다.The reconstruction block passes through the filter unit 180, and the filter unit 180 applies at least one or more of a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) to the reconstruction block or the reconstruction picture. can do. The reconstructed block that has passed through the filter unit 180 may be stored in the picture buffer 190.
도 2는 디코딩 장치의 일 실시예에 따른 기본 구성을 나타내는 블록도이다. 2 is a block diagram illustrating a basic configuration according to an embodiment of a decoding apparatus.
도 2를 참조하면, 디코딩 장치(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 필터부(260) 및 픽처 버퍼(270)를 포함한다.Referring to FIG. 2, the decoding apparatus 200 includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 230, an intra prediction unit 240, an inter prediction unit 250, and a filter unit 260. ) And picture buffer 270.
디코딩 장치(200)는 인코딩 장치에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 디코딩을 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다. The decoding apparatus 200 may receive the bitstream output from the encoding apparatus, decode the intra mode or the inter mode, and output a reconstructed image, that is, a reconstructed image. In the intra mode, the switch may be switched to intra, and in the inter mode, the switch may be switched to inter.
디코딩 장치(200)는 입력 받은 비트스트림으로부터 복원된 레지듀얼 블록(residual block)을 얻고 예측 블록을 생성한 후 복원된 레지듀얼 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.The decoding apparatus 200 may obtain a residual block reconstructed from the received bitstream, generate a prediction block, and then add the reconstructed residual block and the prediction block to generate a reconstructed block, that is, a reconstruction block. .
엔트로피 디코딩부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 디코딩한다. 엔트로피 디코딩에 의해, 양자화된 (변환) 계수가 생성될 수 있다. The entropy decoding unit 210 entropy decodes the input bitstream according to the probability distribution. By entropy decoding, quantized (transform) coefficients can be generated.
양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환된 결과, 복원된 레지듀얼 블록(residual block)이 생성될 수 있다. The quantized coefficient is inversely quantized by the inverse quantizer 220 and inversely transformed by the inverse transformer 230, and as a result of the inverse quantization / inverse transformation of the quantized coefficient, a reconstructed residual block may be generated.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 인코딩된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 인터 예측부(250)는 움직임 벡터 및 픽처 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. In the intra mode, the intra predictor 240 may generate a prediction block by performing spatial prediction using pixel values of blocks that are already encoded around the current block. In the inter mode, the inter predictor 250 may generate a predictive block by performing motion compensation using a motion vector and a reference image stored in the picture buffer 270.
복원된 레지듀얼 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나를 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력한다. 복원 영상은 픽처 버퍼(270)에 저장되어 화면 간 예측에 사용될 수 있다.The reconstructed residual block and the prediction block are added through the adder 255, and the added block passes through the filter unit 260. The filter unit 260 may apply at least one of the deblocking filter, SAO, and ALF to the reconstructed block or the reconstructed picture. The filter unit 260 outputs a reconstructed image, that is, a reconstructed image. The reconstructed image may be stored in the picture buffer 270 to be used for inter prediction.
상술한 바와 같이, 인코딩 장치 및 디코딩 장치는 영상(video) 인코딩/디코딩을 위해 현재 블록에 대한 예측을 수행한다.As described above, the encoding apparatus and the decoding apparatus perform prediction on the current block for video encoding / decoding.
예측은 인코딩 장치/디코딩 장치, 구체적으로 인코딩 장치/디코딩 장치의 예측부에서 수행될 수 있다. 인코딩 장치의 예측부는, 예컨대 도 1의 인터 예측부(110), 인트라 예측부(120) 등을 포함할 수 있다. 디코딩 장치의 예측부는, 예컨대 도 2의 인트라 예측부(240), 인터 예측부(250) 등을 포함할 수 있다. The prediction may be performed in the encoding unit / decoding device, specifically, the prediction unit of the encoding device / decoding device. The prediction unit of the encoding apparatus may include, for example, the inter predictor 110 and the intra predictor 120 of FIG. 1. The prediction unit of the decoding apparatus may include, for example, the intra predictor 240 and the inter predictor 250 of FIG. 2.
현재 블록에 대한 예측 모드가 인트라 예측(intra prediction)인 경우에, 예측부는 현재 블록의 인트라 예측 모드에 따라서, 이전에 인코딩된 현재 픽처 내의 픽셀(참조 샘플)을 기반으로 현재 블록에 대한 예측을 수행할 수 있다. 예측부는 참조 샘플로부터 현재 블록에 대한 예측 블록을 생성하는 인트라 예측을 수행할 수 있다.If the prediction mode for the current block is intra prediction, the prediction unit performs prediction for the current block based on pixels (reference samples) in the previously encoded current picture according to the intra prediction mode of the current block. can do. The prediction unit may perform intra prediction to generate a prediction block for the current block from the reference sample.
도 3은 인트라 예측 모드의 일 예를 개략적으로 나타낸 것이다. 인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 도 3의 예에서는, 예측 모드 2부터 예측 모드 34까지 33개의 방향성 예측 모드를 도시하고 있다. 비방향성 모드는 DC 예측 모드 및 플레너 모드(Planar 모드) 등을 포함할 수 있다. 3 schematically illustrates an example of an intra prediction mode. In intra prediction, the prediction mode may have 33 directional prediction modes and at least two non-directional modes. In the example of FIG. 3, 33 directional prediction modes from prediction mode 2 to prediction mode 34 are shown. The non-directional mode may include a DC prediction mode, a planar mode, and the like.
인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수도 있다.In intra prediction, a prediction block may be generated after applying a filter to a reference sample. In this case, whether to apply the filter to the reference sample may be determined according to the intra prediction mode and / or the size of the current block.
현재 블록에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 예측부는 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나를 참조 픽처로 하고, 참조 픽처를 기반으로 현재 블록에 대한 예측을 수행할 수 있다. 현재 블록의 예측에 이용되는 영상을 참조 픽처(reference picture) 또는 참조 프레임(reference frame)이라고 한다. 참조 픽처 내의 영역은 참조 픽처를 지시하는 참조 픽처 인덱스(refIdx) 및 움직임 벡터(motion vector) 등을 이용하여 나타낼 수 있다.When the prediction mode for the current block is inter prediction mode, the prediction unit sets at least one of a previous picture or a next picture of the current picture as a reference picture, and performs prediction on the current block based on the reference picture. Can be. An image used for prediction of the current block is called a reference picture or a reference frame. The region in the reference picture may be represented using a reference picture index refIdx, a motion vector, etc. indicating the reference picture.
인터 예측의 경우에, 예측부는 참조 픽처 및 참조 픽처 내에서 현재 블록에 대응하는 참조 블록을 선택해서, 현재 블록에 대한 예측 블록을 생성할 수 있다. 예측부는, 현재 블록과의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되도록 예측 블록을 생성할 수 있다. In the case of inter prediction, the prediction unit may generate a prediction block for the current block by selecting the reference picture and the reference block corresponding to the current block in the reference picture. The prediction unit may generate the prediction block such that the residual signal with the current block is minimized and the size of the motion vector is also minimized.
참조 픽처의 정보를 이용하기 위해, 현재 블록의 주변 블록들의 정보를 이용할 수 있다. 예컨대, 스킵(skip) 모드, 머지(merge) 모드, AMVP(Advanced Motion Vector Prediction) 등을 통해, 주변 블록의 정보에 기반하여 현재 블록에 대한 예측 블록을 생성할 수 있다. In order to use the information of the reference picture, information of neighboring blocks of the current block may be used. For example, the prediction block for the current block may be generated based on the information of the neighboring block through a skip mode, a merge mode, an advanced motion vector prediction (AMVP), and the like.
디코딩 장치의 예측부는 현재 블록의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보를 인코딩 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도할 수 있다. The prediction unit of the decoding apparatus may identify and derive motion information required for inter prediction of the current block, for example, a skip flag, a merge flag, and the like received from the encoding apparatus.
예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 서로 다를 수도 있다. 예컨대, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수도 있고, PU 단위로 예측 모드가 정해지고 TU 단위로 화면 내 예측이 수행될 수도 있다.The processing unit in which the prediction is performed and the processing unit in which the prediction method and the details are determined may be different from each other. For example, a prediction mode may be determined in units of PUs, and prediction may be performed in units of PUs, or a prediction mode may be determined in units of PUs, and intra prediction may be performed in units of TUs.
현재 픽처에 대하여, 예측을 위하여 사용되는 픽처들로 참조 픽처 리스트를 구성할 수 있으며, 참조 픽처 인덱스는 참조 픽처 리스트에서 특정 참조 픽처를 지시할 수 있다. With respect to the current picture, a reference picture list may be configured of pictures used for prediction, and the reference picture index may indicate a specific reference picture in the reference picture list.
P 픽처는 각 블록의 샘플 값을 예측하기 위해 적어도 하나의 움직임 벡터 및 참조 픽처 인덱스를 이용한 인터 예측 또는 인트라 예측을 이용해서 인코딩/디코딩될 수 있는 픽처이다. B 픽처는 각 블록의 샘플 값을 예측하기 위해 적어도 두 개의 움직임 벡터들과 참조 픽처 인덱스들을 이용한 인터 예측 또는 인트라 예측을 이용해서 인코딩/디코딩될 수 있는 픽처이다. P 픽처와 B 픽처 외에, 인트라 예측이 적용되는 I 픽처가 있다. A P picture is a picture that can be encoded / decoded using inter prediction or intra prediction using at least one motion vector and reference picture index to predict the sample value of each block. A B picture is a picture that can be encoded / decoded using inter prediction or intra prediction using at least two motion vectors and reference picture indices to predict the sample value of each block. In addition to the P picture and the B picture, there are I pictures to which intra prediction is applied.
인터 예측에 있어서, 스킵 모드의 경우에 예측부는, 주변 블록의 정보를 그대로 현재 블록에 이용할 수 있다. 따라서, 스킵 모드의 경우에, 인코딩 장치는 현재 블록의 움직임 정보로서 어떤 블록의 움직임 정보를 이용할 것인지를 지시하는 정보 외에 레지듀얼 등과 같은 신택스 정보를 디코딩 장치에 전송하지 않는다. In inter prediction, in the skip mode, the prediction unit may use information of the neighboring block as it is in the current block. Therefore, in the skip mode, the encoding apparatus does not transmit syntax information such as residual to the decoding apparatus other than the information indicating which block motion information to use as the motion information of the current block.
또한, 머지 모드의 경우에, 예측부는 주변 블록의 움직임 정보를 그대로 이용하여 현재 블록에 대한 예측 블록을 생성할 수 있다. 인코딩 장치는 머지 모드를 적용하는지에 관한 정보와 어떤 블록의 움직임 정보를 이용할지에 관한 정보, 레지듀얼 정보 등을 디코딩 장치에 전송할 수 있다. 디코딩 장치는 예측 블록과 인코딩 장치로부터 전송되는 레지듀얼을 더하여 현재 블록을 복원할 수 있다. In addition, in the merge mode, the prediction unit may generate the prediction block for the current block using the motion information of the neighboring block as it is. The encoding apparatus may transmit information on whether the merge mode is applied, information on which block motion information to use, residual information, and the like, to the decoding apparatus. The decoding apparatus may reconstruct the current block by adding the prediction block and the residual transmitted from the encoding apparatus.
AMVP의 경우에, 인코딩 장치는 주변 블록들의 움직임 정보를 이용하여 현재 블록의 움직임 벡터를 예측하고, (1) 어떤 주변 블록의 움직임 정보를 이용하는지에 관한 정보, (2) 현재 블록의 움직임 벡터와 예측된 움직임 벡터 사이의 차이, (3) 참조 픽처를 지시하는 참조 픽처 인덱스 등을 디코딩 장치에 전송할 수 있다. 디코딩 장치는 주변 블록의 움직임 정보들을 이용하여 현재 블록의 움직임 벡터를 예측하고, 인코딩 장치로부터 수신한 레지듀얼을 이용하여 현재 블록에 대한 움직임 벡터를 유도할 수 있다. 디코딩 장치는 유도한 움직임 벡터와 인코딩 장치로부터 수신한 참조 픽처 인덱스 정보를 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있다. In the case of AMVP, the encoding apparatus predicts the motion vector of the current block by using the motion information of the neighboring blocks, (1) information on which motion block of the neighboring block is used, and (2) the motion vector of the current block. The difference between the predicted motion vectors, (3) a reference picture index indicating the reference picture, and the like may be transmitted to the decoding apparatus. The decoding apparatus may predict the motion vector of the current block using the motion information of the neighboring block, and may derive the motion vector for the current block using the residual received from the encoding apparatus. The decoding apparatus may generate a prediction block for the current block based on the derived motion vector and the reference picture index information received from the encoding apparatus.
한편, 통신 및 영상 기술의 발달에 따라서, 영상 정보를 이용하는 다양한 기기가 서로 다른 성능을 가지고 이용되고 있다. 핸드폰과 같은 기기들은 비교적 낮은 해상도의 동영상을 비트 스트림 기반으로 재생하기도 한다. 이에 비하여, PC(Personal Computer)와 같은 기기들은 비교적 높은 해상도의 동영상을 재생할 수 있다. Meanwhile, with the development of communication and video technologies, various devices using video information have been used with different performances. Devices such as mobile phones also play relatively low resolution video on a bitstream basis. In contrast, devices such as a personal computer (PC) can play a relatively high resolution video.
따라서, 다양한 성능의 기기들에 최적의 동영상 서비스를 제공하기 위한 방법이 고려될 필요가 있다. 이에 대한 해법 중 하나가 스케일러블 비디오 코딩(Scalable Video Coding: SVC, 이하, ‘SVC’라 함)이다. Therefore, a method for providing an optimal video service to devices having various capabilities needs to be considered. One solution to this is Scalable Video Coding (SVC).
일반적으로, 스케일러블 비디오 코딩에서는, 유효한 비디오 영상을 재생할 수 있는 서브 비트스트림이 비디오 비트스트림의 일부에 의해서도 구성될 수 있다. 이때, 서브 비트스트림은 해당 콘텐츠에 대한 기본 스트림으로서, 서브 비트스트림에 의해서는 전체 비트스트림에 의해 복원(reconstruction)되는 영상보다는 낮은 품질, 적은 사이즈 및/또는 낮은 프레임 레이트의 영상이 복원될 수 있다. In general, in scalable video coding, a sub bitstream capable of reproducing a valid video image may also be configured by a portion of the video bitstream. In this case, the sub bitstream is an elementary stream for the corresponding content, and the sub bitstream may reconstruct an image having a lower quality, a smaller size, and / or a lower frame rate than an image reconstructed by the entire bitstream. .
도 4는 싱글 레이어(single layer) 인코딩에 의한 트랜스코딩(transcodig)의 일 예를 개략적으로 설명하는 도면이다. 싱글 레이어 인코딩은 스케일러빌러티 기능(scalability function)을 제공하지 않는 비디오 시퀀스의 인코딩을 의미한다. FIG. 4 is a diagram schematically illustrating an example of transcoding by single layer encoding. Single layer encoding refers to encoding of a video sequence that does not provide a scalability function.
도 4의 예에서는, 원본 콘텐츠(410)가 품질, 해상도에 따라서 각각의 인코더/트랜스코더(transcoder)로부터 싱글 레이어 인코딩되어서 각 단말에 전송된다. 예컨대, 고품질 인코더/트랜스코더(420)로부터는 높은 품질의 콘텐츠가 전송되고, 저품질 인코더/트랜스코더(430)로부터 낮은 품질의 콘텐츠가 전송되며, 저해상도 인코더/트랜스코더(440)로부터 낮은 해상도의 콘텐츠가 전송된다. In the example of FIG. 4, the original content 410 is single-layer encoded from each encoder / transcoder according to quality and resolution and transmitted to each terminal. For example, high quality content is transmitted from the high quality encoder / transcoder 420, low quality content is transmitted from the low quality encoder / transcoder 430, and low resolution content from the low resolution encoder / transcoder 440. Is sent.
높은 품질의 콘텐츠를 수신해서 이용하는 단말 1(450)은 HD TV, UHD TV 등과 같은 TV 장치일 수 있다. 낮은 품질의 콘텐츠를 수신해서 이용하는 단말 2(460)은 TV보다 작은 화면을 가지거나, TV보다 정보 처리 속도가 느린 저사양의 PC 등일 수 있다. 낮은 해상도의 콘텐츠를 수신해서 이용하는 단말 3(470)은 작은 화면의 이동 전화 등일 수 있다. 각 단말의 성능에 따라서 상술한 예와 다른 콘텐츠를 수신해서 이용할 수 있음은 물론이다.Terminal 1 450, which receives and uses high quality content, may be a TV device such as an HD TV or a UHD TV. The terminal 2 460 which receives and uses low quality content may have a smaller screen than a TV or a low specification PC having a slower information processing speed than a TV. The terminal 3 470 that receives and uses the content having a lower resolution may be a mobile phone with a small screen. It is a matter of course that the content different from the above example can be received and used according to the performance of each terminal.
한편, 인코딩된 비트스트림이 복수의 레이어를 포함할 수도 있다. Meanwhile, the encoded bitstream may include a plurality of layers.
스케일러블 인코딩은 인코딩된 비트스트림의 일부만을 디코더가 선택적으로 디코딩할 수 있게 한다. 코딩된 비트스트림은 복수의 레이어로 배열될 수 있는데, 기본이 되는 베이스 레이어(base layer)와 하나 이상의 인핸스먼트 레이어(enhancement layer)를 포함할 수 있다.Scalable encoding allows the decoder to selectively decode only a portion of the encoded bitstream. The coded bitstream may be arranged in a plurality of layers, and may include a base base layer and one or more enhancement layers.
도 5는 SVC를 채용한 예로서 멀티 레이어 인코딩에 의한 스케일러블 비디오 부호화가 이용되는트랜스코딩의 일 예를 개략적으로 설명하는 도면이다.FIG. 5 is a diagram schematically illustrating an example of transcoding in which scalable video encoding using multilayer encoding is used as an example using SVC.
멀티 레이어 인코딩은 복수 계층의 비디오 시퀀스를 인코딩함으로써 스케일러빌러티(scalability)를 제공한다. 스케일러블 시스템에서, 가장 낮은 혹은 가장 기본되는 품질의 비디오 데이터를 가지는 레이어를 베이스 레이어라고도 한다. 또한, 더 높은 품질의 비디오 데이터를 가지는 레이어를 인핸스먼트 레이어(enhancement layer)라고도 한다. Multilayer encoding provides scalability by encoding multiple layers of video sequences. In a scalable system, a layer having the lowest or most basic quality video data is also called a base layer. Also, a layer having higher quality video data is also called an enhancement layer.
일반적인 스케일러빌러티(Scalability)로는 시간에 관한(temporal), 공간에 관한(spatial), 품질에 관한(Quality) 스케일러빌러티가 있다. 시간적 스케일러빌러티는 프레임 레이트(frame rate)에 관한 스케일러빌러티이다. 공간적 스케일러빌러티는 픽처 사이즈 또는 해상도에 관한 스케일러빌러티이다. 또한, 질적 스케일러빌러티는 영상의 신뢰도(fidelity)에 관한 것이라고 할 수 있다.General scalability includes temporal, spatial, and quality scalability. Temporal scalability is scalability with respect to frame rate. Spatial scalability is scalability with respect to picture size or resolution. In addition, qualitative scalability may be related to fidelity of an image.
도 5의 예에서, 원본 콘텐츠(510)는 스케일러블(scalable) 인코더(520)에 의해 인코딩된다. In the example of FIG. 5, original content 510 is encoded by scalable encoder 520.
스케일러블 인코더(520)는 상술한 시간적, 공간적, 질적 스케일러빌러티를 지원한다. 스케일러블 인코더(520)는 원본 콘텐츠(510)를 인코딩하여 멀티 레이어의 비트스트림(530)을 생성한다.The scalable encoder 520 supports the temporal, spatial and qualitative scalability described above. The scalable encoder 520 encodes the original content 510 to generate a multi-layer bitstream 530.
멀티 레이어는 기본적인 영상 정보를 포함하는 베이스 레이어와 베이스 레이어보다 품질(정확도, 크기 및/또는 프레임 레이트(frame rate) 등)이 더 향상된 영상에 대한 정보를 포함하는 인핸스먼트 레이어(enhancement layer)로 구성될 수 있다. The multi-layer is composed of a base layer including basic image information and an enhancement layer including information about an image having improved quality (accuracy, size, and / or frame rate, etc.) than the base layer. Can be.
단말의 디코딩 장치가 베이스 레이어를 수신해서 영상을 디코딩하는 경우에는, 기본적인 영상이 디코딩된다. 예컨대, 기본 사이즈, 기본 품질 및/또는 기본 프레임 레이트의 영상이 디코딩된다.When the decoding apparatus of the terminal receives the base layer and decodes the image, the basic image is decoded. For example, images of basic size, basic quality and / or basic frame rate are decoded.
단말의 디코딩 장치가 인핸스먼트 레이어를 베이스 레이어와 함께 수신하여 디코딩하면, 더 큰 사이즈, 더 좋은 품질 및/또는 더 높은 프레임 레이트의 영상을 디코딩할 수 있다. 예컨대, 공간적 스케일러빌러티가 지원되는 경우에, 단말의 디코딩 장치가 인핸스먼트 레이어를 베이스 레이어와 함께 수신하여 디코딩하면, 더 높은 해상도의 영상 또는 더 큰 사이즈의 영상을 획득할 수 있다. 시간적 스케일러빌러티가 지원되는 경우에, 단말의 디코딩 장치가 인핸스먼트 레이어를 베이스 레이어와 함께 수신하여 디코딩하면 높은 프레임 레이트의 영상을 획득할 수 있다. 질적 스케일러빌러티가 지원되는 경우에, 단말의 디코딩 장치가 인핸스트 레이어를 베이스 레이어와 함께 수신하여 디코딩하면 높은 신뢰도(fidelity)의 영상을 획득할 수 있다.When the decoding device of the terminal receives and decodes the enhancement layer together with the base layer, it may decode a larger size, better quality and / or higher frame rate. For example, when spatial scalability is supported, when the decoding apparatus of the terminal receives and decodes the enhancement layer together with the base layer, it may obtain a higher resolution image or a larger size image. When temporal scalability is supported, when the decoding apparatus of the terminal receives and decodes the enhancement layer together with the base layer, an image having a high frame rate may be obtained. When qualitative scalability is supported, when the decoding device of the terminal receives and decodes the enhancement layer together with the base layer, it is possible to obtain a high fidelity image.
도 5를 참조하면, 스케일러블 인코더(520)는 복수의 레이어(레이어 1, 레이어 2, 레이어 3)로 배열된 비트스트림(530)을 출력한다. 추출기(extractor, 540)는 비트스트림(530)으로부터 각 단말 혹은 네트워크의 요구에 따라 필요한 레이어를 추출하여 전송한다.Referring to FIG. 5, the scalable encoder 520 outputs a bitstream 530 arranged in a plurality of layers (layer 1, layer 2, and layer 3). The extractor 540 extracts and transmits a required layer from the bitstream 530 according to a request of each terminal or network.
레이어 1이 베이스 레이어라고 가정하자. 단말 3(570)이 셀 폰 등의 기본적인 품질의 영상을 처리하는 단말인 경우에, 단말 3(570)은 베이스 레이어인 레이어 1만으로 구성된 스트림을 수신하여 디코딩할 수 있다. Assume that Layer 1 is the base layer. When the terminal 3 570 is a terminal for processing an image of basic quality such as a cell phone, the terminal 3 570 may receive and decode a stream composed of only layer 1 which is a base layer.
단말 2(560)과 단말 3(550)이 TV나 PC 등과 같이 고품질의 영상을 처리할 수 있는 단말인 경우에, 단말 2(560)과 단말 1(550)은 지원되는 성능 또는 원하는 영상 타입에 따라서, 인핸스먼트 레이어(레이어 2, 레이어 3) 중 적어도 하나를 베이스 레이어(레이어 1)과 함께 수신하여 디코딩 할 수 있다. When the terminal 2 560 and the terminal 3 550 are terminals capable of processing a high quality image such as a TV or a PC, the terminal 2 560 and the terminal 1 550 may be configured according to the supported performance or desired image type. Accordingly, at least one of the enhancement layers (layer 2 and layer 3) may be received and decoded together with the base layer (layer 1).
하위 레이어(참조 레이어)를 이용하여 인핸스먼트 레이어의 데이터 값을 결정 혹은 예측하는 방법을 인터 레이어(inter layer) 예측이라고 한다. 이때, 예측의 기반이 되는 레이어를 참조 레이어라고 한다. A method of determining or predicting a data value of an enhancement layer using a lower layer (reference layer) is called inter layer prediction. At this time, the layer on which the prediction is based is called a reference layer.
인터 레이어 예측에서는 베이스 레이어와 같은 하위 레이어의 정보를 최대한 활용하여 인핸스먼트 레이어의 정보를 예측한다. 따라서, 인핸스먼트 레이어의 예측을 위해 전송하거나 처리하는 정보의 양을 크게 줄일 수 있다. 예컨대, 하위 레이어와 상위 레이어에서 처리되는 픽처 사이즈가 다를 경우에는 복원된(reconstructed) 하위 레이어의 정보를 업샘플링하여 상위 레이어, 예컨대 인핸스먼트 레이어의 정보를 복원하는데 이용할 수 있다. In inter-layer prediction, information of an enhancement layer is predicted using the information of a lower layer such as a base layer to the maximum. Therefore, the amount of information transmitted or processed for the prediction of the enhancement layer can be greatly reduced. For example, when the picture sizes processed in the lower layer and the upper layer are different, the information of the reconstructed lower layer may be upsampled and used to restore the information of the upper layer, for example, the enhancement layer.
인터 레이어 예측 방법으로는 인터 레이어 텍스처(texture) 예측, 인터 레이어 움직임(motion) 예측, 인터 레이어 레지듀얼(residual) 예측 등이 있다. Interlayer prediction methods include interlayer texture prediction, interlayer motion prediction, interlayer residual prediction, and the like.
도 6은 SVC를 적용하는 인코딩 장치의 일 예를 개략적으로 설명하는 도면이다. 도 6을 참조하면, SVC 인코딩 장치(600)는 베이스 레이어 인코더(630), 인터-레이어 예측부(650), 인핸스먼트 레이어 인코더(670)를 포함한다. 6 is a diagram schematically illustrating an example of an encoding apparatus employing SVC. Referring to FIG. 6, the SVC encoding apparatus 600 includes a base layer encoder 630, an inter-layer prediction unit 650, and an enhancement layer encoder 670.
베이스 레이어 인코더(630)와 인핸스먼트 레이어 인코더(670)에는 해당 레이어의 인코딩을 위한 비디오 스트림(610, 620)이 입력된다. 베이스 레이어 인코더(630)에는 낮은 해상도의 비디오 스트림(610)이 입력되고, 인핸스먼트 레이어 인코더(670)에는 높은 해상도의 비디오 스트림(620)이 입력된다. Video streams 610 and 620 for encoding the corresponding layer are input to the base layer encoder 630 and the enhancement layer encoder 670. A low resolution video stream 610 is input to the base layer encoder 630, and a high resolution video stream 620 is input to the enhancement layer encoder 670.
베이스 레이어 인코더(630)는 도 1에서 설명한 인코딩 방법으로 베이스 레이어에 대한 인코딩을 수행할 수 있다. 베이스 레이어 인코더(630)에서 수행된 인코딩 정보는 인터 레이어 예측부(650)에 전달(640)된다.The base layer encoder 630 may perform encoding on the base layer by the encoding method described with reference to FIG. 1. The encoding information performed by the base layer encoder 630 is transferred 640 to the interlayer prediction unit 650.
인터 레이어 예측부(650)에서는 상술한 바와 같이, 베이스 레이어 인코더(630)에서 복원된 비디오 정보를 업샘플링해서 인핸스먼트 레이어 인코더(670)에 전달(660)할 수 있다. 이때, 인터 레이어 예측부(650)는 베이스 레이어 인코더(630)에서 복원된 비디오에 대해 디블록킹 필터링을 수행해서 인핸스먼트 레이어 인코더(670)에 전달할 수도 있다. As described above, the inter-layer predictor 650 may upsample the video information reconstructed by the base layer encoder 630 and transfer the sampled information to the enhancement layer encoder 670. In this case, the interlayer prediction unit 650 may perform deblocking filtering on the video reconstructed by the base layer encoder 630 and transmit the deblocking filtering to the enhancement layer encoder 670.
인터 레이어 예측부(650)를 통해 전달되는 베이스 레이어의 정보는, 베이스 레이어에서 참조되는 블록이 인트라 예측된 경우에는, 인트라 예측에 사용될 화소값일 수 있고, 베이스 레이어에서 참조되는 블록이 인터 예측된 경우에는 인터 예측에 사용될 움직임 정보와 레지듀얼 정보일 수 있다.The information of the base layer transmitted through the interlayer prediction unit 650 may be a pixel value to be used for intra prediction when the block referred to in the base layer is intra predicted, and when the block referred to in the base layer is inter predicted. May be motion information and residual information to be used for inter prediction.
인핸스먼트 레이어 인코더(670) 역시 도 1에서 설명한 인코딩 방법으로 인핸스먼트 레이어에 대한 인코딩을 수행할 수 있다. 다만, 인핸스먼트 레이어 인코더(670)는 높은 해상도의 비디오 시퀀스 정보와 인터 레이어 예측부(650)에서 전달된 베이스 레이어의 정보를 기반으로 인핸스먼트 레이어에 대한 인코딩을 수행할 수 있다. The enhancement layer encoder 670 may also encode the enhancement layer using the encoding method described with reference to FIG. 1. However, the enhancement layer encoder 670 may encode the enhancement layer based on the high resolution video sequence information and the base layer information transmitted from the interlayer prediction unit 650.
베이스 레이어의 정보를 기반으로 하는 업샘플링은 인핸스먼트 레이어 인코더(670)에서 수행될 수도 있고, 인터 레이어 예측부(650)에서 수행될 수도 있다.Upsampling based on the information of the base layer may be performed by the enhancement layer encoder 670 or may be performed by the interlayer prediction unit 650.
여기서는, 베이스 레이어 인코더(630)로 입력되는 비디오 스트림은 낮은 해상도의 비디오 스트림이고, 인핸스먼트 레이어 인코더(670)로 입력되는 높은 해상도의 비디오 스트림인 것으로 설명하였다. 하지만, 본 발명에서는 이에 한정하지 않고, 베이스 레이어 인코더(630)로 입력되는 비디오 스트림은 해상도, 신뢰도 및/또는 프레임 레이트 등에 관하여 높은 품질의 비디오 스트림이고 인핸스먼트 레이어 인코더(670)로 입력되는 비디오 스트림은 해상도, 신뢰도 및/또는 프레임 레이트 등에 관하여 낮은 품질 혹은 기본 품질의 비디오 스트림일 수 있다. Here, it is described that the video stream input to the base layer encoder 630 is a low resolution video stream and is a high resolution video stream input to the enhancement layer encoder 670. However, the present invention is not limited thereto, and the video stream input to the base layer encoder 630 is a high quality video stream with respect to resolution, reliability, and / or frame rate, and the video stream input to the enhancement layer encoder 670. May be a low or basic quality video stream in terms of resolution, reliability and / or frame rate, and the like.
도 7은 SVC를 적용하는 디코딩 장치의 일 예를 개략적으로 설명하는 도면이다. 도 7을 참조하면, SVC 디코딩 장치(700)는 베이스 레이어 디코더(740), 인터 레이어 예측부(760) 및 인핸스먼트 레이어 디코더(780)를 포함한다. 7 is a diagram schematically illustrating an example of a decoding apparatus employing SVC. Referring to FIG. 7, the SVC decoding apparatus 700 includes a base layer decoder 740, an interlayer prediction unit 760, and an enhancement layer decoder 780.
인코딩 장치로부터 전송되는 비트 스트림(710)은 베이스 레이어 디코더(740)에 대한 비트 스트림으로서 낮은 해상도의 비디오 정보를 갖는 비트 스트림(720)과 인핸스먼트 레이어 디코더(780)에 대한 비트 스트림으로서 높은 해상도의 비디오 정보를 갖는 비트 스트림(730)을 포함한다.The bit stream 710 transmitted from the encoding apparatus is a bit stream for the base layer decoder 740 and a high resolution as a bit stream for the enhancement layer decoder 780 and a bit stream 720 having low resolution video information. A bit stream 730 with video information.
베이스 레이어 디코더(740)와 인핸스먼트 레이어 디코더(780)에는 해당 레이어의 디코딩을 위한 비트 스트림(720, 730)이 각각 입력된다. 즉, 베이스 레이어 디코더(740)에는 낮은 해상도의 비디오에 대한 비트 스트림(720)이 입력되고, 인핸스먼트 레이어 디코더(780)에는 높은 해상도의 비디오에 대한 비트 스트림(730)이 입력된다. Bit streams 720 and 730 for decoding the corresponding layer are input to the base layer decoder 740 and the enhancement layer decoder 780, respectively. That is, a bit stream 720 for a low resolution video is input to the base layer decoder 740, and a bit stream 730 for a high resolution video is input to the enhancement layer decoder 780.
베이스 레이어 디코더(740)는 도 2에서 설명한 디코딩 방법으로 베이스 레이어에 대한 디코딩을 수행할 수 있다. 베이스 레이어 디코더(740)에서 복원된 베이스 레이어 비디오 정보는 인터 레이어 예측부(760)에 전달(750)된다.The base layer decoder 740 may perform decoding on the base layer by the decoding method described with reference to FIG. 2. The base layer video information reconstructed by the base layer decoder 740 is transferred 750 to the interlayer prediction unit 760.
인터 레이어 예측부(760)에서는 상술한 바와 같이, 베이스 레이어 디코더(740)에서 복원된 비디오 정보를 업샘플링해서 인핸스먼트 레이어 디코더(780)에 전달(770)할 수 있다. 이때, 인터 레이어 예측부(760)는 베이스 레이어 디코더(740)에서 복원된 비디오에 대해 디블록킹 필터링을 수행해서 인핸스먼트 레이어 디코더(780)에 전달할 수도 있다. As described above, the interlayer prediction unit 760 may upsample the video information reconstructed by the base layer decoder 740 and transfer the information to the enhancement layer decoder 780. In this case, the interlayer prediction unit 760 may perform deblocking filtering on the video reconstructed by the base layer decoder 740 and transmit the deblocking filtering to the enhancement layer decoder 780.
인터 레이어 예측부(760)를 통해 전달되는 베이스 레이어의 정보는, 베이스 레이어에서 참조되는 블록이 인트라 예측된 경우에는, 인트라 예측에 사용될 화소값일 수 있고, 베이스 레이어에서 참조되는 블록이 인터 예측된 경우에는 인터 예측에 사용될 움직임 정보와 레지듀얼 정보일 수도 있다.The information of the base layer transmitted through the interlayer prediction unit 760 may be a pixel value to be used for intra prediction when the block referred to in the base layer is intra predicted, and when the block referred to in the base layer is inter predicted. May be motion information and residual information to be used for inter prediction.
인핸스먼트 레이어 디코더(780) 역시 도 2에서 설명한 디코딩 방법으로 베이스 레이어에 대한 디코딩을 수행할 수 있다. 다만, 인핸스먼트 레이어 디코더(780)는 인터 레이어 예측부(760)에서 전달된 베이스 레이어의 정보와 높은 해상도의 비디오 시퀀스 정보를 기반으로 인핸스먼트 레이어에 대한 디코딩을 수행할 수 있다. The enhancement layer decoder 780 may also decode the base layer by the decoding method described with reference to FIG. 2. However, the enhancement layer decoder 780 may decode the enhancement layer based on the base layer information and the high resolution video sequence information transmitted from the interlayer prediction unit 760.
베이스 레이어의 정보를 기반으로 하는 업샘플링은 인핸스먼트 레이어 디코더(780)에서 수행될 수도 있고, 인터 레이어 예측부(760)에서 수행될 수도 있다. Upsampling based on the information of the base layer may be performed by the enhancement layer decoder 780 or may be performed by the interlayer prediction unit 760.
여기서는 베이스 레이어 디코더(740)로 입력되는 비트스트림은 낮은 해상도의 비트스트림이고, 인핸스먼트 레이어 디코더(780)로 입력되는 높은 해상도의 비트스트림인 것으로 설명하였다. 하지만, 본 발명에서는 이에 한정하지 않고, 베이스 레이어 디코더(740)로 입력되는 비트스트림은 해상도, 신뢰도 및/또는 프레임 레이트 등에 관하여 높은 품질의 비트스트림이고 인핸스먼트 레이어 디코더(780)로 입력되는 비트스트림은 해상도, 신뢰도 및/또는 프레임 레이트 등에 관하여 낮은 품질 혹은 기본 품질의 비트스트림일 수 있다.Here, the bitstream input to the base layer decoder 740 is a low resolution bitstream, and the bitstream of the high resolution input to the enhancement layer decoder 780 has been described. However, the present invention is not limited thereto, and the bitstream input to the base layer decoder 740 is a bitstream of high quality in terms of resolution, reliability, and / or frame rate, and the bitstream input to the enhancement layer decoder 780. May be a low quality or basic quality bitstream with respect to resolution, reliability and / or frame rate.
도 6과 도 7에서는 레이어가 베이스 레이어와 인핸스먼트 레이어의 두 레이어로 구성된 예를 설명하였으나, 본 명세서에서 설명하는 방법과 장치는 이에 한정되지 않으며, 인핸스먼트 레이어가 복수의 계측 레이어로서 높은 레이어와 낮은 레이어로 구성된 경우에도 적용될 수 있다. 이 경우, 높은 레이어에 대한 인코딩 장치 및 디코딩 장치는 낮은 레이어에 대한 정보를 기반으로 높은 레이어에 대한 인코딩과 디코딩을 수행할 수 있다.6 and 7 illustrate an example in which a layer is composed of two layers, a base layer and an enhancement layer, but the method and apparatus described herein are not limited thereto. It can be applied even when the lower layer is configured. In this case, the encoding device and the decoding device for the high layer may perform encoding and decoding on the high layer based on the information on the low layer.
도 6과 도 7에서는 베이스 레이어 인코더와 베이스 레이어 디코더로부터 인터 레이어 예측부로 전달되는 정보, 인터 레이어 예측부로부터 인핸스먼트 레이어 인코더와 인핸스먼트 레이어 디코더로 전달되는 정보로서, 단일 정보가 전송되는 것으로 설명하였다. 이는 설명의 편의를 위한 것으로서, 도 6의 경우에, 지원되는 스케일러빌러티에 따라서, 베이스 레이어 인코더, 인터 레이어 예측부, 인핸스먼트 레이어 인코더 내에서 특정 스케일러빌러티를 지원하는 처리 유닛 간에 해당 스케일러빌러티를 지원하기 위한 정보가 전달될 수 있다. 예컨대, 도 6의 베이스 레이어 인코더, 인터 레이어 예측부, 인핸스먼트 레이어 인코더 내에서 시간적 스케일러빌러티를 처리하는 유닛 간에는 시간적 스케일러빌러티를 처리하기 위한 정보를 송수신하고, 공간적 스케일러빌러티를 처리하는 유닛 간에는 공간적 스케일러빌러티를 처리하기 위한 정보를 송수신하며, 질적 스케일러빌러티를 처리하는 유닛 간에는 질적 스케일러빌러티를 처리하기 위한 정보를 송수신한다. 정보를 취합 또는 통합 처리하는 유닛에는 각 정보들의 일부 또는 전부가 전송될 수 있으며, 정보를 취합 또는 통합 처리하는 유닛으로부터 각 정보들이 함께 또는 개별적으로 전송될 수도 있다. 6 and 7 illustrate that single information is transmitted as information transmitted from the base layer encoder and the base layer decoder to the interlayer prediction unit and information transmitted from the interlayer predictor to the enhancement layer encoder and the enhancement layer decoder. . This is for convenience of description, and in the case of FIG. 6, corresponding scalability among processing units supporting specific scalability in the base layer encoder, the inter layer prediction unit, and the enhancement layer encoder according to the supported scalability. Information to support the can be delivered. For example, a unit that transmits and receives information for processing temporal scalability and processes spatial scalability between units that process temporal scalability in the base layer encoder, the inter-layer predictor, and the enhancement layer encoder of FIG. 6. Transmitting and receiving information for processing spatial scalability, and information for processing qualitative scalability is transmitted and received between the units. Some or all of the pieces of information may be transmitted to a unit for collecting or integrating the information, and the pieces of information may be transmitted together or separately from a unit for collecting or integrating the information.
도 7의 예에서도, 지원되는 스케일러빌러티에 따라서, 베이스 레이어 디코더-인터 레이어 예측부-인핸스먼트 레이어 디코더 내에서 특정 스케일러빌러티를 지원하는 유닛 간에 해당 스케일러빌러티를 지원하기 위한 정보가 전달될 수 있다. 예컨대, 도 7의 베이스 레이어 디코더, 인터 레이어 예측부, 인핸스먼트 레이어 디코더 내에서 시간적 스케일러빌러티를 처리하는 유닛 간에는 시간적 스케일러빌러티를 처리하기 위한 정보를 송수신하고, 공간적 스케일러빌러티를 처리하는 유닛 간에는 공간적 스케일러빌러티를 처리하기 위한 정보를 송수신하며, 질적 스케일러빌러티를 처리하는 유닛 간에는 질적 스케일러빌러티를 처리하기 위한 정보를 송수신한다. 정보를 취합 또는 통합 처리하는 유닛에는 각 정보들의 일부 또는 전부가 전송될 수 있으며, 정보를 취합 또는 통합 처리하는 유닛으로부터 각 정보들이 함께 또는 개별적으로 전송될 수도 있다.In the example of FIG. 7, according to the supported scalability, information for supporting the scalability may be transferred between units supporting a particular scalability in the base layer decoder-inter layer predictor-enhanced layer decoder. have. For example, a unit for transmitting and receiving information for processing temporal scalability and a unit for processing spatial scalability among units that process temporal scalability in the base layer decoder, inter-layer predicting unit, and enhancement layer decoder of FIG. 7. Transmitting and receiving information for processing spatial scalability, and information for processing qualitative scalability is transmitted and received between the units. Some or all of the pieces of information may be transmitted to a unit for collecting or integrating the information, and the pieces of information may be transmitted together or separately from a unit for collecting or integrating the information.
한편, 인터 레이어 예측에는, 단일 루프(single loop) 예측 방법과 다중 루프(multi loop) 예측 방법이 있다.Meanwhile, inter-layer prediction includes a single loop prediction method and a multi loop prediction method.
단일 루프 예측 방법의 경우에, 인코딩 장치/디코딩 장치는 인코딩된 멀티 레이어의 비트열을 디코딩함에 있어서, 디코딩 대상이 되는 현재 레이어를 제외한, 하위 레이어들 중 참조 가능한 레이어들을 완전히 디코딩하지 않는다. 인코딩 장치/디코딩 장치는 현재 레이어의 디코딩 대상 블록(현재 블록) 또는 디코딩 대상 픽처(현재 픽처)를 디코딩하기 위해 참조 가능한 하위 레이어(참조 레이어)의 부호화 정보(움직임 정보, 인트라 모드 정보) 및 레지듀얼 신호(레지듀얼 정보)만을 디코딩하여 이용한다. 이때, 참조 가능하도록 디코딩되는 부호화 정보는 움직임 벡터(Motion Vector: MV), 참조 픽처 인덱스, 움직임 정보 예측 후보 인덱스, 움직임 정보 통합 후보 인덱스, 등과 같은 움직임 정보 및/또는 인트라 예측 모드를 포함할 수 있다. In the case of the single loop prediction method, the encoding device / decoding device does not completely decode the referenceable layers among the lower layers except for the current layer to be decoded in decoding the encoded bit stream of the multilayer. The encoding device / decoding device includes encoding information (motion information, intra mode information), and encoding information of a lower layer (reference layer) that can be referenced for decoding a decoding target block (current block) or a decoding target picture (current picture) of the current layer. Only signals (residual information) are decoded and used. In this case, the encoding information decoded for reference may include motion information such as a motion vector (MV), a reference picture index, a motion information prediction candidate index, a motion information integration candidate index, and / or an intra prediction mode. .
다중 루프 예측 방법의 경우에, 인코딩 장치/디코딩 장치는 인코딩된 멀티 레이어의 비트열을 디코딩함에 있어서, 디코딩 대상이 되는 현재 레이어를 포함하여, 하위 레이어들 중 참조 가능한 레이어들을 완전히 디코딩한다. 인코딩 장치/디코딩 장치는 참조 레이어(들)을 완전히 디코딩하여 얻은 텍스처 정보를 기반으로 참조 가능한 하위 레이어들을 완전히 디코딩하고, 디코딩된 정보를 기반으로 현재 레이어의 디코딩 대상 블록(현재 블록) 또는 디코딩 대상 픽처(현재 픽처)를 디코딩한다.In the case of the multi-loop prediction method, the encoding device / decoding device completely decodes referenceable layers among lower layers, including the current layer to be decoded, in decoding the encoded bit string of the multilayer. The encoding device / decoding device completely decodes the referenceable lower layers based on texture information obtained by fully decoding the reference layer (s), and decoded block (current block) or decoded picture of the current layer based on the decoded information. Decode (the current picture).
다중 루프 예측 방법을 이용하는 경우에는 전체 참조 가능한 하위 레이어들을 모두 복원해서 현재 레이어에 대한 예측을 수행하므로, 복잡도가 크게 증가한다. In the case of using the multi-loop prediction method, the complexity is greatly increased because the entire referenceable lower layers are reconstructed to perform prediction on the current layer.
단일 루프 예측 방법을 이용하는 경우에는 복잡도가 감소하는 대신, 이용 가능한 정보 또는 가능한 인터 레이어 예측이 제한된다. 단일 루프 방식을 채택한 인터 레이어 인트라 예측의 경우에는, 하위 레이어(참조 레이어)에 위치하는, 현재 블록의 동일 위치(co-located) 블록의 부호화 정보를 디코딩하여 현재 블록을 인터 레이어 예측할 수 있다. 반면에, 복잡도를 낮추기 위해 단일 루프 방식을 채택한 경우에, 현재 블록을 예측하기 위해 필요한 참조 픽처들을 각 레이어마다 모두 디코딩하기는 어렵다. 따라서, 일정한 부호화 정보(움직임 벡터, 참조 픽처 인덱스, AMVP 후보 인덱스, 머지 후보 인덱스, 인트라 예측 모드 등)와 레지듀얼 신호만을 이용하여 현재 레이어에 대한 인터 레이어 예측을 수행한다. When using the single loop prediction method, the complexity is reduced, but the available information or possible interlayer prediction is limited. In the case of inter-layer intra prediction using a single loop method, inter-layer prediction may be performed by decoding encoding information of a co-located block of a current block located in a lower layer (reference layer). On the other hand, when a single loop scheme is adopted to reduce the complexity, it is difficult to decode all the reference pictures required for predicting the current block for each layer. Therefore, interlayer prediction is performed on the current layer using only constant encoding information (motion vector, reference picture index, AMVP candidate index, merge candidate index, intra prediction mode, etc.) and the residual signal.
예컨대, 단일 루프 방식의 인터 레이어 예측에 있어서는, 현재 블록에 대하여 움직임 추정(Motion Estimation: ME)를 수행하지 않고, 참조 레이어에서 현재 픽처에 대응하는 픽처 내 동일 위치(co-located) 블록의 움직임 정보(움직임 벡터, 레지듀얼 정보, 참조 픽처 인덱스, AMVP 후보 인덱스, 머지 후보 인덱스 등)를 기반으로 현재 블록에 대한 예측을 수행할 수 있다. 이때, 인코딩 장치는 RDO를 고려하여 최선의 모드를 선택할 수도 있다. For example, in inter-layer prediction of a single loop method, motion information of a co-located block in a picture corresponding to the current picture in the reference layer without performing motion estimation (ME) on the current block. Prediction on the current block may be performed based on (motion vector, residual information, reference picture index, AMVP candidate index, merge candidate index, etc.). In this case, the encoding apparatus may select the best mode in consideration of the RDO.
이하, 단일 루프 예측 방법을 이용한 인터 레이어 예측에 관하여 도면을 참조하여 구체적으로 설명한다.Hereinafter, interlayer prediction using a single loop prediction method will be described in detail with reference to the accompanying drawings.
도 8은 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 인코딩 장치에 관하여 개략적으로 설명하는 도면이다. 도 8에서는 멀티 레이어 인코딩 장치에 있어서, 베이스 레이어에 대한 인코딩 장치의 일 예를 도시하고 있다.8 is a diagram schematically illustrating a multilayer encoding apparatus for performing interlayer prediction according to the present invention. 8 illustrates an example of an encoding apparatus for a base layer in a multilayer encoding apparatus.
도 8의 변환부(810), 인터 예측부(820), 인트라 예측부(830), 양자화부(840), 역양자화부(850), 역변환부(860), 엔트로피 인코딩부(870), 필터부(880), 픽처 버퍼(890)는 도 1에서 설명한 바와 같은 인코딩 장치 내 각 구성으로서의 역할을 수행할 수 있다.The transform unit 810, the inter prediction unit 820, the intra prediction unit 830, the quantization unit 840, the inverse quantization unit 850, the inverse transform unit 860, the entropy encoding unit 870, and the filter of FIG. 8. The unit 880 and the picture buffer 890 may serve as components of the encoding apparatus as described with reference to FIG. 1.
예컨대, 변환부(810)는 입력 영상과 인터 예측부(820) 또는 인트라 예측부(830)로부터 예측된 픽셀의 차분 값 즉, 레지듀얼 신호(레지듀얼 블록)를 DST 또는 DCT 할 수 있다. 양자화부(840)는 DST 또는 DCT 변환된 픽셀의 차분 값 즉, 레지듀얼 신호(레지듀얼 블록)을 양자화 한다. 역양자화부(850)는 양자화부(840)로부터 양자화된 값을 다시 역양자화 한다. 역변환부(860)는 역양자화된 값을 IDCT(Inverse DCT) 또는 IDST(Inverse DST) 하여 역변환한다. 엔트로피 인코딩부(870)는 양자화부(840)로부터 양자화된 값을 CABAC 또는 CAVLC 등을 이용하여 엔트로피 인코딩한다. For example, the converter 810 may DST or DCT the difference value of the pixel predicted from the input image and the inter predictor 820 or the intra predictor 830, that is, a residual signal. The quantization unit 840 quantizes a difference value of the DST or DCT transformed pixel, that is, a residual signal (residual block). The inverse quantization unit 850 dequantizes the quantized value from the quantization unit 840 again. The inverse transform unit 860 inversely transforms the inverse quantized value by IDCT (Inverse DCT) or IDST (Inverse DST). The entropy encoding unit 870 entropy encodes the quantized value from the quantization unit 840 using CABAC or CAVLC.
인터 예측부(820)는 인코딩 장치(800)가 인터 모드로 인코딩을 수행하는 경우에, 픽처 버퍼(890)에 저장된 참조 픽처를 기반으로 현재 블록에 대한 예측(인터 예측)을 수행한다. 인트라 예측부(830)는 인코딩 장치(800)가 인트라 모드로 인코딩을 수행하는 경우에, 현재 픽처 내의 주변 블록들을 기반으로 현재 블록에 대한 예측(인트라 예측)을 수행한다. 인터 예측부에서 수행하는 인터 예측과 인트라 예측부에서 수행하는 인트라 예측의 구체적인 내용은 도 1에서 설명한 바 있다.The inter prediction unit 820 performs prediction (inter prediction) on the current block based on the reference picture stored in the picture buffer 890 when the encoding apparatus 800 performs encoding in the inter mode. When the encoding apparatus 800 performs encoding in the intra mode, the intra prediction unit 830 performs prediction (intra prediction) on the current block based on neighboring blocks in the current picture. Details of inter prediction performed by the inter prediction unit and intra prediction performed by the intra prediction unit have been described with reference to FIG. 1.
픽처 버퍼(890)는 디코딩된 영상을 저장하며, 필터부(880)는 픽처 버퍼(890)에 영상을 저장하기 전에, 영상에 인-루프 필터를 적용할 수 있다.The picture buffer 890 stores the decoded image, and the filter unit 880 may apply an in-loop filter to the image before storing the image in the picture buffer 890.
도 8을 참조하면, 베이스 레이어에 대한 인코딩 장치(800)에서 처리된 영상 정보는 인터 레이어 예측부로 전송된다. 예컨대, 인트라 예측부(830)에서 출력되는 영상 정보(ⓐ), 인터 예측부(820)에서 출력되는 영상 정보(ⓒ), 역변환부(860)에서 역변환된 정보(ⓓ)가 인터 레이어 예측부로 전달된다. 디코딩되어 복원된 영상 정보(ⓑ)는 필터부(880)를 거쳐서 인루프 필터들(디블록킹 필터, SAO, ALF 등) 중에서 적어도 하나가 적용된 뒤에 인터 레이어 예측부에 전달될 수 있다. 이때, 영상 정보(ⓑ)는 인루프 필터를 거치지 않고 인터 레이어 예측부에 전달될 수도 있다. Referring to FIG. 8, the image information processed by the encoding apparatus 800 for the base layer is transmitted to the interlayer prediction unit. For example, the image information ⓐ output from the intra predictor 830, the image information ⓒ output from the inter predictor 820, and the inverse transform information ⓓ from the inverse transform unit 860 are transferred to the interlayer predictor. do. The decoded and reconstructed image information ⓑ may be transmitted to the interlayer prediction unit after at least one of the in-loop filters (deblocking filter, SAO, ALF, etc.) is applied through the filter unit 880. In this case, the image information ⓑ may be transmitted to the interlayer prediction unit without passing through the in-loop filter.
도 9는 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 인코딩 장치에 관하여 개략적으로 설명하는 도면이다. 도 9에서는 멀티 레이어 인코딩 장치에 있어서, 인터 레이어 예측부의 일 예를 도시하고 있다. 9 is a diagram schematically illustrating a multilayer encoding apparatus for performing interlayer prediction according to the present invention. 9 illustrates an example of an interlayer prediction unit in a multilayer encoding apparatus.
인터 레이어 예측부(900)는 일반화된 참조 픽처 생성부(910), 일반화된 참조 블록 생성부(920), 예측부(925)를 포함한다. 예측부(925)는 텍스처 예측부(930), 공간적 확대부(940), 움직임 예측부(950), 스케일 확대부(960), 레지듀얼 예측부(970), 공간적 확대부(980)를 포함한다.The interlayer predictor 900 includes a generalized reference picture generator 910, a generalized reference block generator 920, and a predictor 925. The predictor 925 includes a texture predictor 930, a spatial enlarger 940, a motion predictor 950, a scale enlarger 960, a residual predictor 970, and a spatial enlarger 980. do.
인터 레이어 예측부(900)에 입력되는 정보로서 도 9에 도시된 영상 정보(ⓐ, ⓑ, ⓒ, ⓓ)는 베이스 레이어 인코딩 장치로부터 전송되는 정보로서 도 8에 도시된 영상 정보(ⓐ, ⓑ, ⓒ, ⓓ)와 동일하다.The image information (ⓐ, ⓑ, ⓒ, ⓓ) shown in FIG. 9 as the information input to the interlayer prediction unit 900 is information transmitted from the base layer encoding apparatus and the image information (ⓐ, ⓑ, Ⓒ, ⓓ).
인터 레이어 예측부는 입력되는 정보(ⓐ, ⓑ, ⓒ, ⓓ)를 기반으로 인터 레이어 예측에 필요한 예측 정보를 생성한다. The interlayer prediction unit generates prediction information required for interlayer prediction based on input information ⓐ, ⓑ, ⓒ, ⓓ.
구체적으로, 텍스처 예측부(930)는 베이스 레이어 인코딩 장치로부터 전달되는 영상 정보(ⓑ)를 기반으로 텍스처 예측을 통해 인핸스먼트 레이어(현재 레이어)의 인코딩 대상 블록에 대응하는 참조 레이어 블록들의 디코딩된 텍스처 정보를 획득할 수 있다. 텍스처 예측은, 인핸스먼트 레이어(현재 레이어)의 현재 블록에 대응하는 참조 레이어(베이스 레이어)의 블록으로부터 픽셀 값을 획득하는 과정이다. In detail, the texture predictor 930 may decode the textures of the reference layer blocks corresponding to the encoding target block of the enhancement layer (current layer) through texture prediction based on the image information ⓑ transmitted from the base layer encoding apparatus. Information can be obtained. Texture prediction is a process of obtaining a pixel value from a block of a reference layer (base layer) corresponding to a current block of an enhancement layer (current layer).
공간적 확대부(940)는 텍스처 예측부(930)에서 획득한 참조 레이어 블록들의 디코딩된 텍스처 정보를 인핸스먼트 레이어(현재 레이어)의 사이즈에 맞게 확대(예컨대, 업샘플링)할 수 있다.The spatial enlarger 940 may enlarge (eg, upsample) the decoded texture information of the reference layer blocks obtained by the texture predictor 930 according to the size of the enhancement layer (current layer).
움직임 예측부(950)는 베이스 레이어 인코딩 장치로부터 전달되는 정보(ⓒ)를 기반으로 인핸스먼트 레이어(현재 레이어)의 인코딩 대상 블록에 대응되는 참조 레이어 블록들의 움직임 정보 및 인트라 예측 모드를 획득할 수 있다. The motion predictor 950 may obtain motion information and intra prediction modes of reference layer blocks corresponding to the encoding target block of the enhancement layer (current layer) based on the information ⓒ transmitted from the base layer encoding apparatus. .
스케일 확대부(960)는 움직임 예측부(950)에서 획득한 참조 레이어 블록들의 움직임 정보를 인핸스먼트 레이어(현재 레이어)에 대응하여 조정할 수 있다. 예컨대, 움직임 예측부(950)에서 획득한 움직임 벡터는 인핸스먼트 레이어의 사이즈에 맞춰 스케일링될 수 있다. AMVP 후보 또는 머지 후보 등은 인핸스먼트 레이어에서 대응하는 AMVP 후보 또는 머지 후보로 매핑될 수 있다.The scale enlarger 960 may adjust the motion information of the reference layer blocks obtained by the motion predictor 950 in correspondence with an enhancement layer (current layer). For example, the motion vector obtained by the motion predictor 950 may be scaled according to the size of the enhancement layer. The AMVP candidate or the merge candidate may be mapped to the corresponding AMVP candidate or the merge candidate in the enhancement layer.
레지듀얼 예측부(970)는 베이스 레이어 인코딩 장치로부터 전달되는 영상 정보(ⓓ)를 기반으로 인핸스먼트 레이어(현재 레이어)의 인코딩 대상 블록에 대응되는 참조 레이어 블록들의 레지듀얼 정보를 획득할 수 있다. The residual prediction unit 970 may obtain residual information of reference layer blocks corresponding to the encoding target block of the enhancement layer (current layer) based on the image information ⓓ transmitted from the base layer encoding apparatus.
공간적 확대부(980)는 레지듀얼 예측부(970)에서 획득한 참조 레이어의 레지듀얼 정보를 인핸스먼트 레이어의 사이즈에 맞게 확대(예컨대, 업샘플링)할 수 있다. The spatial enlarger 980 may enlarge (eg, upsample) the residual information of the reference layer acquired by the residual predictor 970 according to the size of the enhancement layer.
일반화된 참조 픽처 생성부(910)는 예측부(925)로부터 생성되는 베이스 레이어의 영상 정보, 베이스 레이어 인코딩 장치의 픽처 버퍼로부터 전달되는 디코딩됭 베이스 레이어의 영상 정보(ⓐ), 인핸스먼트 레이어 인코딩 장치의 픽처 버퍼로부터 전달되는 디코딩된 인핸스먼트 레이어의 영상 정보(①)를 기반으로 일반화된 참조 픽처를 생성한다. 예측부(925)는 상술한 바와 같이, 베이스 레이어로부터 획득한 텍스처 정보, 움직임 정보, 인트라 예측 모드 정보, 레지듀얼 정보를 일반화된 참조 픽처 생성부(910)로 전달한다. The generalized reference picture generator 910 may include the image information of the base layer generated from the predictor 925, the image information of the decoded base layer transferred from the picture buffer of the base layer encoding apparatus, and the enhancement layer encoding apparatus. A generalized reference picture is generated based on the image information (1) of the decoded enhancement layer transmitted from the picture buffer of. As described above, the predictor 925 transmits texture information, motion information, intra prediction mode information, and residual information obtained from the base layer to the generalized reference picture generator 910.
일반화된 참조 블록 생성부(920)는 예측부(925)로부터 생성되는 베이스 레이어의 영상 정보, 베이스 레이어 인코딩 장치의 픽처 버퍼로부터 전달되는 디코딩됭 베이스 레이어의 영상 정보(ⓐ)를 기반으로 일반화된 참조 블록을 생성한다. 예측부(925)는 상술한 바와 같이, 베이스 레이어로부터 획득한 텍스처 정보, 움직임 정보, 인트라 예측 모드 정보, 레지듀얼 정보를 일반화된 참조 블록 생성부(920)로 전달한다.The generalized reference block generator 920 may generate a generalized reference based on the image information of the base layer generated by the predictor 925 and the image information ⓐ of the decoded base layer transferred from the picture buffer of the base layer encoding apparatus. Create a block. As described above, the predictor 925 transmits texture information, motion information, intra prediction mode information, and residual information obtained from the base layer to the generalized reference block generator 920.
이때, 일반화된 참조 픽처 생성부(910)과 일반화된 참조 블록 생성부(920)로 전달되는 정보는 인핸스먼트 레이어에 특성에 맞춰 스케일링 또는 확대될 수 있다.In this case, the information transmitted to the generalized reference picture generator 910 and the generalized reference block generator 920 may be scaled or enlarged according to characteristics of the enhancement layer.
일반화된 참조 픽처 또는 일반화된 참조 블록은 참조 레이어의 슬라이스 타입을 반영하여 생성될 수 있다. The generalized reference picture or the generalized reference block may be generated by reflecting the slice type of the reference layer.
예컨대, 참조 레이어가 I 슬라이스인 경우, 일반화된 참조 픽처 생성부 또는 일반화된 참조 블록 생성부는 참조 레이어를 복원한 텍스처를 생성할 수 있다. For example, when the reference layer is an I slice, the generalized reference picture generator or the generalized reference block generator may generate a texture reconstructing the reference layer.
또한, 참조 레이어가 P 슬라이스 또는 B 슬라이스이고 참조 레이어의 블록이 인터 예측된 경우에 일반화된 참조 픽처 생성부 또는 일반화된 참조 블록 생성부는 움직임 정보들과 인핸스먼트 레이어의 참조 영상들을 이용하여 예측 신호를 생성할 수 있다. Also, when the reference layer is a P slice or a B slice and the blocks of the reference layer are inter predicted, the generalized reference picture generator or the generalized reference block generator may use the motion information and the reference images of the enhancement layer to perform a prediction signal. Can be generated.
참조 레이어의 블록이 인트라 예측된 경우에, 일반화된 참조 픽처 생성부 또는 일반화된 참조 블록 생성부는 해당 인트라 예측 모드를 사용하여 인트라 예측을 수행할 수 있다. 이때, 인트라 예측에 사용되는 주변 참조 샘플들로서 인핸스먼트 레이어(현재 레이어)에서 인터 예측된 블록의 복원 샘플을 이용할 수 있다. When the block of the reference layer is intra predicted, the generalized reference picture generator or the generalized reference block generator may perform intra prediction using the corresponding intra prediction mode. In this case, the reconstructed samples of the inter predicted block in the enhancement layer (current layer) may be used as peripheral reference samples used for intra prediction.
이렇게 생성된 예측 신호들이 일반화된 참조 픽처/블록으로서 사용할 수 있다. 또한, 이렇게 생성된 예측 신호들에 참조 레이어의 업샘플링된 레지듀얼 신호를 더해서 일반화된 참조 픽처 또는 참조 블록으로 사용할 수도 있다.The prediction signals thus generated may be used as generalized reference pictures / blocks. In addition, the up-sampled residual signal of the reference layer may be added to the generated prediction signals and used as a generalized reference picture or reference block.
구체적으로, 인터 레이어 예측에 있어서 단일 루프 방식을 적용하는 경우의 일반화된 참조 픽처는, 참조 레이어가 P 슬라이스 또는 B 슬라이스인 경우에, 참조 레이어의 움직임 정보와 인핸스먼트 레이어(현재 레이어)의 인코딩 대상 픽처에 대한 참조 픽처들로부터 움직임 보상을 통해 구한 예측 신호들로 구성된 픽처이다. 이때, 참조 레이어에 인트라 예측된 참조 블록이 존재하면, 상기 참조 블록은 참조 레이어에서 해당 블록에 적용된 인트라 예측 모드와 동일한 예측 모드로 (1) 상기 움직임 보상을 통해 구한 상기 참조 블록의 주변 예측 신호들을 참조 샘플로 하거나, (2) 인핸스먼트 레이어에서 상기 참조 샘플의 주변 샘플들을 참조 샘플로 하는 인트라 예측을 통해 일반화된 참조 픽처를 구성하는데 포함될 수 있다. Specifically, the generalized reference picture in the case of applying the single loop scheme in inter-layer prediction is the encoding target of the motion information of the reference layer and the enhancement layer (current layer) when the reference layer is a P slice or a B slice. The picture is composed of prediction signals obtained through motion compensation from reference pictures for the picture. In this case, if there is an intra predicted reference block in the reference layer, the reference block is the same prediction mode as the intra prediction mode applied to the corresponding block in the reference layer (1) peripheral prediction signals of the reference block obtained through the motion compensation. It may be included as a reference sample or (2) in the enhancement layer to construct a generalized reference picture through intra prediction using neighboring samples of the reference sample as a reference sample.
한편, 상기 예측 신호들로 구성되는 픽처에 픽처 향상을 더 수행하여 얻은 픽처를 일반화된 참조 픽처로 할 수도 있다. 움직임 보상을 통해 얻는 예측 신호에 참조 레이어의 레지듀얼 정보를 더하여 얻은 신호를 일반화된 참조 픽처로 이용할 수도 있다. 또한, 상기 예측 신호들로 구성된 픽처 또는 예측 신호에 레지듀얼 정보를 더하여 얻은 신호들로 구성된 픽처에 픽처 향상을 수행해서 일반화된 참조 픽처로 이용할 수도 있다.On the other hand, a picture obtained by further performing picture enhancement on a picture composed of the prediction signals may be used as a generalized reference picture. A signal obtained by adding residual information of a reference layer to a prediction signal obtained through motion compensation may be used as a generalized reference picture. In addition, picture enhancement may be performed on a picture composed of the prediction signals or a picture composed of signals obtained by adding residual information to the prediction signal and used as a generalized reference picture.
인터 레이어 예측에 있어서 단일 루프 방식을 적용하고 참조 레이어가 I 슬라이스인 경우에는, 참조 레이어로부터 획득한 텍스처 신호를 일반화된 참조 픽처로 이용할 수 있다. 또한, 참조 레이어로부터 획득한 텍스처 신호에 픽처 향상을 수행하여 얻은 신호를 일반화된 참조 픽처로 이용할 수도 있다When the single loop scheme is applied in inter-layer prediction and the reference layer is an I slice, a texture signal obtained from the reference layer may be used as a generalized reference picture. In addition, a signal obtained by performing picture enhancement on a texture signal obtained from a reference layer may be used as a generalized reference picture.
일반화된 참조 픽처는 인핸스먼트 레이어(현재 레이어)의 현재 인코딩 대상 픽처(블록)에 대한 참조 픽처 리스트에 추가되어 상기 인코딩 대상 픽처(블록)의 인터 예측에 이용될 수 있다. 또한, 일반화된 참조 픽처는 참조 픽처 리스트에 추가되지 않고, 인핸스먼트 레이어(현재 레이어)의 인코딩 대상 픽처(블록)에 대한 참조 픽처로서 지정되어 사용될 수도 있다.The generalized reference picture may be added to the reference picture list for the current encoding target picture (block) of the enhancement layer (current layer) and used for inter prediction of the encoding target picture (block). In addition, the generalized reference picture may not be added to the reference picture list, but may be designated and used as a reference picture for the encoding target picture (block) of the enhancement layer (current layer).
인터 레이어 예측에 있어서 단일 루프 방식이 적용되는 경우의 일반화된 참조 블록은, 참조 레이어가 P 슬라이스 또는 B 슬라이스인 경우에, 참조 계층의 움직임 정보와 인핸스 먼트 레이어(현재 레이어)의 부호화 대상 픽처에 대한 참조 픽처로부터 움직임 보상을 통해 얻은 예측 신호들로 구성된 블록이다. 이때, 참조 레이어에 인트라 예측된 참조 블록이 존재하면, 상기 참조 블록은 참조 레이어에서 해당 블록에 적용된 인트라 예측 모드와 동일한 예측 모드로 (1) 상기 움직임 보상을 통해 구한 상기 참조 블록의 주변 예측 신호들을 참조 샘플로 하거나, (2) 인핸스먼트 레이어에서 상기 참조 샘플의 주변 샘플들을 참조 샘플로 하는 인트라 예측을 통해 일반화된 참조 블록을 구성하는데 포함될 수 있다.The generalized reference block when the single loop method is applied in the inter-layer prediction, when the reference layer is a P slice or a B slice, the motion information of the reference layer and the encoding target picture of the enhancement layer (current layer) A block composed of prediction signals obtained through motion compensation from a reference picture. In this case, if there is an intra predicted reference block in the reference layer, the reference block is the same prediction mode as the intra prediction mode applied to the corresponding block in the reference layer (1) peripheral prediction signals of the reference block obtained through the motion compensation. It may be included as a reference sample or (2) in the enhancement layer to construct a generalized reference block through intra prediction using neighboring samples of the reference sample as a reference sample.
한편, 상기 예측 신호들로 구성되는 블록에 픽처 향상을 더 수행하여 얻은 블록을 일반화된 참조 픽처로 할 수도 있다. 움직임 보상을 통해 얻는 예측 신호에 참조 레이어의 레지듀얼 정보를 더하여 얻은 블록을 일반화된 참조 블록으로 이용할 수도 있다.Meanwhile, a block obtained by further performing picture enhancement on a block composed of the prediction signals may be used as a generalized reference picture. A block obtained by adding residual information of a reference layer to a prediction signal obtained through motion compensation may be used as a generalized reference block.
더 나아가, 상기 예측 신호들로 구성된 블록 또는 상기 예측 신호에 레지듀얼 정보를 더하여 얻은 블록에 픽처 향상이 수행된 블록을 일반화된 참조 블록으로 할 수도 있다.Furthermore, a block consisting of the prediction signals or a block obtained by adding residual information to the prediction signal may be a generalized reference block.
인터 레이어 예측에 있어서 단일 루프 방식을 적용하고 참조 레이어가 I 슬라이스인 경우에는, 참조 레이어로부터 획득한 텍스처 신호를 일반화된 참조 블록으로 이용할 수 있다. 또한, 참조 레이어로부터 획득한 텍스처 신호에 픽처 향상을 수행하여 얻은 신호를 일반화된 참조 블록으로 이용할 수도 있다When the single loop scheme is applied in inter layer prediction and the reference layer is an I slice, the texture signal obtained from the reference layer may be used as a generalized reference block. In addition, a signal obtained by performing picture enhancement on a texture signal obtained from a reference layer may be used as a generalized reference block.
일반화된 참조 블록은 인핸스먼트 레이어(현재 레이어)의 인코딩 대상 블록에 대한 예측 신호로 사용될 수 있다. 일반화된 참조 블록 생성부(920)는 현재 레이어의 인코딩 대상 블록의 크기가 N X N인 경우에, 디코딩된 참조 레이어의 픽처로부터 생성된 N X N 크기의 블록을 일반화된 참조 블록으로 획득할 수 있다. 인핸스먼트 레이어의 인코딩 장치는 일반화된 참조 블록을 현재 블록에 대한 예측 블록으로 해서, 인핸스먼트 레이어의 원본 블록과의 차이(레지듀얼 신호)를 인코딩할 수 있다.The generalized reference block may be used as a prediction signal for the encoding target block of the enhancement layer (current layer). The generalized reference block generator 920 may obtain a N × N size block generated from a picture of a decoded reference layer as a generalized reference block when the size of an encoding target block of the current layer is N × N. The encoding apparatus of the enhancement layer may encode a difference (residual signal) from the original block of the enhancement layer by using the generalized reference block as a prediction block for the current block.
일반화된 참조 픽처 생성부(910)에서 생성된 일반화된 참조 픽처 정보(②)와 일반화된 참조 블록 생성부(920)에서 생성된 일반화된 참조 블록 정보(③, ④)는 인핸스먼트 레이어 인코딩 장치에 전달된다. 일반화된 참조 블록 생성부(920)으로부터 출력되는 일반화된 참조 블록 정보(③, ④)는 서로 동일한 정보일 수 있다.Generalized reference picture information (②) generated by the generalized reference picture generator 910 and generalized reference block information (③, ④) generated by the generalized reference block generator 920 are transmitted to the enhancement layer encoding apparatus. Delivered. The generalized reference block information ③ and ④ output from the generalized reference block generator 920 may be the same information.
도 10은 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 인코딩 장치에 관하여 개략적으로 설명하는 도면이다. 도 10에서는 멀티 레이어 인코딩 장치에 있어서, 인핸스먼트 레이어 인코딩 장치의 일 예를 도시하고 있다.10 is a diagram schematically illustrating a multilayer encoding apparatus for performing interlayer prediction according to the present invention. FIG. 10 illustrates an example of an enhancement layer encoding apparatus in a multilayer encoding apparatus.
인핸스먼트 레이어 인코딩 장치(1000)는 변환부(1010), 인트라 예측부(1020), 인터 예측부(1030), 양자화부(1040), 역양자화부(1050), 역변환부(1060), 필터부(1070), 픽처 버퍼(1080), 엔트로피 인코딩부(1090)를 포함한다. The enhancement layer encoding apparatus 1000 may include a transformer 1010, an intra predictor 1020, an inter predictor 1030, a quantizer 1040, an inverse quantizer 1050, an inverse transform unit 1060, and a filter unit. 1070, a picture buffer 1080, and an entropy encoding unit 1090.
도 10의 변환부(1010), 인트라 예측부(1020), 인터 예측부(1030), 양자화부(1040), 역양자화부(1050), 역변환부(1060), 필터부(1070), 픽처 버퍼(1080), 엔트로피 인코딩부(1090)는 도 8에서 설명한 바와 같은 인코딩 장치 내 각 구성으로서의 역할을 수행할 수 있다.10, an intra predictor 1020, an inter predictor 1030, a quantizer 1040, an inverse quantizer 1050, an inverse transform unit 1060, a filter unit 1070, and a picture buffer of FIG. 10. In operation 1080, the entropy encoding unit 1090 may serve as each component in the encoding apparatus as described with reference to FIG. 8.
예컨대, 변환부(1010)는 입력 영상과 인터 예측부(820) 또는 인트라 예측부(830)로부터 예측된 픽셀의 차분 값 즉, 레지듀얼 신호(레지듀얼 블록)를 DST 또는 DCT 할 수 있다. 인핸스먼트 레이어 인코딩 장치(1000)에 입력되는 입력 영상은 베이스 레이어 인코딩 장치(800)에 입력되는 입력 영상보다 더 높은 화질, 더 큰 사이즈, 더 높은 해상도 및/또는 더 높은 프레임 레이트의 영상에 대한 정보로서, 전체 영상 스트림의 일부 또는 전부로 구성된 영상 스트림일 수 있다. 양자화부(1040)는 DST 또는 DCT 변환된 픽셀의 차분 값 즉, 레지듀얼 신호(레지듀얼 블록)을 양자화 한다. 역양자화부(1050)는 양자화부(1040)로부터 양자화된 값을 다시 역양자화 한다. 역변환부(1060)는 역양자화된 값을 IDCT(Inverse DCT) 또는 IDST(Inverse DST) 하여 역변환한다. 엔트로피 인코딩부(1090)는 양자화부(1040)로부터 양자화된 값을 CABAC 또는 CAVLC 등을 이용하여 엔트로피 인코딩한다. For example, the transformer 1010 may DST or DCT the difference value of the pixel predicted from the input image and the inter predictor 820 or the intra predictor 830, that is, a residual signal. The input image input to the enhancement layer encoding apparatus 1000 is information about an image having a higher image quality, a larger size, a higher resolution, and / or a higher frame rate than the input image input to the base layer encoding apparatus 800. For example, the video stream may be a video stream composed of part or all of the entire video stream. The quantization unit 1040 quantizes the difference value of the DST or DCT transformed pixel, that is, a residual signal (residual block). The inverse quantization unit 1050 inversely quantizes the quantized value from the quantization unit 1040. The inverse transform unit 1060 inversely converts the inverse quantized value by IDCT (Inverse DCT) or IDST (Inverse DST). The entropy encoding unit 1090 entropy encodes the quantized value from the quantization unit 1040 using CABAC or CAVLC.
픽처 버퍼(1080)는 디코딩된 영상을 저장하며, 필터부(1070)는 픽처 버퍼(880)에 영상을 저장하기 전에, 영상에 인-루프 필터를 적용할 수 있다.The picture buffer 1080 stores the decoded image, and the filter unit 1070 may apply an in-loop filter to the image before storing the image in the picture buffer 880.
인트라 예측부(1020)는 인코딩 장치(800)가 인트라 모드로 인코딩을 수행하는 경우에, 현재 픽처 내의 주변 블록들을 기반으로 현재 블록에 대한 예측(인트라 예측)을 수행한다. 인터 예측부(1030)는 인코딩 장치(1000)가 인터 모드로 인코딩을 수행하는 경우에, 참조 픽처를 기반으로 현재 블록에 대한 예측(인터 예측)을 수행한다. 인터 예측부에서 수행하는 인터 예측과 인트라 예측부에서 수행하는 인트라 예측의 구체적인 내용은 도 1에서 설명한 바 있다.The intra prediction unit 1020 performs prediction (intra prediction) on the current block based on neighboring blocks in the current picture when the encoding apparatus 800 performs encoding in the intra mode. The inter prediction unit 1030 performs prediction (inter prediction) on the current block based on the reference picture when the encoding apparatus 1000 performs encoding in the inter mode. Details of inter prediction performed by the inter prediction unit and intra prediction performed by the intra prediction unit have been described with reference to FIG. 1.
도 10을 참조하면, 베이스 레이어에 대한 인코딩 장치에서 처리된 영상 정보는 인터 레이어 예측부를 거쳐 인핸스먼트 레이어에 대한 인코딩 장치(1000)로 전송된다. 예컨대, 인터 레이어 예측부의 일반화된 참조 픽처 생성부로부터 생성된 일반화된 참조 픽처에 대한 정보(②)가 픽처 버퍼(1080)로 전달된다. 인터 레이어 예측부의 일반화된 참조 블록 생성부로부터 생성된 일반화된 참조 블록에 대한 정보(③, ④)가 인트라 예측부(1020)와 인터 예측부(1030)에 전달된다. Referring to FIG. 10, image information processed by an encoding apparatus for a base layer is transmitted to the encoding apparatus 1000 for an enhancement layer through an interlayer prediction unit. For example, information (2) about the generalized reference picture generated from the generalized reference picture generation unit of the interlayer prediction unit is transferred to the picture buffer 1080. Information (3) and (4) about the generalized reference block generated from the generalized reference block generator of the interlayer prediction unit are transmitted to the intra predictor 1020 and the inter predictor 1030.
인트라 예측부(1020)는 도시된 바와 같이, 인터 레이어 예측부로부터 전송되는 베이스 레이어의 영상 정보(③)를 인핸스먼트 레이어의 현재 블록에 대한 예측 신호로 이용할 수 있다. 또한, 인트라 예측부(1020)는 인핸스먼트 레이어의 주변 참조 샘플들을 이용하여 인핸스먼트 레이어의 현재 블록에 대한 인트라 예측을 수행할 수도 있다.As illustrated, the intra prediction unit 1020 may use the image information ③ of the base layer transmitted from the inter layer prediction unit as a prediction signal for the current block of the enhancement layer. In addition, the intra prediction unit 1020 may perform intra prediction on the current block of the enhancement layer by using the peripheral reference samples of the enhancement layer.
인터 예측부(1030)는 도시된 바와 같이, 인터 예측부(1030)는 인터 레이어 예측부로부터 전송되는 베이스 레이어의 영상 정보(④)를 인핸스먼트 레이어의 현재 블록에 대한 예측 신호로 사용할 수 있다. 인터 예측부(1030)는 또한 픽처 버퍼(1080)에 저장된 베이스 레이어의 영상 정보(②)를 이용하여 움직임 예측을 수행할 수도 있다. As illustrated, the inter predictor 1030 may use the image information ④ of the base layer transmitted from the inter layer predictor as a prediction signal for the current block of the enhancement layer. The inter predictor 1030 may also perform motion prediction using the image information ② of the base layer stored in the picture buffer 1080.
여기서는 인핸스먼트 레이어의 인코딩 장치(1000)에서 인핸스먼트 레이어의 입력 영상에 대한 인터 예측을 수행하는 인터 예측부(1030)와 인핸스먼트 레이어의 입력 영상에 대한 인트라 예측을 수행하는 인트라 예측부(1030)가 인터 레이어 예측부로부터 전달되는 정보를 기반으로 하는 예측까지 수행하는 것으로 설명하였으나, 본 발명은 이에 한정되지 않는다. 예컨대, 인핸스먼트 레이어의 인코딩 장치는 인터 예측부(1030) 및/또는 인트라 예측부(1120)와는 별도의 예측부를 구비하고, 상기 별도의 예측부가 인터 레이어 예측부로부터 전송되는 정보(③, ④)를 기반으로 하는 예측을 수행하도록 할 수도 있다. 이 경우에, 인터 예측부(1030), 인트라 예측브(1020) 및 별도의 예측부로 입력되는 정보 및 출력되는 정보는 스위치를 구비하여 선택될 수 있도록 할 수 있다.Here, the inter prediction unit 1030 that performs inter prediction on the input image of the enhancement layer and the intra prediction unit 1030 that performs intra prediction on the input image of the enhancement layer in the encoding apparatus 1000 of the enhancement layer. Although it has been described as to perform prediction based on information transmitted from the interlayer prediction unit, the present invention is not limited thereto. For example, the encoding apparatus of the enhancement layer includes a prediction unit separate from the inter prediction unit 1030 and / or the intra prediction unit 1120, and the information (③ and ④) transmitted by the separate prediction unit from the inter layer prediction unit. It may also be able to perform the prediction based on. In this case, the information inputted to the inter prediction unit 1030, the intra prediction unit 1020, and a separate prediction unit and the output information may be provided with a switch to be selected.
도 11은 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 디코딩 장치에 관하여 개략적으로 설명하는 도면이다. 도 11에서는 멀티 레이어 디코딩 장치에 있어서, 베이스 레이어 디코딩 장치의 일 예를 도시하고 있다.11 is a diagram schematically illustrating a multilayer decoding apparatus for performing interlayer prediction according to the present invention. 11 illustrates an example of a base layer decoding apparatus in the multilayer decoding apparatus.
도 11을 참조하면, 베이스 레이어 디코딩 장치(1100)는 엔트로피 디코딩부(1110), 역양자화부(1120), 역변환부(1130), 필터부(1140), 픽처 버퍼(1150), 인터 예측부(1160), 인트라 예측부(1170)를 포함한다.Referring to FIG. 11, the base layer decoding apparatus 1100 may include an entropy decoding unit 1110, an inverse quantization unit 1120, an inverse transform unit 1130, a filter unit 1140, a picture buffer 1150, and an inter prediction unit ( 1160, an intra predictor 1170.
엔트로피 디코딩부(1110), 역양자화부(1120), 역변환부(1130), 필터부(1140), 픽처 버퍼(1150), 인터 예측부(1160), 인트라 예측부(1170)는 도 2에서 설명한 바와 같은 디코딩 장치 내 각 구성으로서의 역할을 수행할 수 있다.The entropy decoding unit 1110, the inverse quantization unit 1120, the inverse transform unit 1130, the filter unit 1140, the picture buffer 1150, the inter prediction unit 1160, and the intra prediction unit 1170 are described with reference to FIG. 2. It can serve as each component in the decoding device as shown.
예컨대, 엔트로피 디코딩부(1110)는 비트스트림을 수신해서 CABAC, CAVLC 등과 같은 방법으로 엔트로피 디코딩을 수행할 수 있다. 역양자화부(1120)는 엔트로피 디코딩부(1110)로부터 획득한 양자화된 변환 계수를 역양자화 할 수 있다. 역변환부(1130)는 양자화된 변환 계수에 적용된 변환 방법에 따라서 역양자화를 수행한다. 예컨대, 양자화된 변환 계수가 DCT에 의한 것이면, IDCT를 이용하여 역양자화를 수행하며, 양자화된 변환 계수가 DST에 의한 것이면, IDST를 이용하여 역양자화를 수행할 수 있다.For example, the entropy decoding unit 1110 may receive the bitstream and perform entropy decoding by a method such as CABAC, CAVLC, or the like. The inverse quantization unit 1120 may inverse quantize the quantized transform coefficients obtained from the entropy decoding unit 1110. The inverse transform unit 1130 performs inverse quantization according to a transform method applied to the quantized transform coefficients. For example, if the quantized transform coefficients are due to DCT, inverse quantization may be performed using IDCT. If the quantized transform coefficients are due to DST, inverse quantization may be performed using IDST.
픽처 버퍼부(1150)는 복호화된 영상 정보를 저장하며, 필터부(1140)는 픽처 버퍼(1150)에 저장되기 전에 복원된 영상(픽처)에 인-루프 필터를 적용할 수 있다. The picture buffer unit 1150 stores the decoded image information, and the filter unit 1140 may apply an in-loop filter to the reconstructed image (picture) before being stored in the picture buffer 1150.
인터 예측부(1160)는 현재 블록에 대하여 디코딩 장치(1100)가 인터 예측을 수행하는 경우에, 픽처 버퍼부(1150)에 저장된 참조 픽처를 기반으로 인터 예측을 수행한다. 인트라 예측부(1170)는 현재 블록에 대하여 디코딩 장치(1100)가 인트라 예측을 수행하는 경우에, 주변 블록의 정보를 기반으로 현재 블록에 대한 인트라 예측을 수행한다. 인터 예측 및 인트라 예측의 구체적인 내용은 상술한 바와 같다.The inter prediction unit 1160 performs inter prediction based on a reference picture stored in the picture buffer unit 1150 when the decoding apparatus 1100 performs inter prediction on the current block. When the decoding apparatus 1100 performs intra prediction on the current block, the intra prediction unit 1170 performs intra prediction on the current block based on information of neighboring blocks. Details of inter prediction and intra prediction are as described above.
도 11을 참조하면, 베이스 레이어에 대한 디코딩 장치(1100)에서 처리된 영상 정보는 인터 레이어 예측부로 전송된다. 예컨대, 인트라 예측부(1170)에서 출력되는 영상 정보(ⓗ), 인터 예측부(1160)에서 출력되는 영상 정보(ⓕ), 역변환부(1130)에서 역변환된 정보(ⓖ)가 인터 레이어 예측부로 전달된다. 디코딩되어 복원된 영상 정보(ⓔ)는 필터부(880)로부터 인루프 필터들(디블록킹 필터, SAO, ALF 등) 중에서 적어도 하나가 적용된 뒤에 인터 레이어 예측부에 전달될 수 있다. 이때, 영상 정보(ⓔ)는 인루프 필터를 거치지 않고 인터 레이어 예측부에 전달될 수도 있다. Referring to FIG. 11, image information processed by the decoding apparatus 1100 for the base layer is transmitted to the interlayer prediction unit. For example, the image information output from the intra prediction unit 1170, the image information output from the inter prediction unit 1160, and the information inversely transformed by the inverse transformer 1130 are transferred to the interlayer prediction unit. do. The decoded and reconstructed image information ⓔ may be transmitted to the interlayer prediction unit after at least one of in-loop filters (deblocking filter, SAO, ALF, etc.) is applied from the filter unit 880. In this case, the image information ⓔ may be transmitted to the interlayer prediction unit without passing through the in-loop filter.
도 12는 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 디코딩 장치에 관하여 개략적으로 설명하는 도면이다. 도 12에서는 멀티 레이어 디코딩 장치에 있어서, 인터 레이어 예측부의 일 예를 도시하고 있다.12 is a diagram schematically illustrating a multilayer decoding apparatus for performing interlayer prediction according to the present invention. FIG. 12 illustrates an example of an interlayer prediction unit in a multilayer decoding apparatus.
멀티 레이어 디코딩 장치의 인터 레이어 예측부(1200)는 일반화된 참조 블록 생성부(1210), 일반화된 참조 픽처 생성부(1220), 예측부(1225)를 포함한다. 예측부(1225)는 텍스처 예측부(1230), 공간적 확대부(1240), 움직임 예측부(1250), 스케일 확대부(1260), 레지듀얼 예측부(1270), 공간적 확대부(1280)를 포함한다. The interlayer prediction unit 1200 of the multilayer decoding apparatus includes a generalized reference block generator 1210, a generalized reference picture generator 1220, and a predictor 1225. The predictor 1225 includes a texture predictor 1230, a spatial enlarger 1240, a motion predictor 1250, a scale enlarger 1260, a residual predictor 1270, and a spatial enlarger 1280. do.
인터 레이어 예측부(1200)에 입력되는 정보로서 도 12에 도시된 영상 정보(ⓔ, ⓕ, ⓖ, ⓗ)는 베이스 레이어 디코딩 장치로부터 전송되는 정보로서 도 11에 도시된 영상 정보(ⓔ, ⓕ, ⓖ, ⓗ)와 동일하다.The image information ⓔ, ⓕ, ⓖ, ⓗ shown in FIG. 12 as the information input to the interlayer predictor 1200 is information transmitted from the base layer decoding apparatus, and the image information ⓔ, ⓕ, Ⓖ, ⓗ).
인터 레이어 예측부는 입력되는 정보(ⓔ, ⓕ, ⓖ, ⓗ)를 기반으로 인터 레이어 예측에 필요한 예측 정보를 생성한다. The interlayer prediction unit generates prediction information necessary for interlayer prediction based on the input information ⓔ, ⓕ, ⓖ, and ⓗ.
구체적으로, 텍스처 예측부(1230)는 베이스 레이어 디코딩 장치로부터 전달되는 영상 정보(ⓔ)를 기반으로 텍스처 예측을 통해 인핸스먼트 레이어(현재 레이어)의 디코딩 대상 블록에 대응하는 참조 레이어 블록들의 디코딩된 텍스처 정보를 획득할 수 있다. 텍스처 예측은, 인핸스먼트 레이어(현재 레이어)의 현재 블록에 대응하는 참조 레이어(베이스 레이어)의 블록으로부터 픽셀 값을 획득하는 과정이다. In detail, the texture predictor 1230 may decode the textures of the reference layer blocks corresponding to the decoding target block of the enhancement layer (current layer) through texture prediction based on the image information ⓔ transmitted from the base layer decoding apparatus. Information can be obtained. Texture prediction is a process of obtaining a pixel value from a block of a reference layer (base layer) corresponding to a current block of an enhancement layer (current layer).
공간적 확대부(1240)는 텍스처 예측부(1230)에서 획득한 참조 레이어 블록들의 디코딩된 텍스처 정보를 인핸스먼트 레이어(현재 레이어)의 사이즈에 맞게 확대(예컨대, 업샘플링)할 수 있다.The spatial enlarger 1240 may enlarge (eg, upsample) the decoded texture information of the reference layer blocks obtained by the texture predictor 1230 according to the size of the enhancement layer (current layer).
움직임 예측부(1250)는 베이스 레이어 디코딩 장치로부터 전달되는 정보(ⓕ)를 기반으로 인핸스먼트 레이어(현재 레이어)의 디코딩 대상 블록에 대응되는 참조 레이어 블록들의 움직임 정보 및 인트라 예측 모드를 획득할 수 있다. The motion predictor 1250 may acquire the motion information and the intra prediction mode of the reference layer blocks corresponding to the decoding target block of the enhancement layer (current layer) based on the information ⓕ transmitted from the base layer decoding apparatus. .
스케일 확대부(1260)는 움직임 예측부(1250)에서 획득한 참조 레이어 블록들의 움직임 정보를 인핸스먼트 레이어(현재 레이어)에 대응하여 조정할 수 있다. 예컨대, 움직임 예측부(1250)에서 획득한 움직임 벡터는 인핸스먼트 레이어의 사이즈에 맞춰 스케일링될 수 있다. AMVP 후보 또는 머지 후보 등은 인핸스먼트 레이어에서 대응하는 AMVP 후보 또는 머지 후보로 매핑될 수 있다.The scale enlarger 1260 may adjust the motion information of the reference layer blocks obtained by the motion predictor 1250 in correspondence with an enhancement layer (current layer). For example, the motion vector obtained by the motion predictor 1250 may be scaled according to the size of the enhancement layer. The AMVP candidate or the merge candidate may be mapped to the corresponding AMVP candidate or the merge candidate in the enhancement layer.
레지듀얼 예측부(1270)는 베이스 레이어 디코딩 장치로부터 전달되는 영상 정보(ⓖ)를 기반으로 인핸스먼트 레이어(현재 레이어)의 디코딩 대상 블록에 대응되는 참조 레이어 블록들의 레지듀얼 정보를 획득할 수 있다. The residual prediction unit 1270 may obtain residual information of reference layer blocks corresponding to the decoding target block of the enhancement layer (current layer) based on the image information ⓖ received from the base layer decoding apparatus.
공간적 확대부(1280)는 레지듀얼 예측부(1270)에서 획득한 참조 레이어의 레지듀얼 정보를 인핸스먼트 레이어의 사이즈에 맞게 확대(예컨대, 업샘플링)할 수 있다. The spatial enlarger 1280 may enlarge (eg, upsample) the residual information of the reference layer acquired by the residual predictor 1270 according to the size of the enhancement layer.
일반화된 참조 블록 생성부(1210)는 예측부(1225)로부터 생성되는 베이스 레이어의 영상 정보, 베이스 레이어 디코딩 장치의 픽처 버퍼로부터 전달되는 디코딩됭 베이스 레이어의 영상 정보(ⓗ)를 기반으로 일반화된 참조 블록을 생성한다. 예측부(1225)는 상술한 바와 같이, 베이스 레이어로부터 획득한 텍스처 정보, 움직임 정보, 인트라 예측 모드 정보, 레지듀얼 정보를 일반화된 참조 블록 생성부(1210)로 전달한다.The generalized reference block generator 1210 may generate a generalized reference based on the image information of the base layer generated by the predictor 1225 and the image information (ⓗ) of the decoded base layer transferred from the picture buffer of the base layer decoding apparatus. Create a block. As described above, the predictor 1225 transmits texture information, motion information, intra prediction mode information, and residual information obtained from the base layer to the generalized reference block generator 1210.
일반화된 참조 픽처 생성부(1220)는 예측부(1225)로부터 생성되는 베이스 레이어의 영상 정보, 베이스 레이어 디코딩 장치의 픽처 버퍼로부터 전달되는 디코딩됭 베이스 레이어의 영상 정보(ⓗ), 인핸스먼트 레이어 디코딩 장치의 픽처 버퍼로부터 전달되는 디코딩된 인핸스먼트 레이어의 영상 정보(⑧)를 기반으로 일반화된 참조 픽처를 생성한다. 예측부(1225)는 상술한 바와 같이, 베이스 레이어로부터 획득한 텍스처 정보, 움직임 정보, 인트라 예측 모드 정보, 레지듀얼 정보를 일반화된 참조 픽처 생성부(1220)로 전달한다. The generalized reference picture generator 1220 may include the image information of the base layer generated from the predictor 1225, the image information of the decoded base layer transferred from the picture buffer of the base layer decoding apparatus, and the enhancement layer decoding apparatus. A generalized reference picture is generated based on the image information (8) of the decoded enhancement layer transmitted from the picture buffer of. As described above, the predictor 1225 transfers texture information, motion information, intra prediction mode information, and residual information obtained from the base layer to the generalized reference picture generator 1220.
이때, 일반화된 참조 픽처 생성부(1220)와 일반화된 참조 블록 생성부(1210)로 전달되는 정보는 인핸스먼트 레이어에 특성에 맞춰 스케일링 또는 확대될 수 있다.In this case, the information transmitted to the generalized reference picture generator 1220 and the generalized reference block generator 1210 may be scaled or enlarged according to the characteristics of the enhancement layer.
일반화된 참조 픽처 또는 일반화된 참조 블록은 참조 레이어의 슬라이스 타입을 반영하여 생성될 수 있다. The generalized reference picture or the generalized reference block may be generated by reflecting the slice type of the reference layer.
예컨대, 참조 레이어가 I 슬라이스인 경우, 일반화된 참조 픽처 생성부 또는 일반화된 참조 블록 생성부는 참조 레이어를 복원한 텍스처를 생성할 수 있다. For example, when the reference layer is an I slice, the generalized reference picture generator or the generalized reference block generator may generate a texture reconstructing the reference layer.
또한, 참조 레이어가 P 슬라이스 또는 B 슬라이스이고 참조 레이어의 블록이 인터 예측된 경우에 일반화된 참조 픽처 생성부 또는 일반화된 참조 블록 생성부는 움직임 정보들과 인핸스먼트 레이어의 참조 영상들을 이용하여 예측 신호를 생성할 수 있다. Also, when the reference layer is a P slice or a B slice and the blocks of the reference layer are inter predicted, the generalized reference picture generator or the generalized reference block generator may use the motion information and the reference images of the enhancement layer to perform a prediction signal. Can be generated.
참조 레이어의 블록이 인트라 예측된 경우에, 일반화된 참조 픽처 생성부 또는 일반화된 참조 블록 생성부는 해당 인트라 예측 모드를 사용하여 인트라 예측을 수행할 수 있다. 이때, 인트라 예측에 사용되는 주변 참조 샘플들로서 인핸스먼트 레이어(현재 레이어)에서 인터 예측된 블록의 복원 샘플을 이용할 수 있다. When the block of the reference layer is intra predicted, the generalized reference picture generator or the generalized reference block generator may perform intra prediction using the corresponding intra prediction mode. In this case, the reconstructed samples of the inter predicted block in the enhancement layer (current layer) may be used as peripheral reference samples used for intra prediction.
이렇게 생성된 예측 신호들이 일반화된 참조 픽처/블록으로서 사용할 수 있다. 또한, 이렇게 생성된 예측 신호들에 참조 레이어의 업샘플링된 레지듀얼 신호를 더해서 일반화된 참조 픽처 또는 참조 블록으로 사용할 수도 있다.The prediction signals thus generated may be used as generalized reference pictures / blocks. In addition, the up-sampled residual signal of the reference layer may be added to the generated prediction signals and used as a generalized reference picture or reference block.
구체적으로, 인터 레이어 예측에 있어서 단일 루프가 적용되는 경우의 일반화된 참조 블록은, 참조 레이어가 P 슬라이스 또는 B 슬라이스인 경우에, 참조 계층의 움직임 정보와 인핸스 먼트 레이어(현재 레이어)의 디코딩 대상 픽처에 대하여 참조 픽처로부터 움직임 보상을 통해 얻은 예측 신호들로 구성된 블록이다. 이때, 참조 레이어에 인트라 예측된 참조 블록이 존재하면, 상기 참조 블록은 참조 레이어에서 해당 블록에 적용된 인트라 예측 모드와 동일한 예측 모드로 (1) 상기 움직임 보상을 통해 구한 상기 참조 블록의 주변 예측 신호들을 참조 샘플로 하거나, (2) 인핸스먼트 레이어에서 상기 참조 샘플의 주변 샘플들을 참조 샘플로 하는 인트라 예측을 통해 일반화된 참조 블록을 구성하는데 포함될 수 있다.Specifically, the generalized reference block in the case where a single loop is applied in inter-layer prediction, when the reference layer is a P slice or a B slice, motion information of the reference layer and a decoding target picture of the enhancement layer (current layer) Is a block composed of prediction signals obtained through motion compensation from a reference picture. In this case, if there is an intra predicted reference block in the reference layer, the reference block is the same prediction mode as the intra prediction mode applied to the corresponding block in the reference layer (1) peripheral prediction signals of the reference block obtained through the motion compensation. It may be included as a reference sample or (2) in the enhancement layer to construct a generalized reference block through intra prediction using neighboring samples of the reference sample as a reference sample.
한편, 상기 예측 신호들로 구성되는 블록에 픽처 향상을 더 수행하여 얻은 블록을 일반화된 참조 픽처로 할 수도 있다. , 움직임 보상을 통해 얻는 예측 신호에 참조 레이어의 레지듀얼 정보를 더하여 얻은 블록을 일반화된 참조 블록으로 이용할 수도 있다.Meanwhile, a block obtained by further performing picture enhancement on a block composed of the prediction signals may be used as a generalized reference picture. In addition, a block obtained by adding residual information of a reference layer to a prediction signal obtained through motion compensation may be used as a generalized reference block.
더 나아가, 상기 예측 신호들로 구성된 블록 또는 상기 예측 신호에 레지듀얼 정보를 더하여 얻은 블록에 픽처 향상이 수행된 블록을 일반화된 참조 블록으로 할 수도 있다.Furthermore, a block consisting of the prediction signals or a block obtained by adding residual information to the prediction signal may be a generalized reference block.
인터 레이어 예측에 있어서 단일 루프 방식을 적용하고 참조 레이어가 I 슬라이스인 경우에는, 참조 레이어로부터 획득한 텍스처 신호를 일반화된 참조 블록으로 이용할 수 있다. 또한, 참조 레이어로부터 획득한 텍스처 신호에 픽처 향상을 수행하여 얻은 신호를 일반화된 참조 블록으로 이용할 수도 있다.일반화된 참조 블록은 인핸스먼트 레이어(현재 레이어)의 디코딩 대상 블록에 대한 예측 신호로 사용될 수 있다. 일반화된 참조 블록 생성부(920)는 현재 레이어의 디코딩 대상 블록의 크기가 N X N인 경우에, 디코딩된 참조 레이어의 픽처로부터 생성된 N X N 크기의 블록을 일반화된 참조 블록으로 획득할 수 있다. 인핸스먼트 레이어의 디코딩 장치는 레지듀얼 신호와 일반화된 참조 블록을 합하여 인핸스먼트 레이어의 원본 블록을 복원할 수 있다.When the single loop scheme is applied in inter layer prediction and the reference layer is an I slice, the texture signal obtained from the reference layer may be used as a generalized reference block. In addition, a signal obtained by performing picture enhancement on a texture signal obtained from a reference layer may be used as a generalized reference block. The generalized reference block may be used as a prediction signal for a decoding target block of an enhancement layer (current layer). have. If the size of the decoding target block of the current layer is N × N, the generalized reference block generator 920 may obtain a block of size N × N generated from the picture of the decoded reference layer as the generalized reference block. The decoding device of the enhancement layer may reconstruct the original block of the enhancement layer by adding the residual signal and the generalized reference block.
일반화된 참조 픽처 생성부(1220)는 예측부(1225)로부터 생성되는 베이스 레이어의 영상 정보, 베이스 레이어 디코딩 장치의 픽처 버퍼로부터 전달되는 디코딩됭 베이스 레이어의 영상 정보(ⓗ), 인핸스먼트 레이어 디코딩 장치의 픽처 버퍼로부터 전달되는 디코딩된 인핸스먼트 레이어의 영상 정보(⑧)를 기반으로 일반화된 참조 픽처를 생성한다. 예측부(1225)는 상술한 바와 같이, 공간적 확대부(1240)을 통해 보간된 베이스 레이어의 텍스처 정보, 스케일 확대부(1260)를 통해 스케일링된 베이스 레이어의 움직임 정보, 공간적 확대부(1280)를 통해 보간된 베이스 레이어의 레지듀얼 정보를 일반화된 참조 픽처 생성부(1220)로 전달한다.The generalized reference picture generator 1220 may include the image information of the base layer generated from the predictor 1225, the image information of the decoded base layer transferred from the picture buffer of the base layer decoding apparatus, and the enhancement layer decoding apparatus. A generalized reference picture is generated based on the image information (8) of the decoded enhancement layer transmitted from the picture buffer of. As described above, the predictor 1225 performs texture information of the base layer interpolated through the spatial enlarger 1240, motion information of the base layer scaled through the scale enlarger 1260, and the spatial enlarger 1280. The residual information of the interpolated base layer is transmitted to the generalized reference picture generator 1220.
인터 레이어 예측에 있어서 단일 루프를 적용하는 경우에, 일반화된 참조 픽처는, 참조 레이어가 P 슬라이스 또는 B 슬라이스인 경우에, 참조 레이어의 움직임 정보와 인핸스먼트 레이어(현재 레이어)의 디코딩 대상 픽처에 대한 참조 픽처들로부터 움직임 보상을 통해 구한 예측 신호들로 구성된 픽처이다. 이때, 참조 레이어에 인트라 예측된 참조 블록이 존재하면, 상기 참조 블록은 참조 레이어에서 해당 블록에 적용된 인트라 예측 모드와 동일한 예측 모드로 (1) 상기 움직임 보상을 통해 구한 상기 참조 블록의 주변 예측 신호들을 참조 샘플로 하거나, (2) 인핸스먼트 레이어에서 상기 참조 샘플의 주변 샘플들을 참조 샘플로 하는 인트라 예측을 통해 일반화된 참조 픽처를 구성하는데 포함될 수 있다.In the case of applying a single loop in inter-layer prediction, when the reference layer is a P slice or a B slice, the generalized reference picture is used for motion information of the reference layer and the decoding target picture of the enhancement layer (the current layer). The picture is composed of prediction signals obtained through motion compensation from reference pictures. In this case, if there is an intra predicted reference block in the reference layer, the reference block is the same prediction mode as the intra prediction mode applied to the corresponding block in the reference layer (1) peripheral prediction signals of the reference block obtained through the motion compensation. It may be included as a reference sample or (2) in the enhancement layer to construct a generalized reference picture through intra prediction using neighboring samples of the reference sample as a reference sample.
또한, 상기 예측 신호들로 구성되는 픽처에 픽처 향상을 더 수행하여 얻은 픽처를 일반화된 참조 픽처로 할 수도 있다. 움직임 보상을 통해 얻는 예측 신호에 참조 레이어의 레지듀얼 정보를 더하여 얻은 신호를 일반화된 참조 픽처로 이용할 수도 있다. 또한, 상기 예측 신호들로 구성된 픽처 또는 예측 신호에 레지듀얼 정보를 더하여 얻은 신호들로 구성된 픽처에 픽처 향상을 수행해서 일반화된 참조 픽처로 이용할 수도 있다.Also, a picture obtained by further performing picture enhancement on a picture including the prediction signals may be a generalized reference picture. A signal obtained by adding residual information of a reference layer to a prediction signal obtained through motion compensation may be used as a generalized reference picture. In addition, picture enhancement may be performed on a picture composed of the prediction signals or a picture composed of signals obtained by adding residual information to the prediction signal and used as a generalized reference picture.
인터 레이어 예측에 있어서 단일 루프 방식을 적용하고 참조 레이어가 I 슬라이스인 경우에는, 참조 레이어로부터 획득한 텍스처 신호를 일반화된 참조 픽처로 이용할 수 있다. 또한, 참조 레이어로부터 획득한 텍스처 신호에 픽처 향상을 수행하여 얻은 신호를 일반화된 참조 픽처로 이용할 수도 있다.When the single loop scheme is applied in inter-layer prediction and the reference layer is an I slice, a texture signal obtained from the reference layer may be used as a generalized reference picture. In addition, a signal obtained by performing picture enhancement on a texture signal obtained from a reference layer may be used as a generalized reference picture.
일반화된 참조 픽처는 인핸스먼트 레이어(현재 레이어)의 현재 인코딩 대상 픽처(블록)에 대한 참조 픽처 리스트에 추가되어 상기 인코딩 대상 픽처(블록)의 인터 예측에 이용될 수 있다. 또한, 일반화된 참조 픽처는 참조 픽처 리스트에 추가되지 않고, 인핸스먼트 레이어(현재 레이어)의 인코딩 대상 픽처(블록)에 대한 참조 픽처로서 지정되어 사용될 수도 있다.일반화된 참조 픽처 생성부(1220)에서 생성된 일반화된 참조 픽처 정보(⑦)와 일반화된 참조 블록 생성부(1210)에서 생성된 일반화된 참조 블록 정보(⑤, ⑥)는 인핸스먼트 레이어 디코딩 장치에 전달된다.The generalized reference picture may be added to the reference picture list for the current encoding target picture (block) of the enhancement layer (current layer) and used for inter prediction of the encoding target picture (block). In addition, the generalized reference picture may not be added to the reference picture list but may be designated and used as a reference picture for the encoding target picture (block) of the enhancement layer (current layer). In the generalized reference picture generation unit 1220, The generated generalized reference picture information (⑦) and the generalized reference block information (⑤, ⑥) generated by the generalized reference block generator 1210 are transmitted to the enhancement layer decoding apparatus.
도 13은 본 발명에 따라서 인터 레이어 예측을 수행하는 멀티 레이어 디코딩 장치에 관하여 개략적으로 설명하는 도면이다. 도 13서는 멀티 레이어 디코딩 장치에 있어서, 인핸스먼트 레이어 디코딩 장치의 일 예를 도시하고 있다.FIG. 13 is a diagram schematically illustrating a multilayer decoding apparatus for performing interlayer prediction according to the present invention. FIG. 13 illustrates an example of an enhancement layer decoding apparatus in the multilayer decoding apparatus.
도 13을 참조하면, 인핸스먼트 레이어 디코딩 장치(1300)는 엔트로피 디코딩부(1310), 역양자화부(1320), 역변환부(1330), 필터부(1340), 픽처 버퍼(1350), 인터 예측부(1360), 인트라 예측부(1370)를 포함한다.Referring to FIG. 13, the enhancement layer decoding apparatus 1300 may include an entropy decoding unit 1310, an inverse quantization unit 1320, an inverse transform unit 1330, a filter unit 1340, a picture buffer 1350, and an inter prediction unit. 1360, an intra predictor 1370.
엔트로피 디코딩부(1310), 역양자화부(1320), 역변환부(1330), 필터부(1340), 픽처 버퍼(1350), 인터 예측부(1360), 인트라 예측부(1370) 역시 도 2에서 설명한 바와 같은 디코딩 장치 내 각 구성으로서의 역할을 수행할 수 있다.The entropy decoding unit 1310, the inverse quantization unit 1320, the inverse transform unit 1330, the filter unit 1340, the picture buffer 1350, the inter prediction unit 1360, and the intra prediction unit 1370 are also described with reference to FIG. 2. It can serve as each component in the decoding device as shown.
예컨대, 엔트로피 디코딩부(1310)는 비트스트림을 수신해서 CABAC, CAVLC 등과 같은 방법으로 엔트로피 디코딩을 수행할 수 있다. 인핸스먼트 디코딩 장치(1300)에 입력되는 비트스트림은 베이스 레이어 디코딩 장치에 입력되는 비트스트림보다 더 높은 화질, 더 큰 사이즈, 더 높은 해상도 및/또는 더 높은 프레임 레이트의 영상에 대한 정보로서, 전체 비트스트림의 일부 또는 전부로 구성된 비트스트림일 수 있다. 역양자화부(1320)는 엔트로피 디코딩부(1310)로부터 획득한 양자화된 변환 계수를 역양자화 할 수 있다. 역변환부(1330)는 양자화된 변환 계수에 적용된 변환 방법에 따라서 역양자화를 수행한다. 예컨대, 양자화된 변환 계수가 DCT에 의한 것이면, IDCT를 이용하여 역양자화를 수행하며, 양자화된 변환 계수가 DST에 의한 것이면, IDST를 이용하여 역양자화를 수행할 수 있다.For example, the entropy decoding unit 1310 may receive the bitstream and perform entropy decoding by a method such as CABAC, CAVLC, or the like. The bitstream input to the enhancement decoding apparatus 1300 is information about an image having a higher image quality, a larger size, a higher resolution, and / or a higher frame rate than the bitstream input to the base layer decoding apparatus. It may be a bitstream composed of part or all of the stream. The inverse quantization unit 1320 may inverse quantize the quantized transform coefficients obtained from the entropy decoding unit 1310. The inverse transform unit 1330 performs inverse quantization according to a transform method applied to the quantized transform coefficients. For example, if the quantized transform coefficients are due to DCT, inverse quantization may be performed using IDCT. If the quantized transform coefficients are due to DST, inverse quantization may be performed using IDST.
픽처 버퍼부(1350)는 복호화된 영상 정보를 저장하며, 필터부(1340)는 픽처 버퍼(1350)에 저장되기 전에 복원된 영상(픽처)에 인-루프 필터를 적용할 수 있다. The picture buffer unit 1350 stores the decoded image information, and the filter unit 1340 may apply the in-loop filter to the reconstructed image (picture) before being stored in the picture buffer 1350.
인터 예측부(1360)는 현재 블록에 대하여 디코딩 장치(1300)가 인터 예측을 수행하는 경우에, 픽처 버퍼부(1350)에 저장된 참조 픽처를 기반으로 인터 예측을 수행한다. 인트라 예측부(1370)는 현재 블록에 대하여 디코딩 장치(1300)가 인트라 예측을 수행하는 경우에, 주변 블록의 정보를 기반으로 현재 블록에 대한 인트라 예측을 수행한다. 인터 예측 및 인트라 예측의 구체적인 내용은 상술한 바와 같다.The inter prediction unit 1360 performs inter prediction based on a reference picture stored in the picture buffer unit 1350 when the decoding apparatus 1300 performs inter prediction on the current block. When the decoding apparatus 1300 performs intra prediction on the current block, the intra prediction unit 1370 performs intra prediction on the current block based on information of neighboring blocks. Details of inter prediction and intra prediction are as described above.
도 13을 참조하면, 베이스 레이어에 대한 디코딩 장치(1100)에서 처리된 영상 정보는 인터 레이어 예측부(1200)를 통해 인핸스먼트 레이어 디코딩 장치(1300)로 전송된다. 예컨대, 인터 레이어 예측부의 일반화된 참조 픽처 생성부로부터 생성된 일반화된 참조 픽처에 대한 정보(⑦)가 픽처 버퍼(1350)에 전달된다. 또한, 인터 레이어 예측부의 일반화된 참조 블록 생성부로부터 생성된 일반화된 참조 블록에 대한 정보(⑤, ⑥)가 인트라 예측부(1370)와 인터 예측부(1360)에 전달된다. Referring to FIG. 13, image information processed by the decoding apparatus 1100 for the base layer is transmitted to the enhancement layer decoding apparatus 1300 through the interlayer prediction unit 1200. For example, information ⑦ about the generalized reference picture generated from the generalized reference picture generator of the interlayer prediction unit is transferred to the picture buffer 1350. In addition, information (5, 6) about the generalized reference block generated from the generalized reference block generator of the interlayer prediction unit is transmitted to the intra predictor 1370 and the inter predictor 1360.
인트라 예측부(1370)는 도시된 바와 같이, 인터 레이어 예측부로부터 전송되는 베이스 레이어의 영상 정보(⑤)를 인핸스먼트 레이어의 현재 블록에 대한 예측 신호로 이용할 수 있다. 또한, 인트라 예측부(1370)는 인핸스먼트 레이어의 주변 참조 샘플들을 이용하여 인핸스먼트 레이어의 현재 블록에 대한 인트라 예측을 수행할 수도 있다. 일반화된 참조 블록을 이용할 것인지 현재 레이어 내에서 인트라 예측을 수행할 것인지에 관해서는 인코딩 장치로부터 전송되는 지시 혹은 정보를 기반으로 결정할 수 있다.As illustrated, the intra predictor 1370 may use image information ⑤ of the base layer transmitted from the interlayer predictor as a prediction signal for the current block of the enhancement layer. In addition, the intra predictor 1370 may perform intra prediction on the current block of the enhancement layer by using the peripheral reference samples of the enhancement layer. Whether to use the generalized reference block or to perform intra prediction in the current layer may be determined based on the indication or information transmitted from the encoding apparatus.
인터 예측부(1030)는 도시된 바와 같이, 인터 예측부(1360)는 인터 레이어 예측부로부터 전송되는 베이스 레이어의 영상 정보(⑥)를 인핸스먼트 레이어의 현재 블록에 대한 예측 신호로 사용할 수 있다. 인터 예측부(1360)는 또한 픽처 버퍼(1350)에 저장된 베이스 레이어의 영상 정보(⑦)를 이용하여 움직임 예측을 수행할 수도 있다. 어떤 정보를 기반으로 현재 블록에 대한 예측을 수행할 것인지는 인코딩 장치와 디코딩 장치 사이에 미리 정해져 있을 수도 있고, 인코딩 장치로부터 지시될 수도 있다.As illustrated, the inter predictor 1030 may use the image information ⑥ of the base layer transmitted from the inter layer predictor as a prediction signal for the current block of the enhancement layer. The inter prediction unit 1360 may also perform motion prediction using the image information (⑦) of the base layer stored in the picture buffer 1350. Based on the information, whether to perform prediction on the current block may be predetermined between the encoding apparatus and the decoding apparatus, or may be indicated from the encoding apparatus.
여기서는 인핸스먼트 레이어의 디코딩 장치(1300)에서 인핸스먼트 레이어의 입력 영상에 대한 인터 예측을 수행하는 인터 예측부(1360)와 인핸스먼트 레이어의 입력 영상에 대한 인트라 예측을 수행하는 인트라 예측부(1370)가 인터 레이어 예측부로부터 전달되는 정보를 기반으로 하는 예측까지 수행하는 것으로 설명하였으나, 본 발명은 이에 한정되지 않는다. 예컨대, 인핸스먼트 레이어의 디코딩 장치는 인터 예측부(1360) 및/또는 인트라 예측부(1367)와는 별도의 예측부를 구비하고, 상기 별도의 예측부가 인터 레이어 예측부로부터 전송되는 정보(⑤, ⑥)를 기반으로 하는 예측을 수행하도록 할 수도 있다. 이 경우에, 인터 예측부(1360), 인트라 예측브(1370) 및 별도의 예측부로 입력되는 정보 및 출력되는 정보는 스위치를 구비하여 선택될 수 있도록 할 수 있다.Here, the inter prediction unit 1360 that performs inter prediction on the input image of the enhancement layer and the intra prediction unit 1370 that performs intra prediction on the input image of the enhancement layer is performed by the decoding apparatus 1300 of the enhancement layer. Although it has been described as to perform prediction based on information transmitted from the interlayer prediction unit, the present invention is not limited thereto. For example, the decoding apparatus of the enhancement layer includes a prediction unit separate from the inter prediction unit 1360 and / or the intra prediction unit 1357, and the information (⑤, ⑥) transmitted by the separate prediction unit from the inter layer prediction unit. It may also be able to perform the prediction based on. In this case, the information inputted to the inter prediction unit 1360, the intra prediction unit 1370, and a separate prediction unit and the output information may be provided with a switch to be selected.
도 14는 본 발명이 적용되는 인터 레이어 예측부에서 일반화된 참조 픽처 생성부의 구성에 관한 일 예를 개략적으로 설명하는 도면이다. 14 is a diagram schematically illustrating an example of a configuration of a reference picture generation unit generalized in an interlayer prediction unit to which the present invention is applied.
도 14를 참조하면, 일반화된 참조 픽처 생성부(1400)는 움직임 보상부(1410)와 픽처 향상부(1420)를 포함한다. Referring to FIG. 14, the generalized reference picture generator 1400 includes a motion compensator 1410 and a picture enhancer 1420.
움직임 보상부(1410)는 인터 레이어 예측부(도 9의 925, 도 12의 1225)로부터 베이스 레이어(참조 레이어)의 부호화 정보, 레지듀얼 정보를 입력받는다. 이때, 부호화 정보는 베이스 레이어가 B 슬라이스 또는 P 슬라이스인 경우에는 베이스 레이어의 움직임 정보를 포함할 수 있다. 또한, 부호화 정보는 베이스 레이어가 P 슬라이스 또는 B 슬라이스인 경우에, 베이스 레이어의 인트라 예측 모드 정보를 포함할 수 있다. The motion compensator 1410 receives encoding information and residual information of the base layer (reference layer) from the inter-layer prediction unit 925 of FIG. 9 and 1225 of FIG. 12. In this case, the encoding information may include motion information of the base layer when the base layer is a B slice or a P slice. In addition, the encoding information may include intra prediction mode information of the base layer when the base layer is a P slice or a B slice.
구체적으로, 단일 루프 방식이 적용되는 일반화된 참조 픽처 생성부(1400)에서 움직임 보상부(1410)는 인핸스먼트 레이어에서의 현재 블록에 대응하는, 베이스 레이어(참조 레이어)에서의 현재 블록에 대한 움직임 정보와 레지듀얼 정보를 수신하여, 움직임 보상을 수행한다. In detail, in the generalized reference picture generator 1400 to which the single loop method is applied, the motion compensator 1410 moves about the current block in the base layer (reference layer), which corresponds to the current block in the enhancement layer. Receives information and residual information, and performs motion compensation.
움직임 보상부(1410)에 입력되는 베이스 레이어의 움직임 정보와 레지듀얼 정보는 상술한 바와 같이, 인터 레이어 예측부에서 스케일링 또는 확대(업샘플링)되어서 입력될 수 있다. As described above, the motion information and the residual information of the base layer input to the motion compensator 1410 may be input by being scaled or enlarged (upsampled) by the interlayer predictor.
또한, 움직임 보상부(1410)는 움직임 정보 외에 베이스 레이어의 인트라 예측 모드를 입력받아서 움직임 보상을 수행할 수도 있다. 상술한 바와 같이, 베이스 레이어(참조 레이어)의 블록이 인트라 예측된 경우에, 움직임 보상부(1410)는 해당 인트라 예측 모드를 사용하여 해당 블록에 대한 인트라 예측을 수행할 수 있다. 이때, 인트라 예측에 사용되는 주변 참조 샘플들로서 인핸스먼트 레이어(현재 레이어)에서 인터 예측된 블록의 복원 샘플을 픽처 버퍼(1430)로부터 입력받아 이용하거나 인트라 예측된 블록의 주변 블록 샘플로서, 일반화된 참조 픽처를 생성하는 과정에서 움직임 보상된 블록의 샘플을 이용할 수 있다. Also, the motion compensator 1410 may perform motion compensation by receiving an intra prediction mode of the base layer in addition to the motion information. As described above, when a block of the base layer (reference layer) is intra predicted, the motion compensator 1410 may perform intra prediction on the block using the intra prediction mode. In this case, the reconstructed sample of the inter predicted block in the enhancement layer (current layer) is used as the peripheral reference samples used for intra prediction from the picture buffer 1430, or as the neighboring block sample of the intra predicted block. In the process of generating a picture, a sample of a motion compensated block may be used.
단일 루프 방식이 적용되는 일반화된 참조 픽처 생성부(1400)에서, 픽처 향상부(1420)는 움직임 보상부(1410)로부터 출력된 픽처를 인핸스먼트 레이어(현재 레이어)의 입력 원본 픽처와 동일하거나 유사하도록 만드는 과정(픽처 향상)을 수행할 수 있다. In the generalized reference picture generator 1400 to which the single loop method is applied, the picture enhancer 1420 may match the picture output from the motion compensator 1410 to the same or similar to the input source picture of the enhancement layer (current layer). You can perform the process (picture enhancement) to make it work.
구체적으로 픽처 향상부(1420)는 움직임 보상된 픽처를 입력받아 인핸스먼트 레이어의 픽처 버퍼(1430)에 저장된 영상 정보를 기반으로, 입력된 영상 정보(텍스처 정보)에 대하여 픽처 향상을 수행할 수 있다. 또한 픽처 향상부(1420)는 베이스 레이어의 영상 정보(텍스처 정보) 및 인핸스먼트 레이어의 픽처 버퍼(1430)에 저장된 영상 정보를 입력 받아서, 인핸스먼트 레이어의 픽처 버퍼(1430)에 저장된 영상 정보를 기반으로, 입력된 영상 정보(텍스처 정보)에 대하여 픽처 향상을 수행할 수 있다. 픽처 향상의 기반이 되는 인핸스먼트 레이어의 픽처 버퍼(1430)에 저장된 영상 정보는 인핸스먼트 레이어의 원본 영상일 수도 있다.In detail, the picture enhancement unit 1420 may receive a motion-compensated picture and perform picture enhancement on the input image information (texture information) based on the image information stored in the picture buffer 1430 of the enhancement layer. . Also, the picture enhancement unit 1420 receives image information (texture information) of the base layer and image information stored in the picture buffer 1430 of the enhancement layer, and is based on the image information stored in the picture buffer 1430 of the enhancement layer. As a result, picture enhancement may be performed on the input image information (texture information). The image information stored in the picture buffer 1430 of the enhancement layer that is the basis of the picture enhancement may be an original image of the enhancement layer.
픽처 향상의 방법으로서, 픽처 향상부(1420)는 입력된 영상 정보(텍스처 정보)에 ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset) 중 적어도 하나를 적용할 수 있다. 디코딩 장치의 경우에는, 픽처 향상부(1420)에서 적용되는 픽처 향상 방법과 필터 계수 등이 인코딩 장치에서 결정되어 시그널링 될 수도 있다. As a picture enhancement method, the picture enhancement unit 1420 may apply at least one of an adaptive loop filter (ALF) and a sample adaptive offset (SAO) to the input image information (texture information). In the case of a decoding apparatus, a picture enhancement method and a filter coefficient applied to the picture enhancement unit 1420 may be determined and signaled by the encoding apparatus.
도 15는 본 발명이 적용되는 인터 레이어 예측부에서 일반화된 참조 블록 생성부의 구성에 관한 일 예를 개략적으로 설명하는 도면이다. 15 is a diagram schematically illustrating an example of a configuration of a generalized reference block generator in an interlayer prediction unit to which the present invention is applied.
도 15를 참조하면, 일반화된 참조 블록 생성부(1500)는 움직임 보상부(1510)와 픽처 향상부(1520)를 포함한다. Referring to FIG. 15, the generalized reference block generator 1500 includes a motion compensator 1510 and a picture enhancer 1520.
움직임 보상부(1510)는 인터 레이어 예측부(도 9의 925, 도 12의 1225)로부터 베이스 레이어(참조 레이어)의 부호화 정보, 레지듀얼 정보를 입력받는다. 이때, 부호화 정보는 베이스 레이어가 B 슬라이스 또는 P 슬라이스인 경우에는 베이스 레이어의 움직임 정보를 포함할 수 있다. 또한, 부호화 정보는 베이스 레이어가 P 슬라이스 또는 B 슬라이스인 경우에, 베이스 레이어의 인트라 예측 모드 정보를 포함할 수 있다. The motion compensator 1510 receives encoding information and residual information of the base layer (reference layer) from the inter-layer prediction unit 925 of FIG. 9 and 1225 of FIG. 12. In this case, the encoding information may include motion information of the base layer when the base layer is a B slice or a P slice. In addition, the encoding information may include intra prediction mode information of the base layer when the base layer is a P slice or a B slice.
구체적으로, 단일 루프 방식이 적용되는 일반화된 참조 블록 생성부(1500)에서 움직임 보상부(1510)는 인핸스먼트 레이어에서의 현재 블록에 대응하는, 베이스 레이어(참조 레이어)에서의 현재 블록에 대한 움직임 정보와 레지듀얼 정보를 수신하여, 움직임 보상을 수행한다. In detail, in the generalized reference block generator 1500 to which the single loop method is applied, the motion compensator 1510 moves about the current block in the base layer (reference layer), which corresponds to the current block in the enhancement layer. Receives information and residual information, and performs motion compensation.
움직임 보상부(1510)에 입력되는 베이스 레이어의 움직임 정보와 레지듀얼 정보는 상술한 바와 같이, 인터 레이어 예측부에서 스케일링 또는 확대(업샘플링)되어서 입력될 수 있다. As described above, the motion information and the residual information of the base layer input to the motion compensator 1510 may be input by being scaled or enlarged (upsampled) by the interlayer predictor.
또한, 움직임 보상부(1510)는 움직임 정보 외에 베이스 레이어의 인트라 예측 모드를 입력받아서 움직임 보상을 수행할 수도 있다. 상술한 바와 같이, 베이스 레이어(참조 레이어)의 블록이 인트라 예측된 경우에, 움직임 보상부(1510)는 해당 인트라 예측 모드를 사용하여 해당 블록에 대한 인트라 예측을 수행할 수 있다. 이때, 인트라 예측에 사용되는 주변 참조 샘플들로서 인핸스먼트 레이어(현재 레이어)에서 인터 예측된 블록의 복원 샘플을 픽처 버퍼(1530)로부터 입력받아 이용하거나 인트라 예측된 블록의 주변 블록 샘플로서, 일반화된 참조 픽처를 생성하는 과정에서 움직임 보상된 블록의 샘플을 이용할 수 있다. In addition to the motion information, the motion compensator 1510 may also receive the intra prediction mode of the base layer to perform motion compensation. As described above, when a block of the base layer (reference layer) is intra predicted, the motion compensator 1510 may perform intra prediction on the block using the intra prediction mode. In this case, the reconstructed sample of the inter predicted block in the enhancement layer (current layer) is used as the peripheral reference samples used for intra prediction from the picture buffer 1530, or as the neighboring block sample of the intra predicted block. In the process of generating a picture, a sample of a motion compensated block may be used.
단일 루프 방식이 적용되는 일반화된 참조 블록 생성부(1500)에서, 픽처 향상부(1520)는 움직임 보상부(1510)로부터 출력된 블록을 인핸스먼트 레이어(현재 레이어)의 입력 원본 블록과 동일하거나 유사하도록 만드는 과정(픽처 향상)을 수행할 수 있다. In the generalized reference block generator 1500 to which the single loop method is applied, the picture enhancer 1520 may match a block output from the motion compensator 1510 to the input original block of the enhancement layer (current layer). You can perform the process (picture enhancement) to make it work.
구체적으로 픽처 향상부(1520)는 움직임 보상된 블록을 입력받아 인핸스먼트 레이어의 픽처 버퍼(1530)에 저장된 영상 정보를 기반으로, 입력된 영상 정보(텍스처 정보)에 대하여 픽처 향상을 수행할 수 있다. 또한 픽처 향상부(1520)는 베이스 레이어의 영상 정보(텍스처 정보) 및 인핸스먼트 레이어의 픽처 버퍼(1530)에 저장된 영상 정보를 입력 받아서, 인핸스먼트 레이어의 픽처 버퍼(1530)에 저장된 영상 정보를 기반으로, 입력된 영상 정보(텍스처 정보)에 대하여 픽처 향상을 수행할 수 있다. 픽처 향상의 기반이 되는 인핸스먼트 레이어의 픽처 버퍼(1530)에 저장된 영상 정보는 인핸스먼트 레이어의 원본 영상일 수도 있다. In detail, the picture enhancement unit 1520 may receive a motion compensated block and perform picture enhancement on the input image information (texture information) based on the image information stored in the picture buffer 1530 of the enhancement layer. . Also, the picture enhancement unit 1520 receives the image information (texture information) of the base layer and the image information stored in the picture buffer 1530 of the enhancement layer, and based on the image information stored in the picture buffer 1530 of the enhancement layer. As a result, picture enhancement may be performed on the input image information (texture information). The image information stored in the picture buffer 1530 of the enhancement layer that is the basis of the picture enhancement may be an original image of the enhancement layer.
픽처 향상의 방법으로서, 픽처 향상부(1520)는 입력된 영상 정보(텍스처 정보)에 ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset) 중 적어도 하나를 적용할 수 있다. 디코딩 장치의 경우에는, 픽처 향상부(1520)에서 적용되는 픽처 향상 방법과 필터 계수 등이 인코딩 장치에서 결정되어 시그널링 될 수도 있다.As a picture enhancement method, the picture enhancement unit 1520 may apply at least one of an adaptive loop filter (ALF) and a sample adaptive offset (SAO) to the input image information (texture information). In the case of a decoding apparatus, a picture enhancement method and a filter coefficient applied to the picture enhancement unit 1520 may be determined and signaled by the encoding apparatus.
픽처 향상부(1520)에서 복원된 픽처는 도 12 및 도 13에서 설명한 바와 같이, 인핸스먼트 레이어의 인터 예측부(1540) 또는 인트라 예측부(1550)에 전달된다.The picture reconstructed by the picture enhancement unit 1520 is transferred to the inter prediction unit 1540 or the intra prediction unit 1550 of the enhancement layer, as described with reference to FIGS. 12 and 13.
도 16은 본 발명에 따라서 수행되는 인터 레이어 예측을 개략적으로 설명하는 플로우 차트이다. 여기서는 설명의 편의를 위해, 멀티 레이어 인코딩 장치 및 멀티 레이어 디코딩 장치(이하, ‘인코딩 장치/디코딩 장치’)가 인핸스먼트 레이어의 현재 블록에 대한 예측 방법을 결정하는 것으로 설명한다.16 is a flow chart schematically illustrating interlayer prediction performed in accordance with the present invention. For convenience of description, the multilayer encoding apparatus and the multilayer decoding apparatus (hereinafter, the 'encoding apparatus / decoding apparatus') determine the prediction method for the current block of the enhancement layer.
도 16을 참조하면, 인코딩 장치/디코딩 장치는 인핸스먼트 레이어의 현재 블록에 대하여 인터 레이어 예측을 수행할 것인지를 결정한다(S1610). 이 경우에, 인코딩 장치는 RDO 및/또는 데이터 전송 비용 등을 고려하여 인터 레이어 예측을 수행할 것인지, 인핸스먼트 레이어 내에서 싱글 레이어 예측을 수행할 것인지를 결정할 수 있다. 인코딩 장치는 인터 레이어 예측을 수행할 것인지 싱글 레이어 예측을 수행할 것인지를 지시하는 플래그(flag)를 디코딩 장치에 전송할 수 있다.Referring to FIG. 16, the encoding device / decoding device determines whether to perform inter-layer prediction on the current block of the enhancement layer (S1610). In this case, the encoding apparatus may determine whether to perform inter-layer prediction or single-layer prediction in the enhancement layer in consideration of RDO and / or data transmission cost. The encoding apparatus may transmit a flag indicating whether to perform interlayer prediction or single layer prediction to the decoding apparatus.
디코딩 장치는 인코딩 장치로부터 수신한 플래그가 지시하는 바에 따라서 인핸스먼트 레이어의 현재 블록에 대하여 인터 레이어 예측을 수행할 것인지 싱글 레이어 예측을 수행할 것인지를 결정할 수 있다. 예컨대, 인터 레이어 예측을 수행할 것인지를 지시하는 플래그가 interLayerPred_flag 라면, interLayerPred_flag 의 값이 1인 경우에 디코딩 장치는 인터 레이어 예측을 수행하고, interLayerPred_flag 의 값이 0인 경우에 디코딩 장치는 싱글 레이어 예측을 수행할 수도 있다. 여기서는 1의 값을 가지는 플래그가 인터 레이어 예측을 지시하는 것으로 설명하였으나, 0의 값을 가지는 플래그가 인터 레이어 예측을 지시하도록 설정할 수 있음은 물론이다.The decoding apparatus may determine whether to perform inter-layer prediction or single-layer prediction on the current block of the enhancement layer as indicated by a flag received from the encoding apparatus. For example, if the flag indicating whether to perform interlayer prediction is interLayerPred_flag, when the value of interLayerPred_flag is 1, the decoding apparatus performs interlayer prediction, and when the value of interLayerPred_flag is 0, the decoding apparatus performs single layer prediction. It can also be done. Although a flag having a value of 1 indicates interlayer prediction, a flag having a value of 0 may be set to indicate interlayer prediction.
인터 레이어 예측을 수행하지 않는 경우에는, 인핸스먼트 레이어의 현재 블록에 대하여, 인핸스먼트 레이어 내에서 예측을 수행할 수 있다(S1620). 예컨대, 인핸스먼트 레이어의 현재 블록을 포함하는 슬라이스 타입이 인트라 슬라이스(I-slice)인 경우에는, 인핸스먼트 레이어 내에서 현재 인코딩 또는 디코딩의 대상이 되는 블록(현재 블록)의 주변에 위치하는 복원된 참조 블록(주변 블록)에 기반하여, 인트라 예측을 수행함으로써 현재 블록에 대한 예측을 수행할 수 있다. 이때, 인핸스먼트 레이어의 현재 블록에 적용할 수 있는 인트라 예측 모드의 예는 도 3에서 설명한 바와 같다. 인코딩 장치/디코딩 장치는 도 3에 도시된 바와 같은 방향성 예측 모드 또는 비방향성 예측 모드 중 어느 하나를 이용하여 인핸스먼트 레이어에 대한 인트라 예측을 수행하고, 예측 블록을 생성할 수 있다. If the interlayer prediction is not performed, the prediction block may be performed in the enhancement layer with respect to the current block of the enhancement layer (S1620). For example, when the slice type including the current block of the enhancement layer is an intra-slice (I-slice), the reconstructed located in the vicinity of the block (current block) to be the current encoding or decoding in the enhancement layer. Based on the reference block (peripheral block), prediction may be performed on the current block by performing intra prediction. In this case, an example of the intra prediction mode applicable to the current block of the enhancement layer is as described with reference to FIG. 3. The encoding device / decoding device may perform intra prediction on the enhancement layer using one of a directional prediction mode and a non-directional prediction mode as shown in FIG. 3, and generate a prediction block.
인코딩 장치는 인핸스먼트 레이어의 현재 블록에 사용될 인트라 예측 모드에 관한 정보를 디코딩 장치에 전송하고, 디코딩 장치는 인코딩 장치로부터 수신한 정보가 지시하는 인트라 예측 모드에 따라서 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행할 수 있다.The encoding device transmits information about the intra prediction mode to be used for the current block of the enhancement layer to the decoding device, and the decoding device predicts the current block of the enhancement layer according to the intra prediction mode indicated by the information received from the encoding device. Can be performed.
또한, 인핸스먼트 레이어의 현재 블록을 포함하는 슬라이스 타입이 인터 슬라이스(P-slice, B-slice 등)이고, 인핸스먼트 레이어 내에서 싱글 레이어 예측이 수행되는 경우에, 인코딩 장치/디코딩 장치는 동일한 인핸스먼트 레이어 내의 참조 픽처들을 기반으로 현재 블록에 대한 인터 예측을 수행할 수 있다. 이때, 인코딩 장치/디코딩 장치는 현재 블록에 대하여, 상술한 바와 같이 스킵(skip) 모드, 머지(merge) 모드, AMVP 등과 같은 인터 예측 방법 중 어느 하나를 이용하여 현재 블록에 대한 인터 예측을 수행할 수 있다. In addition, when the slice type including the current block of the enhancement layer is an inter slice (P-slice, B-slice, etc.), and single layer prediction is performed in the enhancement layer, the encoding device / decoding device has the same enhancement. Inter prediction may be performed on the current block based on reference pictures in the layer. In this case, the encoding device / decoding device may perform inter prediction on the current block by using any one of an inter prediction method such as a skip mode, a merge mode, and an AMVP. Can be.
인코딩 장치는 인핸스먼트 레이어의 현재 블록에 사용될 인터 예측 방법에 관한 정보를 디코딩 장치에 전송하고, 디코딩 장치는 인코징 장치로부터 수신한 정보가 지시하는 인터 예측 방법에 따라서 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행할 수 있다.The encoding apparatus transmits information about the inter prediction method to be used for the current block of the enhancement layer to the decoding apparatus, and the decoding apparatus determines the current block of the enhancement layer according to the inter prediction method indicated by the information received from the encoding apparatus. You can make predictions.
한편, 인터 레이어 예측을 수행하는 경우에, 인코딩 장치/디코딩 장치는 참조 레이어(베이스 레이어)의 정보로부터 생성한 일반화된 참조 픽처 또는 일반화된 참조 블록에 기반하여, 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행할 수 있다(S1630). 이때 수행되는 인터 레이어 예측 방법은 인핸스먼트 레이어의 슬라이스 타입에 따라서 상이할 수 있다. Meanwhile, in the case of performing inter-layer prediction, the encoding device / decoding device predicts the current block of the enhancement layer based on the generalized reference picture or the generalized reference block generated from the information of the reference layer (base layer). It may be performed (S1630). The inter-layer prediction method performed at this time may be different according to the slice type of the enhancement layer.
인핸스먼트 레이어의 슬라이스 타입에 따라서, 인코딩 장치/디코딩 장치에서 수행되는 인터 레이어 예측을 살펴보면:According to the slice type of the enhancement layer, the interlayer prediction performed in the encoding device / decoding device is as follows:
-인핸스먼트 레이어의 슬라이스 타입 또는 베이스 레이어의 슬라이스 타입이 인트라 슬라이스(I-slice)이고 인터 레이어 예측이 적용되는 경우When the slice type of the enhancement layer or the slice type of the base layer is intra slice (I-slice) and inter layer prediction is applied
인코딩 장치/디코딩 장치는 참조 레이어(베이스 레이어)의 디코딩된 픽처 정보를 이용하여 생성되는 일반화된 참조 픽처 또는 일반화된 참조 블록을 기반으로 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행할 수 있다. The encoding device / decoding device may perform prediction on the current block of the enhancement layer based on the generalized reference picture or the generalized reference block generated using the decoded picture information of the reference layer (base layer).
이때, 레이어 간의 픽처 사이즈가 다른 경우에는 참조 레이어의 디코딩된 픽처를 획득한 후, 참조 레이어의 디코딩된 픽처를 인핸스먼트 레이어의 픽처 사이즈에 맞춰 업샘플링(up-sampling)을 수행해서 일반화된 참조 픽처 또는 일반화된 참조 블록을 생성할 수도 있다. 업샘플링은 예컨대, 도 9 또는 도 12에서 설명한 바와 같이 인터 레이어 예측부에서 수행될 수 있다. In this case, when the picture size between layers is different, after obtaining the decoded picture of the reference layer, the decoded picture of the reference layer is up-sampled according to the picture size of the enhancement layer to generalize the reference picture. Alternatively, a generalized reference block may be generated. Upsampling may be performed, for example, in the interlayer prediction unit as described with reference to FIG. 9 or 12.
업샘플링은 고정된 필터 계수를 사용하는 고정형 필터, 슬라이스, 픽처, 블록에 따라서 적응적으로 필터 계수를 달리하는 적응형 필터 중에서 적어도 하나를 이용하여 수행될 수 있다.Upsampling may be performed using at least one of a fixed filter using a fixed filter coefficient, an adaptive filter that adaptively varies filter coefficients according to slices, pictures, and blocks.
일반화된 참조 픽처를 이용하는 경우. When using generalized reference pictures.
인핸스먼트 레이어의 슬라이스 타입 또는 베이스 레이어의 슬라이스 타입이 인트라 슬라이스이고 일반화된 참조 픽처를 이용하여 인터 레이어 예측을 수행하는 경우에, 인코딩 장치/디코딩 장치는 일반화된 참조 픽처(참조 레이어의 업샘플링된 디코딩 픽처 또는 업샘플링되지 않은 디코딩 픽처)를 포함하는 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처 리스트를 구성할 수 있다. 인코딩 장치/디코딩 장치는 인핸스 먼트 레이어의 현재 블록에 대한 참조 픽처 리스트에 포함된 일반화된 참조 픽처를 참조 픽처로서 이용하여 인핸스먼트 레이어의 현재 블록에 대한 인터 예측을 수행할 수 있다. When the slice type of the enhancement layer or the slice type of the base layer is an intra slice and performs inter-layer prediction using a generalized reference picture, the encoding device / decoding device uses a generalized reference picture (upsampled decoding of the reference layer). A reference picture list for a current block of an enhancement layer including a picture or a decoded picture that is not upsampled. The encoding device / decoding device may perform inter prediction on the current block of the enhancement layer by using the generalized reference picture included in the reference picture list of the current block of the enhancement layer as the reference picture.
일반화된 참조 픽처를 이용하여 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 경우에, 상술한 바와 같은 AMVP, 머지 모드, 스킵 모드 등의 인터 예측 방법을 사용할 수 있다.In the case of performing prediction on the current block of the enhancement layer using the generalized reference picture, an inter prediction method such as AMVP, merge mode, and skip mode may be used as described above.
인터 레이어 예측을 수행하는 경우에, 일반화된 참조 픽처(참조 레이어의 업샘플링된 디코딩 픽처 또는 업샘플링되지 않은 디코딩 픽처)를 참조 픽처 리스트에 추가하지 않고서도, 일반화된 참조 픽처를 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처로서 이용할 수도 있다. 현재 블록의 참조 픽처로서 일반화된 참조 픽처가 사용되는 경우에, 인코딩 장치는 일반화된 참조 픽처를 현재 블록에 대한 참조 픽처로서 지시하는 정보를 디코딩 장치에 전송할 수 있다. 디코딩 장치는 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처가 일반화된 참조 픽처임을 지시하는 정보를 인코딩 장치로부터 수신하면, 일반화된 참조 픽처를 이용하여 인핸스먼트 레이어의 현재 블록에 대한 인터 예측을 수행할 수 있다.When performing inter-layer prediction, the generalized reference picture is added to the current picture of the enhancement layer without adding the generalized reference picture (upsampled decoded picture or non-upsampled decoded picture of the reference layer) to the reference picture list. It may be used as a reference picture for the block. In the case where a generalized reference picture is used as the reference picture of the current block, the encoding apparatus may transmit information indicating the generalized reference picture as the reference picture for the current block to the decoding apparatus. When the decoding apparatus receives information indicating that the reference picture for the current block of the enhancement layer is a generalized reference picture from the encoding apparatus, the decoding apparatus may perform inter prediction on the current block of the enhancement layer using the generalized reference picture. have.
여기서는 설명의 편의를 위해, 일반화된 참조 픽처를 참조 레이어의 업샘플링된 디코딩 픽처 또는 업샘플링되지 않은 디코딩 픽처로서 설명하였으나, 도 14에서 설명한 같이, 베이스 레이어의 디코딩된 픽처에 픽처 향샹(picture enhancement)를 수행하여 일반화된 참조 픽처를 생성할 수도 있다. For convenience of description, the generalized reference picture is described as an upsampled decoded picture or an unsampled decoded picture of the reference layer. However, as illustrated in FIG. 14, a picture enhancement is performed on the decoded picture of the base layer. May be performed to generate a generalized reference picture.
픽처 향상은 상술한 바와 같이 참조 픽처로 사용되는 디코딩된 픽처와 원본 픽처 사이의 오차를 최소화하는 방법이다. 다시 말하자면, 픽처 향상은 참조 레이어를 기반으로 생성된 일반화된 참조 픽처와 원본 픽처 사이 오차의 최소화라고 할 수 있다. 이때, 원본 픽처는 인핸스먼트 레이어의 인코딩 장치에 입력되는 픽처를 의미한다. Picture enhancement is a method of minimizing the error between the decoded picture and the original picture used as the reference picture as described above. In other words, the picture enhancement can be said to minimize the error between the generalized reference picture and the original picture generated based on the reference layer. In this case, the original picture refers to a picture input to the encoding device of the enhancement layer.
예컨대, 인코딩 장치는 원본 픽처와 일반화된 참조 픽처 사이의 오차를 최소화할 수 있는 필터 계수를 산출한 후, 참조 레이어로부터 획득한 업샘플링된 디코딩 픽처 또는 업샘플링되지 않은 디코딩 픽처에 상기 필터 계수를 가지는 필터를 적용하여 일반화된 참조 픽처를 생성할 수 있다. 인코딩 장치는 또한 산출한 필터 계수에 관한 정보를 디코딩 장치에 전송할 수 있다. 디코딩 장치는 인코딩 장치로부터 수신한 필터 계수를 갖는 필터를 참조 레이어로부터 획득한 업샘플링된 디코딩 픽처 또는 업샘플링되지 않은 디코딩 픽처에 적용하여 일반화된 참조 픽처를 생성할 수 있다.For example, the encoding apparatus calculates filter coefficients capable of minimizing an error between an original picture and a generalized reference picture, and then has the filter coefficients in an upsampled decoded picture or an unsampled decoded picture obtained from a reference layer. Filters may be applied to generate generalized reference pictures. The encoding apparatus may also transmit information about the calculated filter coefficients to the decoding apparatus. The decoding apparatus may generate a generalized reference picture by applying a filter having a filter coefficient received from the encoding apparatus to an upsampled decoded picture or an unsampled decoded picture obtained from the reference layer.
일반화된 참조 블록을 이용하는 경우. When using generalized reference blocks.
인핸스먼트 레이어의 슬라이스 타입 또는 베이스 레이어의 슬라이스 타입이 인트라 슬라이스이고 일반화된 참조 블록을 이용하여 인터 레이어 예측을 수행하는 경우에, 인코딩 장치/디코딩 장치는 베이스 레이어(참조 레이어)의 디코딩된 픽처를 기반으로 생성한 일반화된 참조 블록으로부터 인핸스먼트 레이어의 현재 블록에 대한 예측 신호들(예측 블록)을 얻을 수 있다. When the slice type of the enhancement layer or the slice type of the base layer is an intra slice and performs interlayer prediction using a generalized reference block, the encoding device / decoding device is based on the decoded picture of the base layer (reference layer). Prediction signals (prediction blocks) for the current block of the enhancement layer may be obtained from the generalized reference block generated as follows.
이때, 참조 레이어(베이스 레이어)와 인핸스먼트 레이어 간에 픽처의 사이즈가 상이하면, 참조 레이어로부터 획득한 디코딩된 픽처에 대하여 업샘플링을 수행할 수 있다. 업샘플링은 예컨대, 도 9 또는 도 12에서 설명한 바와 같이 인터 레이어 예측부에서 수행될 수 있다. In this case, if the picture size is different between the reference layer (base layer) and the enhancement layer, upsampling may be performed on the decoded picture obtained from the reference layer. Upsampling may be performed, for example, in the interlayer prediction unit as described with reference to FIG. 9 or 12.
업샘플링은 고정된 필터 계수를 사용하는 고정형 필터, 슬라이스, 픽처, 블록에 따라서 적응적으로 필터 계수를 달리하는 적응형 필터 중에서 적어도 하나를 이용하여 수행될 수 있다.Upsampling may be performed using at least one of a fixed filter using a fixed filter coefficient, an adaptive filter that adaptively varies filter coefficients according to slices, pictures, and blocks.
인터 레이어 예측을 수행하는 함에 있어서, 인핸스먼트 레이어의 현재 블록에 대응되는 참조 레이어(베이스 레이어)의 일반화된 참조 블록으로부터 구한 픽셀 값들을 인핸스먼트 레이어의 현재 블록에 대한 예측 신호(예측 블록)으로 할 수 있다. 이때, 일반화된 참조 블록은 참조 레이어(베이스 레이어)로부터 획득한 디코딩된 픽처를 업샘플링하여 얻은 블록일 수도 있고, 업샘플링하지 않고 얻은 블록일 수도 있다. In performing inter-layer prediction, pixel values obtained from generalized reference blocks of the reference layer (base layer) corresponding to the current block of the enhancement layer may be used as prediction signals (prediction blocks) for the current block of the enhancement layer. Can be. In this case, the generalized reference block may be a block obtained by upsampling a decoded picture obtained from a reference layer (base layer) or may be a block obtained without upsampling.
인핸스먼트 레이어의 현재 블록은 쿼드 트리 구조에 따른 다양한 블록 크기로 인코딩/디코딩 될 수 있다. 예컨대, 인핸스먼트 레이어의 현재 블록은 CU, PU, TU 중 어느 한 단위로 인코딩/디코딩, 예측 또는 변환될 수 있다. 이 경우에, 일반화된 참조 블록은 인핸스먼트 레이어의 현재 블록 크기에 대응하도록 참조 레이어(베이스 레이어)의 픽셀들로 구성될 수도 있고, 인핸스먼트 레이어의 현재 블록 크기에 대응하도록 업샘플링될 수도 있다. The current block of the enhancement layer may be encoded / decoded in various block sizes according to the quad tree structure. For example, the current block of the enhancement layer may be encoded / decoded, predicted, or transformed in any one of CU, PU, and TU. In this case, the generalized reference block may be composed of pixels of the reference layer (base layer) to correspond to the current block size of the enhancement layer, or may be upsampled to correspond to the current block size of the enhancement layer.
일반화된 참조 블록이 인핸스먼트 레이어의 인코딩/디코딩 대상 블록(현재 블록)의 원본에 더 가까워질 수 있도록 참조 레이어(베이스 레이어)로부터 획득되는 디코딩된 영상에 대하여도 픽처 향상을 추가적으로 수행할 수 있다. 이 경우에, 픽처 향상은 참조 레이어를 기반으로 생성된 일반화된 참조 블록과 인핸스먼트 레이어의 현재 블록(원본 블록) 사이 오차의 최소화라고 할 수 있다. Picture enhancement may be further performed on the decoded image obtained from the reference layer (base layer) so that the generalized reference block may be closer to the original of the encoding / decoding target block (current block) of the enhancement layer. In this case, the picture enhancement may be referred to as minimization of an error between the generalized reference block generated based on the reference layer and the current block (original block) of the enhancement layer.
인코딩 장치는 원본 픽처와 일반화된 참조 블록 사이의 오차를 최소화할 수 있는 필터 계수를 산출한 후, 참조 레이어로부터 획득한 업샘플링된 디코딩 블록(decoded block) 또는 업샘플링되지 않은 디코딩 블록에 상기 필터 계수를 가지는 필터를 적용하여 일반화된 참조 블록을 생성할 수 있다. 인코딩 장치는 또한 산출한 필터 계수에 관한 정보를 디코딩 장치에 전송할 수 있다. 디코딩 장치는 인코딩 장치로부터 수신한 필터 계수를 갖는 필터를 참조 레이어로부터 획득한 업샘플링된 디코딩 블록 또는 업샘플링되지 않은 디코딩 블록에 적용하여 일반화된 참조 블록을 생성할 수 있다.The encoding apparatus calculates filter coefficients that can minimize the error between the original picture and the generalized reference block, and then applies the filter coefficients to an upsampled decoded block or an unsampled decoding block obtained from a reference layer. A generalized reference block can be generated by applying a filter having. The encoding apparatus may also transmit information about the calculated filter coefficients to the decoding apparatus. The decoding apparatus may generate a generalized reference block by applying a filter having a filter coefficient received from the encoding apparatus to an upsampled decoding block or an unsampled decoding block obtained from the reference layer.
-인핸스먼트 레이어의 슬라이스 타입 또는 베이스 레이어의 슬라이스 타입이 인터 슬라이스(P-slice, B-slice 등)이고 인터 레이어 예측이 적용되는 경우When the slice type of the enhancement layer or the slice type of the base layer is inter slice (P-slice, B-slice, etc.) and inter layer prediction is applied
인코딩 장치/디코딩 장치는 참조 레이어(베이스 레이어)의 부호화 정보 및 레지듀얼 정보를 이용하여 생성된 일반화된 참조 픽처 또는 일반화된 참조 블록을 기반으로 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행할 수도 있다. The encoding device / decoding device may perform prediction on the current block of the enhancement layer based on the generalized reference picture or the generalized reference block generated by using encoding information and residual information of the reference layer (base layer). .
이때, 참조 레이어(베이스 레이어)로부터 획득할 수 있는 부호화 정보는 움직임 벡터, 참조 픽처 인덱스, AMVP 후보 인덱스, 머지 후보 인덱스 등의 움직임 정보 및 인트라 예측 모드 정보를 포함한다.In this case, the encoding information obtainable from the reference layer (base layer) includes motion information such as a motion vector, a reference picture index, an AMVP candidate index, a merge candidate index, and intra prediction mode information.
레이어 간(예컨대, 베이스 레이어(참조 레이어)와 인핸스먼트 레이어 사이) 픽처의 사이즈가 상이한 경우에, 인코딩 장치/디코딩 장치는 참조 레이어로부터 획득한 움직임 정보를 인핸스먼트 레이어의 픽처 사이즈에 맞게 업샘플링할 수 있다.When the picture size is different between layers (eg, between the base layer (reference layer) and the enhancement layer), the encoding device / decoding device may upsample the motion information obtained from the reference layer to match the picture size of the enhancement layer. Can be.
일반화된 참조 픽처를 사용하는 경우.When using generalized reference pictures.
인핸스먼트 레이어의 슬라이스 타입 또는 베이스 레이어의 슬라이스 타입이 인터 슬라이스이고 일반화된 참조 픽처를 이용하여 인터 레이어 예측을 수행하는 경우에, 인코딩 장치/디코딩 장치는 참조 레이어(베이스 레이어)의 부호화 정보 및 레지듀얼 정보를 이용하여 생성된 일반화된 참조 픽처를 기반으로 인핸스먼트 레이어의 인코딩 또는 디코딩 대상 블록(현재 블록)에 대한 예측을 수행할 수 있다. When the slice type of the enhancement layer or the slice type of the base layer is inter slice and performs inter layer prediction using a generalized reference picture, the encoding device / decoding device may encode encoding information and residuals of the reference layer (base layer). Prediction of an encoding or decoding target block (current block) of the enhancement layer may be performed based on the generalized reference picture generated using the information.
참조 레이어로부터 획득한 움직임 정보와 인핸스먼트 레이어 내의 참조 픽처들을 이용한 움직임 보상(motion compensation)을 통해 생성된 예측 블록을 기반으로 인코딩 장치/디코딩 장치는 인핸스먼트 레이어의 현재 블록에 대한 일반화된 참조 픽처를 생성할 수 있다. Based on the motion information obtained from the reference layer and the prediction block generated through motion compensation using the reference pictures in the enhancement layer, the encoding device / decoding device generates a generalized reference picture for the current block of the enhancement layer. Can be generated.
참조 레이어(베이스 레이어)의 참조 블록이 인트라 예측에 의해 인코딩된 경우에는, 참조 블록에 적용된 인트라 예측 모드와 이미 복원된(움직임 보상된) 주변 샘플을 이용하여 생성한 예측 신호들(예측 픽처)을 일반화된 참조 픽처로서 이용할 수 있다. 이때, 상기 예측 신호에 참조 레이어의 레지듀얼 신호을 더하여 생성되는 픽처를 일반화된 참조 픽처로서 이용할 수도 있다. When the reference block of the reference layer (base layer) is encoded by intra prediction, prediction signals (predictive picture) generated by using the intra prediction mode applied to the reference block and the surrounding samples that are already reconstructed (motion compensated) are used. It can be used as a generalized reference picture. In this case, the picture generated by adding the residual signal of the reference layer to the prediction signal may be used as a generalized reference picture.
또한, 참조 레이어(베이스 레이어)의 픽처 사이즈와 인핸스먼트 레이어의 픽처 사이즈가 상이한 경우에는, 참조 레이어의 예측 신호들(예측 블록) 및/또는 레지듀얼 신호들(레지듀얼 블록)을 업샘플링한 후 일반화된 참조 픽처를 생성할 수도 있다. In addition, when the picture size of the reference layer (base layer) is different from the picture size of the enhancement layer, after up-sampling the prediction signals (prediction block) and / or the residual signals (residual block) of the reference layer Generalized reference pictures may be generated.
일반화된 참조 픽처를 포함하는 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처 리스트를 구성해서, 인핸스먼트 레이어의 현재 블록에 대한 인터 레이어 예측을 수행할 수 있다. 참조 픽처 리스트에 포함된 일반화된 참조 픽처는 인핸스먼트 레이어의 현재 블록에 대하여 인터 예측을 수행하는 경우에 참조 픽처로서 이용될 수 있다. By configuring a reference picture list for the current block of the enhancement layer including the generalized reference picture, inter-layer prediction may be performed on the current block of the enhancement layer. The generalized reference picture included in the reference picture list may be used as a reference picture when inter prediction is performed on the current block of the enhancement layer.
이때, 상술한 바와 같은 AMVP, 머지 모드, 스킵 모드 등의 인터 예측 방법을 사용하여, 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행할 수 있다.In this case, the prediction of the current block of the enhancement layer may be performed by using the inter prediction method such as the above-described AMVP, merge mode, and skip mode.
일반화된 참조 픽처를 참조 픽처 리스트에 포함시키는 경우에, 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처 리스트 내에서 소정의 참조 픽처를 일반화된 참조 픽처로 대체할 수도 있다. 또한, 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처 리스트에 일반화된 참조 픽처를 단순히 추가할 수도 있다. In the case of including the generalized reference picture in the reference picture list, a predetermined reference picture may be replaced with a generalized reference picture in the reference picture list for the current block of the enhancement layer. In addition, the generalized reference picture may simply be added to the reference picture list for the current block of the enhancement layer.
뿐만 아니라, 일반화된 참조 픽처를 참조 픽처 리스트에 추가하지 않고, 일반화된 참조 픽처를 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처로서 이용할 수도 있다. 현재 블록의 참조 픽처로서 일반화된 참조 픽처가 사용되는 경우에, 인코딩 장치는 일반화된 참조 픽처를 현재 블록에 대한 참조 픽처로서 지시하는 정보를 디코딩 장치에 전송할 수 있다. 디코딩 장치는 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처가 일반화된 참조 픽처임을 지시하는 정보를 인코딩 장치로부터 수신하면, 일반화된 참조 픽처를 이용하여 인핸스먼트 레이어의 현재 블록에 대한 인터 예측을 수행할 수 있다. In addition, the generalized reference picture may be used as a reference picture for the current block of the enhancement layer without adding the generalized reference picture to the reference picture list. In the case where a generalized reference picture is used as the reference picture of the current block, the encoding apparatus may transmit information indicating the generalized reference picture as the reference picture for the current block to the decoding apparatus. When the decoding apparatus receives information indicating that the reference picture for the current block of the enhancement layer is a generalized reference picture from the encoding apparatus, the decoding apparatus may perform inter prediction on the current block of the enhancement layer using the generalized reference picture. have.
인핸스먼트 레이어의 슬라이스 타입이 인터 슬라이스인 경우에도, 인핸스먼트 레이어의 슬라이스 타입이 인트라 슬라이스인 경우와 마찬가지로, 픽처 향상(picture enhancement)를 추가적으로 수행할 수 있다. 예컨대, 인코딩 장치는 원본 픽처와 일반화된 참조 픽처 사이의 오차를 최소화할 수 있는 필터 계수를 산출한 후, 참조 레이어로부터 획득한 업샘플링된 디코딩 픽처 또는 업샘플링되지 않은 디코딩 픽처에 상기 필터 계수를 가지는 필터를 적용하여 일반화된 참조 픽처를 생성할 수 있다. 인코딩 장치는 또한 산출한 필터 계수에 관한 정보를 디코딩 장치에 전송할 수 있다. 디코딩 장치는 인코딩 장치로부터 수신한 필터 계수를 갖는 필터를 참조 레이어로부터 획득한 업샘플링된 디코딩 픽처 또는 업샘플링되지 않은 디코딩 픽처에 적용하여 일반화된 참조 픽처를 생성할 수 있다.Even when the slice type of the enhancement layer is an inter slice, picture enhancement may be additionally performed similarly to the case where the slice type of the enhancement layer is an intra slice. For example, the encoding apparatus calculates filter coefficients capable of minimizing an error between an original picture and a generalized reference picture, and then has the filter coefficients in an upsampled decoded picture or an unsampled decoded picture obtained from a reference layer. Filters may be applied to generate generalized reference pictures. The encoding apparatus may also transmit information about the calculated filter coefficients to the decoding apparatus. The decoding apparatus may generate a generalized reference picture by applying a filter having a filter coefficient received from the encoding apparatus to an upsampled decoded picture or an unsampled decoded picture obtained from the reference layer.
일반화된 참조 블록을 사용하는 경우.When using generalized reference blocks.
인핸스먼트 레이어의 슬라이스 타입 또는 베이스 레이어의 슬라이스 타입이 인터 슬라이스이고 일반화된 참조 블록을 이용하여 인터 레이어 예측을 수행하는 경우에, 인코딩 장치/디코딩 장치는 참조 레이어(베이스 레이어)의 부호화 정보 및 레지듀얼 정보를 이용하여 생성한 일반화된 참조 블록으로부터 인핸스먼트 레이어의 인코딩 또는 디코딩 대상 블록(현재 블록)에 대한 예측 신호들(예측 블록)을 얻을 수 있다.When the slice type of the enhancement layer or the slice type of the base layer is inter slice and performs inter layer prediction using a generalized reference block, the encoding device / decoding device may encode encoding information and residuals of the reference layer (base layer). Prediction signals (prediction blocks) for the encoding or decoding target block (current block) of the enhancement layer may be obtained from the generalized reference block generated using the information.
인코딩 장치/디코딩 장치는 참조 레이어(베이스 레이어)로부터 구한 움직임 정보와 인핸스먼트 레이어 내의 참조 픽처들을 기반으로 움직임 보상을 수행하여 얻은 예측 신호들(예측 블록)로 일반화된 참조 블록을 생성할 수 있다. The encoding device / decoding device may generate a generalized reference block using prediction signals (prediction blocks) obtained by performing motion compensation based on motion information obtained from a reference layer (base layer) and reference pictures in the enhancement layer.
참조 레이어(베이스 레이어)의 참조 블록이 인트라 예측에 의해 인코딩된 경우에는, 참조 블록에 적용된 인트라 예측 모드와 이미 복원된(움직임 보상된) 주변 샘플을 이용하여 생성한 예측 신호들(예측 블록)을 일반화된 참조 블록으로서 이용할 수 있다. 이때, 상기 예측 신호에 참조 레이어의 레지듀얼 신호을 더하여 생성되는 픽처를 일반화된 참조 픽처로서 이용할 수도 있다.When a reference block of a reference layer (base layer) is encoded by intra prediction, prediction signals (prediction block) generated by using an intra prediction mode applied to the reference block and surrounding samples that are already reconstructed (motion compensated) are used. It can be used as a generalized reference block. In this case, the picture generated by adding the residual signal of the reference layer to the prediction signal may be used as a generalized reference picture.
일반화된 참조 블록을 이용하는 경우에도, 인코딩 장치/디코딩 장치는 픽처 향상(picture enhancement)를 추가적으로 수행할 수 있다. 인코딩 장치는 원본 픽처와 일반화된 참조 블록 사이의 오차를 최소화할 수 있는 필터 계수를 산출한 후, 참조 레이어로부터 획득한 업샘플링된 디코딩 블록(decoded block) 또는 업샘플링되지 않은 디코딩 블록에 상기 필터 계수를 가지는 필터를 적용하여 일반화된 참조 블록을 생성할 수 있다. 인코딩 장치는 또한 산출한 필터 계수에 관한 정보를 디코딩 장치에 전송할 수 있다. 디코딩 장치는 인코딩 장치로부터 수신한 필터 계수를 갖는 필터를 참조 레이어로부터 획득한 업샘플링된 디코딩 블록 또는 업샘플링되지 않은 디코딩 블록에 적용하여 일반화된 참조 블록을 생성할 수 있다.Even when using a generalized reference block, the encoding device / decoding device may additionally perform picture enhancement. The encoding apparatus calculates filter coefficients that can minimize the error between the original picture and the generalized reference block, and then applies the filter coefficients to an upsampled decoded block or an unsampled decoding block obtained from a reference layer. A generalized reference block can be generated by applying a filter having. The encoding apparatus may also transmit information about the calculated filter coefficients to the decoding apparatus. The decoding apparatus may generate a generalized reference block by applying a filter having a filter coefficient received from the encoding apparatus to an upsampled decoding block or an unsampled decoding block obtained from the reference layer.
인코딩 장치/디코딩 장치는 일반화된 참조 블록을 인핸스먼트 레이어의 현재 블록에 대한 예측 블록으로서 이용할 수 있다.The encoding device / decoding device may use the generalized reference block as a prediction block for the current block of the enhancement layer.
인코딩 장치/디코딩 장치는 상술한 바와 같이 인핸스먼트 레이어의 현재 블록에 대한 싱글 레이어 예측 또는 인터 레이어 예측의 결과를 기반으로 인핸스먼트 레이어의 현재 픽처를 복원하거나 인코딩할 수 있다(S1650). As described above, the encoding device / decoding device may reconstruct or encode the current picture of the enhancement layer based on a result of the single layer prediction or the inter-layer prediction for the current block of the enhancement layer (S1650).
인코딩 장치는 상술한 바와 같이, 예측 결과를 기반으로 생성한 레지듀얼 블록(레지듀얼 신호)를 변환, 양자화, 엔트로피 인코딩하여 디코딩 장치로 전송할 수 있다. 이때, 인코딩 장치는 베이스 레이어 인코딩 장치와 인핸스먼트 레이어 인코딩 장치로부 출력되는 비트스트림을 멀티플레서를 이용해서 다중화하여 전송할 수도 있다.As described above, the encoding apparatus may transform, quantize, and entropy encode a residual block (residual signal) generated based on a prediction result and transmit the same to the decoding apparatus. In this case, the encoding apparatus may multiplex and transmit a bitstream output from the base layer encoding apparatus and the enhancement layer encoding apparatus using a multiplexer.
디코딩 장치 역시, 상술한 바와 같이, 예측에 의해 생성된 예측 블록(예측 신호)과 레지듀얼 블록(레지듀얼 신호)를 기반으로 인핸스먼트 레이어에 의해 지원되는 고화질, 고해상도, 큰 사이즈 및/또는 높은 프레임 레이트의 픽처(또는 비디오)를 복원할 수 있다. 인코딩 장치로 입력되는 비트스트림은 디멀티플렉서에 의해 베이스 레이어와 인핸스먼트 레이어로 분리되어, 각각 베이스 레이어 인코딩 장치와 인핸스먼트 레이어 인코딩 장치에 입력될 수 있다. The decoding apparatus also, as described above, is a high definition, high resolution, large size and / or high frame supported by the enhancement layer based on the prediction block (prediction signal) and the residual block (residual signal) generated by the prediction. It is possible to reconstruct a picture (or video) at a rate. The bitstream input to the encoding apparatus may be divided into a base layer and an enhancement layer by a demultiplexer, and input to the base layer encoding apparatus and the enhancement layer encoding apparatus, respectively.

상술한 설명에서는, 멀티 레이어 인코딩/디코딩에 있어서 베이스 레이어를 참조 레이어로서, 인핸스먼트 레이어를 인코딩 또는 디코딩 대상 레이어로서 설명하였으나, 이는 설명의 편의를 위해, 두 개의 레이어로 구성된 멀티 레이어 인코딩/디코딩을 가정함에 따른 것이다. 이는 본 발명의 일 예로서, 본 발명은 더블 레이어 구성에 한정되지 않는다. 3이상의 본 발명에서 인코딩 또는 디코딩 대상 레이어는 자신보다 하위의 레이어들 중 적어도 하나를 참조 레이어로 해서 인터 레이어 예측되거나, 인코딩 또는 디코딩 대상 레이어 내에서 싱글 레이어 예측될 수 있다.In the above description, in the multi-layer encoding / decoding, the base layer is referred to as a reference layer and the enhancement layer is encoded or decoded as a layer to be encoded. It is assuming. This is an example of the present invention, the present invention is not limited to the double layer configuration. In at least three embodiments of the present invention, an encoding or decoding target layer may be inter-layer predicted using at least one of layers lower than itself as a reference layer, or may be single-layer predicted within an encoding or decoding target layer.
상술한 설명에서는, SVC를 수행하기 위해 하위 레이어로부터 획득한 정보를 사이즈에 관하여 업샘플링하는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로서, 업샘플링과 같이 상위 레이어의 비디오 정보에 맞춰 하위 레이어의 비디오 정보를 향상(enhancement)시키는 것은 픽처 사이즈뿐만 아니라, 화질, 해상도, 프레이 레이트에 대해서도 동일하게 수행될 수 있다.In the above description, the information obtained from the lower layer in order to perform the SVC has been described as upsampling with respect to the size. However, this is for convenience of description. Enhancement may be equally performed for image quality, resolution, and frame rate as well as picture size.
상술한 설명에서는 일반화된 참조 픽처와 일반화된 참조 블록을 사용하는 경우를 나누어 설명하였으나, 이는 설명의 편의를 위한 것이다. 일반화된 참조 픽처와 일반화된 참조 블록은 인터 레이어 예측을 위하여 함께 사용될 수도 있고, 어느 하나만 사용될 수도 있다. 일반화된 참조 픽처와 일반화된 참조 블록 중 어느 하나만 사용되는 경우에, 인코딩 장치와 디코딩 장치는 일반화된 참조 블록 생성부와 일반화된 참조 픽처 생성부 중 필요한 구성만을 구비할 수도 있다.In the above description, the case of using the generalized reference picture and the generalized reference block has been described separately, but for convenience of description. The generalized reference picture and the generalized reference block may be used together for inter-layer prediction, or only one may be used. In the case where only one of the generalized reference picture and the generalized reference block is used, the encoding apparatus and the decoding apparatus may have only the necessary configuration of the generalized reference block generator and the generalized reference picture generator.
또한, 상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 예컨대, 각 실시예의 조합 역시 본 발명의 일 실시예로서 이해되어야 할 것이다.In addition, in the exemplary system described above, the methods are described based on a flowchart as a series of steps or blocks, but the present invention is not limited to the order of the steps, and some steps may be in a different order than the above-described steps or It can happen at the same time. In addition, the above-described embodiments include examples of various aspects. For example, a combination of each embodiment will also be understood as one embodiment of the present invention.

Claims (19)

  1. 인핸스먼트 레이어에 인터 레이어 예측을 적용할 것인지를 결정하는 단계; 및
    인터레이어 예측을 적용하는 경우에, 참조 레이어의 정보로부터 생성한 일반화된 참조 정보를 기반으로 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 단계를 포함하며,
    상기 참조 레이어의 정보는,
    상기 참조 레이어에서 상기 인핸스먼트 레이어의 현재 블록에 대응하는 참조 블록의 부호화 정보 및 레지듀얼 정보인 것을 특징으로 하는 인터 레이어 예측 방법.    Determining whether to apply inter-layer prediction to an enhancement layer; And
    When applying interlayer prediction, performing prediction on the current block of the enhancement layer based on generalized reference information generated from the information of the reference layer,
    The information of the reference layer,
    And encoding information and residual information of the reference block corresponding to the current block of the enhancement layer in the reference layer.
  2. 제1항에 있어서, 인핸스먼트 레이어에 인터 레이어 예측을 적용할 것인지는 인터 레이어 예측을 지시하는 플래그 정보를 기반으로 결정되는 것을 특징으로 하는 인터 레이어 예측 방법.The method of claim 1, wherein whether to apply inter-layer prediction to an enhancement layer is determined based on flag information indicating inter-layer prediction.
  3. 제1항에 있어서, 상기 부호화 정보는,
    상기 참조 레이어에서 상기 인핸스먼트 레이어의 현재 블록에 대응하는 블록에 대한 움직임 벡터 정보, 참조 픽처 정보, 움직임 벡터 예측자 후보 정보, 머지 후보 정보, 인트라 예측 모드 중 적어도 하나를 포함하는 것을 특징으로 하는 인터 레이어 예측 방법.    The method of claim 1, wherein the encoding information,
    And at least one of motion vector information, reference picture information, motion vector predictor candidate information, merge candidate information, and intra prediction mode for a block corresponding to a current block of the enhancement layer in the reference layer. Layer prediction method.
  4. 제1항에 있어서,
    상기 일반화된 참조 정보는 상기 참조 레이어의 디코딩된 픽처를 기반으로 생성된 일반화된 참조 픽처이며,
    상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 단계에서는,
    상기 일반화된 참조 픽처를 상기 현재 블록의 참조 픽처로서 이용하는 것을 특징으로 하는 인터 레이어 예측 방법.    The method of claim 1,
    The generalized reference information is a generalized reference picture generated based on the decoded picture of the reference layer,
    In the performing of the prediction on the current block of the enhancement layer,
    And using the generalized reference picture as a reference picture of the current block.
  5. 제4항에 있어서, 상기 일반화된 참조 픽처는,
    상기 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처 리스트에 포함되어 상기 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처로서 이용되는 것을 특징으로 하는 인터 레이어 예측 방법.    The method of claim 4, wherein the generalized reference picture,
    And included in a reference picture list for the current block of the enhancement layer and used as a reference picture for the current block of the enhancement layer.
  6. 제4항에 있어서, 상기 일반화된 참조 픽처는,
    상기 인핸스먼트 레이어와 상기 참조 레이어의 픽처들 사이의 차이에 기반한 인핸스먼트가 적용된 것을 특징으로 하는 인터 레이어 예측 방법.    The method of claim 4, wherein the generalized reference picture,
    And applying enhancement based on a difference between the pictures of the enhancement layer and the reference layer.
  7. 제4항에 있어서, 상기 일반화된 참조 픽처는,
    상기 베이스 레이어의 디코딩된 픽처, 상기 베이스 레이어의 디코딩된 픽처를 업샘플링한 픽처, 상기 베이스 레이어의 디코딩된 픽처와 상기 레지듀얼 정보를 기반으로 생성된 픽처 또는 상기 베이스 레이어의 디코딩된 픽처와 상기 레지듀얼 정보를 기반으로 생성된 픽처를 업샘플링한 픽처인 것을 특징으로 하는 인터 레이어 예측 방법.    The method of claim 4, wherein the generalized reference picture,
    A decoded picture of the base layer, a picture upsampled from a decoded picture of the base layer, a picture generated based on the decoded picture of the base layer and the residual information, or a decoded picture of the base layer and the ledge The interlayer prediction method of claim 1, wherein the picture is a picture upsampled from a picture generated based on dual information.
  8. 제1항에 있어서,
    상기 일반화된 참조 정보는 상기 참조 레이어의 디코딩된 픽처를 기반으로 생성된 일반화된 참조 블록이며,
    상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 단계에서는,
    상기 일반화된 참조 블록을 상기 인핸스먼트 레이어의 현재 블록에 대한 예측 블록으로 하는 것을 특징으로 하는 인터 레이어 예측 방법.    The method of claim 1,
    The generalized reference information is a generalized reference block generated based on the decoded picture of the reference layer,
    In the performing of the prediction on the current block of the enhancement layer,
    And using the generalized reference block as a prediction block for the current block of the enhancement layer.
  9. 제8항에 있어서, 상기 일반화된 참조 블록은,
    상기 인핸스먼트 레이어와 상기 참조 레이어의 픽처들 사이의 차이에 기반한 인핸스먼트가 적용된 것을 특징으로 하는 인터 레이어 예측 방법.    The method of claim 8, wherein the generalized reference block,
    And applying enhancement based on a difference between the pictures of the enhancement layer and the reference layer.
  10. 제1항에 있어서,
    상기 일반화된 참조 정보는 상기 참조 레이어로부터 상기 부호화 정보를 기반으로 생성된 일반화된 참조 픽처이며,
    상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 단계에서는,
    상기 일반화된 참조 픽처를 상기 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처로서 이용하는 것을 특징으로 하는 인터 레이어 예측 방법.    The method of claim 1,
    The generalized reference information is a generalized reference picture generated based on the encoding information from the reference layer,
    In the performing of the prediction on the current block of the enhancement layer,
    And using the generalized reference picture as a reference picture for the current block of the enhancement layer.
  11. 제10항에 있어서, 상기 일반화된 참조 픽처는,
    상기 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처 리스트에 포함되어 상기 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처로서 이용되는 것을 특징으로 하는 인터 레이어 예측 방법.    The method of claim 10, wherein the generalized reference picture,
    And included in a reference picture list for the current block of the enhancement layer and used as a reference picture for the current block of the enhancement layer.
  12. 제10항에 있어서, 상기 일반화된 참조 픽처는,
    상기 인핸스먼트 레이어와 상기 참조 레이어의 픽처들 사이의 차이에 기반한 인핸스먼트가 적용된 것을 특징으로 하는 인터 레이어 예측 방법.    The method of claim 10, wherein the generalized reference picture,
    And applying enhancement based on a difference between the pictures of the enhancement layer and the reference layer.
  13. 제10항에 있어서, 상기 일반화된 참조 픽처는,
    상기 베이스 레이어의 디코딩된 픽처, 상기 베이스 레이어의 디코딩된 픽처를 업샘플링한 픽처, 상기 베이스 레이어의 디코딩된 픽처와 상기 레지듀얼 정보를 기반으로 생성된 픽처 또는 상기 베이스 레이어의 디코딩된 픽처와 상기 레지듀얼 정보를 기반으로 생성된 픽처를 업샘플링한 픽처인 것을 특징으로 하는 인터 레이어 예측 방법.    The method of claim 10, wherein the generalized reference picture,
    A decoded picture of the base layer, a picture upsampled from a decoded picture of the base layer, a picture generated based on the decoded picture of the base layer and the residual information, or a decoded picture of the base layer and the ledge The interlayer prediction method of claim 1, wherein the picture is a picture upsampled from a picture generated based on dual information.
  14. 제1항에 있어서,
    상기 일반화된 참조 정보는 상기 참조 레이어로부터 상기 부호화 정보를 기반으로 생성된 일반화된 참조 블록이며,
    상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 단계에서는,
    상기 일반화된 참조 블록을 상기 인핸스먼트 레이어의 현재 블록에 대한 예측 블록으로 하는 것을 특징으로 하는 인터 레이어 예측 방법.    The method of claim 1,
    The generalized reference information is a generalized reference block generated based on the encoding information from the reference layer,
    In the performing of the prediction on the current block of the enhancement layer,
    And using the generalized reference block as a prediction block for the current block of the enhancement layer.
  15. 제14항에 있어서, 상기 일반화된 참조 블록은,
    상기 인핸스먼트 레이어와 상기 참조 레이어의 픽처들 사이의 차이에 기반한 인핸스먼트가 적용된 것을 특징으로 하는 인터 레이어 예측 방법.    The method of claim 14, wherein the generalized reference block,
    And applying enhancement based on a difference between the pictures of the enhancement layer and the reference layer.
  16. 제14항에 있어서, 상기 참조 블록이 인트라 예측된 경우에,
    상기 일반화된 참조 블록은,
    상기 참조 레이어에서 상기 참조 블록에 적용된 인트라 예측 모드를 상기 인핸스먼트 레이어에서 상기 참조 블록에 적용하여 얻은 예측 블록을 기반으로 생성되는 것을 특징으로 하는 인터 레이어 예측 방법.    The method of claim 14, wherein the reference block is intra predicted.
    The generalized reference block,
    And generating an intra prediction mode applied to the reference block in the reference layer based on the prediction block obtained by applying the reference block to the reference block in the enhancement layer.
  17. 제14항에 있어서, 상기 참조 블록이 인트라 예측된 경우에,
    상기 일반화된 참조 블록은,
    상기 참조 레이어에서 상기 참조 블록에 적용된 인트라 예측 모드를 상기 인핸스먼트 레이어에서 상기 참조 블록에 적용하여 얻은 예측 블록과 상기 레지듀얼 정보를 기반으로 생성되는 것을 특징으로 하는 인터 레이어 예측 방법.    The method of claim 14, wherein the reference block is intra predicted.
    The generalized reference block,
    And generating a prediction block obtained by applying an intra prediction mode applied to the reference block in the reference layer to the reference block in the enhancement layer and the residual information.
  18. 베이스 레이어의 입력 영상에 대한 예측을 수행하는 베이스 레이어 인코딩부;
    인핸스먼트 레이어의 입력 영상에 대한 예측을 수행하는 인핸스먼트 레이어 인코딩부; 및
    상기 인핸스먼트 레이어의 입력 영상에 대한 예측을 수행하기 위한 일반화된 참조 정보를 생성하는 인터 레이어 예측부를 포함하며,
    인터레이어 예측을 적용하는 경우에,
    상기 인터 레이어 예측부는 상기 베이스 레이어의 디코딩된 정보로부터 일반화된 참조 정보를 생성하며,
    상기 인핸스먼트 레이어 인코딩부는 상기 일반화된 참조 정보를 기반으로 상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 것을 특징으로 하는 스케일러블 인코딩 장치.    A base layer encoder for predicting an input image of the base layer;
    An enhancement layer encoding unit configured to predict the input image of the enhancement layer; And
    An interlayer prediction unit generating generalized reference information for performing prediction on an input image of the enhancement layer,
    If you apply interlayer prediction,
    The interlayer prediction unit generates generalized reference information from decoded information of the base layer,
    And the enhancement layer encoding unit performs prediction on the current block of the enhancement layer based on the generalized reference information.
  19. 베이스 레이어의 영상에 대한 예측을 수행하는 베이스 레이어 디코딩부;
    인핸스먼트 레이어의 영상에 대한 예측을 수행하는 인핸스먼트 레이어 디코딩부; 및
    상기 인핸스먼트 레이어의 영상에 대한 예측을 수행하기 위한 일반화된 참조 정보를 생성하는 인터 레이어 예측부를 포함하며,
    인터 레이어 예측을 적용하는 경우에,
    상기 인터 레이어 예측부는 상기 베이스 레이어의 디코딩된 정보로부터 일반화된 참조 정보를 생성하며,
    상기 인핸스먼트 레이어 디코딩부는 상기 일반화된 참조 정보를 기반으로 상기 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행하는 것을 특징으로 하는 스케일러블 디코딩 장치.    A base layer decoder configured to predict the image of the base layer;
    An enhancement layer decoder configured to perform prediction on an image of an enhancement layer; And
    An interlayer prediction unit configured to generate generalized reference information for performing prediction on an image of the enhancement layer,
    In case of applying inter-layer prediction,
    The interlayer prediction unit generates generalized reference information from decoded information of the base layer,
    And the enhancement layer decoding unit performs prediction on the current block of the enhancement layer based on the generalized reference information.
PCT/KR2012/004778 2011-06-15 2012-06-15 Method for coding and decoding scalable video and apparatus using same WO2012173440A2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/125,974 US9686544B2 (en) 2011-06-15 2012-06-15 Method for coding and decoding scalable video and apparatus using same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20110057906 2011-06-15
KR10-2011-0057906 2011-06-15
KR1020120064635A KR20130000334A (en) 2011-06-15 2012-06-15 Method and apparatus for scalable encoding and decoding
KR10-2012-0064635 2012-06-15

Publications (2)

Publication Number Publication Date
WO2012173440A2 true WO2012173440A2 (en) 2012-12-20
WO2012173440A3 WO2012173440A3 (en) 2013-04-04

Family

ID=47357633

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/004778 WO2012173440A2 (en) 2011-06-15 2012-06-15 Method for coding and decoding scalable video and apparatus using same

Country Status (1)

Country Link
WO (1) WO2012173440A2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014107074A1 (en) * 2013-01-04 2014-07-10 삼성전자 주식회사 Motion compensation method and device for encoding and decoding scalable video
CN105284115A (en) * 2013-04-05 2016-01-27 三星电子株式会社 Method and device for decoding multi-layer video, and method and device for coding multi-layer video
CN105340276A (en) * 2013-07-02 2016-02-17 高通股份有限公司 Optimizations on inter-layer prediction signaling for multi-layer video coding
CN110177273A (en) * 2013-03-21 2019-08-27 索尼公司 Picture coding device and method
US10701373B2 (en) 2013-02-22 2020-06-30 Interdigital Vc Holdings, Inc. Coding and decoding methods of a picture block, corresponding devices and data stream
US11558629B2 (en) 2013-02-22 2023-01-17 Interdigital Vc Holdings, Inc. Coding and decoding methods of a picture block, corresponding devices and data stream

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070096884A (en) * 2006-03-24 2007-10-02 한국전자통신연구원 Coding method of reducing interlayer redundancy using mition data of fgs layer and device thereof
KR20090016544A (en) * 2006-01-09 2009-02-16 엘지전자 주식회사 Inter-layer prediction method for video signal
KR20110052203A (en) * 2009-11-12 2011-05-18 전자부품연구원 Method and apparatus for scalable video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090016544A (en) * 2006-01-09 2009-02-16 엘지전자 주식회사 Inter-layer prediction method for video signal
KR20070096884A (en) * 2006-03-24 2007-10-02 한국전자통신연구원 Coding method of reducing interlayer redundancy using mition data of fgs layer and device thereof
KR20110052203A (en) * 2009-11-12 2011-05-18 전자부품연구원 Method and apparatus for scalable video coding

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014107074A1 (en) * 2013-01-04 2014-07-10 삼성전자 주식회사 Motion compensation method and device for encoding and decoding scalable video
US10701373B2 (en) 2013-02-22 2020-06-30 Interdigital Vc Holdings, Inc. Coding and decoding methods of a picture block, corresponding devices and data stream
US11558629B2 (en) 2013-02-22 2023-01-17 Interdigital Vc Holdings, Inc. Coding and decoding methods of a picture block, corresponding devices and data stream
US11750830B2 (en) 2013-02-22 2023-09-05 Interdigital Vc Holdings, Inc. Coding and decoding methods of a picture block, corresponding devices and data stream
CN110177273A (en) * 2013-03-21 2019-08-27 索尼公司 Picture coding device and method
CN110234007A (en) * 2013-03-21 2019-09-13 索尼公司 Picture decoding apparatus and method
CN110234007B (en) * 2013-03-21 2023-05-23 索尼公司 Image decoding apparatus and method
CN110177273B (en) * 2013-03-21 2023-06-02 索尼公司 Image coding apparatus and method
CN105284115A (en) * 2013-04-05 2016-01-27 三星电子株式会社 Method and device for decoding multi-layer video, and method and device for coding multi-layer video
US9967574B2 (en) 2013-04-05 2018-05-08 Samsung Electronics Co., Ltd. Method and apparatus for decoding multi-layer video, and method and apparatus for encoding multi-layer video
CN105340276A (en) * 2013-07-02 2016-02-17 高通股份有限公司 Optimizations on inter-layer prediction signaling for multi-layer video coding

Also Published As

Publication number Publication date
WO2012173440A3 (en) 2013-04-04

Similar Documents

Publication Publication Date Title
US11412240B2 (en) Method for coding and decoding scalable video and apparatus using same
US20140247883A1 (en) Scalable video encoding and decoding method and apparatus using same
KR102209109B1 (en) Method and apparatus for image encoding/decoding
KR20130107861A (en) Method and apparatus for inter layer intra prediction
WO2013147557A1 (en) Inter-layer prediction method and encoding device and decoding device using same
WO2012173440A2 (en) Method for coding and decoding scalable video and apparatus using same
CN108769683B (en) Image decoding method and apparatus using the same
KR20130037194A (en) Method for video encoding/decoding and apparatus thereof
KR20140122189A (en) Method and Apparatus for Image Encoding and Decoding Using Inter-Layer Combined Intra Prediction
WO2013051899A2 (en) Scalable video encoding and decoding method and apparatus using same
KR20210013254A (en) Method and apparatus for image encoding/decoding
WO2013051896A1 (en) Video encoding/decoding method and apparatus for same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12800144

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 14125974

Country of ref document: US

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12800144

Country of ref document: EP

Kind code of ref document: A2