WO2014058110A1 - 다중 계층 비디오를 위한 계층 간 예측 방법 및 그 장치 - Google Patents

다중 계층 비디오를 위한 계층 간 예측 방법 및 그 장치 Download PDF

Info

Publication number
WO2014058110A1
WO2014058110A1 PCT/KR2012/011619 KR2012011619W WO2014058110A1 WO 2014058110 A1 WO2014058110 A1 WO 2014058110A1 KR 2012011619 W KR2012011619 W KR 2012011619W WO 2014058110 A1 WO2014058110 A1 WO 2014058110A1
Authority
WO
WIPO (PCT)
Prior art keywords
layer
picture
inter
prediction
enhancement layer
Prior art date
Application number
PCT/KR2012/011619
Other languages
English (en)
French (fr)
Inventor
김경혜
조현호
남정학
심동규
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to JP2015536667A priority Critical patent/JP2015536119A/ja
Priority to CN201280077135.7A priority patent/CN104782129A/zh
Priority to US14/434,534 priority patent/US9961363B2/en
Publication of WO2014058110A1 publication Critical patent/WO2014058110A1/ko
Priority to US15/933,441 priority patent/US10219001B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems

Definitions

  • the present invention relates to encoding / decoding of video, and more particularly, to an inter-layer prediction method and apparatus for multi-layer video.
  • Scalable Video Coding (SVC) technology allows video of different types of resolution, quality, and frame rate in one compressed bitstream to be used in various terminals and network environments. It is to be able to restore adaptively.
  • SVC is a video codec that gives hierarchical adaptability to various multimedia devices at high compression rate of H.264 / AVC, and is a modification of H.264 / MPEG-4 PART 10 as Joint Video Team (JVT). Standardization was carried out at.
  • HEVC High Efficiency Video Coding
  • HEVC defines a Coding Unit (CU), Prediction Unit (PU), and Transform Unit (TU) with a quadtree structure, and has a sample adaptive offset (SAO). Additional in-loop filters such as Offset and Deblocking filter are applied. In addition, compression coding efficiency is improved by improving existing intra prediction and inter prediction.
  • the SVC in inter-layer prediction, when encoding an enhancement layer having a different temporal and spatial resolution from a reference layer, the SVC is reconstructed at the same time as the picture of the enhancement layer to be encoded.
  • An object of the present invention for solving the above problems is to provide a method for performing inter-layer prediction by adaptively determining a reference picture in encoding or decoding on a multi-layer video.
  • Another object of the present invention for solving the above problems is to provide an apparatus for performing inter-layer prediction by adaptively determining a reference picture in encoding or decoding on a multi-layer video.
  • an inter-layer prediction method for multi-layer video includes generating a reconstructed picture of a reference layer through predictive encoding on a reference layer, and Determining whether a reconstruction picture of a reference layer exists for a time corresponding to a current picture of an enhancement layer for encoding or decoding, and inter-layer prediction by referring to a picture of the enhancement layer or a reconstruction picture of a reference layer Performing a step).
  • the performing of the inter-layer prediction may include: referring to a picture before or after the current picture of the enhancement layer when there is no reconstructed picture of the reference layer for a time corresponding to the current picture of the enhancement layer. Liver prediction can be performed.
  • the performing of the inter-layer prediction may include: reconstructing the reference layer with respect to the time corresponding to the current picture of the enhancement layer when there is no reconstructed picture of the reference layer with respect to the time corresponding to the current picture of the enhancement layer.
  • Inter-layer prediction may be performed by referring to a picture before or after a picture.
  • the performing of the inter-layer prediction may include: before or after the current picture of the enhancement layer and the enhancement layer when there is no reconstructed picture of the reference layer with respect to a time corresponding to the current picture of the enhancement layer.
  • Inter-layer prediction may be performed by referring to a picture before or after the reconstructed picture of the reference layer with respect to a time corresponding to the current picture of.
  • the performing of the inter-layer prediction may include performing a reconstruction picture of the reference layer with respect to a time corresponding to the current picture of the enhancement layer when there is a reconstructed picture of the reference layer with respect to a time corresponding to the current picture of the enhancement layer.
  • Inter-layer prediction may be performed by referring to.
  • An interlayer prediction apparatus for multi-layer video for achieving the above object includes a frame buffer for storing a reconstructed picture of the reference layer generated through prediction encoding on a reference layer, A prediction unit performs inter-layer prediction with reference to a picture of an enhancement layer or a reconstruction picture of a reference layer in order to encode or decode a current picture.
  • the apparatus may further include an interpolation unit that interpolates the reconstructed picture of the reference layer to correspond to the resolution of the enhancement layer.
  • the picture of the enhancement layer or the picture of the reference layer is adapted. Can be used to perform effective inter-layer prediction.
  • encoding and decoding efficiency may be improved through inter-layer prediction that adaptively uses a picture of an enhancement layer or a picture of a reference layer.
  • FIG. 1 is a block diagram illustrating an encoding apparatus for performing inter-layer prediction for multi-layer video according to an embodiment of the present invention.
  • FIG. 2 is a conceptual diagram illustrating an inter-layer prediction method for multi-layer video according to an embodiment of the present invention.
  • FIG. 3 illustrates a reference picture list based on an inter-layer prediction method for multi-layer video according to an embodiment of the present invention.
  • FIG. 4 is a conceptual diagram illustrating an inter-layer prediction method for multi-layer video according to another embodiment of the present invention.
  • FIG. 5 illustrates a reference picture list based on an inter-layer prediction method for multi-layer video according to another embodiment of the present invention.
  • FIG. 6 is a conceptual diagram illustrating an inter-layer prediction method for multi-layer video according to another embodiment of the present invention.
  • FIG. 7 shows a reference picture list based on an inter-layer prediction method for multi-layer video according to another embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating an inter-layer prediction method for multi-layer video according to an embodiment of the present invention.
  • FIG. 9 is an exemplary diagram of a syntax element used in inter-layer prediction for multi-layer video according to an embodiment of the present invention.
  • FIG. 10 is a block diagram of a decoding apparatus for performing inter-layer prediction for multi-layer video, according to an embodiment of the present invention.
  • first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • a video encoding apparatus (Video Encoding Apparatus), a video decoding apparatus (Video Decoding Apparatus) to be described below is a personal computer (PC), notebook computer, personal digital assistant (PDA), portable multimedia player (PMP) : Portable Multimedia Player (PSP), PlayStation Portable (PSP: PlayStation Portable), Wireless Communication Terminal (Wireless Communication Terminal), Smart Phone, Smart Phone, TV Application Server, Service Server, etc.
  • a communication device such as a user terminal or a communication modem for communicating with a wired or wireless communication network, a memory for storing various programs and data for inter- or intra-prediction for encoding or decoding an image, or for encoding or decoding an image, and executing a program.
  • Microprocessor for operation and control It can mean a variety of devices.
  • the image encoded in the bitstream by the video encoding apparatus is real-time or non-real-time through the wired or wireless communication network, such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network, or the like, or a cable, universal serial bus (USB: Universal) It may be transmitted to an image decoding apparatus through various communication interfaces such as a serial bus, and may be decoded by the image decoding apparatus to restore and reproduce the image.
  • wired or wireless communication network such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network, or the like, or a cable, universal serial bus (USB: Universal) It may be transmitted to an image decoding apparatus through various communication interfaces such as a serial bus, and may be decoded by the image decoding apparatus to restore and reproduce the image.
  • USB universal serial bus
  • a video may be composed of a series of pictures, and each picture may be divided into a predetermined area such as a frame or a block.
  • the divided blocks may be classified into intra blocks and inter blocks according to an encoding method.
  • An intra picture block refers to a block that is encoded by using an intra prediction coding method.
  • An intra picture prediction encoding indicates a pixel of blocks previously encoded, decoded, and reconstructed in a current picture that performs current encoding.
  • a prediction block is generated by predicting pixels of the current block using the prediction block, and a difference value with the pixels of the current block is encoded.
  • An inter block refers to a block that is encoded using inter prediction coding.
  • Inter prediction coding generates a prediction block by predicting a current block within a current picture by referring to one or more past or future pictures, and then generates a current block. This is a method of encoding the difference value with.
  • a frame referred to for encoding or decoding the current picture is referred to as a reference frame.
  • the term "picture” described below may be used interchangeably with other terms having equivalent meanings, such as an image, a frame, or the like. If you grow up, you can understand.
  • the reference picture in the present invention means a reconstructed picture can be understood by those skilled in the art.
  • FIG. 1 is a block diagram illustrating an encoding apparatus for performing inter-layer prediction for multi-layer video according to an embodiment of the present invention.
  • an encoding apparatus for performing inter-layer prediction for multi-layer video includes an encoding apparatus 100 for a reference layer and an encoding apparatus 200 for an enhancement layer.
  • the multiplexer 320 and the interpolator 310 may be included.
  • Each of the encoding apparatuses 100 and 200 includes a subtraction unit 110 and 210, a transform unit 120 and 220, a quantization unit 130 and 230, an inverse quantization unit 131 and 231, and an inverse transform unit 121 and 221. ), Entropy encoder 140, 240, adder 150, 250, in-loop filter 160, 260, frame memories 170, 270, intra predictor 180, 280, and motion compensator ( 190, 290).
  • the subtractors 110 and 210 generate a residual image between the current image and the predicted image by subtracting the predicted image generated by intra prediction or inter prediction from the target image to be encoded (the current image), which is the received input image. do.
  • the converters 120 and 220 convert the residual image generated by the subtractors 110 and 210 from the spatial domain to the frequency domain.
  • the transformers 120 and 220 convert the residual image using a technique of transforming an image signal of a spatial axis into a frequency axis such as a Hadamard transform, a discrete cosine transform, a discrete cosine transform, and the like. You can convert to the frequency domain.
  • the quantizers 130 and 230 perform quantization on the transformed data (frequency coefficients) provided from the converters 120 and 220. That is, the quantizers 130 and 230 divide the frequency coefficients, which are data converted by the transformers 120 and 220, into approximations by dividing the frequency coefficients into quantization step sizes to calculate a quantization result.
  • the entropy encoders 140 and 240 generate a bitstream by entropy encoding the quantization result values calculated by the quantizers 130 and 230.
  • the entropy encoders 140 and 240 may use the quantization result values calculated by the quantizers 130 and 230 using CAVLC (Context-Adaptive Variable Length Coding) or CABAC (Context-Adaptive Binary Arithmetic Coding). Entropy encoding may be performed, and information necessary for decoding an image, in addition to the quantization result value, may be entropy encoded.
  • the dequantizers 131 and 231 dequantize the quantization result values calculated by the quantizers 130 and 230. In other words, the inverse quantization units 131 and 231 restore the value (frequency coefficient) of the frequency domain from the quantization result.
  • the inverse transformers 121 and 221 restore the residual image by converting the values (frequency coefficients) of the frequency domain provided from the inverse quantizers 131 and 231 from the frequency domain to the spatial domain.
  • the reconstructed image of the input image is generated and stored in the frame memories 170 and 270 by adding the residual image reconstructed by the inverse transformers 121 and 221 to the predicted image generated by the intra prediction or the inter prediction.
  • the frame memory 170 may store the reconstructed picture of the reference layer generated through the prediction encoding on the reference layer.
  • the frame memory 270 may store a reconstructed picture of the enhancement layer generated through predictive encoding on the enhancement layer, and may store a reconstructed picture of the reference layer or a picture interpolated from the reconstructed picture of the reference layer.
  • the prediction unit may include intra prediction units 180 and 280 and motion compensation units 190 and 290 to perform intra prediction and inter prediction.
  • the intra predictors 180 and 280 perform intra prediction, and the motion compensators 190 and 290 compensate for a motion vector for inter prediction.
  • the prediction unit may perform inter-layer prediction with reference to a picture of the enhancement layer or a reconstructed picture of the reference layer in order to encode a current picture of the enhancement layer.
  • inter-layer prediction may mean performing intra prediction or inter prediction with reference to a reconstruction picture of a reference layer in encoding or decoding on an enhancement layer.
  • the prediction unit may perform inter-layer prediction by referring to the reconstructed picture of the reference layer for the time corresponding to the current picture of the enhancement layer. Can be.
  • the prediction unit may perform inter-layer prediction with reference to a picture before or after the current picture of the enhancement layer.
  • the prediction unit may refer to the picture before or after the reconstruction picture of the reference layer for the time corresponding to the current picture of the enhancement layer. To perform inter-layer prediction.
  • the prediction unit may determine a picture before or after the current picture of the enhancement layer and a time corresponding to the current picture of the enhancement layer. Inter-layer prediction may be performed by referring to a picture before or after the reconstructed picture of the reference layer.
  • the in-loop filter units 160 and 260 perform filtering on the reconstructed image, and include a deblocking filter (DF), a sample adaptive offset (SAO), and an adaptive loop filter (ALF). Adaptive Loop Filter).
  • DF deblocking filter
  • SAO sample adaptive offset
  • ALF adaptive loop filter
  • the interpolator 310 interpolates the picture reconstructed in the reference layer. That is, the interpolator 310 may interpolate the picture reconstructed in the reference layer corresponding to the spatial resolution of the enhancement layer.
  • the multiplexer 320 receives and outputs a coded bitstream from a reference layer and an enhancement layer.
  • FIG. 2 is a conceptual diagram illustrating an inter-layer prediction method for multi-layer video according to an embodiment of the present invention.
  • a picture of an enhancement layer may be represented as I E0 20, I E1 21, I E2 22, I E3 23, I E4 24, and the like. Also, a picture reconstructed in the enhancement layer may be represented as I B0 25, I B2 26, I B4 27, and the like.
  • the current picture of the enhancement layer may be encoded or decoded with reference to the reconstructed picture of the reference layer.
  • the current picture may mean a picture to be encoded or decoded.
  • I E0 21, I E2 22 or I E4 24 is the reference layer. It may be encoded or decoded with reference to I B0 25, I B2 26, or I B4 27, respectively, which are reconstructed pictures.
  • the current picture of the enhancement layer may be encoded or decoded with reference to a picture before or after the current picture of the enhancement layer. have.
  • I E1 21 may perform encoding or decoding with reference to I E0 20 or I E2 22.
  • I E3 23 may perform encoding or decoding with reference to I E2 22 or I E4 24.
  • the current picture of the enhancement layer may be encoded or decoded with reference to pictures of the same (enhancement) layer for temporal scalability.
  • FIG. 3 illustrates a reference picture list based on an inter-layer prediction method for multi-layer video according to an embodiment of the present invention.
  • the reference list for the current picture of the enhancement layer may refer to a picture before or after the current picture of the enhancement layer. It may include.
  • I E1 21 when the current picture of the enhancement layer is I E1 21, I E0 20 or I E2 22 may be included in the reference list.
  • FIG. 4 is a conceptual diagram illustrating an inter-layer prediction method for multi-layer video according to another embodiment of the present invention.
  • a picture of an enhancement layer may be represented as I E0 40, I E1 41, I E2 42, I E3 43, I E4 44, and the like. Also, a picture reconstructed in the enhancement layer may be represented as I B0 45, I B2 46, I B4 47, and the like.
  • the reconstructed picture of the reference layer may not exist at a time corresponding to I E1 41 and I E3 43 which are pictures of the enhancement layer.
  • the current picture of the enhancement layer may be encoded or decoded with reference to the reconstructed picture of the reference layer.
  • I E0 40, I E2 42 or I E4 44 is the reference layer. It may be encoded or decoded with reference to I B0 45, I B2 46, or I B4 47, respectively, which are reconstructed pictures.
  • reference is made to a picture before or after the reconstruction picture of the reference layer for the time corresponding to the current picture of the enhancement layer. It can be encoded or decoded.
  • I E1 41 may perform encoding or decoding with reference to I B0 45 or I B2 46.
  • I E3 43 may perform encoding or decoding with reference to I B2 46 or I B4 47.
  • the current picture of the enhancement layer may be encoded or decoded with reference to a picture before or after the reconstruction picture of the reference layer with respect to time corresponding to the current picture of the enhancement layer for temporal scalability.
  • FIG. 5 illustrates a reference picture list based on an inter-layer prediction method for multi-layer video according to another embodiment of the present invention.
  • a reference list for the current picture of the enhancement layer may refer to a time corresponding to the current picture of the enhancement layer. It may include a picture before or after the reconstructed picture of the layer.
  • I E1 41 if the current picture of the enhancement layer is I E1 41, I B0 45 or I B2 46 may be included in the reference list.
  • FIG. 6 is a conceptual diagram illustrating an inter-layer prediction method for multi-layer video according to another embodiment of the present invention.
  • a picture of an enhancement layer may be represented as I E0 60, I E1 61, I E2 62, I E3 63, I E4 64, and the like.
  • a picture reconstructed in the enhancement layer may be represented as I B0 65, I B2 66, I B4 67, and the like.
  • the current picture of the enhancement layer may be encoded or decoded with reference to the reconstructed picture of the reference layer.
  • I E0 60, I E2 62 or I E4 64 is the reference layer. It may be encoded or decoded with reference to I B0 65, I B2 66, or I B4 67, respectively.
  • a reference to a picture before or after the current picture of the enhancement layer and a time corresponding to the current picture of the enhancement layer may be encoded or decoded with reference to a picture before or after the reconstructed picture of the layer.
  • I E1 61 refers to I E0 60, I E2 62, I B0 65 or I B2 66. Encoding or decoding may be performed.
  • I E3 63 is encoded with reference to I E2 62, I E4 64, I B2 66 or I B4 67 or Decryption can be performed.
  • the current picture of the enhancement layer may include a picture before or after the current picture of the enhancement layer for temporal scalability, and a reconstruction picture of the reference layer with respect to the time corresponding to the current picture of the enhancement layer. It may be encoded or decoded with reference to a previous or subsequent picture.
  • FIG. 7 shows a reference picture list based on an inter-layer prediction method for multi-layer video according to another embodiment of the present invention.
  • a picture before or after the current picture of the enhancement layer and a time corresponding to the current picture of the enhancement layer may include a picture before or after the reconstruction picture of the reference layer with respect to.
  • I E1 41 when the current picture of the enhancement layer is I E1 41, I E0 60, I E2 62, I B0 65, or I B2 66 may be included in the reference list.
  • FIG. 8 is a flowchart illustrating an inter-layer prediction method for multi-layer video according to an embodiment of the present invention.
  • a reconstruction picture of a reference layer is generated through predictive encoding on a reference layer, and reconstruction of a reference layer with respect to a time corresponding to a current picture of an enhancement layer for encoding or decoding on a current picture of an enhancement layer. It may be determined whether a picture exists.
  • inter-layer prediction may be performed with reference to a picture of an enhancement layer or a reconstructed picture of a reference layer.
  • the current picture of the enhancement layer is layered using the reconstructed picture of the reference layer that exists at a time corresponding to the current picture of the enhancement layer. Liver prediction can be performed.
  • inter-layer prediction may be performed with reference to a picture before or after the current picture of the enhancement layer.
  • the layer is referenced with reference to a picture before or after the reconstruction picture of the reference layer for a time corresponding to the current picture of the enhancement layer. Liver prediction can be performed.
  • Inter-layer prediction may be performed with reference to a picture before or after the reconstructed picture of the layer.
  • inter-layer prediction may be performed using the reconstructed picture of the reference layer for the time corresponding to the current picture of the enhancement layer. (S820).
  • the inter_layer_pred_ext_enable_flag which is a syntax for using a picture of a time different from the current picture of the enhancement layer, as a reference picture is decoded. .
  • inter_layer_pred_ext_enable_flag 1
  • inter_layer_pred_ext_mode 0 or 1, respectively (S850 and S870).
  • inter-layer prediction may be performed by referring to a picture before or after the current picture of the enhancement layer (S860). That is, intra prediction or inter prediction may be performed using the reconstructed picture of the same layer.
  • inter-layer prediction may be performed by referring to a picture before or after the reconstruction picture of the reference layer with respect to a time corresponding to the current picture of the enhancement layer (S880).
  • Inter-layer prediction may be performed by reference (S890).
  • FIG. 9 is an exemplary diagram of a syntax element used in inter-layer prediction for multi-layer video according to an embodiment of the present invention.
  • a syntax element inter_layer_pred_ext_enable_flag may be used to determine whether to use a picture of another time as a reference picture
  • an inter_layer_pred_ext_mode may be used to determine which picture to use as a reference picture.
  • FIG. 10 is a block diagram of a decoding apparatus for performing inter-layer prediction for multi-layer video, according to an embodiment of the present invention.
  • a decoding apparatus includes a decoding apparatus 400 for a reference layer and an encoding apparatus 500 for an enhancement layer.
  • the interpolation unit 610 is included.
  • Each of the decoding apparatuses 400 and 500 includes an entropy decoder 410 and 510, an inverse quantizer 420 and 520, an inverse transformer 430 and 530, an adder 440 and 540, and an in-loop filter unit 450. 550, frame memories 460 and 560, intra predictors 470 and 570, and motion compensators 480 and 580.
  • Each component of the decoding apparatuses 400 and 500 may be understood to correspond to the components of the encoding apparatus of FIG. 1, and thus, detailed description thereof will be omitted.
  • the predictor may include intra predictors 470 and 570 and a motion compensator 480 and 580 to perform intra prediction and inter prediction.
  • the prediction unit of the decoding apparatus may perform inter-layer prediction with reference to a picture of an enhancement layer or a reconstruction picture of a reference layer in order to encode a current picture of the enhancement layer.
  • the prediction unit when the reconstruction picture of the reference layer for a time corresponding to the current picture of the enhancement layer exists, the prediction unit performs inter-layer prediction by referring to the reconstruction picture of the reference layer for the time corresponding to the current picture of the enhancement layer. can do.
  • the prediction unit may perform inter-layer prediction with reference to a picture before or after the current picture of the enhancement layer.
  • the prediction unit may refer to the picture before or after the reconstruction picture of the reference layer for the time corresponding to the current picture of the enhancement layer. To perform inter-layer prediction.
  • the prediction unit may determine a picture before or after the current picture of the enhancement layer and a time corresponding to the current picture of the enhancement layer. Inter-layer prediction may be performed by referring to a picture before or after the reconstructed picture of the reference layer.
  • inter-layer prediction method and apparatus for multi-layer video when encoding or decoding the enhancement layer, even if there is no reconstructed picture of the reference layer at the same time, Effective inter-layer prediction can be performed by adaptively using the pictures of the reference layer, thereby improving coding efficiency.
  • each component of the encoding apparatus and the decoding apparatus according to the embodiment of the present invention described above is included in each component unit for convenience of description, and at least two of the components are combined to form one component unit, or one component unit Functions may be divided into a plurality of components and the integrated and separated embodiments of each of the components may be included in the scope of the present invention, without departing from the spirit of the present invention.
  • the encoding device and the decoding device according to the present invention can be embodied as computer readable programs or codes on a computer readable recording medium.
  • Computer-readable recording media include all kinds of recording devices that store data that can be read by a computer system.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable program or code is stored and executed in a distributed fashion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

다중 계층 비디오를 위한 계층 간 예측 방법 및 장치에 관한 기술이 개시된다. 다중 계층 비디오를 위한 계층 간 예측 방법은, 참조 계층에 대한 예측 부호화를 통하여 참조 계층의 복원 픽처를 생성하는 단계와, 향상 계층의 현재 픽처에 대한 부호화 또는 복호화를 위하여 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는지 판단하는 단계와, 향상 계층의 픽처 또는 참조 계층의 복원 픽처를 참조하여 계층 간 예측(inter-layer prediction)을 수행하는 단계를 포함한다. 따라서, 향상 계층에 대한 부호화 또는 복호화에 있어서, 동일 시점의 참조 계층의 복원 픽처가 없는 경우에도 향상 계층의 픽처 또는 참조 계층의 픽처를 적응적으로 사용하여 효과적인 계층 간 예측을 수행할 수 있다.

Description

다중 계층 비디오를 위한 계층 간 예측 방법 및 그 장치
본 발명은 비디오의 부호화/복호화에 관한 것으로, 더욱 상세하게는 다중 계층 비디오를 위한 계층 간 예측 방법 및 장치에 관한 것이다.
최근 무선망 및 인터넷이 초고속으로 발전함에 따라 다양한 멀티미디어 서비스가 활성화되고 있으며, 특히, 방통 융합망의 등장으로 압축 부호화 기술만을 개발하던 시기와는 달리 멀티미디어의 생성, 전송 및 소비 환경의 다양한 조건들에서 QoS(Quality of Service)를 보장하기 위해 비디오 부호화의 계위성(Scalability)을 제공하기 위한 표준화 작업이 진행되고 있다.
스케일러블 비디오 코딩(SVC: Scalable Video Coding) 기술은, 하나의 압축된 비트스트림에서 서로 다른 종류의 해상도(Spatial), 품질(Quality), 프레임율(Temporal)을 갖는 영상을 다양한 단말기와 네트워크 환경에 적응적으로 복원할 수 있도록 하는 것이다. SVC는 H.264/AVC의 높은 압축률에 다양한 멀티미디어 기기에 적응적으로 대응할 수 있는 계층성을 부여한 비디오 코덱으로, H.264/MPEG-4 PART 10의 수정판(Amendment)으로 JVT(Joint Video Team)에서 표준화를 진행하였다.
또한, 종래의 H.264/AVC와 비교하여 약 2 배 이상의 압축 효율을 갖는 것으로 알려져 있는 차세대 비디오 압축 표준 기술로 HEVC(High Efficiency Video Coding)에 대한 표준화가 진행되고 있다.
HEVC는 쿼드트리(quadtree) 구조를 가진 코딩 유닛(CU: Coding Unit), 예측 유닛(PU: Prediction Unit), 변환 유닛(TU: Transform Unit)을 정의하고 있으며, 샘플 적응적 오프셋(SAO: Sample Adaptive Offset), 디블록킹 필터(Deblocking filter)와 같은 추가적인 인루프 필터를 적용하고 있다. 또한, 기존의 인트라 예측(intra prediction) 및 인터 예측(inter prediction)을 개선하여 압축 부호화 효율을 향상시키고 있다.
한편, 최근에 표준화가 진행되고 있는 HEVC에 대한 확장(extension) 버전으로 SVC에 대한 표준화가 진행되고 있다.
종래의 SVC 기술은 계층 간 예측에 있어서, 참조 계층과 시간 및 공간 해상도(temporal and spatial resolution)가 다른 향상 계층을 부호화할 경우, 부호화 대상이 되는 향상 계층의 픽처와 동일 시간에 참조 계층의 복원된 픽처가 존재하지 않아 참조 계층의 픽처를 참조할 수 없는 향상 계층의 픽처가 존재하는 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 다중 계층 비디오에 대한 부호화 또는 복호화에 있어서 참조 픽처를 적응적으로 결정하여 계층 간 예측을 수행하는 방법을 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 다중 계층 비디오에 대한 부호화 또는 복호화에 있어서 참조 픽처를 적응적으로 결정하여 계층 간 예측을 수행하는 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 다중 계층 비디오를 위한 계층 간 예측 방법은, 참조 계층에 대한 예측 부호화를 통하여 참조 계층의 복원 픽처를 생성하는 단계와, 향상 계층의 현재 픽처에 대한 부호화 또는 복호화를 위하여 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는지 판단하는 단계와, 향상 계층의 픽처 또는 참조 계층의 복원 픽처를 참조하여 계층 간 예측(inter-layer prediction)을 수행하는 단계를 포함한다.
여기에서, 상기 계층 간 예측을 수행하는 단계는, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
여기에서, 상기 계층 간 예측을 수행하는 단계는, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
여기에서, 상기 계층 간 예측을 수행하는 단계는, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처와, 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
여기에서, 상기 계층 간 예측을 수행하는 단계는, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는 경우, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른 다중 계층 비디오를 위한 계층 간 예측 장치는, 참조 계층에 대한 예측 부호화를 통하여 생성된 상기 참조 계층의 복원 픽처를 저장하는 프레임 버퍼와, 향상 계층의 현재 픽처에 대한 부호화 또는 복호화를 위하여 향상 계층의 픽처 또는 참조 계층의 복원 픽처를 참조하여 계층 간 예측(inter-layer prediction)을 수행하는 예측부를 포함한다.
여기에서, 상기 장치는, 참조 계층의 복원 픽처를 상기 향상 계층의 해상도에 상응하도록 보간하는 보간부를 더 포함할 수 있다.
상기와 같은 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법 및 그 장치를 이용할 경우에는, 동일 시점의 참조 계층의 복원 픽처가 없는 경우에도 향상 계층의 픽처 또는 참조 계층의 픽처를 적응적으로 사용하여 효과적인 계층 간 예측을 수행할 수 있다.
또한, 향상 계층의 픽처 또는 참조 계층의 픽처를 적응적으로 사용하는 계층 간 예측을 통하여 부호화 및 복호화 효율을 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측을 수행하는 부호화 장치를 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법을 설명하는 개념도이다.
도 3은 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법에 기반한 참조 픽처 리스트를 나타낸다.
도 4는 본 발명의 다른 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법을 설명하는 개념도이다.
도 5는 본 발명의 다른 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법에 기반한 참조 픽처 리스트를 나타낸다.
도 6은 본 발명의 또 다른 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법을 설명하는 개념도이다.
도 7은 본 발명의 또 다른 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법에 기반한 참조 픽처 리스트를 나타낸다.
도 8은 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법을 설명하는 흐름도이다.
도 9는 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측에서 사용되는 신택스 요소에 대한 예시도이다.
도 10은 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측을 수행하는 복호화 장치의 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또 등과 같은 사용자 단말기이거나 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 화면간 또는 화면내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 화면내 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 화면내 블록은 화면내 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 화면내 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다. 또한, 이하에 기재된 "픽처(picture)"이라는 용어는 영상(image), 프레임(frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 또한, 본 발명에 있어서 참조가 되는 픽처는 복원된 픽처를 의미하는 것은 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측을 수행하는 부호화 장치를 나타내는 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측을 수행하는 부호화 장치는, 참조 계층에 대한 부호화 장치(100)와 향상 계층에 대한 부호화 장치(200)를 포함한다. 또한, 멀티플렉서(320) 및 보간부(310)를 포함할 수 있다.
각각의 부호화 장치(100, 200)는, 감산부(110, 210), 변환부(120, 220), 양자화부(130, 230), 역양자화부(131, 231), 역변환부(121, 221), 엔트로피 부호화부(140, 240), 가산부(150, 250), 인루프 필터부(160, 260), 프레임 메모리(170, 270), 인트라 예측부(180, 280) 및 움직임 보상부(190, 290)를 포함한다.
감산부(110, 210)은 제공받은 입력 영상인 부호화할 대상 영상(현재 영상)으로부터 인트라 예측 또는 인터 예측에 의해 생성된 예측 영상을 감산함으로써 현재 영상과 예측 영상 간의 잔차 영상(residue image)을 생성한다.
변환부(120, 220)는 감산부(110, 210)에 의해 생성된 잔차 영상을 공간 영역에서 주파수 영역으로 변환하는 기능을 한다. 여기서, 변환부(120, 220)는 하다마드 변환, 이산 여현 변환(Discrete Cosine Transform), 이산 사인 변환(Discrete Cosine Transform) 등과 같이 공간축의 화상 신호를 주파수축으로 변환하는 기법을 이용하여 잔차 영상을 주파수 영역으로 변환할 수 있다.
양자화부(130, 230)는 변환부(120, 220)로부터 제공되는 변환된 데이터(주파수 계수)에 대해 양자화를 수행한다. 즉, 양자화부(130, 230)는 변환부(120, 220)에 의해 변환된 데이터인 주파수 계수들을 양자화 스텝사이즈(Quantization Step-Size)로 나누어 근사화하여 양자화 결과값을 산출한다.
엔트로피 부호화부(140, 240)는 양자화부(130, 230)에 의하여 산출된 양자화 결과값을 엔트로피 부호화함으로써 비트스트림을 생성한다. 또한, 엔트로피 부호화부(140, 240)는 양자화부(130, 230)에 의해 산출된 양자화 결과값을 CAVLC(Context-Adaptive Variable Length Coding) 또는 CABAC(Context-Adaptive Binary Arithmetic Coding) 기법 등을 이용하여 엔트로피 부호화할 수 있으며, 양자화 결과값 이외에 영상을 복호화하는데 필요한 정보를 엔트로피 부호화할 수 있다.
역양자화부(131, 231)은 양자화부(130, 230)에 의해 산출된 양자화 결과값을 역양자화한다. 즉, 역양자화부(131, 231)은 양자화 결과값으로부터 주파수 영역의 값(주파수 계수)을 복원한다.
역변환부(121, 221)는 역양자화부(131, 231)에 제공받은 주파수 영역의 값(주파수 계수)을 주파수 영역에서 공간 영역으로 변환함으로써 잔차 영상을 복원하고, 가산부(150, 250)는 인트라 예측 또는 인터 예측에 의해 생성된 예측 영상에 역변환부(121, 221)에 의해 복원된 잔차 영상을 가산함으로써 입력 영상의 복원 영상을 생성하여 프레임 메모리(170, 270)에 저장한다.
프레임 메모리(170)는 참조 계층에 대한 예측 부호화를 통하여 생성된 참조 계층의 복원 픽처를 저장할 수 있다. 또한, 프레임 메모리(270)는 향상 계층에 대한 예측 부호화를 통하여 생성된 향상 계층의 복원 픽처를 저장할 수 있으며, 참조 계층의 복원 픽처 또는 참조 계층의 복원 픽처를 보간한 픽처를 저장할 수 있다.
예측부는 인트라 예측부(180, 280)와 움직임 보상부(190, 290)를 포함하여 인트라 예측 및 인터 예측을 수행할 수 있다.
인트라 예측부(180, 280)는 인트라 예측(Intra Prediction)을 수행하며, 움직임 보상부(190, 290)는 인터 예측(Inter Prediction)을 위한 움직임 벡터를 보상한다.
본 발명의 실시예에 따른 예측부는 향상 계층의 현재 픽처에 대한 부호화를 위하여 향상 계층의 픽처 또는 참조 계층의 복원 픽처를 참조하여 계층 간 예측(inter-layer prediction)을 수행할 수 있다. 여기서, 계층 간 예측은 향상 계층에 대한 부호화 또는 복호화에 있어서, 참조 계층의 복원 픽처를 참조하여 인트라 예측 또는 인터 예측을 수행하는 것을 의미할 수 있다.
먼저, 예측부는 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는 경우, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
특히, 예측부는 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
또한, 예측부는 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
그리고, 예측부는 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처와, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
인루프 필터부(160, 260)는 복원된 영상에 대한 필터링을 수행하는 것으로, 디블록킹 필터(DF: Deblocking Filter), 샘플 적응적 오프셋(SAO: Sample Adaptive Offset), 적응적 루프 필터(ALF: Adaptive Loop Filter)를 포함하여 구성될 수 있다.
보간부(310)는 참조 계층에서 복원된 픽처를 보간(interpolation)한다. 즉, 보간부(310)는 향상 계층의 공간 해상도에 상응하여 참조 계층에서 복원된 픽처를 보간할 수 있다.
멀티플렉서(320)는 참조 계층과 향상 계층으로부터 부호화된 비트스트림을 수신하여 출력한다.
도 2는 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법을 설명하는 개념도이다.
도 2를 참조하면, 향상 계층의 픽처는 IE0(20), IE1(21), IE2(22), IE3(23), IE4(24) 등과 같이 나타낼 수 있다. 또한, 향상 계층에서 복원된 픽처는 IB0(25), IB2(26), IB4(27) 등과 같이 나타낼 수 있다.
향상 계층의 픽처인 IE0(20), IE2(22), IE4(24)에 상응하는 시간에 참조 계층의 복원 픽처인 IB0(25), IB2(26), IB4(27)가 존재한다. 그러나, 향상 계층의 픽처인 IE1(21), IE3(23)에 상응하는 시간에 참조 계층의 복원 픽처가 존재하지 않을 수 있다.
즉, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는 경우에는, 향상 계층의 현재 픽처는 해당 참조 계층의 복원 픽처를 참조하여 부호화 또는 복호화될 수 있다. 여기서, 현재 픽처는 부호화 또는 복호화 대상이 되는 픽처를 의미할 수 있다.
예를 들어, 향상 계층의 현재 픽처가 IE0(21), IE2(22) 또는 IE4(24)인 경우, IE0(21), IE2(22) 또는 IE4(24)는 참조 계층의 복원 픽처인 IB0(25), IB2(26) 또는 IB4(27)을 각각 참조하여 부호화 또는 복호화될 수 있다.
그러나, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않을 경우에는, 향상 계층의 현재 픽처는 향상 계층의 현재 픽처의 이전 또는 이후의 픽처를 참조하여 부호화 또는 복호화될 수 있다.
예를 들어, 향상 계층의 현재 픽처가 IE1(21)인 경우, IE1(21)는 IE0(20) 또는 IE2(22)를 참조하여 부호화 또는 복호화를 수행할 수 있다.
또한, 향상 계층의 현재 픽처가 IE3(23)인 경우, IE3(23)는 IE2(22) 또는 IE4(24)를 참조하여 부호화 또는 복호화를 수행할 수 있다.
즉, 본 발명의 실시예에 따르면 향상 계층의 현재 픽처는 시간적 스케일러빌리티(temporal scalability)를 위하여 동일(향상) 계층의 픽처를 참조하여 부호화 또는 복호화를 수행할 수 있다.
도 3은 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법에 기반한 참조 픽처 리스트를 나타낸다.
도 3을 참조하면, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않을 경우, 향상 계층의 현재 픽처를 위한 참조 리스트는 향상 계층의 현재 픽처의 이전 또는 이후의 픽처를 포함할 수 있다.
예를 들어, 향상 계층의 현재 픽처가 IE1(21)인 경우, IE0(20) 또는 IE2(22)를 참조 리스트에 포함시킬 수 있다.
도 4는 본 발명의 다른 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법을 설명하는 개념도이다.
도 4를 참조하면, 향상 계층의 픽처는 IE0(40), IE1(41), IE2(42), IE3(43), IE4(44) 등과 같이 나타낼 수 있다. 또한, 향상 계층에서 복원된 픽처는 IB0(45), IB2(46), IB4(47) 등과 같이 나타낼 수 있다.
향상 계층의 픽처인 IE0(40), IE2(42), IE4(44)에 상응하는 시간에 참조 계층의 복원 픽처인 IB0(45), IB2(46), IB4(47)가 존재한다. 그러나, 향상 계층의 픽처인 IE1(41), IE3(43)에 상응하는 시간에 참조 계층의 복원 픽처가 존재하지 않을 수 있다.
즉, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는 경우에는, 향상 계층의 현재 픽처는 해당 참조 계층의 복원 픽처를 참조하여 부호화 또는 복호화될 수 있다.
예를 들어, 향상 계층의 현재 픽처가 IE0(40), IE2(42) 또는 IE4(44)인 경우, IE0(40), IE2(42) 또는 IE4(44)는 참조 계층의 복원 픽처인 IB0(45), IB2(46) 또는 IB4(47)을 각각 참조하여 부호화 또는 복호화될 수 있다.
그러나, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않을 경우에는, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 부호화 또는 복호화될 수 있다.
예를 들어, 향상 계층의 현재 픽처가 IE1(41)인 경우, IE1(41)는 IB0(45) 또는 IB2(46)를 참조하여 부호화 또는 복호화를 수행할 수 있다.
또한, 향상 계층의 현재 픽처가 IE3(43)인 경우, IE3(43)는 IB2(46) 또는 IB4(47)를 참조하여 부호화 또는 복호화를 수행할 수 있다.
즉, 본 발명의 실시예에 따르면 향상 계층의 현재 픽처는 시간적 스케일러빌리티를 위하여 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 부호화 또는 복호화될 수 있다.
도 5는 본 발명의 다른 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법에 기반한 참조 픽처 리스트를 나타낸다.
도 5를 참조하면, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않을 경우, 향상 계층의 현재 픽처를 위한 참조 리스트는 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 포함할 수 있다.
예를 들어, 향상 계층의 현재 픽처가 IE1(41)인 경우, IB0(45) 또는 IB2(46)을 참조 리스트에 포함시킬 수 있다.
도 6은 본 발명의 또 다른 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법을 설명하는 개념도이다.
도 6을 참조하면, 향상 계층의 픽처는 IE0(60), IE1(61), IE2(62), IE3(63), IE4(64) 등과 같이 나타낼 수 있다. 또한, 향상 계층에서 복원된 픽처는 IB0(65), IB2(66), IB4(67) 등과 같이 나타낼 수 있다.
향상 계층의 픽처인 IE0(60), IE2(62), IE4(64)에 상응하는 시간에 참조 계층의 복원 픽처인 IB0(65), IB2(66), IB4(67)가 존재한다. 그러나, 향상 계층의 픽처인 IE1(61), IE3(63)에 상응하는 시간에 참조 계층의 복원 픽처가 존재하지 않을 수 있다.
즉, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는 경우에는, 향상 계층의 현재 픽처는 해당 참조 계층의 복원 픽처를 참조하여 부호화 또는 복호화될 수 있다.
예를 들어, 향상 계층의 현재 픽처가 IE0(60), IE2(62) 또는 IE4(64)인 경우, IE0(60), IE2(62) 또는 IE4(64)는 참조 계층의 복원 픽처인 IB0(65), IB2(66) 또는 IB4(67)을 각각 참조하여 부호화 또는 복호화될 수 있다.
그러나, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않을 경우에는, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처와, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 부호화 또는 복호화될 수 있다.
예를 들어, 향상 계층의 현재 픽처가 IE1(61)인 경우, IE1(61)는 IE0(60), IE2(62), IB0(65) 또는 IB2(66)를 참조하여 부호화 또는 복호화를 수행할 수 있다.
또한, 향상 계층의 현재 픽처가 IE3(63)인 경우, IE3(63)는 IE2(62), IE4(64), IB2(66) 또는 IB4(67)를 참조하여 부호화 또는 복호화를 수행할 수 있다.
즉, 본 발명의 실시예에 따르면 향상 계층의 현재 픽처는 시간적 스케일러빌리티를 위하여 향상 계층의 현재 픽처의 이전 또는 이후의 픽처와, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 부호화 또는 복호화될 수 있다.
도 7은 본 발명의 또 다른 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법에 기반한 참조 픽처 리스트를 나타낸다.
도 7을 참조하면, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않을 경우, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처와, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 포함할 수 있다.
예를 들어, 향상 계층의 현재 픽처가 IE1(41)인 경우, IE0(60), IE2(62), IB0(65) 또는 IB2(66)을 참조 리스트에 포함시킬 수 있다.
도 8은 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법을 설명하는 흐름도이다.
도 8을 참조하면, 참조 계층에 대한 예측 부호화를 통하여 참조 계층의 복원 픽처를 생성하고, 향상 계층의 현재 픽처에 대한 부호화 또는 복호화를 위하여 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는지 판단할 수 있다.
그리고, 향상 계층의 픽처 또는 참조 계층의 복원 픽처를 참조하여 계층 간 예측(inter-layer prediction)을 수행할 수 있다.
먼저, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는 경우, 향상 계층의 현재 픽처는 향상 계층의 현재 픽처에 상응하는 시간에 존재하는 참조 계층의 복원 픽처를 사용하여 계층 간 예측을 수행할 수 있다.
한편, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
또한, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
더욱이, 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처와, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수도 있다.
예를 들어, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는지 판단할 수 있다(S810). 즉, 향상 계층의 현재 픽처와 동일한 시점에 참조 계층의 복원 픽처가 존재하는지 확인할 수 있다.
향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는 것으로 판단되면, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처를 사용하여 계층 간 예측을 수행할 수 있다(S820).
향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 것으로 판단되면, 향상 계층의 현재 픽처와 다른 시간의 픽처를 참조 픽처로 사용할 것인지에 대한 신택스(syntax)인 inter_layer_pred_ext_enable_flag를 복호화한다.
inter_layer_pred_ext_enable_flag=1 인지 판단할 수 있다(S830). inter_layer_pred_ext_enable_flag=1이 아닌 경우, 향상 계층의 현재 픽처에 대해 인트라 예측을 수행할 수 있다(S840).
inter_layer_pred_ext_enable_flag=1인 경우에는 신택스 inter_layer_pred_ext_mode 값에 따라 어느 픽처를 사용하여 계층 간 예측을 수행할지 결정할 수 있다.
inter_layer_pred_ext_mode가 0 또는 1인지 각각 확인할 수 있다(S850, S870).
inter_layer_pred_ext_mode=0인 경우, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다(S860). 즉, 동일 계층의 복원 픽처를 이용하여 인트라 예측 또는 인터 예측을 수행할 수 있다.
inter_layer_pred_ext_mode=1인 경우, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다(S880).
inter_layer_pred_ext_mode=1이 아닌 경우(inter_layer_pred_ext_mode=2인 경우), 향상 계층의 현재 픽처의 이전 또는 이후의 픽처와, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다(S890).
도 9는 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측에서 사용되는 신택스 요소에 대한 예시도이다.
도 9를 참조하면, 본 발명의 실시예에 따르면 신택스 요소인 inter_layer_pred_ext_enable_flag를 사용하여 다른 시간의 픽처를 참조 픽처로 사용할 것인지 결정할 수 있고, inter_layer_pred_ext_mode를 사용하여 어떤 픽처를 참조 픽처로 사용할 것인지 결정할 수 있다.
도 10은 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측을 수행하는 복호화 장치의 블록도이다.
도 10을 참조하면, 본 발명의 실시예에 따른 복호화 장치는, 참조 계층에 대한 복호화 장치(400)와 향상 계층에 대한 부호화 장치(500)를 포함한다. 또한, 보간부(610)를 포함한다.
각각의 복호화 장치(400, 500)는 엔트로피 복호화부(410, 510), 역양자화부(420, 520), 역변환부(430, 530), 가산부(440, 540), 인루프 필터부(450, 550), 프레임 메모리(460, 560), 인트라 예측부(470, 570) 및 움직임 보상부(480, 580)를 포함한다. 복호화 장치(400, 500)의 각 구성 요소는 도 1의 부호화 장치의 구성 요소와 각각 대응되어 이해될 수 있으므로 상세한 설명은 생략한다.
예측부는 인트라 예측부(470, 570)와 움직임 보상부(480, 580)를 포함하여 인트라 예측 및 인터 예측을 수행할 수 있다.
본 발명의 실시예에 따른 복호화 장치의 예측부는 향상 계층의 현재 픽처에 대한 부호화를 위하여 향상 계층의 픽처 또는 참조 계층의 복원 픽처를 참조하여 계층 간 예측(inter-layer prediction)을 수행할 수 있다.
먼저, 예측부는 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하는 경우, 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
특히, 예측부는 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
또한, 예측부는 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
그리고, 예측부는 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처가 존재하지 않는 경우, 향상 계층의 현재 픽처의 이전 또는 이후의 픽처와, 향상 계층의 현재 픽처에 상응하는 시간에 대한 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행할 수 있다.
상술한 본 발명의 실시예에 따른 다중 계층 비디오를 위한 계층 간 예측 방법 및 그 장치는, 향상 계층에 대한 부호화 또는 복호화에 있어서, 동일 시점의 참조 계층의 복원 픽처가 없는 경우에도 향상 계층의 픽처 또는 참조 계층의 픽처를 적응적으로 사용하여 효과적인 계층 간 예측을 수행할 수 있으며, 이를 통하여 부호화 효율을 향상시킬 수 있다.
또한, 상술한 본 발명의 실시예에 따른 부호화 장치 및 복호화 장치의 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합 및 분리된 실시예의 경우도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다.
그리고, 본 발명에 따른 부호화 장치 및 복호화 장치는, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (11)

  1. 다중 계층 비디오에 대한 부호화/복호화에 있어서,
    참조 계층에 대한 예측 부호화를 통하여 상기 참조 계층의 복원 픽처를 생성하는 단계;
    향상 계층의 현재 픽처에 대한 부호화 또는 복호화를 위하여 상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처가 존재하는지 판단하는 단계; 및
    상기 향상 계층의 픽처 또는 상기 참조 계층의 복원 픽처를 참조하여 계층 간 예측(inter-layer prediction)을 수행하는 단계를 포함하는 다중 계층 비디오를 위한 계층 간 예측 방법.
  2. 청구항 1에 있어서, 상기 계층 간 예측을 수행하는 단계는,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처가 존재하지 않는 경우,
    상기 향상 계층의 현재 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행하는 것을 특징으로 하는 다중 계층 비디오를 위한 계층 간 예측 방법.
  3. 청구항 1에 있어서, 상기 계층 간 예측을 수행하는 단계는,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처가 존재하지 않는 경우,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행하는 것을 특징으로 하는 다중 계층 비디오를 위한 계층 간 예측 방법.
  4. 청구항 1에 있어서, 상기 계층 간 예측을 수행하는 단계는,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처가 존재하지 않는 경우,
    상기 향상 계층의 현재 픽처의 이전 또는 이후의 픽처와,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행하는 것을 특징으로 하는 다중 계층 비디오를 위한 계층 간 예측 방법.
  5. 청구항 1에 있어서, 상기 계층 간 예측을 수행하는 단계는,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처가 존재하는 경우,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처를 참조하여 계층 간 예측을 수행하는 것을 특징으로 하는 다중 계층 비디오를 위한 계층 간 예측 방법.
  6. 다중 계층 비디오를 부호화/복호화 장치에 있어서,
    참조 계층에 대한 예측 부호화를 통하여 생성된 상기 참조 계층의 복원 픽처를 저장하는 프레임 버퍼; 및
    향상 계층의 현재 픽처에 대한 부호화 또는 복호화를 위하여 상기 향상 계층의 픽처 또는 상기 참조 계층의 복원 픽처를 참조하여 계층 간 예측(inter-layer prediction)을 수행하는 예측부를 포함하는 다중 계층 비디오를 위한 계층 간 예측 장치.
  7. 청구항 6에 있어서,
    상기 참조 계층의 복원 픽처를 상기 향상 계층의 해상도에 상응하도록 보간하는 보간부를 더 포함하는 다중 계층 비디오를 위한 계층 간 예측 장치.
  8. 청구항 6에 있어서, 상기 예측부는,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처가 존재하지 않는 경우,
    상기 향상 계층의 현재 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행하는 것을 특징으로 하는 다중 계층 비디오를 위한 계층 간 예측 장치.
  9. 청구항 6에 있어서, 상기 예측부는,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처가 존재하지 않는 경우,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행하는 것을 특징으로 하는 다중 계층 비디오를 위한 계층 간 예측 장치.
  10. 청구항 6에 있어서, 상기 예측부는,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처가 존재하지 않는 경우,
    상기 향상 계층의 현재 픽처의 이전 또는 이후의 픽처와,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처의 이전 또는 이후의 픽처를 참조하여 계층 간 예측을 수행하는 것을 특징으로 하는 다중 계층 비디오를 위한 계층 간 예측 장치.
  11. 청구항 6에 있어서, 상기 예측부는,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처가 존재하는 경우,
    상기 향상 계층의 현재 픽처에 상응하는 시간에 대한 상기 참조 계층의 복원 픽처를 참조하여 계층 간 예측을 수행하는 것을 특징으로 하는 다중 계층 비디오를 위한 계층 간 예측 장치.
PCT/KR2012/011619 2012-10-09 2012-12-27 다중 계층 비디오를 위한 계층 간 예측 방법 및 그 장치 WO2014058110A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015536667A JP2015536119A (ja) 2012-10-09 2012-12-27 マルチレイヤ動画のレイヤ間予測方法およびレイヤ間予測装置
CN201280077135.7A CN104782129A (zh) 2012-10-09 2012-12-27 用于多层视频的层间预测方法及其设备
US14/434,534 US9961363B2 (en) 2012-10-09 2012-12-27 Inter-layer prediction method for multi-layer video and device therefor
US15/933,441 US10219001B2 (en) 2012-10-09 2018-03-23 Inter-layer prediction method for multi-layer video and device therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120111928 2012-10-09
KR10-2012-0111928 2012-10-09

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/434,534 A-371-Of-International US9961363B2 (en) 2012-10-09 2012-12-27 Inter-layer prediction method for multi-layer video and device therefor
US15/933,441 Continuation US10219001B2 (en) 2012-10-09 2018-03-23 Inter-layer prediction method for multi-layer video and device therefor

Publications (1)

Publication Number Publication Date
WO2014058110A1 true WO2014058110A1 (ko) 2014-04-17

Family

ID=50477560

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/011619 WO2014058110A1 (ko) 2012-10-09 2012-12-27 다중 계층 비디오를 위한 계층 간 예측 방법 및 그 장치

Country Status (5)

Country Link
US (2) US9961363B2 (ko)
JP (1) JP2015536119A (ko)
KR (1) KR20140048805A (ko)
CN (2) CN108540809A (ko)
WO (1) WO2014058110A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2936814B1 (en) * 2013-03-26 2018-03-14 Dolby Laboratories Licensing Corporation Encoding perceptually-quantized video content in multi-layer vdr coding
KR20160071569A (ko) * 2014-12-11 2016-06-22 삼성전자주식회사 비디오 장치에서의 영상 처리 방법 및 그에 따른 비디오 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060035542A (ko) * 2004-10-21 2006-04-26 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
KR20090045323A (ko) * 2006-09-07 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
KR20110066523A (ko) * 2009-12-11 2011-06-17 한국전자통신연구원 스케일러블 비디오 디코딩 장치 및 방법
KR20120028843A (ko) * 2010-09-14 2012-03-23 삼성전자주식회사 계층적 영상 부호화/복호화 방법 및 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2323358T3 (es) * 1997-04-01 2009-07-14 Sony Corporation Codificador de imagenes, metodo de codificacion de imagenes, descodificador de imagenes, metodo de descodificacion de imagenes, y medio de distribucion.
JP3380980B2 (ja) * 1997-04-01 2003-02-24 ソニー株式会社 画像符号化方法、並びに画像復号方法および画像復号装置
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
JP2007525924A (ja) * 2004-03-04 2007-09-06 サムスン エレクトロニクス カンパニー リミテッド ビデオストリーミングサービスのためのビデオコーディング方法とビデオエンコーディングシステム、及びビデオデコーディング方法とビデオデコーディングシステム
KR100596705B1 (ko) * 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
WO2006080662A1 (en) 2004-10-21 2006-08-03 Samsung Electronics Co., Ltd. Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer
US20070014348A1 (en) * 2005-04-12 2007-01-18 Nokia Corporation Method and system for motion compensated fine granularity scalable video coding with drift control
EP1806930A1 (en) * 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
KR100781524B1 (ko) * 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
US7742532B2 (en) * 2006-11-17 2010-06-22 Lg Electronics Inc. Method and apparatus for applying de-blocking filter to a video signal
US9282343B2 (en) * 2011-08-31 2016-03-08 Dolby Laboratories Licensing Corporation Multiview and bitdepth scalable video delivery
KR20130085088A (ko) * 2012-01-19 2013-07-29 한국전자통신연구원 스케일러블 비디오 코딩에서의 고속 모드 결정 방법 및 그 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060035542A (ko) * 2004-10-21 2006-04-26 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
KR20090045323A (ko) * 2006-09-07 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
KR20110066523A (ko) * 2009-12-11 2011-06-17 한국전자통신연구원 스케일러블 비디오 디코딩 장치 및 방법
KR20120028843A (ko) * 2010-09-14 2012-03-23 삼성전자주식회사 계층적 영상 부호화/복호화 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SCHWARZ, HEIKO ET AL.: "Constrained Inter-Layer Prediction for Single-Loop Decoding in Spatial Scalability", IMAGE PROCESSING, 2005. ICIP 2005. IEEE INTERNATIONAL CONFERENCE ON, 11 September 2005 (2005-09-11) *

Also Published As

Publication number Publication date
US10219001B2 (en) 2019-02-26
CN104782129A (zh) 2015-07-15
US20150281732A1 (en) 2015-10-01
CN108540809A (zh) 2018-09-14
JP2015536119A (ja) 2015-12-17
US9961363B2 (en) 2018-05-01
US20180213252A1 (en) 2018-07-26
KR20140048805A (ko) 2014-04-24

Similar Documents

Publication Publication Date Title
JP6065095B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
WO2013070006A1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
WO2013141671A1 (ko) 인터 레이어 인트라 예측 방법 및 장치
WO2010087620A2 (ko) 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
WO2013002550A2 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
WO2011145819A2 (ko) 영상 부호화/복호화 장치 및 방법
WO2012134046A2 (ko) 동영상의 부호화 방법
WO2013002549A2 (ko) 영상 부호화/복호화 방법 및 장치
WO2013109039A1 (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2010038961A2 (ko) 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012011672A2 (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
KR20080093386A (ko) 컬러 동영상 신축 부호화와 복호화 방법 및 그 장치
CN107113431A (zh) 视频编码设备、视频解码设备、视频编码方法、视频解码方法和程序
WO2012033344A2 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
WO2012021040A2 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
WO2014038905A2 (ko) 영상 복호화 방법 및 이를 이용하는 장치
WO2018074626A1 (ko) 적응적 보간 필터를 사용하는 비디오 코딩 방법 및 장치
WO2011052990A2 (ko) 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치
KR20080033754A (ko) 영상 부호화 방법 및 장치
WO2011025301A2 (ko) 동영상 부호화를 위한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011053054A2 (ko) 움직임 벡터 해상도 제한을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2010002148A2 (ko) 영상 부호화 및 복호화 장치 및, 방법
WO2014058110A1 (ko) 다중 계층 비디오를 위한 계층 간 예측 방법 및 그 장치
WO2010093146A2 (ko) 영상 부호화/복호화 장치 및 방법
WO2012047047A2 (ko) 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12886309

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015536667

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14434534

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 12886309

Country of ref document: EP

Kind code of ref document: A1